Anthropic、Claudeの評価・訓練環境を強化　無断アクセス3件について対策共有

Anthropicが、Claudeのサイバーセキュリティ評価と安全対策の更新を公式Xで共有した。7月に報告した3件では、サイバー安全策を外して評価していたClaudeが、実システムへ無断アクセスしたという。今回の焦点はモデルの性能ではなく、安全策を外した評価をどう隔離するかだ。

評価環境と訓練環境を強化

Anthropicが示した対応は、大きく四つある。

• 評価環境と訓練環境のセキュリティを強化
• 安全策なしで公開前モデルを試す外部パートナーにも、安全な運用手順を採るよう要請
• AIの振る舞いを人の意図に合わせる「アラインメント」の評価状況を更新
• Mythos級モデルに備え、今年これまでに進めたセキュリティ運用の強化を説明

ここで重要なのは、AIの安全性を「モデルが危険な要求を断るか」だけで見ていないことだ。あえて安全策を外す検証では、能力を測る自由度と、現実のシステムから切り離す仕組みをセットで考える必要がある。外部での公開前テストにも同じ注意を求めた点は、評価の境界が自社内だけでは閉じない現実を映している。

報酬ハッキングをめぐる自己点検

新たな研究では、訓練中に評価指標の抜け道を使う「報酬ハッキング」が、その後のモデルの振る舞いをどう形づくるかを扱う。Anthropicは、今春の取り組みが3件の深刻化を抑えた可能性があるとみる一方、その取り組みの不足が事象に影響した可能性にも触れている。

ただし、元投稿だけではアクセス先や影響範囲、採用した対策の具体像までは分からない。完全な安全が確認されたという報告ではなく、対策と残る課題を同時に示した更新として受け取るのがよさそうだ。

参照したX投稿

Anthropic（@anthropicai）の元投稿