AIエージェントが次世代モデルを鍛える、GPT-Redが示す安全性向上の循環

OpenAIは、AIエージェントがすでに次世代モデルの能力向上に使われていると説明しました。今回の焦点は、攻撃役のAIエージェント「GPT-Red」を用いて安全性を高める仕組みです。現在のモデルで明日のモデルの弱点を探し、その発見を防御へ戻す。能力開発だけでなく、安全性にも継続的な改善の循環を作ろうとする取り組みです。

攻撃の成功を次の防御へつなげる

GPT-Redは、さまざまな防御モデルに対してプロンプトインジェクションを試み、困難な失敗例を探します。ここで重要なのは、攻撃の発見が評価結果として保存されるだけではない点です。成功した攻撃は防御モデルの改善に利用され、強くなった防御側に対してGPT-Redがさらに広く複雑な失敗を探す、という反復が組まれています。

この構造では、攻撃側と防御側のどちらかを一度作って終わりにはしません。防御が改善されれば、従来と同じ攻撃は通りにくくなります。すると攻撃側には別の経路を探索する圧力がかかり、新たな弱点が見つかれば再び防御へ反映されます。OpenAIが示しているのは、敵対的自己対戦を安全性向上のエンジンとして回す考え方です。

GPT-5.6 Solで示された堅牢性

OpenAIは、GPT-Redを相手にした訓練によってGPT-5.6の耐性が大きく向上したとしています。測定では、訓練中にモデルが見ていないGPT-Redの強力な攻撃を再実行しました。その結果、GPT-5.6 Solは同社においてこれまでで最もプロンプトインジェクションに強いモデルとなり、GPT-Redによる侵入成功は6分の1に減ったと説明されています。

この「6倍少ない」という結果は、未知の攻撃を再生して評価した点と合わせて読む必要があります。既知の問題を暗記的に避けられたかではなく、訓練で直接見ていない強い攻撃にどこまで耐えられるかを確かめようとしたためです。一方、投稿は具体的な評価件数や比較対象ごとの内訳を示していません。この数字だけであらゆる攻撃への安全性が保証されたと広げず、GPT-Redが探索したプロンプトインジェクションへの耐性改善を示す結果として捉えるのが適切です。

レッドチーミングのボトルネックをどう広げるか

モデルの弱点を攻撃者の視点で探すレッドチーミングは不可欠ですが、OpenAIは現在の手法を拡張するのが難しく、重大なボトルネックになっていると指摘します。モデル能力が伸びれば、想定すべき操作や失敗の組み合わせも増えます。人による精査の重要性は変わらなくても、探索範囲を人手だけで追い続けることには限界があります。

GPT-Redは、この拡張性の問題に対する一つの回答です。エージェントが攻撃を繰り返し、成功例を次の訓練材料へつなぐことで、検証を単発の工程から継続する循環へ変えます。能力が高まるほど、安全性とアラインメントも同じ速度で拡張しなければならないという認識が、その背景にあります。

安全性もモデル開発の循環に組み込む

今回の発表で注目すべきなのは、AIエージェントの役割が利用者向けの作業代行に限られず、モデル開発そのものへ入り始めていることです。特に、安全性評価を開発後の最終確認として扱うのではなく、攻撃探索、改善、再探索を繰り返す学習サイクルとして組み込む方向が明確になりました。

もちろん、GPT-RedはOpenAI自身も「一つの方法」と位置づけています。それでも、次世代モデルがより強力になる過程で、その能力を使って次の弱点を発見し、堅牢性と信頼性を高めるという設計は重要です。今後の焦点は、この循環がより多様な攻撃や失敗へどこまで広がり、継続的な安全性向上として機能するかにあります。

出典: OpenAI X投稿