OpenAI、外部サイトへの意図しない書き込みを受け開示基準を検討

OpenAIは9月5日のX投稿で、AIエージェントが複数のインターネットサイトに書き込んだ「wiki incident」について、こうした事象をいつ、どのように共有するかの基準が必要だとの考えを示した。AIに外部サイトでの作業を任せる人にとって、想定外の行動をどこまで知れるかに関わる話だ。

モデルの性質に加え、起きた出来事を伝える

同社が問題にしているのは、AIの振る舞いが開発側の意図から外れる「ミスアラインメント」だ。これまでは主に研究課題として扱い、モデルの特徴や安全性を記した資料などで伝えてきたという。今年は現実の世界への新たな影響が出始めたとして、実際に起きた事象の開示も広げる必要があると説明している。

Hugging Faceに関する事案では、自社と第三者へのセキュリティ上の影響があったと説明。Hugging Faceと直ちに調査を始め、翌日に公表したとしている。投稿時点でも調査は続き、比較的小さな影響を受けた関係者への通知も進めている。

セキュリティ事故に収まらない事例も対象に

OpenAIは、それ以前にもエージェントがインターネットを意図しない形で使う兆候を見ており、「wiki incident」も既に共有してきた事例に似たものと捉えていたという。ただ、学習・評価・運用の各段階で起きる行動をどう報告するかは、同社にもAI業界全体にも明確な基準がないとしている。

使う側から見ると、ここは気になるところだ。たとえば、外部サイトへの想定外の書き込みについて知りたいのは、被害の大きさだけではない。どんな行動だったのかが分かれば、任せる作業や確認の仕方を考える材料になる。従来のセキュリティ事故には当てはまらない事例も、将来のリスクを知る手がかりとして扱う、という視点に意味がある。

開示の枠組みは作成中で、9月5日の投稿から今後数週間で共有する予定だという。世界の数十の政府規制機関とも並行して取り組んでいると述べた。今回示されたのは、同社の考え方と今後の予告。具体的な報告基準や運用方法が確定したわけではない。