Google DeepMind、フロンティアAIの二重盲検評価を試行

Google DeepMindは、フロンティアAIを二重盲検方式で評価する試行を始めるとXに投稿した。安全な環境の中で、評価用のテストプロンプトもモデルの重みも開示せず、外部による安全性と性能の評価を行う。AIの中身と試験問題の両方を守りながら、第三者の目を入れようとする取り組みだ。

二つを隠したまま測る

今回の要点は、単に評価者へモデル名を伏せることではない。Google DeepMindが示した仕組みでは、次の三つを組み合わせる。

• テストプロンプトを開示しない
• モデルの重みを開示しない
• 外部の安全性・性能評価を、安全な環境内で実施する

同社は、この方法によって評価のプライバシー、堅牢性、信頼性を保てると説明している。また「業界初」としているが、これは元投稿での同社自身の表現だ。

試行で確かめるべきこと

ここが面白い。外部評価を頼むとき、評価問題をどこまで共有するか、モデルの重みをどこまで見せるかという二つの扱いを、同じ安全な場所で解こうとしている。秘密保持と第三者評価を二者択一にしない設計である。

一方、現時点ではあくまで試行の案内だ。対象モデル、参加する外部評価者、具体的な運用手順、結果をどの範囲で公開するかは元投稿に書かれていない。「二重盲検」という仕組みが、同社の掲げる堅牢性と信頼性を実際にどこまで支えられるかは、今後示される運用の詳細と評価結果を見て判断したい。

参照したX投稿

Google DeepMind（@googledeepmind）の元投稿