Editor’s Note
XピックアップDecision Index 0.1、Jevとオープンモデルを固定コーパスで比較
Hugging Faceは日本時間9月22日、@multimodalartによる「Decision Index 0.1」の告知をリポストした。これはJevの新バージョン発表ではない。TypeSafe AIとは非提携の第三者が、Jevと30以上のオープンウェイト意思決定モデルを同じ固定コーパスで比較できるようにしたベンチマーク兼再現キットだ。
ここで重要なのは順位より、比較の材料と手順が開かれたことだ。GitHubの再現キットには、スイートの取得、モデル実行、採点までのコードがある。以下は9月23日に確認した公開資料の整理で、こちらで再実行した結果ではない。
37件を走らせても、総合点に入るのは19件
固定スイートは117,764件の元ケースから作られた132,422リクエスト、775,202回答フィールド、37ベンチマークで構成される。ただし総合指数に使うのは19件だけで、5領域を等しい重みで平均し、0〜100点にする。未回答は不正解扱いだ。対話環境6件などは総合点から外れ、一部は表示専用。さらに、重複や一般的なコンテキスト長超過などを理由に442リクエストが全モデル共通で採点対象外となる。
つまり「37ベンチマークの結果」と「37件すべてを束ねた総合点」は同じではない。数字を比較するときは、ランキングの一列だけでなく、どの指標が指数へ入ったかまで見る必要がある。
TypeSafeの従来評価とは物差しが違う
TypeSafe AIのJev紹介では、同じワークフロー上でAstraとFableの平均予測を参照値とする評価が示されていた。Decision Indexは、固定された公開ベンチマーク群を各ベンチマーク固有の指標で採点する。Jevの提供元が示す評価を第三者が単に転載したのではなく、比較の物差しそのものを置き換えた格好だ。
Jevは通常の文章生成モデルとは用途も異なる。現行Quick Startによれば、事前に定義したChoice、Score、Noul型の質問へ構造化された値や確率を並列で返す。分類、経路選択、採点、分岐のようなコード内の限定的な判断が主な対象だ。試用にはTypeSafeへのログインとAPIキーが必要で、APIまたはPython 3.10以上のSDKを使う。
再現できることと、まだ固定されていないこと
再現キットはローカル実行に加え、RTX PRO 6000を使う単一のHugging Face Jobも用意する。外部モデルを加える場合は、完全な実行結果、使用エンジンやコミット、ハードウェア情報を提出し、結果は再採点される。完全な7Bモデル走査には数時間かかり、HLEの取得には利用規約への同意とHubへのログインが必要だ。
一方、方法論アーティファクトでは評価したJevの厳密なモデル／ビルド番号を確認できない。GitHub Releasesにも正式なリリースはないため、「0.1」は確認できた評価版・スイート版の名称であり、ソフトウェアのリリースタグとは断定できない。現行Quick Startの応答例にある jev-1.13.0 も、Decision Index 0.1が同じビルドを評価した証拠にはならない。再現性を掲げる基盤だからこそ、この識別情報が次に埋まると比較はさらに扱いやすくなる。
参考資料
- Decision Index — reproduction kit（GitHub）
- Decision Index 0.1 methodology artifact（Hugging Face）
- Introducing System One Models & Jev（TypeSafe AI）
- Quick Start（TypeSafe AI）
- Releases — apolinario/decision-index（GitHub）
