llama.cpp、5系統のdecision modelをローカル実行　型付き判定APIを追加

Hugging Face公式Xは10月2日、ggerganov氏によるllama.cppのdecision model対応をリポストした。新しい/v1/systemoneは、文章を続けて生成するチャットAPIではない。入力された状態を専用モデルで評価し、候補の選択、段階スコア、真である確率を型の決まった結果としてローカルで返す。

実装PR #29818は同日にmasterへマージされ、マージコミットを指すプレリリースb11361へ収録された。対象はLaya、Julia-1、Lev、OpenJev、Kevの5系統だ。次の安定版の番号は、確認した一次資料ではまだ確定していない。

ホスト型APIから、手元のllama-serverへ

従来のTypeSafe AI APIはBearer APIキーでホスト型エンドポイントを呼ぶ。一方、llama.cpp版は同じSystem One形式をローカルのllama-serverで提供し、公式解説では既存クライアントのベースURLを変えて接続先を切り替えられるとしている。機密性の高い分類やエージェントの次アクション選択を、外部APIへ送らず組み込みたい場面には分かりやすい変化だ。

リクエストのstateには文字列、JSONオブジェクト、配列を渡せる。判定は、候補を一つ返すchoice、2〜10段階で評価するscore、命題が真である確率を返すnoulの3種類。サーバー文書は、ルーティング、モデレーション、エージェント動作の確認を用途に挙げる。応答のoutput_tokensは0で、ストリーミングにも対応しない。自由文を上手に書かせる機能ではなく、曖昧な状況を後段のプログラムが扱いやすい形へ狭める道具である。

どの生成モデルでも使えるわけではない

ここは導入前に押さえたい。通常のGGUFモデルを任意に読み込んで判定APIへ変えられるわけではなく、モデル別の変換とdecision headへの対応が要る。choiceの最大候補数もモデル依存だ。Layaは長い質問や候補を学習時のトークン予算に合わせて切り詰め、Layaなどではプロンプト全体を--ubatch-sizeへ収める必要がある。

返される確率も、利用者のデータ分布で校正済みとは限らない。たとえば「0.8なら自動承認」のような閾値を置くなら、手元の正解データで誤判定率を確かめる工程は省けない。画像入力も全モデル共通ではなく、発表時の公式記事ではOpenJevのみが対応。10月3日に確認したmaster文書でも、対応モデルとmultimodal projectorが必要で、入力はdata URLに限られる。プレリリース時点と更新中のmasterは分けて見るべきだ。

APIが一つ増えたというより、ローカル推論の役割に「生成」ではなく「判断」を足した更新、と捉えると輪郭がはっきりする。小さな判定を何度も挟むエージェントほど面白い一方、確率をそのまま信頼度として採用せず、用途ごとに検証する設計が要る。

参考資料

• llama.cpp プレリリース b11361
• 実装PR #29818
• llama.cpp HTTP Server 文書
• New in llama.cpp: Decision Models
• TypeSafe AI API reference

参照したX投稿

Hugging Face（@huggingface）の元投稿