Editor’s Note
XピックアップHugging Face、multi-harness RLガイド公開 既存エージェントを変えずに学習
Hugging Faceは公式Xで、Claude Code、Codex、OpenCodeなどの既存ループを改変せず、強化学習（RL）用の軌跡を集める「multi-harness RL」ガイドを紹介した。ポイントは、モデルだけでなく、計画やツール実行を担うハーネスも学習条件として扱うこと。同じ重みのモデルでもハーネスによってスコアが62%と33%に分かれた、という同社の報告が出発点だ。
trainerが回す方式から、エージェントが回す方式へ
現在のTRL文書は、trainerが各ターンを生成・実行する従来の「white-box」方式と、外部エージェントが自分の計画、ツール、停止条件を保つ「loop-owning」方式を分けている。後者ではClaude Codeなどの接続先をモデルではなくプロキシへ向け、vLLMが実際に出したトークンIDとlogprob（各トークンの選ばれやすさ）を記録。実行後に学習用の行へ組み直す。
つまり以前は学習器の中にエージェントの動きを再現する必要があったが、この方式なら普段のハーネスをそのまま走らせ、その癖ごと学べる。X投稿によると、4種類のハーネスで学習したLFM2.5-2.6Bは42%から54%へ上がり、ツール呼び出しは31%減った。OpenCodeだけでの学習は同環境で34%から58%になったという。いずれも提供側の実験結果で、こちらで再現した数値ではない。
導入には「忠実に記録する」ための準備が要る
仕組みはプロキシを挟むだけに見えるが、TRLの導入要件は軽くない。vLLM側でツール呼び出し、実トークンID、処理済みlogprob、NCCLによる重み同期を有効にし、rolloutごとに独立セッションを使う必要がある。さらにOpenCodeのスレッド題名生成や文脈要約など、本来のエージェントターンではない補助LLM呼び出しも記録へ混ざる。ここをフィルターしないと、学ばせたい行動と別の処理を同じ軌跡として採点してしまう。
公開範囲も少し丁寧に見たい。ガイドはFineEnvsのSpaceで公開され、OpenEnv v0.7.0のリリースノートにもトークン忠実なトレースとtraining captureの追加がある。一方、この学習経路はTRLでexperimental扱いで、APIは変わり得る。FineEnvsの現行リポジトリも該当プロジェクトをWIP、デプロイ数0と表示している。「すべてオープン」という告知と、安定版として完成済みであることは同じではない。また、ガイドの全実験がOpenEnv v0.7.0のどのコミットに対応するかも明示されていない。
ここが面白い。モデルを単体の試験問題で鍛えるのではなく、実際に仕事を任せる道具立てまで学習環境へ持ち込める。ただし今は、すぐ導入できる完成品というより、ハーネス差を正面から扱うための公開された実験基盤として見るのがよさそうだ。
参考資料
- The ultimate guide to multi-harness RL
- TRL：OpenEnv Integration
- FineEnvs GitHubリポジトリ
- OpenEnv Releases
