muse-spark-1.3-contributor、ts-benchで高速・Tool Callエラー0

金のニワトリ氏（@gosrum）が、gemini-3.8-flashとmuse-spark-1.3-contributorのts-bench評価結果を共有した。後者はタスク遂行までが非常に速く、Tool Callのエラー率は0。一方、前者は満点だったものの、ツールを呼ぶ回数が多く、完了まで時間がかかったという。コーディングエージェントを選ぶとき、最終得点だけでなく、途中の動きにも目を向けたくなる比較だ。

満点と使い勝手は別に見る

投稿で際立つのは、gemini-3.8-flashの満点と、muse-spark-1.3-contributorの速さ・エラー率0が別々の長所として現れていることだ。金のニワトリ氏は、Tool Callが多く時間もかかった結果から、前者はコーディングには向かないとの見方を示している。

使う側から見ると、同じ課題を解けるかに加えて、待ち時間や呼び出し回数も日々の手触りを左右する。ただし、投稿文には具体的な所要時間、試行回数、使用ハードウェアは記されていない。今回の結果は、実践者が共有した一つの評価として見るのがよいだろう。

TypeScript特化という範囲を忘れない

ts-benchは、TypeScriptに特化したコーディングエージェント性能の評価だ。日本語執筆やSVG描画まで含む総合的なモデル比較ではない。gemini-3.8-flashについては、そうした別分野で優れているとの報告が多いとして、金のニワトリ氏も今後検証したいとしている。

また、muse-spark-1.3-contributor級のモデルがオープンウェイトになれば衝撃的ではないか、という点も本人の期待であり、公開予定の発表ではない。速さは気になる。ただ、次に欲しいのは条件をそろえた追加検証だ。

参照したX投稿

金のニワトリ氏（@gosrum）の元投稿