Qwen3.8-Max、CommerceAgentBenchでオープンウェイト首位とQwenが投稿

Qwenは、実際の商取引需要を起点にしたCommerceAgentBenchで、Qwen3.8-Maxが評価対象のオープンウェイトモデル中、総合性能で最も高かったとXへ投稿した。読者にとってのポイントは、回答の見栄えではなく、複雑な商取引の流れを最後まで実行できるかを測ろうとしている点だ。

答える力から、完遂する力へ

引用元のAccioは、CommerceAgentBenchを実際の商取引業務に向けたベンチマークとしてオープンソース化したと説明している。初期結果では、最良の総合完遂率でも約62%だったという。これはQwen側の測定ではなく、引用元が示した結果だ。

6割強という数字は、単発の質問に正しく答えることと、複数段階の作業を完了させることの距離をよく表している。実務では途中の一手が崩れるだけで全体が止まる。ベンチマークの焦点を「何を言ったか」から「最後までできたか」へ移す意味は小さくない。

ここは慎重に読みたい。投稿が述べているのは、評価されたオープンウェイトモデルの中でQwen3.8-Maxの総合性能が最も高かった、という範囲だ。全モデルを通じた首位とは書かれておらず、約62%がQwen3.8-Max自身の完遂率かどうかも、この投稿だけでは確認できない。

Qwenは実際のワークフローで試すよう呼びかけている。使う側から見れば、順位だけでなく、自分の業務に近い一連の作業で、どこまで自走し、どこで止まるかを見るのが実用的だろう。