Qwen、「E-Commerce Bench」でAIに10万円のネットショップ運営を365日任せる

Qwenは、AIエージェントに10万円の元手を持たせ、365日間ネットショップを運営させる新しいベンチマーク「E-Commerce Bench」をXで紹介した。仕入れ、交渉、値付け、販促、在庫、資金繰りを一年分まとめて扱う。短い問題への正答率では見えにくい、判断の積み重ねを試す取り組みだ。

仕入れ先には「当たり外れ」もある

投稿によると、市場は実際のECデータをもとに構成され、6,886商品と576の仕入れ先が登場する。そのうち152は不正な相手として設定されている。1日の稼働時間は600分で、保管料、返品、評判も運営に影響する。

ここが面白い。単に売上を増やすだけなら、強気な値付けや大量仕入れが一時的に効くかもしれない。しかし、在庫が残れば保管料がかかり、相手を見誤れば仕入れでも損をする。ネットショップという身近な形にすることで、AIが先々の影響まで考えて行動できるかを観察しやすくしている。

一年後の資産だけでは測らない

評価は年末時点の資産に加え、さらに6つの観点を含む計7軸。Qwenは、どのモデルも全項目で優位ではなく、一年の運営を通じて安く仕入れたり戦略を改善したりできるモデルは、ほとんどないと説明している。

ただし、元投稿だけでは評価したモデル名、各軸の詳しい定義、個別スコアまでは分からない。今の段階でモデルの順位表として受け取るより、「長く動くAIを何で評価するか」という新しい物差しの紹介として見るのがよさそうだ。初日の派手な売上より、失敗から翌月の仕入れを変えられるか。その地味な学習が、長期運用では効いてくる。