Qwen、AIエージェントの「1年間の持久力」を測る新ベンチマーク「E-Commerce Bench」を公開
Qwenチームは2026年9月3日、AlibabaのTaobao・Tmall Groupと共同開発した新しいオープンソースベンチマーク「E-Commerce Bench」を公開しました。単一の限定的なタスクをこなせるかではなく、AIエージェントがシミュレーション上で丸1年間、ネットショップ経営を続けられるかを測定するものです。
詳細
- 設定内容: エージェントは10万元の元手からスタートし、1日あたり600分の行動予算のもとで365日間(シミュレーション上の1年間)、1つまたは複数のネットショップを運営する。実際の市場データ(6,886商品・60カテゴリー・576サプライヤー・12種類の店舗タイプ)を使用
- リアルな仕組み: 実際の決済遅延を再現した三者間決済システム、保管料、配送方法の選択、返品プロセス、評判システムまで組み込まれている
- 7つの評価軸: 年度末の総資産だけでなく、交渉の質、不正サプライヤー回避、資金繰り管理、運用効率、日々の実行品質、長期的な学習能力という7つの観点でスコアリング
- 18モデルを検証: GPT-5.6 Sol、Claude Opus 4.7、複数のQwenモデル(Qwen3.8-Max-Previewを含む)、Kimi K2.6などを対象に、それぞれ5回のフルエピソードで検証
- 成績のばらつきが顕著: 上位モデルは元手の14〜16倍のリターンを達成した一方、全モデル通算で10エピソードが破産に終わった。多くは年初の過剰仕入れを在庫処分できなかったことが原因
- 不正回避力に160倍超の差: 不正サプライヤーへの発注額の割合はモデル間で160倍以上の差があり、Claude Opus 4.7の0.12%に対しQwen3.5-Plusは20.11%に達した。最も稼いだGPT-5.6 Solも、この指標では18モデル中16位にとどまった
- 本当の意味での学習はほぼ見られず: 1年間を通じて交渉成果が実際に改善したのはQwen3.8-Max-Previewのみ。18モデル中15モデルは、リピート購入時の価格交渉がランダムな発注よりも統計的に悪化していた
その後
Qwenはこのベンチマークのコードをオープンソースとして公開しており、経済ロジックと対話部分を分離した「決定論的な交渉カーネル」を、不正操作されにくく再現性も保てるエージェントベンチマークを構築するための応用可能な手法として位置づけています。結果そのものも示唆に富んでおり、7つの評価軸すべてで秀でたモデルは1つもなく、最も稼いだモデルが必ずしも最も安全で効率的な運営者ではありませんでした。長期にわたるエージェントタスクの「成功」は、どの軸で測るかによって全く異なる姿を見せることが浮き彫りになった形です。