Alibaba「Qwen2.5」公開──100種類超のモデルを一挙オープンソース化
Alibaba Cloudが2024年9月19日、年次イベント「Apsara Conference」で新モデル群「Qwen2.5」を発表しました。汎用モデルに加えコード特化の「Qwen2.5-Coder」、数学特化の「Qwen2.5-Math」を含め、量子化版まで合わせて100種類超のモデルを一挙に世界のオープンソースコミュニティへ公開。「史上最大級のオープンソースリリースかもしれない」と自ら位置づけました。
詳細
- 3系統・100種類超のモデル: 汎用の「Qwen2.5」(0.5B〜72B)、コード特化の「Qwen2.5-Coder」(1.5B・7B・32B)、数学特化の「Qwen2.5-Math」(1.5B・7B・72B)を展開
- 学習規模: 最大18兆トークンで事前学習し、MMLUで85超、HumanEvalで85超、MATHベンチマークで80超のスコアを記録
- ライセンス: 3B・72Bモデルを除き、基本的にApache 2.0ライセンスで公開
- 対応範囲拡大: コンテキスト長は最大128Kトークン、最大8Kトークンの生成に対応し、29以上の言語をサポート
- 関連発表: 同時にテキストから動画を生成するモデルや、強化された大規模視覚言語モデル、上位モデル「Qwen-Max」の改良版も発表された
その後
Qwen2.5は各種リーダーボードで上位を占め続け、Qwenがオープンソース陣営の代表格としての地位を確立する転機となった。翌2025年1月には、この路線の延長線上でクローズドモデル「Qwen2.5-Max」が投入されることになる。