Alibaba、「Qwen-7B」をオープンソース公開──中国発LLMがMetaに挑む
Alibaba Cloudが2023年8月3日、70億パラメータの言語モデル「Qwen-7B」と対話向け版「Qwen-7B-Chat」をModelScopeとHugging Face上でオープンソース公開しました。同年4月にベータ提供を始めていた対話アシスタント「通義千問(Tongyi Qianwen)」の基盤モデルを、学術・商用問わず自由に使える形で世に出した、Qwenシリーズの実質的な第一歩です。
詳細
- モデル規模: 最大3兆トークンで事前学習された70億パラメータモデル。中国語・英語を中心に多言語データを幅広くカバー
- 対話版も同時公開: 人間の選好に沿うようSFT・RLHFで調整された「Qwen-7B-Chat」も同時にリリースし、チャット・創作・情報抽出・要約・翻訳・コーディング・数学・ツール利用などに対応
- 公開範囲: コード・モデルの重み・技術メモを学術研究者から商業機関まで世界中に無償公開
- アーキテクチャ: MetaのLlamaアーキテクチャを参考にした設計を採用
- 背景: Alibabaは同年4月に「通義千問」のベータ版を発表しており、9月には規制当局の認可を経て一般提供も開始した
その後
Qwen-7Bはその後、Qwen-14B・Qwen-72B・Qwen-VLなど急速なラインナップ拡大の起点となった。以降Qwenファミリーは幾度もHugging Face Open LLM Leaderboardの上位を占め、中国発オープンモデルの代表格としての地位を築いていく。