DeepSeek-V3公開──6710億パラメータを約558万ドルで学習したと発表
DeepSeekが、6710億パラメータのMixture-of-Expertsモデル「DeepSeek-V3」を公開しました。商用利用も可能な寛容なライセンスのもとで公開されたオープンモデルとして、GPT-4oやLlama 3.1 405B、Qwen 2.5 72Bなどを上回るとする自社ベンチマーク結果を示し、開発コミュニティに大きな驚きをもたらしました。
詳細
- モデル規模: 総パラメータ6710億のMixture-of-Expertsモデル
- 学習コスト: 米国の輸出規制で制限されたNVIDIA H800 GPUのデータセンターを使い、約2か月・約558万ドルで学習したと発表
- 性能: コーディングコンペティションサイトCodeforcesのベンチマークなどでLlama 3.1 405BやGPT-4oを上回る結果を示したと主張
- ライセンス: ダウンロード・改変・商用利用を含め自由に扱える寛容なライセンスで公開
- 公開日: 2024年12月26日(水)に公開
その後
DeepSeek-V3の低コスト高性能というアピールは、その3週間後に公開される推論特化モデル「DeepSeek-R1」への期待を一気に高める布石となりました。V3の公開時点ではまだ限定的だった世界的な反響は、R1の登場で一気に主要テック企業の株価にまで影響する規模に拡大します。