新興Mistral AI、「Mistral 7B」を発表──小型ながら大型モデルを上回る性能で参入
フランスの新興企業Mistral AIが2023年9月27日、初の自社モデル「Mistral 7B」を発表しました。「これまでで最も強力な、このサイズの言語モデル」を掲げ、Llama 2 13Bを全ベンチマークで上回り、はるかに大きいLlama 1 34Bをも多くの指標で上回る性能を、制限なく使えるApache 2.0ライセンスで公開したことが大きな話題になりました。
詳細
- 性能: 73億パラメータながら、Llama 2 13Bを全ベンチマークで上回り、コード生成ではCode Llama 7Bに迫りつつ英語タスクでも高い性能を維持
- 技術的特徴: 高速な推論を実現するGrouped-Query Attention(GQA)と、少ない計算量で長い系列を扱えるSliding Window Attention(SWA)を採用
- ライセンス: 制限なく利用・改変・商用利用が可能なApache 2.0ライセンスで公開。企業としての実質的なデビュー作をフルオープンで出す決断だった
- 提供方法: GitHubとHugging Faceでモデルの重みを公開し、誰でもすぐにダウンロードして試せる形を取った
その後
このデビュー作の実力が評価され、Mistral AIは短期間で大型資金調達に成功。同年12月には混合エキスパート構成の「Mixtral 8x7B」を発表し、オープンモデル陣営の急先鋒としての地位を固めていくことになる。