Meta、初代「LLaMA」を発表──研究者向けの基盤言語モデルで生成AI競争に参入
Metaが2023年2月24日、基盤言語モデル「LLaMA(Large Language Model Meta AI)」を発表しました。ChatGPT登場から3か月というタイミングで、Metaが自社の大規模言語モデルを研究コミュニティ向けに公開した最初の一歩であり、後の「Llama」シリーズすべての原点となった発表です。
詳細
- 4つのサイズを用意: 7B・13B・33B・65Bパラメータの4モデルを同時公開。最大の65Bモデルは、はるかに大規模なDeepMindのChinchilla-70BやGoogleのPaLM-540Bと競合する性能を持つと説明された
- 少ない計算資源で研究可能に: 小型モデルでも高い性能を狙う設計により、大規模インフラを持たない研究者でも大規模言語モデルの研究に参入しやすくすることを目指した
- ライセンス: 商用利用不可の非商用・研究目的ライセンスで公開。学術研究者や政府・市民社会・学界関連組織、産業界の研究機関などに審査制でアクセスを付与する方式だった
- 公開方法: モデルの重み自体は一般公開ではなく申請制。数週間後には重みがオンライン上に流出し、意図せず広く出回る事態になった
その後
この非公開・研究限定という制約は長続きせず、2023年7月には誰でも商用利用できる「Llama 2」が登場。Meta自身が方針を転換し、オープンウェイトモデルの旗手としての地位を確立していく出発点に、この初代LLaMAはなった。