Meta「Llama 3.1」発表──405Bパラメータの"初のフロンティア級オープンモデル"
Metaが2024年7月23日、多言語対応モデル群「Llama 3.1」を発表しました。目玉は4050億パラメータの「Llama 3.1 405B」で、Metaはこれを「初のフロンティア級オープンソースAIモデル」と位置づけ、一般知識・数学・ツール利用・多言語翻訳などでトップクラスの独占モデルに匹敵する性能を主張しました。
詳細
- 3サイズ構成: 8B・70B・405Bパラメータの事前学習版・指示チューニング版を提供。コンテキスト長は128Kトークンに拡大し、対応言語も8言語に拡大
- 405Bの学習規模: 15兆トークン超のデータを、H100 GPU 1万6000基超を用いて学習。Llamaシリーズとして初めてこの規模で学習されたモデルとなった
- 性能面の主張: 一般知識・ステアラビリティ・数学・ツール利用・多言語翻訳において、最先端のクローズドモデルに匹敵する性能をオープンに提供する初の事例だとMetaは説明
- 提供開始: 発表当日からHugging Faceでのダウンロードに加え、幅広いパートナープラットフォームですぐに開発利用可能に
その後
405Bモデルの登場は、「オープンウェイトでもクローズドモデルに匹敵できる」ことを示した象徴的な出来事となった。この路線はその後、2025年4月のマルチモーダル・MoEアーキテクチャを採用した「Llama 4」へと引き継がれていく。