xAI、Grok-1のモデル重みをオープンソース公開──3140億パラメータのMoEモデル

xAIが、チャットボット「Grok」を支える基盤モデル「Grok-1」のモデル重みとネットワークアーキテクチャを、Apache 2.0ライセンスのもとでオープンソース公開しました。3140億パラメータのMixture-of-Expertsモデルという大規模な構成を、商用利用も可能な寛容なライセンスで公開した点が注目を集めました。

詳細

• モデル規模: 3140億パラメータのMixture-of-Expertsモデルで、トークンごとに全体の約25%の重みが活性化する設計
• 学習基盤: JAXとRustで構築された独自の学習スタックを使用
• 公開範囲: 2023年10月に完了した事前学習フェーズの生のチェックポイントであり、対話用途などへのファインチューニングは行われていない未調整のベースモデル
• ライセンス: Apache 2.0ライセンスで公開され、商用利用を含め自由な改変・再配布が可能
• 配布先: GitHub(xai-org/grok)で実装ガイドや関連リソースを公開

その後

Grok-1のオープンソース化は、xAIが単なる自社サービス提供にとどまらず、研究コミュニティへの貢献も重視する姿勢を示した出来事です。この公開から間もない2024年3月末には、対話性能を高めた「Grok-1.5」が発表され、xAIのモデル開発ペースはさらに加速していきます。