MistralがネイティブマルチモーダルなMoEモデル「Mistral Large 4」を発表。1兆パラメータ規模でNVIDIA Grace Blackwell GPU 3,800基で学習され、APIプレビューは提供開始済み、完全なオープンウェイトは10月27日に公開予定。
AlibabaのQwenチームは、Qwen4のアーキテクチャを先取りする1250億パラメータのマルチモーダルMoEモデル「Qwen3.8-Flash-Next」をオープンソース化しました。ハイブリッドアテンションとN-gram埋め込みを採用し、トークンごとに実際に稼働するのは60億パラメータのみです。
Thinking Machines Labが、総パラメータ975B・アクティブ41BのMixture-of-ExpertsモデルInklingを公開しました。完全な重みはHugging Faceで入手でき、Apache 2.0です。