Gemini、動画理解を「エージェント的」に処理する新機能でトークン消費量を最大88%削減

Googleは「Gemini」に「エージェント的動画理解」という新しいアプローチを導入しました。従来モデルのように固定フレームレートで動画を処理するのではなく、モデル自身が何を・どの速度で・どのモダリティ(フレーム・音声・文字起こし)で見るかを能動的に判断できるようになります。

詳細

• 4つの主要ユースケース: 固定レートのサンプリングでは見逃してしまうような一瞬の変化や正確なカット境界を捉える「サブ秒単位の瞬間検索」、数時間に及ぶ動画に対しても膨大なトークンを消費せず複雑な問いに答える「長尺動画検索」、興味深い区間をより高いフレームレートで再サンプリングして微細な視覚的異常を捉える「異常検知」、動画全体を通して繰り返される動作や個別の物体を正確に追跡する「カウント」
• 仕組み: Geminiのネイティブな動画ツールを用いたエージェント的ループを実行し、すべてのフレームを一様に取り込むのではなく、目標志向で狙いを定めた形でどの区間を検証するかを判断する
• 性能向上: Googleによると、固定レート処理と比較してトークン消費を最大88%、分析コストを最大66%削減しながら、品質は最大7%向上。「Gemini 3.7 Flash」は総合的な品質、および品質とコストのバランスの両面で最良の結果を示すという
• 提供状況: 「Gemini 3.7 Flash」「3.6 Flash」「3.5 Flash-Lite」で、Google AI Studio、Gemini Enterprise Agent Platform経由ですでに利用可能。Geminiアプリでも順次展開中で、YouTubeの「Ask YouTube」機能への対応も近日予定
• 料金: 標準のAPIトークン料金がそのまま適用され、この機能自体に追加料金はない

その後

動画分析のコストとトークン消費を、動画の生の長さではなく実際に有益な情報量に比例させることで、Googleは検索・モデレーション・分析といった長尺・大量の動画ワークロードにおいて、Geminiの動画モデルをより直接的に競争できる立場に位置づけようとしています。これまでの固定レート処理では、動画が長くなるほど1本あたりのコストが不利にスケールする課題がありました。