Runwayが「Gen-1」を発表──既存動画をAIでスタイル変換する動画生成AIの先駆け

Stable Diffusionの開発に関わったスタートアップRunwayが、動画生成AIシステム「Gen-1」を発表しました。テキストや画像で指定したスタイル・構図を、既存の動画の構造はそのままに適用できるのが特徴で、招待ユーザーへの提供から数週間後にはウェイトリスト登録者全体へ公開するとされました。

詳細

• できること: 人が街を歩く映像をクレイアニメ風のパペットに変換したり、机に積まれた本を夜景の都市に変換するなど、動画の「見た目」だけを別のスタイルに置き換えられる
• 提供方式: 発表当日はまず招待制で一部ユーザーに提供し、数週間後にウェイトリスト登録者全員へ展開する計画を発表
• 技術的位置づけ: ゼロから動画を生成するのではなく、既存の動画に対する「動画から動画へ(video-to-video)」の変換に特化したシステム
• 評価: 社内のユーザー調査では、画像から画像への変換でStable Diffusion 1.5に対して73.5%、動画から動画への変換でText2Liveに対して88.2%の割合で好まれたと報告

その後

Gen-1は動画生成AI市場における最初の一手であり、わずか1か月半後の2023年3月にはテキストや画像だけから動画をゼロ生成できる「Gen-2」が登場します。RunwayはGen-1を足がかりに、動画生成AI分野の草分け的存在としての地位を確立していきました。