Perplexity、OCR不要のマルチモーダル埋め込みモデル「pplx-embed-v2-late」をオープンソース公開

Perplexityは2026年10月7日、テキスト・画像・ビジュアル文書を混在させたコレクションを、OCRやチャンク分割といった前処理なしで検索できる新しい埋め込みモデル群「pplx-embed-v2-late」をオープンウェイトで公開した。

詳細

• 2サイズを公開: 0.6Bモデルと9Bモデル(アクティブパラメータ7.4B)の両方をHugging Face上にMITライセンスで公開
• アーキテクチャ: Qwen3.5をベースにしたColBERT型の遅延相互作用(late-interaction)型リトリーバーで、文書ごとに1本のベクトルへ圧縮するのではなく、トークンごとに128次元ベクトルを生成し、類似度はMaxSimで計算
• 設計からマルチモーダル対応: 双方向アテンションを用いて、テキスト・画像・PDFページやスライドなどのビジュアル文書を直接扱え、事前のOCRや文書のチャンク分割は不要
• モデル間の互換性: 2つのモデルは埋め込み空間を共有しており、大型の9Bモデルで一度構築したコーパスのインデックスを、より軽量で高速な0.6Bモデルでそのままクエリでき、クエリ時のコストを削減できる
• 学習方法: 内部の180億パラメータ教師モデルから、トークン単位のLEAF方式の目的関数を用いて蒸留。最後の8層のTransformer層はフルファインチューニングし、残りの層とビジョンエンコーダーにはLoRAによる適応学習を使用。学習データは46言語にわたる1億8600万件のクエリ・文書ペア
• ベンチマーク: ビジュアル文書検索のベンチマークViDoRe v3で、9Bモデルの総合スコアは62.3%から63.5%に向上。画像検索のnDCG@10は65.2%、Markdown文書検索のnDCG@10は64.7%
• 動作要件: sentence-transformers 6.0.0以降、transformers 5.4.0以降

その後

今回のリリースは、9月30日に公開された埋め込みモデル「pplx-embed-v2-context」に続くものだが、狙っている課題は異なる。context版はテキストの回答を裏付ける根拠(エビデンス)の検索に重点を置いていたのに対し、pplx-embed-v2-lateはPDFやスライド、スキャン文書といった、通常は高コストなOCRやチャンク分割パイプラインを経てからでなければインデックス化できなかったビジュアル・混在フォーマットのコーパスの検索を狙っている。埋め込み空間を共有する大小2つのモデルをオープンソースで公開することで、Perplexityは自社の検索基盤研究を他チームが直接採用できる「インフラ」として位置づけており、引用可能で検証可能な情報源に基づくという、同社の回答エンジンやエージェント製品を支える方針を強化している。