OpenAI、日常的なウェットラボ分析でAIエージェントを測るBioBasicsBenchを公開
OpenAIは、酵素設計に取り組むバイオ企業Ligoと開発した「BioBasicsBench」を発表しました。AIエージェントが日常的なウェットラボの分析をどれだけこなせるかを測るもので、100タスクを通じて、生の実験データを読み解けるか、誤りに気づけるか、証拠が結論を支えないときにそれを認識できるかを確かめます。
ベンチマークの内容
- 範囲: タンパク質実験、イメージングとサイトメトリー、定量とアッセイ、核酸実験、分子クローニングの5分野・100タスク。
- 入力: ゲル・ブロット画像(31タスク)、プロトコルやノート(27)、機器のエクスポート(20)、実験台の写真(18)、顕微鏡(14)、機器の画面(13)、シーケンスファイル(12)、手技の動画(7)、寒天プレート(7)など。分類は重複します。
- 作成方法: 科学者が自分の実験データからタスクを作り、専門家が採点基準を書きました。各タスクは、書いていないLigoの科学者による内部レビュー、ウェットラボで働く博士レベルの科学者による外部レビュー、最終の内部レビューを経ています。
- 採点: 採点基準ごとの得点の平均割合である平均報酬で評価します。7モデル・37のモデルと推論設定の組み合わせを、1タスクあたり5回試行し、合計18,500件の結果を得ました。
xhigh推論設定での結果
| モデル | 平均報酬 | 1タスクあたり出力トークン |
|---|---|---|
| GPT-6 Astra | 66.7% | 4,704 |
| GPT-6.1 Sol | 62.0% | 5,238 |
| GPT-5.6 Sol | 43.8% | 9,099 |
| GPT-6 Luna | 38.3% | 13,120 |
| GPT-5.5 | 35.4% | 11,135 |
| GPT-5.4 | 33.2% | 13,717 |
| GPT-5.2 | 31.2% | 27,620 |
OpenAIは、Astraは低い推論設定でもGPT-5.6 Solを大きく上回り、ネイティブなマルチモーダル能力の向上が鍵になりうると述べています。
Astraが改善した点と、まだ苦手な点
- 改善: プレートのラベルが、実験で使ったアンピシリンではなくカナマイシンだと気づき、陰性対照として不適切だと判断しました。GPT-5.6 Solが細胞が消える生物学的理由を探した場面で、Z-stack(深さを変えた連続画像)だと認識しました。死細胞染色の信号が、検出波長の重なりで他の色素の影響を受けうることも指摘しました。
- 課題: コロニーPCRのゲルで、よくある思い込みが対照の解釈を上書きし、レーン4、6、7、8を選びました(基準はレーン5、9、10)。液胞のコントラストについて、矛盾する観察を軽視しました。プレート上のコロニーを約12%多く数えました。
OpenAIは、スコアが高くてもラボで信頼できる判断ができるとはまだ言えないとし、これらの能力の追跡は生物安全保障の理解にも役立つとしています。