OpenAI、「二つの設定」でGPT-5.6のARC-AGI-3スコアを3倍に ― 推論保持とコンテキスト圧縮の効果を解説

OpenAIは、直前に発表した新モデル「GPT-5.6」に関する技術解説記事を公開し、APIの二つの設定を変更するだけでARC-AGI-3ベンチマークのスコアが公開タスクセットで13.3%から38.3%へと大きく向上し、出力トークン数も6分の1に削減できたことを明らかにした。

詳細

• 背景: 従来のテスト用ハーネスには二つの弱点があった。一つは、モデルの内部的な推論(reasoning)がターンごとに破棄され、モデルが毎回ゲームのルールを一から考え直す羽目になっていたこと。もう一つは、会話履歴が17万5000文字の上限に達すると古いメッセージを単純に切り捨てる「ローリング・トランケーション」方式を採用していたこと
• 変更した二つの設定: (1) 推論の保持 ― ターンをまたいで内部推論を会話履歴に残す、(2) コンパクション ― ローリング・トランケーションの代わりに、古い文脈を要約して保持するコンテキスト圧縮方式に切り替える。いずれもOpenAIのResponses APIを使うことで自動的に有効になる
• スコアの変化: 公開タスクセットでのGPT-5.6 Solのスコアが13.3%から38.3%へと約3倍に向上
• 効率の変化: 出力トークン数は6分の1に減少。推論を保持することで1アクションあたりの「考え直し」時間が減り、より一貫した戦略を組み立てられるようになったとしている
• 参考値: 公式ハーネスでの人間の基準スコアはおよそ48%とされ、今回の改善によって人間の性能によりいっそう近づいた形になる
• 含意: モデル自体の性能だけでなく、推論の継続性や文脈管理といったハーネス側の設計が、ベンチマークスコアに直接大きな影響を与えることを示した事例

使ってみるには

• OpenAIのResponses APIを使う場合、推論の保持とコンパクションはデフォルトで有効になっているため、独自のハーネスを組んでいる場合は同様の挙動になっているか確認するとよい
• 自前でエージェントのハーネスを構築している開発者は、ターンをまたいで推論を破棄していないか、単純な履歴切り捨てでコンテキストを圧縮していないかを見直すことで、同様の性能改善が見込める
• 詳細な実装や設定例はOpenAI公式サイトの本記事(英語)で解説されている