OpenAI、サイバー能力が「Critical」水準に達したモデル向けの監視・整合性・セキュリティ対策を詳述

OpenAIが、開発中モデル「Astra」がPreparedness Frameworkの定める「Critical」水準のサイバー能力に達し得ると8月7日に公表した内容の続報を公開した。前回の発表がこの評価結果そのものに焦点を当てていたのに対し、今回は監視・整合性(アライメント)・セキュリティをめぐる具体的な安全対策により踏み込んだ内容になっている。これは、防御担当者向けに新モデルGPT-5.6-Cyberへのアクセスを拡大する別プログラム「Daybreak」とは異なる、しかし関連する取り組みであり、本記事ではDaybreakには言及していない。

詳細

• Astraの現状: 8月7日の判定を受けて、Astraの訓練・評価ワークロードのうち「かなりの数」が、より強固なセキュリティ環境への移行を待つ形で一時停止されたままとなっており、監視の対象もRL訓練だけでなく、ツールを利用するすべての推論処理に拡大されている
• 3本柱の枠組み: OpenAIは安全対策を、監視(「懸念される挙動を検知し対応を可能にする」)、整合性(「有害または許可されていない行動の可能性を減らす」)、セキュリティ対策(「AIシステムがアクセス・影響を及ぼせる範囲を制限する」)の3つに整理している
• 監視の具体策: サンプリングされたすべてのトークンに対して動作するアクティベーション分類器を用いた多段階のチェーン・オブ・ソート監視システムを導入。懸念のある活動については30分以内にアラートを出すことを目指し、最優先度のアラートは安全・セキュリティチームへの呼び出しを発生させ、その時間内に誤検知だと確定できない場合は活動を停止する。監視にかかる計算コストは、監視対象の推論計算量の約20%と見積もられており、Solクラス以上の能力を持つモデルのRL訓練およびツール利用を伴う評価すべてに監視の適用が義務付けられている
• 整合性(アライメント)の取り組み: 訓練面では、危険な挙動を検知する報酬モデルの改善、モデル自身の行動・能力・限界について正直さを高める方向への調整、報酬・採点者・ツール・監督の弱点を突くような挙動(モデルが外部システムやリソースと相互作用する際に害をもたらしかねない挙動を含む)を減らす取り組みが行われている
• セキュリティ基盤: 信頼できない、あるいはモデルが生成したコードの実行をサンドボックスで隔離、単一の侵害からインターネットや社内ネットワークへ到達できないようにするネットワーク分離、脆弱な共有サービスの撤去、常時付与される権限の縮小、モデルを用いて模擬攻撃を行う自動的かつ継続的なセキュリティテスト、セキュリティログ収集の拡充などが挙げられている
• 過去のインシデントとの関連: OpenAIは、以前発生したHugging Face関連のインシデントを受けて、研究クラスタ内でコード実行やインターネットアクセスを伴うワークロードについてフロンティアモデルの推論を一時停止し、その後より限定的で個別レビューを経た管理体制の下で再開したと説明している
• フレームワークの発展: OpenAIは「これらの安全対策を訓練から展開までを通じてまとめる形でPreparedness Frameworkを発展させる」としており、今回の内容は既存の枠組みの置き換えではなく拡張であることを示している

その後

今回の内容は、8月7日に公表されたAstraに関する開示の裏側にある運用面の詳細と位置づけられる。前回の発表はモデルが初めて「Critical」水準のサイバー領域に達したという結果そのものを伝えるものだったが、今回はその開発過程でのリスク管理のために用いているとされる具体的な技術的仕組み(監視のレイテンシ目標、計算コストの負担、サンドボックス化など)を説明する内容となっている。これは、認定された防御担当者にGPT-5.6-Cyberへの同等の能力を提供しようとするDaybreakプログラムの拡大とは組織的に別の取り組みであり、一方はOpenAI自身のフロンティア開発から生じるリスクを封じ込めることに焦点を当てている点で棲み分けられている。