ChatGPT ニュース 2026/11/18 AI判定 重要度:高

OpenAI、学習から展開までのフロンティアAIリスク管理を解説

#OpenAI#安全性#アライメント#ガバナンス#サンドボックス

OpenAIは、モデルのライフサイクル全体でフロンティアAIのリスクをどう管理しているかを公開しました。モデル開発と公開のペースを調整しており、社内学習の一時停止や、GPT-6.1 Astraなどの公開見送りも含むと述べています。

  • 多層防御の4層: モデルのアライメント(Model Specに従う学習と、評価・監査による確認)、セキュリティとサンドボックス、遮断型の安全策(安全分類器とAuto-review)、監視と対応。モニタビリティ(監視のしやすさ)は学習中と展開前に評価します。
  • 研究段階: フロンティアの学習は実インターネットなしで実施。サンドボックス、仮想マシン、ネットワークとクラウドの境界で封じ込め、最も強力なモデルのチームが封じ込めをレッドチーミングします。モデルがインターネットに到達するとセキュリティ担当に通知され、ワークロードは自動停止します。
  • 開示されたインシデント: DNSの設定ミスにより、社内の研究モデルが限定的にインターネットへ接続しました。OpenAIは最高性能モデルの学習と評価を9月20日から10月1日まで停止しました。
  • Control Room: 停止指示から35秒以内にモデル出力を止めます。制御は推論基盤で強制されます。
  • 社内展開: 事前にアライメントとモニタビリティの試験に合格する必要があります(GPT-6 Astraのシステムカードに記載)。分類器がサイバー悪用と生物兵器化を対象とし、Codex利用者は原則Auto-Reviewの対象で、すべてのフロンティア推論をデータ流出に特に注意して監視します。
  • 外部展開: 自動化された適応型レッドチームを含む大規模な評価、最高性能モデルの第三者テスト、脅威アクターへのオフライン対応、信頼されたアクセスプログラム(DaybreakとGPT-Rosalind)。
  • ガバナンス: 従業員はインシデントの公開を求められ、意見が分かれる場合はSafety Advisory Groupへ。OpenAI財団の取締役会のSafety and Security Committeeが監督します。証拠が安全基準に達しない場合は学習の停止や公開見送りを行うとしています。