時間利用調査と3,995人への新規調査をもとに、実生活のタスクをどこまでこなせるかを測る評価。5つのサンプルタスクのスコアも公開。
OpenAIは新しい評価で、GPT-6 AstraとGPT-6.1 SolがCOBOL、Fortran、OCaml、Visual BasicのコーディングやCOBOL移行タスクで大きく改善したと発表した。
Anthropicがアクセンチュアの「Faculty」部門と提携し、社員レベルのアクセス権を持つ独立評価者を社内に配置。モデルの学習や展開の意思決定を直接観察できるようにする。5年間で10億ドル超を共同投資し、METRとの既存の取り組みに加え非独占的な評価パートナーをさらに増やす計画。