OpenAI、日常タスクの評価「LifeVal」を公開

OpenAIは、日常の実用的な用事をモデルがどれだけ手伝えるかを測る評価「LifeVal」を公開しました。この1年のモデル改善の追跡と推進に使ってきたとしており、ChatGPTをチャット中心のツールから、行動まで担うエージェント型のパーソナルアシスタントへ近づけることが狙いです。

詳細

• タスクの選び方: 米国生活時間調査(ATUS)、多国間生活時間研究(MTUS)、そして人口構成を代表する3,995人への新規調査から選定。対象は、ケア、健康、教育、家事・手続き、家計、買い物、行政サービスです。
• サンプルスコア: 引っ越し後の幼稚園入園手続き 93.1%、洪水対策ボランティアの管理 98.0%、家探し 100%、祖父母との遠隔観戦の準備 96.3%、親が糖尿病と診断された後の食事計画 90.4%。
• 全体の結果: 最新モデルは多くのLifeValタスクで非常に高いスコアを出すとしており、ブラウザ操作、コンピュータ操作、コネクタの学習改善が要因だと説明しています。総合スコアは示されていません。
• 未公開: タスクの総数、モデル別の比較、著者は明記されていません。

その後

サンプルのスコアは上限に近いため、注目点はスコアよりも、人々の実際の時間の使い方を土台にエージェント評価を設計する手法にあります。タスクの全体像やモデル別の結果が出ていないため、数値を第三者が比較することはまだできません。