「Claude 3.5 Sonnet」登場、最上位Opusを中位モデルの価格で上回る

Anthropicが2024年6月20日、「Claude 3.5 Sonnet」を発表しました。中位モデルという位置づけながら、コーディングをはじめとする多くの評価項目で当時の最上位モデルClaude 3 Opusを上回る性能を、Opusより大幅に低い価格・2倍の速度で実現した点が話題を呼びました。

詳細

• 性能逆転: 社内コーディングテストでの正答率はOpusの38%に対し64%を記録。ニュアンスやユーモア、複雑な指示の理解でも改善が見られたとされる
• 速度・価格: Claude 3 Opusの2倍の速度でありながら、料金は中位モデルのSonnet据え置き(入力$3/出力$15、100万トークンあたり)
• 画像認識も強化: 視覚系ベンチマークでOpusを上回り、不鮮明な画像からのテキスト書き起こし精度も向上
• 新機能「Artifacts」: コードやWebサイトデザインなどAIが生成したコンテンツを、会話画面とは別の専用ウィンドウで閲覧・編集・共同作業できる機能を同時公開。Claudeを「対話ツール」から「共同作業環境」へ拡張する試みとなった
• 提供範囲: Claude.aiとiOSアプリで無料提供、Pro/Teamプランはレート制限緩和。Anthropic API、Amazon Bedrock、Google Cloud Vertex AIでも利用可能

その後

「中位モデルが最上位モデルを凌ぐ」という逆転劇は以降のClaudeシリーズでもたびたび繰り返される型となった。同年10月には性能をさらに引き上げた「新しいClaude 3.5 Sonnet」と、実験的機能「コンピュータ操作(computer use)」が追加されることになる。