Cognition、中国発オープンソースモデル由来の「信頼性」を検証する評価軸を公開

Devin開発元のCognitionが、同社のSWE-1.7が採用する中国発オープンソースモデル「Kimi K2.7 Code」をベースにしたシステムについて、「信頼できるか」を測る評価結果を公開しました。中国発モデルをめぐるプロパガンダ・検閲やセキュリティ面の懸念に対し、具体的なデータで応答する内容です。

詳細

• 評価軸: プロパガンダ・検閲傾向と、セキュリティ関連タスクでの挙動の差異という2つの観点から「信頼性」を評価
• 比較対象: GPT-5.5やClaude Opusなど欧米のフロンティアモデルとの比較で、SWE-1.7ベースのシステムの挙動を検証
• 評価方法: 単純なモデル単体への直接質問ではなく、Devinが実際に使うエージェント・ハーネス環境上での挙動を計測しており、既存の先行研究とは手法が異なる点に留意が必要
• 位置づけ: 自社製品の評価であり第三者による独立検証ではないものの、具体的なベンチマーク手法とデータを伴う技術的な検証として公開されている

使ってみるには

• 本記事はSWE-1.7(2026年7月8日発表)の技術的な補足として公開されたもので、単体の新製品・新機能ではありません
• 評価手法や結果の詳細はCognition公式ブログで公開されています