【ベンチマーク】点数が高いのに「使えない」が起きる理由を、飽和と実行環境から読む

11/8に The Decoder が、コーディングエージェントを実際のユーザーの依頼で試した評価を報じました。Alibaba などの研究者が10/26に arXiv に出した Co-Design Bench（273課題）で、10のモデルのうち最良の gpt-6-astra は、課題ごとの評価基準の平均69.9%に合格しました。ところが、基準を全部満たして課題を完了できたのは26.4%でした。The Decoder はこれを「約4分の3の課題で人の手直しが要る」と言い換えています。

70%と26%は、同じモデルの同じ試験の数字です。ベンチマークの点数は、何を数えているかで印象がまるで変わります。この記事では、点が上限に詰まる「飽和」、実行環境による点数の変動、テスト合格と実用のずれを整理します。評価の種類や、誰が測ったかについては、10/18の記事「AIの評価（evals）」で扱いました。