【AIの評価（evals）】ベンチマークの点数は、誰がどう測ったかで読み方が変わる

新しいモデルが出るたびに、「○○で1位」「××で97.5%」といった数字が並びます。一方で10/15には、Anthropic が評価機関 METR の社員6人を社内に受け入れ、公表の中身に拒否権を持たない取り決めを結んだと発表しました。数字を出す側と、それを確かめる側の関係そのものが話題になっています。

AIの評価（evals：evaluations の略）は、モデルの実力と危険性を判断する土台です。この記事では、評価にどんな種類があり、同じモデルでも数字が大きく変わるのはなぜか、誰が測ったかがなぜ大事なのかを説明します。