【実務で測るAIベンチマーク】Fable 5.2 が実際のフリーランス案件の41.3%を仕上げた

11/10 に The Decoder が、Anthropic の Fable 5.2 が実際のフリーランス案件の41.3%を、依頼主が受け取れる水準で仕上げたと報じました。この数字は Scale Labs と Center for AI Safety（CAIS）が運営する RLI のものです。Scale Labs のリーダーボード（順位表）でも、11/11 に閲覧した時点で Fable 5.2 が自動化率（Automation Rate）41.30% で首位に載っています。Anthropic も 11/9 の発表文のベンチマーク表に、High 設定で41.3%と載せていました。2025年10月に RLI が公開されたときの首位は Manus の2.5%でした。

ベンチマーク（benchmark）とは、AI の性能を同じ問題で測って比べるための試験のことです。「41%」は大きな数字に見えますが、何を「仕上げた」と数えるのか、採点は誰がするのか、ほかの「仕事のベンチマーク」と比べてよいのかで、読み方が変わります。この記事では、RLI の順位と1年の伸びを確かめたうえで、採点のしくみ、GDPval・SWE-Lancer との違い、この数字から言えることと言えないことを整理します。