【スケーリング則】計算・データ・パラメータを増やすと、AIの性能はどこまで予測どおりに伸びるのか

AnthropicがNscaleと、$45B規模の計算資源の契約を再び結ぶ交渉をしていると、TechCrunchが10/19（米国太平洋時間）にBloombergの報道として伝えました。10/20には、WSJに流出したAnthropicの上場の届出書類（S-1）から、クラウドの契約に$750B超を使う可能性があるとTechCrunchが伝えています。

これほどの計算資源を買い続ける前提にあるのが、「計算を増やせば、AIは予測できる形で賢くなる」という経験則、スケーリング則です。ただ、この法則が何を予測し、何を予測していないのかは、あまり知られていません。この記事では、スケーリング則の中身とその限界を整理します。