【RLHF】AIの「振る舞い」を作る強化学習の工程と、人の採点・AIの採点・自動判定の違い

学習データの会社 Labelbox は10/14、株式と融資枠を合わせて$100M超の資金調達を発表したブログで、強化学習（試行錯誤の結果に点数を与えてモデルを鍛える方法）の「環境」づくりを事業の柱に据えると書きました。正しさは検証の仕組みが自動で採点し、「何が良いかは専門家が決める」という説明です。同じ週の10/12には、Sakana AI と UC Berkeley の研究者が、モデル自身に解かせて自分で採点させる自己改善の手法を発表したと The Decoder が伝えています。

誰が、どうやってAIの答えを採点するのか。いまのAI開発で、ここが大きな論点になっています。この記事では、その原点である RLHF の仕組みと、人の代わりにAIや自動判定を使う後継の方法を整理します。