【合成データ】AIの学習に使う「作られたデータ」の仕組みと、モデル崩壊の議論

SalesforceとNVIDIAは9/15、業務向けのAIモデル「Koa」を発表しました。CIOの報道によれば、顧客のデータは使わず、14を超える業種の業務を模した合成データで、NVIDIAのNemotron 3 Superを追加で学習させたといいます。その少し前の8/17には、Amazonが希少本を裁断してスキャンし、AIの学習に使っていると、404 Mediaの調査をもとにTechCrunchが報じました。TechCrunchは、2022年より前の本ならAIが書いた文章がほぼ確実に混ざっていないため、価値が高いと説明しています。

AIが作ったデータで学ぶ動きと、AIが作っていないデータを探す動きが、同時に進んでいます。合成データは「偽物のデータ」と見られがちですが、いまの主要なモデルの多くが使っています。この記事では、合成データの作り方と、何が心配されているのかを整理します。