AI
【蒸留】大きいAIの答えで小さいAIを鍛える手法は、どこから「抜き取り」になるのか
大きいモデルの出力を手本にして小さいモデルを鍛える蒸留(distillation)の仕組みと、正当な使い方と問題になる使い方の境目、利用規約や輸出規制とのつながりを整理します。
目次
10/12、Anthropic は、他社が Claude の能力を蒸留で抜き取ろうとする動きへの対策を報告しました。初期の結果では、対策によって、蒸留する側が集められるデータの量を約90〜99%減らせたとしていて、中国の Zhipu と Moonshot の名前を挙げています。
蒸留は、それ自体はAI開発で広く使われている普通の手法です。それなのに、なぜ企業どうしの対立や安全保障の話にまでなるのでしょうか。この記事では、蒸留の仕組みから始めて、どこからが問題とされるのかを説明します。
TOPICS
