AI
【推論（インファレンス）】学習済みのAIが答えを出す工程と、その費用と速さを決めるもの
AIが答えを出すたびに走る「推論（inference）」を、学習との違い、入力を読む段階と答えを書く段階の仕組み、推論向けチップの動きとあわせて整理します。
目次
NVIDIAは8/24、推論専用のラック「Groq 3 LPX」の量産を始めたと発表しました。2025年12月にGroqから技術のライセンスを受けて作った製品で、Gemma 4 31Bを10万トークンの文脈で動かし、1秒に3,400トークンを書き出したといいます（Artificial Analysisのベンチマーク）。10/12にはMicrosoftが、自社チップMaiaを自社の製品とサービスの「主力の推論システム」にすると書きました。
AIの計算の主役は、モデルを作る「学習」から、作ったモデルを動かす「推論」に移りつつあります。ただ、日本語の「推論」は、推論モデルの「考える」と同じ言葉なので混ざりやすいところです。この記事では、推論とは何か、費用と速さが何で決まるのかを整理します。
TOPICS
mitsui記事一覧 →
DEBUNK編集長
