【量子化】4ビット・8ビットにするとAIモデルの何が軽くなり、何を失うのか

NVIDIA が10/15に出した Nemotron 3.5 のうち、手元のPC向けの Bolt には、740億パラメータのモデルを2ビットに縮め、24GB のメモリに収めた版があります。NVIDIA は、ほかのアプリと並べて手元のPCで動かせると説明しています。10/13に出た Liquid AI の LFM2.5-24B-A2B も、速さの公式の計測は「Q4_K_M」という4ビット系の形式で行っています。

モデルの配布ページには「4bit」「8bit」「GGUF」といった版がずらりと並びます。どれを選べばよいのか、小さくすると何を失うのかは分かりにくいところです。この記事では、量子化が何を節約し、どこに限界があるのかを整理します。