【混合エキスパート（MoE）】「総パラメータ24B・活性2B」は何を意味しているのか

最近のモデル名には「24B-A2B」のような表記がよく出てきます。Liquid AI が10/13に出した LFM2.5-24B-A2B は、総パラメータが24B（240億）で、1語を処理するときに実際に動くのは約2Bだけという意味です。Meta が10/15に公開した Muse Spark Open も、総816B・活性42Bと発表しています。

この2つの数字の差を生んでいるのが、混合エキスパート（MoE：Mixture of Experts）という構造です。この記事では、MoE が何を節約していて何を節約していないのかを、具体的な数字で説明します。モデルを選ぶときや、ニュースの数字を読むときに役立ちます。