【埋め込み（エンベディング）】文章を数字の並びにして「意味の近さ」を測る仕組みと、検索での強み・弱み

Google は10/6、文章・画像・音声・動画を同じ形式の数字の並びに変える、7.4億パラメータの小さなモデル EmbeddingGemma 2 を公開しました。Perplexity も、文章を1本の数字の並びではなく、トークン（単語や単語の一部）ごとに128個の数字の並びで表す検索用のモデルを Hugging Face に公開しました。モデルカードの日付は10/7です。地味ですが、AIが資料を探す部分の部品は、いまも作り替えが続いています。

社内文書を読んで答えるチャットボットも、AIの検索機能も、裏では「この質問とこの文書は意味が近いか」を数字で測っています。その数字の正体が埋め込みです。この記事では、埋め込みの仕組みと、検索で強い場面・弱い場面を整理します。