【マルチモーダル】画像・音声・動画をAIはどう読むのか。仕組みと、2026年でも苦手なこと

Google は10/13、Gemini 4 Argon をロボット向けに使う例を公開し、複数のカメラの動画やスケッチを読んでロボットの動きを組み立てられると説明しました。10/15には NVIDIA が、画像やウェブページ、PDF を読んで動く1,200億パラメータのオープンなモデル Nemotron 3.5 Super VL を出しています。画像や動画を読むAIは、説明するだけでなく、見たものをもとに動くところまで来ています。

一方、Scale AI の研究部門が10/7に公開した視覚推論の評価では、最も成績の良いモデルでも人間の6割に届きませんでした。できることと苦手なことの差が大きいのが、いまのマルチモーダルです。この記事では、AIが画像や音声をどう読んでいるのかと、その仕組みからくる得意・不得意を整理します。