【トランスフォーマー】いまのAIの土台になった仕組みと、注意機構が並列の学習を可能にした理由

科学誌Quanta Magazineは10/12、トランスフォーマーを提案した2017年の論文「Attention Is All You Need」を取り上げるコラムを載せました。同誌によれば、この論文は25万回以上引用されています。共著者の1人で、いまはSakana AIのCTOを務めるLlion Jones氏は、言語のモデル化は「知能に最も近い定義」だと語っています。

GPTの「T」も、このトランスフォーマー（Transformer）のことです。名前はよく聞くのに、中で何が起きているのかは分かりにくい言葉でもあります。この記事では、トランスフォーマーの仕組みと、なぜこれがAIの土台になったのかを整理します。