AI

【METR】AIの「こなせる仕事の長さ」を測る第三者評価機関は、何をどこまで確かめられるのか

AI企業から資金を受け取らない評価機関 METR が、10/15に Anthropic の社内へ評価者6人を常駐させることになりました。METR が何を測ってきたのか、常駐で何が変わるのか、そして測り方の限界を整理します。

mitsui

2026年10月18日／ 12分

新しいAIモデルが出るたびに、開発元は「安全性を確かめた」と発表します。ただ、確かめたのが開発元自身なら、読む側はその中身を信じるしかありません。外の組織がモデルを試し、結果を公表する第三者評価は、この穴を埋めるための仕組みです。その代表格が、米国の非営利の研究機関 METR（「メーター」と読みます）です。

2026年10月15日、Anthropic は METR の社員6人に会社の端末とオフィスの席、社内のツールとシステムへのアクセスを渡したと発表しました。METR の公表を Anthropic は止められません。この記事では、METR が何者で、看板の指標「こなせる仕事の長さ」がどう作られているのか、常駐によって何が確かめられるようになり、何がまだ確かめられないのかを見ていきます。

TOPICS

mitsui記事一覧 →

DEBUNK編集長

次に読む

【Scale AI】Meta の出資から1年余り、学習データの会社は企業と政府のAIづくりに軸を広げている

Meta が49%を持つ学習データの老舗 Scale AI について、データの事業の仕組み、出資の後に起きた顧客と経営の変化、企業・政府向けへの広げ方、そして数字のどこまでが確かなのかを整理します。

AI 有料 2026.10.22

【Cursor】SpaceX の傘下に入ったAIコーディングの道具。買収後の最初の決算で、売上の大きさが初めて見えた

SpaceX は10/20の決算で、8/14に買収した Cursor が9月末までの約1か月半で$608Mを売り上げたと開示しました。Cursor がどう動く道具なのか、モデルの仕入れがどう変わったのか、そして$60Bの買収の中身を整理します。

AI 有料 2026.10.22

【Figure AI】評価額$39Bの人型ロボット企業は、どこまで実際に働いているのか

人型ロボットの Figure AI は、2025年9月に評価額$39Bでの調達を発表しました。自前の AI「Helix」の仕組み、BMW の工場での実績、量産の計画、そして会社の主張と第三者の確認の差を整理します。

AI 有料 2026.10.21

【DeepSeek】重みを公開した安いモデルを出し続ける中国の研究所と、各国の規制

米国土安全保障省（DHS）は10/20、連邦の民生機関から DeepSeek の製品を外す命令を官報に公示しました。DeepSeek のモデルの系列、重みの公開、費用の主張、各国の規制を整理します。

AI 有料 2026.10.21

あわせて読みたい用語解説

用語解説をすべて見る →

【スケーリング則】計算・データ・パラメータを増やすと、AIの性能はどこまで予測どおりに伸びるのかAIの開発各社が計算資源に巨額を投じる理由になっているスケーリング則を、Kaplanらの2020年の論文とChinchillaの2022年の論文、その後の使われ方、よくある読み違いとあわせて整理します。【プロンプトインジェクション】AIエージェントが読んだ文章に指示を紛れ込ませる攻撃と、防ぎきれない理由AIエージェントが外部の文章を読んで動くときに起きるプロンプトインジェクションを、直接型と間接型の違い、根本的に防ぎにくい理由、各社の対策の現状とあわせて整理します。【トランスフォーマー】いまのAIの土台になった仕組みと、注意機構が並列の学習を可能にした理由ChatGPTをはじめ、いまの言語モデルの土台になっている「トランスフォーマー」を、注意機構の考え方、並列に学習できる理由、その弱点と最近の改造とあわせて整理します。【拡散モデル】ノイズから画像や動画を作る仕組みと、トランスフォーマーとの組み合わせ画像・動画の生成AIの多くが使う「拡散モデル」を、ノイズを足して消す仕組み、文章で指示する方法、トランスフォーマーとの組み合わせ、速くする工夫とあわせて整理します。【合成データ】AIの学習に使う「作られたデータ」の仕組みと、モデル崩壊の議論AIの学習に使う「合成データ」を、言語モデル・シミュレーター・表データという3つの作り方、モデル崩壊の議論、いまの使われ方とあわせて整理します。【推論（インファレンス）】学習済みのAIが答えを出す工程と、その費用と速さを決めるものAIが答えを出すたびに走る「推論（inference）」を、学習との違い、入力を読む段階と答えを書く段階の仕組み、推論向けチップの動きとあわせて整理します。【RLHF】AIの「振る舞い」を作る強化学習の工程と、人の採点・AIの採点・自動判定の違いチャットAIの受け答えを形づくる人のフィードバックによる強化学習（RLHF）を、後継のRLAIF・検証可能な報酬での強化学習（RLVR）とあわせて、仕組みと弱点からまとめます。【マルチモーダル】画像・音声・動画をAIはどう読むのか。仕組みと、2026年でも苦手なこと文章だけでなく画像・音声・動画も扱うマルチモーダルなAIを、画像をトークンに変える仕組みと、大学の試験は解けても時計の読み取りで負ける理由からまとめます。