GDPxで最高AIも正解率12%？新ベンチマークの中身
A
AI Friends
7時間前・9分で読める
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
「AIはもう人間の仕事を代われるのでは？」と感じたことはありませんか。新しいベンチマークでは、最高のモデルでも成功率が12%にとどまりました。この記事では、GDPxの中身と数字の読み方をやさしく解説します。
半導体やAIインフラの分析で知られるSemiAnalysisが、2026年11月2日にGDPxの公式記事を公開しました。執筆者はMax Kan氏、Andrew Megalaa氏、Dylan Patel氏です。
GDPxは、AIエージェント（自分で道具を使いながら仕事を進めるAI）の力を測るテストです。11の専門領域に206のタスクが入っています。
SemiAnalysisは「GDPxは本物の最前線レベルのベンチマークで、最高のモデルでも12%しか取れない」と書いています。つまり、わざと難しく作ってあります。
領域はチップ設計、サイバーセキュリティ、生物学、金融、法務、クオンツ取引、再帰的自己改善、ハードウェア設計、材料科学、アラインメント、ソフトウェア開発です。政府、不動産、保険は、あえて入れていません。
よくあるテストは、必要な情報をすべて文章に入れて質問します。GDPxは違います。本物の職場に近い環境にAIを置いて、仕事をさせます。
たとえば金融の環境には、約4,000個のファイルがあります。AIは約2,000ファイルの資料室から、必要な書類を自分で探さなければなりません。
1タスクの制限時間は、標準で8時間です。
問題は、RL環境（AIを訓練するための模擬環境）を作る専門のスタートアップが提供しました。SemiAnalysisは30社以上に声をかけたそうです。
タスクを作ったのは14のデータ提供パートナーだと、Let’s Data Scienceの解説は伝えています。
スコアは3回挑戦したときのpass@1（1回目で正解できる確率）の平均です。領域ごとの重みは同じにそろえています。
タスクの品質チェックも厳しく、SemiAnalysisは同じ手法でTerminal Bench 4.0のタスクのおよそ半分が不良だと判定した、と述べています。
総合ランキングの上位は次のとおりです。OfficeChaiによると、1タスクあたりの費用にも差があります。
下位にはGrok 4.7が3.9%、GLM 5.3が2.7%で並びます。
領域ごとの得意不得意もはっきりしています。Opus 5.5はクオンツ取引、ハードウェア設計、チップ設計で首位です。GPT-6 Astraは再帰的自己改善と材料科学が強く、Gemini 4 Carbonは生物学が最も得意です。サイバーセキュリティでは、Muse Wonder Fullが大差で最も良い成績でした。
いちばん難しかったのは金融です。「正解か不正解か」で採点すると、全モデルが0%でした。そこで順位表では、部分点を使っています。
公開された金融タスク「Bellwood-QoE」には、11個のチェック項目があります。全部を通したモデルはありませんでした。GPT 6.1 Solは平均5.6個、最高の1回でも8個です。
間違い方も具体的です。銀行家への成功報酬を純負債として数えたり、作業記録のない親族への支払いを通常の経費として扱ったりしました。
新人の経理担当者が会社を買う前の調査でこんなミスをしたら、上司は大慌てになるでしょう。
法務タスクでは、Opus 5.5の部分点が平均44%、GPT-6 Astraが25%でした。
そのほか、ハードウェア設計では公開タスクの12回の試行すべてで、完全な合格が確認できませんでした。クオンツ取引では、採点された111回のうち70回が基準の戦略に負けています。アラインメントの試験では、200回のうち196回が少なくとも1つの行動ルールを破りました。
似た名前のベンチマークに、OpenAIのGDPvalがあります。SemiAnalysisは、GDPvalは「タスクがきれいすぎて、採点も甘い」と批判しています。
GDPvalの採点は、人間の専門家同士の一致率が71%と、ばらつきがあると指摘しています。さらに、分野ごとの模擬環境がない点が大きな弱点だと考えています。
GDPxは、領域ごとに作り込んだ環境で動かすのが特徴です。ただしこれはSemiAnalysisの見方であり、GDPval側の反論は今回の取材では確認していません。
なお、安全性フィルタ（危険な回答を止める仕組み）の影響で、一部のモデルはサイバー、生物学、アラインメントの点が下がります。そこでSemiAnalysisは、この3領域を除いた8領域のランキングも出しています。
そのランキングでは、GPT-6 AstraがOpus 5.5を0.1ポイント上回って1位になり、Gemini 4 Carbonは2位から5位に下がります。
日本でも、AIに経理、法務、設計の作業を任せたいという会社が増えています。GDPxの結果は、その期待に冷静な目安を与えてくれます。
たとえば、中小企業の経理担当者が月末の仕訳チェックをAIに頼む場面を考えます。AIは書類の整理は得意でも、金融タスクのように微妙な判断が必要な項目では、人間の確認が欠かせません。
法務部門が契約書のレビューをAIに任せる場合も同じです。部分点は取れても、最後の判断は専門家が担う形が現実的です。
費用の差も見逃せません。Gemini 4 CarbonはOpusの約3分の1の費用で10.9%を出しています。コストを重視する会社には、現実的な選択肢になりそうです。
日本語での性能は、今回の記事では調べられていません。自社の業務で試すときは、日本語の資料でも同じ結果になるかを確かめてください。
「12%」は、AIが仕事の88%に失敗するという意味ではありません。選ばれたタスクは難しく作られており、普通の仕事を無作為に集めたものではないからです。
Let’s Data Scienceは、次の弱点も挙げています。
また、GDPxは3〜6か月ごとに新バージョンを出す「生きたベンチマーク」を目指しています。
Q1. GDPxは誰が作ったのですか？
半導体とAIの調査会社SemiAnalysisです。Max Kan氏、Andrew Megalaa氏、Dylan Patel氏が執筆しました。
Q2. 12%は低すぎませんか？
わざと難しく作ったテストなので、低いのは設計どおりです。普通の仕事の成功率ではありません。
Q3. 一番いいAIはどれですか？
総合ではClaude Opus 5.5です。ただし領域によって1位は変わり、サイバーならMuse Wonder Full、生物学ならGemini 4 Carbonが強いです。
Q4. 自分でも結果を確かめられますか？
一部だけ可能です。各パートナーが1タスクずつ公開し、14タスクと168件の実行記録をダウンロードできます。残りは非公開です。
次の一歩として、自社の業務で人間の最終確認が必要な場所を洗い出し、AIに任せる範囲を決めてみてください。
この記事は AI Friends からのクロスポストです。
