GDPx上最强AI正确率仅12%？新基准测试内容解析
機械翻訳 / Machine-translated
A
AI Friends
7時間前・8分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
你是否曾感觉"AI已经可以替代人类工作了"？在这项新基准测试中，即便是最顶尖的模型，成功率也仅停留在12%。本文将用通俗易懂的方式解析GDPx的内容及数据解读方法。
以半导体及AI基础设施分析著称的SemiAnalysis，于2026年11月2日发布了GDPx官方文章。作者为Max Kan、Andrew Megalaa和Dylan Patel。
GDPx是一项用于衡量AI智能体（能够自主使用工具完成任务的AI）能力的测试，涵盖11个专业领域、共206项任务。
SemiAnalysis表示："GDPx是真正的前沿级基准测试，即使是最顶尖的模型也只能获得12%的分数。"也就是说，这个测试本身就是刻意设计得很难的。
涵盖领域包括：芯片设计、网络安全、生物学、金融、法务、量化交易、递归自我改进、硬件设计、材料科学、对齐以及软件开发。政府、房地产和保险则被有意排除在外。
常见的测试会将所有必要信息写入题目再进行提问。GDPx则不同——它将AI置于接近真实职场的环境中，让其完成实际任务。
例如，金融环境中约有4,000个文件，AI需要自行从约2,000个文件的资料库中找到所需文件。
每项任务的标准时限为8小时。
题目由专门为AI训练构建模拟环境的初创企业提供，SemiAnalysis据称联系了30余家机构。
Let's Data Science的解析文章指出，任务由14家数据合作伙伴创建。
分数取3次尝试中pass@1（首次即答对的概率）的平均值，各领域权重相同。
任务质量审核也相当严格，SemiAnalysis表示，他们用同样的方法判定Terminal Bench 4.0中约半数任务存在缺陷。
综合排行榜前几名如下。据OfficeChai报道，各模型每项任务的费用也存在差异。
末位方面，Grok 4.7得3.9%，GLM 5.3得2.7%。
各领域的强弱差异也十分明显。Opus 5.5在量化交易、硬件设计和芯片设计领域排名第一；GPT-6 Astra在递归自我改进和材料科学方面表现突出；Gemini 4 Carbon则在生物学领域最为擅长。在网络安全领域，Muse Wonder Full以明显优势取得最佳成绩。
最难的领域是金融。若采用"对或错"的评分方式，所有模型均得0%。因此，排行榜改用部分得分制。
公开的金融任务"Bellwood-QoE"共有11个检查项目，没有任何模型全部通过。GPT 6.1 Sol平均通过5.6项，单次最高也仅通过8项。
错误方式也很具体：例如将支付给银行家的成功报酬计入净负债，或将无工作记录的亲属薪酬当作普通费用处理。
如果一名新入职的财务人员在企业收购尽职调查中犯下这类错误，上司恐怕会大为紧张。
法务任务方面，Opus 5.5的部分得分平均为44%，GPT-6 Astra为25%。
此外，硬件设计公开任务的12次尝试中，均未发现完全通过的情况。量化交易方面，在评分的111次中，有70次输给了基准策略。对齐测试中，200次里有196次至少违反了一项行为规则。
有一个名称相似的基准测试——OpenAI的GDPval。SemiAnalysis批评GDPval"任务过于理想化，评分也过于宽松"。
SemiAnalysis指出，GDPval的评分在人类专家之间的一致率仅为71%，存在较大差异；同时认为缺乏各领域专属模拟环境是其重大缺陷。
GDPx的特点在于为每个领域构建了专门的运行环境。不过，这是SemiAnalysis的立场，本次未能确认GDPval方面的回应。
另外，由于安全过滤器（阻止危险回答的机制）的影响，部分模型在网络安全、生物学和对齐领域的得分有所降低。为此，SemiAnalysis也发布了排除这3个领域、仅含8个领域的排行榜。
在该排行榜中，GPT-6 Astra以0.1分之差超越Opus 5.5排名第一，Gemini 4 Carbon则从第2名下滑至第5名。
在日本，越来越多的企业希望将财务、法务、设计等工作交由AI处理。GDPx的结果为这些期待提供了冷静的参考依据。
例如，设想中小企业的财务人员在月末将账务核对工作委托给AI的场景。AI虽擅长整理文件，但在金融任务中那种需要细微判断的项目上，仍不可缺少人工审核。
法务部门将合同审查委托给AI的情况也是如此——即便能获得部分得分，最终判断仍需由专业人士来承担，这才是现实可行的方式。
费用差异同样不可忽视。Gemini 4 Carbon以约Opus三分之一的费用实现了10.9%的成绩，对于注重成本的企业而言，这将是一个现实的选择。
本次文章未对日语性能进行调查。在实际业务中试用时，请务必确认在日语资料下能否取得同等结果。
"12%"并不意味着AI有88%的工作会失败。因为所选任务是刻意设计得很难的，并非对普通工作的随机抽样。
Let's Data Science还指出了以下不足之处：
此外，GDPx计划每3至6个月发布新版本，目标是成为一个"持续演进的基准测试"。
Q1. GDPx是谁制作的？
由半导体与AI研究机构SemiAnalysis制作，由Max Kan、Andrew Megalaa和Dylan Patel执笔。
Q2. 12%是不是太低了？
这是刻意设计得很难的测试，得分低是符合设计初衷的，并不代表普通工作的成功率。
Q3. 哪个AI最好？
综合排名上，Claude Opus 5.5位居第一。但各领域的第一名有所不同，网络安全领域Muse Wonder Full最强，生物学领域Gemini 4 Carbon更胜一筹。
Q4. 自己也能验证结果吗？
只能验证一部分。各合作伙伴各公开了1项任务，共14项任务和168条执行记录可供下载，其余均为非公开。
作为下一步行动，建议梳理出本公司业务中需要人工最终确认的环节，并据此划定可交由AI处理的范围。
本文为 AI Friends 的转载文章。
