GDPx에서 최고 AI도 정답률 12%? 새 벤치마크의 내용
機械翻訳 / Machine-translated
A
AI Friends
7時間前・9分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
"AI는 이제 인간의 일을 대신할 수 있지 않을까?"라고 느낀 적이 있으신가요? 새로운 벤치마크에서는 최고의 모델도 성공률이 12%에 그쳤습니다. 이 글에서는 GDPx의 내용과 수치를 읽는 방법을 알기 쉽게 설명합니다.
반도체와 AI 인프라 분석으로 알려진 SemiAnalysis가 2026년 11월 2일에 GDPx 공식 글을 공개했습니다. 저자는 Max Kan, Andrew Megalaa, Dylan Patel입니다.
GDPx는 AI 에이전트(스스로 도구를 사용하면서 작업을 진행하는 AI)의 능력을 측정하는 테스트입니다. 11개의 전문 영역에 206개의 태스크가 포함되어 있습니다.
SemiAnalysis는 "GDPx는 진짜 최전선 수준의 벤치마크로, 최고의 모델도 12%밖에 얻지 못한다"고 밝혔습니다. 즉, 의도적으로 어렵게 설계되었습니다.
영역은 칩 설계, 사이버 보안, 생물학, 금융, 법무, 퀀트 트레이딩, 재귀적 자기 개선, 하드웨어 설계, 소재 과학, 얼라인먼트, 소프트웨어 개발입니다. 정부, 부동산, 보험은 의도적으로 포함하지 않았습니다.
일반적인 테스트는 필요한 정보를 모두 텍스트에 넣어 질문합니다. GDPx는 다릅니다. 실제 직장에 가까운 환경에 AI를 배치해 업무를 수행하게 합니다.
예를 들어 금융 환경에는 약 4,000개의 파일이 있습니다. AI는 약 2,000개 파일로 이루어진 자료실에서 필요한 문서를 스스로 찾아야 합니다.
태스크 하나의 제한 시간은 표준 기준으로 8시간입니다.
문제는 RL 환경(AI를 훈련시키기 위한 모의 환경)을 구축하는 전문 스타트업이 제공했습니다. SemiAnalysis는 30개 이상의 업체에 협력을 요청했다고 합니다.
태스크를 만든 것은 14개의 데이터 제공 파트너라고 Let's Data Science의 해설은 전합니다.
점수는 3번 도전했을 때의 pass@1(첫 번째 시도에서 정답을 맞힐 확률)의 평균입니다. 영역별 가중치는 동일하게 맞췄습니다.
태스크 품질 검사도 엄격하여, SemiAnalysis는 같은 방법으로 Terminal Bench 4.0의 태스크 중 약 절반이 불량이라고 판정했다고 밝혔습니다.
종합 순위 상위는 다음과 같습니다. OfficeChai에 따르면, 태스크당 비용에도 차이가 있습니다.
하위에는 Grok 4.7이 3.9%, GLM 5.3이 2.7%로 나란히 위치합니다.
영역별 강점과 약점도 뚜렷합니다. Opus 5.5는 퀀트 트레이딩, 하드웨어 설계, 칩 설계에서 1위입니다. GPT-6 Astra는 재귀적 자기 개선과 소재 과학이 강하고, Gemini 4 Carbon은 생물학이 가장 뛰어납니다. 사이버 보안에서는 Muse Wonder Full이 큰 차이로 가장 좋은 성적을 거뒀습니다.
가장 어려웠던 것은 금융입니다. "정답이냐 오답이냐"로 채점하면 전 모델이 0%였습니다. 그래서 순위표에서는 부분 점수를 사용하고 있습니다.
공개된 금융 태스크 'Bellwood-QoE'에는 11개의 체크 항목이 있습니다. 모두 통과한 모델은 없었습니다. GPT 6.1 Sol은 평균 5.6개, 최고 한 번에 8개였습니다.
오답의 유형도 구체적입니다. 은행가에 대한 성공 보수를 순부채로 계산하거나, 작업 기록이 없는 친족에 대한 지급을 일반 경비로 처리하는 등의 실수를 저질렀습니다.
신입 경리 담당자가 기업 인수 전 실사에서 이런 실수를 한다면, 상사가 크게 당황할 것입니다.
법무 태스크에서는 Opus 5.5의 부분 점수가 평균 44%, GPT-6 Astra가 25%였습니다.
그 밖에 하드웨어 설계에서는 공개 태스크의 12번 시도 모두에서 완전한 합격이 확인되지 않았습니다. 퀀트 트레이딩에서는 채점된 111번 중 70번이 기준 전략에 패했습니다. 얼라인먼트 테스트에서는 200번 중 196번이 적어도 하나의 행동 규칙을 위반했습니다.
비슷한 이름의 벤치마크로 OpenAI의 GDPval이 있습니다. SemiAnalysis는 GDPval이 "태스크가 너무 깔끔하고 채점도 느슨하다"고 비판하고 있습니다.
GDPval의 채점은 인간 전문가 간의 일치율이 71%로 편차가 있다고 지적합니다. 또한 분야별 모의 환경이 없다는 점이 큰 약점이라고 보고 있습니다.
GDPx는 영역별로 정교하게 구축된 환경에서 실행하는 것이 특징입니다. 다만 이는 SemiAnalysis의 시각이며, GDPval 측의 반론은 이번 취재에서 확인하지 못했습니다.
한편, 안전성 필터(위험한 답변을 차단하는 기능)의 영향으로 일부 모델은 사이버, 생물학, 얼라인먼트 점수가 낮아집니다. 그래서 SemiAnalysis는 이 3개 영역을 제외한 8개 영역의 순위도 발표하고 있습니다.
그 순위에서는 GPT-6 Astra가 Opus 5.5를 0.1포인트 앞서 1위가 되고, Gemini 4 Carbon은 2위에서 5위로 내려갑니다.
한국에서도 AI에 경리, 법무, 설계 업무를 맡기고 싶어 하는 기업이 늘고 있습니다. GDPx의 결과는 그러한 기대에 냉정한 기준을 제시해 줍니다.
예를 들어, 중소기업 경리 담당자가 월말 분개 확인을 AI에 맡기는 상황을 생각해 봅시다. AI는 문서 정리는 잘하더라도, 금융 태스크처럼 미묘한 판단이 필요한 항목에서는 인간의 확인이 필수입니다.
법무 부서가 계약서 검토를 AI에 맡기는 경우도 마찬가지입니다. 부분 점수는 받을 수 있더라도, 최종 판단은 전문가가 담당하는 형태가 현실적입니다.
비용 차이도 눈여겨봐야 합니다. Gemini 4 Carbon은 Opus의 약 3분의 1 비용으로 10.9%를 기록했습니다. 비용을 중시하는 기업에게는 현실적인 선택지가 될 수 있습니다.
한국어 성능에 대해서는 이번 글에서 조사하지 않았습니다. 자사 업무에서 활용할 때는 한국어 자료로도 같은 결과가 나오는지 확인해 보시기 바랍니다.
"12%"는 AI가 업무의 88%에 실패한다는 의미가 아닙니다. 선정된 태스크는 어렵게 만들어졌으며, 일반적인 업무를 무작위로 모은 것이 아니기 때문입니다.
Let's Data Science는 다음과 같은 약점도 지적합니다.
또한 GDPx는 3~6개월마다 새 버전을 출시하는 '살아있는 벤치마크'를 목표로 하고 있습니다.
Q1. GDPx는 누가 만들었나요?
반도체와 AI 조사 기업 SemiAnalysis입니다. Max Kan, Andrew Megalaa, Dylan Patel이 작성했습니다.
Q2. 12%는 너무 낮지 않나요?
의도적으로 어렵게 만든 테스트이므로, 낮은 것은 설계대로입니다. 일반 업무의 성공률이 아닙니다.
Q3. 가장 좋은 AI는 무엇인가요?
종합적으로는 Claude Opus 5.5입니다. 다만 영역에 따라 1위가 달라지며, 사이버 보안이라면 Muse Wonder Full, 생물학이라면 Gemini 4 Carbon이 강합니다.
Q4. 직접 결과를 확인할 수 있나요?
일부만 가능합니다. 각 파트너가 태스크를 하나씩 공개하여, 14개 태스크와 168건의 실행 기록을 다운로드할 수 있습니다. 나머지는 비공개입니다.
다음 단계로, 자사 업무에서 인간의 최종 확인이 필요한 부분을 파악하고, AI에 맡길 범위를 정해 보세요.
이 글은 AI Friends의 크로스포스트입니다.
