「AIはもう十分賢い」性能競争から評価重視へ｜Databricks提言
A
AI Friends
3時間前・7分で読める
❤️ 0
🔖 0
⚡ 0
この記事でわかること
2026年7月、AI業界の最前線で大きな方向転換が起きています。Databricks（データブリックス）のチーフサイエンティスト、ジョナサン・フランクル氏が「AIはもう十分賢い」と宣言したのです。
これまでAI業界は「どれだけ高性能なモデルを作れるか」という競争に明け暮れていました。つまり、ChatGPTやClaude（クロード）といったLLM（人間のように文章を書けるAI）をどこまで賢くできるかに力を注いできたのです。
しかし、フランクル氏は「顧客が本当に求めているのは、AIが良い仕事をしたとどう確かめるかだ」と指摘します。つまり、AI活用のボトルネック（障害）は、モデルの性能ではなく「評価（Eval）」にシフトしたというわけです。
AI業界では「ベンチマーク飽和」という現象が起きています。ベンチマークとは、AIの性能を測るテストのことです。たとえば、MMLU（エムエムエルユー）という有名なテストでは、2026年時点でトップモデルが88%以上のスコアを記録しています。
GPT-5.3 Codexというモデルはなんと93%を達成しました。人間の平均が約89.8%ですから、AIはすでに人間を超えているのです。つまり、既存のテストではもうモデル同士の優劣をつけられなくなりました。
さらに深刻なのは「実運用とのギャップ」です。研究室でのベンチマークスコアと、実際に企業で使ったときの性能には37%もの差があることが分かっています。つまり、テストで高得点を取っても、現場では期待したほど働かないケースが多いのです。
同じ精度を出すのに、モデルや使い方によってコストが50倍も違うこともあります。これでは「どのAIを選べばいいのか」「本当に費用対効果が出ているのか」を判断できません。
フランクル氏は「70%の確率で正しく動くのでは不十分だ。90%でも足りない。本当に信頼できなければならない」と述べています。なぜこれほど厳しい基準が必要なのでしょうか。
分かりやすい例が自動運転です。人間のドライバーは免許試験に合格すれば、その日から公道を走れます。1人のドライバーがミスをしても、影響を受けるのは基本的にその人だけです。
しかし、AIの自動運転システムが1つのミスをすると、同じシステムを搭載したすべての車に影響が及びます。つまり、1台の事故が何千台、何万台の車で再現される可能性があるのです。
だからこそ、AIには「桁違いに厳密な評価」が求められます。人間よりはるかに高い基準をクリアしなければ、実社会で安全に使えないのです。
では、なぜ評価がそれほど難しいのでしょうか。フランクル氏は「AIの評価は次の巨大モデルを作るよりはるかに難しく、重要な研究課題だ」と述べています。しかも、この問題の解決には10年以上かかる可能性があるというのです。
最大の難しさは「良い仕事とは何か」という人間の基準をチェックリストに落とし込むことです。たとえば、カスタマーサポートのAIが顧客に返信したとき、その回答が「良い」かどうかをどう判定するのでしょうか。
丁寧さ、正確さ、共感の示し方、解決までのスピード、専門用語の使い方など、評価軸は無数にあります。しかも、業種や企業文化によって「良い回答」の定義は変わります。これを自動で判定する仕組みを作るのは、想像以上に難しいのです。
この課題に対応するため、AI業界では新しい評価手法が次々と生まれています。従来のテストが飽和したため、より高難度のベンチマークにシフトしているのです。
注目されているのは「GPQA Diamond（ジーピーキューエー・ダイヤモンド）」「SWE-Bench Verified（エスダブリューイー・ベンチ）」「Humanity’s Last Exam（ヒューマニティーズ・ラスト・イグザム）」といったテストです。これらは専門家レベルの問題や、実際のソフトウェア開発タスクを含んでいます。
また、「LLM-as-Judge（エルエルエム・アズ・ジャッジ）」という手法も広がっています。これは、AIの出力を別のAIに評価させる方法です。驚くべきことに、人間の判断と80〜90%一致しながら、コストは人間の500分の1から5000分の1で済みます。
さらに「LMSYS Chatbot Arena（エルエムシス・チャットボット・アリーナ）」という評価プラットフォームでは、実際のユーザーが500万票近くを投じて、どのAIが優れているかを投票しています。これは実運用に近い評価として注目されています。
フランクル氏は企業に対して「評価とガバナンス（統治）に投資する」ことを勧めています。具体的には、MLflow（エムエルフロー）のような品質管理ツールの活用です。
MLflowは、AIモデルの性能をトラッキング（追跡）し、バージョン管理を行うオープンソースのツールです。これを使えば、AIがいつ、どんな条件で、どれくらいの精度を出したかを記録できます。つまり、AIの「品質管理」が可能になるのです。
また、Claude Opus 4.6やGPT-5.2といった最新モデルは、データサイエンスプロジェクトで85%や82%といった高スコアを記録しています。しかし、どのモデルを選ぶかより、そのモデルをどう評価し、運用するかが成功のカギになります。
2026年、AI規制の波が世界中で強まっています。EU AI Act（EU AI法）に加えて、米国でもカリフォルニアAI透明性法、コロラドAI法、テキサスRAIGA、イリノイ雇用規制など、州レベルでの法整備が進んでいます。
これらの規制に対応するには、AIがどう判断したかを説明できる仕組み（評価とガバナンス）が不可欠です。つまり、評価への投資は単なる品質管理ではなく、法令順守（コンプライアンス）の一環でもあるのです。
日本企業も、AI導入を進めるなら評価体制の整備を優先すべきタイミングに来ています。「どのAIを使うか」よりも「そのAIをどう評価し、信頼性を担保するか」が競争力を左右する時代になったのです。
この記事は AI Friends からのクロスポストです。
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
