「推測しないで」でAIの捏造71%→20%｜16モデル検証
A
AI Friends
3日前・10分で読める
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
AIにWebページから価格や日付を抜き出してもらったら、ページに書いていない数字が入っていた。そんな経験はありませんか？
2026年9月27日に公開された実験で、たった一文の指示がこの「でっち上げ」を約3分の1に減らすとわかりました。数字の中身と、実務での使い方を解説します。
実験を行ったのは「Earn an Honest Dollar」というサービスです。AIエージェント同士が仕事を売り買いするマーケットプレイス（市場）を運営しています。
検証したのは、AIにWebページを読ませて「商品名」「価格」「発売日」などの項目を抜き出させるタスクです。
プロンプト（AIへの指示文）には、次の一文を入れた場合と入れない場合を用意しました。
「ページに値がない項目にはnullを使ってください。推測しないでください」
null（ヌル）は「値がない」ことを表すプログラムの記号です。つまり「わからない欄は空欄のままでいい」とAIに許可したわけです。
結果は明らかでした。一文がないとき、AIは本来空欄であるべき573項目のうち405項目（70.7%）に何かしらの値を作って埋めました。一文を入れると、574項目中116項目（20.2%）まで下がりました。
しかも16モデルすべてで、一文を外すと捏造が増えています。特定のAIだけの癖ではなく、ほぼ共通する性質だと言えそうです。
この実験の工夫は、ほぼ同じ内容の「双子のページ」を使ったところです。
商品ページやレシピ、記事ページなど7種類のページを用意し、それぞれ2枚1組で合計42組、84ページを作りました。片方のページからは、1行だけ情報が消されています。
さらに、ページには「おとり」も置かれました。古い価格や、関係のない人の名前などです。
正直なAIなら、消された項目は「null」と答えるはずです。そうでないAIは、おとりを拾ったり、それらしい値を作ったりしてしまいます。
象徴的だったのが、価格のおとりです。ページには「Was $493.00」、つまり「以前の価格は493ドル」とだけ書かれていて、今の価格は載っていません。
一文がない条件では、16モデル全部が493ドルを「現在の価格」として答えました。一文を入れると、間違えたのは1モデルだけだったと報じられています。
値札の「定価」に赤線が引かれたセール品を思い浮かべてください。人間なら赤線の数字が今の値段でないとわかります。でもAIは「空欄で出すより何か書いたほうがいい」と考えてしまうのです。
一文を入れた条件でのモデル別成績も公開されています。成績がよかったのは次の3つです。
一方、Solar Pro 4は一文を入れても36項目中19項目を捏造しました。一文なしでは36項目中35項目で、ほぼすべて埋めています。
ほかにもGPT-6 Luna、Sonnet 5、Haiku 4.5、DeepSeek V4.1 Flash、Qwen 3.8 27B、Gemma 4 31Bなど、計16モデルが検証されました。
注目したいのは、値段の高い最上位モデルが必ずしも上位ではないことです。「賢さ」と「わからないと言える正直さ」は別の能力だと考えたほうがよさそうです。
実験では、Webページの情報抜き出しを専門にする有料API（外部から呼び出せるサービス）3つも試されました。いずれも無料枠で、同じ一文を入れた条件です。
サービス捏造した項目割合
Firecrawl36項目中24項目約67%
ScrapingBee36項目中16項目約44%
ScrapeGraphAI31項目中7項目約23%
（参考）Gemini 3.8 Flash36項目中1項目約3%
Firecrawlの24件は、すべてページ上のおとりをそのまま写したものでした。専用ツールだから安心、とは限らないわけです。
ただし実験側も「有料プランでは結果が違う可能性がある」と断っています。サービスの優劣を決める材料ではなく、「自分の使い方で試すべき」という警告として読むのが適切です。
そもそも、なぜAIは知らないことまで答えてしまうのでしょうか。
OpenAIは2025年9月の論文「Why language models hallucinate」で、原因の一つを評価の仕組みにあると説明しました。多くのテストは正解数だけを数えるため、「わかりません」は0点になります。
マークシートの試験で、空欄にするより適当に塗ったほうが得をするのと同じ構造です。こうして鍛えられたAIは、自信がなくても何か答える癖がつきます。
Anthropicも公式ドキュメントで、ハルシネーション（AIがもっともらしいウソを出力すること）を減らす基本策として「Claudeに『わからない』と言う許可を与える」ことを挙げています。
今回の実験は、この昔からのコツが最新の16モデルでも効くことを、数字で確かめた形です。
一文を入れても、5回に1回は捏造が残ります。そこで実験では、別のAIに答えを検証させる方法も試しました。
GPT-6 Lunaをチェック役にすると、捏造された値49件のうち38件（約78%）を見抜きました。しかも、正しい値47件を誤って却下したケースはゼロでした。
費用は全体で0.0049ドル、1円にも届きません。より安いJev 1.13では、見抜けたのは49件中23件でした。
ただしJevは、「調理時間」を「下ごしらえ時間」として答えるような、意味が近い取り違えを6件中1件も見抜けませんでした。チェック役にも得意・不得意があります。
日本でも、請求書の読み取りや競合サイトの価格調査などにAIを使う会社が増えています。今回の知見は、そのまま現場で使えます。
ある通販会社の担当者が、毎朝ライバル店50社の価格をAIで集めているとします。セール中の店では「通常価格」と「特価」が並んでいます。
一文がなければ、AIは今回の493ドルのように、消された特価の代わりに通常価格を入れるかもしれません。その数字をもとに値下げすれば、利益を無駄に削ることになります。
月末に数百枚の請求書をAIで読み取る経理担当者を想像してみてください。支払期日が書かれていない請求書もあります。
AIが「月末払い」とそれらしく埋めてしまうと、確認の手間がかえって増えます。空欄なら「要確認」として人間に回せます。
人事担当者が、応募者の職務経歴書から「前職の年収」を抜き出させる場面も考えられます。書かれていない年収をAIが推測で埋めれば、評価を誤らせる原因になります。
どのケースでも大事なのは、「わからない」を正しい答えとして扱う設計です。
実務では、次の3点をセットにすると効果的です。
今回の実験は英語の指示で行われています。日本語で同じ効果が出るかは検証されていません。ただ「わからなければ空欄で」と明示する考え方自体は、Anthropicなども推奨する一般的なコツです。自社のデータで試してみるのがおすすめです。
今回の検証はWebページからの情報抜き出しに限られます。ただ「確かでないことは『わからない』と答えてください」と添えるのは、ふだんの質問でも手軽な対策になると言われています。
なくなりません。一文を入れても平均で約20%の項目が捏造されました。重要な数字は必ず元の情報と照らし合わせてください。
実験側は「各モデル1回ずつの実行で、繰り返しはしていない」と明記しています。ページも人工的に作ったものです。傾向をつかむ材料としては有用ですが、細かい順位は変わる可能性があります。
今回の検証では、チェック役のGPT-6 Lunaは正しい値を1件も却下しませんでした。ただし指示の強さや業務によっては空欄が増えることも考えられます。空欄の割合も一緒に記録しておくと安心です。
まずは、いま使っているAIへの指示文に「書かれていないことは推測せず空欄に」という一文を足すところから始めてみてください。
この記事は AI Friends からのクロスポストです。
