流畅的AI说谎也会被相信?80%的人未察觉的研究
機械翻訳 / Machine-translated

機械翻訳 / Machine-translated
@aifriends
AI Friends(https://aifriends.jp)のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
当AI的回答既礼貌又自然,你是否会不由自主地相信它?2026年11月备受关注的一项研究,正是用数字揭示了这种心理。本文将以通俗易懂的方式,解析这项研究的内容以及我们能采取的应对措施。
荷兰奈梅亨大学(Radboud University)的研究团队,调查了聊天机器人的措辞与用户信任度之间的关系。研究人员分别是玛丽亚娜·德·萨·西凯拉(Mariana de Sá Siqueira)、蒂博尔·博塞(Tibor Bosse)教授和芭芭拉·缪勒(Barbara Müller)副教授。
论文已发表于学术期刊《Computers in Human Behavior: Artificial Humans》。大学的公告发布于2026年10月29日。在日本,GIGAZINE于11月14日对此进行了报道。
结论很简单:措辞流畅的AI,即便内容有误,也与内容正确但措辞简短的AI获得了同等的"聪明且令人愉快"的评价。
这说明,即使存在幻觉(AI编造出看似合理的谎言的现象),只要表达方式得体,人们就会对其放松警惕。
实验中,研究人员让参与者阅读与聊天机器人就《魔戒(指环王)》进行的对话,对话分为以下四种类型之一:
参与者均为事先对原著有基本了解的人,也就是本应能够识别错误的人群。
参与者在阅读对话后,对聊天机器人的智能程度和好感度进行了评分。大学公告和GIGAZINE的文章中均未注明参与人数。
评价最高的是措辞流畅且内容正确的聊天机器人,这在意料之中。
令人惊讶的是接下来的结果:措辞流畅但提供错误信息的聊天机器人,与措辞简短但提供正确信息的聊天机器人获得了同样"智能且令人愉快"的评价。
此外,根据Digital Information World等媒体的报道,约80%的参与者未能察觉错误。
缪勒副教授表示:"当文章优雅、听起来自然时,人们会自动从中感受到智慧。"
请试着想象一下:在会议上,有一位措辞沉稳、侃侃而谈的同事,也有一位说话含糊的同事。在仔细核实内容之前,前者是不是看起来更像"能干的人"?AI身上也发生着同样的事情。
博塞教授指出,聊天机器人在设计时就非常注重让其"像人一样说话、具有说服力",内容是否属实反而是次要的。
人类说话时,如果没有把握,往往会迟疑,或加上"也许"这样的措辞。然而,LLM(能像人类一样书写文章的AI)即便对某件事一无所知,也可能以同样的语气流畅地作答。
听者通常会依赖"犹豫"这一信号来判断说话者的把握程度,而AI身上没有这个信号。因此,人们更难察觉错误。
以一位正在制作资料的上班族为例。向AI询问市场规模时,它自信满满地给出了带有具体金额和年份的回答。
由于文字措辞优美,便直接贴到了PPT上。几天后,上司问:"这个数字的出处是哪里?"这才意识到有些可疑。这样的场景,想必并不罕见。
学生在做作业查资料时,或者用AI查询健康和用药信息时,同样存在这样的陷阱。
研究团队提出的应对措施是,让AI在每次回答时展示不确定性。博塞教授表示:"如果聊天机器人自身能表达出疑虑,就能防止人们将错误信息当作真相接受。"
教授还指出,仅仅在对话开始时提示一次"AI可能会出错"是远远不够的。因此,他认为应当考虑强制要求科技企业在回答中显示不确定性。
例如,如果AI能在回答中说明"这部分我的把握不高"或"请核实信息来源",读者便能适时停下来思考。
类似的问题在日本同样存在。安全公司Eltes于2026年9月发布了一项实态调查,调查对象为400名在工作中频繁使用生成式AI的人员。
调查显示,回答"多次遇到"或"偶尔遇到"幻觉问题的人占81.1%。
因相信错误信息而对工作造成影响的人占33.4%,其中用于对外资料或提交物的占17%,用于内部决策或汇报的占16.4%。
察觉到幻觉的原因中,最多的是自行进行事实核查,占64.2%。与此同时,平时不做事实核查的人也占13.5%。
Eltes注意到,在54名不做事实核查的人中,有50人也未采取任何预防措施,且全部回答从未遇到过幻觉问题。这被认为很可能是"只是没有察觉到"。不过,这属于调查机构的推断,并非经过核实的事实。
在等待科技企业采取应对措施的同时,我们自己也能有所行动。
工作中用到的数字、人名、日期,务必通过原始资料或官方网站加以确认。
可以试着提问:"请告诉我相关的信息来源",或"哪些部分你不太确定?"同时,对AI给出的URL是否真实存在,也要亲自验证。
文字措辞优美,与内容是否正确是两回事。本次研究表明,人们往往会不自觉地将这两者混为一谈。
大学公告和GIGAZINE的文章中均未注明参与人数。目前只知道参与者均为对原著有基本了解的人。
指AI用看似合理的文字回答了并非事实的内容的现象,译为"幻觉"。
不能这么说。实验中也包含了措辞简短但夹杂虚假内容的条件。无论措辞如何,都需要对内容进行核实。
本次实验使用的是关于《魔戒》的对话,并非针对日本服务的调查。不过,正如Eltes的调查所示,日本用户同样频繁遭遇幻觉问题。
下次使用AI的回答时,请至少选择其中一个数字或专有名词,回到原始资料加以确认。
本文转载自 AI Friends。