유창한 AI는 거짓말도 믿게 될까? 80%가 알아채지 못한 연구
機械翻訳 / Machine-translated

機械翻訳 / Machine-translated
@aifriends
AI Friends(https://aifriends.jp)のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
AI의 답변이 정중하고 자연스러우면 무심코 믿어버리지 않나요? 2026년 11월에 주목받은 연구가 바로 그 심리를 수치로 보여줬습니다. 이 글에서는 연구 내용과 우리가 취할 수 있는 대책을 알기 쉽게 설명합니다.
네덜란드의 라드바우드 대학교 연구팀이 챗봇의 말투와 사용자로부터의 신뢰도 사이의 관계를 조사했습니다. 연구자는 마리아나 데 사 시케이라, 티보르 보세 교수, 바르바라 뮐러 부교수입니다.
논문은 학술지 『Computers in Human Behavior: Artificial Humans』에 게재되었습니다. 대학의 발표는 2026년 10월 29일입니다. 일본에서는 GIGAZINE이 11월 14일에 다뤘습니다.
결론은 단순합니다. 유창한 문장으로 말하는 AI는 내용이 틀렸더라도, 올바르지만 무뚝뚝한 AI와 비슷하게 '똑똑하고 호감이 간다'는 평가를 받았습니다.
환각(AI가 그럴듯한 거짓말을 만들어내는 현상)이 있더라도, 말하는 방식이 훌륭하다면 사람들은 개의치 않게 된다는 것입니다.
실험에서는 참가자에게 『반지의 제왕(The Lord of the Rings)』에 관한 챗봇과의 대화를 읽게 했습니다. 대화는 다음 4종류 중 하나입니다.
참가자는 미리 원작의 기본 지식이 있는 사람만 선발되었습니다. 오류를 알아챌 수 있어야 하는 사람들입니다.
참가자는 대화를 읽은 후 챗봇의 똑똑함과 호감도를 평가했습니다. 참가 인원수는 대학 발표에도 GIGAZINE 기사에도 명시되어 있지 않습니다.
가장 높은 평가를 받은 것은 매끄럽고 올바른 챗봇이었습니다. 여기까지는 예상대로입니다.
놀라운 것은 다음 결과입니다. 매끄럽지만 틀린 정보를 말하는 챗봇도, 올바른 정보를 사무적으로 말하는 챗봇과 비슷하게 '지적이고 호감이 간다'는 평가를 받았습니다.
또한, Digital Information World 등의 보도에 따르면, 참가자의 약 80%가 오류를 알아채지 못했습니다.
뮐러 부교수는 "문장이 우아하고 자연스럽게 들리면, 사람들은 자동적으로 거기서 지성을 느껴버린다"고 말했습니다.
상상해보세요. 회의에서 차분한 말투로 술술 말하는 동료와 어눌하게 말하는 동료가 있습니다. 내용을 꼼꼼히 확인하기 전에 전자가 더 '능력 있는 사람'으로 보이지 않나요? AI에서도 똑같은 일이 일어나고 있는 것입니다.
보세 교수는 챗봇이 "인간적이고 설득력 있게 말하는" 것을 중시해 만들어졌다고 지적합니다. 내용이 사실인지 여부는 부차적이 되어 있다고 합니다.
사람이 말할 때 자신이 없으면 말을 더듬거나, '아마도'라고 덧붙이곤 합니다. 그런데 LLM(인간처럼 문장을 쓸 수 있는 AI)은 모르는 것도 같은 톤으로 매끄럽게 답하는 경우가 있습니다.
듣는 사람이 의지하는 '머뭇거림'이라는 신호가 AI에게는 없습니다. 그렇기 때문에 오류를 알아채기 어려워집니다.
예를 들어, 자료를 만드는 직장인을 생각해봅시다. AI에게 시장 규모를 물으면, 구체적인 금액과 연도를 곁들인 답변이 당당하게 돌아옵니다.
문장이 깔끔하니 그대로 슬라이드에 붙여버립니다. 며칠 후 상사에게 "이 숫자의 출처는?"이라는 질문을 받고 나서야 비로소 수상하다는 것을 깨닫습니다. 이런 상황은 결코 드문 일이 아닐 것입니다.
학생이 숙제를 조사할 때도, 건강이나 약에 관한 것을 AI로 찾아볼 때도, 같은 함정이 있습니다.
연구팀이 제시한 대책은, AI가 답변할 때마다 불확실성을 드러내는 것입니다. 보세 교수는 "챗봇 자체가 의심을 드러낸다면, 사람이 허위 정보를 사실로 받아들이는 것을 막을 수 있다"고 말합니다.
교수에 따르면, 채팅 처음에 "AI는 오류가 있을 수 있습니다"라고 한 번 표시하는 것만으로는 부족합니다. 그래서 테크 기업에 불확실성 표시를 의무화하는 것도 고려해야 한다고 말합니다.
예를 들어 "이 부분은 확신이 낮습니다" "출처를 확인해주세요"라고 답변 안에서 알려주는 AI라면, 읽는 사람도 멈추고 생각할 수 있습니다.
일본에서도 비슷한 문제가 나타나고 있습니다. 보안 기업 엘테스(Eltes)가 2026년 9월에 발표한 실태조사가 있습니다. 대상은 업무에서 생성 AI를 자주 사용하는 400명입니다.
이 조사에서 환각을 "여러 번 있었다" "가끔 있었다"고 답한 사람이 81.1%였습니다.
잘못된 정보를 믿어 업무에 영향이 생긴 사람은 33.4%입니다. 세부적으로는 대외용 자료나 제출물이 17%, 사내 의사결정이나 보고가 16.4%였습니다.
알아챈 이유로 가장 많은 것은 스스로 팩트체크(사실 확인)를 한 경우로 64.2%였습니다. 반면 평소에 팩트체크를 하지 않는 사람도 13.5% 있습니다.
엘테스는, 팩트체크를 하지 않는 54명 중 50명이 예방책도 취하지 않았으며, 전원이 환각 경험이 없다고 답한 점에 주목하고 있습니다. '알아채지 못했을 뿐'일 가능성이 높다는 견해입니다. 다만 이것은 조사 회사의 추론이며, 확인된 사실은 아닙니다.
테크 기업의 대응을 기다리는 동안에도 우리가 할 수 있는 일이 있습니다.
업무에서 사용하는 숫자나 인명, 날짜는 원본 자료나 공식 사이트에서 반드시 확인합시다.
"근거가 되는 출처를 알려줘" "어느 부분이 불확실한지 알려줘"라고 질문해보세요. 나온 URL이 실제로 존재하는지도 직접 확인합니다.
문장이 훌륭하다는 것과 내용이 올바르다는 것은 별개입니다. 이번 연구에서는 사람들이 이 두 가지를 무심코 혼동한다는 것이 밝혀졌습니다.
대학 발표와 GIGAZINE 기사에는 참가 인원수가 기재되어 있지 않습니다. 원작의 기본 지식이 있는 사람이 선발되었다는 것만 알 수 있습니다.
AI가 사실이 아닌 것을 그럴듯한 문장으로 답해버리는 현상입니다. '환각'이라고 번역됩니다.
그렇다고는 할 수 없습니다. 실험에는 사무적인 말투에 거짓이 섞이는 조건도 포함되어 있었습니다. 말투에 관계없이 내용 확인이 필요합니다.
이번 실험은 『반지의 제왕』에 관한 대화를 사용한 것으로, 특정 국가의 서비스를 조사한 것이 아닙니다. 다만, 엘테스의 조사에서 보듯이 많은 사용자가 환각을 경험하고 있습니다.
다음에 AI 답변을 활용할 때는, 숫자와 고유명사 중 하나만이라도 원본 자료에서 확인해보세요.
이 글은 AI Friends의 크로스포스트입니다.