AI 통계의 60%는 출처 불명? 좀비 통계란 무엇인가
機械翻訳 / Machine-translated

機械翻訳 / Machine-translated
@aifriends
AI Friends(https://aifriends.jp)のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
AI에게 "○○의 비율은?"이라고 물어서 나온 숫자를 그대로 자료에 쓴 적이 있지 않으신가요? AI 가시화 서비스 Trakkr이 2026년 10월에 발표한 조사에서는, 그 숫자의 약 60%에서 원본 연구를 확인할 수 없었습니다.
테크 미디어 GIGAZINE이 2026년 10월 30일에 소개한 것은 Trakkr의 조사입니다. 제목은 '좀비 통계'였습니다.
결과는 AI가 제시한 통계 중 원본 연구에 도달할 수 있었던 것은 40%뿐이라는 것이었습니다.
나머지의 내역은 다음과 같습니다.
즉, '확실한 근거가 있다'고 말할 수 있는 것은 10개 중 4개 정도입니다.
좀비 통계란 출처가 바뀌거나, 오래되거나, 애초에 존재하지 않았음에도 반복적으로 계속 사용되는 숫자를 말합니다.
왜 사라지지 않을까요? 각 페이지가 이전 페이지의 숫자를 복사하고 있기 때문입니다. AI는 그 복사된 페이지를 읽고 많은 사람에게 숫자를 전달하고 있습니다.
대표적인 예가 "영업 담당자 중 한 번의 팔로업으로 포기하는 사람의 비율은?"이라는 질문입니다.
ChatGPT, Perplexity, Gemini, Claude, Google의 AI 개요 등 5개 모두가 "44%"라고 답했습니다. 이 정도로 일치하면 사실처럼 보입니다.
그런데 AI 개요의 인용 출처를 추적하면 2020년의 영업 회사 통계 페이지에 도달했습니다. 그 링크 목적지는 2017년에 프리랜서 작가가 쓴 기사 샘플로, 연구는 인용되어 있지 않았습니다.
또 하나는 "첫인상의 94%는 디자인으로 결정된다"는 유명한 숫자입니다.
원본은 2004년의 연구로, 건강 관련 웹사이트를 거부한 이유에 대한 15명의 여성 코멘트를 분석한 것이었습니다. 그것이 시간이 지나면서 다른 주장으로 변하여, 2026년 AI 개요에서는 "어떤 웹사이트에서도"라고 단언되고 있었습니다.
숫자 자체보다 대상이나 조건이 빠져나가는 것이 문제입니다.
Trakkr 공식 페이지에 따르면, 조사 방법은 다음과 같습니다.
원본 연구에 도달한 비율은 AI별로 차이가 있었습니다.
ChatGPT가 가장 높았고, 답변당 통계 수도 1.3건으로 가장 적었습니다. 반대로 Claude는 답변당 6.8건으로 가장 많았습니다. 숫자를 많이 제시하는 AI일수록 근거가 약한 숫자가 섞이기 쉽다는 시각도 가능할 것 같습니다.
오해하기 쉬운 점이 있습니다. Trakkr에 따르면 AI가 숫자를 날조하는 경우는 드물고, 인용한 페이지의 82%에 그 숫자가 실제로 게재되어 있었습니다.
문제는 그 페이지가 원본 연구가 아니었다는 점입니다. 원본 연구로의 링크를 제시한 것은 전체의 21%에 그쳤습니다.
인용 출처의 종류에 따라서도 차이가 나타났습니다.
AI가 기업 블로그를 빈번하게 인용하고 있으며, 그곳의 근거 비율이 낮다는 것이 좀비 통계를 낳는 큰 원인인 것 같습니다.
AI 출처의 취약성은 다른 조사에서도 지적되고 있습니다.
Ahrefs는 ChatGPT 등 6개의 AI가 인용한 약 1,600만 건의 URL을 조사했습니다. AI를 통한 방문은 Google 검색을 통한 방문보다 404 페이지(존재하지 않는 페이지)에 도달할 확률이 2.87배 높았다고 합니다.
또한, 유럽방송연합(EBU)과 BBC의 조사에서는 AI의 뉴스 답변 중 45%에 중대한 문제가 있었습니다. Journalism.co.uk의 보도에 따르면 31%는 정보 출처의 문제였습니다.
이 세 가지를 나란히 놓으면 다음과 같이 정리할 수 있습니다.
모두 'AI의 답변은 출처를 확인하고 나서 사용하는 것'이라는 점에서 일치하고 있습니다.
이 조사는 영어권 질문이 중심이라고 생각되지만, 한국에서도 남의 일이 아닙니다. ChatGPT도 Gemini도 Claude도 한국에서 널리 사용되고 있기 때문입니다.
예를 들어, 중소기업의 기획 담당자가 다음 주 회의 자료에 "고객 획득 비용은 유지 비용의 5~25배"라고 쓰는 상황을 생각해 봅시다. AI가 자신 있게 답했기 때문에 그대로 실었습니다.
그런데 Trakkr의 조사에서는 5개의 AI 모두가 인용한 이 숫자조차 원본 연구가 발견되지 않았습니다. 회의에서 "출처는?"이라는 질문을 받고 답하지 못할 수도 있습니다.
학생 보고서나 블로그 기사, 광고 카피도 마찬가지입니다. 숫자는 설득력이 강한 만큼, 틀렸을 때의 신뢰 손상도 커집니다.
Trakkr는 통계를 사용하는 측에 3가지를 권고하고 있습니다.
조사에 따르면 변화의 대부분은 숫자 자체보다 맥락 쪽에서 일어나고 있었습니다. '누구를 대상으로 한 숫자인가'를 보는 것만으로도 위험성을 알아챌 수 있습니다.
숫자를 발신하는 측에는, 방법(표본, 날짜, 출처 링크)을 숫자 옆에 기재하는 것도 권고하고 있습니다. AI에게 올바르게 인용되기 위한 지름길이 됩니다.
이 조사에도 한계가 있습니다. 공식 페이지에는 다음과 같은 사항이 기재되어 있습니다.
또한 '확인할 수 없었다'는 것은 '틀렸다'와 같은 의미가 아닙니다. 결과는 Trakkr 단독의 조사로 받아들이는 것이 좋을 것 같습니다.
출처가 바뀌거나, 오래되거나, 존재하지 않았음에도 반복적으로 계속 사용되는 숫자를 말합니다. 복사를 거듭하는 사이에 원본 연구에서 멀어져 갑니다.
조사에서는 그렇지 않다고 되어 있습니다. 인용한 페이지의 82%에 해당 숫자가 게재되어 있었습니다. 다만, 그 페이지 자체가 원본 연구가 아닌 경우가 많습니다.
이번 조사에서는 ChatGPT의 57%가 최고였습니다. 다만, 그래도 절반 가까이는 확인되지 않았습니다. 어떤 AI든 출처 확인은 필요합니다.
안심할 수 없습니다. 44%의 영업 통계는 5개의 AI가 일치했지만, 원본 연구는 발견되지 않았습니다. 같은 오래된 페이지를 읽고 있을 뿐일 수도 있습니다.
AI가 제시한 링크를 열고, 그 페이지가 인용하고 있는 곳까지 나아갑니다. 조사 회사나 정부 기관 페이지에 도달하면 비교적 안심할 수 있습니다.
다음에 AI에게서 숫자를 받으면, 자료에 쓰기 전에 링크를 두 단계 앞까지 추적해 보세요.
이 글은 AI Friends에서 크로스포스트한 것입니다.