AI 학습 거부를 robots.txt로 일괄 지정, 대형 3사가 대응 방침 표명
機械翻訳 / Machine-translated
A
AI Friends
3日前・8分で読める
機械翻訳 / Machine-translated
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
"우리 글을 AI 학습에 사용하고 싶지 않다"고 생각해도, AI 기업마다 규칙을 따로 작성하는 것은 번거로운 일이었습니다. 2026년 10월 30일, 그 수고를 줄여주는 제안이 나오고 대형 3사가 대응 방침을 밝혔습니다. 이 글에서는 무엇이 달라지는지, 그리고 운영자가 해야 할 일을 알기 쉽게 설명합니다.
ITmedia NEWS 보도에 따르면, 발표는 2026년 10월 30일（현지 시각）입니다.
Anthropic에서 표준화를 담당하는 케빈 켈리 씨가, 표준화 단체 IETF（인터넷 기술 규칙을 정하는 국제 기관）에 Internet-Draft（초안）를 제출했습니다. 제목은 「Machine-Readable Training Preference Signal」입니다.
이를 받아, OpenAI, Google, Microsoft가 대응 방침을 표명했습니다. Anthropic 자신도 이미 구현을 시작했다고 밝혔습니다.
다만, 초안은 개인 명의로 제출된 것입니다. 현시점에서 IETF의 공식 표준은 아닙니다.
robots.txt（사이트 입구에 두는, 로봇을 위한 안내판 같은 텍스트 파일）는 원래 검색 엔진의 크롤러（자동으로 페이지를 수집하는 프로그램）를 위한 구조입니다.
AI 학습을 거부하고 싶은 운영자는 AI 기업마다 크롤러 이름을 조사하고 하나씩 규칙을 작성해야 했습니다. 새로운 기업이 늘어날 때마다 추가로 작성하는 작업이 발생합니다.
새로운 방식에서는 User-Agent 행에 「__usage_ai-training」이라는 토큰（표시 문자열）을 작성합니다.
「Disallow」는 학습에의 이용을 거부하는 의사, 「Allow」는 허가하는 의사를 나타냅니다. 예를 들어, 다음과 같이 작성합니다.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
이 예시에서는 /press-kit/ 이하를 제외한 모든 페이지에 대해, 학습에 사용하지 말아 달라는 의사를 나타낼 수 있습니다.
새로운 명령이나 문법은 추가되지 않습니다. 기존 파서（파일을 읽는 프로그램）의 동작에 영향을 주지 않는다는 점이 특징입니다.
첫째, 이것은 크롤링 자체의 금지가 아닙니다. 페이지 수집을 막고 싶다면, 기존과 마찬가지로 각 크롤러용 규칙을 작성합니다.
둘째, 토큰을 작성하지 않으면 AI 학습에 대해 특별히 의향을 표시하지 않은 것으로 간주됩니다.
셋째, 대상이 생성형 AI 모델의 학습에 한정됩니다. 생성 이외의 용도에만 사용하는 모델의 학습은 포함되지 않습니다. 각 기업이 자체적인 제어 수단을 우선하거나, 개별 계약으로 취급을 변경하는 것도 허용됩니다.
향후 수개월 이내의 대응을 목표로 합니다. 구현 시 세부 내용을 공표할 예정입니다. 기존 robots.txt에 의한 크롤링 제어도 계속 적용됩니다.
다른 AI 기업과 함께 2027년 대응을 목표로 합니다.
공통 신호로 거부하면서 독자적인 「Google-Extended」를 명시하지 않은 사이트는, Google-Extended에서도 거부한 것으로 취급됩니다. Google-Extended는 2023년부터 제공되는 제어 수단으로, 앞으로도 사용할 수 있습니다.
참고로, Google-Extended에서 이용을 허가하면, Gemini 앱의 「그라운딩」（웹 정보를 참조하여 답변을 생성하는 기능）의 대상이 됩니다. 답변 안에서 소개되어 클릭으로 이어질 가능성이 있습니다.
Microsoft는 가장 구체적으로, 2027년 2월 1일부터 새로운 설정의 읽기와 적용을 시작합니다.
공통 신호에 더해, 메타 태그나 HTTP 헤더로 페이지 단위 지정에도 대응합니다. 페이지 단위 지정은 robots.txt보다 우선됩니다.
그라운딩에는 독자적인 설정을 마련합니다. 「Disallow」는 이용을 거부합니다. 「DisallowExtended」는 Copilot이나 Microsoft 365에서의 이용은 허용하면서, 외부 기업을 위한 「Web IQ」나 Microsoft Foundry의 API 경유 이용을 거부합니다.
이러한 설정은 Bing 검색 결과 노출에는 영향을 미치지 않습니다.
기존 수단과 새로운 방식을 비교하면 다음과 같습니다.
Google은 2026년 6월에도, AI 검색 기능에의 이용을 거부하는 스위치를 Search Console에서 제공하겠다고 발표했습니다. 선택지는 늘어나고 있지만, 설정 위치가 제각각인 것이 현 상황이었습니다.
어떤 지방 신문사의 웹 담당자를 생각해봅시다. 기사가 AI 학습에 사용되는 것은 곤란하다. 하지만 검색 유입은 줄이고 싶지 않다. 지금까지는 여러 기업의 규칙을 조사하고 작성해야 했습니다.
공통 신호가 확산되면, 학습은 거부하면서 검색에는 노출되는 설정을 쉽게 작성할 수 있게 됩니다.
개인 블로거나 일러스트레이터도 마찬가지입니다. 작품을 학습에 사용하고 싶지 않은 사람에게, 한 줄의 작성으로 의사를 표시할 수 있다는 것은 큰 전진입니다.
반대로, AI 답변에서 자사 사이트를 소개받고 싶은 기업도 있습니다. 그 경우, Allow로 허가하고 그라운딩에서 인용되는 방법을 남겨두는 선택도 있습니다.
다만, robots.txt는 Google의 크롤러처럼 지키는 쪽이 자발적으로 따름으로써 성립하는 구조입니다. 따르지 않는 상대를 기술적으로 막는 힘은 없습니다.
AI를 위한 의사 표시는 IETF의 AIPREF 워킹 그룹에서 논의되고 있습니다.
여기서는 의사를 나타내는 어휘（vocab）와, 그것을 콘텐츠와 연결하는 방법（attach）의 2개의 문서가 다루어지고 있습니다. 연결하는 방법의 예로서, robots.txt나 HTTP 응답 헤더가 거론되고 있습니다.
한편, 기술적 강제나 AI 학습의 감사는 이 워킹 그룹의 범위 밖입니다.
이번 초안은 AIPREF 논의에 기반한 개인 제출이므로, 앞으로 내용이 바뀔 가능성이 있습니다.
A. 아직 멈출 수 없습니다. OpenAI는 수개월 이내, Google은 2027년, Microsoft는 2027년 2월 1일부터 대응합니다.
A. 학습에 대한 의사 표시는 크롤링 금지와는 별개입니다. Microsoft도 Bing 검색 결과 노출에는 영향을 미치지 않는다고 밝히고 있습니다.
A. 필요하지 않습니다. Google-Extended는 공통 신호 도입 후에도 사용할 수 있습니다.
A. 이번 취재 범위에서는 법적 효력을 확인할 수 없었습니다. 어디까지나 의사 표시의 구조입니다.
A. 기존의 「NoArchive」「NoCache」를 대체하는 설정이 마련되며, 기존 이용 사이트는 2027년 3월 1일까지 마이그레이션이 요구됩니다.
먼저 자신의 사이트 robots.txt를 열고, 현재 어떤 지정이 있는지 확인해보세요.
이 글은 AI Friends 의 크로스포스트입니다.