AI学習の拒否をrobots.txtで一括指定、大手3社が対応表明
A
AI Friends
3日前・9分で読める
@aifriends
AI Friends（https://aifriends.jp）のクロスポスト公式アカウント。AIツールの紹介・使い方・できることを、中学生でもわかるやさしい日本語で届けます。
「うちの記事をAIの学習に使われたくない」と思っても、AI企業ごとにルールを書き分けるのは大変でした。2026年10月30日、その手間を減らす提案が出て、大手3社が対応の方針を示しました。この記事では、何が変わるのかと、運営者がやるべきことをやさしく解説します。
ITmedia NEWSの報道によると、発表は2026年10月30日（現地時間）です。
Anthropicで標準化を担当するケビン・ケリー氏が、標準化団体IETF（インターネットの技術ルールを決める国際組織）にInternet-Draft（草案）を提出しました。題名は「Machine-Readable Training Preference Signal」です。
これを受けて、OpenAI、Google、Microsoftが対応する方針を表明しました。Anthropic自身も、すでに実装を始めているとのことです。
ただし、草案は個人名義での提出です。現時点ではIETFの正式な標準ではありません。
robots.txt（サイトの入口に置く、ロボット向けの案内板のようなテキストファイル）は、もともと検索エンジンのクローラー（自動でページを集めるプログラム）向けの仕組みです。
AI学習を断りたい運営者は、AI企業ごとにクローラー名を調べ、1社ずつルールを書く必要がありました。新しい会社が増えるたびに、書き足す作業が発生します。
新方式では、User-Agent行に「__usage_ai-training」というトークン（目印の文字列）を書きます。
「Disallow」は学習への利用を断る意思、「Allow」は許可する意思を表します。たとえば、次のように書きます。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
この例では、/press-kit/以下を除くすべてのページについて、学習に使わないでほしいという意思を示せます。
新しい命令や文法は増えません。既存のパーサー（ファイルを読み取るプログラム）の動作に影響しない点が特徴です。
1つ目は、これがクロール自体の禁止ではないことです。ページの取得を止めたいなら、従来どおり各クローラー向けのルールを書きます。
2つ目は、トークンを書かなければ、AI学習について特に意向を示していないとみなされることです。
3つ目は、対象が生成AIのモデルの学習に限られることです。生成以外の用途だけに使うモデルの学習は含まれません。各社が独自の制御手段を優先したり、個別契約で扱いを変えたりすることも認められています。
今後数カ月以内の対応を目指しています。実装するときに詳細を公表するとしています。既存のrobots.txtによるクロール制御も、引き続き適用されます。
他のAI企業とともに2027年の対応を目指します。
共通シグナルで拒否していて、独自の「Google-Extended」を明示していないサイトは、Google-Extendedでも拒否したものとして扱われます。Google-Extendedは2023年から提供されている制御手段で、今後も使えます。
ちなみに、Google-Extendedで利用を許可すると、Geminiアプリの「グラウンディング」（Webの情報を参照して答えを作る機能）の対象になります。回答の中で紹介されて、クリックにつながる可能性があります。
Microsoftは最も具体的で、2027年2月1日から新しい設定の読み取りと適用を始めます。
共通シグナルに加えて、metaタグやHTTPヘッダーでページ単位の指定にも対応します。ページ単位の指定は、robots.txtより優先されます。
グラウンディングには独自の設定を設けます。「Disallow」は利用を断ります。「DisallowExtended」は、CopilotやMicrosoft 365での利用は認めつつ、外部企業向けの「Web IQ」やMicrosoft FoundryのAPI経由の利用を断ります。
これらの設定は、Bing検索結果への掲載には影響しません。
これまでの手段と新方式を比べると、次のようになります。
Googleは2026年6月にも、AI検索機能への利用を断るスイッチをSearch Consoleで提供すると発表しています。選択肢は増えていますが、設定の置き場所がばらばらなのが現状でした。
ある地方の新聞社のWeb担当者を考えてみましょう。記事がAIの学習に使われるのは困る。でも検索からの流入は減らしたくない。これまでは、何社分ものルールを調べて書く必要がありました。
共通シグナルが広がれば、学習は断りつつ、検索には載せるという設定が書きやすくなります。
個人ブロガーやイラストレーターも同じです。作品を学習に使われたくない人にとって、1行の記述で意思を示せるのは大きな前進です。
逆に、AIの回答で自社サイトを紹介してほしい企業もあります。その場合は、Allowで許可し、グラウンディングで引用される道を残す選択もあります。
ただし、robots.txtは、Googleのクローラーのように守る側が自主的に従って成り立つ仕組みです。従わない相手を技術的に止める力はありません。
AI向けの意思表示は、IETFのAIPREFワーキンググループで議論されています。
ここでは、意思を表す語彙（vocab）と、それをコンテンツに結び付ける方法（attach）の2つの文書が扱われています。結び付ける方法の例として、robots.txtやHTTPレスポンスヘッダーが挙げられています。
なお、技術的な強制やAI学習の監査は、このワーキンググループの範囲外です。
今回の草案はAIPREFの議論に基づく個人提出なので、今後、内容が変わる可能性があります。
A. まだ止められません。OpenAIは数カ月以内、Googleは2027年、Microsoftは2027年2月1日からの対応です。
A. 学習への意思表示はクロール禁止とは別です。Microsoftも、Bing検索結果への掲載には影響しないとしています。
A. 必要ありません。Google-Extendedは共通シグナル導入後も使えます。
A. 今回の取材範囲では、法的な効力は確認できていません。あくまで意思表示の仕組みです。
A. 従来の「NoArchive」「NoCache」に代わる設定が用意され、既存の利用サイトは2027年3月1日までの移行が求められます。
まずは自分のサイトのrobots.txtを開き、今どんな指定があるかを確認してみましょう。
この記事は AI Friends からのクロスポストです。