AIにサイトを勝手に学習させない方法｜Cloudflareなら「検索は許可・AI学習は拒否」ができる【2026年】

自分で書いたブログ記事や、時間をかけて作ったWebサイト。

それをAIが読み込んで学習に使っている。

こう聞くと、

いや、それ勝手に使われたくないんだけど。

と思う人もいるでしょう。

でも逆に、

AI検索には自分のサイトを見つけてもらいたい。

とも思います。

ここが今のWebサイト運営でかなり難しいところです。

これまで、この3つをきれいに分けるのは簡単ではありませんでした。

ところがCloudflareが、AIクローラーを用途別に、

• Search（検索）
• Agent（AIエージェント）
• Training（AI学習）

へ分類し、それぞれ個別に制御できる仕組みを提供しています。

さらに2026年9月15日から、一部のデフォルト設定も変更される予定です。

これ、ブログやWebサイトを運営している人には結構重要な話だと思います。

今回は、AIにWebサイトをクロールされるとはどういうことなのか、AI学習だけ拒否できるのか、SEOへの影響まで整理してみます。

そもそもAIはどうやってWebサイトを読んでいる？

Google検索には、Googlebotのようなクローラーがあります。

クローラーがWebサイトを巡回し、ページの内容を読み取ります。

AIサービスでも同じように、自動プログラムがWebサイトへアクセスする場合があります。

ただし、その目的は一つではありません。

CloudflareはAI関連のアクセスを大きく、

という3種類に分類しています。

① Search｜検索するためのクローラー

Searchは、その名前の通り検索・発見のためにコンテンツを収集するクローラーです。

Webサイト運営者としては、基本的に検索からユーザーが来てほしいですよね。

例えば自分の記事が検索結果やAI検索で紹介され、

となれば、サイト運営者にもメリットがあります。

そのため、Searchまで全部ブロックしてしまうと、サイトの発見性に影響する可能性があります。

② Agent｜人の代わりにサイトを見に来るAI

次がAgentです。

これはAIがユーザーの代わりに、リアルタイムでWebサイトへアクセスするような使い方です。

例えばユーザーがAIへ、

このサイトの商品を調べて。

とか、

このページの内容を確認して。

と依頼する。

するとAIエージェントがWebサイトへアクセスします。

Cloudflareでは、チャットからページを取得するボットやブラウザ操作型のエージェントなどをAgentとして説明しています。

③ Training｜AIモデルを学習させるためのクローラー

そして今回一番気になるのがTrainingです。

これは、

です。

つまり、自分の記事を誰かに紹介するために今読みに来ているのではなく、AIモデル側の学習などに利用する目的です。

サイト運営者からすると、

検索には出してほしいけど、AIの学習データとして使うのは別の話じゃない？

となるわけです。

これまでは「AIボットを全部ブロック」が分かりやすかった

Cloudflareには以前から、

Block AI bots

という機能がありました。

AI学習などに利用されるボットをまとめてブロックする仕組みです。

これは分かりやすいのですが、AIが検索やエージェントとしてWebを利用するようになったことで、少し話が複雑になってきました。

AIボットだから全部悪い。

とは限らないからです。

「検索には出たい。でもAI学習は嫌」ができるようになった

そこでCloudflareは2026年7月、AIボットを用途別に管理する仕組みを導入しました。

現在は、

分類	用途
Search	検索・インデックス・検索結果など
Agent	ユーザーの代理としてリアルタイムでアクセス
Training	AIモデルの学習・ファインチューニング

それぞれについて、

を選択できます。

これはかなり分かりやすいです。

個人的には「Search許可・Training拒否」が分かりやすい

普通の企業サイトやブログなら、まず考えやすいのが、

という考え方です。

検索やAI検索から見つけてもらう可能性は残す。

でも、自分が作ったコンテンツをAIモデルそのものの学習に使うことは拒否する。

この2つを分離できます。

Agentはどうする？

一番判断が難しいのがAgentだと思います。

AIエージェントが今後普及すると、ユーザー本人ではなくAIがWebサイトを見に来るケースが増える可能性があります。

例えば将来的には、

この条件に合う商品を探して。

とAIへお願いすると、AIが複数のECサイトを確認して商品を探す。

そんな使い方が当たり前になるかもしれません。

そう考えると、Agentを全部拒否することが必ずしも得とは限りません。

2026年9月15日からCloudflareの設定が変わる

そして今回記事にした一番大きな理由がこれです。

Cloudflareは2026年9月15日からAIクローラーに関する新しいデフォルト設定を適用すると発表しています。

新しいドメインなどでは、広告が表示されているページについて、基本的に、

という考え方になります。

なぜ「広告があるページ」はAIをブロックする？

Cloudflareの考え方が面白いです。

広告を掲載しているページは、サイト運営者が、

人間にページを訪問してもらうこと

で収益化している可能性が高い。

例えばブログなら、

という仕組みがあります。

ところがAIがページだけ読み取り、ユーザーへ回答してしまったらどうでしょう。

となる可能性があります。

サイト運営者はコンテンツを作ったのに、広告は表示されません。

だから広告ページでは、人間の訪問につながりやすいSearchを許可しつつ、TrainingやAgentを標準的に制限する。

という考え方です。

既存のCloudflare無料ユーザーも対象になる

Cloudflareの発表では、新しいドメインだけの話ではありません。

2026年9月15日までに設定を変更していない既存のFreeプラン利用者についても、新しい設定が適用される予定です。

もちろん設定は後から変更できます。

Cloudflareなら無料プランでもAI Crawl Controlが使える

これも結構すごいところです。

Cloudflareの公式ドキュメントでは、

AI Crawl Controlは全プランで利用可能

と案内されています。

つまり個人ブログなどでFreeプランを使っていても、AIサービスがサイトへどのようにアクセスしているか確認したり、AIクローラーを制御したりできます。

どのAIがサイトへ来ているか確認できる

AI Crawl Controlでは単にON・OFFを設定するだけではありません。

どのAIサービスがWebサイトへアクセスしているのか確認できます。

Cloudflareでは、例えば、

• OpenAI
• Google
• Microsoft
• Anthropic
• Meta
• ByteDance

など、運営会社単位でもAIクローラーのアクセス状況を分析できます。

robots.txtだけではダメなの？

AIクローラー対策を調べると、

robots.txt

という言葉が出てきます。

robots.txtは、Webサイトのルートに置くテキストファイルです。

クローラーに対して、

このページはクロールしていい。

とか、

ここには来ないでください。

と伝えるために使われます。

ただしrobots.txtは「お願い」に近い

ここは重要です。

Cloudflare公式も明記していますが、robots.txtへの準拠は任意です。

つまり、

ルールを守るクローラーなら従います。

でも無視するクローラーも存在できます。

Cloudflare自身も、robots.txtはサイト運営者の意思を示すものであり、アクセスを技術的に防ぐ仕組みではないと説明しています。

本当に止めたいならAI Crawl Control

そこでCloudflareは、

という使い分けを案内しています。

robots.txtで、

AI学習には使わないでください。

と伝える。

さらにCloudflare側でAIクローラーをブロックする。

この両方を使う方法です。

Content Signalsという新しい仕組みもある

さらにCloudflareは、robots.txtにContent Signalsという考え方を導入しています。

例えば、

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

のように記述することで、

という意思を機械が読み取れる形で表現できます。

さらにContent Signalsには、

• search
• ai-input
• ai-train

という用途別の指定があります。

「AI学習」と「AIの回答に使う」を分けられる

ここも面白いところです。

例えば、

ai-train=no

ならAIモデルのトレーニングには使わないでほしい。

一方、

ai-input

は、ユーザーが質問したときにAIがWebサイトを読み、回答の根拠として利用するような用途です。

つまり、

という意思表示もできます。

AI時代のrobots.txtは、かなり細かくなってきています。

じゃあChatGPTをブロックした方がいい？

ここで一番悩むところです。

個人的には、

「AIだから全部ブロック」

は少し慎重に考えた方がいいと思います。

なぜなら今後、Webサイトを探す入口がGoogleだけではなくなる可能性が高いからです。

すでにユーザーはAIへ、

おすすめのサービスを教えて。

とか、

○○と△△の違いを教えて。

と質問しています。

その回答からWebサイトを知るケースも増えています。

AI検索から除外される方が痛い可能性もある

例えば将来、

という時代になったとします。

そこでAI関連アクセスを全部ブロックしていたら、後者の集客機会を失う可能性があります。

だから「検索」と「学習」を分ける意味がある

Cloudflareの今回の考え方は、かなり合理的だと思います。

全部許可。

全部拒否。

という2択ではありません。

という中間を選べます。

Webサイト運営者としては、これが一番現実的な選択肢になるケースも多いでしょう。

SEOへの影響は？

ここは断定しない方がいいところです。

AI Trainingをブロックしたからといって、通常のGoogle検索順位が下がるとCloudflareが説明しているわけではありません。

Cloudflare自身もSearchとTrainingを別の用途として分類しています。

ただし注意したいのが、複数用途を兼ねるクローラーです。

GooglebotやBingBotにも注意が必要

Cloudflareは2026年9月15日から、SearchとTrainingなど複数用途を持つクローラーについて、より厳しい設定を適用するとしています。

公式発表では例として、

• Googlebot
• Applebot
• BingBot

なども挙げられています。

Trainingをブロックする設定によって、複数用途のクローラーも制限されるケースがあります。

Cloudflareも事前確認を推奨している

Cloudflareは、9月15日の変更前にユーザーが設定を確認・変更できるようにしています。

新しいデフォルト設定を望まない場合は、事前にダッシュボードから選択できます。

つまり、

Cloudflareが勝手にAIを全部止める。

という単純な話ではありません。

最終的な判断はサイト運営者側にあります。

WordPressでも使える？

もちろん使えます。

CloudflareはWordPress専用サービスではなく、DNSやCDN、セキュリティなどを提供するサービスです。

そのため、ドメインをCloudflare経由で利用しているWordPressサイトならAI Crawl Controlを利用できます。

WordPress側へ専用コードを大量に追加するような話ではありません。

ブログ運営者は特に考えた方がいい

個人的に今回の話と一番関係するのは、ブログやメディア運営者だと思います。

ブログは、

というモデルです。

でもAIが記事を全部読み、その内容だけユーザーへ返してしまえば、サイトへアクセスする理由が減ります。

コンテンツを作る側からすると、かなり重要な問題です。

ただしAIを敵扱いするだけでも解決しない

一方でAI検索自体は、これからさらに増える可能性があります。

だったらサイト運営者としては、

AIを完全に締め出す。

より、

方が現実的なのかもしれません。

企業サイトならどう考える？

企業サイトの場合はブログとは少し事情が違います。

目的は広告収益ではなく、

• 問い合わせ
• 資料請求
• 予約
• 商品購入
• 採用

などです。

そう考えると、AIエージェントから会社を発見してもらえるメリットの方が大きくなる可能性があります。

例えばAIへ、

この条件で対応できる制作会社を探して。

と頼んだとき、自社サイトを読んでもらえなければ候補に入らないかもしれません。

ECサイトではAIエージェントが新しい顧客になるかもしれない

ECも面白いです。

今後AIエージェントが、

するようになれば、AIが事実上の買い物代理人になります。

そうなったときAgentを完全に拒否することが正解なのか。

これは業種によってかなり変わってくると思います。

サイト別に考えるならこんな感じ

サイト	考え方
広告収益ブログ	Search許可、Training・Agentは慎重に検討
企業サイト	Search・Agentの発見性を重視
ECサイト	将来的なAIショッピングも考慮
有料コンテンツ	Trainingを強めに制限する選択肢

もちろん絶対的な正解ではありません。

重要なのは、サイトの目的によって設定を変えることです。

AI時代は「誰にサイトを読ませるか」を決める時代になる

これまでWebサイトは基本的に、

公開したら誰でも読める。

という世界でした。

robots.txtでGoogleなど検索クローラーを調整することはありましたが、一般的なサイト運営者が細かく考える機会はそれほど多くありませんでした。

でもAI時代は違います。

が同じWebサイトへアクセスします。

そして、それぞれ目的が違います。

「AIに読ませるか」はSEO設定と同じくらい重要になるかも

今まではWebサイトを公開したら、

• Googleにインデックスさせる
• サイトマップを送る
• SEOを設定する

というのが普通でした。

これからはそれに加えて、

これはWeb制作側も知っておいた方がいい話です。

9月15日までにCloudflare利用者が確認したいこと

Cloudflareを利用しているなら、一度ダッシュボードを確認してみてください。

特に、

あたりです。

サイトの目的に合っているか確認します。

まとめ｜「AIを全部拒否」ではなく用途別に決める時代へ

Cloudflareでは現在、AI関連のクローラーを、

に分けて制御できます。

そして2026年9月15日からは、広告掲載ページなどについて新しいデフォルト設定が適用される予定です。

ここで大切なのは、

AIを許可するか、拒否するか。

という単純な2択ではありません。

という選択もできます。

個人的には、この考え方が今後かなり重要になると思います。

AI検索が普及すれば、AIからWebサイトを発見してもらう価値はむしろ上がるかもしれません。

一方で、自分が時間をかけて作ったコンテンツを無条件でAI学習へ提供する必要があるのかは別問題です。

これからのWebサイト運営では「検索に出すか」だけではなく、「誰に・何の目的でコンテンツを読ませるか」をサイト運営者自身が決める時代になりそうです。

Cloudflareを使っているなら、2026年9月15日の変更前に一度AIクローラー関連の設定を確認しておくといいでしょう。

※本記事は2026年9月1日時点のCloudflare公式発表・公式ドキュメントをもとに作成しています。AIクローラーの分類・デフォルト設定・提供機能は今後変更される可能性があります。またrobots.txtやContent Signalsは意思表示の仕組みであり、すべてのクローラーによる遵守を技術的に保証するものではありません。