robots.txtとAIクローラ｜許可設定の基本

どれだけAIO対策のコンテンツを整えても、AIクローラがサイトにアクセスできなければ意味がありません。robots.txtの設定は、AIO対策の出発点です。

AIクローラとは

AIクローラは、AI企業が学習やAI検索のためにWebページを収集するボットです。GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど、各社が固有の名前のボットを運用しています。

robots.txtで許可を確認する

robots.txt は、クローラごとにアクセスを許可・拒否できるファイルです。AIに引用されたいなら、主要なAIクローラを許可しておく必要があります。意図せずブロックしていないか、まず確認しましょう。

「引用される側」になる選択

AIへのデータ提供を避けたい場合は、AIクローラをブロックする運用もあります。一方、AIに引用・推薦されることを狙うなら、これらのボットを明示的に歓迎する設定が前提になります。自社の方針に応じて選択してください。

まとめ

robots.txt でAIクローラのアクセスを許可することは、AIに引用される前提条件です。意図せぬブロックがないかを確認し、引用されたいなら明示的に歓迎しましょう。