AIクローラ一覧｜主要ボットと対応の考え方

AIに引用されるかどうかは、AIクローラのアクセスを許可しているかが出発点です。主要なAIクローラと、対応方針の考え方をまとめた参考資料です。

AIクローラの主な種類

AIクローラは、用途によって大きく分けられます。

• AI学習・モデル開発のためにWebを収集するクローラ。
• AI検索の回答生成時に、リアルタイムでWebを参照するクローラ。
• ユーザーの操作に応じてページを取得するエージェント的なアクセス。

主要なAIクローラの例

代表的なものに、OpenAI系（GPTBot、OAI-SearchBot、ChatGPT-User）、Anthropic系（ClaudeBot ほか）、Perplexity系（PerplexityBot、Perplexity-User）、Google系（Google-Extended）、Apple系（Applebot-Extended）、その他（Amazonbot、Bytespider、CCBot、cohere-ai、Meta-ExternalAgent など）があります。各社はクローラ名や仕様を更新するため、最新情報は各社の公開ドキュメントで確認します。

対応方針の考え方

AIに引用・推薦されたい場合は、これらのAIクローラをrobots.txtで許可します。一方、AIへのデータ提供を避けたい場合はブロックする選択もあります。学習用クローラと検索参照用クローラで方針を分けることも可能です。自社の目的に応じて決めます。

まとめ

AIクローラは用途別に多数存在し、随時更新されます。自社の目的に応じてrobots.txtで許可・拒否を決め、定期的に最新情報を確認しましょう。