ClaudeBot（ClaudeBot）

ClaudeBot 是 Anthropic Claude 的訓練資料爬蟲；對企業 RAG 與長期 LLMO 重要。

ClaudeBot 與 anthropic-ai 兩條爬蟲。允許可提升被 Claude 模型認知的機率。

為何重要

• Claude 在 B2B / 企業 RAG 滲透率快速提升
• 封鎖將錯失企業端 AI 曝光

實作要點

• robots.txt 開放 ClaudeBot
• 監控 server log 確認抓取頻率

相關內容

• [glossary] AI 爬蟲 — AI 爬蟲是 OpenAI、Anthropic、Perplexity 等公司部署、抓取網頁內容供 LLM 訓練與即時搜尋使用的自動化機器人。
• [glossary] GPTBot — GPTBot 是 OpenAI 用於擴充 GPT 模型訓練資料的網路爬蟲；允許 GPTBot 不等於同意內容用於訓練，但封鎖會降低長期被 ChatGPT 認知的
• [glossary] PerplexityBot — PerplexityBot 是 Perplexity 的即時抓取爬蟲，封鎖將直接導致品牌無法被 Perplexity 引用。
• [blog] ChatGPT vs Perplexity vs Gemini：三大 AI 搜尋引擎的引用邏輯與平台特化策略 — 三大 AI 搜尋引擎的引用邏輯有何差異？本文深度比較 ChatGPT、Perplexity、Gemini 三平台的爬蟲機制、引用偏好、答案生成邏輯，提供每個平台