網站文章若被拿去訓練模型，或被對話助手整理成摘要，讀者常常不再點回原頁。擔心內容白做的人，因此會考慮直接拒絕 AI 爬蟲。
大約從 2024 年開始，這已是業主最常提出的策略疑問。最容易踩的坑，是聽見同業要擋就跟著擋，結果反而削弱自己的能見度。
講直白些，重點不是二選一地「全部封鎖」或「全部放行」，而是依照商業模式來決定。下面提供一套可按產業套用的判斷基準。
常見 AI 爬蟲及其目的
| 爬蟲 | 所屬機構 | 主要用途 |
|---|---|---|
| GPTBot | OpenAI | 為 ChatGPT 蒐集訓練素材 |
| ChatGPT-User | OpenAI | 供 ChatGPT 做即時查詢 |
| ClaudeBot | Anthropic | 為 Claude 蒐集訓練素材 |
| anthropic-ai | Anthropic | 供 Claude 做即時查詢 |
| PerplexityBot | Perplexity | 即時檢索並標註來源 |
| Google-Extended | 供 Gemini 訓練，與 Googlebot 分開 | |
| CCBot | Common Crawl | 建立公開語料，常被多家模型使用 |
| Bytespider | 字節跳動 | 為豆包蒐集訓練素材 |
開放與封鎖的得失
全面開放的益處
- 被引用帶來的曝光：ChatGPT、Claude 或 Perplexity 推薦時，品牌會被更多人看見
- 搜尋版圖的先機：AI 搜尋成為主流後，較早被模型認識的網站較占優勢
- 專業背書：能成為模型的引用來源，本身就是一種業界認可
- 較晚浮現的流量：被引用後約三到十二個月，品牌關鍵字造訪往往上升
選擇封鎖的益處
- 守住付費素材：避免訂閱文章與會員專區被免費濃縮後外流
- 保住獨有數據：研究報告、產業數字與獨家分析不必白白送出
- 減輕抓取壓力：流量很大的網站可少耗一些頻寬與主機資源
- 降低合規疑慮：醫療與金融等領域有時必須更謹慎
三類產業的做法建議
內容收費型品牌
做法：只限制付費區
首頁、標題與摘要可以讓爬蟲讀取；完整正文、白皮書與資料庫則拒絕存取：
# 限制付費路徑User-agent: GPTBotUser-agent: ClaudeBotUser-agent: PerplexityBotUser-agent: Google-ExtendedDisallow: /premium/Disallow: /members/Disallow: /reports/User-agent: *Allow: /B2B 製造與服務
做法：預設全開
對企業客戶來說，被模型點名推薦，往往是最有價值的獲客方式之一。不少工業買家過去要在搜尋引擎上比對數日才找到供應商；現在摘要直接帶出名稱，等於多了一條不花廣告費的管道。若自行封鎖，等於把詢問讓給仍被引用的對手。
除非醫療或金融等合規要求不允許，否則官網宜維持開放：
User-agent: *Allow: /Disallow: /admin/Disallow: /api/線上零售
做法：預設全開
商品資訊本來就需要被找到，模型引用等於不付費的曝光。對電商而言，拒絕這類爬蟲幾乎沒有好處：
User-agent: *Allow: /Disallow: /admin/Disallow: /cart/Disallow: /checkout/Disallow: /orders/robots.txt 範例全集
範例一：預設開放
User-agent: *Allow: /Disallow: /admin/Disallow: /api/Disallow: /private/Sitemap: https://yoursite.com/sitemap.xml範例二：分區限制
# 訓練用爬蟲：不進付費路徑User-agent: GPTBotDisallow: /premium/Disallow: /members/User-agent: ClaudeBotDisallow: /premium/Disallow: /members/User-agent: anthropic-aiDisallow: /premium/Disallow: /members/User-agent: PerplexityBotDisallow: /premium/User-agent: Google-ExtendedDisallow: /premium/# 其餘爬蟲User-agent: *Allow: /Disallow: /admin/Disallow: /api/Sitemap: https://yoursite.com/sitemap.xml範例三：幾乎全擋
User-agent: GPTBotDisallow: /User-agent: ClaudeBotDisallow: /User-agent: anthropic-aiDisallow: /User-agent: PerplexityBotDisallow: /User-agent: Google-ExtendedDisallow: /User-agent: CCBotDisallow: /# 仍允許 Googlebot，以免傷及傳統搜尋User-agent: GooglebotAllow: /User-agent: *Disallow: /admin/提醒：全面拒絕會讓網站從 AI 搜尋中消失，只適合付費內容站、公務機密或涉及醫療隱私等極少數情況。
設定完成後如何檢查
- 直接抓取檔案：
curl https://yoursite.com/robots.txt - 使用 Google 的 Robots.txt Tester（位於 Search Console）
- 查主機紀錄：一到兩週後觀察 GPTBot 造訪是否下降（若已封鎖）；分析方式可參考如何從主機日誌看 AI 爬蟲
決策者常犯的三個錯
- 連 Googlebot 一起擋：這會直接打垮傳統排名，因為 GPTBot 並不等於 Googlebot。曾有人把所有機器人拒之門外，約一週內名次幾乎歸零。
- 路徑沒寫完整：
Disallow: /premium（結尾沒有斜線）會一併擋到/premium-x這類路徑。寫完務必用 Search Console 的測試工具確認。 - 只靠 robots.txt，頁面本身仍可公開讀取：守規則的爬蟲會停，不守規則的仍可能抓取。付費內容一定要有伺服器端權限檢查，單靠這份檔案等於門沒鎖。
建議先全面開放
若沒有明確的商業理由必須拒絕，先維持全開是風險較低的起點。被模型引用的紅利屬於較早布局的人；現在就封鎖，等於主動放棄。若已經開放卻仍未被引用，可對照模型不引用網站的七個常見原因逐項排查。
日後若要改成分區限制，通常幾分鐘就能改完 robots.txt；但錯過早期曝光，代價可能是數年的能見度。
這是商業選擇而非純技術
robots.txt 怎麼寫，本質上不是工程細節，而是經營者要回答的問題：你希望網站以什麼方式被發現。
做決定前可以先問自己三件事：(1) 核心內容是公開行銷，還是付費才看得到？(2) 主要對手有沒有拒絕這些爬蟲？(3) 能否接受數年後在 AI 搜尋裡幾乎消失？這三題答完，robots.txt 的方向就會清楚。
