做完一輪 AI 搜尋優化之後，企業主最在意的往往是：這些模型究竟有沒有真的來抓頁面？
流量分析與搜尋後台都不會單獨列出 GPTBot 或 ClaudeBot，可是這類程式天天都在讀取頁面。想把「AI 有多關注這個站」變成可量化的數字，還是得靠最基礎的 server log。對量身打造的網站來說，這項紀錄是維運期不能忽略的體征。
常見 AI 爬蟲一覽
| 機器人 | 開發方 | UA 辨識詞 |
|---|---|---|
| GPTBot | OpenAI | GPTBot |
| ChatGPT-User | OpenAI（即時回答） | ChatGPT-User |
| ClaudeBot | Anthropic | ClaudeBot 或 anthropic-ai |
| PerplexityBot | Perplexity | PerplexityBot |
| Google-Extended | Google（訓練用途） | Google-Extended |
| CCBot | Common Crawl | CCBot |
| Bytespider | 字節跳動（豆包） | Bytespider |
| Amazonbot | Amazon（Alexa） | Amazonbot |
darkvisitors.com 有一份持續維護的 AI 爬蟲名冊，實務上每季核對一次就夠。
以 awk 檢視 access log
可以先從下面幾道指令開始：
# 抽出出現主要 AI 爬蟲的列awk '/GPTBot|ClaudeBot|PerplexityBot|Google-Extended|CCBot/' access.log# 分別累計三種爬蟲的命中次數awk '/GPTBot|ClaudeBot|PerplexityBot/ { if (/GPTBot/) gpt++ else if (/ClaudeBot/) claude++ else if (/PerplexityBot/) pplx++}END { print "GPTBot:", gpt, "Claude:", claude, "Perplexity:", pplx }' access.log# 列出被 AI 爬蟲打得最頻繁的路徑awk '/GPTBot|ClaudeBot/ { print $7 }' access.log | sort | uniq -c | sort -nr | head -20進階做法：以 GoAccess 做視覺呈現
GoAccess 是免授權費的開源日誌分析工具，可這樣產生報表：
goaccess access.log --log-format=COMBINED -o ai-report.html --addr-spoof-key=GPTBot --addr-spoof-key=ClaudeBot產生的 HTML 會整理每日走勢、熱門路徑，以及來源位址的分布。
三項核心觀察
1. 每月造訪頻率變化
經營穩定的網站，AI 爬蟲造訪通常會一個月比一個月多。
| 月份 | GPTBot | ClaudeBot | Perplexity |
|---|---|---|---|
| 首月 | 偏少 | 偏少 | 偏少 |
| 次月 | 中等 | 中等 | 中等 |
| 第三個月 | 偏多 | 偏多 | 中上 |
曲線若突然下彎，優先排查這些情況：
- 模型短期內已收齊所需頁面
- robots.txt 誤擋了爬蟲
- 伺服器 5xx 變多
2. 爬取層級
爬蟲實際走進幾層，可對照下面的理想比例：
- 第 1 層（首頁）：應接近全部
- 第 2 層（分類與列表）：大約六到八成
- 第 3 層（內頁與文章）：大約三到五成
- 第 4 層以後：不到一成
第三層明顯偏低時，多半是站內連結不夠，深層內容沒被發現。
3. 錯誤回應占比
# 統計 AI 爬蟲遇到 404 的次數awk '/GPTBot|ClaudeBot/ && $9 == 404' access.log | wc -l# 統計 AI 爬蟲遇到 5xx 的次數awk '/GPTBot|ClaudeBot/ && $9 ~ /^5/' access.log | wc -l404 偏高通常代表死鏈還在；5xx 偏高則是主機不穩。爬蟲一旦頻繁遇到 5xx，之後再來的頻率就會下降，應立刻處理。
大型站點：用 ELK 建立長期看板
中大型網站每天的日誌可達 GB 等級，適合交給 ELK：
- Logstash 負責拆解日誌
- Elasticsearch 負責索引與存放
- Kibana 負責畫成儀表板
這樣才能看長期走勢、設定即時告警，也能把多個站放在一起比較。
監控月報可以長這樣
【AI 爬蟲月報】2026-04GPTBot：2,100 次（較上月增加 33%）ClaudeBot：1,450 次（較上月增加 32%）Perplexity：980 次（較上月增加 36%）被抓最多次的路徑：1. /insights/ai-ready-website-building-guide（387 次）2. /lp/ai-ready（256 次）3. /insights/schema-markup-web-design-guide（198 次）待處理：- /old-pricing/2024 回了 404，共 47 次，應補上 301經營者最容易忽略的三件事
- 只盯造訪次數的絕對值：該看的是趨勢。新站爬得少很正常，老站突然變少才需要警戒。
- 一看到大量爬蟲就封鎖：除非頁面含付費或機密內容，否則擋掉等於把 AI 曝光機會讓給對手。
- 放著 4xx 與 5xx 不管：爬蟲碰到太多錯誤就會降低再訪意願，等於自己把大門關上。
結語：無法觀測就無法經營
server log 雖然老派，卻很可靠；AI 搜尋興起之後，它的用處又被重新看見。建議每個月撥出約半小時看一次 AI 爬蟲摘要，它往往比搜尋後台與流量工具更早露出網站的健康變化。若再配合llms.txt 設定說明主動指引爬蟲，效果會更清楚。
把爬蟲監控做成固定看板，才能直接看出這些模型是否持續在意你的內容。企業也可依月報決定內容策略要不要轉向。相關做法見解法總覽。
