AI Crawler Access Check

io.github.hamzawamiqhqv1.0.0更新於 Oct 6, 2026

Can GPTBot, ClaudeBot and PerplexityBot reach a site? Real fetch per crawler, firewall/CDN blocks.

概覽

AI 產生的概覽

檢查 GPTBot、ClaudeBot、PerplexityBot 等指定 AI 爬蟲能否真正存取某個網站。

功能: 這是一個遠端 MCP 伺服器，用來測試 AI 爬蟲對網站的存取情況。根據其描述，它會針對每個爬蟲實際發起抓取，而不只依賴 robots.txt，並回報防火牆或 CDN 規則是否阻擋了這些爬蟲。它要回答的問題是：GPTBot、ClaudeBot 和 PerplexityBot 能否存取某個站點。
適用情境: 當你想確認 AI 爬蟲沒有被阻擋，以便網站能被 AI 助理收錄或引用時，可以使用它。也適合在網站用瀏覽器可正常開啟、卻不出現在 AI 回答中時，用來排查原因。
執行需求: 它以遠端 streamable HTTP 端點形式執行於 check.citant.ai，不需要本機執行環境或安裝套件。清單未宣告任何身分驗證、環境變數或標頭。需要能連線至該端點的網路。

安裝前請注意

此伺服器會代替你抓取目標網站，因此你提交的網址會傳送給第三方服務。清單中未宣告任何憑證、付款或寫入操作。

Web executable，透過 Streamable HTTP。遠端服務在工作區中設定後即可從網頁執行環境執行。

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "ai-crawler-check": {
      "type": "http",
      "url": "https://check.citant.ai/mcp?src=registry"
    }
  }
}

工具後設資料尚未被收錄。