AI Crawler Access Checker

io.github.Nero-Engine由 GitHub 帳號 Nero-Engine 發布v0.1.0更新於 Nov 1, 2026

Shows if GPTBot, ClaudeBot, PerplexityBot and other AI crawlers can read each site in a list.

已驗證Streamable HTTP可網頁執行網頁搜尋與抓取

概覽

AI 產生的概覽

託管於 Apify 的遠端 MCP 伺服器，用來檢查 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬蟲能否讀取清單中的各個網站。

可以做什麼
  • 檢查一批網站的 AI 爬蟲存取權限，回報 GPTBot、ClaudeBot、PerplexityBot 等爬蟲是否被允許讀取每個站點。
  • 依網域批次回傳逐站結果，方便在清單中比較各站點的存取狀況。
適用情境
適合在需要了解 AI 爬蟲是否被自家或他人網站封鎖時使用，例如發布內容前，或跨多個網域檢視爬蟲與 robots 政策時。
執行需求
遠端端點 mcp.apify.com，使用 streamable HTTP 傳輸；需 OAuth 驗證，並在 Authorization 標頭中以 Bearer 形式提供 Apify API 權杖。需要 Apify 帳號，執行按事件計費。
安裝前請注意
Authorization 標頭中攜帶 Apify API 權杖，屬於機密資訊。執行按事件計入 Apify 帳戶費用，反覆檢查會產生花費。提交的網站清單會由 Apify 託管服務處理。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 AI Crawler Access Checker，將其新增到工作區。
  2. 連接 所需的 憑證。它們會被私密儲存，絕不會在公開頁面上展示。
  3. 為需要使用其工具的對話啟用該服務。

Web executable，透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.Nero-Engine%2Fai-crawler-access-checker/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。 客戶端會在首次連接時完成 OAuth 登入。

{
  "mcpServers": {
    "ai-crawler-access-checker": {
      "type": "http",
      "url": "https://mcp.apify.com/?tools=nerolabs/ai-crawler-access-checker"
    }
  }
}

工具

0
該伺服器需要登入，因此 SourceWeft 無法在沒有帳號的情況下讀取其工具，也未收錄。已連接帳號所能看到的內容可能因帳號及其權限而異。

版本歷史

1
  1. v0.1.0最新Nov 1, 2026

評分

已滿足適用檢查項的 67%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分

    請宣告包含 README 的 GitHub 儲存庫，或在 OAuth 受保護資源後設資料中提供 resource_documentation。

  • 授權條款不適用

    託管服務按其提供方的條款使用，因此這裡不要求授權條款。此檢查項不計入百分比。