Ai Crawler Readiness

com.lumnika由 lumnika.com 發布官方發布者v1.0.0更新於 Oct 24, 2026

Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index

已驗證Streamable HTTP可網頁執行網頁搜尋與抓取安全與監控

概覽

AI 產生的概覽

遠端 MCP 端點，用來判斷 GPTBot、ClaudeBot 等 AI 爬蟲能否讀取某個網站，並比對 robots 規則與邊緣攔截。

可以做什麼
  • 檢查指定網站是否可被 AI 爬蟲讀取，並給出 GPTBot、ClaudeBot 等爬蟲的判定結果。
  • 比對 robots.txt 規則與邊緣層攔截，找出實際被拒絕存取的位置。
  • 借助 47k 網域索引提供爬蟲可存取性方面的參考。
  • 清單未列出具體工具，因此確切操作方式沒有文件說明。
適用情境
適合讓助理評估某網站對 AI 爬蟲的可讀性，例如在發布面向 AI 探索的內容之前，或排查某個爬蟲為何被攔截時使用。
執行需求
需要連線到 shop.lumnika.com 上的遠端 streamable HTTP 端點，並通過 OAuth 驗證。未宣告任何環境變數或請求標頭。
安裝前請注意
使用需透過 OAuth 登入服務商，涉及帳號及其授權。此服務由第三方託管，你查詢的網站資訊會傳送給它；使用前請先查看服務商條款。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Ai Crawler Readiness，將其新增到工作區。
  2. 連接 所需的 憑證。它們會被私密儲存，絕不會在公開頁面上展示。
  3. 為需要使用其工具的對話啟用該服務。

Web executable，透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/com.lumnika%2Fai-crawler-readiness/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。 客戶端會在首次連接時完成 OAuth 登入。

{
  "mcpServers": {
    "ai-crawler-readiness": {
      "type": "http",
      "url": "https://shop.lumnika.com/ai-readiness/mcp"
    }
  }
}

工具

0
該伺服器需要 API 金鑰等憑證，因此 SourceWeft 無法在沒有憑證的情況下讀取其工具，也未收錄。

版本歷史

1
  1. v1.0.0最新Sep 20, 2026

評分

已滿足適用檢查項的 67%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分

    請宣告包含 README 的 GitHub 儲存庫，或在 OAuth 受保護資源後設資料中提供 resource_documentation。

  • 授權條款不適用

    託管服務按其提供方的條款使用，因此這裡不要求授權條款。此檢查項不計入百分比。