Robots.txt & AI Crawler Checker

dev.workers.quietworklabs.robots-check由 robots-check.quietworklabs.workers.dev 發布官方發布者v1.0.0更新於 Oct 25, 2026

robots.txt 測試工具（RFC 9309）、AI 爬蟲存取檢查（GPTBot、ClaudeBot 等）以及站點地圖檢查。

AI 翻譯由 AI 模型根據下方的原文描述翻譯，可能有誤。

原文描述

robots.txt tester (RFC 9309), AI crawler access (GPTBot, ClaudeBot...) and sitemap check.

已驗證Streamable HTTP可網頁執行網頁搜尋與抓取

概覽

Robots.txt & AI Crawler Checker 的託管 MCP 服務（robots-check.quietworklabs.workers.dev），由 robots-check.quietworklabs.workers.dev 發布；無需登入；Streamable HTTP；3 個工具。

暫無 AI 概覽：以下資訊來自註冊中心條目和服務本身。

發布者
robots-check.quietworklabs.workers.dev
端點
robots-check.quietworklabs.workers.dev
最近檢查

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Robots.txt & AI Crawler Checker，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Web executable，透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/dev.workers.quietworklabs.robots-check%2Frobots-check/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "robots-txt-ai-crawler-checker": {
      "type": "http",
      "url": "https://robots-check.quietworklabs.workers.dev/mcp"
    }
  }
}

工具

3

robots_check

May this user-agent crawl this URL? (RFC 9309)

Crawl-permission preflight for agents and scrapers: fetches the site's robots.txt and evaluates the URL for a user-agent token per RFC 9309 (group by product token else *, longest match, Allow wins ties, * and $ wildcards, 4xx=allow all, 5xx=disallow all). Returns allowed, the deciding rule and line, crawl-delay and sitemaps. Deterministic, no AI. Price: $0.001 USDC per call via x402 (Base); the first 5 calls per day per client are free.

輸入參數url必填user_agent

ai_crawler_access

Which AI crawlers a site allows or blocks

AI crawler access report for a URL: robots.txt verdict for 20 tokens (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, Applebot-Extended, PerplexityBot, Meta-ExternalAgent, CCBot, Bytespider, Amazonbot and more) grouped by training/search/user purpose, plus page meta robots, X-Robots-Tag (noindex/noai) and llms.txt presence. Deterministic, no AI. Price: $0.002 USDC per call via x402 (Base); the first 5 calls per day per client are free.

輸入參數url必填

sitemap_check

Find and validate an XML sitemap

Finds a site's sitemap (from robots.txt, else /sitemap.xml) or checks the sitemap URL given, and validates it: urlset vs sitemapindex, entry count against the 50,000 limit, lastmod format and range, relative/off-host/duplicate/http URLs, gzip support. Returns sample URLs or child sitemaps. Deterministic, no AI. Price: $0.002 USDC per call via x402 (Base); the first 5 calls per day per client are free.

輸入參數url必填

版本歷史

1
  1. v1.0.0最新Oct 18, 2026

評分

已滿足適用檢查項的 72%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 圖示10 分

    請在註冊中心條目中發布圖示。

  • 文件15 分

    請宣告包含 README 的 GitHub 儲存庫，或在 OAuth 受保護資源後設資料中提供 resource_documentation。

  • 授權條款不適用

    託管服務按其提供方的條款使用，因此這裡不要求授權條款。此檢查項不計入百分比。