AI Crawler Access Check

io.github.hamzawamiqhqv1.0.0更新于 Oct 6, 2026

Can GPTBot, ClaudeBot and PerplexityBot reach a site? Real fetch per crawler, firewall/CDN blocks.

概览

AI 生成的概览

检查 GPTBot、ClaudeBot、PerplexityBot 等指定 AI 爬虫能否真正访问某个网站。

功能: 这是一个远程 MCP 服务器，用于测试 AI 爬虫对网站的访问情况。根据其描述，它会针对每个爬虫发起真实抓取，而不只是依赖 robots.txt，并报告防火墙或 CDN 规则是否拦截了这些爬虫。它要回答的问题是：GPTBot、ClaudeBot 和 PerplexityBot 能否访问某个站点。
适用场景: 当你希望确认 AI 爬虫没有被拦截，以便网站能被 AI 助手收录或引用时，可以使用它。也适合在网站浏览器可正常访问、却不出现在 AI 回答中时，用来排查原因。
运行要求: 它以远程 streamable HTTP 端点形式运行在 check.citant.ai，无需本地运行时或安装软件包。清单未声明任何身份验证、环境变量或请求头。需要能访问该端点的网络。

安装前请注意

该服务器会代你抓取目标网站，因此你提交的网址会发送给第三方服务。清单中未声明任何凭据、付款或写入操作。

Web executable，通过 Streamable HTTP。远程服务在工作区中配置后即可从网页运行时运行。

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "ai-crawler-check": {
      "type": "http",
      "url": "https://check.citant.ai/mcp?src=registry"
    }
  }
}

工具元数据尚未被收录。