AI Crawler Access Checker

io.github.Nero-Engine由 GitHub 账号 Nero-Engine 发布v0.1.0更新于 Nov 1, 2026

Shows if GPTBot, ClaudeBot, PerplexityBot and other AI crawlers can read each site in a list.

已验证Streamable HTTP可网页运行网页搜索与抓取

概览

AI 生成的概览

托管在 Apify 上的远程 MCP 服务器，用于检查 GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫能否读取列表中的各个网站。

可以做什么
  • 检查一批网站的 AI 爬虫访问权限，报告 GPTBot、ClaudeBot、PerplexityBot 等爬虫是否被允许读取每个站点。
  • 按域名批量返回逐站结果，便于在列表中对比各站点的访问情况。
适用场景
适合在需要了解 AI 爬虫是否被自家或他人网站屏蔽时使用，例如发布内容前，或跨多个域名审查爬虫与 robots 策略时。
运行要求
远程端点 mcp.apify.com，使用 streamable HTTP 传输；需 OAuth 认证，并在 Authorization 请求头中以 Bearer 形式提供 Apify API 令牌。需要 Apify 账号，运行按事件计费。
安装前请注意
Authorization 请求头中携带 Apify API 令牌，属于机密信息。运行按事件计入 Apify 账户费用，反复检查会产生开销。提交的站点列表会由 Apify 托管服务处理。

安装

在 SourceWeft 中

  1. 打开 控制台中的 AI Crawler Access Checker，将其添加到工作区。
  2. 连接 所需的 凭据。它们会被私密存储，绝不会在公开页面上展示。
  3. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.Nero-Engine%2Fai-crawler-access-checker/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。 客户端会在首次连接时完成 OAuth 登录。

{
  "mcpServers": {
    "ai-crawler-access-checker": {
      "type": "http",
      "url": "https://mcp.apify.com/?tools=nerolabs/ai-crawler-access-checker"
    }
  }
}

工具

0
该服务器需要登录，因此 SourceWeft 无法在没有账号的情况下读取其工具，也未收录。已连接账号所能看到的内容可能因账号及其权限而异。

版本历史

1
  1. v0.1.0最新Nov 1, 2026

评分

已满足适用检查项的 67%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分

    请声明包含 README 的 GitHub 仓库，或在 OAuth 受保护资源元数据中提供 resource_documentation。

  • 许可证不适用

    托管服务按其提供方的条款使用，因此这里不要求许可证。此检查项不计入百分比。