Ai Crawler Readiness
com.lumnika由 lumnika.com 发布官方发布者v1.0.0更新于 Oct 24, 2026
Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index
概览
AI 生成的概览
远程 MCP 端点，用于判断 GPTBot、ClaudeBot 等 AI 爬虫能否读取某个站点，并对比 robots 规则与边缘拦截。
- 可以做什么
- 检查指定站点是否可被 AI 爬虫读取，并给出 GPTBot、ClaudeBot 等爬虫的判定结果。
- 对比 robots.txt 规则与边缘层拦截，找出实际被拒绝访问的位置。
- 借助 47k 域名索引提供爬虫可访问性方面的参考。
- 清单未列出具体工具，因此确切操作方式没有文档说明。
- 适用场景
- 适合让助手评估某站点对 AI 爬虫的可读性，例如在发布面向 AI 发现的内容之前，或排查某个爬虫为何被拦截时使用。
- 运行要求
- 需要访问 shop.lumnika.com 上的远程 streamable HTTP 端点，并通过 OAuth 认证。未声明任何环境变量或请求头。
安装前请注意
使用需通过 OAuth 登录服务商，涉及账号及其授权。该服务由第三方托管，你查询的站点信息会提交给它；使用前请查看服务商条款。
安装
在 SourceWeft 中
- 打开 控制台中的 Ai Crawler Readiness，将其添加到工作区。
- 连接 所需的 凭据。它们会被私密存储，绝不会在公开页面上展示。
- 为需要使用其工具的对话启用该服务。
Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。
交给智能体安装
把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。
阅读 https://sourceweft.com/mcp/com.lumnika%2Fai-crawler-readiness/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。其他 MCP 客户端
把它添加到你客户端的 mcpServers 配置中。 客户端会在首次连接时完成 OAuth 登录。
{
"mcpServers": {
"ai-crawler-readiness": {
"type": "http",
"url": "https://shop.lumnika.com/ai-readiness/mcp"
}
}
}工具
0该服务器需要 API 密钥等凭据，因此 SourceWeft 无法在没有凭据的情况下读取其工具，也未收录。
版本历史
1- v1.0.0最新Sep 20, 2026
评分
已满足适用检查项的 67%
该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。
- 近 30 天内可连通必需25 分
- 已声明认证方式必需10 分
- 已列出工具15 分
请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。
- 描述必需15 分
- 图标10 分
- 文档15 分
请声明包含 README 的 GitHub 仓库，或在 OAuth 受保护资源元数据中提供 resource_documentation。
- 许可证不适用
托管服务按其提供方的条款使用，因此这里不要求许可证。此检查项不计入百分比。