
AI Crawler Checker — Robots.txt Policy for Six Bots
io.github.kriton-dev由 GitHub 账号 kriton-dev 发布v1.0.2更新于 Nov 3, 2026
检查六个AI爬虫在URL路径上声明的robots.txt权限
AI 翻译由 AI 模型根据下方的原文描述翻译,可能有误。
原文描述
Check declared robots.txt permissions for six AI crawlers at URL paths
概览
AI Crawler Checker — Robots.txt Policy for Six Bots 的托管 MCP 服务(mcp.apify.com);需要 OAuth 登录或 API 密钥;Streamable HTTP。
暂无 AI 概览:以下信息来自注册中心条目和服务本身。
- 端点
- mcp.apify.com
- 最近检查
安装
在 SourceWeft 中
- 打开 控制台中的 AI Crawler Checker — Robots.txt Policy for Six Bots,将其添加到工作区。
- 连接 所需的 凭据。它们会被私密存储,绝不会在公开页面上展示。
- 为需要使用其工具的对话启用该服务。
Web executable,通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。
交给智能体安装
把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体,或 SourceWeft 对话中。智能体会读取该服务器的安装指南,先向你展示发布者、端点和登录方式,经你同意后再把它添加到你的客户端。密钥不会写进任何命令。
阅读 https://sourceweft.com/mcp/io.github.kriton-dev%2Fai-crawler-access-check/install.md,并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前,先告诉我它的发布者、端点和登录方式,等我确认。不要把 API 密钥写进命令或我会提交的文件;问我密钥应从哪里获取。其他 MCP 客户端
把它添加到你客户端的 mcpServers 配置中。 客户端会在首次连接时完成 OAuth 登录。
{
"mcpServers": {
"ai-crawler-checker-robots-txt-policy-for": {
"type": "http",
"url": "https://mcp.apify.com/?tools=hermeskd/ai-crawler-access-check"
}
}
}工具
0版本历史
1- v1.0.2最新Nov 3, 2026
评分
已满足适用检查项的 67%
该评分衡量此收录条目的完整程度,依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价,也不表示服务器安全或当前可用:可连通性是带日期的检查结果,评分也不包含安装量或用户评价。
- 近 30 天内可连通必需25 分
- 已声明认证方式必需10 分
- 已列出工具15 分
请让服务器在无凭据时响应 tools/list,或发布可在沙箱中无凭据启动的软件包。
- 描述必需15 分
- 图标10 分
- 文档15 分
请声明包含 README 的 GitHub 仓库,或在 OAuth 受保护资源元数据中提供 resource_documentation。
- 许可证不适用
托管服务按其提供方的条款使用,因此这里不要求许可证。此检查项不计入百分比。
其他 Check 集成
check.tattoo: tattoo size and placement guide
tattoo.check官方发布者
check.tattoo: tattoo size and placement guide 的托管 MCP 服务,由 check.tattoo 发布;无需登录;Streamable HTTP;5 个工具。
iva.pt — EU VAT check (VIES) and Portuguese VAT law
pt.iva官方发布者
在 VIES 中校验欧盟增值税号,并返回葡萄牙增值税法典(CIVA)与 RITI 条文,支持葡语和英语。

Dirtsmith Evidence Quote Check
由 GitHub 账号 throttler300 发布
一个本地 MCP 服务器,将助手的引用绑定到已准入的源文本并标注片段位置,可选拒绝哈希过期的引用。

HTTP Header Policy Check — HSTS, CSP & Frame Declarations
由 GitHub 账号 kriton-dev 发布
托管在 Apify 上的远程 MCP 服务器,让助手检查网站声明的七类 HTTP 安全响应头,且不返回原始头值。

VOOPA Render Check
由 GitHub 账号 Voopa-Corp 发布
对照创作要求审查已生成的视频,在再次付费渲染前建议是剪辑修改、重试一次还是更换方案。