Robots Txt Ai Crawler Audit
io.github.jmshinhwa由 GitHub 账号 jmshinhwa 发布v0.1.3更新于 Oct 25, 2026
Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI
发布方自己的服务：audit.domains - Domain Valuation
概览
本地 MCP 服务器，逐行审查 robots.txt，并说明每个 AI 爬虫标记实际控制什么。
- 可以做什么
- 逐行审查 robots.txt 文件，将每条指令与 AI 爬虫标记对照。
- 说明每个 AI 爬虫标记实际控制的内容，例如训练用途与其他 AI 用途。
- 给出审查结果，便于助手讨论哪些爬虫被允许或被阻止。
- 适用场景
- 适合在需要了解某站点 robots.txt 是否允许或阻止 AI 爬虫时使用，例如发布内容前或审查爬虫策略时。
- 运行要求
- 通过 npx 从 npm 包以本地进程方式在用户机器上运行；仅限桌面端，无网页版。未声明认证、环境变量或请求头。
安装
在 SourceWeft 中
- 打开 控制台中的 Robots Txt Ai Crawler Audit，将其添加到工作区。
- 为需要使用其工具的对话启用该服务。
Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。
其他 MCP 客户端
参照 仓库 中的启动说明。
README
readystack-themes
Made by ReadyStack · free calculators and templates at getreadystack.com VS Code themes by ReadyStack
来源：README.md，提交 ee1c884
工具
0版本历史
2- v0.1.3最新Sep 19, 2026
- v0.1.1Sep 16, 2026
评分
已满足适用检查项的 40%
该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。
- 近 30 天内可连通25 分
请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。
- 已声明认证方式10 分
请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。
- 已列出工具15 分
请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。
- 描述必需15 分
- 图标10 分
- 文档15 分
- 许可证10 分
请在仓库或注册中心条目中声明许可证。
其他 Audit 集成
audit.domains - Domain Valuation
domains.audit官方发布者
确定性的域名估值服务：提供公允价值区间、真实可比成交记录、可用性查询，以及经 DNS 验证的待售域名市场。
Revenue Agent — OpenAPI Audit & Change Detection
news.prh官方发布者
一个远程 MCP 端点，用于审计 OpenAPI 规范并检测 API 变更，每次分析通过 Base 上的 x402 收取 0.10 USDC。
SEO Audit & Broken Link Checker
由 GitHub 账号 prometheus-maker 发布
由 Apify 托管的 MCP 服务器，用于审计网站页面的 SEO 元数据并查找失效链接和图片，返回每页评分。
FinePrint AI Legal Risk & Contract Audit MCP Server
由 GitHub 账号 RitualDev-Lab 发布
本地内存中运行的合同风险扫描器，为编码代理评估法律合同、NDA 与租约风险并生成修订建议。
Mcp Supply Audit
由 GitHub 账号 kimmawla 发布
把 MCP 服务器当作供应链产物来审计：注册表条目、PyPI/npm 包、客户端配置与工具定义，全部为只读静态检查。