llms.txt 檢查工具

一个远程 MCP 服务器，用于检查网站的 AI 友好程度：llms.txt 是否存在与格式、robots.txt 中的 AI 爬虫规则以及 sitemap，并给出 0–100 分。

可以做什么

检查网站的 AI 友好程度：llms.txt 是否存在与格式问题、llms-full.txt、Markdown 页面、robots.txt 对 AI 爬虫的规则以及 sitemap，返回 0–100 分与改进建议（check_llms_txt）。读取 robots.txt，报告 GPTBot、ChatGPT-User、ClaudeBot、Claude-User、PerplexityBot 等 13 种 AI 爬虫是被允许还是被封禁（check_ai_crawler_access）。读取网站首页与 sitemap，自动生成 llms.txt 草稿（generate_llms_txt）。验证给定的 llms.txt 内容是否符合格式：H1、摘要、分区与链接（validate_llms_txt）。

适用场景

当你想了解某个网站是否已为 AI 助手与爬虫做好准备、审查或改进其 llms.txt 与 robots.txt 配置，或在发布前起草并校验 llms.txt 文件时使用。

运行要求

远程 streamable HTTP 端点；未声明任何软件包、账号、API 密钥或请求头。服务器会抓取目标网站的页面、robots.txt 与 sitemap，因此需要能访问该网站的网络连接。