Robotstxt Ai

io.github.sharozdawa由 GitHub 账号 sharozdawa 发布v1.0.1更新于 Oct 24, 2026

Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

已验证STDIO仅桌面网页搜索与抓取开发者工具

概览

AI 生成的概览

分析并生成面向 AI 爬虫的 robots.txt 规则，让助手查看站点对 25 种以上机器人的封禁情况并起草新规则。

可以做什么
  • 从网址抓取并分析站点的 robots.txt，或分析粘贴的 robots.txt 内容，查看哪些 AI 机器人被封禁
  • 按指定的封禁机器人和自定义规则生成 robots.txt
  • 列出已知 AI 机器人及其 user-agent、所属公司和说明
  • 检查某个特定机器人是否在指定网站上被封禁
适用场景
适合让助手审查网站的爬虫策略、确认 GPTBot、ClaudeBot、PerplexityBot 等机器人是否被允许，或在不手工编辑文件的情况下起草 robots.txt 规则。
运行要求
以本地 stdio 进程运行，通常通过 npx 启动 npm 包 robotstxt-ai-mcp。未声明需要账号、API 密钥或环境变量。从远程站点抓取 robots.txt 需要网络访问。
安装前请注意
抓取 robots.txt 会向你提供的网址发起请求，请勿指向内部或私有主机。生成的规则只是草稿，发布前应人工复核，因为它会改变爬虫访问网站的方式。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Robotstxt Ai，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。

其他 MCP 客户端

参照 仓库 中的启动说明。

README

[图片]

[npm] [GitHub stars] [License] [robotstxt-ai MCP server]

Manage which AI bots can crawl your website — visually.

Toggle GPTBot, ClaudeBot, PerplexityBot, and 20+ AI crawlers on/off with a simple UI. Analyze any site's robots.txt instantly.

Features

  • Visual Toggle UI — Block or allow AI bots with simple on/off switches
  • 20+ AI Bots Database — GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent, and more
  • Analyze Existing robots.txt — Paste or fetch any robots.txt to see which AI bots are blocked
  • Generate robots.txt — Create a complete robots.txt with your chosen rules
  • MCP Server — Use with Claude Desktop, Cursor, or any MCP-compatible AI assistant
  • Check Bot Status — Verify if a specific bot is blocked on any website

MCP Tools

ToolDescription
fetch_robotsFetch and analyze a robots.txt from any URL
analyze_robotsAnalyze pasted robots.txt content for AI bot blocking status
generate_robotsGenerate a robots.txt with specified blocked bots and custom rules
list_ai_botsList all known AI bots with user-agents, companies, and descriptions
check_bot_statusCheck if a specific bot is blocked on a given website

Installation

Web App

bash
git clone https://github.com/sharozdawa/robotstxt-ai.gitcd robotstxt-ainpm installnpm run dev

Open http://localhost:3000 in your browser.

MCP Server — Claude Desktop

Add to your claude_desktop_config.json:

json
{  "mcpServers": {    "robotstxt-ai": {      "command": "npx",      "args": ["-y", "robotstxt-ai-mcp"]    }  }}

MCP Server — Cursor

Add to .cursor/mcp.json:

json
{  "mcpServers": {    "robotstxt-ai": {      "command": "npx",      "args": ["-y", "robotstxt-ai-mcp"]    }  }}

Tracked Bots

The server knows about 25+ bots including:

  • AI Crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent
  • AI Search: ChatGPT-User, OAI-SearchBot, PerplexityBot, YouBot
  • Search Engines: Googlebot, Bingbot, YandexBot, Baiduspider, DuckDuckBot

Why robotstxt.ai vs Manual Editing

Featurerobotstxt.aiManual Editing
Visual toggle UIYesNo
20+ AI bots databaseYesResearch yourself
Analyze existing robots.txtYesNo
MCP ServerYesNo
PriceFreeFree but tedious

More Open Source SEO Tools

ToolDescription
awesome-seo-mcp-serversCurated list of SEO MCP servers and agent skills
indexnow-mcpInstant URL indexing via IndexNow
schema-genSchema.org JSON-LD markup generator
ai-visibilityAI brand visibility tracker

License

MIT

Built by Sharoz Dawa — SEO Professional & Digital Marketing Expert

[GitHub]

[图片]

来源：README.md，提交 0df01d5

工具

0
SourceWeft 尚未在沙箱中启动过该软件包，因此其工具未知。

版本历史

1
  1. v1.0.1最新Sep 16, 2026

评分

已满足适用检查项的 50%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通25 分

    请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。

  • 已声明认证方式10 分

    请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。

  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分