Robotstxt Ai

io.github.sharozdawa由 GitHub 帳號 sharozdawa 發布v1.0.1更新於 Oct 24, 2026

Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

已驗證STDIO僅桌面網頁搜尋與抓取開發者工具

概覽

AI 產生的概覽

分析並產生針對 AI 爬蟲的 robots.txt 規則，讓助理查看網站對 25 種以上機器人的封鎖情況並起草新規則。

可以做什麼
  • 從網址擷取並分析網站的 robots.txt，或分析貼上的 robots.txt 內容，查看哪些 AI 機器人被封鎖
  • 依指定的封鎖機器人與自訂規則產生 robots.txt
  • 列出已知 AI 機器人及其 user-agent、所屬公司與說明
  • 檢查某個特定機器人是否在指定網站上被封鎖
適用情境
適合讓助理檢視網站的爬蟲政策、確認 GPTBot、ClaudeBot、PerplexityBot 等機器人是否被允許，或在不手動編輯檔案的情況下起草 robots.txt 規則。
執行需求
以本機 stdio 程序執行，通常透過 npx 啟動 npm 套件 robotstxt-ai-mcp。未宣告需要帳號、API 金鑰或環境變數。從遠端網站擷取 robots.txt 需要網路存取。
安裝前請注意
擷取 robots.txt 會向你提供的網址發出請求，請勿指向內部或私有主機。產生的規則僅為草稿，發布前應人工複核，因為它會改變爬蟲存取網站的方式。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Robotstxt Ai，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only，透過 STDIO。 STDIO 服務會啟動本機處理程序，因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

[圖片]

[npm] [GitHub stars] [License] [robotstxt-ai MCP server]

Manage which AI bots can crawl your website — visually.

Toggle GPTBot, ClaudeBot, PerplexityBot, and 20+ AI crawlers on/off with a simple UI. Analyze any site's robots.txt instantly.

Features

  • Visual Toggle UI — Block or allow AI bots with simple on/off switches
  • 20+ AI Bots Database — GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent, and more
  • Analyze Existing robots.txt — Paste or fetch any robots.txt to see which AI bots are blocked
  • Generate robots.txt — Create a complete robots.txt with your chosen rules
  • MCP Server — Use with Claude Desktop, Cursor, or any MCP-compatible AI assistant
  • Check Bot Status — Verify if a specific bot is blocked on any website

MCP Tools

ToolDescription
fetch_robotsFetch and analyze a robots.txt from any URL
analyze_robotsAnalyze pasted robots.txt content for AI bot blocking status
generate_robotsGenerate a robots.txt with specified blocked bots and custom rules
list_ai_botsList all known AI bots with user-agents, companies, and descriptions
check_bot_statusCheck if a specific bot is blocked on a given website

Installation

Web App

bash
git clone https://github.com/sharozdawa/robotstxt-ai.gitcd robotstxt-ainpm installnpm run dev

Open http://localhost:3000 in your browser.

MCP Server — Claude Desktop

Add to your claude_desktop_config.json:

json
{  "mcpServers": {    "robotstxt-ai": {      "command": "npx",      "args": ["-y", "robotstxt-ai-mcp"]    }  }}

MCP Server — Cursor

Add to .cursor/mcp.json:

json
{  "mcpServers": {    "robotstxt-ai": {      "command": "npx",      "args": ["-y", "robotstxt-ai-mcp"]    }  }}

Tracked Bots

The server knows about 25+ bots including:

  • AI Crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Diffbot, cohere-ai, Amazonbot, Meta-ExternalAgent
  • AI Search: ChatGPT-User, OAI-SearchBot, PerplexityBot, YouBot
  • Search Engines: Googlebot, Bingbot, YandexBot, Baiduspider, DuckDuckBot

Why robotstxt.ai vs Manual Editing

Featurerobotstxt.aiManual Editing
Visual toggle UIYesNo
20+ AI bots databaseYesResearch yourself
Analyze existing robots.txtYesNo
MCP ServerYesNo
PriceFreeFree but tedious

More Open Source SEO Tools

ToolDescription
awesome-seo-mcp-serversCurated list of SEO MCP servers and agent skills
indexnow-mcpInstant URL indexing via IndexNow
schema-genSchema.org JSON-LD markup generator
ai-visibilityAI brand visibility tracker

License

MIT

Built by Sharoz Dawa — SEO Professional & Digital Marketing Expert

[GitHub]

[圖片]

來源：README.md，提交 0df01d5

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包，因此其工具未知。

版本歷史

1
  1. v1.0.1最新Sep 16, 2026

評分

已滿足適用檢查項的 50%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分