Robots Txt Checker

io.github.ryuamarines由 GitHub 账号 ryuamarines 发布v1.0.93058更新于 Oct 29, 2026

Checks if a URL path is allowed by robots.txt. x402 payment required (Base mainnet USDC).

已验证Streamable HTTP可网页运行网页搜索与抓取

概览

AI 生成的概览

远程 MCP 服务器，提供一个工具，用于检查某个 URL 路径是否被网站的 robots.txt 允许，按次通过 Base 主网 USDC 的 x402 付费。

可以做什么
  • 检查 robots.txt 规则：给定 URL 路径，返回该站点的 robots.txt 是否允许访问。
  • 仅暴露一个工具 robots_txt_checker，只覆盖这一项查询，没有其他工具。
适用场景
当助手需要针对某个具体 URL 路径快速得到 robots.txt 的允许或禁止结论时适用，例如在抓取或访问页面前，而不必自行实现解析逻辑。
运行要求
远程 streamable HTTP 端点，托管在提供方的 Cloudflare Workers 域名上；未声明任何软件包、环境变量或请求头。调用需通过 x402 以 Base 主网 USDC 付款，因此需要支持该支付方式的客户端和已充值的钱包。
安装前请注意
每次调用都是一笔 Base 主网 USDC 的 x402 付费交易，会产生真实支出；除付款外服务器无身份验证，提交的 URL 路径会发送到第三方端点。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Robots Txt Checker，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.ryuamarines%2Frobots-txt-checker/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "robots-txt-checker": {
      "type": "http",
      "url": "https://ai-factory-mcp.ryuamarines.workers.dev/robots-txt-checker/mcp"
    }
  }
}

README

该仓库没有 README。

工具

1

robots_txt_checker

Checks if a URL path is allowed by robots.txt. x402 payment required (Base mainnet USDC).

输入参数checks必填payment

版本历史

2
  1. v1.0.93058最新Oct 29, 2026
  2. v1.0.93057Sep 16, 2026

评分

已满足适用检查项的 75%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 图标10 分
  • 文档15 分

    请声明包含 README 的 GitHub 仓库，或在 OAuth 受保护资源元数据中提供 resource_documentation。

  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。