Web Hygiene MCP

io.github.Luca-003由 GitHub 账号 Luca-003 发布v0.2.1更新于 Oct 24, 2026

Live web checks for AI agents: sitemaps, robots.txt, URL status, broken links, feeds, citations.

已验证Streamable HTTP可网页运行网页搜索与抓取开发者工具

概览

AI 生成的概览

远程 MCP 服务器，让助手实时核查网络内容：站点地图、robots.txt、URL 状态、失效链接、订阅源和引用来源。

可以做什么
查看站点的 robots.txt、llms.txt、站点地图和订阅源，列出站点地图发布的 URL 及其 lastmod 日期，支持正则过滤，最多 2,000 个。检查单个 URL 的 HTTP 状态、完整重定向链、最终 URL、响应时间和内容类型。批量检查最多 300 个链接的 404、5xx、超时、SSL 错误、重定向链和慢页面。发现并读取 RSS、Atom 和 JSON 订阅源，返回规范化条目、UTC 日期、作者和附件。核验引用：对每个被引 URL 给出已验证、不匹配、未找到、重定向到首页、付费墙或屏蔽等结果，附真实标题、日期、作者和引文匹配证据，并为失效链接提供互联网档案馆副本。
适用场景
适用于助手在引用链接和来源前确认其确实存在，在引用某站点前了解该站点允许和发布的内容，或检查文档与站点中的失效和重定向链接。
运行要求
远程 Streamable HTTP 端点，无需本地运行时或安装包。需要 Apify API 令牌，通过 Authorization 请求头以 Bearer 方式发送。需要 Apify 账户，并需能访问该端点网络。
安装前请注意
Authorization 请求头携带 Apify API 令牌，属于机密信息。工具调用按事件计费并计入 Apify 账户，使用会产生费用；免费账户仅有有限的月度额度。工具会抓取你指定的第三方站点上的公开页面和文件。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Web Hygiene MCP，将其添加到工作区。
  2. 连接 Authorization token 凭据。它们会被私密存储，绝不会在公开页面上展示。
  3. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.Luca-003%2Fweb-hygiene-mcp/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "web-hygiene": {
      "type": "http",
      "url": "https://bruco3--web-hygiene-mcp.apify.actor/mcp",
      "headers": {
        "Authorization": "Bearer <YOUR_TOKEN>"
      }
    }
  }
}

README

Web Hygiene MCP

[AllMCPs Verified] · Official MCP Registry: io.github.Luca-003/web-hygiene-mcp

Remote MCP server (Streamable HTTP) that gives AI agents seven tools answering from the live web — never from a cache or the model's memory:

ToolWhat it does
site_overview(site)robots.txt (sitemaps declared, AI crawlers addressed, blanket disallow), llms.txt, sitemaps with URL count sample, feeds
list_site_urls(site_or_sitemap, max_urls, include_regex, exclude_regex)URLs a site publishes in its sitemaps, with lastmod (≤ 2,000)
check_url(url)HTTP status, full redirect chain, final URL, response time, content type
check_links(urls | site_or_sitemap, max_urls, problems_only)Bulk check: 404s, 5xx, timeouts, SSL errors, redirect chains, slow pages (≤ 300)
discover_feeds(site)RSS / Atom / JSON feeds of a website
read_feed(feed_or_site, max_items, include_content)Normalised feed items: title, link, date in UTC, author, summary, enclosures (≤ 100)
verify_citations(text | urls | citations, check_archive, max_citations)Per cited URL: verified / mismatch / not-found / redirected-home / paywalled / blocked …, real title/date/author, quote match evidence, Internet Archive copy for dead links (≤ 50)

Connect

URL:    https://bruco3--web-hygiene-mcp.apify.actor/mcpHeader: Authorization: Bearer <YOUR_APIFY_API_TOKEN>

Claude Desktop / Cursor / any Streamable HTTP client:

json
{  "mcpServers": {    "web-hygiene": {      "url": "https://bruco3--web-hygiene-mcp.apify.actor/mcp",      "headers": { "Authorization": "Bearer YOUR_APIFY_API_TOKEN" }    }  }}

A free Apify account gives you an API token and $5 of monthly credits. Tool calls are billed pay-per-event to your Apify account: a check_url costs a fraction of a cent; verifying the 10 sources of an answer about two cents. No subscription, nothing to run.

Try it — three prompts

  1. "Check the sources in the answer you just gave me: does each link exist, and is the quote really on the page?" → verify_citations
  2. "Before we cite anything from example.com, what does the site publish and allow?" → site_overview
  3. "Check every link in this README and tell me which are broken or redirected." → check_links

Claude Code: ready-made plugin with two skills — /plugin marketplace add Luca-003/web-hygiene-claude-plugin then /plugin install web-hygiene@luca-003 (repo).

Why

Language models are confident about links and sources they have never fetched. These tools let an agent look before it claims: verify a URL exists and where it leads, check robots.txt and llms.txt before quoting a site, read what a site really publishes, confirm a cited page carries the quoted passage.

Details, pricing, issues

Full documentation, pricing table and issue tracker: https://apify.com/bruco3/web-hygiene-mcp

Related Actors for whole-site / whole-document jobs: Sitemap URL Extractor · Broken Link Checker · Feed Monitor · Citation & Link Verifier

Legal

The tools request only public files sites publish for automated readers (sitemaps, feeds, robots.txt, llms.txt) and public pages you name, with a clear User-Agent. No personal data is collected or stored.

This repository holds the registry metadata (server.json) and documentation; the server runs on Apify.

来源：README.md，提交 75d0ca1

工具

0
该服务器需要 API 密钥等凭据，因此 SourceWeft 无法在没有凭据的情况下读取其工具，也未收录。

版本历史

1
  1. v0.2.1最新Sep 21, 2026

评分

已满足适用检查项的 75%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。