Webcrawl Anything

io.github.brainfish-ai由 GitHub 账号 brainfish-ai 发布v1.4.3更新于 Nov 7, 2026

Scrape, map, crawl, search and monitor the web. Runs locally with no API key, cites every source.

已验证Streamable HTTP可网页运行网页搜索与抓取知识与记忆

概览

AI 生成的概览

Webcrawl Anything 让助手搜索网页、读取页面、爬取站点、抽取结构化数据并解析文档，可本地运行或使用托管云服务。

可以做什么
  • 搜索网页及购物、航班、酒店、房产、企业、安全、学术、科技、新闻等结构化垂直领域，并列出可用分类与筛选条件
  • 将网址抓取为带来源引用的整洁 Markdown，并按查询相关性对候选文档重新排序
  • 通过站点地图、robots.txt 和链接图发现域名下的网址，并从起始网址爬取最多 25 个页面
  • 依据提示词或 JSON Schema 从页面抽取结构化 JSON
  • 解析带 OCR 的 PDF、Word、Excel、PowerPoint 文件、YouTube 视频以及音视频为 Markdown
  • 按计划监控页面、网址列表或站点，支持触发条件和邮件或 Webhook 告警（仅云端）
适用场景
适合助手需要实时网页信息、干净可读的页面内容、整站网址发现，或从页面和文档中提取结构化数据的场景。可用于调研、比价或竞品查询，以及无需自建抓取体系的定期页面监控。
运行要求
通过 npx 运行 npm 包 @webcrawl/mcp 即可本地使用，无需 API 密钥或账号。托管方式需要 WEBCRAWL_API_KEY 访问云服务，或在浏览器中登录远程端点。WEBCRAWL_MODE 可选 local、cloud 或 auto；设置 WEBCRAWL_MCP_SCHEMA_PROFILE=compact 可缩小工具 schema。
安装前请注意
托管云服务需要账号以及 API 密钥（WEBCRAWL_API_KEY）或 OAuth 登录，仅云端的监控功能可发送邮件或 Webhook 告警。爬取与监控针对第三方站点，应遵守其条款、robots 指令和访问频率限制。页面内容与解析的文档会发送到所选后端，无论本地还是托管。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Webcrawl Anything，将其添加到工作区。
  2. 连接 所需的 凭据。它们会被私密存储，绝不会在公开页面上展示。
  3. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.brainfish-ai%2Fwebcrawl/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。 客户端会在首次连接时完成 OAuth 登录。

{
  "mcpServers": {
    "webcrawl-anything": {
      "type": "http",
      "url": "https://webcrawl.app/mcp"
    }
  }
}

README

@webcrawl/mcp

Model Context Protocol (MCP) server for Webcrawl Anything.

Gives Claude Code, Cursor, Codex, Windsurf, and Gemini CLI live access to web search, structured verticals (shopping, flights, hotels, real-estate, local business, CVEs), page reading for JavaScript-heavy sites, and PDF/Office parsing. It runs on your machine with no API key and no account.

One-Command Agent Setup

Register @webcrawl/mcp and install the webcrawl-anything Agent Skill (SKILL.md) automatically:

bash
npx webcrawl setup

Manual MCP Configuration

Add to .cursor/mcp.json, ~/.claude.json, or your MCP client config:

json
{  "mcpServers": {    "webcrawl": {      "command": "npx",      "args": ["-y", "@webcrawl/mcp@latest"],      "env": {        "WEBCRAWL_MCP_SCHEMA_PROFILE": "compact"      }    }  }}

Optional: webcrawl.app cloud

Local mode is the default and needs nothing else. The packaged server loads the local engine from dist/core; if that import fails it exits with an error instead of silently calling webcrawl.app. To run the same tools on the hosted service, either:

  • add "WEBCRAWL_API_KEY": "wc_live_..." to env above (get a key at webcrawl.app), or
  • connect your client to the hosted endpoint https://webcrawl.app/mcp and sign in in the browser. No local install is needed.

WEBCRAWL_MODE can be local, cloud or auto (default: local unless a key is set).

Compact Schema Profile

Set WEBCRAWL_MCP_SCHEMA_PROFILE=compact (default when installed via npx webcrawl setup) to minimize tool schema token usage in context-constrained agents while keeping full server-side validation. Set WEBCRAWL_MCP_SCHEMA_PROFILE=full for verbose parameter descriptions.

Tools Provided

  • web_search — Search the web or structured verticals (shopping, flights, hotels, real-estate, business, security, academic, tech, news).
  • web_read — Fetch a URL and return clean Markdown with target evidence.
  • web_parse / web_parse_status — Parse PDFs (native + OCR), Word/Excel/PowerPoint files, YouTube videos, and audio/video into Markdown.
  • web_map — Discover all URLs on a domain (sitemap.xml, robots.txt, and link graph).
  • web_crawl — Crawl up to 25 pages starting from a URL.
  • web_extract — Extract structured JSON from a URL using a prompt or JSON Schema.
  • web_rerank — Rerank candidate documents by relevance to a query.
  • web_monitor — Watch a page, URL list or site on a schedule with trigger conditions and email/webhook alerts (cloud only).
  • search_categories — List all supported search categories, subcategories, and filters.

License

MIT

来源：packages/mcp/README.md，提交 a1c1632

工具

0
该服务器需要登录，因此 SourceWeft 无法在没有账号的情况下读取其工具，也未收录。已连接账号所能看到的内容可能因账号及其权限而异。

版本历史

4
  1. v1.4.3最新Nov 7, 2026
  2. v1.4.2Nov 4, 2026
  3. v1.4.1Nov 3, 2026
  4. v1.3.9Nov 3, 2026

评分

已满足适用检查项的 85%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分