Webcrawl Anything

io.github.brainfish-ai由 GitHub 帳號 brainfish-ai 發布v1.4.3更新於 Nov 7, 2026

Scrape, map, crawl, search and monitor the web. Runs locally with no API key, cites every source.

已驗證Streamable HTTP可網頁執行網頁搜尋與抓取知識與記憶

概覽

AI 產生的概覽

Webcrawl Anything 讓助理搜尋網頁、讀取頁面、爬取網站、擷取結構化資料並解析文件，可在本機執行或使用託管雲端服務。

可以做什麼
  • 搜尋網頁及購物、航班、飯店、房地產、企業、資安、學術、科技、新聞等結構化垂直領域，並列出可用分類與篩選條件
  • 將網址抓取為附來源引用的乾淨 Markdown，並依查詢相關性重新排序候選文件
  • 透過網站地圖、robots.txt 和連結圖探索網域下的網址，並從起始網址爬取最多 25 個頁面
  • 依提示詞或 JSON Schema 從頁面擷取結構化 JSON
  • 解析含 OCR 的 PDF、Word、Excel、PowerPoint 檔案、YouTube 影片以及音訊與視訊為 Markdown
  • 依排程監控頁面、網址清單或網站，支援觸發條件與電子郵件或 Webhook 告警（僅雲端）
適用情境
適合助理需要即時網頁資訊、乾淨易讀的頁面內容、整站網址探索，或從頁面與文件擷取結構化資料的情境。可用於研究、比價或競品查詢，以及不必自建爬取架構的定期頁面監控。
執行需求
透過 npx 執行 npm 套件 @webcrawl/mcp 即可在本機使用，不需 API 金鑰或帳號。託管方式需要 WEBCRAWL_API_KEY 存取雲端服務，或在瀏覽器登入遠端端點。WEBCRAWL_MODE 可設為 local、cloud 或 auto；設定 WEBCRAWL_MCP_SCHEMA_PROFILE=compact 可縮小工具 schema。
安裝前請注意
託管雲端服務需要帳號以及 API 金鑰（WEBCRAWL_API_KEY）或 OAuth 登入，僅限雲端的監控功能可寄送電子郵件或 Webhook 告警。爬取與監控針對第三方網站，應遵守其條款、robots 指示與存取頻率限制。頁面內容與解析的文件會傳送到所選後端，無論本機或託管。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Webcrawl Anything，將其新增到工作區。
  2. 連接 所需的 憑證。它們會被私密儲存，絕不會在公開頁面上展示。
  3. 為需要使用其工具的對話啟用該服務。

Web executable，透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.brainfish-ai%2Fwebcrawl/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。 客戶端會在首次連接時完成 OAuth 登入。

{
  "mcpServers": {
    "webcrawl-anything": {
      "type": "http",
      "url": "https://webcrawl.app/mcp"
    }
  }
}

README

@webcrawl/mcp

Model Context Protocol (MCP) server for Webcrawl Anything.

Gives Claude Code, Cursor, Codex, Windsurf, and Gemini CLI live access to web search, structured verticals (shopping, flights, hotels, real-estate, local business, CVEs), page reading for JavaScript-heavy sites, and PDF/Office parsing. It runs on your machine with no API key and no account.

One-Command Agent Setup

Register @webcrawl/mcp and install the webcrawl-anything Agent Skill (SKILL.md) automatically:

bash
npx webcrawl setup

Manual MCP Configuration

Add to .cursor/mcp.json, ~/.claude.json, or your MCP client config:

json
{  "mcpServers": {    "webcrawl": {      "command": "npx",      "args": ["-y", "@webcrawl/mcp@latest"],      "env": {        "WEBCRAWL_MCP_SCHEMA_PROFILE": "compact"      }    }  }}

Optional: webcrawl.app cloud

Local mode is the default and needs nothing else. The packaged server loads the local engine from dist/core; if that import fails it exits with an error instead of silently calling webcrawl.app. To run the same tools on the hosted service, either:

  • add "WEBCRAWL_API_KEY": "wc_live_..." to env above (get a key at webcrawl.app), or
  • connect your client to the hosted endpoint https://webcrawl.app/mcp and sign in in the browser. No local install is needed.

WEBCRAWL_MODE can be local, cloud or auto (default: local unless a key is set).

Compact Schema Profile

Set WEBCRAWL_MCP_SCHEMA_PROFILE=compact (default when installed via npx webcrawl setup) to minimize tool schema token usage in context-constrained agents while keeping full server-side validation. Set WEBCRAWL_MCP_SCHEMA_PROFILE=full for verbose parameter descriptions.

Tools Provided

  • web_search — Search the web or structured verticals (shopping, flights, hotels, real-estate, business, security, academic, tech, news).
  • web_read — Fetch a URL and return clean Markdown with target evidence.
  • web_parse / web_parse_status — Parse PDFs (native + OCR), Word/Excel/PowerPoint files, YouTube videos, and audio/video into Markdown.
  • web_map — Discover all URLs on a domain (sitemap.xml, robots.txt, and link graph).
  • web_crawl — Crawl up to 25 pages starting from a URL.
  • web_extract — Extract structured JSON from a URL using a prompt or JSON Schema.
  • web_rerank — Rerank candidate documents by relevance to a query.
  • web_monitor — Watch a page, URL list or site on a schedule with trigger conditions and email/webhook alerts (cloud only).
  • search_categories — List all supported search categories, subcategories, and filters.

License

MIT

來源：packages/mcp/README.md，提交 a1c1632

工具

0
該伺服器需要登入，因此 SourceWeft 無法在沒有帳號的情況下讀取其工具，也未收錄。已連接帳號所能看到的內容可能因帳號及其權限而異。

版本歷史

4
  1. v1.4.3最新Nov 7, 2026
  2. v1.4.2Nov 4, 2026
  3. v1.4.1Nov 3, 2026
  4. v1.3.9Nov 3, 2026

評分

已滿足適用檢查項的 85%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分