Web Scraper to Markdown API

io.github.Br0ski777由 GitHub 帳號 Br0ski777 發布v1.2.0更新於 Oct 24, 2026

Extract clean markdown from any URL. Removes boilerplate. For RAG pipelines. x402.

已驗證SSE可網頁執行網頁搜尋與抓取知識與記憶

概覽

AI 產生的概覽

遠端 MCP 伺服器，擷取網頁並回傳乾淨的 Markdown，提供單頁與批次工具，依次透過 x402 付費。

可以做什麼
  • 擷取單一 URL 並渲染 JavaScript，回傳標題、描述、Markdown 正文與字數統計
  • 一次批次擷取最多 10 個 URL，回傳每個 URL 的結果以及總數與失敗數彙總
  • 移除導覽列、廣告、腳本與樣板內容，讓輸出可直接作為 RAG 語料與研究用的 LLM 輸入
適用情境
適合需要從網頁取得可讀正文以進行摘要、研究或建立 RAG 語料的情境，尤其是同時處理多個 URL 時。不適用於截圖、SEO 稽核、技術堆疊偵測或網頁搜尋。
執行需求
需在用戶端設定中加入遠端 MCP 端點，無需 API 金鑰或註冊。每次呼叫需透過 x402 協定以 Base L2 上的 USDC 付費，因此需要支援 x402 的用戶端與已儲值的錢包，並需能連線至該端點。
安裝前請注意
每次呼叫都會產生費用：單頁擷取 0.012 美元，最多 10 個 URL 的批次擷取 0.05 美元，透過加密錢包以 Base L2 上的 USDC 結算，代理可能自動花費資金。請求會將目標 URL 傳送給第三方服務，README 另指向一個更大的付費 API 市集。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Web Scraper to Markdown API，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Web executable，透過 SSE。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.Br0ski777%2Fweb-scraper/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "web-scraper-to-markdown-api": {
      "type": "sse",
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

README

Web Scraper to Markdown API

[MCP Server] [x402] [License: MIT]

Extract clean markdown from any URL. Strips nav/ads/scripts, returns structured content. Built for RAG pipelines and AI research agents. Pay-per-call via x402 (USDC on Base L2) -- no API key, no signup, no rate-limit wall.

Part of the klymax402 marketplace -- 100 x402 micropayment APIs for AI agents, one wallet, USDC on Base.

Quickstart -- MCP

Add to your MCP client config (Claude Desktop, Cursor, ElizaOS, etc.):

json
{  "mcpServers": {    "web-scraper": {      "url": "https://web-scraper.api.klymax402.com/mcp"    }  }}

Quickstart -- HTTP (x402)

bash
curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"# -> 402 Payment Required, with an x402 payment challenge in the response body

Any x402-aware client (@x402/fetch, x402-agent-tools, ATXP) handles the 402 -> sign -> retry cycle automatically.

Tools

ToolMethodPathPriceDescription
web_scrape_to_markdownGET/api/scrape$0.012Scrape a URL and convert to clean markdown
web_scrape_batchPOST/api/scrape/batch$0.05Scrape up to 10 URLs in batch

web_scrape_to_markdown

Scrape and extract content from a URL with full JS rendering, returned as clean markdown. Alternative to Firecrawl scrape at 2.5x lower cost. Strips navigation, ads, scripts, and boilerplate — ideal for RAG pipelines and AI research agents.

Parameters

NameTypeRequiredDescription
urlstringyesURL to scrape (e.g. https://example.com/article)

Example response:

json
{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

When to use: summarizing articles, building RAG corpora, researching topics from web sources, or extracting data from documentation pages. Essential for any workflow that needs to scrape and extract content from web pages as LLM input. Drop-in replacement for Firecrawl scrape.

Not for: screenshots (use capture_screenshot), SEO audit (use seo_audit_page), tech stack detection (use website_detect_tech_stack), web search (use web_search_query).

web_scrape_batch

Use this when you need to extract clean content from multiple web pages at once (up to 10 URLs). Returns the same structured markdown output as web_scrape_to_markdown for each URL.

Parameters

NameTypeRequiredDescription
urlsarrayyesArray of URLs (max 10)

Example response:

json
{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

When to use: building research corpora, comparing content across competitor pages, or bulk documentation extraction. Essential when you have 3+ URLs to process in one workflow.

Not for: single URLs (use web_scrape_to_markdown), SEO comparison (use seo_audit_batch).

Example agent prompts

  • "Scrape and extract content from a URL with full JS rendering, returned as clean markdown"
  • "Extract clean content from multiple web pages at once (up to 10 URLs)"

Payment

  • Protocol: x402 -- HTTP-native pay-per-call, no signup, no API key
  • Network: Base L2 (eip155:8453)
  • Asset: USDC
  • Facilitator: Coinbase CDP (primary), PayAI (fallback)
  • Also reachable via ATXP (OAuth-wrapped x402, RFC 9728 protected-resource metadata)

Part of klymax402

100 x402 micropayment APIs for AI agents -- one wallet, USDC on Base, zero signup.

License

MIT

來源：README.md，提交 06525b1

工具

0
SourceWeft 尚未讀取此伺服器的工具。

版本歷史

1
  1. v1.2.0最新Sep 16, 2026

評分

已滿足適用檢查項的 50%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式必需10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分