Scrapiq

io.scrapiq由 scrapiq.io 發布官方發布者v0.2.0更新於 Oct 24, 2026

Any URL to clean text, markdown, or JSON for LLM/RAG pipelines.

已驗證Streamable HTTP可網頁執行網頁搜尋與抓取知識與記憶

概覽

AI 產生的概覽

Scrapiq 擷取網頁並回傳乾淨的文字、Markdown 或 JSON,讓助理把任意 URL 轉成可供 LLM 或 RAG 流程使用的內容。

可以做什麼
  • 把網頁擷取成乾淨的結構化內容,可選 Markdown、文字或 JSON 格式
  • 移除頁面中的樣板內容、導覽、廣告和腳本
  • 回傳頁面標題、正文、連結和中繼資料
  • 依指定字元數截斷擷取出的內容
適用情境
適合助理需要可讀的網頁正文而非原始 HTML 的情境,例如把文件送入 RAG 流程、摘要文章,或從某個 URL 收集連結與中繼資料。
執行需求
可使用 scrapiq.io 上的遠端 streamable HTTP 端點,也可從專案儲存庫在本機安裝並搭配執行中的 Scrapiq 實例。本機使用需以 SCRAPIQ_ENDPOINT 環境變數指向該實例。託管服務無需金鑰。
安裝前請注意
託管服務會把每個請求的 URL 交給第三方擷取。本機執行時伺服器無狀態且 CORS 開放,任何能存取該 HTTP 端點的人都能呼叫。擷取結果來自任意網頁,應視為不可信任的內容。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Scrapiq,將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Web executable,透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式,或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南,先向你展示發布者、端點和登入方式,經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.scrapiq%2Fscrapiq/install.md,並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前,先告訴我它的發布者、端點和登入方式,等我確認。不要把 API 金鑰寫進命令或我會提交的檔案;問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "scrapiq": {
      "type": "http",
      "url": "https://scrapiq.io/mcp"
    }
  }
}

README

Scrapiq MCP Server

MCP server for Scrapiq — turn any URL into clean text, markdown, or JSON for LLM/RAG pipelines, directly from your MCP client.

Scrapiq is a lightweight open-source HTTP API that fetches a web page and returns clean content — boilerplate stripped. This server exposes it as a Model Context Protocol (MCP) tool so Claude Desktop, Cursor, and any MCP client can extract clean web content with one call.

Dependency-free: pure Python stdlib, no pip packages, no node_modules. Two transports: stdio for local clients, streamable HTTP for remote clients.

Use the hosted server (no install)

The server is listed in the official MCP Registry as io.scrapiq/scrapiq and runs at:

https://scrapiq.io/mcp

No key, no install — add that URL as a remote MCP server in any client that supports streamable HTTP:

json
{  "mcpServers": {    "scrapiq": { "url": "https://scrapiq.io/mcp" }  }}

Install locally

Not on PyPI yet, so install straight from this repo:

bash
# run it without installing anything (run against `main`, 2026-09-17)uvx --from git+https://github.com/NG-PR0JECT/scrapiq-mcp-server scrapiq-mcp
# or install it into an isolated environmentpipx install git+https://github.com/NG-PR0JECT/scrapiq-mcp-server

Requires a running Scrapiq instance (see Scrapiq README — git clone, pip install -e ".[dev]", then scrapiq). Point the server at it:

bash
SCRAPIQ_ENDPOINT=http://localhost:8001/v1/extract scrapiq-mcp

Run your own HTTP endpoint

bash
scrapiq-mcp --http --host 127.0.0.1 --port 8002   # serves POST /mcp

Stateless: one POST /mcp per JSON-RPC message (or batch), replies with application/json. It issues no Mcp-Session-Id and offers no server→client SSE stream, so GET /mcp answers 405 by design. CORS is open, so browser-based clients (e.g. MCP Inspector) can call it directly.

Usage with Claude Desktop

Add to claude_desktop_config.json:

json
{  "mcpServers": {    "scrapiq": {      "command": "scrapiq-mcp",      "env": { "SCRAPIQ_ENDPOINT": "http://localhost:8001/v1/extract" }    }  }}

Tool

scrapiq_extract

Extract a web page into clean structured content.

Arguments:

  • url (string, required) — the URL to extract
  • format (string, optional) — "markdown" (default) | "text" | "json"
  • max_chars (integer, optional) — truncate content to N chars

Example:

scrapiq_extract(url="https://en.wikipedia.org/wiki/Retrieval-augmented_generation", format="markdown")

Returns title, content, links, and metadata — no ads, no nav, no scripts.

Test the server

bash
printf '%s\n' \  '{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2024-11-05"}}' \  '{"jsonrpc":"2.0","id":2,"method":"tools/list"}' \  '{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"scrapiq_extract","arguments":{"url":"https://example.com","format":"text"}}}' \  | scrapiq-mcp

License

MIT

來源:README.md,提交 d9dcde1

工具

1

scrapiq_extract

Extract a URL to clean content

Extract a web page into clean, structured content for LLM/RAG pipelines via the Scrapiq API. Strips boilerplate, navigation, ads, and scripts. Returns title, content, links, and metadata.

輸入參數url必填formatmax_chars

版本歷史

1
  1. v0.2.0最新Sep 19, 2026

評分

已滿足適用檢查項的 100%

該評分衡量此收錄條目的完整程度,依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價,也不表示伺服器安全或目前可用:可連通性是帶日期的檢查結果,評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分