Scrapiq

io.scrapiq由 scrapiq.io 发布官方发布者v0.2.0更新于 Oct 24, 2026

Any URL to clean text, markdown, or JSON for LLM/RAG pipelines.

已验证Streamable HTTP可网页运行网页搜索与抓取知识与记忆

概览

AI 生成的概览

Scrapiq 抓取网页并返回干净的文本、Markdown 或 JSON,让助手把任意 URL 转成可供 LLM 或 RAG 流程使用的内容。

可以做什么
  • 把网页提取为干净的结构化内容,可选 Markdown、文本或 JSON 格式
  • 去除页面中的样板内容、导航、广告和脚本
  • 返回页面标题、正文、链接和元数据
  • 按指定字符数截断提取出的内容
适用场景
适合助手需要可读的网页正文而非原始 HTML 的场景,例如把文档送入 RAG 流程、总结文章,或从某个 URL 收集链接与元数据。
运行要求
可使用 scrapiq.io 上的远程 streamable HTTP 端点,也可从项目仓库本地安装并配合运行中的 Scrapiq 实例。本地使用需通过 SCRAPIQ_ENDPOINT 环境变量指向该实例。托管服务无需密钥。
安装前请注意
托管服务会把每个请求的 URL 交给第三方抓取。本地运行时服务器无状态且 CORS 开放,任何能访问该 HTTP 端点的人都能调用。提取结果来自任意网页,应视为不可信内容。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Scrapiq,将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Web executable,通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体,或 SourceWeft 对话中。智能体会读取该服务器的安装指南,先向你展示发布者、端点和登录方式,经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.scrapiq%2Fscrapiq/install.md,并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前,先告诉我它的发布者、端点和登录方式,等我确认。不要把 API 密钥写进命令或我会提交的文件;问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "scrapiq": {
      "type": "http",
      "url": "https://scrapiq.io/mcp"
    }
  }
}

README

Scrapiq MCP Server

MCP server for Scrapiq — turn any URL into clean text, markdown, or JSON for LLM/RAG pipelines, directly from your MCP client.

Scrapiq is a lightweight open-source HTTP API that fetches a web page and returns clean content — boilerplate stripped. This server exposes it as a Model Context Protocol (MCP) tool so Claude Desktop, Cursor, and any MCP client can extract clean web content with one call.

Dependency-free: pure Python stdlib, no pip packages, no node_modules. Two transports: stdio for local clients, streamable HTTP for remote clients.

Use the hosted server (no install)

The server is listed in the official MCP Registry as io.scrapiq/scrapiq and runs at:

https://scrapiq.io/mcp

No key, no install — add that URL as a remote MCP server in any client that supports streamable HTTP:

json
{  "mcpServers": {    "scrapiq": { "url": "https://scrapiq.io/mcp" }  }}

Install locally

Not on PyPI yet, so install straight from this repo:

bash
# run it without installing anything (run against `main`, 2026-09-17)uvx --from git+https://github.com/NG-PR0JECT/scrapiq-mcp-server scrapiq-mcp
# or install it into an isolated environmentpipx install git+https://github.com/NG-PR0JECT/scrapiq-mcp-server

Requires a running Scrapiq instance (see Scrapiq README — git clone, pip install -e ".[dev]", then scrapiq). Point the server at it:

bash
SCRAPIQ_ENDPOINT=http://localhost:8001/v1/extract scrapiq-mcp

Run your own HTTP endpoint

bash
scrapiq-mcp --http --host 127.0.0.1 --port 8002   # serves POST /mcp

Stateless: one POST /mcp per JSON-RPC message (or batch), replies with application/json. It issues no Mcp-Session-Id and offers no server→client SSE stream, so GET /mcp answers 405 by design. CORS is open, so browser-based clients (e.g. MCP Inspector) can call it directly.

Usage with Claude Desktop

Add to claude_desktop_config.json:

json
{  "mcpServers": {    "scrapiq": {      "command": "scrapiq-mcp",      "env": { "SCRAPIQ_ENDPOINT": "http://localhost:8001/v1/extract" }    }  }}

Tool

scrapiq_extract

Extract a web page into clean structured content.

Arguments:

  • url (string, required) — the URL to extract
  • format (string, optional) — "markdown" (default) | "text" | "json"
  • max_chars (integer, optional) — truncate content to N chars

Example:

scrapiq_extract(url="https://en.wikipedia.org/wiki/Retrieval-augmented_generation", format="markdown")

Returns title, content, links, and metadata — no ads, no nav, no scripts.

Test the server

bash
printf '%s\n' \  '{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2024-11-05"}}' \  '{"jsonrpc":"2.0","id":2,"method":"tools/list"}' \  '{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"scrapiq_extract","arguments":{"url":"https://example.com","format":"text"}}}' \  | scrapiq-mcp

License

MIT

来源:README.md,提交 d9dcde1

工具

1

scrapiq_extract

Extract a URL to clean content

Extract a web page into clean, structured content for LLM/RAG pipelines via the Scrapiq API. Strips boilerplate, navigation, ads, and scripts. Returns title, content, links, and metadata.

输入参数url必填formatmax_chars

版本历史

1
  1. v0.2.0最新Sep 19, 2026

评分

已满足适用检查项的 100%

该评分衡量此收录条目的完整程度,依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价,也不表示服务器安全或当前可用:可连通性是带日期的检查结果,评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分