X402 Scraper

io.github.ihen404由 GitHub 账号 ihen404 发布v1.0.0更新于 Oct 24, 2026

Autonomous HTTP 402 Web Scraping Mesh on Base for $0.02 USDC.

已验证Streamable HTTP可网页运行网页搜索与抓取金融

概览

AI 生成的概览

远程 MCP 端点，让 AI 助手通过 Base 上的 x402 协议按每次 0.02 USDC 付费抓取网页，并返回精简的 Markdown。

可以做什么
  • 通过 x402 付费抓取请求获取网页，返回去除 HTML 与导航冗余后的、节省 token 的 Markdown。
  • 在任务进行中自动发现并完成 Base 上按次 USDC 结算，无需 API 密钥。
  • 借助解耦的队列与 worker 结构处理抓取任务，以应对高并发。
  • 通过 Base 主网或 Base Sepolia 上的 ERC-8004 身份进行链上注册或识别。
适用场景
适合希望助手在无需管理 API 密钥或代理订阅的情况下抓取网页，并愿意用钱包按次支付 USDC 费用的场景。更偏向 Base 上的自主智能体工作流，而非一次性手动抓取。
运行要求
需要一个远程 MCP 端点（清单中仅为占位域名，需替换为真实部署地址）。需要持有 Base 主网或 Base Sepolia 上 USDC 的加密钱包；若按 README 搭建智能体，还需 Coinbase AgentKit 与 LangChain 相关包。需要能访问该端点及 Base 网络。
安装前请注意
每次请求都会真实花钱：每次抓取固定结算 0.02 USDC，由智能体控制的钱包签名支付。钱包及其私钥是主要风险，未经确认的自动支付可能耗尽资金。抓取内容来自第三方网站；README 中的 MCP 地址指向 GitHub 上的原始文件而非已部署服务。

安装

在 SourceWeft 中

  1. 打开 控制台中的 X402 Scraper，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.ihen404%2Fx402-scraper/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "x402-scraper": {
      "type": "http",
      "url": "https://your-domain.com/mcp.json"
    }
  }
}

README

@ihentrel/x402-scraper-langchain

[npm version] [License: MIT] [Network]

Protocol-native web scraping utility tool engineered for autonomous AI agents, powered by Coinbase AgentKit, LangChain, and x402 on-chain micro-settlements.

Key Features & Strategic Positioning

  • Zero API Keys Required: Agents discover, pay, and execute scraping requests mid-task without unhandled API key exceptions or rate limits.
  • Predictable Operational Cost: Flat $0.02 USDC/request settlement on Base, offering a transparent OpEx alternative to dynamic per-gigabyte proxy services.
  • Token-Optimized Markdown: HTML, navigation boilerplate, and DOM elements are automatically stripped into clean, token-dense Markdown to reduce LLM context window costs.
  • Asynchronous Queue Resilience: Underpinned by a decoupled better-sqlite3 queue and PM2 worker mesh to prevent payload failures under high concurrency.
  • Ecosystem Ready: Native support for Model Context Protocol (MCP) manifests (/mcp.json) and ERC-8004 identity registration on Base.

Quickstart

1. Installation

bash
npm install @ihentrel/x402-scraper-langchain @coinbase/agentkit @langchain/openai

2. Basic Agent Usage

typescript
import { AgentKit, ViemWalletProvider, walletActionProvider } from "@coinbase/agentkit";import { getLangChainTools } from "@coinbase/agentkit-langchain";import { ChatOpenAI } from "@langchain/openai";import { createReactAgent } from "@langchain/langgraph/prebuilt";import { x402ActionProvider } from "@ihentrel/x402-scraper-langchain";
async function main() {  const agentKit = await AgentKit.from({    actionProviders: [walletActionProvider(), x402ActionProvider()],  });
  const tools = await getLangChainTools(agentKit);  const agent = createReactAgent({    llm: new ChatOpenAI({ modelName: "gpt-4o-mini" }),    tools,  });
  const response = await agent.invoke({    messages: [      {        role: "user",        content: "Use the x402 scraper tool to fetch data from https://api.example.com/x402-resource",      },    ],  });
  console.log(response.messages[response.messages.length - 1].content);}
main();

Model Context Protocol (MCP) Integration

For drop-in compatibility with MCP clients (e.g., Claude Desktop, Cursor, CrewAI):

json
{  "mcpServers": {    "x402-scraper": {      "url": "https://raw.githubusercontent.com/ihen404/langchain-x402/main/mcp.json"    }  }}

On-Chain Verification

  • Network: Base Mainnet / Base Sepolia
  • Protocol Standard: ERC-8004 Agent Identity
  • Settlement Asset: USDC ($0.02 / request)

License

MIT © Ike Ambrose Hentrel II

来源：README.md，提交 c2a4a5b

工具

0
SourceWeft 尚未读取此服务器的工具。

版本历史

1
  1. v1.0.0最新Sep 18, 2026

评分

已满足适用检查项的 75%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具必需15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。