Web Scraper

io.github.DataLeadsPRO由 GitHub 账号 DataLeadsPRO 发布v1.0.1更新于 Oct 24, 2026

Fetch, crawl, and browse protected pages with anti-bot handling - renders in a real browser and

已验证Streamable HTTP可网页运行网页搜索与抓取浏览器自动化

概览

AI 生成的概览

远程网页抓取服务，让助手抓取、爬取和浏览带反爬保护的页面并处理验证码，返回干净的 JSON 或 markdown。

可以做什么
  • 抓取单个页面并返回干净的 JSON 或 markdown
  • 按站点爬取多个页面
  • 在真实浏览器中渲染并浏览带反爬处理的页面
  • 处理受保护页面上的验证码
适用场景
适合需要从会拦截普通请求的网站（如房源或列表页）获取内容，又不想自行维护代理和抓取基础设施的场景。
运行要求
远程 Streamable HTTP 端点；需要 DataLeads 客户端密钥（clientKey），免费额度为每月 500 次请求。Docker 的 stdio 方式需要 DATALEADS_API_KEY。需要能访问服务商的网络。
安装前请注意
clientKey 是付费服务的凭据，用量按套餐计量，大量爬取会消耗配额或产生费用。请求经由第三方服务，其可见你提交的网址；验证码破解与反爬绕过可能与目标网站条款冲突。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Web Scraper，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.DataLeadsPRO%2Fweb-scraper/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "web-scraper": {
      "type": "http",
      "url": "https://data.dataleads.pro/mcp/web-scraper"
    }
  }
}

README

Web Scraper API (Anti-Bot)

Fetch, crawl, and browse protected pages with anti-bot handling - renders in a real browser and returns clean JSON or markdown.

Part of the DataLeads API suite (Data category). Requests render in a real browser with anti-bot handling and protected-page support built in - no proxies to manage, no infrastructure to run.

Endpoints

MethodPathDescription
POST/fetchV1 Fetch
POST/web/crawlV1 Web Crawl
POST/browseV1 Browse
POST/captcha/solveV1 Captcha Solve

Quick start

bash
curl -X POST https://data.dataleads.pro/v1/fetch \  -H 'Content-Type: application/json' \  -d '{"clientKey": "YOUR_CLIENT_KEY", "url": "https://www.zillow.com/homes/Austin,-TX_rb/"}'

Replace YOUR_CLIENT_KEY with your key. Get one at https://data.dataleads.pro - free tier included.

MCP server

  • Remote (Streamable HTTP): https://data.dataleads.pro/mcp/web-scraper
  • Stdio (Docker): docker run -e DATALEADS_API_KEY=yourkey ghcr.io/dataleads/web-scraper-mcp:latest

Pricing

TierPriceRequests
Free$0500/mo
Starter$9/mo5,000
Pro$29/mo25,000
Business$99/mo100,000
Enterprisecustomcustom

Full plan details at https://data.dataleads.pro.

License

MIT - see LICENSE.

来源：README.md，提交 43f34fe

工具

4

fetch

V1 Fetch

输入参数urlmaxTimeout

web_crawl

V1 Web Crawl

输入参数urlmax_pagesmaxTimeout

browse

V1 Browse

输入参数urlwaitMsactionsfullPage

captcha_solve

V1 Captcha Solve

输入参数urlsiteKeycaptchaType

版本历史

1
  1. v1.0.1最新Sep 17, 2026

评分

已满足适用检查项的 90%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。