数据截至: 2026 年 11 月 20 日
先说结论
- 要把网页取回来,得到干净的文本或 Markdown,用托管的抓取服务器:Firecrawl、ScrapingBee、Apify、HasData 或 Ujeebu。
- 要在大规模抓取时应对拦截和 CAPTCHA,用自带代理网络的服务商:Bright Data 或 Apify。
- 要像真人一样点击、输入和登录,用浏览器自动化服务器:云端浏览器可选 Playwright Cloud Browsers 或 Browserless;在自己电脑上运行的浏览器可选 Playwright MCP 或 Chrome DevTools MCP。
没有哪一个服务器是唯一的最佳选择。选哪个,取决于你要的是内容还是交互,以及浏览器应该在远程运行还是在本地运行。
这份清单是怎么选出来的
这是一份选择,不是排名。下面每个服务器,在 2026 年 11 月 20 日的 SourceWeft MCP 目录中都满足两个条件:
- 它由产品背后的公司或项目发布,使用自己的域名或 GitHub 组织,而不是第三方封装。
- 它的条目已验证,也就是注册中心确认过发布者的命名空间或 GitHub 账号。
我们没有对成功率、速度或价格做基准测试。目录读不到某个服务器的工具时,表格里会如实注明。
网页抓取还是浏览器自动化?
| 网页抓取服务器 | 浏览器自动化服务器 | |
|---|---|---|
| 你给它 | 一个 URL 或一条搜索查询 | 一连串操作 |
| 你拿到 | 文本、Markdown 或结构化数据形式的页面内容 | 每次操作之后实时页面的状态 |
| 适合 | 研究、监控、把文档喂给模型 | 需要登录的网站、表单、多步骤流程、测试 |
| 成本来源 | 请求数和代理用量 | 浏览器会话时长 |
如果一次普通的抓取就能拿到内容,就用抓取服务器。它更便宜,也更不容易出问题。只有页面需要交互时,才动用浏览器。
网页抓取服务器
| 服务器 | 发布者 | 运行方式 | 认证方式 | 已列出的工具 | 更新日期 |
|---|---|---|---|---|---|
| Firecrawl | GitHub firecrawl | 远程 | 抓取、搜索和解析无需凭据;其余需要 API key 或 OAuth | 3 | 2026 年 11 月 20 日 |
| Apify MCP Server | apify.com | 远程 | OAuth 或 API key | 需登录后才能读取 | 2026 年 11 月 20 日 |
| ScrapingBee | scrapingbee.com | 远程 | API key | 18 | 2026 年 10 月 26 日 |
| HasData Web Scraping | hasdata.com | 远程 | API key | 尚未收录 | 2026 年 10 月 24 日 |
| Ujeebu | ujeebu.com | 远程 | 无需凭据,可选 API key | 17 | 2026 年 11 月 10 日 |
| Bright Data | GitHub brightdata | 本地 | 本地配置 | 尚未验证 | 2026 年 11 月 11 日 |
“远程”指 Streamable HTTP。“本地”指 stdio:服务器在你的电脑上运行,需要桌面端宿主应用。“本地配置”指 MCP 连接本身不需要登录,服务器的 API token 由你在本地配置中提供。
Firecrawl。 搜索、抓取网页并与网页交互,返回 Markdown 或结构化数据。托管端点在抓取、搜索和文档解析时不需要凭据,但有速率限制。爬取、站点地图和其他工具需要 API key 或 OAuth 登录。
Apify MCP Server。 让助手在 Apify Store 里查找抓取和自动化 Actor,运行它们并读取结果。如果你需要的是针对某个网站的现成抓取器,而不是通用的抓取工具,可以选它。
ScrapingBee。 通过 ScrapingBee API 抓取页面、执行网页搜索和电商平台搜索,并返回结构化数据。想要“把这个页面给我”,它是个直接的选择。
HasData Web Scraping。 通过托管代理抓取公开页面,可选 JavaScript 渲染和提取规则。同一发布者还为 Airbnb、Google Hotels、Zillow 等特定来源单独列出了服务器。
Ujeebu。 把页面抓取、Google 搜索结果和 Markdown 转换放在同一个远程服务器里。
Bright Data。 搜索网页、把页面抓取为 Markdown、运行结构化抓取器,还能操控远程浏览器。目录收录的是本地软件包,需要桌面端宿主应用。Bright Data 也托管了一个远程端点。两者都需要 Bright Data API token。
浏览器自动化服务器
| 服务器 | 发布者 | 运行方式 | 认证方式 | 已列出的工具 | 更新日期 |
|---|---|---|---|---|---|
| Playwright Cloud Browsers | microsoft.com | 远程 | Microsoft Entra ID | 尚未收录 | 2026 年 10 月 29 日 |
| Browserless | browserless.io | 远程 | OAuth 或 API key | 21 | 2026 年 11 月 19 日 |
| Playwright MCP | GitHub microsoft | 本地 | 无 | 尚未验证 | 2026 年 11 月 19 日 |
| Chrome DevTools MCP | GitHub ChromeDevTools | 本地 | 无 | 尚未验证 | 2026 年 11 月 11 日 |
Playwright Cloud Browsers。 Microsoft 为 Playwright Workspaces 提供的远程服务器,目前是预览版。它为智能体提供托管的云端浏览器:创建会话、打开页面、检查页面、与页面元素交互。它需要 Azure 订阅和一个 Playwright 工作区,用 Microsoft Entra ID 登录。
Browserless。 Browserless 的官方服务器,用于浏览器自动化、抓取、截图和生成 PDF。
Playwright MCP。 把 Microsoft 的 Playwright 工具做成本地 MCP 服务器。它操控的是你自己电脑上的浏览器,所以已登录的会话也留在本机。
Chrome DevTools MCP。 让编程智能体通过 DevTools 控制并检查一个正在运行的 Chrome,包括网络和控制台调试,以及性能跟踪。它操控的是你自己电脑上的浏览器,更适合调试自己的应用,而不是抓取别人的网站。它默认会向 Google 发送使用统计,可以用 --no-usage-statistics 关闭。
Browserbase 也发布了 MCP 服务器。它的开源仓库已归档,Browserbase 建议改用它托管在 mcp.browserbase.com 的服务器。2026 年 11 月 20 日,SourceWeft 目录只收录了这个已归档的仓库,所以它不在表格里。
怎么选
- 要内容还是要交互? 要内容 → 抓取服务器。要交互 → 浏览器服务器。
- 远程还是本地? 网页版 AI 应用只能使用远程(Streamable HTTP)服务器。本地(stdio)服务器需要桌面端宿主应用。
- 目标网站难访问吗? 反爬虫防护强的网站,需要有代理网络的服务商。
- 需要已登录的会话吗? 那就需要浏览器服务器,而且要想清楚这些凭据存放在哪里。本地浏览器会把它们留在你的电脑上。
- 要花多少钱? 这些托管服务都是商业产品,各有各的套餐。2026 年 11 月 20 日,每一家都列出了免费套餐或免费试用。在它上面搭建之前,先看一下服务商的定价。
负责任地使用
抓取工具会照模型的要求去做。把它对准某个网站之前,先查看该网站的服务条款和 robots.txt,把请求频率压低,也不要收集你没有依据处理的个人数据。工具返回的页面里还可能含有针对模型写的文字,所以要把抓取到的内容当作数据,而不是指令。
浏览更多
SourceWeft 目录把这些服务器归在两个分类下:网页搜索与抓取和浏览器自动化。每个服务器页面都会显示它的发布者、传输方式、认证方式,以及能读取到时的工具列表。
常见问题
网页抓取最好的 MCP 服务器是哪个? 要看具体任务。如果是把单个页面取回为 Markdown,Firecrawl、ScrapingBee 或 HasData 这样的托管抓取服务器就够了。如果需要针对特定网站的抓取器,Apify 有一个很大的目录。如果是防护很严的网站,用自带代理网络的服务商,比如 Bright Data。
浏览器自动化最好的 MCP 服务器是哪个? 要用云端浏览器,可以看看 Playwright Cloud Browsers 和 Browserless。要用自己电脑上的浏览器,可以用 Playwright MCP 或 Chrome DevTools MCP。
有免费的网页抓取 MCP 服务器吗? 本地的开源服务器运行起来不花钱,但机器和网络要你自己提供,而且更容易被拦截。这里列出的六个托管服务都是商业产品。2026 年 11 月 20 日,每一家的定价页都提供免费套餐或免费试用。
MCP 服务器能替我登录网站吗? 浏览器自动化服务器可以,因为它操控的是真实的浏览器。会话在哪里运行要慎重决定:云端浏览器会把你的已登录会话放在别人的基础设施上。
抓取大量依赖 JavaScript 的页面,一定要用浏览器服务器吗? 不一定。有几个抓取服务器会在自己那一端渲染 JavaScript,再返回最终内容。
用 AI 智能体抓取网页合法吗? 这取决于网站、数据和你所在的司法辖区。公开页面并不意味着可以随意收集。请查看网站的条款,以及适用于你的个人数据相关规定。本文不构成法律建议。