返回博客

网页抓取与浏览器自动化 MCP 服务器:10 个选项对比

10 个用于抓取网页和操控浏览器的 MCP 服务器,按发布者、传输方式、认证方式和适用场景对比。数据来自 SourceWeft 目录,截至 2026 年 11 月 20 日。

SOSourceWeftNov 20, 20267 分钟阅读

数据截至: 2026 年 11 月 20 日

先说结论

  • 要把网页取回来,得到干净的文本或 Markdown,用托管的抓取服务器:Firecrawl、ScrapingBee、Apify、HasData 或 Ujeebu。
  • 要在大规模抓取时应对拦截和 CAPTCHA,用自带代理网络的服务商:Bright Data 或 Apify。
  • 要像真人一样点击、输入和登录,用浏览器自动化服务器:云端浏览器可选 Playwright Cloud Browsers 或 Browserless;在自己电脑上运行的浏览器可选 Playwright MCP 或 Chrome DevTools MCP。

没有哪一个服务器是唯一的最佳选择。选哪个,取决于你要的是内容还是交互,以及浏览器应该在远程运行还是在本地运行。

这份清单是怎么选出来的

这是一份选择,不是排名。下面每个服务器,在 2026 年 11 月 20 日的 SourceWeft MCP 目录中都满足两个条件:

  1. 它由产品背后的公司或项目发布,使用自己的域名或 GitHub 组织,而不是第三方封装。
  2. 它的条目已验证,也就是注册中心确认过发布者的命名空间或 GitHub 账号。

我们没有对成功率、速度或价格做基准测试。目录读不到某个服务器的工具时,表格里会如实注明。

网页抓取还是浏览器自动化?

网页抓取服务器浏览器自动化服务器
你给它一个 URL 或一条搜索查询一连串操作
你拿到文本、Markdown 或结构化数据形式的页面内容每次操作之后实时页面的状态
适合研究、监控、把文档喂给模型需要登录的网站、表单、多步骤流程、测试
成本来源请求数和代理用量浏览器会话时长

如果一次普通的抓取就能拿到内容,就用抓取服务器。它更便宜,也更不容易出问题。只有页面需要交互时,才动用浏览器。

网页抓取服务器

服务器发布者运行方式认证方式已列出的工具更新日期
FirecrawlGitHub firecrawl远程抓取、搜索和解析无需凭据;其余需要 API key 或 OAuth32026 年 11 月 20 日
Apify MCP Serverapify.com远程OAuth 或 API key需登录后才能读取2026 年 11 月 20 日
ScrapingBeescrapingbee.com远程API key182026 年 10 月 26 日
HasData Web Scrapinghasdata.com远程API key尚未收录2026 年 10 月 24 日
Ujeebuujeebu.com远程无需凭据,可选 API key172026 年 11 月 10 日
Bright DataGitHub brightdata本地本地配置尚未验证2026 年 11 月 11 日

“远程”指 Streamable HTTP。“本地”指 stdio:服务器在你的电脑上运行,需要桌面端宿主应用。“本地配置”指 MCP 连接本身不需要登录,服务器的 API token 由你在本地配置中提供。

Firecrawl。 搜索、抓取网页并与网页交互,返回 Markdown 或结构化数据。托管端点在抓取、搜索和文档解析时不需要凭据,但有速率限制。爬取、站点地图和其他工具需要 API key 或 OAuth 登录。

Apify MCP Server。 让助手在 Apify Store 里查找抓取和自动化 Actor,运行它们并读取结果。如果你需要的是针对某个网站的现成抓取器,而不是通用的抓取工具,可以选它。

ScrapingBee。 通过 ScrapingBee API 抓取页面、执行网页搜索和电商平台搜索,并返回结构化数据。想要“把这个页面给我”,它是个直接的选择。

HasData Web Scraping。 通过托管代理抓取公开页面,可选 JavaScript 渲染和提取规则。同一发布者还为 Airbnb、Google Hotels、Zillow 等特定来源单独列出了服务器。

Ujeebu。 把页面抓取、Google 搜索结果和 Markdown 转换放在同一个远程服务器里。

Bright Data。 搜索网页、把页面抓取为 Markdown、运行结构化抓取器,还能操控远程浏览器。目录收录的是本地软件包,需要桌面端宿主应用。Bright Data 也托管了一个远程端点。两者都需要 Bright Data API token。

浏览器自动化服务器

服务器发布者运行方式认证方式已列出的工具更新日期
Playwright Cloud Browsersmicrosoft.com远程Microsoft Entra ID尚未收录2026 年 10 月 29 日
Browserlessbrowserless.io远程OAuth 或 API key212026 年 11 月 19 日
Playwright MCPGitHub microsoft本地无尚未验证2026 年 11 月 19 日
Chrome DevTools MCPGitHub ChromeDevTools本地无尚未验证2026 年 11 月 11 日

Playwright Cloud Browsers。 Microsoft 为 Playwright Workspaces 提供的远程服务器,目前是预览版。它为智能体提供托管的云端浏览器:创建会话、打开页面、检查页面、与页面元素交互。它需要 Azure 订阅和一个 Playwright 工作区,用 Microsoft Entra ID 登录。

Browserless。 Browserless 的官方服务器,用于浏览器自动化、抓取、截图和生成 PDF。

Playwright MCP。 把 Microsoft 的 Playwright 工具做成本地 MCP 服务器。它操控的是你自己电脑上的浏览器,所以已登录的会话也留在本机。

Chrome DevTools MCP。 让编程智能体通过 DevTools 控制并检查一个正在运行的 Chrome,包括网络和控制台调试,以及性能跟踪。它操控的是你自己电脑上的浏览器,更适合调试自己的应用,而不是抓取别人的网站。它默认会向 Google 发送使用统计,可以用 --no-usage-statistics 关闭。

Browserbase 也发布了 MCP 服务器。它的开源仓库已归档,Browserbase 建议改用它托管在 mcp.browserbase.com 的服务器。2026 年 11 月 20 日,SourceWeft 目录只收录了这个已归档的仓库,所以它不在表格里。

怎么选

  1. 要内容还是要交互? 要内容 → 抓取服务器。要交互 → 浏览器服务器。
  2. 远程还是本地? 网页版 AI 应用只能使用远程(Streamable HTTP)服务器。本地(stdio)服务器需要桌面端宿主应用。
  3. 目标网站难访问吗? 反爬虫防护强的网站,需要有代理网络的服务商。
  4. 需要已登录的会话吗? 那就需要浏览器服务器,而且要想清楚这些凭据存放在哪里。本地浏览器会把它们留在你的电脑上。
  5. 要花多少钱? 这些托管服务都是商业产品,各有各的套餐。2026 年 11 月 20 日,每一家都列出了免费套餐或免费试用。在它上面搭建之前,先看一下服务商的定价。

负责任地使用

抓取工具会照模型的要求去做。把它对准某个网站之前,先查看该网站的服务条款和 robots.txt,把请求频率压低,也不要收集你没有依据处理的个人数据。工具返回的页面里还可能含有针对模型写的文字,所以要把抓取到的内容当作数据,而不是指令。

浏览更多

SourceWeft 目录把这些服务器归在两个分类下:网页搜索与抓取和浏览器自动化。每个服务器页面都会显示它的发布者、传输方式、认证方式,以及能读取到时的工具列表。

常见问题

网页抓取最好的 MCP 服务器是哪个? 要看具体任务。如果是把单个页面取回为 Markdown,Firecrawl、ScrapingBee 或 HasData 这样的托管抓取服务器就够了。如果需要针对特定网站的抓取器,Apify 有一个很大的目录。如果是防护很严的网站,用自带代理网络的服务商,比如 Bright Data。

浏览器自动化最好的 MCP 服务器是哪个? 要用云端浏览器,可以看看 Playwright Cloud Browsers 和 Browserless。要用自己电脑上的浏览器,可以用 Playwright MCP 或 Chrome DevTools MCP。

有免费的网页抓取 MCP 服务器吗? 本地的开源服务器运行起来不花钱,但机器和网络要你自己提供,而且更容易被拦截。这里列出的六个托管服务都是商业产品。2026 年 11 月 20 日,每一家的定价页都提供免费套餐或免费试用。

MCP 服务器能替我登录网站吗? 浏览器自动化服务器可以,因为它操控的是真实的浏览器。会话在哪里运行要慎重决定:云端浏览器会把你的已登录会话放在别人的基础设施上。

抓取大量依赖 JavaScript 的页面,一定要用浏览器服务器吗? 不一定。有几个抓取服务器会在自己那一端渲染 JavaScript,再返回最终内容。

用 AI 智能体抓取网页合法吗? 这取决于网站、数据和你所在的司法辖区。公开页面并不意味着可以随意收集。请查看网站的条款,以及适用于你的个人数据相关规定。本文不构成法律建议。

相关文章

可分享链接

继续阅读

相关文章

全部文章

在 Claude Code 里安装技能和 MCP 服务器:从空文件夹开始的教程

从空文件夹开始,给 Claude Code 安装一个技能和一个 MCP 服务器:搜索、安装前先看详情、配置文件放在哪里,以及怎样检查和移除。所有命令都是实际运行的结果。

继续阅读

按类别浏览 MCP 服务器:我们目录里的 17 个类别以及怎么逛

一份按 17 个类别整理的 MCP 服务器列表,从数据库、浏览器自动化到沟通协作,附 2026 年 11 月 21 日每个类别的服务器数量,以及怎样在类别页里筛选、搜索和安装。

继续阅读

什么是模型上下文协议(MCP)?

MCP 是一个开放协议,让 AI 应用通过一套标准接口连接工具和数据。本文介绍它的工作原理、服务器能提供什么,以及如何上手。

继续阅读