Web Scraper & Crawler for RAG (Markdown)

io.github.ByteBlisk由 GitHub 账号 ByteBlisk 发布v1.0.0更新于 Nov 8, 2026

Website to clean Markdown or JSON for AI and RAG: read pages, crawl sites, extract described fields.

已验证Streamable HTTP可网页运行网页搜索与抓取知识与记忆

概览

AI 生成的概览

托管在 Apify 上的 MCP 服务器，可读取网页或爬取整站，输出干净的 Markdown 或 JSON，供 AI 与 RAG 使用。

可以做什么
  • 将单个网页读取为干净的 Markdown 或 JSON
  • 爬取整个站点并生成站点地图
  • 按自然语言描述的字段从页面中提取数据
  • 输出适合 RAG 流程的结构化内容
适用场景
当助手需要以干净、结构化的形式获取网页内容用于检索增强生成、整站内容收集，或无需自行编写爬虫即可从页面抽取指定字段时适用。
运行要求
托管于 Apify 的远程 Streamable HTTP 端点，无需安装。需要 Apify 账号及 Apify API 令牌，通过 Authorization 请求头以 Bearer 令牌形式发送。需能访问 Apify 端点。
安装前请注意
Apify API 令牌属于机密，通过 Authorization 请求头传递。按使用量付费，价格见商店页面，免费套餐含每月额度；据称失败的调用不收费。爬取时目标站点网址会发送至 Apify 的托管服务。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Web Scraper & Crawler for RAG (Markdown)，将其添加到工作区。
  2. 连接 所需的 凭据。它们会被私密存储，绝不会在公开页面上展示。
  3. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.ByteBlisk%2Fsitereader/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。 客户端会在首次连接时完成 OAuth 登录。

{
  "mcpServers": {
    "web-scraper-crawler-for-rag-markdown": {
      "type": "http",
      "url": "https://mcp.apify.com/?tools=byteblisk/sitereader"
    }
  }
}

README

byteblisk MCP servers

Three hosted MCP servers for AI agents, running on Apify. Nothing to install: connect over Streamable HTTP with your Apify API token, and pay per use. Every tool states its cost, and failed calls are free.

ServerWhat your agent getsStore page
[图片]Web Scraper & Crawler for RAGAny page or whole site as clean Markdown or JSON, site maps, fields you describe in plain wordsapify.com/byteblisk/sitereader
[图片]App Store & Google Play ReviewsReviews from both stores in one format, complaint themes with real quotes, competitor comparisonapify.com/byteblisk/app-reviews-insights
[图片]Google Play Scraper & SERP Rank CheckerGoogle Play apps, reviews and search, top-100 rank on Google, Bing and Yandexapify.com/byteblisk/google-play-search-toolkit

Connect

Endpoints (Streamable HTTP, header Authorization: Bearer <YOUR_APIFY_TOKEN>):

https://byteblisk--sitereader.apify.actor/mcphttps://byteblisk--app-reviews-insights.apify.actor/mcphttps://byteblisk--google-play-search-toolkit.apify.actor/mcp

Claude Desktop, Cursor or any MCP client (mcp.json):

json
{  "mcpServers": {    "byteblisk-sitereader": {      "url": "https://byteblisk--sitereader.apify.actor/mcp",      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }    },    "byteblisk-app-reviews": {      "url": "https://byteblisk--app-reviews-insights.apify.actor/mcp",      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }    },    "byteblisk-google-play-search": {      "url": "https://byteblisk--google-play-search-toolkit.apify.actor/mcp",      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }    }  }}

Get a token at console.apify.com/settings/integrations. Prices are on each Store page; Apify's free plan includes monthly credit to try them.

Support

Open an issue on the actor's Store page; we answer every one.

来源：README.md，提交 19fa2c2

工具

0
该服务器需要登录，因此 SourceWeft 无法在没有账号的情况下读取其工具，也未收录。已连接账号所能看到的内容可能因账号及其权限而异。

版本历史

1
  1. v1.0.0最新Nov 8, 2026

评分

已满足适用检查项的 75%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。