Web Scraper & Crawler for RAG (Markdown)

io.github.ByteBlisk由 GitHub 帳號 ByteBlisk 發布v1.0.0更新於 Nov 8, 2026

Website to clean Markdown or JSON for AI and RAG: read pages, crawl sites, extract described fields.

已驗證Streamable HTTP可網頁執行網頁搜尋與抓取知識與記憶

概覽

AI 產生的概覽

託管於 Apify 的 MCP 伺服器，可讀取網頁或爬取整個網站，輸出乾淨的 Markdown 或 JSON，供 AI 與 RAG 使用。

可以做什麼
  • 將單一網頁讀取為乾淨的 Markdown 或 JSON
  • 爬取整個網站並產生網站地圖
  • 依自然語言描述的欄位從頁面擷取資料
  • 輸出適合 RAG 流程的結構化內容
適用情境
當助理需要以乾淨、結構化的形式取得網頁內容用於檢索增強生成、整站內容蒐集，或不必自行撰寫爬蟲即可從頁面擷取指定欄位時適用。
執行需求
託管於 Apify 的遠端 Streamable HTTP 端點，無需安裝。需要 Apify 帳號及 Apify API 權杖，透過 Authorization 標頭以 Bearer 權杖形式傳送。需能連線至 Apify 端點。
安裝前請注意
Apify API 權杖屬於機密，透過 Authorization 標頭傳送。依使用量計費，價格見商店頁面，免費方案含每月額度；據稱失敗的呼叫不收費。爬取時目標網站網址會傳送至 Apify 的託管服務。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Web Scraper & Crawler for RAG (Markdown)，將其新增到工作區。
  2. 連接 所需的 憑證。它們會被私密儲存，絕不會在公開頁面上展示。
  3. 為需要使用其工具的對話啟用該服務。

Web executable，透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.ByteBlisk%2Fsitereader/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。 客戶端會在首次連接時完成 OAuth 登入。

{
  "mcpServers": {
    "web-scraper-crawler-for-rag-markdown": {
      "type": "http",
      "url": "https://mcp.apify.com/?tools=byteblisk/sitereader"
    }
  }
}

README

byteblisk MCP servers

Three hosted MCP servers for AI agents, running on Apify. Nothing to install: connect over Streamable HTTP with your Apify API token, and pay per use. Every tool states its cost, and failed calls are free.

ServerWhat your agent getsStore page
[圖片]Web Scraper & Crawler for RAGAny page or whole site as clean Markdown or JSON, site maps, fields you describe in plain wordsapify.com/byteblisk/sitereader
[圖片]App Store & Google Play ReviewsReviews from both stores in one format, complaint themes with real quotes, competitor comparisonapify.com/byteblisk/app-reviews-insights
[圖片]Google Play Scraper & SERP Rank CheckerGoogle Play apps, reviews and search, top-100 rank on Google, Bing and Yandexapify.com/byteblisk/google-play-search-toolkit

Connect

Endpoints (Streamable HTTP, header Authorization: Bearer <YOUR_APIFY_TOKEN>):

https://byteblisk--sitereader.apify.actor/mcphttps://byteblisk--app-reviews-insights.apify.actor/mcphttps://byteblisk--google-play-search-toolkit.apify.actor/mcp

Claude Desktop, Cursor or any MCP client (mcp.json):

json
{  "mcpServers": {    "byteblisk-sitereader": {      "url": "https://byteblisk--sitereader.apify.actor/mcp",      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }    },    "byteblisk-app-reviews": {      "url": "https://byteblisk--app-reviews-insights.apify.actor/mcp",      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }    },    "byteblisk-google-play-search": {      "url": "https://byteblisk--google-play-search-toolkit.apify.actor/mcp",      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }    }  }}

Get a token at console.apify.com/settings/integrations. Prices are on each Store page; Apify's free plan includes monthly credit to try them.

Support

Open an issue on the actor's Store page; we answer every one.

來源：README.md，提交 19fa2c2

工具

0
該伺服器需要登入，因此 SourceWeft 無法在沒有帳號的情況下讀取其工具，也未收錄。已連接帳號所能看到的內容可能因帳號及其權限而異。

版本歷史

1
  1. v1.0.0最新Nov 8, 2026

評分

已滿足適用檢查項的 75%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。