Smart Crawler

io.github.shulex-voc由 GitHub 帳號 shulex-voc 發布v0.2.1更新於 Oct 24, 2026

E-commerce competitor intelligence, VOC sentiment, Amazon ASIN analysis, Reddit growth playbooks.

已驗證Streamable HTTP可網頁執行網頁搜尋與抓取資料與分析商業與電商

概覽

AI 產生的概覽

託管型 MCP 伺服器，提供電商競品情報、VOC 評論情緒分析、Amazon ASIN 分析與 Reddit 成長方案。

可以做什麼
  • 依品牌、國家、關鍵字或價格搜尋競品商品目錄
  • 取得 Trustpilot、Reviews.io、Google Maps 的消費者 VOC 評論，以及附 AI 痛點分析的 Amazon ASIN 評論
  • 依關鍵字提供 Google Shopping 商家佔比排名
  • 為 subreddit 熱門貢獻者產生 Reddit 成長方案
  • 擷取單一 URL 並保留短期代理記憶
  • 以自然語言查詢資料倉儲
適用情境
適合需要電商市場、競品與使用者心聲調查的情境：比較競品目錄、分析 Amazon 或評論網站的情緒、評估 Google Shopping 競爭態勢，或規劃 Reddit 社群成長。
執行需求
遠端 streamable-http 端點（smartcrawler.io），不需本機套件。需在 smart-crawler 主控台產生 API Key，並以 Authorization Bearer 權杖（sck_...）傳送。需能連線至該託管服務。
安裝前請注意
API Key 屬機密，透過 Authorization 標頭傳送，請勿寫入共用設定或日誌。服務為託管形式，查詢內容與擷取的 URL 會傳送給第三方。部分工具會消耗額度，倉儲查詢標示為零額度。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Smart Crawler，將其新增到工作區。
  2. 連接 Authorization token 憑證。它們會被私密儲存，絕不會在公開頁面上展示。
  3. 為需要使用其工具的對話啟用該服務。

Web executable，透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.shulex-voc%2Fsmart-crawler/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "smart-crawler": {
      "type": "http",
      "url": "https://smartcrawler.io/mcp/",
      "headers": {
        "Authorization": "Bearer <YOUR_TOKEN>"
      }
    }
  }
}

README

smart-crawler MCP

E-commerce competitor intelligence, VOC review sentiment, Amazon ASIN analysis, Google Shopping landscape, on-demand URL scraping, and Reddit subreddit growth playbooks — exposed to AI agents as a hosted Model Context Protocol server.

  • Endpoint: https://smartcrawler.io/mcp/ (streamable-http)
  • Auth: Authorization: Bearer sck_... — generate a key in the smart-crawler console
  • Registry: io.github.shulex-voc/smart-crawler

This repository hosts the public MCP manifest for the smart-crawler service. It is the discovery/connection entry point — the service itself is hosted.

Connect

Claude Code

bash
export SMARTCRAWLER_API_KEY=sck_...claude mcp add --scope user --transport http smart-crawler \  https://smartcrawler.io/mcp/ \  --header "Authorization: Bearer $SMARTCRAWLER_API_KEY"

--scope user makes the server visible in every project. Without it, claude mcp add defaults to local scope (only the current directory), a common "I added it but /mcp is empty" pitfall. Verify with claude mcp list or /mcp.

Codex (~/.codex/config.toml)

toml
[mcp_servers.smart-crawler]url = "https://smartcrawler.io/mcp/"bearer_token_env_var = "SMARTCRAWLER_API_KEY"

Any MCP client

Point your client at https://smartcrawler.io/mcp/ over streamable-http and send your API key as a Bearer token. See mcp.json for the full tool list and server.json for the registry manifest.

Tools (highlights)

ToolWhat it does
reddit_subreddit_playbookFull growth playbook for a subreddit's top contributors
search_competitor_productsSearch competitor catalog by brand / country / keyword / price
get_voc_reviewsConsumer VOC reviews from Trustpilot / Reviews.io / Google Maps
amazon_voc_reportAmazon ASIN reviews + AI VOC analysis (pain points, listing tips)
competitor_landscapeGoogle Shopping merchant-share ranking for a keyword
scrape_urlOne-URL scrape with short-lived agent memory
query_warehouseWarehouse-first natural-language query (0 credits)

Full list in mcp.json.

License

MIT

來源：README.md，提交 8e4c675

工具

0
該伺服器需要 API 金鑰等憑證，因此 SourceWeft 無法在沒有憑證的情況下讀取其工具，也未收錄。

版本歷史

1
  1. v0.2.1最新Sep 16, 2026

評分

已滿足適用檢查項的 75%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。