Smart Crawler

io.github.shulex-voc由 GitHub 账号 shulex-voc 发布v0.2.1更新于 Oct 24, 2026

E-commerce competitor intelligence, VOC sentiment, Amazon ASIN analysis, Reddit growth playbooks.

已验证Streamable HTTP可网页运行网页搜索与抓取数据与分析商业与电商

概览

AI 生成的概览

托管型 MCP 服务器，提供电商竞品情报、VOC 评论情感分析、Amazon ASIN 分析与 Reddit 增长方案。

可以做什么
  • 按品牌、国家、关键词或价格搜索竞品商品目录
  • 获取 Trustpilot、Reviews.io、Google Maps 的消费者 VOC 评论，以及带 AI 痛点分析的 Amazon ASIN 评论
  • 按关键词给出 Google Shopping 商家份额排名
  • 为 subreddit 头部贡献者生成 Reddit 增长方案
  • 抓取单个 URL 并保留短期智能体记忆
  • 用自然语言查询数据仓库
适用场景
适合需要电商市场、竞品与用户声音调研的场景：对比竞品目录、分析 Amazon 或评论网站的情感、评估 Google Shopping 竞争格局，或规划 Reddit 社区增长。
运行要求
远程 streamable-http 端点（smartcrawler.io），无需本地安装包。需要在 smart-crawler 控制台生成 API Key，并以 Authorization Bearer 令牌（sck_...）发送。需能访问该托管服务。
安装前请注意
API Key 属于机密，通过 Authorization 头发送，请勿写入共享配置或日志。服务为托管形式，查询内容与抓取的 URL 会发送给第三方。部分工具会消耗额度，仓库查询标注为零额度。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Smart Crawler，将其添加到工作区。
  2. 连接 Authorization token 凭据。它们会被私密存储，绝不会在公开页面上展示。
  3. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.shulex-voc%2Fsmart-crawler/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "smart-crawler": {
      "type": "http",
      "url": "https://smartcrawler.io/mcp/",
      "headers": {
        "Authorization": "Bearer <YOUR_TOKEN>"
      }
    }
  }
}

README

smart-crawler MCP

E-commerce competitor intelligence, VOC review sentiment, Amazon ASIN analysis, Google Shopping landscape, on-demand URL scraping, and Reddit subreddit growth playbooks — exposed to AI agents as a hosted Model Context Protocol server.

  • Endpoint: https://smartcrawler.io/mcp/ (streamable-http)
  • Auth: Authorization: Bearer sck_... — generate a key in the smart-crawler console
  • Registry: io.github.shulex-voc/smart-crawler

This repository hosts the public MCP manifest for the smart-crawler service. It is the discovery/connection entry point — the service itself is hosted.

Connect

Claude Code

bash
export SMARTCRAWLER_API_KEY=sck_...claude mcp add --scope user --transport http smart-crawler \  https://smartcrawler.io/mcp/ \  --header "Authorization: Bearer $SMARTCRAWLER_API_KEY"

--scope user makes the server visible in every project. Without it, claude mcp add defaults to local scope (only the current directory), a common "I added it but /mcp is empty" pitfall. Verify with claude mcp list or /mcp.

Codex (~/.codex/config.toml)

toml
[mcp_servers.smart-crawler]url = "https://smartcrawler.io/mcp/"bearer_token_env_var = "SMARTCRAWLER_API_KEY"

Any MCP client

Point your client at https://smartcrawler.io/mcp/ over streamable-http and send your API key as a Bearer token. See mcp.json for the full tool list and server.json for the registry manifest.

Tools (highlights)

ToolWhat it does
reddit_subreddit_playbookFull growth playbook for a subreddit's top contributors
search_competitor_productsSearch competitor catalog by brand / country / keyword / price
get_voc_reviewsConsumer VOC reviews from Trustpilot / Reviews.io / Google Maps
amazon_voc_reportAmazon ASIN reviews + AI VOC analysis (pain points, listing tips)
competitor_landscapeGoogle Shopping merchant-share ranking for a keyword
scrape_urlOne-URL scrape with short-lived agent memory
query_warehouseWarehouse-first natural-language query (0 credits)

Full list in mcp.json.

License

MIT

来源：README.md，提交 8e4c675

工具

0
该服务器需要 API 密钥等凭据，因此 SourceWeft 无法在没有凭据的情况下读取其工具，也未收录。

版本历史

1
  1. v0.2.1最新Sep 16, 2026

评分

已满足适用检查项的 75%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。