Commoncrawl Mcp

io.github.mrfentmen由 GitHub 账号 mrfentmen 发布v1.0.1更新于 Nov 5, 2026

Use this MCP server to Common Crawl index discovery for historical web captures. Tools include...

已验证STDIO仅桌面网页搜索与抓取知识与记忆

概览

AI 生成的概览

通过 Common Crawl 索引查找历史网页抓取记录及其元数据，不下载页面内容。

可以做什么
  • 列出近期的 Common Crawl 抓取集合，并返回最新的集合 ID
  • 按 URL 或通配符模式搜索抓取索引元数据，如时间戳、状态、摘要、文件名、偏移量和长度
适用场景
适合来源溯源研究、档案发现和失效链接排查，也适合在后续从 Common Crawl 获取存档页面之前先定位所需的抓取元数据。
运行要求
作为本地 Node.js 进程运行，从 npm 包 commoncrawl-mcp 安装；未声明需要账号、API 密钥或环境变量。需要能访问 Common Crawl 索引的网络。
安装前请注意
它只搜索索引，不下载页面内容，也不保证抓取记录完整或可合法复用，复用权利需另行核实。请求和结果页数有上限。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Commoncrawl Mcp，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。

其他 MCP 客户端

参照 仓库 中的启动说明。

README

commoncrawl-mcp

Discover historical web captures through the Common Crawl index. This server is for provenance research, archival discovery, broken-link investigations, and finding the capture metadata needed for a later archive fetch.

Tools

  • list_indexes: list recent crawl collections.
  • latest_index: return the newest collection id.
  • search_captures: search URL or wildcard patterns and return capture index metadata such as timestamp, status, digest, filename, offset, and length.

This server searches the index only. It does not download page contents, bypass access controls, or guarantee that a capture is complete or legally reusable. Requests and result pages are bounded.

Run

bash
npm installnpm run buildnode dist/index.js

来源：README.md，提交 1259797

工具

0
SourceWeft 尚未在沙箱中启动过该软件包，因此其工具未知。

版本历史

1
  1. v1.0.1最新Sep 22, 2026

评分

已满足适用检查项的 40%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通25 分

    请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。

  • 已声明认证方式10 分

    请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。

  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。