Commoncrawl Mcp

io.github.mrfentmen由 GitHub 帳號 mrfentmen 發布v1.0.1更新於 Nov 5, 2026

Use this MCP server to Common Crawl index discovery for historical web captures. Tools include...

已驗證STDIO僅桌面網頁搜尋與抓取知識與記憶

概覽

AI 產生的概覽

透過 Common Crawl 索引查詢歷史網頁擷取紀錄與其中繼資料，不下載頁面內容。

可以做什麼
  • 列出近期的 Common Crawl 擷取集合，並回傳最新的集合 ID
  • 依 URL 或萬用字元樣式搜尋擷取索引中繼資料，例如時間戳、狀態、摘要、檔名、位移量與長度
適用情境
適合來源溯源研究、檔案探索與失效連結追查，也適合在後續從 Common Crawl 取得封存頁面之前，先找出所需的擷取中繼資料。
執行需求
以本機 Node.js 程序執行，從 npm 套件 commoncrawl-mcp 安裝；未宣告需要帳號、API 金鑰或環境變數。需要能連線至 Common Crawl 索引的網路。
安裝前請注意
它只搜尋索引，不下載頁面內容，也不保證擷取紀錄完整或可合法再利用，再利用權利須另行確認。請求與結果頁數有上限。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Commoncrawl Mcp，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only，透過 STDIO。 STDIO 服務會啟動本機處理程序，因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

commoncrawl-mcp

Discover historical web captures through the Common Crawl index. This server is for provenance research, archival discovery, broken-link investigations, and finding the capture metadata needed for a later archive fetch.

Tools

  • list_indexes: list recent crawl collections.
  • latest_index: return the newest collection id.
  • search_captures: search URL or wildcard patterns and return capture index metadata such as timestamp, status, digest, filename, offset, and length.

This server searches the index only. It does not download page contents, bypass access controls, or guarantee that a capture is complete or legally reusable. Requests and result pages are bounded.

Run

bash
npm installnpm run buildnode dist/index.js

來源：README.md，提交 1259797

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包，因此其工具未知。

版本歷史

1
  1. v1.0.1最新Sep 22, 2026

評分

已滿足適用檢查項的 40%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。