GenPark Bloom Filter URL Dedup Crawler

io.github.alphaparkinc由 GitHub 帳號 alphaparkinc 發布v1.0.1更新於 Nov 4, 2026

In-memory Bloom filter for URL and document hash deduplication preventing redundant web crawler inge

發布方自己的服務:Bloom

已驗證STDIO僅桌面網頁搜尋與抓取

概覽

AI 產生的概覽

本機 MCP 伺服器,提供記憶體中的布隆過濾器,讓助理在重複爬取前對 URL 與文件雜湊去重。

可以做什麼
  • 提供用於 URL 與文件雜湊去重的記憶體布隆過濾器。
  • 讓助理在把網址加入爬取佇列前判斷是否已處理過。
  • 協助避免爬蟲重複爬取已處理過的頁面。
  • 未公布工具清單,實際操作方式沒有文件說明。
適用情境
適合在建立或執行網頁爬蟲時使用,讓助理跳過已處理過的網址或文件,避免爬取佇列出現重複項目。
執行需求
以 MCPB 套件形式在使用者本機作為本機程序執行;僅支援桌面用戶端,無法透過網頁執行。未宣告驗證、環境變數或標頭。
安裝前請注意
過濾器保存在記憶體中,程序重新啟動後狀態很可能遺失,去重紀錄可能被重設。未公布工具清單與 README,行為缺乏文件說明,安裝前請先檢查該套件。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 GenPark Bloom Filter URL Dedup Crawler,將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only,透過 STDIO。 STDIO 服務會啟動本機處理程序,因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

該儲存庫沒有 README。

工具

0
SourceWeft 曾在隔離沙箱中以無憑證方式啟動該軟體包一次,以列出其工具,但未能完成:該軟體包類型無法在沙箱中執行。

版本歷史

1
  1. v1.0.1最新Oct 21, 2026

評分

已滿足適用檢查項的 25%

該評分衡量此收錄條目的完整程度,依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價,也不表示伺服器安全或目前可用:可連通性是帶日期的檢查結果,評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手;SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭,或保持端點能夠回應探測,以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list,或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分

    請宣告包含 README 的 GitHub 儲存庫,或在 OAuth 受保護資源後設資料中提供 resource_documentation。

  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。

其他 Bloom 整合