GenPark Bloom Filter URL Dedup Crawler

本地 MCP 服务器，提供内存中的布隆过滤器，让助手在重复抓取前对 URL 和文档哈希去重。

可以做什么

• 提供用于 URL 与文档哈希去重的内存布隆过滤器。
• 让助手在把网址加入抓取队列前判断是否已处理过。
• 帮助避免爬虫重复抓取已处理过的页面。
• 未公布工具清单，具体操作方式没有文档说明。

适用场景

适合在搭建或运行网页爬虫时使用，让助手跳过已处理过的网址或文档，避免抓取队列中出现重复项。

运行要求

以 MCPB 包形式在用户本机作为本地进程运行；仅支持桌面客户端，不能通过网页执行。未声明认证、环境变量或请求头。