Ragmetric Mcp

io.github.MukundaKatta由 GitHub 账号 MukundaKatta 发布v0.1.1更新于 Oct 24, 2026

RAG retrieval IR metrics: recall@k, hit@k, MRR, NDCG@k, evaluate_batch.

已验证STDIO仅桌面数据与分析AI 与机器学习

概览

AI 生成的概览

本地 MCP 服务器，让助手计算 RAG 检索指标，如 Recall@k、Hit@k、MRR 和 NDCG@k，并支持批量评估。

可以做什么
  • 针对检索结果与相关文档 ID 计算 recall@k 和 hit@k
  • 计算 MRR 与基于二元相关性的 NDCG@k
  • 用 evaluate_batch 一次对多个查询运行全部四项指标并返回平均值
  • 处理由助手提供的字符串文档 ID 数组
适用场景
适合在迭代 RAG 检索器时使用：让助手依据标准答案文档 ID 评估检索质量，无需搭建 notebook 或 Python 机器学习环境。
运行要求
以本地 stdio 进程运行，通常通过 npx 启动 npm 包 @mukundakatta/ragmetric-mcp，因此需要 Node.js 以及下载该包的网络访问。未声明任何账号、API 密钥或环境变量。
安装前请注意
检索结果与相关文档 ID 列表会传给本地服务进程，除此之外未声明其他数据外发。由于 npx 会自动下载并运行该包，安装前请先查看包内容。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Ragmetric Mcp，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。

其他 MCP 客户端

参照 仓库 中的启动说明。

README

@mukundakatta/ragmetric-mcp

MCP server for RAG retrieval evaluation. Lets an LLM compute IR metrics on demand: Recall@k, Hit@k, MRR, NDCG@k, plus an evaluate_batch convenience that runs all four across many queries.

Tools

ToolReturns
recall_at_k(retrieved, relevant, k)Fraction of relevant items in top k
hit_at_k(retrieved, relevant, k)1.0 if any relevant in top k else 0
mrr(retrieved, relevant)1 / rank of first relevant, 0 if none
ndcg_at_k(retrieved, relevant, k)NDCG@k with binary relevance (log2 discount)
evaluate_batch(queries, k)Mean of each metric across many queries

retrieved and relevant are arrays of doc IDs (strings).

Install — Claude Desktop

json
{  "mcpServers": {    "ragmetric": {      "command": "npx",      "args": ["-y", "@mukundakatta/ragmetric-mcp"]    }  }}

Install — Cursor / Cline / Windsurf / Zed

Same shape per tool. npx -y @mukundakatta/ragmetric-mcp over stdio.

Use case

You're iterating on a RAG retriever. Hand the LLM a JSONL of queries with ground-truth doc IDs, ask it to call evaluate_batch, and it returns the mean metrics in one call. No notebook, no boto3, no scikit-learn.

License

MIT OR Apache-2.0.

来源：packages/ragmetric-mcp/README.md，提交 6fad5bb

工具

0
SourceWeft 尚未在沙箱中启动过该软件包，因此其工具未知。

版本历史

1
  1. v0.1.1最新Sep 16, 2026

评分

已满足适用检查项的 50%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通25 分

    请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。

  • 已声明认证方式10 分

    请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。

  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分