Ragmetric Mcp

io.github.MukundaKatta由 GitHub 帳號 MukundaKatta 發布v0.1.1更新於 Oct 24, 2026

RAG retrieval IR metrics: recall@k, hit@k, MRR, NDCG@k, evaluate_batch.

已驗證STDIO僅桌面資料與分析AI 與機器學習

概覽

AI 產生的概覽

本機 MCP 伺服器，讓助理計算 RAG 檢索指標，例如 Recall@k、Hit@k、MRR 與 NDCG@k，並支援批次評估。

可以做什麼
  • 針對檢索結果與相關文件 ID 計算 recall@k 與 hit@k
  • 計算 MRR 以及採用二元相關性的 NDCG@k
  • 用 evaluate_batch 一次對多個查詢執行全部四項指標並回傳平均值
  • 處理由助理提供的字串文件 ID 陣列
適用情境
適合在反覆調整 RAG 檢索器時使用：讓助理依標準答案文件 ID 評估檢索品質，不必架設 notebook 或 Python 機器學習環境。
執行需求
以本機 stdio 程序執行，通常透過 npx 啟動 npm 套件 @mukundakatta/ragmetric-mcp，因此需要 Node.js 以及下載該套件的網路連線。未宣告任何帳號、API 金鑰或環境變數。
安裝前請注意
檢索結果與相關文件 ID 清單會傳給本機服務程序，除此之外未宣告其他資料外送。由於 npx 會自動下載並執行該套件，安裝前請先檢視套件內容。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Ragmetric Mcp，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only，透過 STDIO。 STDIO 服務會啟動本機處理程序，因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

@mukundakatta/ragmetric-mcp

MCP server for RAG retrieval evaluation. Lets an LLM compute IR metrics on demand: Recall@k, Hit@k, MRR, NDCG@k, plus an evaluate_batch convenience that runs all four across many queries.

Tools

ToolReturns
recall_at_k(retrieved, relevant, k)Fraction of relevant items in top k
hit_at_k(retrieved, relevant, k)1.0 if any relevant in top k else 0
mrr(retrieved, relevant)1 / rank of first relevant, 0 if none
ndcg_at_k(retrieved, relevant, k)NDCG@k with binary relevance (log2 discount)
evaluate_batch(queries, k)Mean of each metric across many queries

retrieved and relevant are arrays of doc IDs (strings).

Install — Claude Desktop

json
{  "mcpServers": {    "ragmetric": {      "command": "npx",      "args": ["-y", "@mukundakatta/ragmetric-mcp"]    }  }}

Install — Cursor / Cline / Windsurf / Zed

Same shape per tool. npx -y @mukundakatta/ragmetric-mcp over stdio.

Use case

You're iterating on a RAG retriever. Hand the LLM a JSONL of queries with ground-truth doc IDs, ask it to call evaluate_batch, and it returns the mean metrics in one call. No notebook, no boto3, no scikit-learn.

License

MIT OR Apache-2.0.

來源：packages/ragmetric-mcp/README.md，提交 6fad5bb

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包，因此其工具未知。

版本歷史

1
  1. v0.1.1最新Sep 16, 2026

評分

已滿足適用檢查項的 50%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分