Metrillm

io.github.MetriLLM由 GitHub 帳號 MetriLLM 發布v0.2.6更新於 Oct 24, 2026

Benchmark local LLM models — speed, quality & hardware fitness verdict from any MCP client

已驗證STDIO僅桌面資料與分析AI 與機器學習

概覽

AI 產生的概覽

本機 MCP 伺服器，可在 Ollama 或 LM Studio 上對本機大型語言模型做基準測試，給出速度、品質與硬體適配結論。

可以做什麼
列出指定執行環境（Ollama 或 LM Studio）上本機可用的模型。對某個模型執行完整的速度與品質基準測試，或只測效能。查詢先前存放在本機的基準測試結果，可依模型名稱篩選。將結果檔案上傳到公開的 MetriLLM 排行榜。
適用情境
適合想讓助理在自己的硬體上比較本機模型、查看每秒 token 數、首 token 延遲與記憶體用量，或在依賴某個模型前判斷是否合適時使用。
執行需求
透過 npx 在本機執行（npm 套件 metrillm-mcp）；需要 Node.js 20 或更新版本、一個正在執行的本機執行環境（Ollama，或啟用本機伺服器的 LM Studio），以及該環境上至少一個可用模型。選用環境變數 METRILLM_SUPABASE_URL、METRILLM_SUPABASE_ANON_KEY 與 METRILLM_PUBLIC_RESULT_BASE_URL 可覆寫上傳預設設定。
安裝前請注意
share_result 工具會把基準測試結果檔案上傳到公開排行榜，結果將對外公開，分享前請先檢查檔案內容。基準測試會在本機載入模型，佔用運算資源與記憶體。選用的上傳覆寫變數可能包含自架部署的憑證。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Metrillm，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only，透過 STDIO。 STDIO 服務會啟動本機處理程序，因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

MetriLLM MCP Server

[npm version]

MCP (Model Context Protocol) server for MetriLLM — benchmark local LLMs directly from Claude Code, Cursor, Windsurf, Continue.dev, or any MCP-compatible client.

Quick Start

Claude Code

bash
claude mcp add metrillm -- npx metrillm-mcp@latest

Claude Desktop

Add to claude_desktop_config.json:

json
{  "mcpServers": {    "metrillm": {      "command": "npx",      "args": ["metrillm-mcp@latest"]    }  }}

Cursor / Windsurf / Continue.dev

Add to your editor's MCP configuration:

json
{  "mcpServers": {    "metrillm": {      "command": "npx",      "args": ["metrillm-mcp@latest"]    }  }}

Prerequisites

  • Node.js >= 20
  • One local runtime available:
  • At least one model available on the selected runtime

Available Tools

list_models

List all locally available LLM models.

ParamTypeDefaultDescription
runtime"ollama" | "lm-studio""ollama"Inference runtime

Example response:

json
{  "models": [    { "name": "llama3.2:3b", "size": 2019393189, "parameterSize": "3.2B", "quantization": "Q4_K_M", "family": "llama" }  ],  "count": 1}

run_benchmark

Run a full benchmark (performance + quality) on a local model.

ParamTypeDefaultDescription
modelstring(required)Model name (e.g. "llama3.2:3b")
runtime"ollama" | "lm-studio""ollama"Inference runtime
perfOnlybooleanfalseIf true, measure performance only (skip quality)

Example response:

json
{  "success": true,  "model": "llama3.2:3b",  "verdict": "GOOD",  "globalScore": 65,  "performance": {    "tokensPerSecond": 42.5,    "ttftMs": 120,    "memoryUsedGB": 2.1,    "memoryPercent": 13  },  "interpretation": "This model runs well on your hardware."}

get_results

Retrieve previous benchmark results stored locally.

ParamTypeDefaultDescription
modelstring(optional)Filter by model name (substring match)
runtime"ollama" | "lm-studio""ollama"Inference runtime

share_result

Upload a result to the public MetriLLM leaderboard.

ParamTypeDescription
resultFilestringAbsolute path to the result JSON file

Uses official MetriLLM upload defaults out of the box.

Optional overrides for self-hosted/staging deployments:

  • METRILLM_SUPABASE_URL
  • METRILLM_SUPABASE_ANON_KEY
  • METRILLM_PUBLIC_RESULT_BASE_URL

Architecture

The MCP server is a thin wrapper around the existing MetriLLM CLI logic:

mcp/src/index.ts  → MCP entry point (stdio transport)mcp/src/tools.ts  → Tool definitions + calls to CLI modules    ↓../src/core/      → CLI logic reused directly../src/commands/  → CLI commands (bench, list)

No code duplication — the MCP server imports CLI modules directly.

Supported Runtimes

RuntimeStatus
OllamaSupported
LM StudioSupported
MLXPlanned
llama.cppPlanned
vLLMPlanned

The runtime parameter is present on every tool to prepare for multi-runtime support. Unimplemented runtimes return a clear error.

License

Apache License 2.0

來源：mcp/README.md，提交 41779e7

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包，因此其工具未知。

版本歷史

1
  1. v0.2.6最新Sep 16, 2026

評分

已滿足適用檢查項的 50%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分