Metrillm

io.github.MetriLLM由 GitHub 账号 MetriLLM 发布v0.2.6更新于 Oct 24, 2026

Benchmark local LLM models — speed, quality & hardware fitness verdict from any MCP client

已验证STDIO仅桌面数据与分析AI 与机器学习

概览

AI 生成的概览

本地 MCP 服务器，用于在 Ollama 或 LM Studio 上对本地大模型做基准测试，给出速度、质量与硬件适配结论。

可以做什么
列出指定运行时（Ollama 或 LM Studio）上本地可用的模型。对某个模型运行完整的速度与质量基准测试，或仅测性能。查询此前保存在本地的基准测试结果，可按模型名筛选。将结果文件上传到公开的 MetriLLM 排行榜。
适用场景
适合希望让助手在自己的硬件上比较本地模型、查看每秒 token 数、首 token 延迟和内存占用，或在依赖某模型前判断其是否合适时使用。
运行要求
通过 npx 本地运行（npm 包 metrillm-mcp）；需要 Node.js 20 或更高版本、一个正在运行的本地运行时（Ollama，或启用本地服务器的 LM Studio），以及该运行时上至少一个可用模型。可选环境变量 METRILLM_SUPABASE_URL、METRILLM_SUPABASE_ANON_KEY 和 METRILLM_PUBLIC_RESULT_BASE_URL 可覆盖上传默认配置。
安装前请注意
share_result 工具会把基准测试结果文件上传到公开排行榜，结果将对外可见，分享前请检查文件内容。基准测试会在本地加载模型，占用计算资源和内存。可选的上传覆盖变量可能包含自托管部署的凭据。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Metrillm，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。

其他 MCP 客户端

参照 仓库 中的启动说明。

README

MetriLLM MCP Server

[npm version]

MCP (Model Context Protocol) server for MetriLLM — benchmark local LLMs directly from Claude Code, Cursor, Windsurf, Continue.dev, or any MCP-compatible client.

Quick Start

Claude Code

bash
claude mcp add metrillm -- npx metrillm-mcp@latest

Claude Desktop

Add to claude_desktop_config.json:

json
{  "mcpServers": {    "metrillm": {      "command": "npx",      "args": ["metrillm-mcp@latest"]    }  }}

Cursor / Windsurf / Continue.dev

Add to your editor's MCP configuration:

json
{  "mcpServers": {    "metrillm": {      "command": "npx",      "args": ["metrillm-mcp@latest"]    }  }}

Prerequisites

  • Node.js >= 20
  • One local runtime available:
  • At least one model available on the selected runtime

Available Tools

list_models

List all locally available LLM models.

ParamTypeDefaultDescription
runtime"ollama" | "lm-studio""ollama"Inference runtime

Example response:

json
{  "models": [    { "name": "llama3.2:3b", "size": 2019393189, "parameterSize": "3.2B", "quantization": "Q4_K_M", "family": "llama" }  ],  "count": 1}

run_benchmark

Run a full benchmark (performance + quality) on a local model.

ParamTypeDefaultDescription
modelstring(required)Model name (e.g. "llama3.2:3b")
runtime"ollama" | "lm-studio""ollama"Inference runtime
perfOnlybooleanfalseIf true, measure performance only (skip quality)

Example response:

json
{  "success": true,  "model": "llama3.2:3b",  "verdict": "GOOD",  "globalScore": 65,  "performance": {    "tokensPerSecond": 42.5,    "ttftMs": 120,    "memoryUsedGB": 2.1,    "memoryPercent": 13  },  "interpretation": "This model runs well on your hardware."}

get_results

Retrieve previous benchmark results stored locally.

ParamTypeDefaultDescription
modelstring(optional)Filter by model name (substring match)
runtime"ollama" | "lm-studio""ollama"Inference runtime

share_result

Upload a result to the public MetriLLM leaderboard.

ParamTypeDescription
resultFilestringAbsolute path to the result JSON file

Uses official MetriLLM upload defaults out of the box.

Optional overrides for self-hosted/staging deployments:

  • METRILLM_SUPABASE_URL
  • METRILLM_SUPABASE_ANON_KEY
  • METRILLM_PUBLIC_RESULT_BASE_URL

Architecture

The MCP server is a thin wrapper around the existing MetriLLM CLI logic:

mcp/src/index.ts  → MCP entry point (stdio transport)mcp/src/tools.ts  → Tool definitions + calls to CLI modules    ↓../src/core/      → CLI logic reused directly../src/commands/  → CLI commands (bench, list)

No code duplication — the MCP server imports CLI modules directly.

Supported Runtimes

RuntimeStatus
OllamaSupported
LM StudioSupported
MLXPlanned
llama.cppPlanned
vLLMPlanned

The runtime parameter is present on every tool to prepare for multi-runtime support. Unimplemented runtimes return a clear error.

License

Apache License 2.0

来源：mcp/README.md，提交 41779e7

工具

0
SourceWeft 尚未在沙箱中启动过该软件包，因此其工具未知。

版本历史

1
  1. v0.2.6最新Sep 16, 2026

评分

已满足适用检查项的 50%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通25 分

    请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。

  • 已声明认证方式10 分

    请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。

  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分