Conkurrence

io.github.AlligatorC0der由 GitHub 账号 AlligatorC0der 发布v1.0.5更新于 Oct 24, 2026

Multi-model rating for AI evaluation. Agreement is reliability, not validity. Maintenance mode.

已验证STDIO仅桌面数据与分析AI 与机器学习

概览

AI 生成的概览

本地 MCP 服务器，运行多模型 AI 评估并报告评分者间一致性统计，标出需专家复核的争议条目。

可以做什么
在多个 AI 评分者上运行评估 schema，计算 Fleiss' kappa、Kendall's W 等一致性统计，并与专家标注的锚点条目对比；自洽模式使用宿主模型，无需 API 密钥。生成单次运行的详细 Markdown 报告。并排比较两次运行，并跨多次运行追踪一致性趋势以发现退化。根据数据建议评估 schema，并在运行前校验 schema。在评估前估算成本与 token 用量。
适用场景
适合在构建或审查 AI 评估时使用，用来了解模型评分者在哪些条目上一致或不一致、哪些条目需要专家判断，以及分歧来自评估标准还是评分者。它是诊断辅助工具，不能替代专家标注的真实答案。
运行要求
通过 npx 或全局 npm 安装作为本地进程运行，需要 Node.js。对 Bedrock、OpenAI 和 Gemini 模型进行多模型评估需要相应提供方的凭据；自洽模式无需 API 密钥，通过 MCP Sampling 使用宿主模型。需要 Claude Desktop 等桌面 MCP 客户端。
安装前请注意
多模型运行会调用外部提供方并产生费用，建议先使用成本估算工具。项目处于维护模式，不接受购买且无支持承诺。一致性衡量的是可靠性而非有效性：模型可能自信地对错误答案达成一致，结果不应替代专家标注的真实答案。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Conkurrence，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。

其他 MCP 客户端

参照 仓库 中的启动说明。

README

ConKurrence

Multi-model rating for AI evaluation: measures agreement among model raters (Fleiss' κ, Kendall's W) to find contested items for expert review.

What agreement tells you: where your raters and your criteria are consistent, and where they are not — which items are contested, and whether disagreement comes from the criteria or the raters.

What it does not tell you: that the raters are right. Agreement is reliability, not validity. Models can agree confidently on a wrong answer. Use ConKurrence to decide where an expert's judgment is needed and to diagnose your evaluation criteria — not to replace expert-labelled ground truth.

Status: maintenance mode. ConKurrence is developed by JE Vectors LLC as the evaluation instrument behind Inqura. It is not accepting purchases and carries no support commitment.

Install

bash
npm install -g conkurrence

MCP Server

Use ConKurrence as an MCP server in Claude Desktop or any MCP-compatible client:

bash
npx conkurrence mcp

Claude Desktop Configuration

Add to your claude_desktop_config.json:

json
{  "mcpServers": {    "conkurrence": {      "command": "npx",      "args": ["-y", "conkurrence", "mcp"]    }  }}

Claude Code Plugin

/plugin marketplace add AlligatorC0der/conkurrence

Features

  • Multi-model evaluation — Run your schema against Bedrock, OpenAI, and Gemini models simultaneously
  • Agreement statistics — Fleiss' kappa with bootstrap confidence intervals; Kendall's W against expert-labelled anchor items
  • Self-consistency mode — No API keys needed; uses the host model via MCP Sampling
  • Schema suggestion — AI-powered schema design from your data
  • Trend tracking — Compare runs over time, detect agreement degradation
  • Cost estimation — Know the cost before running

MCP Tools

ToolDescription
conkurrence_runExecute an evaluation across multiple AI raters
conkurrence_reportGenerate a detailed markdown report
conkurrence_compareSide-by-side comparison of two runs
conkurrence_trendTrack agreement over multiple runs
conkurrence_suggestAI-powered schema suggestion from your data
conkurrence_validate_schemaValidate a schema before running
conkurrence_estimateEstimate cost and token usage

Links

License

BUSL-1.1 — Business Source License 1.1

来源：README.md，提交 72e7732

工具

0
SourceWeft 尚未在沙箱中启动过该软件包，因此其工具未知。

版本历史

2
  1. v1.0.5最新Oct 3, 2026
  2. v1.0.3Sep 16, 2026

评分

已满足适用检查项的 40%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通25 分

    请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。

  • 已声明认证方式10 分

    请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。

  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。