Conkurrence

io.github.AlligatorC0der由 GitHub 帳號 AlligatorC0der 發布v1.0.5更新於 Oct 24, 2026

Multi-model rating for AI evaluation. Agreement is reliability, not validity. Maintenance mode.

已驗證STDIO僅桌面資料與分析AI 與機器學習

概覽

AI 產生的概覽

本機 MCP 伺服器，執行多模型 AI 評估並回報評分者間一致性統計，標出需要專家複核的爭議項目。

可以做什麼
在多個 AI 評分者上執行評估 schema，計算 Fleiss' kappa、Kendall's W 等一致性統計，並與專家標註的錨定項目比對；自洽模式使用主機模型，無需 API 金鑰。產生單次執行的詳細 Markdown 報告。並排比較兩次執行，並跨多次執行追蹤一致性趨勢以偵測退化。依資料建議評估 schema，並在執行前驗證 schema。在評估前估算成本與 token 用量。
適用情境
適合在建立或稽核 AI 評估時使用，用來了解模型評分者在哪些項目上一致或不一致、哪些項目需要專家判斷，以及分歧來自評估準則還是評分者。它是診斷輔助工具，不能取代專家標註的真實答案。
執行需求
透過 npx 或全域 npm 安裝作為本機程序執行，需要 Node.js。對 Bedrock、OpenAI 與 Gemini 模型進行多模型評估需要對應供應商的憑證；自洽模式無需 API 金鑰，透過 MCP Sampling 使用主機模型。需要 Claude Desktop 等桌面 MCP 用戶端。
安裝前請注意
多模型執行會呼叫外部供應商並產生費用，建議先使用成本估算工具。專案處於維護模式，不接受購買且無支援承諾。一致性衡量的是可靠性而非有效性：模型可能自信地對錯誤答案達成一致，結果不應取代專家標註的真實答案。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Conkurrence，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only，透過 STDIO。 STDIO 服務會啟動本機處理程序，因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

ConKurrence

Multi-model rating for AI evaluation: measures agreement among model raters (Fleiss' κ, Kendall's W) to find contested items for expert review.

What agreement tells you: where your raters and your criteria are consistent, and where they are not — which items are contested, and whether disagreement comes from the criteria or the raters.

What it does not tell you: that the raters are right. Agreement is reliability, not validity. Models can agree confidently on a wrong answer. Use ConKurrence to decide where an expert's judgment is needed and to diagnose your evaluation criteria — not to replace expert-labelled ground truth.

Status: maintenance mode. ConKurrence is developed by JE Vectors LLC as the evaluation instrument behind Inqura. It is not accepting purchases and carries no support commitment.

Install

bash
npm install -g conkurrence

MCP Server

Use ConKurrence as an MCP server in Claude Desktop or any MCP-compatible client:

bash
npx conkurrence mcp

Claude Desktop Configuration

Add to your claude_desktop_config.json:

json
{  "mcpServers": {    "conkurrence": {      "command": "npx",      "args": ["-y", "conkurrence", "mcp"]    }  }}

Claude Code Plugin

/plugin marketplace add AlligatorC0der/conkurrence

Features

  • Multi-model evaluation — Run your schema against Bedrock, OpenAI, and Gemini models simultaneously
  • Agreement statistics — Fleiss' kappa with bootstrap confidence intervals; Kendall's W against expert-labelled anchor items
  • Self-consistency mode — No API keys needed; uses the host model via MCP Sampling
  • Schema suggestion — AI-powered schema design from your data
  • Trend tracking — Compare runs over time, detect agreement degradation
  • Cost estimation — Know the cost before running

MCP Tools

ToolDescription
conkurrence_runExecute an evaluation across multiple AI raters
conkurrence_reportGenerate a detailed markdown report
conkurrence_compareSide-by-side comparison of two runs
conkurrence_trendTrack agreement over multiple runs
conkurrence_suggestAI-powered schema suggestion from your data
conkurrence_validate_schemaValidate a schema before running
conkurrence_estimateEstimate cost and token usage

Links

License

BUSL-1.1 — Business Source License 1.1

來源：README.md，提交 72e7732

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包，因此其工具未知。

版本歷史

2
  1. v1.0.5最新Oct 3, 2026
  2. v1.0.3Sep 16, 2026

評分

已滿足適用檢查項的 40%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。