Evalgate

io.github.ipezygj由 GitHub 帳號 ipezygj 發布v0.4.1更新於 Oct 24, 2026

Statistical checks an agent runs before trusting an AI eval number (is #1 real, judge bias, more).

發布方自己的服務:EvalGate

已驗證STDIO僅桌面AI 與機器學習

概覽

AI 產生的概覽

一個本機 MCP 伺服器,在助理採信 AI 評測分數之前對其做統計檢定。

可以做什麼
對 AI 評測數字執行統計檢定,例如排名第一的結果是否真實、評審模型是否有偏差,再讓助理依賴該分數。它是本機、僅限桌面執行的程序,清單中未列出任何工具,因此具體操作在此無從得知。它的用途是為評測比較增加審慎查核,而不是執行或託管評測本身。
適用情境
當助理需要解讀或比較 AI 基準與評測分數,並希望對所回報的排名或提升是否有意義做統計合理性檢查時使用。它適合分析評測結果,而非執行評測本身。
執行需求
作為本機程序在使用者電腦上執行,透過 stdio 從 PyPI 套件 eval-integrity 安裝。僅限桌面,不支援網頁執行。未宣告驗證、環境變數或請求標頭。
安裝前請注意
清單未列出任何工具,也沒有 README,因此具體檢定內容及其傳送的資料均無文件說明;安裝前請審查該套件。未宣告任何憑證。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Evalgate,將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only,透過 STDIO。 STDIO 服務會啟動本機處理程序,因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

該儲存庫沒有 README。

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包,因此其工具未知。

版本歷史

1
  1. v0.4.1最新Sep 16, 2026

評分

已滿足適用檢查項的 25%

該評分衡量此收錄條目的完整程度,依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價,也不表示伺服器安全或目前可用:可連通性是帶日期的檢查結果,評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手;SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭,或保持端點能夠回應探測,以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list,或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分

    請宣告包含 README 的 GitHub 儲存庫,或在 OAuth 受保護資源後設資料中提供 resource_documentation。

  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。

其他 Evalgate 整合