EvalGate

io.github.evalgate由 GitHub 帳號 evalgate 發布v1.0.0更新於 Oct 26, 2026

Create and run AI evaluations, record traces, and inspect results with scoped organization access.

發布方自己的服務:EvalGate

已驗證Streamable HTTP可網頁執行資料與分析AI 與機器學習

概覽

AI 產生的概覽

EvalGate 遠端 MCP 伺服器,讓助理檢視組織的 AI 評測、執行紀錄、基準線與連接器健康狀態。

可以做什麼
  • 檢視已驗證組織中的專案、評測與專案金鑰,並取得連接儲存庫、評測或追蹤來源的不變更後續步驟計畫。
  • 以穩定游標列出評測與評測執行,並附帶回歸訊號。
  • 依狀態、失敗案例中繼資料與證據血緣說明某次執行,並顯示已發布的基準線錨點及其血緣。
  • 搜尋已發布的 OpenAPI 操作目錄以取得說明。
  • 檢視連接器就緒報告、工作區連線中繼資料、連接器定義與已安裝設定路徑、已設定的帳戶根,以及帶有可見資源版本的連線參照。
適用情境
當你使用 EvalGate 進行評測,希望助理在對話中彙整執行結果、追查失敗與回歸、核對基準線,或檢視連接器與連線設定時適用。
執行需求
遠端 streamable HTTP 端點(evalgate.com),不需本機套件。需要 EvalGate 組織 API 金鑰,透過 Authorization 標頭以 bearer 方式傳送。
安裝前請注意
此 API 金鑰是組織憑證,經 Authorization 標頭傳送,應限制其權限範圍並避免寫入共用日誌。工具被描述為唯讀且不變更資料,但會將專案金鑰、連線細節、帳戶根等組織中繼資料暴露給助理及其模型供應商。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 EvalGate,將其新增到工作區。
  2. 連接 Authorization token 憑證。它們會被私密儲存,絕不會在公開頁面上展示。
  3. 為需要使用其工具的對話啟用該服務。

Web executable,透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式,或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南,先向你展示發布者、端點和登入方式,經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.evalgate%2Fevalgate/install.md,並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前,先告訴我它的發布者、端點和登入方式,等我確認。不要把 API 金鑰寫進命令或我會提交的檔案;問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "evalgate": {
      "type": "http",
      "url": "https://www.evalgate.com/api/mcp",
      "headers": {
        "Authorization": "Bearer <YOUR_TOKEN>"
      }
    }
  }
}

工具

12

project.inspect

Inspect the evaluations and project keys available in the authenticated organization.

輸入參數projectKey

project.plan

Return a non-mutating next-step plan for connecting a repository, evaluation, or trace source.

輸入參數target

evaluations.list

List evaluations with a stable cursor for the organization.

輸入參數limitcursorstatus

runs.list

List evaluation runs with stable cursors and regression signals.

輸入參數limitcursorstatusevaluationId必填

run.explain

Explain a run using its status, failed-case metadata, and evidence-lineage summary.

輸入參數runId必填

baseline.lineage

Show the published baseline anchor and its evidence lineage.

輸入參數evaluationId必填

connector.health

Show the latest connector-readiness reports for the organization.

輸入參數connectorKey

connections.list

List current workspace connection metadata, with source restrictions, freshness and bounded continuation. Does not reveal secrets or grant source access.

輸入參數qlimitcursorsource

connections.catalog

Inspect all connector definitions and exact installed setup paths. Unavailable blueprints and live verification are separate facts.

無需輸入參數。

connections.roots

Page independent configured account roots using current administrator authority. Does not list secrets or imply verified connector availability.

輸入參數qlimitcursor

connections.graph

Read canonical connection references and currently visible exact resource revisions. No source access grant or execution.

輸入參數id必填

版本歷史

1
  1. v1.0.0最新Oct 18, 2026

評分

已滿足適用檢查項的 83%

該評分衡量此收錄條目的完整程度,依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價,也不表示伺服器安全或目前可用:可連通性是帶日期的檢查結果,評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 圖示10 分
  • 文件15 分

    請宣告包含 README 的 GitHub 儲存庫,或在 OAuth 受保護資源後設資料中提供 resource_documentation。

  • 授權條款不適用

    託管服務按其提供方的條款使用,因此這裡不要求授權條款。此檢查項不計入百分比。

其他 Evalgate 整合