Codabench Mcp

io.github.harshitAgr由 GitHub 帳號 harshitAgr 發布v0.1.1更新於 Oct 25, 2026

MCP server for the Codabench REST API — drives a full ML-benchmark participant workflow.

已驗證STDIO僅桌面資料與分析AI 與機器學習

概覽

AI 產生的概覽

面向 Codabench REST API 的本機 MCP 伺服器，讓助理搜尋機器學習競賽、下載資料、提交結果並查看排行榜。

可以做什麼
透過 Codabench API 工具搜尋與讀取競賽、階段、規則和任務，並取得個人資料，另有一個預設僅限 GET 的通用請求工具。下載競賽資料集，支援串流傳輸與 SHA-256 驗證，並受大小上限限制。依 Codabench 的多步驟上傳流程向階段提交結果，再輪詢提交狀態直到完成。列出並檢視自己的提交紀錄及其日誌。讀取競賽排行榜。
適用情境
適合參加 Codabench 機器學習競賽時使用：讓助理查詢規則與階段、取得資料集、提交預測並追蹤結果，不必切換到網頁介面。
執行需求
以 Python 套件在本機執行（uvx codabench-mcp 或 uv）。需要 Codabench 帳號，並在 CODABENCH_API_TOKEN 環境變數中提供 API 權杖。需要連線至 codabench.org 的網路；CODABENCH_BASE_URL、CODABENCH_ALLOW_WRITE_RAW 和 CODABENCH_MAX_DOWNLOAD_BYTES 為選用設定。
安裝前請注意
CODABENCH_API_TOKEN 中的權杖可存取你的 Codabench 帳號，並以 Authorization 標頭送出，請勿放入共用設定。向階段提交會寫入 Codabench 資料，可能計入競賽限制。將 CODABENCH_ALLOW_WRITE_RAW 設為 1 會讓通用請求工具送出非 GET 請求，可能改變遠端狀態。資料集下載可能很大，受 CODABENCH_MAX_DOWNLOAD_BYTES 限制。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Codabench Mcp，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only，透過 STDIO。 STDIO 服務會啟動本機處理程序，因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

codabench-mcp

MCP server for the Codabench REST API. Lets an AI agent drive a full participant ML-benchmark workflow: discover competitions, read rules, download data, submit, poll, read leaderboards.

Features

Curated tools for the participant path:

  • search_competitions, get_competition, list_competition_phases, get_phase, get_competition_rules, list_competition_tasks, get_task
  • download_dataset (streaming + SHA-256)
  • list_my_submissions, get_submission, get_submission_logs
  • submit_to_phase (handles Codabench's 3-step upload flow)
  • poll_submission (backoff + timeout + non-error "still_running")
  • get_leaderboard, get_my_profile
  • codabench_request — generic REST escape hatch (GET-only by default)

Authentication

You need a Codabench API token. Two ways to get one:

1. Swagger UI (recommended)

  1. Visit https://www.codabench.org/api/docs/
  2. Find the api-token-auth endpoint → Try it out
  3. POST your username/password
  4. Copy the token value from the response

2. curl

bash
curl -X POST https://www.codabench.org/api/api-token-auth/ \  -H "Content-Type: application/json" \  -d '{"username":"YOUR_USERNAME","password":"YOUR_PASSWORD"}'

The response is {"token": "..."}.

Install

bash
uvx codabench-mcp

To run the bleeding-edge main branch instead of the last release:

bash
uvx --from git+https://github.com/harshitAgr/codabench-mcp codabench-mcp

Or for development:

bash
git clone https://github.com/harshitAgr/codabench-mcp.gitcd codabench-mcpuv syncuv run codabench-mcp  # requires CODABENCH_API_TOKEN

Configure an MCP client

Claude Desktop (claude_desktop_config.json)

json
{  "mcpServers": {    "codabench": {      "command": "uvx",      "args": ["codabench-mcp"],      "env": {        "CODABENCH_API_TOKEN": "paste-your-token-here"      }    }  }}

Claude Code (plugin marketplace)

shell
/plugin marketplace add harshitAgr/codabench-mcp/plugin install codabench-mcp@codabench-mcp

Then export your token in the shell where you launch Claude Code:

bash
export CODABENCH_API_TOKEN=paste-your-token-here

Claude Code (manual)

If you'd rather skip the plugin layer:

bash
claude mcp add codabench \  --env CODABENCH_API_TOKEN=paste-your-token-here \  -- uvx codabench-mcp

Environment variables

VariableRequiredDefaultPurpose
CODABENCH_API_TOKENyes—DRF token, sent as Authorization: Token <token>
CODABENCH_BASE_URLnohttps://www.codabench.orgOverride for tests
CODABENCH_ALLOW_WRITE_RAWno0Set to 1 to allow non-GET methods through codabench_request
CODABENCH_MAX_DOWNLOAD_BYTESno5368709120 (5 GB)Cap for download_dataset

Development

bash
uv syncuv run pytest                              # unit tests, no networkuv run ruff check .                        # lintuv run ruff format --check .               # format check

License

MIT — see LICENSE.

mcp-name: io.github.harshitAgr/codabench-mcp

來源：README.md，提交 6ee6313

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包，因此其工具未知。

版本歷史

1
  1. v0.1.1最新Sep 16, 2026

評分

已滿足適用檢查項的 50%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分