Codabench Mcp

io.github.harshitAgr由 GitHub 账号 harshitAgr 发布v0.1.1更新于 Oct 25, 2026

MCP server for the Codabench REST API — drives a full ML-benchmark participant workflow.

已验证STDIO仅桌面数据与分析AI 与机器学习

概览

AI 生成的概览

面向 Codabench REST API 的本地 MCP 服务器，让助手查找机器学习竞赛、下载数据、提交结果并查看排行榜。

可以做什么
通过 Codabench API 工具搜索和读取竞赛、阶段、规则与任务，并获取个人资料，另有一个默认仅限 GET 的通用请求工具。下载竞赛数据集，支持流式传输与 SHA-256 校验，并受大小上限约束。按 Codabench 的多步上传流程向阶段提交结果，然后轮询提交状态直至完成。列出并查看自己的提交记录及其日志。读取竞赛排行榜。
适用场景
适合参加 Codabench 机器学习竞赛时使用：让助手查询规则和阶段、拉取数据集、提交预测并跟踪结果，无需切换到网页界面。
运行要求
以 Python 包在本地运行（uvx codabench-mcp 或 uv）。需要 Codabench 账号，并在 CODABENCH_API_TOKEN 环境变量中提供 API 令牌。需要访问 codabench.org 的网络；CODABENCH_BASE_URL、CODABENCH_ALLOW_WRITE_RAW 和 CODABENCH_MAX_DOWNLOAD_BYTES 为可选设置。
安装前请注意
CODABENCH_API_TOKEN 中的令牌可访问你的 Codabench 账号，并作为 Authorization 头发送，请勿放入共享配置。向阶段提交会写入 Codabench 数据，可能计入竞赛限制。将 CODABENCH_ALLOW_WRITE_RAW 设为 1 会让通用请求工具发送非 GET 请求，可能改变远端状态。数据集下载可能很大，受 CODABENCH_MAX_DOWNLOAD_BYTES 限制。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Codabench Mcp，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。

其他 MCP 客户端

参照 仓库 中的启动说明。

README

codabench-mcp

MCP server for the Codabench REST API. Lets an AI agent drive a full participant ML-benchmark workflow: discover competitions, read rules, download data, submit, poll, read leaderboards.

Features

Curated tools for the participant path:

  • search_competitions, get_competition, list_competition_phases, get_phase, get_competition_rules, list_competition_tasks, get_task
  • download_dataset (streaming + SHA-256)
  • list_my_submissions, get_submission, get_submission_logs
  • submit_to_phase (handles Codabench's 3-step upload flow)
  • poll_submission (backoff + timeout + non-error "still_running")
  • get_leaderboard, get_my_profile
  • codabench_request — generic REST escape hatch (GET-only by default)

Authentication

You need a Codabench API token. Two ways to get one:

1. Swagger UI (recommended)

  1. Visit https://www.codabench.org/api/docs/
  2. Find the api-token-auth endpoint → Try it out
  3. POST your username/password
  4. Copy the token value from the response

2. curl

bash
curl -X POST https://www.codabench.org/api/api-token-auth/ \  -H "Content-Type: application/json" \  -d '{"username":"YOUR_USERNAME","password":"YOUR_PASSWORD"}'

The response is {"token": "..."}.

Install

bash
uvx codabench-mcp

To run the bleeding-edge main branch instead of the last release:

bash
uvx --from git+https://github.com/harshitAgr/codabench-mcp codabench-mcp

Or for development:

bash
git clone https://github.com/harshitAgr/codabench-mcp.gitcd codabench-mcpuv syncuv run codabench-mcp  # requires CODABENCH_API_TOKEN

Configure an MCP client

Claude Desktop (claude_desktop_config.json)

json
{  "mcpServers": {    "codabench": {      "command": "uvx",      "args": ["codabench-mcp"],      "env": {        "CODABENCH_API_TOKEN": "paste-your-token-here"      }    }  }}

Claude Code (plugin marketplace)

shell
/plugin marketplace add harshitAgr/codabench-mcp/plugin install codabench-mcp@codabench-mcp

Then export your token in the shell where you launch Claude Code:

bash
export CODABENCH_API_TOKEN=paste-your-token-here

Claude Code (manual)

If you'd rather skip the plugin layer:

bash
claude mcp add codabench \  --env CODABENCH_API_TOKEN=paste-your-token-here \  -- uvx codabench-mcp

Environment variables

VariableRequiredDefaultPurpose
CODABENCH_API_TOKENyes—DRF token, sent as Authorization: Token <token>
CODABENCH_BASE_URLnohttps://www.codabench.orgOverride for tests
CODABENCH_ALLOW_WRITE_RAWno0Set to 1 to allow non-GET methods through codabench_request
CODABENCH_MAX_DOWNLOAD_BYTESno5368709120 (5 GB)Cap for download_dataset

Development

bash
uv syncuv run pytest                              # unit tests, no networkuv run ruff check .                        # lintuv run ruff format --check .               # format check

License

MIT — see LICENSE.

mcp-name: io.github.harshitAgr/codabench-mcp

来源：README.md，提交 6ee6313

工具

0
SourceWeft 尚未在沙箱中启动过该软件包，因此其工具未知。

版本历史

1
  1. v0.1.1最新Sep 16, 2026

评分

已满足适用检查项的 50%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通25 分

    请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。

  • 已声明认证方式10 分

    请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。

  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分