Modelwatch

io.github.bch1212由 GitHub 账号 bch1212 发布v0.1.3更新于 Oct 24, 2026

Continuous behavioral drift monitoring for LLM apps — catches silent provider model updates.

已验证STDIO仅桌面安全与监控AI 与机器学习

概览

AI 生成的概览

ModelWatch MCP 让助手为 LLM 端点创建并运行行为漂移规格，并报告漂移事件与各规格的健康状态。

可以做什么
列出并添加按提供商和模型标识的受监控 LLM 端点，列出或创建行为规格，规格包含提示词、调度计划和可选的语义相似度阈值。按需运行规格，首次运行建立基线，在有意更换模型后可重置基线。查看工作区内最近的漂移事件，以及单个规格的运行历史。查看每个规格的健康状态，包括最近漂移分数和最近运行时间。
适用场景
适用于基于托管 LLM 提供商构建应用、希望发现会改变行为的静默模型更新的场景，例如拒答金丝雀或提示词回归检查。适合希望在聊天客户端内直接建立和查看漂移监控、而不使用单独仪表盘的团队。
运行要求
以本地 stdio 进程运行，从 npm 包 modelwatch-mcp 安装（需要 Node.js）。需要在 MODELWATCH_API_KEY 中提供 ModelWatch API 密钥；免费套餐允许 5 个规格和每月 500 次运行。MODELWATCH_API_BASE 可选，用于自托管部署覆盖 API 基础地址，除回环开发外必须是 HTTPS 源。需要能访问 ModelWatch API 的网络。
安装前请注意
API 密钥是敏感信息，会以明文保存在客户端配置文件中；应限制该文件权限、不要提交到版本库，泄露后应轮换密钥。README 指出密钥不应作为命令行参数传入。创建端点和规格、运行规格都会向你的 ModelWatch 工作区写入数据，规格可按计划运行并在检测到漂移时给你发邮件。提示词和结果会发送到 ModelWatch 服务。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Modelwatch，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Desktop only，通过 STDIO。 STDIO 服务会启动本地进程，因此需要 SourceWeft 桌面宿主。

其他 MCP 客户端

参照 仓库 中的启动说明。

README

modelwatch-mcp

MCP server for ModelWatch — continuous behavioral drift monitoring for LLM-powered applications.

Lets Claude Desktop / Claude Code (or any MCP-compatible client) create drift specs, run them, and surface drift events without leaving the chat.

Install

bash
npm install -g modelwatch-mcp

Configure (Claude Desktop)

Add to ~/Library/Application Support/Claude/claude_desktop_config.json:

json
{  "mcpServers": {    "modelwatch": {      "command": "npx",      "args": ["-y", "modelwatch-mcp"],      "env": {        "MODELWATCH_API_KEY": "mw_PASTE_FROM_EMAIL"      }    }  }}

Get a free key at https://modelwatch.app/#signup (5 specs, 500 runs/mo, no card). Then restart Claude Desktop.

The example configuration stores a plaintext key in a local config file. Restrict that file to your user account, do not commit it, and rotate the key if it is exposed. The key never belongs in a command-line argument.

Tools

ToolWhat it does
list_endpointsShow monitored LLM endpoints
create_endpointAdd an endpoint (provider + model)
list_specsShow behavioral specs
create_specAdd a spec (prompt + schedule + optional semantic similarity threshold)
run_specRun a spec on demand; baseline if first run
reset_baselineRe-baseline after an intentional model swap
get_drift_eventsRecent drift events across the workspace
get_spec_historyRun history for one spec
get_healthPer-spec health status, last drift score and last run time

Example session

You: Create a refusal canary against the OpenAI endpoint, asking about chest pain. Run it now and tell me the baseline.

Claude calls list_endpoints → create_spec → run_spec and reports the score. The same spec then runs daily forever and emails you when drift is detected.

Environment variables

VarRequiredDefault
MODELWATCH_API_KEYYes—
MODELWATCH_API_BASENohttps://api.modelwatch.app

Self-hosted? Point MODELWATCH_API_BASE at an HTTPS origin. HTTP is accepted only for loopback development; paths, query strings, URL credentials and redirects are rejected before a key is sent.

Source

https://github.com/bch1212/modelwatch — MIT licensed.

来源：mcp-server/README.md，提交 76d6acb

工具

0
SourceWeft 尚未在沙箱中启动过该软件包，因此其工具未知。

版本历史

3
  1. v0.1.3最新Oct 7, 2026
  2. v0.1.2Oct 1, 2026
  3. v0.1.1Sep 16, 2026

评分

已满足适用检查项的 40%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通25 分

    请保持端点能够响应 MCP 握手；SourceWeft 每 30 天探测一次。

  • 已声明认证方式10 分

    请在注册中心条目中声明凭据请求头，或保持端点能够响应探测，以便判定其认证方式。

  • 已列出工具15 分

    请让服务器在无凭据时响应 tools/list，或发布可在沙箱中无凭据启动的软件包。

  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。