Modelwatch

io.github.bch1212由 GitHub 帳號 bch1212 發布v0.1.3更新於 Oct 24, 2026

Continuous behavioral drift monitoring for LLM apps — catches silent provider model updates.

已驗證STDIO僅桌面安全與監控AI 與機器學習

概覽

AI 產生的概覽

ModelWatch MCP 讓助理為 LLM 端點建立並執行行為漂移規格，並回報漂移事件與各規格的健康狀態。

可以做什麼
列出並新增以供應商和模型標示的受監控 LLM 端點，列出或建立行為規格，規格包含提示詞、排程與可選的語意相似度門檻。依需求執行規格，首次執行建立基準，在刻意更換模型後可重設基準。檢視工作區內最近的漂移事件，以及單一規格的執行歷史。檢視每個規格的健康狀態，包括最近漂移分數與最近執行時間。
適用情境
適合以託管 LLM 供應商建置應用、想找出會改變行為的無聲模型更新時使用，例如拒答金絲雀或提示詞回歸檢查。也適合想在聊天用戶端內直接建立與檢視漂移監控、而不使用獨立儀表板的團隊。
執行需求
以本機 stdio 程序執行，從 npm 套件 modelwatch-mcp 安裝（需要 Node.js）。需要在 MODELWATCH_API_KEY 提供 ModelWatch API 金鑰；免費方案允許 5 個規格與每月 500 次執行。MODELWATCH_API_BASE 為選用，供自架部署覆寫 API 基礎位址，除回環開發外必須是 HTTPS 來源。需要能連線至 ModelWatch API 的網路。
安裝前請注意
API 金鑰屬機密資訊，會以明文存放在用戶端設定檔中；應限制該檔案權限、不要提交至版本庫，外洩後應輪換金鑰。README 指出金鑰不應以命令列參數傳入。建立端點與規格、執行規格都會寫入你的 ModelWatch 工作區資料，規格可依排程執行並在偵測到漂移時寄信通知你。提示詞與結果會傳送至 ModelWatch 服務。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Modelwatch，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only，透過 STDIO。 STDIO 服務會啟動本機處理程序，因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

modelwatch-mcp

MCP server for ModelWatch — continuous behavioral drift monitoring for LLM-powered applications.

Lets Claude Desktop / Claude Code (or any MCP-compatible client) create drift specs, run them, and surface drift events without leaving the chat.

Install

bash
npm install -g modelwatch-mcp

Configure (Claude Desktop)

Add to ~/Library/Application Support/Claude/claude_desktop_config.json:

json
{  "mcpServers": {    "modelwatch": {      "command": "npx",      "args": ["-y", "modelwatch-mcp"],      "env": {        "MODELWATCH_API_KEY": "mw_PASTE_FROM_EMAIL"      }    }  }}

Get a free key at https://modelwatch.app/#signup (5 specs, 500 runs/mo, no card). Then restart Claude Desktop.

The example configuration stores a plaintext key in a local config file. Restrict that file to your user account, do not commit it, and rotate the key if it is exposed. The key never belongs in a command-line argument.

Tools

ToolWhat it does
list_endpointsShow monitored LLM endpoints
create_endpointAdd an endpoint (provider + model)
list_specsShow behavioral specs
create_specAdd a spec (prompt + schedule + optional semantic similarity threshold)
run_specRun a spec on demand; baseline if first run
reset_baselineRe-baseline after an intentional model swap
get_drift_eventsRecent drift events across the workspace
get_spec_historyRun history for one spec
get_healthPer-spec health status, last drift score and last run time

Example session

You: Create a refusal canary against the OpenAI endpoint, asking about chest pain. Run it now and tell me the baseline.

Claude calls list_endpoints → create_spec → run_spec and reports the score. The same spec then runs daily forever and emails you when drift is detected.

Environment variables

VarRequiredDefault
MODELWATCH_API_KEYYes—
MODELWATCH_API_BASENohttps://api.modelwatch.app

Self-hosted? Point MODELWATCH_API_BASE at an HTTPS origin. HTTP is accepted only for loopback development; paths, query strings, URL credentials and redirects are rejected before a key is sent.

Source

https://github.com/bch1212/modelwatch — MIT licensed.

來源：mcp-server/README.md，提交 76d6acb

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包，因此其工具未知。

版本歷史

3
  1. v0.1.3最新Oct 7, 2026
  2. v0.1.2Oct 1, 2026
  3. v0.1.1Sep 16, 2026

評分

已滿足適用檢查項的 40%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手；SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭，或保持端點能夠回應探測，以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list，或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。