Llm Output Quality Monitor

io.github.lazymac2x由 GitHub 帳號 lazymac2x 發布v1.0.0更新於 Nov 2, 2026

Cloudflare Workers MCP server: llm-output-quality-monitor

已驗證Streamable HTTP可網頁執行開發者工具AI 與機器學習

概覽

AI 產生的概覽

遠端 MCP 端點，讓助理對 LLM 回覆做品質驗證、漂移偵測、幻覺風險評分、JSON 結構驗證與一致性檢查。

可以做什麼
  • 依長度、格式與結構驗證 LLM 回覆品質
  • 偵測目前回覆與前一則回覆之間的品質漂移
  • 依矛盾陳述、無來源主張、不確定措辭等語言訊號給出 0-100 的幻覺風險分數
  • 依 schema 驗證 JSON 回覆
  • 檢查多則 LLM 回覆之間的一致性
適用情境
適合在建置或評估 LLM 流程時，讓助理對模型輸出做快速啟發式檢查：格式與 schema 驗證、版本間的迴歸漂移，以及多則回覆的一致性比對。
執行需求
需要連線到 api.lazy-mac.com 的遠端 streamable HTTP 端點；未宣告任何套件、環境變數、標頭或身分驗證。需要能連上該主機的網路。
安裝前請注意
幻覺評分明確是樣式比對式啟發法，並非語意層級的偵測，分數不能當成正確性的證明。回覆內容會傳送到第三方託管服務，請勿送出機密的模型輸出。未宣告身分驗證，不要假設該端點有存取控管。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Llm Output Quality Monitor，將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Web executable，透過 Streamable HTTP。 遠端服務在工作區中設定後即可從網頁執行環境執行。

交給代理程式安裝

把這段提示詞貼上到 Claude Code、Codex、Cursor 等代理程式，或 SourceWeft 對話中。代理程式會讀取該伺服器的安裝指南，先向你展示發布者、端點和登入方式，經你同意後再把它新增到你的客戶端。金鑰不會寫進任何命令。

閱讀 https://sourceweft.com/mcp/io.github.lazymac2x%2Fllm-output-quality-monitor/install.md，並按其中說明把這個 MCP 伺服器接入我的客戶端。修改任何設定之前，先告訴我它的發布者、端點和登入方式，等我確認。不要把 API 金鑰寫進命令或我會提交的檔案；問我金鑰應從哪裡取得。

檢視代理程式所依據的安裝指南

其他 MCP 客戶端

把它新增到你客戶端的 mcpServers 設定中。

{
  "mcpServers": {
    "llm-output-quality-monitor": {
      "type": "http",
      "url": "https://api.lazy-mac.com/llm-output-quality-monitor/mcp"
    }
  }
}

README

llm-output-quality-monitor-api

Cloudflare Workers MCP server: llm-output-quality-monitor. REST + MCP (JSON-RPC 2.0). Live: api.lazy-mac.com/llm-output-quality-monitor

來源：README.md，提交 79735fd

工具

5

quality_validator

Validate LLM response quality based on length, format, and structure

輸入參數response必填maxLengthminLengthstrictFormat

drift_detector

Detect quality drift between current and previous LLM responses

輸入參數thresholdcurrentResponse必填previousResponse必填

hallucination_scorer

Pattern-based heuristic risk scoring for LLM responses (0-100). Detects linguistic signals such as contradictory assertions, unsourced claims, and uncertainty markers. Not a semantic hallucination detector.

輸入參數contextresponse必填

schema_enforcer

Validate JSON response against schema

輸入參數schema必填response必填

consistency_check

Check consistency across multiple LLM responses

輸入參數responses必填

版本歷史

1
  1. v1.0.0最新Sep 16, 2026

評分

已滿足適用檢查項的 90%

該評分衡量此收錄條目的完整程度，依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價，也不表示伺服器安全或目前可用：可連通性是帶日期的檢查結果，評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通必需25 分
  • 已宣告認證方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。