Llm Output Quality Monitor

io.github.lazymac2x由 GitHub 账号 lazymac2x 发布v1.0.0更新于 Nov 2, 2026

Cloudflare Workers MCP server: llm-output-quality-monitor

已验证Streamable HTTP可网页运行开发者工具AI 与机器学习

概览

AI 生成的概览

远程 MCP 端点，让助手对 LLM 回复做质量校验、漂移检测、幻觉风险评分、JSON 模式校验与一致性检查。

可以做什么
  • 按长度、格式与结构校验 LLM 回复质量
  • 检测当前回复与上一次回复之间的质量漂移
  • 基于矛盾断言、无出处声明、不确定措辞等语言信号给出 0-100 的幻觉风险评分
  • 按 schema 校验 JSON 回复
  • 检查多条 LLM 回复之间的一致性
适用场景
适合在构建或评估 LLM 流水线时，让助手对模型输出做快速启发式检查：格式与 schema 校验、版本间的回归漂移、以及多条回复的一致性比对。
运行要求
需要访问 api.lazy-mac.com 上的远程 streamable HTTP 端点；未声明任何软件包、环境变量、请求头或身份验证。需要能访问该主机的网络。
安装前请注意
幻觉评分明确是模式匹配式启发式方法，并非语义级检测，分数不能当作正确性证明。回复内容会发送到第三方托管服务，请勿提交机密模型输出。未声明身份验证，不要假定该端点有访问控制。

安装

在 SourceWeft 中

  1. 打开 控制台中的 Llm Output Quality Monitor，将其添加到工作区。
  2. 为需要使用其工具的对话启用该服务。

Web executable，通过 Streamable HTTP。 远程服务在工作区中配置后即可从网页运行时运行。

交给智能体安装

把这段提示词粘贴到 Claude Code、Codex、Cursor 等智能体，或 SourceWeft 对话中。智能体会读取该服务器的安装指南，先向你展示发布者、端点和登录方式，经你同意后再把它添加到你的客户端。密钥不会写进任何命令。

阅读 https://sourceweft.com/mcp/io.github.lazymac2x%2Fllm-output-quality-monitor/install.md，并按其中说明把这个 MCP 服务器接入我的客户端。修改任何配置之前，先告诉我它的发布者、端点和登录方式，等我确认。不要把 API 密钥写进命令或我会提交的文件；问我密钥应从哪里获取。

查看智能体所依据的安装指南

其他 MCP 客户端

把它添加到你客户端的 mcpServers 配置中。

{
  "mcpServers": {
    "llm-output-quality-monitor": {
      "type": "http",
      "url": "https://api.lazy-mac.com/llm-output-quality-monitor/mcp"
    }
  }
}

README

llm-output-quality-monitor-api

Cloudflare Workers MCP server: llm-output-quality-monitor. REST + MCP (JSON-RPC 2.0). Live: api.lazy-mac.com/llm-output-quality-monitor

来源：README.md，提交 79735fd

工具

5

quality_validator

Validate LLM response quality based on length, format, and structure

输入参数response必填maxLengthminLengthstrictFormat

drift_detector

Detect quality drift between current and previous LLM responses

输入参数thresholdcurrentResponse必填previousResponse必填

hallucination_scorer

Pattern-based heuristic risk scoring for LLM responses (0-100). Detects linguistic signals such as contradictory assertions, unsourced claims, and uncertainty markers. Not a semantic hallucination detector.

输入参数contextresponse必填

schema_enforcer

Validate JSON response against schema

输入参数schema必填response必填

consistency_check

Check consistency across multiple LLM responses

输入参数responses必填

版本历史

1
  1. v1.0.0最新Sep 16, 2026

评分

已满足适用检查项的 90%

该评分衡量此收录条目的完整程度，依据注册中心条目、端点与公开来源计算得出。它不是对服务器本身的评价，也不表示服务器安全或当前可用：可连通性是带日期的检查结果，评分也不包含安装量或用户评价。

  • 近 30 天内可连通必需25 分
  • 已声明认证方式必需10 分
  • 已列出工具必需15 分
  • 描述必需15 分
  • 图标10 分
  • 文档15 分
  • 许可证10 分

    请在仓库或注册中心条目中声明许可证。