Qc Validator

io.github.mdfifty50-boop由 GitHub 帳號 mdfifty50-boop 發布v0.1.3更新於 Oct 24, 2026

Output quality control and validation for AI agents

已驗證STDIO僅桌面AI 與機器學習

概覽

AI 產生的概覽

針對 AI 代理輸出做品質檢查的本機 MCP 伺服器,可評分、偵測幻覺風險並檢查範圍合規。

可以做什麼
依可設定條件(長度上限、必要關鍵字、禁用樣式、事實主張密度)為代理輸出評分並列出問題與建議。評估幻覺風險:有來源文本時逐句比對依據,沒有來源時標出數字、日期與網址密集的輸出。依範圍契約檢查輸出是否符合允許與禁止主題、字數上限與必要章節。記錄每次驗證結果,並依代理分析通過率、平均分數、常見問題與趨勢。產出跨所有代理的品質總覽報告,並提供儀表板資源。
適用情境
當你希望對代理產出的內容加上一層自動檢查,例如限制長度、要求關鍵字、排除禁用詞、檢查是否有來源依據,或統計各代理的通過率與常見問題時使用。
執行需求
需在本機以 Node.js 執行,透過 npx 啟動 npm 套件 qc-validator-mcp,並以 stdio 連線;不需額外設定、帳號或 API 金鑰。僅支援桌面環境。
安裝前請注意
驗證結果與統計存放在記憶體中,重新啟動即遺失,不適合作為長期稽核紀錄。工具會接收代理輸出與可能的來源文本,請確認內容不含不應外流的機密資料。

安裝

在 SourceWeft 中

  1. 開啟 儀表板中的 Qc Validator,將其新增到工作區。
  2. 為需要使用其工具的對話啟用該服務。

Desktop only,透過 STDIO。 STDIO 服務會啟動本機處理程序,因此需要 SourceWeft 桌面主機。

其他 MCP 客戶端

參照 儲存庫 中的啟動說明。

README

qc-validator-mcp

Runtime quality validation for AI agent outputs. Detect hallucinations, enforce scope compliance, and score output quality — all via MCP.

Install

bash
npx qc-validator-mcp

Claude Desktop

json
{  "mcpServers": {    "qc-validator": {      "command": "npx",      "args": ["qc-validator-mcp"]    }  }}

Tools

validate_output

Score agent output against configurable criteria: length limits, required keywords, forbidden patterns, and factual claim density.

Params: output, task_description, criteria { max_length, required_keywords[], forbidden_patterns[], factual_claims_count }Returns: { pass, score, issues[], recommendation }

check_hallucination_risk

Estimate hallucination likelihood. With source text, checks sentence-level grounding. Without source, flags outputs dense with specific numbers, dates, and URLs.

Params: output, source_text (optional), claim_count (default 5)Returns: { risk_level, unsupported_claims[], confidence, suggestion }

check_scope_compliance

Validate output against a scope contract — allowed/forbidden topics, word limits, required sections.

Params: output, scope { allowed_topics[], forbidden_topics[], max_words, required_sections[] }Returns: { compliant, violations[], scope_utilization_percent }

log_validation

Store validation results for per-agent trending.

Params: agent_id, output_hash, score, pass, issues_countReturns: { logged, agent_id, total_validations }

get_failure_patterns

Analyze common failure modes for a specific agent.

Params: agent_idReturns: { total_validations, pass_rate, avg_score, most_common_issues[], trend }

generate_quality_report

Quality dashboard across all validated agents — no parameters required.

Returns: { total_agents, overall_pass_rate, agents[], worst_performers[], best_performers[], recommendations[] }

Resource

  • qc://dashboard — Quality metrics for all validated agents

Architecture

  • Pure Node.js ES modules
  • In-memory Maps (no external dependencies)
  • stdio transport via @modelcontextprotocol/sdk
  • Zero configuration required

License

MIT

來源:README.md,提交 fac0ca0

工具

0
SourceWeft 尚未在沙箱中啟動過該軟體包,因此其工具未知。

版本歷史

1
  1. v0.1.3最新Sep 16, 2026

評分

已滿足適用檢查項的 40%

該評分衡量此收錄條目的完整程度,依據註冊中心條目、端點與公開來源計算得出。它不是對伺服器本身的評價,也不表示伺服器安全或目前可用:可連通性是帶日期的檢查結果,評分也不包含安裝量或使用者評價。

  • 近 30 天內可連通25 分

    請保持端點能夠回應 MCP 握手;SourceWeft 每 30 天探測一次。

  • 已宣告認證方式10 分

    請在註冊中心條目中宣告憑證請求標頭,或保持端點能夠回應探測,以便判定其認證方式。

  • 已列出工具15 分

    請讓伺服器在無憑證時回應 tools/list,或發布可在沙箱中無憑證啟動的軟體包。

  • 描述必需15 分
  • 圖示10 分
  • 文件15 分
  • 授權條款10 分

    請在儲存庫或註冊中心條目中宣告授權條款。