Validate Evaluator
hamelsmu/evals-skills/skills/validate-evaluator作者 hamelsmu22418da2bfb159f28a1b0dcf64e969e14ae56c99無授權條款1.6K 個星標收錄於 2026年10月9日更新於 2026年10月9日儲存庫7 週前更新
Calibrate an LLM judge against human labels using data splits, TPR/TNR, and bias correction. Use after writing a judge prompt (write-judge-prompt) when you need to verify alignment before trusting its outputs. Do NOT use for code-based evaluators (those are deterministic; test with standard unit tests).
- 22418da2bfb159f28a1b0dcf64e969e14ae56c99目前提交 22418da發布於 2026年10月9日
來源與署名
來源：hamelsmu/evals-skills位於skills/validate-evaluator提交22418da
授權條款： 無授權條款
內容歸原作者所有。SourceWeft 從公開儲存庫中收錄這些內容。
更多來自 hamelsmu/evals-skills 的技能
Generate Synthetic Data
hamelsmu
指導使用以維度為基礎的元組生成方式，為 LLM 流程評估建立多樣化的合成測試查詢。
Evaluate Rag
hamelsmu
指導 RAG 檢索與生成品質評估，涵蓋指標、合成問答資料集與分塊最佳化。
Eval Audit
hamelsmu
稽核 LLM 評估流程，並依優先順序報告問題與具體修正建議。
Error Analysis
hamelsmu
指導對 LLM 管線 trace 進行系統性錯誤分析，建立失敗模式目錄並排出修正優先順序。
更多AI & Agents技能
Discernment Nudge
anthropics
在實質回答後附加 2-3 個具體追問，協助使用者查核事實、推理與缺少的背景。
Ppt Template Creator
anthropics
將使用者的 PowerPoint 範本轉換為可重用的技能，用來產生品牌簡報。
Skill Development
anthropics
指導建立 Claude Code 外掛技能，涵蓋結構、描述、漸進式揭露與驗證。
Plugin Structure
anthropics
說明 Claude Code 外掛的結構、資訊清單與元件配置方式。
Command Development
anthropics
指導建立 Claude Code 斜線命令，涵蓋結構、YAML frontmatter、參數與外掛功能。
Claude Md Improver
anthropics
稽核儲存庫中的 CLAUDE.md 檔案、評估其品質，並在取得核准後套用針對性的改進。