Eval Audit
ai-evals-course/evals-skills/skills/eval-audit作者 ai-evals-course80d5f7b0127c7572ed9e9339937adbfd7240ffeb无许可证1.4K 个星标收录于 2026年10月9日更新于 2026年10月9日仓库2周前更新
Audit an LLM eval pipeline and surface problems: missing error analysis, unvalidated judges, vanity metrics, etc. Use when inheriting an eval system, when unsure whether evals are trustworthy, or as a starting point when no eval infrastructure exists. Do NOT use when the goal is to build a new evaluator from scratch (use error-discovery, write-judge-prompt, or validate-evaluator instead).
- 80d5f7b0127c7572ed9e9339937adbfd7240ffeb当前提交 80d5f7b发布于 2026年10月9日
来源与署名
来源：ai-evals-course/evals-skills位于skills/eval-audit提交80d5f7b
许可证： 无许可证
内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。
更多来自 ai-evals-course/evals-skills 的技能
Validate Evaluator
ai-evals-course
通过数据划分、TPR/TNR 指标和偏差校正，用人工标注校准 LLM 评判器。
Generate Synthetic Data
ai-evals-course
使用基于维度的元组生成方法，为 LLM 流水线评估创建多样化的合成测试输入。
Evaluate Rag
ai-evals-course
指导 RAG 检索与生成质量评估，涵盖指标、数据集构建与分块优化。
Evals Start
ai-evals-course
将评估相关请求路由到同一插件中合适的专用技能。
更多AI & Agents技能
Discernment Nudge
anthropics
在实质性回答后附加2-3个具体追问，帮助用户核查事实、推理与缺失背景。
Ppt Template Creator
anthropics
将用户的 PowerPoint 模板转化为可复用技能，用于生成品牌演示文稿。
Skill Development
anthropics
指导创建 Claude Code 插件技能，涵盖结构、描述、渐进式披露与验证。
Plugin Structure
anthropics
指导 Claude Code 插件的结构、清单与组件布局。
Command Development
anthropics
指导创建 Claude Code 斜杠命令，涵盖结构、YAML frontmatter、参数与插件功能。
Claude Md Improver
anthropics
审查仓库中的 CLAUDE.md 文件，评估其质量，并在获得批准后应用有针对性的改进。