Evaluate Rag
hamelsmu/evals-skills/skills/evaluate-rag作者 hamelsmu22418da2bfb159f28a1b0dcf64e969e14ae56c99无许可证1.6K 个星标收录于 2026年10月9日更新于 2026年10月9日仓库7周前更新
Guides evaluation of RAG pipeline retrieval and generation quality. Use when evaluating a retrieval-augmented generation system, measuring retrieval quality, assessing generation faithfulness or relevance, generating synthetic QA pairs for retrieval testing, or optimizing chunking strategies.
添加到 SourceWeft 工作区
- 在控制台中打开该技能，并将它添加到工作区。
- 为需要使用它的对话启用该技能。
该技能仅含说明：不附带任何可执行的脚本。
添加到 SourceWeft系统会先要求你登录，然后直接带你回到这个技能。
让你的智能体来安装
把这段提示词粘贴到 Claude Code、Codex、Cursor 或其他能运行命令的智能体中，也可以粘贴到 SourceWeft 对话里。智能体会阅读这个技能的安装说明，向你展示它的来源、许可证和脚本情况，在你同意后用 SourceWeft CLI 安装。
阅读 https://sourceweft.com/skills/gh-hamelsmu-evals-skills-evaluate-rag-skills-evaluate-rag-2510c0a7c68840d0/install.md 中的说明，按说明安装这个技能。安装前先告诉我它的来源、许可证以及是否附带脚本，等我确认。修改我电脑上的其他任何内容之前也要先问我。用命令行自行安装
适用于 Claude Code、Codex、Cursor 及其他本地智能体。SourceWeft CLI 会从源代码仓库中获取此处扫描过的那次提交，并根据扫描时记录的哈希值逐一校验每个文件。只要有任何不一致，就不会写入任何内容。
npx @sourceweft/cli skills install @hamelsmu/evaluate-rag添加 --agent claude-code、codex、cursor 或 universal 来选择安装给哪个智能体（默认为 Claude Code）。
上游安装器——未经 SourceWeft 校验
开源的 skills 安装器会获取同一个固定的提交，但不会根据 SourceWeft 记录的哈希值校验文件。
npx skills add https://github.com/hamelsmu/evals-skills/tree/22418da2bfb159f28a1b0dcf64e969e14ae56c99/skills/evaluate-rag来源与署名
来源：hamelsmu/evals-skills位于skills/evaluate-rag提交22418da
许可证： 无许可证
内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。
更多来自 hamelsmu/evals-skills 的技能
Validate Evaluator
hamelsmu
使用数据划分、TPR/TNR 指标和偏差校正，将 LLM 评审器与人工标注进行校准。
Generate Synthetic Data
hamelsmu
指导使用基于维度的元组生成方法，为 LLM 流水线评估创建多样化的合成测试查询。
Eval Audit
hamelsmu
审计 LLM 评估流水线，并按优先级报告问题及具体修复建议。
Error Analysis
hamelsmu
指导对 LLM 流水线 trace 进行系统性错误分析，建立失败模式目录并确定修复优先级。
更多AI & Agents技能
Discernment Nudge
anthropics
在实质性回答后附加2-3个具体追问，帮助用户核查事实、推理与缺失背景。
Ppt Template Creator
anthropics
将用户的 PowerPoint 模板转化为可复用技能，用于生成品牌演示文稿。
Skill Development
anthropics
指导创建 Claude Code 插件技能，涵盖结构、描述、渐进式披露与验证。
Plugin Structure
anthropics
指导 Claude Code 插件的结构、清单与组件布局。
Command Development
anthropics
指导创建 Claude Code 斜杠命令，涵盖结构、YAML frontmatter、参数与插件功能。
Claude Md Improver
anthropics
审查仓库中的 CLAUDE.md 文件，评估其质量，并在获得批准后应用有针对性的改进。