Eval Harness

affaan-m/ECC/docs/ko-KR/skills/eval-harness

作者 affaan-mef648e01899ba3e8dc6371642deaaf64b4477775无许可证275K 个星标收录于 2026年10月9日更新于 2026年10月9日仓库4天前更新

평가 주도 개발(EDD) 원칙을 구현하는 Claude Code 세션용 공식 평가 프레임워크

仅含说明AI & Agents
AI 生成的概览

为 Claude Code 会话定义评估驱动开发框架，包含评估类型、评分器、指标与报告。

功能
该技能为 Claude Code 会话提供一套评估驱动开发的书面框架。它定义了能力评估与回归评估、代码评分器、模型评分器与人工评分器三种类型，以及 pass@k 与 pass^k 可靠性指标。它还规定了评估工作流（定义、实现、评估、报告）、.claude/evals 下的存储结构、最佳实践、反模式以及一个认证示例。
适用场景
适用于为 AI 辅助工作流搭建评估驱动开发、为 Claude Code 任务定义通过/不通过标准、用 pass@k 指标衡量智能体可靠性，或为提示词与智能体变更构建回归测试套件。
运行要求
仅为说明性内容，不附带脚本。假定在具备 Read、Write、Edit、Bash、Grep 和 Glob 工具的 Claude Code 会话中使用，并涉及运行项目的测试与构建命令。

평가 하네스 스킬

Claude Code 세션을 위한 공식 평가 프레임워크로, 평가 주도 개발(EDD) 원칙을 구현합니다.

활성화 시점

  • AI 지원 워크플로우에 평가 주도 개발(EDD) 설정 시
  • Claude Code 작업 완료에 대한 합격/불합격 기준 정의 시
  • pass@k 메트릭으로 에이전트 신뢰성 측정 시
  • 프롬프트 또는 에이전트 변경에 대한 회귀 테스트 스위트 생성 시
  • 모델 버전 간 에이전트 성능 벤치마킹 시

철학

평가 주도 개발은 평가를 "AI 개발의 단위 테스트"로 취급합니다:

  • 구현 전에 예상 동작 정의
  • 개발 중 지속적으로 평가 실행
  • 각 변경 시 회귀 추적
  • 신뢰성 측정을 위해 pass@k 메트릭 사용

평가 유형

기능 평가

Claude가 이전에 할 수 없었던 것을 할 수 있는지 테스트:

markdown
[CAPABILITY EVAL: feature-name]Task: Description of what Claude should accomplishSuccess Criteria:  - [ ] Criterion 1  - [ ] Criterion 2  - [ ] Criterion 3Expected Output: Description of expected result

회귀 평가

변경 사항이 기존 기능을 손상시키지 않는지 확인:

markdown
[REGRESSION EVAL: feature-name]Baseline: SHA or checkpoint nameTests:  - existing-test-1: PASS/FAIL  - existing-test-2: PASS/FAIL  - existing-test-3: PASS/FAILResult: X/Y passed (previously Y/Y)

채점자 유형

1. 코드 기반 채점자

코드를 사용한 결정론적 검사:

bash
# Check if file contains expected patterngrep -q "export function handleAuth" src/auth.ts && echo "PASS" || echo "FAIL"
# Check if tests passnpm test -- --testPathPattern="auth" && echo "PASS" || echo "FAIL"
# Check if build succeedsnpm run build && echo "PASS" || echo "FAIL"

2. 모델 기반 채점자

Claude를 사용하여 개방형 출력 평가:

markdown
[MODEL GRADER PROMPT]Evaluate the following code change:1. Does it solve the stated problem?2. Is it well-structured?3. Are edge cases handled?4. Is error handling appropriate?
Score: 1-5 (1=poor, 5=excellent)Reasoning: [explanation]

3. 사람 채점자

수동 검토 플래그:

markdown
[HUMAN REVIEW REQUIRED]Change: Description of what changedReason: Why human review is neededRisk Level: LOW/MEDIUM/HIGH

메트릭

pass@k

"k번 시도 중 최소 한 번 성공"

  • pass@1: 첫 번째 시도 성공률
  • pass@3: 3번 시도 내 성공
  • 일반적인 목표: pass@3 > 90%

pass^k

"k번 시행 모두 성공"

  • 신뢰성에 대한 더 높은 기준
  • pass^3: 3회 연속 성공
  • 핵심 경로에 사용

평가 워크플로우

1. 정의 (코딩 전)

markdown
## EVAL DEFINITION: feature-xyz
### Capability Evals1. Can create new user account2. Can validate email format3. Can hash password securely
### Regression Evals1. Existing login still works2. Session management unchanged3. Logout flow intact
### Success Metrics- pass@3 > 90% for capability evals- pass^3 = 100% for regression evals

2. 구현

정의된 평가를 통과하기 위한 코드 작성.

3. 평가

bash
# Run capability evals[Run each capability eval, record PASS/FAIL]
# Run regression evalsnpm test -- --testPathPattern="existing"
# Generate report

4. 보고서

markdown
EVAL REPORT: feature-xyz========================
Capability Evals:  create-user:     PASS (pass@1)  validate-email:  PASS (pass@2)  hash-password:   PASS (pass@1)  Overall:         3/3 passed
Regression Evals:  login-flow:      PASS  session-mgmt:    PASS  logout-flow:     PASS  Overall:         3/3 passed
Metrics:  pass@1: 67% (2/3)  pass@3: 100% (3/3)
Status: READY FOR REVIEW

통합 패턴

구현 전

/eval define feature-name

.claude/evals/feature-name.md에 평가 정의 파일 생성

구현 중

/eval check feature-name

현재 평가를 실행하고 상태 보고

구현 후

/eval report feature-name

전체 평가 보고서 생성

평가 저장소

프로젝트에 평가 저장:

.claude/  evals/    feature-xyz.md      # 평가 정의    feature-xyz.log     # 평가 실행 이력    baseline.json       # 회귀 베이스라인

모범 사례

  1. 코딩 전에 평가 정의 - 성공 기준에 대한 명확한 사고를 강제
  2. 자주 평가 실행 - 회귀를 조기에 포착
  3. 시간에 따른 pass@k 추적 - 신뢰성 추세 모니터링
  4. 가능하면 코드 채점자 사용 - 결정론적 > 확률적
  5. 보안에는 사람 검토 - 보안 검사를 완전히 자동화하지 말 것
  6. 평가를 빠르게 유지 - 느린 평가는 실행되지 않음
  7. 코드와 함께 평가 버전 관리 - 평가는 일급 산출물

예시: 인증 추가

markdown
## EVAL: add-authentication
### Phase 1: 정의 (10분)Capability Evals:- [ ] User can register with email/password- [ ] User can login with valid credentials- [ ] Invalid credentials rejected with proper error- [ ] Sessions persist across page reloads- [ ] Logout clears session
Regression Evals:- [ ] Public routes still accessible- [ ] API responses unchanged- [ ] Database schema compatible
### Phase 2: 구현 (가변)[Write code]
### Phase 3: 평가Run: /eval check add-authentication
### Phase 4: 보고서EVAL REPORT: add-authentication==============================Capability: 5/5 passed (pass@3: 100%)Regression: 3/3 passed (pass^3: 100%)Status: SHIP IT

제품 평가 (v1.8)

행동 품질을 단위 테스트만으로 포착할 수 없을 때 제품 평가를 사용하세요.

채점자 유형

  1. 코드 채점자 (결정론적 어서션)
  2. 규칙 채점자 (정규식/스키마 제약 조건)
  3. 모델 채점자 (LLM 심사위원 루브릭)
  4. 사람 채점자 (모호한 출력에 대한 수동 판정)

pass@k 가이드

  • pass@1: 직접 신뢰성
  • pass@3: 제어된 재시도 하에서의 실용적 신뢰성
  • pass^3: 안정성 테스트 (3회 모두 통과해야 함)

권장 임계값:

  • 기능 평가: pass@3 >= 0.90
  • 회귀 평가: 릴리스 핵심 경로에 pass^3 = 1.00

평가 안티패턴

  • 알려진 평가 예시에 프롬프트 과적합
  • 정상 경로 출력만 측정
  • 합격률을 쫓으면서 비용과 지연 시간 변동 무시
  • 릴리스 게이트에 불안정한 채점자 허용

최소 평가 산출물 레이아웃

  • .claude/evals/<feature>.md 정의
  • .claude/evals/<feature>.log 실행 이력
  • docs/releases/<version>/eval-summary.md 릴리스 스냅샷

来源与署名

来源：affaan-m/ECC位于docs/ko-KR/skills/eval-harness提交ef648e0

许可证： 无许可证

内容归原作者所有。SourceWeft 从公开仓库中收录这些内容。

举报或申请下架

更多来自 affaan-m/ECC 的技能

Unified Notifications Ops

affaan-m

设计统一的通知策略，对来自 GitHub、Linear、钩子和聊天工具的通知进行分类、路由、去重和升级。

Productivity & Workflow275K4天前更新

Verification Loop

affaan-m

执行六阶段代码验证流程，并生成 PASS/FAIL 就绪报告。

Software Development275K4天前更新

Ui To Vue

affaan-m

将批量 UI 设计截图转换为使用 Vant、Element Plus 或 Ant Design Vue 的 Vue 3 组件。

Software Development275K4天前更新

Unified Memory

affaan-m

指导智能体通过本地 ECC Memory Vault 在不同执行框架之间共享持久上下文与交接信息。

AI & Agents275K4天前更新

Visa Doc Translate

affaan-m

通过 OCR 将签证文件图片翻译成英文，并生成原图与译文对照的双语 PDF。

Documents & Office275K4天前更新

Team Builder

affaan-m

交互式选择器：发现可用的智能体角色，让用户最多选择五个，并行执行同一任务并汇总结果。

AI & Agents275K4天前更新

更多AI & Agents技能

Discernment Nudge

anthropics

精选

在实质性回答后附加2-3个具体追问，帮助用户核查事实、推理与缺失背景。

AI & Agents180K今天更新

Ppt Template Creator

anthropics

精选

将用户的 PowerPoint 模板转化为可复用技能，用于生成品牌演示文稿。

AI & Agents39K2周前更新

Skill Development

anthropics

精选

指导创建 Claude Code 插件技能，涵盖结构、描述、渐进式披露与验证。

AI & Agents37K今天更新

Plugin Structure

anthropics

精选

指导 Claude Code 插件的结构、清单与组件布局。

AI & Agents37K今天更新

Command Development

anthropics

精选

指导创建 Claude Code 斜杠命令，涵盖结构、YAML frontmatter、参数与插件功能。

AI & Agents37K今天更新

Claude Md Improver

anthropics

精选

审查仓库中的 CLAUDE.md 文件，评估其质量，并在获得批准后应用有针对性的改进。

AI & Agents37K今天更新