Eval Harness

affaan-m/ECC/docs/ko-KR/skills/eval-harness

作者 affaan-mef648e01899ba3e8dc6371642deaaf64b4477775無授權條款275K 個星標收錄於 2026年10月9日更新於 2026年10月9日儲存庫4 天前更新

평가 주도 개발(EDD) 원칙을 구현하는 Claude Code 세션용 공식 평가 프레임워크

僅含說明AI & Agents
AI 產生的概覽

為 Claude Code 工作階段定義評估驅動開發框架，包含評估類型、評分器、指標與報告。

功能
此技能為 Claude Code 工作階段提供一套評估驅動開發的書面框架。它定義了能力評估與回歸評估、程式碼評分器、模型評分器與人工評分器三種類型，以及 pass@k 與 pass^k 可靠性指標。它也規定了評估工作流程（定義、實作、評估、報告）、.claude/evals 下的儲存結構、最佳實務、反模式，以及一個驗證範例。
適用情境
適用於為 AI 輔助工作流程建立評估驅動開發、為 Claude Code 任務定義通過／不通過標準、以 pass@k 指標衡量代理可靠性，或為提示詞與代理變更建立回歸測試套件。
執行需求
僅為說明性內容，不附帶指令碼。假定在具備 Read、Write、Edit、Bash、Grep 與 Glob 工具的 Claude Code 工作階段中使用，並涉及執行專案的測試與建置命令。

평가 하네스 스킬

Claude Code 세션을 위한 공식 평가 프레임워크로, 평가 주도 개발(EDD) 원칙을 구현합니다.

활성화 시점

  • AI 지원 워크플로우에 평가 주도 개발(EDD) 설정 시
  • Claude Code 작업 완료에 대한 합격/불합격 기준 정의 시
  • pass@k 메트릭으로 에이전트 신뢰성 측정 시
  • 프롬프트 또는 에이전트 변경에 대한 회귀 테스트 스위트 생성 시
  • 모델 버전 간 에이전트 성능 벤치마킹 시

철학

평가 주도 개발은 평가를 "AI 개발의 단위 테스트"로 취급합니다:

  • 구현 전에 예상 동작 정의
  • 개발 중 지속적으로 평가 실행
  • 각 변경 시 회귀 추적
  • 신뢰성 측정을 위해 pass@k 메트릭 사용

평가 유형

기능 평가

Claude가 이전에 할 수 없었던 것을 할 수 있는지 테스트:

markdown
[CAPABILITY EVAL: feature-name]Task: Description of what Claude should accomplishSuccess Criteria:  - [ ] Criterion 1  - [ ] Criterion 2  - [ ] Criterion 3Expected Output: Description of expected result

회귀 평가

변경 사항이 기존 기능을 손상시키지 않는지 확인:

markdown
[REGRESSION EVAL: feature-name]Baseline: SHA or checkpoint nameTests:  - existing-test-1: PASS/FAIL  - existing-test-2: PASS/FAIL  - existing-test-3: PASS/FAILResult: X/Y passed (previously Y/Y)

채점자 유형

1. 코드 기반 채점자

코드를 사용한 결정론적 검사:

bash
# Check if file contains expected patterngrep -q "export function handleAuth" src/auth.ts && echo "PASS" || echo "FAIL"
# Check if tests passnpm test -- --testPathPattern="auth" && echo "PASS" || echo "FAIL"
# Check if build succeedsnpm run build && echo "PASS" || echo "FAIL"

2. 모델 기반 채점자

Claude를 사용하여 개방형 출력 평가:

markdown
[MODEL GRADER PROMPT]Evaluate the following code change:1. Does it solve the stated problem?2. Is it well-structured?3. Are edge cases handled?4. Is error handling appropriate?
Score: 1-5 (1=poor, 5=excellent)Reasoning: [explanation]

3. 사람 채점자

수동 검토 플래그:

markdown
[HUMAN REVIEW REQUIRED]Change: Description of what changedReason: Why human review is neededRisk Level: LOW/MEDIUM/HIGH

메트릭

pass@k

"k번 시도 중 최소 한 번 성공"

  • pass@1: 첫 번째 시도 성공률
  • pass@3: 3번 시도 내 성공
  • 일반적인 목표: pass@3 > 90%

pass^k

"k번 시행 모두 성공"

  • 신뢰성에 대한 더 높은 기준
  • pass^3: 3회 연속 성공
  • 핵심 경로에 사용

평가 워크플로우

1. 정의 (코딩 전)

markdown
## EVAL DEFINITION: feature-xyz
### Capability Evals1. Can create new user account2. Can validate email format3. Can hash password securely
### Regression Evals1. Existing login still works2. Session management unchanged3. Logout flow intact
### Success Metrics- pass@3 > 90% for capability evals- pass^3 = 100% for regression evals

2. 구현

정의된 평가를 통과하기 위한 코드 작성.

3. 평가

bash
# Run capability evals[Run each capability eval, record PASS/FAIL]
# Run regression evalsnpm test -- --testPathPattern="existing"
# Generate report

4. 보고서

markdown
EVAL REPORT: feature-xyz========================
Capability Evals:  create-user:     PASS (pass@1)  validate-email:  PASS (pass@2)  hash-password:   PASS (pass@1)  Overall:         3/3 passed
Regression Evals:  login-flow:      PASS  session-mgmt:    PASS  logout-flow:     PASS  Overall:         3/3 passed
Metrics:  pass@1: 67% (2/3)  pass@3: 100% (3/3)
Status: READY FOR REVIEW

통합 패턴

구현 전

/eval define feature-name

.claude/evals/feature-name.md에 평가 정의 파일 생성

구현 중

/eval check feature-name

현재 평가를 실행하고 상태 보고

구현 후

/eval report feature-name

전체 평가 보고서 생성

평가 저장소

프로젝트에 평가 저장:

.claude/  evals/    feature-xyz.md      # 평가 정의    feature-xyz.log     # 평가 실행 이력    baseline.json       # 회귀 베이스라인

모범 사례

  1. 코딩 전에 평가 정의 - 성공 기준에 대한 명확한 사고를 강제
  2. 자주 평가 실행 - 회귀를 조기에 포착
  3. 시간에 따른 pass@k 추적 - 신뢰성 추세 모니터링
  4. 가능하면 코드 채점자 사용 - 결정론적 > 확률적
  5. 보안에는 사람 검토 - 보안 검사를 완전히 자동화하지 말 것
  6. 평가를 빠르게 유지 - 느린 평가는 실행되지 않음
  7. 코드와 함께 평가 버전 관리 - 평가는 일급 산출물

예시: 인증 추가

markdown
## EVAL: add-authentication
### Phase 1: 정의 (10분)Capability Evals:- [ ] User can register with email/password- [ ] User can login with valid credentials- [ ] Invalid credentials rejected with proper error- [ ] Sessions persist across page reloads- [ ] Logout clears session
Regression Evals:- [ ] Public routes still accessible- [ ] API responses unchanged- [ ] Database schema compatible
### Phase 2: 구현 (가변)[Write code]
### Phase 3: 평가Run: /eval check add-authentication
### Phase 4: 보고서EVAL REPORT: add-authentication==============================Capability: 5/5 passed (pass@3: 100%)Regression: 3/3 passed (pass^3: 100%)Status: SHIP IT

제품 평가 (v1.8)

행동 품질을 단위 테스트만으로 포착할 수 없을 때 제품 평가를 사용하세요.

채점자 유형

  1. 코드 채점자 (결정론적 어서션)
  2. 규칙 채점자 (정규식/스키마 제약 조건)
  3. 모델 채점자 (LLM 심사위원 루브릭)
  4. 사람 채점자 (모호한 출력에 대한 수동 판정)

pass@k 가이드

  • pass@1: 직접 신뢰성
  • pass@3: 제어된 재시도 하에서의 실용적 신뢰성
  • pass^3: 안정성 테스트 (3회 모두 통과해야 함)

권장 임계값:

  • 기능 평가: pass@3 >= 0.90
  • 회귀 평가: 릴리스 핵심 경로에 pass^3 = 1.00

평가 안티패턴

  • 알려진 평가 예시에 프롬프트 과적합
  • 정상 경로 출력만 측정
  • 합격률을 쫓으면서 비용과 지연 시간 변동 무시
  • 릴리스 게이트에 불안정한 채점자 허용

최소 평가 산출물 레이아웃

  • .claude/evals/<feature>.md 정의
  • .claude/evals/<feature>.log 실행 이력
  • docs/releases/<version>/eval-summary.md 릴리스 스냅샷

來源與署名

來源：affaan-m/ECC位於docs/ko-KR/skills/eval-harness提交ef648e0

授權條款： 無授權條款

內容歸原作者所有。SourceWeft 從公開儲存庫中收錄這些內容。

檢舉或申請下架

更多來自 affaan-m/ECC 的技能

Unified Notifications Ops

affaan-m

設計統一的通知策略，對來自 GitHub、Linear、鉤子與聊天工具的通知進行分類、路由、去重與升級。

Productivity & Workflow275K4 天前更新

Verification Loop

affaan-m

執行六階段程式碼驗證流程，並產出 PASS/FAIL 就緒報告。

Software Development275K4 天前更新

Ui To Vue

affaan-m

將批次 UI 設計截圖轉換為使用 Vant、Element Plus 或 Ant Design Vue 的 Vue 3 元件。

Software Development275K4 天前更新

Unified Memory

affaan-m

指導代理透過本機 ECC Memory Vault 在不同執行框架之間共享持久脈絡與交接資訊。

AI & Agents275K4 天前更新

Visa Doc Translate

affaan-m

透過 OCR 將簽證文件影像翻譯成英文，並產出原圖與譯文對照的雙語 PDF。

Documents & Office275K4 天前更新

Team Builder

affaan-m

互動式挑選器：探索可用的代理角色，讓使用者最多選五個，平行執行同一任務並彙整結果。

AI & Agents275K4 天前更新

更多AI & Agents技能

Discernment Nudge

anthropics

精選

在實質回答後附加 2-3 個具體追問，協助使用者查核事實、推理與缺少的背景。

AI & Agents180K今天更新

Ppt Template Creator

anthropics

精選

將使用者的 PowerPoint 範本轉換為可重用的技能，用來產生品牌簡報。

AI & Agents39K2 週前更新

Skill Development

anthropics

精選

指導建立 Claude Code 外掛技能，涵蓋結構、描述、漸進式揭露與驗證。

AI & Agents37K今天更新

Plugin Structure

anthropics

精選

說明 Claude Code 外掛的結構、資訊清單與元件配置方式。

AI & Agents37K今天更新

Command Development

anthropics

精選

指導建立 Claude Code 斜線命令，涵蓋結構、YAML frontmatter、參數與外掛功能。

AI & Agents37K今天更新

Claude Md Improver

anthropics

精選

稽核儲存庫中的 CLAUDE.md 檔案、評估其品質，並在取得核准後套用針對性的改進。

AI & Agents37K今天更新