[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"skill:01M72Y2JT3GC0MMYYX30MSR496":3,"skill-same:01M72Y2JT3GC0MMYYX30MSR496":49},{"skillNo":4,"name":5,"nameZh":6,"description":7,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":16,"categories":17,"keywords":18,"publishedAt":19,"linkOnly":20,"markdownContent":21,"markdownBody":22,"frontMatter":23,"refName":26,"commitSha":27,"skillDirectory":28,"forksCount":29,"repositoryHtmlUrl":30,"repositoryHomepageUrl":6,"ownerHtmlUrl":31,"ownerBlogUrl":32,"ownerDescription":33,"updatedAt":34,"install":35,"resources":48},"01M72Y2JT3GC0MMYYX30MSR496","eval-harness",null,"克劳德代码会话的正式评估框架，实施评估驱动开发（EDD）原则","SriramGandhiS\u002FSkills","SriramGandhiS","https:\u002F\u002Favatars.githubusercontent.com\u002Fu\u002F211849986?v=4","01M72WQCW12BYX71C6WN584TTA","Sriram S","01M72WQCWTJ2RD0ET1X31AF1RC",1,"MIT","https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Feverything-claude-code\u002Fdocs\u002Fzh-CN\u002Fskills\u002Feval-harness\u002FSKILL.md",[],[],"2026-11-10 22:39:42",false,"---\nname: eval-harness\ndescription: 克劳德代码会话的正式评估框架，实施评估驱动开发（EDD）原则\norigin: ECC\ntools: Read, Write, Edit, Bash, Grep, Glob\n---\n\n# Eval Harness 技能\n\n一个用于 Claude Code 会话的正式评估框架，实现了评估驱动开发 (EDD) 原则。\n\n## 何时激活\n\n* 为 AI 辅助工作流程设置评估驱动开发 (EDD)\n* 定义 Claude Code 任务完成的标准（通过\u002F失败）\n* 使用 pass@k 指标衡量代理可靠性\n* 为提示或代理变更创建回归测试套件\n* 跨模型版本对代理性能进行基准测试\n\n## 理念\n\n评估驱动开发将评估视为 \"AI 开发的单元测试\"：\n\n* 在实现 **之前** 定义预期行为\n* 在开发过程中持续运行评估\n* 跟踪每次更改的回归情况\n* 使用 pass@k 指标来衡量可靠性\n\n## 评估类型\n\n### 能力评估\n\n测试 Claude 是否能完成之前无法完成的事情：\n\n```markdown\n[能力评估：功能名称]\n任务：描述 Claude 应完成的工作\n成功标准：\n  - [ ] 标准 1\n  - [ ] 标准 2\n  - [ ] 标准 标准 3\n预期输出：对预期结果的描述\n\n```\n\n### 回归评估\n\n确保更改不会破坏现有功能：\n\n```markdown\n[回归评估：功能名称]\n基线：SHA 或检查点名称\n测试：\n  - 现有测试-1：通过\u002F失败\n  - 现有测试-2：通过\u002F失败\n  - 现有测试-3：通过\u002F失败\n结果：X\u002FY 通过（之前为 Y\u002FY）\n\n```\n\n## 评分器类型\n\n### 1. 基于代码的评分器\n\n使用代码进行确定性检查：\n\n```bash\n# Check if file contains expected pattern\ngrep -q \"export function handleAuth\" src\u002Fauth.ts && echo \"PASS\" || echo \"FAIL\"\n\n# Check if tests pass\nnpm test -- --testPathPattern=\"auth\" && echo \"PASS\" || echo \"FAIL\"\n\n# Check if build succeeds\nnpm run build && echo \"PASS\" || echo \"FAIL\"\n```\n\n### 2. 基于模型的评分器\n\n使用 Claude 来评估开放式输出：\n\n```markdown\n[MODEL GRADER PROMPT]\n评估以下代码变更：\n1. 它是否解决了所述问题？\n2. 它的结构是否良好？\n3. 是否处理了边界情况？\n4. 错误处理是否恰当？\n\n评分：1-5 (1=差，5=优秀)\n推理：[解释]\n\n```\n\n### 3. 人工评分器\n\n标记为需要手动审查：\n\n```markdown\n[HUMAN REVIEW REQUIRED]\n变更：对更改内容的描述\n原因：为何需要人工审核\n风险等级：低\u002F中\u002F高\n\n```\n\n## 指标\n\n### pass@k\n\n\"k 次尝试中至少成功一次\"\n\n* pass@1：首次尝试成功率\n* pass@3：3 次尝试内成功率\n* 典型目标：pass@3 > 90%\n\n### pass^k\n\n\"所有 k 次试验都成功\"\n\n* 更高的可靠性门槛\n* pass^3：连续 3 次成功\n* 用于关键路径\n\n## 评估工作流程\n\n### 1. 定义（编码前）\n\n```markdown\n## 评估定义：功能-xyz\n\n### 能力评估\n1. 可以创建新用户账户\n2. 可以验证电子邮件格式\n3. 可以安全地哈希密码\n\n### 回归评估\n1. 现有登录功能仍然有效\n2. 会话管理未改变\n3. 注销流程完整\n\n### 成功指标\n- 能力评估的 pass@3 > 90%\n- 回归评估的 pass^3 = 100%\n\n```\n\n### 2. 实现\n\n编写代码以通过已定义的评估。\n\n### 3. 评估\n\n```bash\n# Run capability evals\n[Run each capability eval, record PASS\u002FFAIL]\n\n# Run regression evals\nnpm test -- --testPathPattern=\"existing\"\n\n# Generate report\n```\n\n### 4. 报告\n\n```markdown\n评估报告：功能-xyz\n========================\n\n能力评估：\n  创建用户：    通过（通过@1）\n  验证邮箱：    通过（通过@2）\n  哈希密码：    通过（通过@1）\n  总计：         3\u002F3 通过\n\n回归评估：\n  登录流程：     通过\n  会话管理：     通过\n  登出流程：     通过\n  总计：         3\u002F3 通过\n\n指标：\n  通过@1： 67% (2\u002F3)\n  通过@3： 100% (3\u002F3)\n\n状态：准备就绪，待审核\n\n```\n\n## 集成模式\n\n### 实施前\n\n```\n\u002Feval define feature-name\n```\n\n在 `.claude\u002Fevals\u002Ffeature-name.md` 处创建评估定义文件\n\n### 实施过程中\n\n```\n\u002Feval check feature-name\n```\n\n运行当前评估并报告状态\n\n### 实施后\n\n```\n\u002Feval 报告 功能名称\n```\n\n生成完整的评估报告\n\n## 评估存储\n\n将评估存储在项目中：\n\n```\n.claude\u002F\n  evals\u002F\n    feature-xyz.md      # Eval定义\n    feature-xyz.log     # Eval运行历史\n    baseline.json       # 回归基线\n```\n\n## 最佳实践\n\n1. **在编码前定义评估** - 强制清晰地思考成功标准\n2. **频繁运行评估** - 及早发现回归问题\n3. **随时间跟踪 pass@k** - 监控可靠性趋势\n4. **尽可能使用代码评分器** - 确定性 > 概率性\n5. **对安全性进行人工审查** - 永远不要完全自动化安全检查\n6. **保持评估快速** - 缓慢的评估不会被运行\n7. **评估与代码版本化** - 评估是一等工件\n\n## 示例：添加身份验证\n\n```markdown\n## EVAL：添加身份验证\n\n### 第 1 阶段：定义 (10 分钟)\n能力评估：\n- [ ] 用户可以使用邮箱\u002F密码注册\n- [ ] 用户可以使用有效凭证登录\n- [ ] 无效凭证被拒绝并显示适当的错误\n- [ ] 会话在页面重新加载后保持\n- [ ] 登出操作清除会话\n\n回归评估：\n- [ ] 公共路由仍可访问\n- [ ] API 响应未改变\n- [ ] 数据库模式兼容\n\n### 第 2 阶段：实施 (时间不定)\n[编写代码]\n\n### 第 3 阶段：评估\n运行：\u002Feval check add-authentication\n\n### 第 4 阶段：报告\n评估报告：添加身份验证\n==============================\n能力：5\u002F5 通过 (pass@3: 100%)\n回归：3\u002F3 通过 (pass^3: 100%)\n状态：可以发布\n\n```\n\n## 产品评估 (v1.8)\n\n当单元测试无法单独捕获行为质量时，使用产品评估。\n\n### 评分器类型\n\n1. 代码评分器（确定性断言）\n2. 规则评分器（正则表达式\u002F模式约束）\n3. 模型评分器（LLM 作为评判者的评估准则）\n4. 人工评分器（针对模糊输出的人工裁定）\n\n### pass@k 指南\n\n* `pass@1`：直接可靠性\n* `pass@3`：受控重试下的实际可靠性\n* `pass^3`：稳定性测试（所有 3 次运行必须通过）\n\n推荐阈值：\n\n* 能力评估：pass@3 >= 0.90\n* 回归评估：对于发布关键路径，pass^3 = 1.00\n\n### 评估反模式\n\n* 将提示过度拟合到已知的评估示例\n* 仅测量正常路径输出\n* 在追求通过率时忽略成本和延迟漂移\n* 在发布关卡中允许不稳定的评分器\n\n### 最小评估工件布局\n\n* `.claude\u002Fevals\u002F\u003Cfeature>.md` 定义\n* `.claude\u002Fevals\u002F\u003Cfeature>.log` 运行历史\n* `docs\u002Freleases\u002F\u003Cversion>\u002Feval-summary.md` 发布快照\n","# Eval Harness 技能\n\n一个用于 Claude Code 会话的正式评估框架，实现了评估驱动开发 (EDD) 原则。\n\n## 何时激活\n\n* 为 AI 辅助工作流程设置评估驱动开发 (EDD)\n* 定义 Claude Code 任务完成的标准（通过\u002F失败）\n* 使用 pass@k 指标衡量代理可靠性\n* 为提示或代理变更创建回归测试套件\n* 跨模型版本对代理性能进行基准测试\n\n## 理念\n\n评估驱动开发将评估视为 \"AI 开发的单元测试\"：\n\n* 在实现 **之前** 定义预期行为\n* 在开发过程中持续运行评估\n* 跟踪每次更改的回归情况\n* 使用 pass@k 指标来衡量可靠性\n\n## 评估类型\n\n### 能力评估\n\n测试 Claude 是否能完成之前无法完成的事情：\n\n```markdown\n[能力评估：功能名称]\n任务：描述 Claude 应完成的工作\n成功标准：\n  - [ ] 标准 1\n  - [ ] 标准 2\n  - [ ] 标准 标准 3\n预期输出：对预期结果的描述\n\n```\n\n### 回归评估\n\n确保更改不会破坏现有功能：\n\n```markdown\n[回归评估：功能名称]\n基线：SHA 或检查点名称\n测试：\n  - 现有测试-1：通过\u002F失败\n  - 现有测试-2：通过\u002F失败\n  - 现有测试-3：通过\u002F失败\n结果：X\u002FY 通过（之前为 Y\u002FY）\n\n```\n\n## 评分器类型\n\n### 1. 基于代码的评分器\n\n使用代码进行确定性检查：\n\n```bash\n# Check if file contains expected pattern\ngrep -q \"export function handleAuth\" src\u002Fauth.ts && echo \"PASS\" || echo \"FAIL\"\n\n# Check if tests pass\nnpm test -- --testPathPattern=\"auth\" && echo \"PASS\" || echo \"FAIL\"\n\n# Check if build succeeds\nnpm run build && echo \"PASS\" || echo \"FAIL\"\n```\n\n### 2. 基于模型的评分器\n\n使用 Claude 来评估开放式输出：\n\n```markdown\n[MODEL GRADER PROMPT]\n评估以下代码变更：\n1. 它是否解决了所述问题？\n2. 它的结构是否良好？\n3. 是否处理了边界情况？\n4. 错误处理是否恰当？\n\n评分：1-5 (1=差，5=优秀)\n推理：[解释]\n\n```\n\n### 3. 人工评分器\n\n标记为需要手动审查：\n\n```markdown\n[HUMAN REVIEW REQUIRED]\n变更：对更改内容的描述\n原因：为何需要人工审核\n风险等级：低\u002F中\u002F高\n\n```\n\n## 指标\n\n### pass@k\n\n\"k 次尝试中至少成功一次\"\n\n* pass@1：首次尝试成功率\n* pass@3：3 次尝试内成功率\n* 典型目标：pass@3 > 90%\n\n### pass^k\n\n\"所有 k 次试验都成功\"\n\n* 更高的可靠性门槛\n* pass^3：连续 3 次成功\n* 用于关键路径\n\n## 评估工作流程\n\n### 1. 定义（编码前）\n\n```markdown\n## 评估定义：功能-xyz\n\n### 能力评估\n1. 可以创建新用户账户\n2. 可以验证电子邮件格式\n3. 可以安全地哈希密码\n\n### 回归评估\n1. 现有登录功能仍然有效\n2. 会话管理未改变\n3. 注销流程完整\n\n### 成功指标\n- 能力评估的 pass@3 > 90%\n- 回归评估的 pass^3 = 100%\n\n```\n\n### 2. 实现\n\n编写代码以通过已定义的评估。\n\n### 3. 评估\n\n```bash\n# Run capability evals\n[Run each capability eval, record PASS\u002FFAIL]\n\n# Run regression evals\nnpm test -- --testPathPattern=\"existing\"\n\n# Generate report\n```\n\n### 4. 报告\n\n```markdown\n评估报告：功能-xyz\n========================\n\n能力评估：\n  创建用户：    通过（通过@1）\n  验证邮箱：    通过（通过@2）\n  哈希密码：    通过（通过@1）\n  总计：         3\u002F3 通过\n\n回归评估：\n  登录流程：     通过\n  会话管理：     通过\n  登出流程：     通过\n  总计：         3\u002F3 通过\n\n指标：\n  通过@1： 67% (2\u002F3)\n  通过@3： 100% (3\u002F3)\n\n状态：准备就绪，待审核\n\n```\n\n## 集成模式\n\n### 实施前\n\n```\n\u002Feval define feature-name\n```\n\n在 `.claude\u002Fevals\u002Ffeature-name.md` 处创建评估定义文件\n\n### 实施过程中\n\n```\n\u002Feval check feature-name\n```\n\n运行当前评估并报告状态\n\n### 实施后\n\n```\n\u002Feval 报告 功能名称\n```\n\n生成完整的评估报告\n\n## 评估存储\n\n将评估存储在项目中：\n\n```\n.claude\u002F\n  evals\u002F\n    feature-xyz.md      # Eval定义\n    feature-xyz.log     # Eval运行历史\n    baseline.json       # 回归基线\n```\n\n## 最佳实践\n\n1. **在编码前定义评估** - 强制清晰地思考成功标准\n2. **频繁运行评估** - 及早发现回归问题\n3. **随时间跟踪 pass@k** - 监控可靠性趋势\n4. **尽可能使用代码评分器** - 确定性 > 概率性\n5. **对安全性进行人工审查** - 永远不要完全自动化安全检查\n6. **保持评估快速** - 缓慢的评估不会被运行\n7. **评估与代码版本化** - 评估是一等工件\n\n## 示例：添加身份验证\n\n```markdown\n## EVAL：添加身份验证\n\n### 第 1 阶段：定义 (10 分钟)\n能力评估：\n- [ ] 用户可以使用邮箱\u002F密码注册\n- [ ] 用户可以使用有效凭证登录\n- [ ] 无效凭证被拒绝并显示适当的错误\n- [ ] 会话在页面重新加载后保持\n- [ ] 登出操作清除会话\n\n回归评估：\n- [ ] 公共路由仍可访问\n- [ ] API 响应未改变\n- [ ] 数据库模式兼容\n\n### 第 2 阶段：实施 (时间不定)\n[编写代码]\n\n### 第 3 阶段：评估\n运行：\u002Feval check add-authentication\n\n### 第 4 阶段：报告\n评估报告：添加身份验证\n==============================\n能力：5\u002F5 通过 (pass@3: 100%)\n回归：3\u002F3 通过 (pass^3: 100%)\n状态：可以发布\n\n```\n\n## 产品评估 (v1.8)\n\n当单元测试无法单独捕获行为质量时，使用产品评估。\n\n### 评分器类型\n\n1. 代码评分器（确定性断言）\n2. 规则评分器（正则表达式\u002F模式约束）\n3. 模型评分器（LLM 作为评判者的评估准则）\n4. 人工评分器（针对模糊输出的人工裁定）\n\n### pass@k 指南\n\n* `pass@1`：直接可靠性\n* `pass@3`：受控重试下的实际可靠性\n* `pass^3`：稳定性测试（所有 3 次运行必须通过）\n\n推荐阈值：\n\n* 能力评估：pass@3 >= 0.90\n* 回归评估：对于发布关键路径，pass^3 = 1.00\n\n### 评估反模式\n\n* 将提示过度拟合到已知的评估示例\n* 仅测量正常路径输出\n* 在追求通过率时忽略成本和延迟漂移\n* 在发布关卡中允许不稳定的评分器\n\n### 最小评估工件布局\n\n* `.claude\u002Fevals\u002F\u003Cfeature>.md` 定义\n* `.claude\u002Fevals\u002F\u003Cfeature>.log` 运行历史\n* `docs\u002Freleases\u002F\u003Cversion>\u002Feval-summary.md` 发布快照\n",{"name":5,"tools":24,"origin":25,"description":7},"Read, Write, Edit, Bash, Grep, Glob","ECC","master","d6ca01da0f24a3b0e26e4a8b7b66cbd25d429f5d","everything-claude-code\u002Fdocs\u002Fzh-CN\u002Fskills\u002Feval-harness",0,"https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills","https:\u002F\u002Fgithub.com\u002FSriramGandhiS","https:\u002F\u002Fsriram.website\u002F","Curious guy who keeps tinkering until something works","2026-05-20 16:21:34",{"source":8,"skillName":5,"commands":36,"prompt":46,"zipAvailable":47},[37,40,43],{"tool":38,"command":39},"npx","npx skills add SriramGandhiS\u002FSkills --skill eval-harness",{"tool":41,"command":42},"bunx","bunx skills add SriramGandhiS\u002FSkills --skill eval-harness",{"tool":44,"command":45},"pnpm","pnpm dlx skills add SriramGandhiS\u002FSkills --skill eval-harness","安装技能，技能地址：https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Feverything-claude-code\u002Fdocs\u002Fzh-CN\u002Fskills\u002Feval-harness\u002FSKILL.md",true,[],[50,58,63,69,76,83],{"skillNo":51,"name":52,"nameZh":6,"description":53,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":54,"categories":55,"keywords":56,"publishedAt":57},"01M732609EPJWV13PVTX3GT4TM","webgpu-threejs-tsl","Comprehensive guide for developing WebGPU-enabled Three.js applications using TSL (Three.js Shading Language). Covers WebGPU renderer setup, TSL syntax and node materials, compute shaders, post-processing effects, and WGSL integration. Use this skill when working with Three.js WebGPU, TSL shaders, node materials, or GPU compute in Three.js.","https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Fwebgpu-threejs-tsl\u002Fskills\u002Fwebgpu-threejs-tsl\u002FSKILL.md",[],[],"2026-11-11 15:11:14",{"skillNo":59,"name":52,"nameZh":6,"description":53,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":60,"categories":61,"keywords":62,"publishedAt":57},"01M7325XM47AGWB6K6C4VXKE6B","https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Fwebgpu-threejs-tsl\u002FSKILL.md",[],[],{"skillNo":64,"name":65,"nameZh":6,"description":6,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":66,"categories":67,"keywords":68,"publishedAt":57},"01M7325WP6DES69JKC840VMFEP","verification-loop","https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Fweb-assets\u002Fdocs\u002Fzh-TW\u002Fskills\u002Fverification-loop\u002FSKILL.md",[],[],{"skillNo":70,"name":71,"nameZh":6,"description":72,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":73,"categories":74,"keywords":75,"publishedAt":57},"01M7325TFQF1DZTQ6J3WGQQ1VR","tdd-workflow","Use this skill when writing new features, fixing bugs, or refactoring code. Enforces test-driven development with 80%+ coverage including unit, integration, and E2E tests.","https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Fweb-assets\u002Fdocs\u002Fzh-TW\u002Fskills\u002Ftdd-workflow\u002FSKILL.md",[],[],{"skillNo":77,"name":78,"nameZh":6,"description":79,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":80,"categories":81,"keywords":82,"publishedAt":57},"01M7325RGV9AY9PK92D2V8KKPW","strategic-compact","Suggests manual context compaction at logical intervals to preserve context through task phases rather than arbitrary auto-compaction.","https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Fweb-assets\u002Fdocs\u002Fzh-TW\u002Fskills\u002Fstrategic-compact\u002FSKILL.md",[],[],{"skillNo":84,"name":85,"nameZh":6,"description":86,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":87,"categories":88,"keywords":89,"publishedAt":57},"01M7325MZC28SE86E7NMCNEFS4","security-review","Use this skill when adding authentication, handling user input, working with secrets, creating API endpoints, or implementing payment\u002Fsensitive features. Provides comprehensive security checklist and patterns.","https:\u002F\u002Fgithub.com\u002FSriramGandhiS\u002FSkills\u002Fblob\u002Fmaster\u002Fweb-assets\u002Fdocs\u002Fzh-TW\u002Fskills\u002Fsecurity-review\u002FSKILL.md",[],[]]