[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"skill:01M7F7ZHDCCSZJNRT2EB2AGEV8":3,"skill-same:01M7F7ZHDCCSZJNRT2EB2AGEV8":45},{"skillNo":4,"name":5,"nameZh":6,"description":7,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":16,"categories":17,"keywords":18,"publishedAt":19,"linkOnly":20,"markdownContent":21,"markdownBody":22,"frontMatter":23,"refName":24,"commitSha":25,"skillDirectory":26,"forksCount":27,"repositoryHtmlUrl":28,"repositoryHomepageUrl":6,"ownerHtmlUrl":29,"ownerBlogUrl":6,"ownerDescription":6,"updatedAt":30,"install":31,"resources":44},"01M7F7ZHDCCSZJNRT2EB2AGEV8","rdd-skill-eval",null,"Executa testes de regressão (evals) em skills RDD a partir de fixtures armazenadas em evals\u002F\u003Cskill>\u002Ffixture-N\u002F. Cada fixture contém input de exemplo e criteria.yaml com checks esperados. A skill alvo é invocada com os inputs da fixture, o output gerado é verificado contra os criteria, e um relatório EVAL_REPORT_\u003Cskill>_\u003Cts>.md é gerado com PASS\u002FFAIL por check. Use quando o usuário pedir \"testar skill X\", \"rodar evals\", \"verificar regressão\", \"golden path\", ou automaticamente via @rdd-workflow-improver e @rdd-workflow-builder após edições em skills.","victor-souza-dev\u002FRDD-CORE","victor-souza-dev","https:\u002F\u002Favatars.githubusercontent.com\u002Fu\u002F64621536?v=4","01M7F7EA6XYQ0FNS1P773C2GEA","Victor Souza","01M7F7EA7JWP2CBG8X80TWE2X5",4,"Apache-2.0","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-skill-eval\u002FSKILL.md",[],[],"2026-11-16 10:05:34",false,"---\nname: rdd-skill-eval\ndescription: >-\n  Executa testes de regressão (evals) em skills RDD a partir de fixtures\n  armazenadas em evals\u002F\u003Cskill>\u002Ffixture-N\u002F. Cada fixture contém input de\n  exemplo e criteria.yaml com checks esperados. A skill alvo é invocada\n  com os inputs da fixture, o output gerado é verificado contra os criteria,\n  e um relatório EVAL_REPORT_\u003Cskill>_\u003Cts>.md é gerado com PASS\u002FFAIL por check.\n  Use quando o usuário pedir \"testar skill X\", \"rodar evals\", \"verificar\n  regressão\", \"golden path\", ou automaticamente via @rdd-workflow-improver\n  e @rdd-workflow-builder após edições em skills.\n---\n# rdd-skill-eval — Testes de Regressão para Skills RDD\n\nExecuta evals (testes de regressão) em skills RDD. Cada skill tem\nfixtures em `evals\u002F\u003Cskill>\u002Ffixture-N\u002F` com:\n- `input\u002F` — arquivos de exemplo que a skill lê (REQUIREMENTS.md, etc.)\n- `criteria.yaml` — checagens que o output gerado deve atender\n\n## Runner determinístico\n\nA verificação de checks NÃO precisa de agente: os scripts `evals\u002Frun-evals.ps1`\n(Windows) e `evals\u002Frun-evals.sh` (Linux\u002FGit-Bash) leem os criteria.yaml e\nexecutam todos os tipos de check diretamente, com relatório e trends.\nPrefira-os para rodar evals (`--all`, `--skill X`, `--changed`, `--golden`); a execução\nda SKILL alvo dentro do sandbox continua sendo fluxo de agente.\n\nO modo `--registry` (IMP-027) valida a consistência do `registry.yaml`\ncontra o disco: ids de primary_agents\u002Fsubagents\u002Fskills vs arquivos em\n`agents\u002F` e `skills\u002F`, referências resolvidas (`delegates`, `invokes`,\n`available_to`, `owner`, `registered_by`, `orchestrator`; `null` é legítimo)\n— 5 checks de config, independente de fixtures. Roda no CI junto com `--all`.\n\n## Lê (upstream)\n\n- `evals\u002F\u003Cskill>\u002Ffixture-N\u002Finput\u002F*.md` — inputs de exemplo para a skill\n- `evals\u002F\u003Cskill>\u002Ffixture-N\u002Fcriteria.yaml` — critérios de avaliação\n- A skill alvo (ex: `skills\u002Frdd-data-model\u002FSKILL.md`) — para entender o workflow\n- (Opcional) `evals\u002F\u003Cskill>\u002Ffixture-N\u002Foutput-expected\u002F` — outputs de referência\n\n## Gera (downstream)\n\n- `\u003Cconfig-root>\u002Fevals\u002Freports\u002FEVAL_REPORT_\u003Cskill>_\u003Ctimestamp>.md`\n- `\u003Cconfig-root>\u002Fevals\u002Ftrends\u002Ftrends.json` (append-only, histórico de scores)\n- Sandbox temporário em `%TEMP%\u002Fopencode-eval\u002F\u003Cskill>\u002F\u003Cfixture>\u002F` (destruído após o eval)\n\n## Nunca edita\n\n- Skills ou agents (read-only)\n- Fixtures (são versionados, nunca alterados pelo eval)\n- Artefatos de módulo RDD\n- registry.yaml\n- **`evals\u002Fgolden-human\u002F` (IMP-100) é intocado por agents** - golden set humano: leitura ok; escrita SOMENTE pelo operador humano; exceção única (seed inicial) já consumida. Fixtures de agents vivem em `evals\u002F\u003Cskill>\u002Ffixture-N\u002F`.\n\n## Tools\n\n- `read` (ler fixtures, criteria.yaml, skills alvo)\n- `glob` (listar fixtures por skill)\n- `grep` (verificar presença\u002Fausência de padrões no output)\n- `question` (confirmar modo dry-run ou execução)\n- `write` (escrever relatório de eval)\n- `skill` (opcional — invocar a skill alvo com os inputs da fixture)\n\n## Modo de erro\n\n`interativo` — se uma fixture não tiver criteria.yaml ou inputs, pula com\nwarning. Se a skill alvo não existir, erro. Se o gh CLI falhar (para\nrdd-gh-* skills), orienta mas não bloqueia.\n\n## Modos de execução\n\n| Modo | Flag | Comportamento |\n|------|------|---------------|\n| Todas as skills | `--all` | Roda fixtures de todas as skills com evals |\n| Skill específica | `--skill rdd-data-model` | Roda só fixtures da skill |\n| Fixture específica | `--fixture rdd-data-model\u002Ffixture-002` | Roda fixture exata |\n| Apenas alteradas | `--changed` | Detecta skills modificadas (git diff) e roda só elas |\n| Golden set humano | `--golden` | Roda só `evals\u002Fgolden-human\u002Fcase-*` (IMP-100); `--all` o inclui, junto do selftest do runner (`evals\u002Frunner-selftest\u002F` — critérios com `expect: fail`: o check DEVE falhar; PASS = runner não discriminou = FAIL do eval) |\n\n## Workflow\n\n### Passo 1 — Determinar alvo\n\nUse `glob` para listar `evals\u002F\u003Cskill>\u002Ffixture-*\u002Fcriteria.yaml`.\nFiltre conforme o modo (`--skill`, `--fixture`, `--changed`).\n\n### Passo 2 — Para cada fixture, executar:\n\n#### 2a. Ler criteria.yaml\n\nLeia o arquivo de critérios. Identifique:\n- `inputs_required`: arquivos que devem existir em `input\u002F`\n- `checks`: lista de verificações\n\n#### 2b. Ler inputs\n\nConfirme que todos os `inputs_required` existem em `input\u002F`.\nSe faltar algum, a fixture é SKIPPED (não aborta o eval inteiro).\n\n#### 2c. Executar a skill alvo em sandbox (OBRIGATÓRIO)\n\nToda fixture executável roda em **sandbox isolado**. NUNCA invocar a skill\napontando para artefatos reais de módulos. Para skills com dependência\nexterna inacessível (gh CLI sem auth, etc.), use dry-run declarado no relatório.\n\n**Algoritmo de sandbox:**\n\n1. **Criar sandbox:** `SANDBOX = %TEMP%\u002Fopencode-eval\u002F\u003Cskill>\u002F\u003Cfixture>\u002Fmodule`\n   - Remover o diretório se existir (run anterior)\n   - Copiar TODO o conteúdo de `input\u002F` para dentro de `SANDBOX`\n     preservando a estrutura (REQUIREMENTS.md fica na raiz do módulo sandbox)\n2. **Invocar a skill:** carregue a skill alvo via `skill` tool e instrua:\n   - Module root = `SANDBOX` (workdir absoluto)\n   - Ler inputs de `SANDBOX`\u002F`\u003Carquivo>`\n   - Escrever outputs relativos ao module root (ex: `SANDBOX\u002Fspecs\u002FDATA_MODEL.md`)\n   - Modo não-interativo: NÃO usar `question`; em ambiguidade, gerar PEND-XXX\n     no output como a skill faria em produção\n3. **Coletar outputs:** tudo que existe em `SANDBOX` e não existia em `input\u002F`\n4. **Verificar checks:** resolver os paths de `criteria.yaml` contra `SANDBOX`\n5. **Preservar em caso de FAIL:** se houver check `error` quebrado, mova o\n   sandbox para `evals\u002Freports\u002Fsandbox-\u003Cskill>-\u003Cfixture>-\u003Cts>\u002F` para\n   depuração; caso contrário, destrua o sandbox\n\n**Paths dos checks são sempre relativos ao module root** (`specs\u002FDATA_MODEL.md`\nsignifica `SANDBOX\u002Fspecs\u002FDATA_MODEL.md`).\n\n#### 2d. Verificar checks\n\nPara cada check em `criteria.yaml`, avalie:\n\n| Tipo | Método de verificação |\n|------|----------------------|\n| `file_exists` | O arquivo de output foi gerado no caminho especificado |\n| `section_exists` | O output contém a seção markdown exata |\n| `contains` | O output contém o texto\u002Fpattern (grep) |\n| `not_contains` | O output NÃO contém o texto\u002Fpattern (grep) |\n| `table_has_columns` | A tabela markdown tem as colunas listadas |\n| `no_todos` | Output não contém nenhum dos patterns (TODO, FIXME, etc.) |\n| `frontmatter_valid` | Output começa com `---\\n` e termina com `\\n---` |\n| `reference_match` | Output difere do baseline em `output-expected\u002F` além de tolerâncias |\n| `id_sequence` | IDs (RN-XXX etc.) aparecem em ordem crescente de primeira aparição |\n| `cross_ref` | Todo ID citado no output existe nos arquivos de origem |\n| `mermaid_valid` | Blocos mermaid têm tipo declarado, cercas fechadas e chaves balanceadas |\n| `line_count_range` | Output tem entre min e max linhas (pega truncamento e alucinação) |\n| `section_order` | Seções obrigatórias existem E aparecem na ordem especificada |\n| `dir_has_files` | O diretório contém pelo menos 1 arquivo (para outputs com data no nome, ex: meetings\u002FYYYY-MM-DD-NN.md) |\n| `not_file_exists` | O arquivo NÃO foi gerado (contrato de abort\u002Fnão-invenção: skill deve recusar criar artefato) |\n\n**Regras do `reference_match`:** comparação linha a linha após normalização —\nremover timestamps e datas em qualquer formato comum (`\\d{4}-\\d{2}-\\d{2}`,\n`\\d{2}\u002F\\d{2}\u002F\\d{4}`, `\\d{2}:\\d{2}`), espaços à direita, múltiplos blank lines\nconsecutivos (colapsar em 1) e ordem de chaves em YAML front matter.\nDiferenças além disso = FAIL. Se não houver baseline (`output-expected\u002F`\nausente), o check é SKIPPED com warning.\n\n**Parâmetros dos checks semânticos (camada 2):**\n\n```yaml\n# Ordem crescente de primeira aparição dos IDs no output.\n# Uso: documentos onde as RNs são documentadas em sequência (DATA_MODEL,\n# ACCEPTANCE_CRITERIA). NÃO aplicar em docs ordenados por dependência\n# (TASKS) — lá a ordem das tasks não é a ordem das RNs.\n- type: id_sequence\n  path: \"specs\u002FDATA_MODEL.md\"\n  pattern: \"RN-(\\\\d+)\"        # regex com capture group do número\n  allow_gaps: true            # false = não pode pular números entre aparições\n  severity: error\n\n# Todo ID citado no output deve existir em pelo menos um arquivo de origem.\n# Pega RN alucinada (ex: RN-999 que não existe no REQUIREMENTS).\n- type: cross_ref\n  path: \"specs\u002FDATA_MODEL.md\"\n  pattern: \"RN-(\\\\d+)\"\n  sources: [\"REQUIREMENTS.md\"]   # paths relativos ao module root do sandbox\n  severity: error\n\n# Blocos ```mermaid no output: tipo declarado na 1ª linha do bloco\n# (erDiagram, flowchart, sequenceDiagram, etc.), cercas fechadas,\n# chaves\u002Fcolchetes balanceados. Não é parser completo — pega quebras óbvias.\n# IMPORTANTE: linhas de relacionamento mermaid (contêm `--`, ex:\n# `A }o--|| B : label`) usam `}` na sintaxe — EXCLUIR da contagem de chaves.\n- type: mermaid_valid\n  path: \"specs\u002FDATA_MODEL.md\"\n  severity: error\n\n# Quantidade de linhas do output dentro da faixa. Pega truncamento\n# (abaixo do min) e inflação\u002Falucinação de conteúdo (acima do max).\n# Definir faixa com folga a partir do baseline.\n- type: line_count_range\n  path: \"specs\u002FDATA_MODEL.md\"\n  min: 100\n  max: 400\n  severity: warning\n\n# Seções obrigatórias existem E na ordem especificada (primeira aparição\n# de cada seção deve ser crescente). Subconjunto de section_exists + ordem.\n- type: section_order\n  path: \"specs\u002FDATA_MODEL.md\"\n  sections:\n    - \"## 1. Diagrama Entidade-Relacionamento\"\n    - \"## 2. Tabelas\"\n    - \"## 3. Decisão de armazenamento\"\n  severity: error\n```\n\nCada check pode ter severity `error` (bloqueante) ou `warning` (não bloqueante).\n\n#### 2e. Coletar resultado\n\nPara cada check: PASS, FAIL (error), WARN (warning), ou SKIPPED.\n\n### Passo 3 — Gerar relatório\n\nEscreva `evals\u002Freports\u002FEVAL_REPORT_\u003Cskill>_\u003Cts>.md`:\n\n```markdown\n# EVAL REPORT — \u003Cskill>\n\n> **Data:** DD\u002FMM\u002FAAAA HH:MM\n> **Modo:** \u003Call | skill | fixture>\n> **Resultado geral:** ✅ PASS | ⚠️ WARNINGS | ❌ FAILURES\n\n## Resultados por skill\n\n### \u003Cskill> (\u003CN> fixtures)\n\n#### fixture-001: \u003Cnome>\n\n| # | Check | Tipo | Resultado | Severidade |\n|---|-------|------|-----------|------------|\n| 1 | file_exists: specs\u002FDATA_MODEL.md | file_exists | ✅ PASS | error |\n| 2 | contains: RN-001 | contains | ✅ PASS | error |\n| 3 | contains: RN-002 | contains | ❌ FAIL | error |\n\n**Detalhes do FAIL #3:**\nPattern `RN-002` não encontrado em `specs\u002FDATA_MODEL.md`\n\n---\n\n#### fixture-002: \u003Cnome>\n...\n```\n\n### Passo 4 — Atualizar trends.json\n\nAppend em `evals\u002Ftrends\u002Ftrends.json` (nunca reescrever entradas antigas):\n\n```json\n{\n  \"\u003CISO-8601-timestamp>\": {\n    \"trigger\": \"manual | workflow-improver | workflow-builder | pre-publish\",\n    \"mode\": \"all | skill | fixture | changed\",\n    \"skills\": {\n      \"\u003Cskill>\": { \"score\": 0.92, \"passed\": 11, \"failed\": 1, \"skipped\": 0 }\n    }\n  }\n}\n```\n\n`score = passed \u002F (passed + failed)` — checks SKIPPED não entram no cálculo.\n\n### Passo 5 — Exibir resumo\n\nExiba no formato compacto:\n\n```\n══════ rdd-skill-eval — relatório ══════\n\nrdd-data-model: 2 fixtures, 8\u002F8 PASS ✅\nrdd-task-spec: 1 fixture, 6\u002F6 PASS ✅\nrdd-gh-issue-creator: 1 fixture, 3\u002F5 PASS, 2 SKIPPED ⚠️\n\nGeral: 4 fixtures, 17\u002F19 PASS, 2 SKIPPED\n```\n\nSe houver FAILs com severity `error`, sugira reverter a mudança na skill\nou corrigir o prompt. FAILs com severity `warning` são informativos.\n\n## Casos de Borda\n\n- **Skill sem fixtures:** avise que não há cobertura de eval para a skill\n- **Fixture sem criteria.yaml:** SKIP com warning\n- **Input faltando:** SKIP com warning (específico qual input)\n- **Múltiplas skills no mesmo eval:** processe em sequência, uma por vez\n- **Skill que não pode ser executada** (dependência externa sem auth, ex: gh CLI):\n  registre `execution: SKIPPED (dry-run)` no relatório e avalie apenas os\n  checks estruturais do input — nunca invoque sistemas externos reais\n- **Skill recusa execução em sandbox** (ex: exige CONSTITUTION.md da raiz):\n  copie arquivos de suporte mínimos para o sandbox; se ainda assim falhar,\n  registre `execution: FAILED (sandbox-unsupported)` — não contorna rodando\n  fora do sandbox\n- **--changed sem git diff disponível:** fallback para `--all` com aviso\n- **Sandbox anterior órfão:** a criação do sandbox sempre começa removendo\n  o diretório anterior — execução é sempre idempotente\n- **Encoding:** ler TODOS os arquivos .md como UTF-8 explícito (PowerShell 5.1\n  sem flag decodifica como ANSI e corrompe \"ã\u002Fç\u002Fé\", quebrando checks de\n  seção e reference_match falsamente)\n- **Regex em array literal PowerShell:** `\"a\",\"b\",\"c\" + [char] + \"d\"` dentro\n  de `@()` produz elementos separados (vírgula precede `+`) — construir\n  strings compostas em variável antes do array\n- **Variáveis PowerShell são case-insensitive:** `$R` (resultados) e `$r`\n  (conteúdo de arquivo) são A MESMA variável — um `Get-Content` sobrescreve\n  o array de checks e `String += PSObject` falha com `op_Addition`. Usar\n  nomes distintos (ex: `$CKS` para checks, `$doc` para conteúdo)\n- **NUNCA nomear funções com nomes de alias nativos** (`rd`, `ri`, `gc`,\n  `gi`, `sc`, `gw`, `sal`, `saps`...): **aliases vencem funções** no\n  PowerShell — `function Rd {...}` é IGNORADA e `Rd arquivo` executa\n  `Remove-Item arquivo`, DELETANDO o arquivo (incidente real: 1 fixture de\n  input deletada; recuperada via git checkout). Nomes seguros: `ReadDoc`,\n  `AddCheck`, `GetIdList`. Após qualquer comportamento \"impossível\" de\n  script, suspeite de colisão de alias ANTES de culpar o ambiente\n- **Sandbox em %TEMP% pode ser instável** (sync\u002FAV podem reverter arquivos\n  entre invocações, identidade-específico). Base de sandbox padrão:\n  `~\u002F.local\u002Fstate\u002Fopencode-eval\u002Fsandboxes\u002F` (fora de %TEMP%). Workaround\n  para arquivo teimoso: gravar com nome `.staging` e `Rename-Item`\n- **Fallback documental:** se o sandbox estiver indisponível, os checks\n  podem rodar contra `output-expected\u002F` como module root (mesmo conteúdo\n  congelado) — registrar `execution: baseline-mode` no relatório\n\n## Formato de commit\n\n```\ntest(eval): add skill eval report for \u003Cskill>\n```","# rdd-skill-eval — Testes de Regressão para Skills RDD\n\nExecuta evals (testes de regressão) em skills RDD. Cada skill tem\nfixtures em `evals\u002F\u003Cskill>\u002Ffixture-N\u002F` com:\n- `input\u002F` — arquivos de exemplo que a skill lê (REQUIREMENTS.md, etc.)\n- `criteria.yaml` — checagens que o output gerado deve atender\n\n## Runner determinístico\n\nA verificação de checks NÃO precisa de agente: os scripts `evals\u002Frun-evals.ps1`\n(Windows) e `evals\u002Frun-evals.sh` (Linux\u002FGit-Bash) leem os criteria.yaml e\nexecutam todos os tipos de check diretamente, com relatório e trends.\nPrefira-os para rodar evals (`--all`, `--skill X`, `--changed`, `--golden`); a execução\nda SKILL alvo dentro do sandbox continua sendo fluxo de agente.\n\nO modo `--registry` (IMP-027) valida a consistência do `registry.yaml`\ncontra o disco: ids de primary_agents\u002Fsubagents\u002Fskills vs arquivos em\n`agents\u002F` e `skills\u002F`, referências resolvidas (`delegates`, `invokes`,\n`available_to`, `owner`, `registered_by`, `orchestrator`; `null` é legítimo)\n— 5 checks de config, independente de fixtures. Roda no CI junto com `--all`.\n\n## Lê (upstream)\n\n- `evals\u002F\u003Cskill>\u002Ffixture-N\u002Finput\u002F*.md` — inputs de exemplo para a skill\n- `evals\u002F\u003Cskill>\u002Ffixture-N\u002Fcriteria.yaml` — critérios de avaliação\n- A skill alvo (ex: `skills\u002Frdd-data-model\u002FSKILL.md`) — para entender o workflow\n- (Opcional) `evals\u002F\u003Cskill>\u002Ffixture-N\u002Foutput-expected\u002F` — outputs de referência\n\n## Gera (downstream)\n\n- `\u003Cconfig-root>\u002Fevals\u002Freports\u002FEVAL_REPORT_\u003Cskill>_\u003Ctimestamp>.md`\n- `\u003Cconfig-root>\u002Fevals\u002Ftrends\u002Ftrends.json` (append-only, histórico de scores)\n- Sandbox temporário em `%TEMP%\u002Fopencode-eval\u002F\u003Cskill>\u002F\u003Cfixture>\u002F` (destruído após o eval)\n\n## Nunca edita\n\n- Skills ou agents (read-only)\n- Fixtures (são versionados, nunca alterados pelo eval)\n- Artefatos de módulo RDD\n- registry.yaml\n- **`evals\u002Fgolden-human\u002F` (IMP-100) é intocado por agents** - golden set humano: leitura ok; escrita SOMENTE pelo operador humano; exceção única (seed inicial) já consumida. Fixtures de agents vivem em `evals\u002F\u003Cskill>\u002Ffixture-N\u002F`.\n\n## Tools\n\n- `read` (ler fixtures, criteria.yaml, skills alvo)\n- `glob` (listar fixtures por skill)\n- `grep` (verificar presença\u002Fausência de padrões no output)\n- `question` (confirmar modo dry-run ou execução)\n- `write` (escrever relatório de eval)\n- `skill` (opcional — invocar a skill alvo com os inputs da fixture)\n\n## Modo de erro\n\n`interativo` — se uma fixture não tiver criteria.yaml ou inputs, pula com\nwarning. Se a skill alvo não existir, erro. Se o gh CLI falhar (para\nrdd-gh-* skills), orienta mas não bloqueia.\n\n## Modos de execução\n\n| Modo | Flag | Comportamento |\n|------|------|---------------|\n| Todas as skills | `--all` | Roda fixtures de todas as skills com evals |\n| Skill específica | `--skill rdd-data-model` | Roda só fixtures da skill |\n| Fixture específica | `--fixture rdd-data-model\u002Ffixture-002` | Roda fixture exata |\n| Apenas alteradas | `--changed` | Detecta skills modificadas (git diff) e roda só elas |\n| Golden set humano | `--golden` | Roda só `evals\u002Fgolden-human\u002Fcase-*` (IMP-100); `--all` o inclui, junto do selftest do runner (`evals\u002Frunner-selftest\u002F` — critérios com `expect: fail`: o check DEVE falhar; PASS = runner não discriminou = FAIL do eval) |\n\n## Workflow\n\n### Passo 1 — Determinar alvo\n\nUse `glob` para listar `evals\u002F\u003Cskill>\u002Ffixture-*\u002Fcriteria.yaml`.\nFiltre conforme o modo (`--skill`, `--fixture`, `--changed`).\n\n### Passo 2 — Para cada fixture, executar:\n\n#### 2a. Ler criteria.yaml\n\nLeia o arquivo de critérios. Identifique:\n- `inputs_required`: arquivos que devem existir em `input\u002F`\n- `checks`: lista de verificações\n\n#### 2b. Ler inputs\n\nConfirme que todos os `inputs_required` existem em `input\u002F`.\nSe faltar algum, a fixture é SKIPPED (não aborta o eval inteiro).\n\n#### 2c. Executar a skill alvo em sandbox (OBRIGATÓRIO)\n\nToda fixture executável roda em **sandbox isolado**. NUNCA invocar a skill\napontando para artefatos reais de módulos. Para skills com dependência\nexterna inacessível (gh CLI sem auth, etc.), use dry-run declarado no relatório.\n\n**Algoritmo de sandbox:**\n\n1. **Criar sandbox:** `SANDBOX = %TEMP%\u002Fopencode-eval\u002F\u003Cskill>\u002F\u003Cfixture>\u002Fmodule`\n   - Remover o diretório se existir (run anterior)\n   - Copiar TODO o conteúdo de `input\u002F` para dentro de `SANDBOX`\n     preservando a estrutura (REQUIREMENTS.md fica na raiz do módulo sandbox)\n2. **Invocar a skill:** carregue a skill alvo via `skill` tool e instrua:\n   - Module root = `SANDBOX` (workdir absoluto)\n   - Ler inputs de `SANDBOX`\u002F`\u003Carquivo>`\n   - Escrever outputs relativos ao module root (ex: `SANDBOX\u002Fspecs\u002FDATA_MODEL.md`)\n   - Modo não-interativo: NÃO usar `question`; em ambiguidade, gerar PEND-XXX\n     no output como a skill faria em produção\n3. **Coletar outputs:** tudo que existe em `SANDBOX` e não existia em `input\u002F`\n4. **Verificar checks:** resolver os paths de `criteria.yaml` contra `SANDBOX`\n5. **Preservar em caso de FAIL:** se houver check `error` quebrado, mova o\n   sandbox para `evals\u002Freports\u002Fsandbox-\u003Cskill>-\u003Cfixture>-\u003Cts>\u002F` para\n   depuração; caso contrário, destrua o sandbox\n\n**Paths dos checks são sempre relativos ao module root** (`specs\u002FDATA_MODEL.md`\nsignifica `SANDBOX\u002Fspecs\u002FDATA_MODEL.md`).\n\n#### 2d. Verificar checks\n\nPara cada check em `criteria.yaml`, avalie:\n\n| Tipo | Método de verificação |\n|------|----------------------|\n| `file_exists` | O arquivo de output foi gerado no caminho especificado |\n| `section_exists` | O output contém a seção markdown exata |\n| `contains` | O output contém o texto\u002Fpattern (grep) |\n| `not_contains` | O output NÃO contém o texto\u002Fpattern (grep) |\n| `table_has_columns` | A tabela markdown tem as colunas listadas |\n| `no_todos` | Output não contém nenhum dos patterns (TODO, FIXME, etc.) |\n| `frontmatter_valid` | Output começa com `---\\n` e termina com `\\n---` |\n| `reference_match` | Output difere do baseline em `output-expected\u002F` além de tolerâncias |\n| `id_sequence` | IDs (RN-XXX etc.) aparecem em ordem crescente de primeira aparição |\n| `cross_ref` | Todo ID citado no output existe nos arquivos de origem |\n| `mermaid_valid` | Blocos mermaid têm tipo declarado, cercas fechadas e chaves balanceadas |\n| `line_count_range` | Output tem entre min e max linhas (pega truncamento e alucinação) |\n| `section_order` | Seções obrigatórias existem E aparecem na ordem especificada |\n| `dir_has_files` | O diretório contém pelo menos 1 arquivo (para outputs com data no nome, ex: meetings\u002FYYYY-MM-DD-NN.md) |\n| `not_file_exists` | O arquivo NÃO foi gerado (contrato de abort\u002Fnão-invenção: skill deve recusar criar artefato) |\n\n**Regras do `reference_match`:** comparação linha a linha após normalização —\nremover timestamps e datas em qualquer formato comum (`\\d{4}-\\d{2}-\\d{2}`,\n`\\d{2}\u002F\\d{2}\u002F\\d{4}`, `\\d{2}:\\d{2}`), espaços à direita, múltiplos blank lines\nconsecutivos (colapsar em 1) e ordem de chaves em YAML front matter.\nDiferenças além disso = FAIL. Se não houver baseline (`output-expected\u002F`\nausente), o check é SKIPPED com warning.\n\n**Parâmetros dos checks semânticos (camada 2):**\n\n```yaml\n# Ordem crescente de primeira aparição dos IDs no output.\n# Uso: documentos onde as RNs são documentadas em sequência (DATA_MODEL,\n# ACCEPTANCE_CRITERIA). NÃO aplicar em docs ordenados por dependência\n# (TASKS) — lá a ordem das tasks não é a ordem das RNs.\n- type: id_sequence\n  path: \"specs\u002FDATA_MODEL.md\"\n  pattern: \"RN-(\\\\d+)\"        # regex com capture group do número\n  allow_gaps: true            # false = não pode pular números entre aparições\n  severity: error\n\n# Todo ID citado no output deve existir em pelo menos um arquivo de origem.\n# Pega RN alucinada (ex: RN-999 que não existe no REQUIREMENTS).\n- type: cross_ref\n  path: \"specs\u002FDATA_MODEL.md\"\n  pattern: \"RN-(\\\\d+)\"\n  sources: [\"REQUIREMENTS.md\"]   # paths relativos ao module root do sandbox\n  severity: error\n\n# Blocos ```mermaid no output: tipo declarado na 1ª linha do bloco\n# (erDiagram, flowchart, sequenceDiagram, etc.), cercas fechadas,\n# chaves\u002Fcolchetes balanceados. Não é parser completo — pega quebras óbvias.\n# IMPORTANTE: linhas de relacionamento mermaid (contêm `--`, ex:\n# `A }o--|| B : label`) usam `}` na sintaxe — EXCLUIR da contagem de chaves.\n- type: mermaid_valid\n  path: \"specs\u002FDATA_MODEL.md\"\n  severity: error\n\n# Quantidade de linhas do output dentro da faixa. Pega truncamento\n# (abaixo do min) e inflação\u002Falucinação de conteúdo (acima do max).\n# Definir faixa com folga a partir do baseline.\n- type: line_count_range\n  path: \"specs\u002FDATA_MODEL.md\"\n  min: 100\n  max: 400\n  severity: warning\n\n# Seções obrigatórias existem E na ordem especificada (primeira aparição\n# de cada seção deve ser crescente). Subconjunto de section_exists + ordem.\n- type: section_order\n  path: \"specs\u002FDATA_MODEL.md\"\n  sections:\n    - \"## 1. Diagrama Entidade-Relacionamento\"\n    - \"## 2. Tabelas\"\n    - \"## 3. Decisão de armazenamento\"\n  severity: error\n```\n\nCada check pode ter severity `error` (bloqueante) ou `warning` (não bloqueante).\n\n#### 2e. Coletar resultado\n\nPara cada check: PASS, FAIL (error), WARN (warning), ou SKIPPED.\n\n### Passo 3 — Gerar relatório\n\nEscreva `evals\u002Freports\u002FEVAL_REPORT_\u003Cskill>_\u003Cts>.md`:\n\n```markdown\n# EVAL REPORT — \u003Cskill>\n\n> **Data:** DD\u002FMM\u002FAAAA HH:MM\n> **Modo:** \u003Call | skill | fixture>\n> **Resultado geral:** ✅ PASS | ⚠️ WARNINGS | ❌ FAILURES\n\n## Resultados por skill\n\n### \u003Cskill> (\u003CN> fixtures)\n\n#### fixture-001: \u003Cnome>\n\n| # | Check | Tipo | Resultado | Severidade |\n|---|-------|------|-----------|------------|\n| 1 | file_exists: specs\u002FDATA_MODEL.md | file_exists | ✅ PASS | error |\n| 2 | contains: RN-001 | contains | ✅ PASS | error |\n| 3 | contains: RN-002 | contains | ❌ FAIL | error |\n\n**Detalhes do FAIL #3:**\nPattern `RN-002` não encontrado em `specs\u002FDATA_MODEL.md`\n\n---\n\n#### fixture-002: \u003Cnome>\n...\n```\n\n### Passo 4 — Atualizar trends.json\n\nAppend em `evals\u002Ftrends\u002Ftrends.json` (nunca reescrever entradas antigas):\n\n```json\n{\n  \"\u003CISO-8601-timestamp>\": {\n    \"trigger\": \"manual | workflow-improver | workflow-builder | pre-publish\",\n    \"mode\": \"all | skill | fixture | changed\",\n    \"skills\": {\n      \"\u003Cskill>\": { \"score\": 0.92, \"passed\": 11, \"failed\": 1, \"skipped\": 0 }\n    }\n  }\n}\n```\n\n`score = passed \u002F (passed + failed)` — checks SKIPPED não entram no cálculo.\n\n### Passo 5 — Exibir resumo\n\nExiba no formato compacto:\n\n```\n══════ rdd-skill-eval — relatório ══════\n\nrdd-data-model: 2 fixtures, 8\u002F8 PASS ✅\nrdd-task-spec: 1 fixture, 6\u002F6 PASS ✅\nrdd-gh-issue-creator: 1 fixture, 3\u002F5 PASS, 2 SKIPPED ⚠️\n\nGeral: 4 fixtures, 17\u002F19 PASS, 2 SKIPPED\n```\n\nSe houver FAILs com severity `error`, sugira reverter a mudança na skill\nou corrigir o prompt. FAILs com severity `warning` são informativos.\n\n## Casos de Borda\n\n- **Skill sem fixtures:** avise que não há cobertura de eval para a skill\n- **Fixture sem criteria.yaml:** SKIP com warning\n- **Input faltando:** SKIP com warning (específico qual input)\n- **Múltiplas skills no mesmo eval:** processe em sequência, uma por vez\n- **Skill que não pode ser executada** (dependência externa sem auth, ex: gh CLI):\n  registre `execution: SKIPPED (dry-run)` no relatório e avalie apenas os\n  checks estruturais do input — nunca invoque sistemas externos reais\n- **Skill recusa execução em sandbox** (ex: exige CONSTITUTION.md da raiz):\n  copie arquivos de suporte mínimos para o sandbox; se ainda assim falhar,\n  registre `execution: FAILED (sandbox-unsupported)` — não contorna rodando\n  fora do sandbox\n- **--changed sem git diff disponível:** fallback para `--all` com aviso\n- **Sandbox anterior órfão:** a criação do sandbox sempre começa removendo\n  o diretório anterior — execução é sempre idempotente\n- **Encoding:** ler TODOS os arquivos .md como UTF-8 explícito (PowerShell 5.1\n  sem flag decodifica como ANSI e corrompe \"ã\u002Fç\u002Fé\", quebrando checks de\n  seção e reference_match falsamente)\n- **Regex em array literal PowerShell:** `\"a\",\"b\",\"c\" + [char] + \"d\"` dentro\n  de `@()` produz elementos separados (vírgula precede `+`) — construir\n  strings compostas em variável antes do array\n- **Variáveis PowerShell são case-insensitive:** `$R` (resultados) e `$r`\n  (conteúdo de arquivo) são A MESMA variável — um `Get-Content` sobrescreve\n  o array de checks e `String += PSObject` falha com `op_Addition`. Usar\n  nomes distintos (ex: `$CKS` para checks, `$doc` para conteúdo)\n- **NUNCA nomear funções com nomes de alias nativos** (`rd`, `ri`, `gc`,\n  `gi`, `sc`, `gw`, `sal`, `saps`...): **aliases vencem funções** no\n  PowerShell — `function Rd {...}` é IGNORADA e `Rd arquivo` executa\n  `Remove-Item arquivo`, DELETANDO o arquivo (incidente real: 1 fixture de\n  input deletada; recuperada via git checkout). Nomes seguros: `ReadDoc`,\n  `AddCheck`, `GetIdList`. Após qualquer comportamento \"impossível\" de\n  script, suspeite de colisão de alias ANTES de culpar o ambiente\n- **Sandbox em %TEMP% pode ser instável** (sync\u002FAV podem reverter arquivos\n  entre invocações, identidade-específico). Base de sandbox padrão:\n  `~\u002F.local\u002Fstate\u002Fopencode-eval\u002Fsandboxes\u002F` (fora de %TEMP%). Workaround\n  para arquivo teimoso: gravar com nome `.staging` e `Rename-Item`\n- **Fallback documental:** se o sandbox estiver indisponível, os checks\n  podem rodar contra `output-expected\u002F` como module root (mesmo conteúdo\n  congelado) — registrar `execution: baseline-mode` no relatório\n\n## Formato de commit\n\n```\ntest(eval): add skill eval report for \u003Cskill>\n```",{"name":5,"description":7},"main","05e20b6d9814f32d3ca57765f48899bcfda65e8d","skills\u002Frdd-skill-eval",1,"https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev","2026-11-04 03:31:33",{"source":8,"skillName":5,"commands":32,"prompt":42,"zipAvailable":43},[33,36,39],{"tool":34,"command":35},"npx","npx skills add victor-souza-dev\u002FRDD-CORE --skill rdd-skill-eval",{"tool":37,"command":38},"bunx","bunx skills add victor-souza-dev\u002FRDD-CORE --skill rdd-skill-eval",{"tool":40,"command":41},"pnpm","pnpm dlx skills add victor-souza-dev\u002FRDD-CORE --skill rdd-skill-eval","安装技能，技能地址：https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-skill-eval\u002FSKILL.md",true,[],[46,53,60,67,74,81],{"skillNo":47,"name":48,"nameZh":6,"description":49,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":50,"categories":51,"keywords":52,"publishedAt":19},"01M7F86EZ2VGP7RMRSVPRPFX3F","rdd-wiki-lint","Audita integridade dos artefatos RDD: contradições entre seções, artefatos órfãos, referências cruzadas quebradas, links internos inválidos e drift de estrutura. Complementa rdd-validate (que valida a DAG de RNs → downstreams) e rdd-decision-audit (que valida DECISIONS.md) com foco em integridade documental dos artefatos individualmente. Use quando o usuário pedir \"lint dos documentos\", \"verificar integridade dos artefatos\", \"wiki lint\", \"contradições nos docs\" ou \"validar estrutura\".","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-wiki-lint\u002FSKILL.md",[],[],{"skillNo":54,"name":55,"nameZh":6,"description":56,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":57,"categories":58,"keywords":59,"publishedAt":19},"01M7F864WAQJN8VYCBJGSC2V0R","rdd-vps-troubleshoot","Diagnóstico guiado por sintoma para VPS da organização já configurada — container unhealthy \u002F healthcheck expirando, GHCR denied\u002Funauthorized no pull, git \"could not read Username for 'https:\u002F\u002Fgithub.com'\", GitHub Actions (appleboy\u002Fssh-action) falhando SSH (handshake failed, ParsePrivateKey), services systemd duplicados do cloudflared em activating (auto-restart), requisições caindo no servidor errado (tunnel compartilhado), porta ocupada, logs (journalctl \u002F docker logs), conectividade (curl local vs público, ss, nc) e banco vazio \u002F migrations não aplicadas. Base de conhecimento: runbook.md nesta pasta (sintomas genéricos de deploy em VPS; lições de produção da organização no pack `rules\u002F\u003Cpack-da-organizacao>.md` — IMP-105). Modo guiado — sugere comandos com explicação; o operador executa na VPS. Use quando o usuário reportar \"container unhealthy\", \"deploy falhou\", \"ssh action erro\", \"ghcr denied\", \"tunnel não responde\", \"banco vazio\", \"sem tabelas\", \"service duplicado\", \"vps com problema\" ou pedir troubleshooting de deploy.","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-vps-troubleshoot\u002FSKILL.md",[],[],{"skillNo":61,"name":62,"nameZh":6,"description":63,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":64,"categories":65,"keywords":66,"publishedAt":19},"01M7F85QDCCQ3T6QK172FJGR96","rdd-vps-setup","Wizard guiado de setup de VPS nova (OS do perfil — ex.: Amazon Linux) para hospedar uma API — atualização do sistema, Docker + Compose + buildx, permissões de arquivos, autenticação no registry do perfil (ex.: ghcr.io), git via SSH (deploy keys), chave SSH dedicada do GitHub Actions (appleboy\u002Fssh-action), tunnel Cloudflare EXCLUSIVO por servidor + route DNS (domínio do perfil), tunnels como serviço systemd (autostart), logging do cloudflared com rotação, pipeline completo de deploy (push main → build → registry → ssh-action → deploy.sh) e backup automatizado (RClone + cronie + canal de alerta do perfil). Base de conhecimento validada: pack da organização em `rules\u002F\u003Cpack-da-organizacao>.md` §infra-vps-setup (IMP-105). Modo guiado — sugere comandos com explicação; o operador executa na VPS. Use quando o usuário pedir \"setup de VPS\", \"configurar VPS nova\", \"preparar servidor para deploy\", \"tunnel cloudflare\", \"ghcr\", \"deploy key\", \"backup rclone\", \"docker compose na vps\" ou \"pipeline de deploy na VPS\".","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-vps-setup\u002FSKILL.md",[],[],{"skillNo":68,"name":69,"nameZh":6,"description":70,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":71,"categories":72,"keywords":73,"publishedAt":19},"01M7F85EPCKVPGR9EJPFH2W86D","rdd-validate","Percorre o grafo de documentos do projeto e valida integridade: RN sem downstream esperado, ID quebrado, CR aprovado sem reflexo. Gera relatório VALIDATION_REPORT.md. Suporta flag --fix para auto-correção. Use quando o usuário pedir \"validar integridade\", \"checar a DAG\", \"validar referências cruzadas\" ou \"validação do módulo\".","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-validate\u002FSKILL.md",[],[],{"skillNo":75,"name":76,"nameZh":6,"description":77,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":78,"categories":79,"keywords":80,"publishedAt":19},"01M7F856HRDC0DDMN4H92FVM63","rdd-ui-spec","Gera UI_SPEC.md a partir das RNs em REQUIREMENTS.md. Descreve telas, componentes, fluxos de navegação, validações de frontend e regras de exibição condicional. Use quando o usuário pedir \"especificação de UI\", \"spec de telas\", \"layout de formulários\" ou \"fluxo de navegação\".","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-ui-spec\u002FSKILL.md",[],[],{"skillNo":82,"name":83,"nameZh":6,"description":84,"descriptionZh":6,"repositoryFullName":8,"ownerLogin":9,"ownerAvatarUrl":10,"ownerAccountNo":11,"ownerDisplayName":12,"repositoryNo":13,"starsCount":14,"licenseSpdxId":15,"licenseFileUrl":6,"sourceHtmlUrl":85,"categories":86,"keywords":87,"publishedAt":19},"01M7F850DAQH17TJB0QR69W66F","rdd-ui-capture","Captura evidência visual em runtime do sistema legado para migração (golden master de UI) via MCP Playwright — screenshots por rota\u002Festado, requisições de rede observadas e erros de console, gravados em reverse\u002Fui\u002F com manifesto reverse\u002FUI_CAPTURE.md e candidatas visuais na fila reverse\u002FCANDIDATES.md. Complemento runtime da engenharia reversa estática (IMP-144). Use quando o usuário pedir \"captura visual\", \"golden master de UI\", \"screenshots do legado\", \"captura de UI\" ou \"ui capture\".","https:\u002F\u002Fgithub.com\u002Fvictor-souza-dev\u002FRDD-CORE\u002Fblob\u002Fmain\u002Fskills\u002Frdd-ui-capture\u002FSKILL.md",[],[]]