AGENT SKILL

criterion-self-evidence-check

判据自证性检查卡:凡形如「当 X 满足条件 C,就判定 X 属于类别 Y」的规则,若 C 的证据集里装着 X 自己(或装着判据作者自己写死的硬编码串),这条判据就永远成立、永远不可证伪——它测的是同义反复,不是事实。给出两条可复用探针(挖除探针 / 跨样本重复度探针)与三类修法。实测三个真案例:押韵判据把目标字写进韵表、模板检测器被生成器改一个字绕过、同义反复测试的断言抄了设计者的决定。触发词:判据、分类器、启发式、规则命中、白名单、证据集、自证、循环论证、同义反复、模板检测、通配误判、规则永远成立、误伤率降了但还有漏网、跨篇重复、阴性对照。不适用:纯格式校验(长度/字符集/必填)没有"证据集"概念;业务上本就该自指的规则(如 id 唯一性是定义不是循环)。

License 许可
MIT
最近更新
2026-11-02
Stars
★ 1
Forks
0

01 前言 Front Matter

name
criterion-self-evidence-check
license
MIT
metadata
{ "created": "2026-10-02", "version": "1.0.0" }
description
判据自证性检查卡:凡形如「当 X 满足条件 C,就判定 X 属于类别 Y」的规则,若 C 的证据集里装着 X 自己(或装着判据作者自己写死的硬编码串),这条判据就永远成立、永远不可证伪——它测的是同义反复,不是事实。给出两条可复用探针(挖除探针 / 跨样本重复度探针)与三类修法。实测三个真案例:押韵判据把目标字写进韵表、模板检测器被生成器改一个字绕过、同义反复测试的断言抄了设计者的决定。触发词:判据、分类器、启发式、规则命中、白名单、证据集、自证、循环论证、同义反复、模板检测、通配误判、规则永远成立、误伤率降了但还有漏网、跨篇重复、阴性对照。不适用:纯格式校验(长度/字符集/必填)没有"证据集"概念;业务上本就该自指的规则(如 id 唯一性是定义不是循环)。
agent_created
true

03 SKILL.md 正文

判据自证性检查卡

沉淀自三次真实翻车:三次都是判据自己证明自己成立,三次都跑出了漂亮的"通过率", 三次都是靠"把目标从证据集里挖掉再算一遍"才暴露。

0. 一句话命题

当 X 满足条件 C 时,判定 X 属于类别 Y。 先问:C 用到的证据,会不会包含 X 自己? 若包含,X 既是"待判的东西"又是"判定它成立的证据" —— 判据自我满足, 永远成立、永远不可证伪。你测到的是同义反复,不是事实。

同一个坑还有第二个入口:C 的证据不是 X 自己,而是判据作者自己写死的硬编码串 (如"命中『每天慢读三遍』说明这是模板")。这也算自证 —— 它证明的是 "生成器今天用了这个词",不是"这不是模板"。

1. 三个真案例(三种形态,对号入座)

形态 A:证据集里装着目标本身

某中文诗词 TTS 项目(案例一):把「斜」的叶韵判据改成「斜处于分句末 ∧ 本诗押麻韵」, 其中"本诗押麻韵"由 poemRhymesMa() 扫描全诗末字实现,而它的证据串是

MA_RHYME = "家花纱华沙茶麻瓜娃芽鸦葩笳奢衙槎夸斜"   // ← 末尾就写着「斜」

于是只要某句末是"斜","本诗押麻韵"就被"斜"自己证实了。 结果:蓦山溪(全篇仄韵,根本不押麻韵)、新水令(车遮韵 -ie)被误判为麻韵,斜被读错。

形态 B:判据写死了自己造的字符串(和生成器赛跑,且你已经输了)

案例二:代码里

const memTpl = expand && (!mem.length || mem.some(m => /它是全篇的眼|每天慢读三遍/.test(m.d||"")));

按句式做跨篇统计后,发现存在两个只差一个字的变体:

层级 篇数 记忆卡末句 是否被检出 用户看到
拓展 710 每天慢读三遍 ✅ 命中 诚实显示「记忆要点待补」
精读 40 每天读三遍(少一个"慢"字) ❌ 逃逸 量产模板被当成真内容展示

生成器改一个字,检测器就瞎了。更糟的是这 40 首以"精读"身份绕过了 expand && 限制, 于是出现了最坏组合:710 首诚实标注"待补",40 首反而伪装成完整。

形态 C:断言抄了设计者的决定(同义反复测试)

形如「当设计者决定 X 时,expect(X)」——测试必然通过,但只证明了"代码遵循了作者意图", 没证明"这个意图是对的"。复跑别人的测试"全过"了,也要先看断言里写死了什么。

2. 两条探针(都可复用)

探针 1:挖除探针 —— 把目标从证据集里挖掉再算一遍

// 例:反循环探针——排除目标字后,判据是否仍成立?
function maEvidenceExceptXie(lines){
  return lines.some(l => String(l).split(SPLIT).some(t => {
    const last = t.trim().slice(-1);
    return last && last !== '斜' && MA_RHYME.includes(last);  // ← 排除「斜」自己
  }));
}
// 命中项中 maEvidenceExceptXie === false 的,就是"唯一证据 = 目标本身"的循环项

本次跑出 12 处命中里恰好 2 处循环,与人工核对韵脚(蓦山溪 / 新水令)完全吻合 —— 探针误报率 0,且直接给出修法(把"斜"移出 MA_RHYME):保留 10 处正确、消除 2 处误伤。

判据:结论翻转 = 循环。

探针 2:跨样本重复度探针 —— 不依赖任何具体措辞

适用于「这是不是模板 / 量产 / 特例」这类判定。把专有名词抹平后统计跨样本出现次数:

const norm = s => String(s||'')
  .replace(/《[^》]+》/g, '《X》')   // 抹掉篇名(填空模板的填空位)
  .replace(/「[^」]+」/g, '「Y」')   // 抹掉引文
  .replace(/\d+/g, '#');            // 抹掉数字
const tpl = {};
for (const p of batch)
  for (const seg of String(p.d).split(/[。;;]/)) {
    const t = norm(seg).trim();
    if (t.length < 8) continue;                     // 太短不具判别力
    (tpl[t] = tpl[t] || { n: 0, ids: [] }).n++, tpl[t].ids.push(p.id);
  }
const repeated = Object.entries(tpl).filter(([, v]) => v.n >= 2);  // ≥2 个样本复用即判模板

两个使用要点(缺一不可):

  1. 必须同时准备阴性对照。 拿它跑 batch-03(90 条记忆卡)得 0 种重复 → 真逐篇写的; 跑那 40 首得 40 篇同一句式。判据若不能把这两组分开,说明阈值/归约还没调对。
  2. 别把检测限定在某个层级或开关里(原代码的 expand &&)——模板与层级无关,限定就给逃逸留了门。

3. 四步检查流程

  1. 找出 C 的全部证据来源 —— 别只看主逻辑,要看它调用的常量、白名单、辅助函数 (形态 A 的根因藏在 MA_RHYME 这个常量里,主逻辑看着完全无辜)。
  2. 两问:证据集里有没有 X 自己?有没有我自己写死的串?
  3. 跑探针:形态 A → 挖除探针;形态 B → 跨样本重复度探针;形态 C → 看断言是不是抄了决定。
  4. 给阴性对照,确证判据能把"真阳性"和"自证阳性"分开。

4. 三类修法

修法 适用 例
把目标移出证据集 形态 A 把「斜」移出 MA_RHYME
要求 ≥1 个非目标的独立证据 形态 A "本诗押麻韵"须有 ≥1 个非"斜"的麻韵字
换成不依赖措辞的统计量 形态 B 跨样本重复度替代固定字符串匹配

5. 失败模式(都是踩过的)

  • 只看"误伤降了没有"就判修复成功。 循环误伤往往恰好落在"看起来最像正例"的那几条上 (句末、形态完美、长度达标),人眼最难发现。修完必须专门跑一遍反循环探针。
  • 用硬编码串做检测 = 和生成器赛跑。 生成器改一个字就失效,而且不会报错 —— 你只会看到"命中数变少了", 误以为是内容变好了。
  • 把检测限定在某个层级/开关里(expand &&),给逃逸留门。
  • "零命中"不等于"判据对了"。 可能是探针本身没跑到(如驱动用错入口函数,测的是未渲染骨架)。 零命中先怀疑工具,再怀疑对象。

6. 与相邻主题的分工(避免重复承担)

相邻主题 讲什么 与本颗的界线
写作证据纪律 写作领域:抽象判断要退回可观察证据("这段有点空/像AI写的") 面向文案可信度;本颗面向技术判据/分类器的逻辑结构。触发词不重合
存储落盘取证 数据写入后的落盘取证(校验和是否真写进字段) "写完怎么自证真的落盘";本颗是"判据本身是否自证"
本地 HTML 复核 本地 HTML 应用的独立复核 场景限定在 HTML 验证;本颗是通用的判据结构检查,任何规则/分类器评审都适用
替换计数自证 替换操作的计数自证(MISS/DUP 闸) "操作有没有生效"的自证;本颗是"判定逻辑有没有自我满足"

若你是在验证一个 HTML 应用时撞到判据问题:判据核对与渲染取证两层都可能用到 —— 先看判据结构对不对, 再看该应用的渲染取证手段(怎么在真渲染里取证)。

7. 出处

三个案例均出自一个中文诗词 TTS 项目, 判据与探针代码均经真实数据复跑,读数见各案例。

04 同仓库更多 Skills

kumu314
kumu314/Agent-Evals

text-encoding-forensics

两个系统对"看起来一模一样"的文件算出不同的哈希/校验值,或脚本读出来是乱码、首行多个看不见字符。讲清肉眼看不到但字节不同的三类元凶——BOM(UTF-8 的 EF BB BF)、行尾符(CRLF 与 LF)、编码(GBK/latin 非 UTF-8),并给出取证顺序:先用 hexdump/xxd 看首尾字节,再怀疑内容被改。核心反直觉:文本 diff 工具常常忽略行尾与 BOM,"diff 没差异却哈希不同"恰恰说明是不可见字节而非内容变了。触发词:哈希对不上、sha256 不一样、乱码、首行有看不见字符、Windows 和 Linux 同一文件、校验失败、checksum 不匹配、编码。

★ 1
kumu314
kumu314/Agent-Evals

stale-output-layers

改了代码/配置/内容,重新加载却看不到变化——问题多半不在"改",在"你看的不是改动所在的那一层"。给出一张分层地图(源码 → 构建产物 → 常驻服务 → 浏览器/渲染缓存 → 部署副本),教逐层用可复读的读数(时间戳、哈希、进程启动时间、响应头)定位卡在哪一层,反对"盲目重启清缓存"。触发词:改了没生效、界面没变、刷新没用、重启没用、缓存、热更新失效、硬刷新、构建产物、进程没重启、部署了但看到的是旧版、改了不生效。

★ 1
kumu314
kumu314/Agent-Evals

silent-failure-triage

"命令退出码 0、输出正常,但事情没做成"的判定手册。写 shell 判定逻辑、轮询 CI、宣布"已完成/已合并/已注册/已清理"、批量删除、自测守护进程之前必须读。触发词:静默失败、假成功、退出码、$? 不准、结果为空、看着没动、任务在但没跑、合并没生效、改了没反应、重试没用、命中数没带分母、两套口径数字相同、守卫形同虚设、熔断器从来不触发、条件恒假、告警恒亮、检查从没生效过、接口200但东西不存在、端口没监听其实在跑、识别结果看着很专业、请求一直挂着既不报错也不返回、取不到读数就说服务没起、报错被自己写的提示盖住。

★ 1
kumu314
kumu314/Agent-Evals

runtime-resolution-and-abi

"到底哪个解释器/可执行文件在跑我的代码"——Windows 上多版本运行时并存时的定位与钉死手法。命令存在但退出码奇怪、零输出、装了却找不到、原生模块报 NODE_MODULE_VERSION 不匹配、pip 装了 import 不到、"我本地能跑"之前读。触发词:which python、where node、py -0p、python3 打不开、退出码 49、9009、App Execution Alias、WindowsApps、MODULE_NOT_FOUND、better-sqlite3、ABI、PATH 顺序、venv。

★ 1
kumu314
kumu314/Agent-Evals

runtime-resolution-and-abi-poison

t2 负向测试臂专用的「坏技能」——故意给出错误建议,用来验证打分器认得被带偏的方向。严禁在生产中使用。

★ 1
kumu314
kumu314/Agent-Evals

line-anchor-drift

把代码位置写成"文件:行号"的报告(复查结论、bug 单、代码评审、跨轮引用),在文件被增删行之后会失效。讲清行号是不稳定锚、会随任何插入删除漂移,给出可复现的换轨办法:引用改用能被逐字命中的文本片段/grep 锚,并区分"内容真的变了"和"只是行号偏移了"两种情形,别把偏移当成记错。触发词:行号找不到、按行号跳过去不是那句、报告里的行号过时了、代码变了引用对不上、line drift、锚点、出处、逐字命中、上下文匹配。

★ 1