criterion-self-evidence-check
判据自证性检查卡:凡形如「当 X 满足条件 C,就判定 X 属于类别 Y」的规则,若 C 的证据集里装着 X 自己(或装着判据作者自己写死的硬编码串),这条判据就永远成立、永远不可证伪——它测的是同义反复,不是事实。给出两条可复用探针(挖除探针 / 跨样本重复度探针)与三类修法。实测三个真案例:押韵判据把目标字写进韵表、模板检测器被生成器改一个字绕过、同义反复测试的断言抄了设计者的决定。触发词:判据、分类器、启发式、规则命中、白名单、证据集、自证、循环论证、同义反复、模板检测、通配误判、规则永远成立、误伤率降了但还有漏网、跨篇重复、阴性对照。不适用:纯格式校验(长度/字符集/必填)没有"证据集"概念;业务上本就该自指的规则(如 id 唯一性是定义不是循环)。
- License 许可
- MIT
- 最近更新
- 2026-11-02
- Stars
- ★ 1
- Forks
- 0
01 前言 Front Matter
- name
- criterion-self-evidence-check
- license
- MIT
- metadata
- { "created": "2026-10-02", "version": "1.0.0" }
- description
- 判据自证性检查卡:凡形如「当 X 满足条件 C,就判定 X 属于类别 Y」的规则,若 C 的证据集里装着 X 自己(或装着判据作者自己写死的硬编码串),这条判据就永远成立、永远不可证伪——它测的是同义反复,不是事实。给出两条可复用探针(挖除探针 / 跨样本重复度探针)与三类修法。实测三个真案例:押韵判据把目标字写进韵表、模板检测器被生成器改一个字绕过、同义反复测试的断言抄了设计者的决定。触发词:判据、分类器、启发式、规则命中、白名单、证据集、自证、循环论证、同义反复、模板检测、通配误判、规则永远成立、误伤率降了但还有漏网、跨篇重复、阴性对照。不适用:纯格式校验(长度/字符集/必填)没有"证据集"概念;业务上本就该自指的规则(如 id 唯一性是定义不是循环)。
- agent_created
- true
03 SKILL.md 正文
判据自证性检查卡
沉淀自三次真实翻车:三次都是判据自己证明自己成立,三次都跑出了漂亮的"通过率", 三次都是靠"把目标从证据集里挖掉再算一遍"才暴露。
0. 一句话命题
当 X 满足条件 C 时,判定 X 属于类别 Y。 先问:C 用到的证据,会不会包含 X 自己? 若包含,X 既是"待判的东西"又是"判定它成立的证据" —— 判据自我满足, 永远成立、永远不可证伪。你测到的是同义反复,不是事实。
同一个坑还有第二个入口:C 的证据不是 X 自己,而是判据作者自己写死的硬编码串 (如"命中『每天慢读三遍』说明这是模板")。这也算自证 —— 它证明的是 "生成器今天用了这个词",不是"这不是模板"。
1. 三个真案例(三种形态,对号入座)
形态 A:证据集里装着目标本身
某中文诗词 TTS 项目(案例一):把「斜」的叶韵判据改成「斜处于分句末 ∧ 本诗押麻韵」,
其中"本诗押麻韵"由 poemRhymesMa() 扫描全诗末字实现,而它的证据串是
MA_RHYME = "家花纱华沙茶麻瓜娃芽鸦葩笳奢衙槎夸斜" // ← 末尾就写着「斜」
于是只要某句末是"斜","本诗押麻韵"就被"斜"自己证实了。
结果:蓦山溪(全篇仄韵,根本不押麻韵)、新水令(车遮韵 -ie)被误判为麻韵,斜被读错。
形态 B:判据写死了自己造的字符串(和生成器赛跑,且你已经输了)
案例二:代码里
const memTpl = expand && (!mem.length || mem.some(m => /它是全篇的眼|每天慢读三遍/.test(m.d||"")));
按句式做跨篇统计后,发现存在两个只差一个字的变体:
| 层级 | 篇数 | 记忆卡末句 | 是否被检出 | 用户看到 |
|---|---|---|---|---|
| 拓展 | 710 | 每天慢读三遍 | ✅ 命中 | 诚实显示「记忆要点待补」 |
| 精读 | 40 | 每天读三遍(少一个"慢"字) | ❌ 逃逸 | 量产模板被当成真内容展示 |
生成器改一个字,检测器就瞎了。更糟的是这 40 首以"精读"身份绕过了 expand && 限制,
于是出现了最坏组合:710 首诚实标注"待补",40 首反而伪装成完整。
形态 C:断言抄了设计者的决定(同义反复测试)
形如「当设计者决定 X 时,expect(X)」——测试必然通过,但只证明了"代码遵循了作者意图",
没证明"这个意图是对的"。复跑别人的测试"全过"了,也要先看断言里写死了什么。
2. 两条探针(都可复用)
探针 1:挖除探针 —— 把目标从证据集里挖掉再算一遍
// 例:反循环探针——排除目标字后,判据是否仍成立?
function maEvidenceExceptXie(lines){
return lines.some(l => String(l).split(SPLIT).some(t => {
const last = t.trim().slice(-1);
return last && last !== '斜' && MA_RHYME.includes(last); // ← 排除「斜」自己
}));
}
// 命中项中 maEvidenceExceptXie === false 的,就是"唯一证据 = 目标本身"的循环项
本次跑出 12 处命中里恰好 2 处循环,与人工核对韵脚(蓦山溪 / 新水令)完全吻合 ——
探针误报率 0,且直接给出修法(把"斜"移出 MA_RHYME):保留 10 处正确、消除 2 处误伤。
判据:结论翻转 = 循环。
探针 2:跨样本重复度探针 —— 不依赖任何具体措辞
适用于「这是不是模板 / 量产 / 特例」这类判定。把专有名词抹平后统计跨样本出现次数:
const norm = s => String(s||'')
.replace(/《[^》]+》/g, '《X》') // 抹掉篇名(填空模板的填空位)
.replace(/「[^」]+」/g, '「Y」') // 抹掉引文
.replace(/\d+/g, '#'); // 抹掉数字
const tpl = {};
for (const p of batch)
for (const seg of String(p.d).split(/[。;;]/)) {
const t = norm(seg).trim();
if (t.length < 8) continue; // 太短不具判别力
(tpl[t] = tpl[t] || { n: 0, ids: [] }).n++, tpl[t].ids.push(p.id);
}
const repeated = Object.entries(tpl).filter(([, v]) => v.n >= 2); // ≥2 个样本复用即判模板
两个使用要点(缺一不可):
- 必须同时准备阴性对照。 拿它跑 batch-03(90 条记忆卡)得 0 种重复 → 真逐篇写的; 跑那 40 首得 40 篇同一句式。判据若不能把这两组分开,说明阈值/归约还没调对。
- 别把检测限定在某个层级或开关里(原代码的
expand &&)——模板与层级无关,限定就给逃逸留了门。
3. 四步检查流程
- 找出 C 的全部证据来源 —— 别只看主逻辑,要看它调用的常量、白名单、辅助函数
(形态 A 的根因藏在
MA_RHYME这个常量里,主逻辑看着完全无辜)。 - 两问:证据集里有没有 X 自己?有没有我自己写死的串?
- 跑探针:形态 A → 挖除探针;形态 B → 跨样本重复度探针;形态 C → 看断言是不是抄了决定。
- 给阴性对照,确证判据能把"真阳性"和"自证阳性"分开。
4. 三类修法
| 修法 | 适用 | 例 |
|---|---|---|
| 把目标移出证据集 | 形态 A | 把「斜」移出 MA_RHYME |
| 要求 ≥1 个非目标的独立证据 | 形态 A | "本诗押麻韵"须有 ≥1 个非"斜"的麻韵字 |
| 换成不依赖措辞的统计量 | 形态 B | 跨样本重复度替代固定字符串匹配 |
5. 失败模式(都是踩过的)
- 只看"误伤降了没有"就判修复成功。 循环误伤往往恰好落在"看起来最像正例"的那几条上 (句末、形态完美、长度达标),人眼最难发现。修完必须专门跑一遍反循环探针。
- 用硬编码串做检测 = 和生成器赛跑。 生成器改一个字就失效,而且不会报错 —— 你只会看到"命中数变少了", 误以为是内容变好了。
- 把检测限定在某个层级/开关里(
expand &&),给逃逸留门。 - "零命中"不等于"判据对了"。 可能是探针本身没跑到(如驱动用错入口函数,测的是未渲染骨架)。 零命中先怀疑工具,再怀疑对象。
6. 与相邻主题的分工(避免重复承担)
| 相邻主题 | 讲什么 | 与本颗的界线 |
|---|---|---|
| 写作证据纪律 | 写作领域:抽象判断要退回可观察证据("这段有点空/像AI写的") | 面向文案可信度;本颗面向技术判据/分类器的逻辑结构。触发词不重合 |
| 存储落盘取证 | 数据写入后的落盘取证(校验和是否真写进字段) | "写完怎么自证真的落盘";本颗是"判据本身是否自证" |
| 本地 HTML 复核 | 本地 HTML 应用的独立复核 | 场景限定在 HTML 验证;本颗是通用的判据结构检查,任何规则/分类器评审都适用 |
| 替换计数自证 | 替换操作的计数自证(MISS/DUP 闸) | "操作有没有生效"的自证;本颗是"判定逻辑有没有自我满足" |
若你是在验证一个 HTML 应用时撞到判据问题:判据核对与渲染取证两层都可能用到 —— 先看判据结构对不对, 再看该应用的渲染取证手段(怎么在真渲染里取证)。
7. 出处
三个案例均出自一个中文诗词 TTS 项目, 判据与探针代码均经真实数据复跑,读数见各案例。
04 同仓库更多 Skills
text-encoding-forensics
两个系统对"看起来一模一样"的文件算出不同的哈希/校验值,或脚本读出来是乱码、首行多个看不见字符。讲清肉眼看不到但字节不同的三类元凶——BOM(UTF-8 的 EF BB BF)、行尾符(CRLF 与 LF)、编码(GBK/latin 非 UTF-8),并给出取证顺序:先用 hexdump/xxd 看首尾字节,再怀疑内容被改。核心反直觉:文本 diff 工具常常忽略行尾与 BOM,"diff 没差异却哈希不同"恰恰说明是不可见字节而非内容变了。触发词:哈希对不上、sha256 不一样、乱码、首行有看不见字符、Windows 和 Linux 同一文件、校验失败、checksum 不匹配、编码。
stale-output-layers
改了代码/配置/内容,重新加载却看不到变化——问题多半不在"改",在"你看的不是改动所在的那一层"。给出一张分层地图(源码 → 构建产物 → 常驻服务 → 浏览器/渲染缓存 → 部署副本),教逐层用可复读的读数(时间戳、哈希、进程启动时间、响应头)定位卡在哪一层,反对"盲目重启清缓存"。触发词:改了没生效、界面没变、刷新没用、重启没用、缓存、热更新失效、硬刷新、构建产物、进程没重启、部署了但看到的是旧版、改了不生效。
silent-failure-triage
"命令退出码 0、输出正常,但事情没做成"的判定手册。写 shell 判定逻辑、轮询 CI、宣布"已完成/已合并/已注册/已清理"、批量删除、自测守护进程之前必须读。触发词:静默失败、假成功、退出码、$? 不准、结果为空、看着没动、任务在但没跑、合并没生效、改了没反应、重试没用、命中数没带分母、两套口径数字相同、守卫形同虚设、熔断器从来不触发、条件恒假、告警恒亮、检查从没生效过、接口200但东西不存在、端口没监听其实在跑、识别结果看着很专业、请求一直挂着既不报错也不返回、取不到读数就说服务没起、报错被自己写的提示盖住。
runtime-resolution-and-abi
"到底哪个解释器/可执行文件在跑我的代码"——Windows 上多版本运行时并存时的定位与钉死手法。命令存在但退出码奇怪、零输出、装了却找不到、原生模块报 NODE_MODULE_VERSION 不匹配、pip 装了 import 不到、"我本地能跑"之前读。触发词:which python、where node、py -0p、python3 打不开、退出码 49、9009、App Execution Alias、WindowsApps、MODULE_NOT_FOUND、better-sqlite3、ABI、PATH 顺序、venv。
runtime-resolution-and-abi-poison
t2 负向测试臂专用的「坏技能」——故意给出错误建议,用来验证打分器认得被带偏的方向。严禁在生产中使用。
line-anchor-drift
把代码位置写成"文件:行号"的报告(复查结论、bug 单、代码评审、跨轮引用),在文件被增删行之后会失效。讲清行号是不稳定锚、会随任何插入删除漂移,给出可复现的换轨办法:引用改用能被逐字命中的文本片段/grep 锚,并区分"内容真的变了"和"只是行号偏移了"两种情形,别把偏移当成记错。触发词:行号找不到、按行号跳过去不是那句、报告里的行号过时了、代码变了引用对不上、line drift、锚点、出处、逐字命中、上下文匹配。