text-encoding-forensics
两个系统对"看起来一模一样"的文件算出不同的哈希/校验值,或脚本读出来是乱码、首行多个看不见字符。讲清肉眼看不到但字节不同的三类元凶——BOM(UTF-8 的 EF BB BF)、行尾符(CRLF 与 LF)、编码(GBK/latin 非 UTF-8),并给出取证顺序:先用 hexdump/xxd 看首尾字节,再怀疑内容被改。核心反直觉:文本 diff 工具常常忽略行尾与 BOM,"diff 没差异却哈希不同"恰恰说明是不可见字节而非内容变了。触发词:哈希对不上、sha256 不一样、乱码、首行有看不见字符、Windows 和 Linux 同一文件、校验失败、checksum 不匹配、编码。
- License 许可
- MIT
- 最近更新
- 2026-11-02
- Stars
- ★ 1
- Forks
- 0
01 前言 Front Matter
- name
- text-encoding-forensics
- license
- MIT
- description
- 两个系统对"看起来一模一样"的文件算出不同的哈希/校验值,或脚本读出来是乱码、首行多个看不见字符。讲清肉眼看不到但字节不同的三类元凶——BOM(UTF-8 的 EF BB BF)、行尾符(CRLF 与 LF)、编码(GBK/latin 非 UTF-8),并给出取证顺序:先用 hexdump/xxd 看首尾字节,再怀疑内容被改。核心反直觉:文本 diff 工具常常忽略行尾与 BOM,"diff 没差异却哈希不同"恰恰说明是不可见字节而非内容变了。触发词:哈希对不上、sha256 不一样、乱码、首行有看不见字符、Windows 和 Linux 同一文件、校验失败、checksum 不匹配、编码。
- agent_created
- true
03 SKILL.md 正文
哈希对不上、却"看着完全相同":先看不可见字节
同一份配置,Windows 上算的 sha256 和 CI(Linux)上算的不同,肉眼逐字比对"一模一样"。 直觉反应是「文件被改坏了 / 有人动了内容」——多数时候错。内容没变,变的是字节层。
1. 三类肉眼看不见的元凶
| 现象 | 真身 | 怎么在字节层认出它 |
|---|---|---|
| 文件首多出 3 个字节 | UTF-8 BOM:EF BB BF(Windows 记事本/"带 BOM 的 UTF-8"会加) |
xxd file | head -1,看开头是不是 efbb bf |
| 每行末尾差 1 字节 | 行尾符:Windows CRLF(0d 0a) vs Unix LF(0a) |
数 \r:grep -c $'\r' file,非 0 就是混了 CRLF |
| 中文变乱码/问号 | 编码不同:GBK / latin-1 被当 UTF-8 读(或反之) | file -i file 看探测编码;xxd 看高位字节范围 |
哈希是对全部字节求的,这三个都在字节里,只是眼睛看不见——所以"看着相同却不同"完全自洽。
2. 取证顺序(别一上来怀疑内容)
- 先做字节比对,不做文本比对:
cmp fileA fileB直接指出第一个不同的字节偏移, 再看那个偏移落在首字节(BOM)、还是每行末(CRLF)、还是正文(真内容)。 - 文本 diff 会骗你:很多 diff/编辑工具默认忽略行尾与 BOM,于是"diff 无差异、哈希却不同"—— 这个矛盾本身就是线索:问题在它们忽略的那层(不可见字节),不在正文。
- 确认归因后再修:是 BOM 就去 BOM(存成"UTF-8 无 BOM")、是 CRLF 就统一行尾
(
.gitattributes的text=auto/eol=lf)、是编码就显式指定读法。不要改内容去"凑哈希"。
3. 反模式
- 「肯定是被谁改了」——不先看字节就下结论,往往是 BOM/行尾,改内容南辕北辙。
- 用文本 diff 判"两文件相同",再拿哈希对不上当灵异事件——两者用了不同的比较口径,矛盾是必然的。
- 手动重敲"看起来一样"的内容想让哈希相等——只要行尾/BOM 还在,永远不相等。
4. 一句话判据
"内容看着一样、哈希不一样"时,第一个要回答的不是"谁改了内容",而是
"首字节是不是 BOM、行尾是不是 CRLF、编码是不是 UTF-8"这三样——xxd/cmp 十秒就能证实,
在它们被排除之前,任何"内容被改"的结论都为时过早。
04 同仓库更多 Skills
stale-output-layers
改了代码/配置/内容,重新加载却看不到变化——问题多半不在"改",在"你看的不是改动所在的那一层"。给出一张分层地图(源码 → 构建产物 → 常驻服务 → 浏览器/渲染缓存 → 部署副本),教逐层用可复读的读数(时间戳、哈希、进程启动时间、响应头)定位卡在哪一层,反对"盲目重启清缓存"。触发词:改了没生效、界面没变、刷新没用、重启没用、缓存、热更新失效、硬刷新、构建产物、进程没重启、部署了但看到的是旧版、改了不生效。
silent-failure-triage
"命令退出码 0、输出正常,但事情没做成"的判定手册。写 shell 判定逻辑、轮询 CI、宣布"已完成/已合并/已注册/已清理"、批量删除、自测守护进程之前必须读。触发词:静默失败、假成功、退出码、$? 不准、结果为空、看着没动、任务在但没跑、合并没生效、改了没反应、重试没用、命中数没带分母、两套口径数字相同、守卫形同虚设、熔断器从来不触发、条件恒假、告警恒亮、检查从没生效过、接口200但东西不存在、端口没监听其实在跑、识别结果看着很专业、请求一直挂着既不报错也不返回、取不到读数就说服务没起、报错被自己写的提示盖住。
runtime-resolution-and-abi
"到底哪个解释器/可执行文件在跑我的代码"——Windows 上多版本运行时并存时的定位与钉死手法。命令存在但退出码奇怪、零输出、装了却找不到、原生模块报 NODE_MODULE_VERSION 不匹配、pip 装了 import 不到、"我本地能跑"之前读。触发词:which python、where node、py -0p、python3 打不开、退出码 49、9009、App Execution Alias、WindowsApps、MODULE_NOT_FOUND、better-sqlite3、ABI、PATH 顺序、venv。
runtime-resolution-and-abi-poison
t2 负向测试臂专用的「坏技能」——故意给出错误建议,用来验证打分器认得被带偏的方向。严禁在生产中使用。
line-anchor-drift
把代码位置写成"文件:行号"的报告(复查结论、bug 单、代码评审、跨轮引用),在文件被增删行之后会失效。讲清行号是不稳定锚、会随任何插入删除漂移,给出可复现的换轨办法:引用改用能被逐字命中的文本片段/grep 锚,并区分"内容真的变了"和"只是行号偏移了"两种情形,别把偏移当成记错。触发词:行号找不到、按行号跳过去不是那句、报告里的行号过时了、代码变了引用对不上、line drift、锚点、出处、逐字命中、上下文匹配。
http-cache-semantics
HTTP 缓存指令 no-cache / no-store / must-revalidate / max-age 的真实语义与常见误用——领域知识型参考。