AGENT SKILL

tender-similarity-analyzer

暂无简介

License 许可
MIT
最近更新
2026-06-10
Stars
★ 3
Forks
0

03 SKILL.md 正文

tender-similarity-analyzer

投标文件查重与分析工具 — 本地多文档交叉查重,精确到段的重复检测。


🎯 功能定位

特性 说明
🔍 核心功能 多文档交叉查重,精确到段落
📊 输出报告 美化HTML查重报告,含图表展示
✍️ 自动修改 可选:自动生成修改建议(仅建议,不写入文件)
🔒 安全保证 文件仅本地读取,网络隔离保护

🚀 快速开始

你: 查重 ~/Desktop/投标文件
AI: 扫描中... 找到 3 个文件
    执行查重... ✅ 完成!
    [发送HTML报告]

📖 使用指南

基本命令

命令格式:
  查重 <目录路径> [选项]

示例:
  查重 ~/Desktop/投标项目
  查重 /Users/xxx/Desktop/tender_files --recursive

可选参数

--include docx,pdf    指定文件格式(默认支持所有格式)
--output <路径>       指定报告输出位置

📊 报告说明

报告包含:

  • 总体统计 — 文件数、段落数、重复率
  • 核心指标卡 — 重复率进度条、段落对分布、相似度仪表盘
  • 状态判定 — 通过/警告/不合格
  • 重复详情 — 每个重复段落的原文对比
  • 修改建议 — AI生成的改写方向(仅建议,不写入文件)

判定标准

状态 正文重复率 说明
✅ 通过 < 10% 符合投标规范
⚠️ 警告 10% ~ 30% 建议检查
❌ 不合格 ≥ 30% 需大幅修改

🔒 安全机制

✅ 默认安全保证

执行查重分析时:

  • ✅ 文件仅在本地读取,不上传任何内容
  • ✅ 网络隔离启用(禁用 requests/urllib/httpx)
  • ✅ 不修改任何源文件
  • ✅ 不发送任何外部请求

📦 依赖安装(首次使用)

首次运行时会提示缺少依赖,需手动安装:

pip install -r requirements.txt

这是标准Python实践,仅下载包,不涉及文件内容。


🔧 算法原理(v4 优化版)

三层漏斗模型

原始文本
  ↓
┌─────────────────────────────────────────┐
│ 第一层:段落分类 + 短段落合并            │
│   - 智能识别标题(章节编号/长度/格式)  │
│   - 过滤标题-vs-标题重复                │
│   - 短段落合并为完整语义单元            │
├─────────────────────────────────────────┤
│ 第二层:N-gram 快速初筛(3-gram)       │
│   - Jaccard相似度 ≥ 0.25 进入下一轮     │
├─────────────────────────────────────────┤
│ 第三层:TF-IDF 精确比对                 │
│   - 字符级(2-4) TF-IDF向量             │
│   - 动态阈值(0.30~0.50)自适应长度       │
└─────────────────────────────────────────┘

核心优化点

优化 说明
标题过滤 识别章节编号(第X章/1.1/X.X)、短标题
短段落合并 <50字段落与上下文合并,避免碎片误判
动态阈值 短文本用高阈值(0.50),长文本用低阈值(0.32)

📁 支持的文件格式

格式 扩展名
Word文档 .docx / .doc
PDF .pdf
纯文本 .txt
Markdown .md

📝 命令行用法

cd ~/.openclaw/workspace/skills/tender-similarity-analyzer

# 首次使用先安装依赖
pip install -r requirements.txt

# 扫描本地目录
python scripts/main.py --dir ~/Desktop/投标文件

# 指定文件格式
python scripts/main.py --dir ./docs --include docx,pdf

# 指定输出报告
python scripts/main.py --dir ~/Desktop/tender -o my_report.html

⚙️ 依赖说明

必需依赖

依赖 用途
python-docx Word文档读取
pdfplumber PDF文本提取
scikit-learn TF-IDF向量计算
Jinja2 报告模板渲染

📌 常见问题

Q: 查重需要几个文件? A: 至少2个文件。

Q: 标题会被算入重复率吗? A: 不会。标题已被智能识别并过滤,只统计正文段落。

Q: 文件内容会离开本机吗? A: 不会。文件仅本地读取,网络隔离确保无外传。

Q: 报告保存在哪里? A: 默认保存在当前目录,可通过 -o 参数指定。


🔄 版本历史

版本 日期 更新
v1.0 2026-03-20 初始版本
v1.1 2026-03-25 标题/正文分类过滤
v1.2 2026-04-01 短段落合并、动态阈值
v2.0 2026-04-01 美化报告界面
v2.1 2026-04-01 移除外部告警,改为手动安装依赖

版本: v2.1
日期: 2026-04-01

04 同仓库更多 Skills