eni-scraper-workflow
Unified structured web collection workflow using request-first Scrapy-style crawling and Playwright-style browser fallback, with schema, retry, deduplication, and quality gates.
- License 许可
- GPL-3.0
- 最近更新
- 2026-09-30
- Stars
- ★ 64
- Forks
- 19
01 前言 Front Matter
- name
- eni-scraper-workflow
- description
- Unified structured web collection workflow using request-first Scrapy-style crawling and Playwright-style browser fallback, with schema, retry, deduplication, and quality gates.
- x-alice-class
- assist
03 SKILL.md 正文
Scraper Workflow 2.1
Define allowed sources, output schema, freshness, pagination, identity keys, and quality thresholds. Start with direct HTTP or a Scrapy-style crawler. Escalate to Playwright-style browser automation only when rendering or state requires it. Persist raw responses when useful, normalize records, deduplicate, checkpoint pagination, handle retry and backoff, and validate counts, types, null rates, uniqueness, and sampled records before export.
04 同仓库更多 Skills
alice
Alice 六类技能总路由。用户输入 Alice 或要求查看 Alice 技能菜单时,严格输出固定菜单;输入攻/防模式、六类入口或直接描述任务时,按类别→领域→模块渐进路由。
alice-reverse
逆向分析渐进路由(二进制 / 移动端 / 协议 / 取证 / 保护机制 / 运行时观测)。触发词:二进制/移动端/反编译/Frida/IDA/Ghidra/PE/ELF/APK/协议/取证;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。
alice-pentest
web安全渐进路由(Web / API / 资产发现 / 漏洞验证 / 云与网络安全)。触发词:Web/API/资产发现/端口/漏洞验证/云与网络安全;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。
alice-game
游戏攻防渐进路由(游戏客户端 / 内存 / 图形 / 反作弊 / 安全研究)。触发词:游戏客户端/内存/图形/偏移/反作弊/模拟器/覆盖层;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。
alice-crack
卡密授权渐进路由(卡密 / 激活 / 授权验证 / 许可证管理 / 本地授权分析)。触发词:卡密/激活/授权验证/license/机器码/试用状态;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。
alice-assist
技能指令渐进路由(技能路由 / 评分 / 吸收 / 迁移 / 自动化 / 文档与平台集成)。触发词:技能创建/吸收/评分/迁移/自动化/文档/平台指令;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。