AGENT SKILL

eni-scraper-workflow

Unified structured web collection workflow using request-first Scrapy-style crawling and Playwright-style browser fallback, with schema, retry, deduplication, and quality gates.

License 许可
GPL-3.0
最近更新
2026-09-30
Stars
★ 64
Forks
19

01 前言 Front Matter

name
eni-scraper-workflow
description
Unified structured web collection workflow using request-first Scrapy-style crawling and Playwright-style browser fallback, with schema, retry, deduplication, and quality gates.
x-alice-class
assist

03 SKILL.md 正文

Scraper Workflow 2.1

Define allowed sources, output schema, freshness, pagination, identity keys, and quality thresholds. Start with direct HTTP or a Scrapy-style crawler. Escalate to Playwright-style browser automation only when rendering or state requires it. Persist raw responses when useful, normalize records, deduplicate, checkpoint pagination, handle retry and backoff, and validate counts, types, null rates, uniqueness, and sampled records before export.

04 同仓库更多 Skills

alicewe1
alicewe1/alice_skill

alice

Alice 六类技能总路由。用户输入 Alice 或要求查看 Alice 技能菜单时,严格输出固定菜单;输入攻/防模式、六类入口或直接描述任务时,按类别→领域→模块渐进路由。

★ 64
alicewe1
alicewe1/alice_skill

alice-reverse

逆向分析渐进路由(二进制 / 移动端 / 协议 / 取证 / 保护机制 / 运行时观测)。触发词:二进制/移动端/反编译/Frida/IDA/Ghidra/PE/ELF/APK/协议/取证;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。

★ 64
alicewe1
alicewe1/alice_skill

alice-pentest

web安全渐进路由(Web / API / 资产发现 / 漏洞验证 / 云与网络安全)。触发词:Web/API/资产发现/端口/漏洞验证/云与网络安全;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。

★ 64
alicewe1
alicewe1/alice_skill

alice-game

游戏攻防渐进路由(游戏客户端 / 内存 / 图形 / 反作弊 / 安全研究)。触发词:游戏客户端/内存/图形/偏移/反作弊/模拟器/覆盖层;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。

★ 64
alicewe1
alicewe1/alice_skill

alice-crack

卡密授权渐进路由(卡密 / 激活 / 授权验证 / 许可证管理 / 本地授权分析)。触发词:卡密/激活/授权验证/license/机器码/试用状态;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。

★ 64
alicewe1
alicewe1/alice_skill

alice-assist

技能指令渐进路由(技能路由 / 评分 / 吸收 / 迁移 / 自动化 / 文档与平台集成)。触发词:技能创建/吸收/评分/迁移/自动化/文档/平台指令;先选领域索引,再按任务匹配度与评分选模块,禁止一次读取全部领域。

★ 64