ac-blackbox
AllstarCoding 流水环节 10-11 使用。当白盒测试完成、需要探测黑盒执行通道、按三态分流产出黑盒测试文档 v2、在宿主能力允许时自动执行黑盒用例(可选自测)、组织用户核验与修复循环时加载本技能。
- License 许可
- Apache-2.0
- 最近更新
- 2026-11-13
- Stars
- ★ 1
- Forks
- 0
01 前言 Front Matter
- name
- ac-blackbox
- description
- AllstarCoding 流水环节 10-11 使用。当白盒测试完成、需要探测黑盒执行通道、按三态分流产出黑盒测试文档 v2、在宿主能力允许时自动执行黑盒用例(可选自测)、组织用户核验与修复循环时加载本技能。
03 SKILL.md 正文
<!-- Copyright The Open Forge contributors. -->
AC 黑盒测试(流水环节 10-11:探测 → 三态分流 → 出文档 →(可选)自测 → 用户核验)
目标:白盒通过后,探测本宿主下 Agent 可用的黑盒执行通道,按三态分流产出黑盒测试文档 v2;宿主能力允许时由黑测子自动执行用例并留痕(自测),用户从全量执行者变为核验者(环节 11 必经门语义不变,从「用户手动测试」变为「用户终审」)。
执行者:探测/出文档/自测/核验回填各由黑测子 spawn(按阶段重生的一次性子代理,写域仅 docs/ac/blackbox.md,T1);服务起停与环境探测委派 helper;分流交互与核验卡全部由主控发起(黑测子不直接对话用户)。
0. 总流程(环节 10-11 内部细化)
环节 10(黑盒准备〔含自测〕)
10.1 通道探测 黑测子 spawn#1:按有序清单探测,报告三态结论
10.2 分流 主控:情况一→直接继续;情况二→引导用户激活→重新探测;
拒绝/失败→降级手测;情况三→告知用户,出手测版
10.3 环境探测 主控委派 helper:读项目配置/代码,产出运行接口卡;
自测模式下并在自测前起被测服务、黑测子 settlement 后停服务
10.4 出文档 黑测子 spawn#2:读 docs/ac 上游产物 + 接口卡 → blackbox.md
10.5 自测执行 黑测子 spawn#3(仅自测模式):逐条执行、回填总表、
全部完成后置「待核验」并报告;手测模式本步 skipped
环节 11(用户核验门,必经)
用户逐条核验或整批确认 → 主控转述、黑测子 spawn#4 回填核验列
→ 全部通过 → 已执行(通过),环节 done → 打 stage 档 → 进环节 12
- 探测与出文档分为两个 spawn:中间夹着三态分流的用户交互(情况一无交互,仍保持统一节奏)。
- 环节 10 的 userConfirmation 恒为
not_required(情况二/三的交互是引导/告知,不设门);必经门只在环节 11。
1. 通道探测协议(10.1)
探测对象是「该宿主下 Agent 可用的黑盒执行通道」的有序清单(数据而非硬编码;未来新通道往清单加条目,不改流程):
| 顺序 | 通道 | 探测方法 | 可用判定 |
|---|---|---|---|
| 1 | browser_tab | 调 browser_tab {action:"snapshot"}(L0 读类,免审批) |
ok:true → 可用;no_browser_session → 能力在、活动面板浏览器 tab 未开(情况二特征);工具不在清单 → 本通道不存在 |
| 2 | agent-browser | shell agent-browser --version(在黑测子 shell 白名单内) |
exit 0 → 可用 |
三态判定:
- 情况一(可自测):任一通道可用。记录命中的首个通道为执行通道,不请示直接进入自测。
- 情况二(能力在但未激活):browser_tab 报 no_browser_session 且无其他通道可用。
- 情况三(无能力):全部通道的工具/命令不存在。
不预判项目形态:不按「被测物是否 Web」预分流,只探通道。通道可用但目标不可达(如无 URL 可导航)→ 黑测子报告,降级手测(探测记录注明原因)。
2. 三态分流(10.2,主控)
| 情况 | 主控动作 |
|---|---|
| 一 | 直接继续 10.3(无交互) |
| 二 | ask_user_question 引导用户:打开活动面板的浏览器 tab(Agent 无法代开);同时预告——自测首条写类操作(click/fill/press/navigate)会弹一次 L3 工具审批,勾选「记住」后同工具后续免打扰(这是宿主预期行为,不是 bug)。引导后新 spawn 重新探测;成功 → 升级情况一;用户拒绝或引导失败 → 降级手测(探测记录注明「用户跳过引导」),不二次确认 |
| 三 | 告知用户本宿主无黑盒执行通道,出手测版文档,流水不断 |
降级路径汇总(任何降级都不中断流水):
| 触发 | 处置 |
|---|---|
| 情况二用户拒绝引导 | 手测版文档 |
| 情况三 | 手测版文档,告知用户 |
| 通道可用但目标不可达 | 黑测子报告 → 手测版文档(探测记录注明) |
| 自测中服务崩溃 | 黑测子走 help_protocol 报「待主控处理」→ 主控交 helper 重启 → 复测受影响项 |
| 自测中通道失效(同工具跨条目连续 3 次报错,stale_reference 不计 / L3 审批被拒 / 面板被关) | 黑测子停止重试,未执行条目自测列留空,报主控(附首条错误原文)→ 主控重探或换备用通道续测剩余条目;确认不可用 → 剩余条目转用户手测,核验门简报首先点名 |
注:自测中用户在 L3 工具审批弹窗点「拒绝」→ 视同通道失效,走上表对应行;引导卡已预告过该弹窗,不重复打扰。
3. 环境探测与接口卡(10.3,helper 委派)
主控 spawn helper(task_name help_env 前缀)委派运行环境探测:读项目配置/代码,产出运行接口卡。接口卡是这类委派的输出格式合同(固定五字段),不是对 helper 裁量权的收窄——它照旧按风险分级自行判断怎么办:
- 启动命令: `bun run dev`(仓库根目录)
- 访问地址: http://localhost:5173
- 就绪判定: 打开首页 30 秒内返回内容
- 依赖安装: 首次运行需先 `bun install`
- 环境变量: 无
- 服务生命周期:自测模式由 helper 在自测前起、黑测子 settlement 后停(黑测子一次性,不自管进程,避免泄漏);起长驻进程属 helper 分级语义中「有风险但可控」,回执主控后执行。
- 信息防火墙:主控把接口卡原文转述进黑测子任务书(环境事实流动,实现知识不流动)。
- 留痕照旧:
[helper] <环节>-<发起者>: <命令摘要> → <结果>。
4. 黑盒文档 v2(10.4,黑测子 spawn#2)
4.1 用例设计原则(不变部分)
- 用户能执行/能核验:每条用例 = 明确操作步骤 + 预期现象,不需要看代码。
- 覆盖三重心(用例分组,来源标注不变):
- 业务逻辑正确性——requires.md 验收标准(A#)派生的用户可感知场景
- 整体运行稳定——启动、常规操作连续使用、异常操作不崩
- 新旧功能接洽——本次改动涉及区域的既有功能回归(design.md 改动面邻近行为)
- 粒度:核心路径全写,边缘挑代表;总用例 10-20 条(一屏可扫)。
- 与白盒用例呼应但不重复(白盒测不到的"用户感知"才是黑盒价值)。
4.2 文档模板(自测模式;示例数据在出文档时替换为真实用例,结果列初始为空)
# 黑盒测试文档
状态: 待核验
执行模式: 自测(browser_tab)
探测记录: 2026-10-05 browser_tab snapshot → ok(面板已开,工具可用)
最后更新: 2026-10-05 14:30(黑测子)
## 0. 运行环境(接口卡)
> 由辅助者探测产出、主控原文转述。自测模式黑测子据此起验;手测模式用户据此自行启动服务。
- 启动命令: `bun run dev`(仓库根目录)
- 访问地址: http://localhost:5173
- 就绪判定: 打开首页 30 秒内返回内容
- 依赖安装: 首次运行需先 `bun install`
- 环境变量: 无
## 1. 结果总表
> 自测列:自测模式逐项填写;手测模式预勾 ✓(语义=跳过自测)。
> 核验列:用户填写,或用户告知主控、主控转述黑测子代填。
> 取值:✓=通过 ✗=失败(详见问题清单 P#) 豁=豁免(理由见清单) 空=未进行
| # | 用例(来源) | 自测 | 核验 | 问题描述 |
|---|---|---|---|---|
| B1 | 登录后跳转首页(A1) | ✓ | ✓ | — |
| B2 | 错误密码给出提示(A1) | ✗ | ✗ | P1 |
| B3 | 连续操作无卡顿崩溃(稳定性) | ✓ | | |
| B4 | 既有导出功能不受影响(回归) | ✓ | | |
| B5 | 弱网下保存有反馈(A3) | 豁 | | P2 |
## 2. 用例明细
### 组一:业务逻辑正确性(A# 派生)
#### B1: 登录后跳转首页(对应 A1)
- 前置: 账号 test@example.com / 密码 123456
- 测试操作: 1. 打开 /login 2. 填入账号密码 3. 点击「登录」
- 预期: 跳转 /home;顶栏显示「test」
- 自测记录: navigate → fill → click 后 URL=/home,顶栏含 test(10-05)
#### B2: 错误密码给出提示(对应 A1)
- 前置: 账号 test@example.com / 错误密码 000000
- 测试操作: 1. 打开 /login 2. 填入账号与错误密码 3. 点击「登录」
- 预期: 停留 /login;出现「密码错误」类提示
- 自测记录: 提交后无任何提示,停留原页 → ✗,登记 P1(10-05)
### 组二:整体运行稳定
#### B3: 连续操作无卡顿崩溃(稳定性)
- 测试操作: 依次访问 首页→列表→详情→设置 并返回,重复 3 轮
- 预期: 全程响应正常,无白屏、报错弹窗、崩溃
- 自测记录: 3 轮 12 次导航均正常响应,console 无 error(10-05)
### 组三:新旧功能接洽(回归)
#### B4: 既有导出功能不受影响(回归·design.md 改动面邻近)
- 测试操作: 列表页点击「导出 CSV」
- 预期: 正常下载,内容与列表一致
- 自测记录: 下载成功,行数与列表条数一致(10-05)
#### B5: 弱网下保存有反馈(对应 A3)
- 前置: 网络受限环境
- 测试操作: 编辑页修改内容后点击「保存」
- 预期: 有 loading/重试反馈,不静默失败
- 自测记录: 自测通道无法模拟弱网 → 豁免登记 P2,交核验定夺(10-05)
## 3. 问题与豁免清单
### P1(B2 · 自测发现 10-05)
- 现象: 错误密码提交后无提示,停留在登录页
- 复现: 3/3 次均复现
- 定位线索: 无(黑盒侧不读实现)
- 修复状态: 待派发
### P2(B5 · 豁免登记 10-05)
- 类型: 豁免
- 理由: 自测通道无法模拟弱网环境
- 处置: 交用户核验——可实测或确认豁免
4.3 手测模式差异(仅三处)
- 头部:
执行模式: 手测;探测记录写失败/跳过原因(如「工具不存在」「用户跳过引导」「目标不可达」)。 - 总表自测列:预勾全 ✓(语义=跳过自测)。
- 用例明细:无「自测记录」行。
其余(含接口卡节)与自测模式完全一致。
4.4 状态机与更新规则
- 文档头状态:
待执行 → 自测中 → 待核验 → 已执行(通过)| 已执行(含豁免);手测模式待执行 → 待核验(跳过中间态)。 - 结果只落总表;明细只定义用例 + 自测记录留痕,不重复维护结果。
- 证据落盘全部在 blackbox.md 内(结果总表 + 自测记录行 + P# 清单);截图留会话附件,核验对话中由主控展示。
- 失败不中断自测:跑完全部用例后统一报告(现象记入 P#)。
- 修复不改历史:P# 修复复测通过后,对应 B# 行重勾、P# 的修复状态推进为「已修复复测通过(日期)」,历史记录不删。
- 豁免不删行,走 P# 清单登记,保留审计痕迹。
5. 自测执行(10.5,黑测子 spawn#3,仅自测模式)
黑测子最小权限闭包(权限跟着工具走——「黑测所需工具」需要什么就放什么;未来新通道若需其他命令,围栏白名单加条目即可,权限模型不变):
| 维度 | 权限 | 实现层 |
|---|---|---|
| 写 | 仅 docs/ac/blackbox.md |
fence 既有基线(BASELINE_MATRIX.blackbox) |
| 读 | 仅 docs/ac/**(任务书点名 requires/design/whitebox/tasks 路径,直接 read) |
fence 读域过滤 |
| 通道工具 | browser_tab;agent-browser(经 shell 白名单) | function 类放行 + shell 白名单 |
| shell | 白名单:仅 agent-browser 前缀命令;其余全 block(含 git 只读——黑测子不需要 git) |
fence 白名单 |
| spawn / git 写 | 禁(既有) | 既有 |
执行纪律:
- 逐条执行(按总表顺序),每条完成后原地回填自测列与自测记录行(带日期)。
- 失败先分类:工具调用本身的报错(错误码原文)不是产品失败——零产品证据,该条自测列留空、不登记 P#,按第 6 条通道失效处置;产品行为不符预期才当场登记 P#(现象/复现次数/定位线索=无),不中断,跑完全部用例后统一报告。
- 自测通道无法覆盖的场景(如弱网)→ 该条记「豁」+ P# 登记(类型:豁免/理由/处置=交用户核验定夺)。
- 全部完成后:文档状态置
待核验,报告主控(含 B# 结果摘要与 P# 清单)。 - 服务崩溃/环境异常 → 走 help_protocol 报「待主控处理」,等主控交 helper 处置后复测受影响项。
- 通道失效(与第 5 条边界:第 5 条管被测服务,本条管自测通道):跨条目累计、任一成功清零——同一工具连续 3 次调用报错(stale_reference 不计——重新 snapshot 后重试是正常工作流;no_browser_session / invalid_input / 超时等均计)→ 停止逐条重试(防无限空转)。已执行条目保留真实结果;未执行条目不再调用工具、自测列留空;
探测记录补一行(时间 + 首条错误原文 + 末条已执行 B#);文档照常置待核验并报告主控(首条错误原文必带)→ 主控重探或换备用通道续测剩余条目;确认不可用 → 剩余条目转用户手测,流水不断。
6. 用户核验门(环节 11,主控)
- 主控向用户简报:执行模式、自测结果摘要(通过/失败/豁免计数)、重点请用户过目的条目(失败项、豁免项、关键路径抽查);若自测中途通道失效降级,简报第一句点名未自测条目区间(如 B4–B8),请用户重点人工核验。
- 核验卡(ask_user_question):选项「全部通过 / 有失败项(编号+现象)/ 需豁免裁定」;用户可整批确认或逐条报。
- 用户反馈 → 主控转述 → 黑测子 spawn#4 回填核验列(代填,非用户手写)。
- 全部通过 → 文档状态
已执行(通过)(存在被用户确认的豁免 →已执行(含豁免));state.md 环节 11 done(userConfirmation confirmed)→ 打 stage 档(stage 11/黑盒测试: 用户核验通过,含 blackbox.md 状态更新与黑盒轮修复改动,经轻量 git 子代理 + V4,§0.5)→ 进环节 12(ac-deploy)。
7. 反馈处理与修复循环(主控驱动)
| 反馈 | 处理 |
|---|---|
| 全部通过 | 收口(见 §6 第 4 步) |
| 有失败 | 问题逐条登记 P#(现象/复现/定位线索),转入修复循环(§7.1) |
| 需豁免裁定 | 用户确认豁免 → P# 处置更新「用户确认豁免(日期)」,B# 核验列记「豁」 |
7.1 修复循环
- 自测/核验失败项 → P# 登记(现象/复现/状态)→ 问题定位到任务产物 →
followup_task(dev_t<n>, ...)唤醒对应开发子修复(P# 字段即派发材料,主控直接抄:问题描述+复现步骤+相关 design.md 节+"修复后说明根因与修法");无法定位 → 主控评估指派新修复子。 - 修复后只复测受影响 B#(不是全量重走):黑测子 spawn 复测该批条目,回填结果。
- 修复触及核心调用链 → 回白盒补相关用例小循环(既有规则)。
- 根因在上游文档 → 既有打回规则(修订标记 + 受影响下游作废重走)。
- 修复记录追加 reviews.md「黑盒轮」节(既有约定)供追溯。
- 循环直至用户确认全部通过或豁免;轮次上限 3 轮,超限上报裁决。每轮更新 blackbox.md 各条状态与 state.md(executions+1)。
8. state.md 映射
- 环节 10 用 subSteps 表达:10.1 探测与分流 / 10.2 出文档 / 10.3 自测执行(手测模式 skipped);artifacts 均为
docs/ac/blackbox.md;executor blackbox;agentRef 一次性 null。 - 环节 11:必经门语义为「用户核验」,userConfirmation confirmed 才能 done。
- 黑盒轮修复计入 executions(沿用 >3 上报)。
9. 边界
- 黑盒修复不受原任务卡限制:自测/核验暴露的问题就是要修的对象(这是需求的一部分),但修复记录追加进 reviews.md("黑盒轮"节)供追溯。
- 用户反馈含糊("好像有点卡")→ 主控先问清复现条件(ask_user_question),不猜着修。
- 不改内核:browser_tab 的 L3 审批、WebView 生命周期、agent-browser 安装管理全部复用现状;情况二靠用户点开面板(Agent 无代开工具)。
04 同仓库更多 Skills
review-canvas
Present a multi-file code review as a Canvas diff artifact. Use when the user asks for a review, 代码评审, 变更审查, or a cross-file summary of changes — not for a single edit (the chat diff card already shows it) or a prose report (report-canvas).
report-canvas
Produce a standalone report, audit board, or long-form analysis as a Canvas artifact. Use when the user asks for a report, 报告, 审计看板, or a deliverable that should live beside chat — not when they only want a short chat answer or to inspect a live web page.
publish-ability
Publish a skill, scene, MCP server, plugin, or bundle to the Vetta ability marketplace. Use when the user asks to upload/publish/submit an ability, put a plugin on the marketplace, share a skill with other users, or migrate an existing package into Vetta.
install-ability
在本机 Vetta 中安装能力——插件(plugin)、Skill/场景(scene)与 MCP 服务器。用户说「装一个插件 / install plugin / 从能力市场安装 / 加一个 MCP server / 配置 MCP / 装个 skill」,或插件装完没生效、需要 reload、pending 版本没应用时使用。不用于安装 npm 依赖、IDE 插件、浏览器扩展,也不用于开发插件(那是 plugin-workbench)或创作 Skill(那是 create-skill)。
database-analysis
Answer business questions from connected databases with read-only queries, then analyze metrics, trends, rankings, breakdowns, and period comparisons. Use for 问数、查数、数据库分析、销量/收入/用户指标、同比环比 or follow-up data questions. Not for application database migrations or modifying records.
create-skill
Create or update Vetta-compatible Agent Skills. Use when the user asks to create a skill, add a SKILL.md workflow, register a skill in skills-manifest.json, package a skill in a Vetta plugin, or add a built-in Vetta skill preset.