← Playbook 索引
Playbook阶段 5可泛化原则
验收标准设计(先于实现)
交付
在实现前先定义怎样才算做对。每条验收用例不仅检查最终文字,还检查该调用什么工具、参数范围是否正确、输出是否包含必要证据,以及哪些泄露、越权或兜底行为一出现就必须失败。
什么时候拿出来用
- 用例已经冻结,即将进入架构和实现
- 团队对“回答不错”的理解不同,需要把主观判断变成可复查证据
开始前先拿到
- P0/P1 用例卡和负例
- 字段、指标与权限的现有认知
- 能够读取工具调用和最终输出的运行记录
操作主线
怎么推进
公开的是判断与动作骨架。客户数据、私有模板和内部示例不在其中。
- 01
展开端到端 Case
为主路径、边界和负例分别写输入、工具、参数、呈现与 PASS 判据。
- 02
分开硬门和软分
把数据一致、越权、泄露等设为一票否决,把措辞与可读性放在软评分。
- 03
写不能出现什么
为每个 Case 定义越权渲染、内部字段泄露和掩盖故障的兜底模式。
- 04
用真实链路试判
确认运行记录真的能看到预期工具、参数和输出,判据不是纸面想象。
会留下什么
- 端到端验收表
- 硬门与评分维度
- 可进入 Eval 的 Case 集
过关前再看一遍
- 每个主场景都有可执行的 PASS 判据
- 关键负例有确定性即时失败条件
- 验收证据能从真实运行链路取得
Exit Gate · 放行条件
每场景有可判定验收标准
容易做错的地方
- 只写“看起来合理”
- 用单元测试冒充端到端验收
- 为了让实现过关而删断言或降门槛
这套方法怎么落到你的项目
这是我们交付生产级 AI Agent 的公开、脱敏方法骨架。真正落地时,从 AI Agent 生产就绪审查与路线图 入手,或先用 生产上线前深检 定位薄弱环节。
