跳到主要内容
← Playbook 索引
Playbook阶段 5可泛化原则

验收标准设计(先于实现)

交付

在实现前先定义怎样才算做对。每条验收用例不仅检查最终文字,还检查该调用什么工具、参数范围是否正确、输出是否包含必要证据,以及哪些泄露、越权或兜底行为一出现就必须失败。

什么时候拿出来用

  • 用例已经冻结,即将进入架构和实现
  • 团队对“回答不错”的理解不同,需要把主观判断变成可复查证据

开始前先拿到

  • P0/P1 用例卡和负例
  • 字段、指标与权限的现有认知
  • 能够读取工具调用和最终输出的运行记录

操作主线

怎么推进

  1. 01

    展开端到端 Case

    为主路径、边界和负例分别写输入、工具、参数、呈现与 PASS 判据。

  2. 02

    分开硬门和软分

    把数据一致、越权、泄露等设为一票否决,把措辞与可读性放在软评分。

  3. 03

    写不能出现什么

    为每个 Case 定义越权渲染、内部字段泄露和掩盖故障的兜底模式。

  4. 04

    用真实链路试判

    确认运行记录真的能看到预期工具、参数和输出,判据不是纸面想象。

会留下什么

  • 端到端验收表
  • 硬门与评分维度
  • 可进入 Eval 的 Case 集

过关前再看一遍

  • 每个主场景都有可执行的 PASS 判据
  • 关键负例有确定性即时失败条件
  • 验收证据能从真实运行链路取得

Exit Gate · 放行条件

每场景有可判定验收标准

容易做错的地方

  • 只写“看起来合理”
  • 用单元测试冒充端到端验收
  • 为了让实现过关而删断言或降门槛

这套方法怎么落到你的项目

这是我们交付生产级 AI Agent 的公开、脱敏方法骨架。真正落地时,从 AI Agent 生产就绪审查与路线图 入手,或先用 生产上线前深检 定位薄弱环节。