AI WORKFLOW NOTES

AI 验收样本怎么覆盖边界情况?别只测最好答的输入

· 知客云企业 AI 应用

为 AI 工作流准备测试案例时,样本设计决定了能发现什么问题。用任务分层和错误后果建立覆盖表,说明未覆盖范围。

从任务条件列出案例族

先按实际任务条件分组,而不是随手收集一批看起来不同的句子。一个资料核验任务可含字段完整、字段缺失、同名异值、版本不同、扫描模糊、条件不适用和必须拒答等案例。案例族要由业务负责人确认,不能让模型自行决定什么算边界。

标注谁给出了参考答案

每条样本记录来源、日期、脱敏方式、参考标签、标签人和争议处理。没有权威答案的案例可保留为开放问题,不应强行标注成一个确定真值。为避免敏感资料泄露,优先用经过批准的脱敏材料或明确注明为合成的样例。

把高后果案例单独看

整体通过率会掩盖少数关键失败。按可能影响分组检查:普通格式错误、可修正遗漏、错误引用、权限越界、对外错误承诺等。只有经责任人定义的高后果错误才能作为硬停止门槛;不把研究样例误称为已发生的客户事故。

保留样本和范围声明

将调试样本与最终验收样本分开,尽量保留一组不参与提示调优的案例。保存任务版本、模型与提示配置、运行日期、评分规则和错误例子。报告结果时写清样本量和未覆盖输入类型;新行业、新文档或新流程需要重新判断样本是否适用。

防止调试集泄漏到验收集

如果同一批案例既用于反复修改提示,也用于最终验收,评分变好可能只是对熟悉样例的适配。可以把案例分成用于调试的一组和较少触碰的保留组;资料不足时至少记录哪些样本曾被反复查看,避免过度解读。

定期检查案例是否仍对应当前产品、政策、术语和实际输入结构。过期样本不一定要删除,但要标注适用版本;业务负责人确认后才将新案例纳入基准,并保留旧版比较。没有真实使用数据时,样本覆盖只能说明测试范围,不代表真实环境覆盖率。

为每种失败安排不同的判分方式

有些结果可以自动对比格式,有些需要业务人员检查事实、证据位置或适用条件。不要用一个总分代替所有判断:字段格式错误、遗漏重要限制、引用不相关来源和高影响错误,处理动作并不相同。评估卡应写清失败类型、是否阻断上线、由谁复核以及怎样修正样本标签。

报告中同时说明测试样本来自哪里、包含哪些输入族、使用哪一版本配置,以及哪些领域没有测试。样本库扩展后,保留旧版结果作为比较,但不要把两个不同范围的分数直接视为趋势。只有当输入、标准和评估流程足够可比时,变化才有解释价值;否则就重新建立基线。

常见问题

样本越多就一定越可靠?

数量不能代替覆盖、标签质量和范围代表性。先确定案例族与错误后果,再扩充有用样本。

评估通过后多久需要复测?

模型、提示、数据格式或业务流程变化时应评估影响;复测频率由风险和实际变化决定。

返回全部实践笔记