AI WORKFLOW NOTES
AI 自动分类结果怎么抽样复核？按错误影响决定检查重点
抽样复核要能发现边界模糊、类别重叠和不适合分类的输入。检查结果用于决定是否继续人工确认，不等于普遍准确率证明。
把类别边界写成可判断的说明
先为每个类别写清楚包括什么、不包括什么，遇到两类都像、信息不足或超出范围时如何标记。准备几组由业务人员确认的代表性样例，尤其包含容易混淆的边界情况。
先按可能后果分层
仅用于内容整理的标签，与会改变客户优先级、分配负责人或触发后续处理的标签，错误代价不同。把可能影响业务动作的类别列为高风险，预先保留人工确认；不要因模型给出一个类别就自动执行不可逆操作。
设计能找出问题的样本
抽样时覆盖常见类别、罕见类别、信息不足和边界案例。可分别记录漏分、错分、类别不适用和需要多个标签的情况。样本来源要经过授权处理，不必为了测试保存超出用途的个人资料。
记录结果并调整适用范围
每轮记录样本范围、人工判定、分歧和待解决问题。样本数量有限时，只描述这批检查看到的情况，不推断所有数据上的准确率。若某类问题反复出现，先检查类别定义和输入资料，再决定缩小自动处理范围。
常见问题
抽样复核通过就可以取消人工检查吗？
不能单凭一次抽样决定。应看错误后果、持续样本、任务变化和组织的审批要求。
最适合的样本量是多少？
没有脱离任务风险和数据分布的通用数字。由负责人结合可承担的复核成本与错误影响设定。