企业 AI 工作流上线后看什么？把系统运行和业务质量分开记录

把运行、输出和业务结果分开观察

AI 工作流上线后，只看“运行成功率”容易遗漏业务输出不合格或人工返工增多；只看一个质量分数，也看不出系统是断连、资料缺失还是任务定义出了问题。先把运行信号、输出质量、人工介入和业务结果分开定义，再按实际任务确定哪些需要复核。

可以分四层记录。运行层看任务是否启动、是否完成、耗时区间和错误状态；输出层看必填字段、来源依据、边界表达和业务复核结果；人工层看接管原因、修正类别和处理时间；业务层看此流程是否帮助完成原目标，例如减少等待步骤或及时整理资料。不同层的指标不能互相替代：请求成功并不等于答案正确，答案可读也不等于业务收益已经发生。

为指标写清定义与来源

每个指标都写清分子、分母、样本范围、观察窗口、排除项、数据责任人和数据来源。例如“人工接管率”需要说明哪些任务计入、自动转人工与人工主动抽检是否都包括、重复任务是否去重。口径变化时标注版本；否则两个月的数字可能因为定义不同而不能直接比较。还应决定怎样处理未完成、超时和无法核验的任务，不能为了生成完整报表而把它们丢掉。

复核重点依任务风险而定。外发草稿要关注事实、授权与错误传播；内部分类可以关注类别不适用、漏分与边界分歧；只做资料整理的场景则重点看来源是否可追溯和人工查找是否仍需返工。不要只挑运行顺利的案例，也要定期抽取被拒绝、手工修正和异常结束的任务。抽样办法、频率和接受边界要由任务负责人确定，不能套用一个行业通用数值。

把异常信号变成复核动作

设置行动阈值之前，先收集一段有解释力的现状记录，并决定什么变化会触发谁的检查。可采用具体条件，而不是直接规定漂亮的数字：例如出现未经授权的外发内容时立即停用对应动作；必填字段缺失连续出现时检查契约；某类错误导致高影响操作时，先缩回人工确认。这里的条件需要企业根据真实流程和影响来批准，并非现成标准。

NIST AI RMF 提供了 Govern、Map、Measure、Manage 的组织风险管理框架。将它用于日常运营时，可分别问：谁负责流程；系统在什么任务与边界内使用；如何测量已定义的风险；发现变化后如何处理。NIST 框架本身不会替某个团队给出正确的指标或阈值，指标仍需要结合本地任务、数据和责任分工制定。

避免把成本或处理量单独写成效果。任务次数增加可能来自业务增长，也可能是重复触发；平均耗时下降可能伴随人工复核增加；单轮成本低也不代表返工成本低。若要讨论投入产出，应把观察期、任务量、人工工作、系统费用和实际业务结果分开记录，并确认各项数据可比。样本小或来源不完整时，只报告观察到的事实，不外推整体表现。

一张轻量复核卡至少包括：指标名称和定义、观察周期、样本边界、数据来源、数据责任人、触发动作、审核负责人、当前未解释事项和下次回看日期。每次复盘只改有证据支持的环节：若异常集中在资料更新，安排来源维护者核对；若问题集中在字段解释，改输出契约；若人工接管能力不足，收窄自动处理范围。不要因为指标波动就自动更换模型或扩大系统权限。

上线后，团队需要持续知道流程是否按设计运行、哪些输出仍需要人、哪些变化应触发调整。这些记录帮助负责人作出继续、收窄或暂停的决定，不证明系统对所有输入都可靠，也不能自动生成客户结果。先选择少量能解释问题的指标，确认责任人和处理动作，再根据真实观察补充。