AI WORKFLOW NOTES
AI 清理业务表时,怎样保留原值并记录每一步修改?
一份客户清单里,同一家公司可能有“广州知客云”“知客云网络科技”和旧名称;地址、电话和产品型号也可能存在空格、别名或格式差异。AI 可以协助提出整理建议,但它无法仅凭相似文本判断某两条记录是否属于同一实体。清理工作要留住原始值,把标准化结果和不确定项分开存放。
先定义“清理”允许改变什么
开始前列出字段、目标格式、可自动处理的规则和必须询问负责人的情形。例如,去除电话号码首尾空格可以是确定的格式规则;把两个相似公司名合并则可能改变业务实体,需要权威字段或人工确认。
把任务分成三类:
第三类不要自动覆盖。把原值、候选值、匹配依据和待确认状态列出来交给负责人。
- 格式标准化: 空白、日期格式、大小写或固定分隔符;
- 可确认映射: 根据批准的映射表,将别名转成正式名称;
- 疑似匹配: 依赖模糊相似度推断的公司、产品或联系人合并。
在新列中生成,不覆盖原始字段
为每个字段保留 raw_value,另设 normalized_value、rule_id、review_status 和 review_note 等列。AI 只生成建议值时,将其标为 suggested 或“待复核”;只有规则明确且审核通过后,才更新正式标准值。
这能让审查者逐条回答:改动前是什么,改动后是什么,为什么改,依据哪条规则,谁确认了例外。若只保留清理后的表格,后续很难区分原始来源差异、人工判断和模型推测。
用规则表和例外队列处理歧义
将批准规则写成表格,而不是散落在提示词里:字段名、允许值、标准格式、映射来源、生效日期、责任人和复核频率。不同系统字段含义不一致时,先确认源系统定义,不要把同名列当成同一含义。
对于模糊值,要求 AI 输出候选和理由,但不得自动选定。例如“SZ-02”可能是产品型号、仓库代码或销售区域;如果上下文不能确认,就放到异常队列。为每类异常设置责任人和处理结果:确认、驳回、补资料或保留原值。
抽样检查也要覆盖异常
抽样不应只挑最整齐的记录。至少查看:规则直接命中的记录、规则边缘的记录、空值、异常格式、重复候选和新出现的名称。对“合并”和“删除”操作要优先检查,因为错误动作可能更难恢复。
记录清理前后行数、字段变更数、无法处理数和人工确认数。它们用于解释本次数据变换,不代表模型准确率或未来效果。若有样本无法回溯、映射表无人负责或输出改变了关键业务标识,应暂停批量写回。
保持转换步骤可重跑
把输入文件版本、规则表版本、处理步骤、模型输出文件和审核记录一起归档。下一次更新同一数据源时,先重新应用已批准的确定性规则,再单独处理新增例外;不要把上次模型的全部输出直接当成永久真值。
Microsoft Power Query 的文档展示了在查询编辑器中导入和变换数据的流程,但团队使用的工具不同,具体操作与可追溯能力也不同。此处的原则是保留原始数据与步骤记录,不代表任何工具会自动满足企业的审计要求。
上线检查表
- 清理目标和允许变更的字段已写明。
- 原始值另存,标准化值不覆盖来源。
- 自动规则和需要人工判断的规则已分开。
- 每次修改可追溯到规则、来源或审核人。
- 模糊匹配进入异常队列,不自动合并实体。
- 样本包括边界记录和高影响变更。
- 清理失败可以回滚,处理结果能在下一批重跑。
常见问题
两个名称非常接近,可以让 AI 自动合并吗?
相似并不能证明是同一家公司、产品或联系人。只有在唯一标识或经负责人确认的映射支持下才能合并;否则保留两个原值并将候选关系交给人工。
数据清洗后要保留哪些版本?
至少保留输入版本、规则版本、处理后文件、修改记录和异常处置结果。保存范围和期限按企业的数据管理要求确定。