AI WORKFLOW NOTES
AI 提取供应商资料字段怎么验收?先保留来源位置和未决项
AI 可以协助把分散文档整理为结构化字段,但验收要能回到原文、标记未知并让责任人复核。先用有限样本设计边界,再决定是否扩大。
先定义要提取的任务和字段
“读一下这些供应商文件”不是可验收的任务。先写清要处理什么文件、要支持什么工作以及输出哪些字段。例如,团队可能需要从经批准的产品资料整理品名、型号、单位、适用条件和资料版本;这只是字段设计示例,真实字段仍需由业务负责人确认。
在配置提取流程前,先规定每个字段的数据类型、允许值、是否必填、缺失时写什么以及由谁确认。若业务资料中的说法不一致,应保留冲突并转人工,不让模型任选一个看起来更合理的答案。
确认文件身份与版本
同一份资料可能有草稿、签核版、修订版和扫描件。记录来源路径、文件名、版本标记、生效信息、上传时间和提供人;只有负责人确认的现行文件才作为提取输入。文件名相同不证明内容相同,创建日期也不能单独证明版本有效。
混合处理不同版本会让结果失去可追溯性。测试时应有意识地准备正确版本、过期版本、重复副本和版本未知的情况,确认流程能识别风险并停下来,而不是把它们混为一个“最终值”。涉及保密或客户材料时,还要先确认工具批准状态、访问范围和保存方式。
让每个输出字段回到原文
验收记录不应只有字段和值,还要有能定位依据的来源信息,例如文件、页码、表格或段落标识。若系统不能返回可靠位置,安排人工在原文中核对;不要把模型生成的引用当成真实的页码或段落证据。
对单位、型号、范围、否定词和脚注内容优先核验。表格中的合并单元格、跨页表头、扫描图片、上下文说明和限定语可能影响字段含义。导出的值若脱离了列标题、版本或适用条件,就算字符完全相同,也未必能支持业务判断。
分别检查正确、缺失和不确定
把预期结果按字段逐项对照,不用一个整体“准确”标签遮盖差异。至少区分正确提取、漏项、错值、错位置、字段映射错误、上下文丢失和需要人确认。每一种情况都要有可观察的样例和处理动作。
没有给出数值可能是源资料不存在、扫描无法识别、字段不适用,也可能是模型漏提。流程需要保留差异,不应自动补零、复制相邻产品数据或把空白解释为“不适用”。如果原始资料给出了互相冲突的值,输出应列出冲突和来源,而不是静默合并。
设计有代表性的测试样本
样本要覆盖常见文件,也要覆盖容易出错的边界:表格换页、单位写法变化、旧型号、含否定词的说明、空字段、模糊扫描和同一字段多处出现。样本选择应由实际资料类型决定,不需为凑数量而声称测试规模具备统计代表性。
先写预期字段、依据位置、允许的格式变化和停止条件。由了解资料的人独立标注参考答案,再看提取结果。若标注本身有争议,先解决事实和口径,不把不同意见算成模型错误或模型正确。
把风险不同的字段分开处理
产品型号、数值、认证范围和交付条件可能影响后续判断;排版标签、可读性摘要和内部分类则可能有不同影响。团队可依错误后果设置不同的复核强度,但不能用低风险字段通过来推断其他字段也可靠。
高风险字段即使被自动提取,也应保留人工确认。普通字段可以采用抽查或差异复核,但抽样规则需由责任人确定并持续看例外。一次小规模试验只说明在该批文件、字段和条件下看到了什么,不代表所有未来资料都能得到相同表现。
明确谁能批准进入业务流程
提取完成不等于数据可用。指定资料负责人核实来源版本,业务责任人确认字段含义,系统负责人确认结果是否写回,以及谁有权处理异常。角色可以兼任,但需要标记哪一项判断由谁作出。
如果结果要进入报价、采购、合同、库存或客户沟通记录,应先在受控环境中查看错误如何影响后续步骤。验证失败时,明确停止节点、人工接手人、需要带上的上下文和恢复条件。没有安全回退方式,就先限制为草稿整理,不让未确认字段触发外部操作。
持续维护字段和例外清单
供应商资料格式、产品体系和业务口径可能变化。保留规则版本、输入样本类型、常见例外、修订责任和复查日期。字段含义变化后,重新检查映射、提示、输出格式和下游流程,不能只更新一段说明就假设整个提取过程仍有效。
将错误记录为可复用的问题:错误类型、来源文件特征、受影响字段、人工如何发现、修复方式和是否需要扩大检查。删除与业务无关的敏感内容,保留足够线索让团队能复现问题。错误日志的目的,是改进可控流程,不是用几个例子宣称总体准确率。
一页提取验收卡
每次试验至少记录:任务边界、字段定义、输入版本、来源位置要求、参考答案负责人、缺失和冲突的处理、测试样本来源、错误分级、人工审批人、下游动作、回退条件和复核日期。每项写成能检查的状态,而非一个模糊总分。
只有当团队能追溯字段、解释差异、控制错误后果,并确认后续责任后,才考虑扩大文档范围。若来源不清、参考答案未统一或流程没有停止权,先补齐这些基础条件;这比继续调整提示词或自动补全更有助于形成可信的资料链。
明确抽取规则的适用范围
字段规则要写清适用于哪些资料类型、产品系列和版本。如果一条规则只在某种表格结构里验证过,就不要将它推广到说明书、扫描件或其他供应商格式。版式相近不代表字段语义相同,换到新资料前应先确认数据词典和表头是否一致。
当字段定义调整时,保留旧规则版本、更新原因、批准人和生效条件。若新旧规则都可能遇到,应让输入文件携带能区分版本的标记,不能只用最近一次修改时间决定采用哪一套逻辑。
做上线前的人工盲审
让复核者在不知道模型输出的情况下,先按参考资料标记关键字段,再与系统结果对照,可避免复核过程被模型答案带偏。复核范围需要覆盖常见项和错误后果较大的边界项,并记录抽查方式与没覆盖到的资料类别。
即使样本全部符合预期,也只说明当前验证条件下没有观察到某类问题,不代表模型没有错误。上线决定还要考虑出错之后是否容易发现、是否能撤回、谁处理例外,以及下游是否存在自动执行。
把业务变更纳入重新验证
供应商资料新增字段、采购部门改变口径或系统更新解析组件,都可能改变结果。建立变更触发清单,确认哪些变化需要重跑参考样本、复核字段和下游动作;如果变化影响事实定义,应先由业务负责人重新批准标准。
复核完成后记录验证范围、未覆盖的输入和批准人。若暂时无法复核,限制新格式的自动使用并保留人工核对,不要为了保持自动化覆盖率而绕过事实确认。
常见问题
提取结果给出了来源页码,就能不再人工核对吗?
不能直接这样推断。先核实页码和原文确实对应,并检查表格上下文、版本和限定语。
文件里没有某个字段,可以让模型按常见值补齐吗?
不应自动补值。应保留缺失状态或标记待确认,由资料责任人决定如何处理。