AI 工作流要不要大小模型分工？先算错路由的代价

先问路由要解决哪一种成本

团队讨论模型分工时，容易先画一张“轻任务—小模型、重任务—大模型”的流程图。但实际流程里，判断任务难度本身也会产生错误：本应升级的案例被判断为简单，重要风险被交给能力不匹配的路径；原本适合快速处理的输入又被一律升级，增加费用和等待。路由要回答的不是哪种模型更先进，而是分流能否在可接受的错误与运营成本下改善当前任务。

先明确可量化的目标：减少哪类人工复核、缩短哪段等待、控制哪项调用成本，或者降低某类错误。每个目标都需要护栏。例如成本下降不能以漏掉高风险案例为代价；回答更完整也不能让未经证实的判断进入客户回复。没有现成数据时，把它写成待验证假设，不要预先宣称节省比例。

先做任务卡，再挑模型

把一个真实任务写成输入、输出、允许的资料、禁止推断项和验收动作。例如供应商文档检查可以拆成识别文件类型、提取字段、定位原文、发现缺项、交给责任人确认。这里并非断言知客云已部署这类系统，而是说明任何业务试验都要能复现输入和验收口径。

为任务建立一份受控样本集，覆盖常见输入、边界案例、格式变化、缺项、矛盾信息和必须拒绝猜测的情况。样本须从真实工作中经批准脱敏，或用清楚标注的合成样例；不能把一个随手写的演示输入当成代表性客户数据。先让负责业务的人给出参考答案或可接受范围，再让每个候选模型处理相同样本。

Anthropic 的模型选择说明建议先基于具体使用场景建立评估集，用实际提示和数据比较质量、边界处理及成本。该方法可迁移为团队评估步骤，但厂商的型号、能力说明和价格随时间变化，部署前须核对当前模型文档、访问范围和实际计费方式。

把路由逻辑变成可解释的条件

不要先让一个模型自由判断另一个模型该不该接手。优先使用能由业务负责人复核的信号：文档类型是否在允许清单内、字段是否缺失、输入长度是否超过当前路径、输出是否通过结构校验、是否涉及必须人工决定的内容。若需要由模型判断置信度或复杂度，先用历史样本验证这个信号，记录误升级与漏升级各自的后果。

画出三条路径：正常完成、升级处理、停止并转人工。每条都要写触发条件、输出状态、负责角色和回退方式。比如模型无法定位依据时，不应通过追加措辞让它猜；可以返回“缺少原文位置”并把任务交给材料负责人。需要写入外部系统、发出消息或改变业务状态时，必须另外定义人工确认节点与授权范围。

如果路由的依据不稳定，或者错误难以被发现，先用单一路径加人工复核收集样本，不要为了自动化先叠加模型调用。路由层也会增加故障点和维护任务。

按全流程成本而非单次调用比较

比较时至少列出：模型调用费用、输入输出长度、路由判断调用、重试、人工复核时间、返工、失败后恢复，以及日志和监控的维护成本。多模型方案的费用不等于两个模型标价相加：实际需要按现行价格、真实请求和被升级比例计算；小样本只用于观察，不足以推导稳定月成本。

同时保留质量侧指标：关键字段正确性、证据定位成功率、未确认内容被错误写成事实的次数、需要人工修订的比例，以及升级/停止路径是否符合预定条件。对于高后果错误，先设硬门槛；不能把质量分和费用分加权后，让高风险失误被低价格抵消。

观察结果时把总样本、分组条件、模型版本、提示版本、评估日期和人工标签保留下来。若结果差异只出现在少数边界案例，应说明具体范围；不要把平均数改写成对所有输入都有效。

把候选路线做成能复核的对照实验

可以把同一组输入交给单模型基线和候选路由各跑一次，先固定提示、资料版本和输出格式。对照表不要只记“回答更好”，而要分别标注：是否完成任务、是否引用了可追溯材料、是否把未知标清、是否需要人工修正，以及错误属于哪种影响。评审人先按同一套标准独立标注，再记录分歧由谁裁定。

有些业务风险不能通过多测几条普通输入消除。比如工具权限或对外发送动作，应将授权边界设成硬门槛；文本流畅度、摘要完整度只能在该门槛通过后比较。若输入数据会随季节、产品版本或地区变化，样本里要包含这些条件，否则测试结论仅适用于当前材料。

试运行可以先限定在人工可回查、可撤回的步骤，并保留回到原流程的开关。到复查日期时比较实际升级率、误分流、需要补录的情况和人工负担。如果评估结果没有覆盖错误后果或团队无法确认样本是否适用，就延长试验或停止路由，而不是用一个整体分数宣告成功。

一张决定卡支持是否上线

决定卡记录：任务边界；样本来源和去标识方式；各路径的模型与版本；路由信号；质量和成本的定义；人工复核对象；升级、停止和回退方式；数据访问与保留条件；试运行负责人；复查日期。上线后若改提示、模型版本、输入结构、路由阈值或业务流程，应判断是否重跑相关测试。

用这些条件作三选一决定：保持单模型、进行范围受限的路由试验、或暂不自动分流。即使实验结果支持路由，也只是当前任务、样本和配置下的证据；不能直接推广到其他行业或工作流。若评估成本、风险与维护成本不值得，清楚记录继续用人工或单模型也可以是有效结论。

明确什么时候升级、停止与复查

路由规则需说明升级条件如何设定、谁维护、失败时如何回退，以及何时重新评估。不要复制另一家企业的阈值；先用本任务样本识别风险边界，并让业务负责人决定哪些情况必须人工处理。若模型版本或供应商价格变化，应重新核查评估，不要默认旧结论仍有效。

日志只保留复核需要的上下文，并限制可访问范围。记录模型、提示、样本版本、路由选择和复核结果时，避免把客户姓名、完整对话或敏感文件内容写入无关系统。试验结束后由责任人决定保留、删除或归档样本。

用路由矩阵写清每条路径的代价

可以把任务条件放在行，把候选路径放在列：单模型处理、升级到更强模型、停止并交人工。每个格子记录预期输出、必需证据、失败处理、估算等待和核查责任人。矩阵不需要复杂评分公式，关键是让业务负责人能指出哪些输入可以安全自动处理，哪些输入必须停下来确认。若某种情况无法判断，就保留“未知”出口，不把它硬塞入成功路径。

再从近期实际工作里抽样回看路由判断。对错分的案例追问：当时系统看到什么信号、该信号是否能从输入稳定获得、错误在进入下游前能否被发现、补救需要谁投入多少时间。把这些发现变成下一轮测试条件，而不是只调整一个阈值后宣布问题解决。样本量有限时，把结论表述为本轮观察，不延伸到其他产品或团队。