AI WORKFLOW NOTES
资料权限撤销后,怎样验证 AI 检索不再返回旧索引内容?
从源站撤权、同步队列、缓存和检索结果四处设计验证,检查权限变化是否传递到 AI 检索流程。
核对资料权限传播
用户失去资料访问权限后,检索系统仍可能保留旧索引、摘要或缓存。是否会发生取决于架构、同步机制和访问控制实现,不能仅凭“定期同步”或“权限继承”宣称已解决。验收时要验证从源系统改变权限到 AI 查询行为变化的整条链路。
画出权限传播链路
先绘制资料源、连接器、索引、缓存、检索 API、应用身份和模型上下文流向。明确每一步用谁的身份授权:索引时使用服务账号还是个人账号?查询时是按调用者权限过滤,还是返回后再过滤?权限撤销事件通过 webhook、轮询还是人工刷新传播?失败或延迟时采用什么默认行为?
用角色和资源验证撤权
准备测试资料与两个角色:角色甲可访问,角色乙不可访问。先确认甲能检索到资料、乙看不到;随后撤销甲权限,再观察同步状态、检索 API、缓存命中和最终生成上下文。记录从源站变更到拒绝访问的时间、是否还可通过别名或摘要检索,以及错误是否留有审计记录。只测试最终回答可能遗漏中间接口仍返回内容的风险。
应覆盖撤权、删除、从共享组移除、用户离职、连接器令牌过期、同步失败、缓存未命中/命中等情况。测试使用无敏感的合成文件,避免把真实秘密写入测试报告。若旧内容在延迟期仍可访问,应把该窗口与数据敏感度关联评估,并设定可接受目标与临时缓解办法。
控制设计可包括查询时授权过滤、及时处理撤权事件、缓存键绑定身份、索引删除/重建流程、失败关闭策略和周期性抽查。实际方案依赖架构,本文不指定某种产品功能。验收报告记录角色、资源、变更、请求、响应、时戳、索引版本和日志证据。权限映射变更后重跑同一用例,确认控制未回退。
常见问题
如何保留这类检查的复查证据?
记录被测版本、用户角色、输入样本、预期行为、实际结果、日志线索和未验证范围。