区域经理和总部分析师问同一句“渠道转化怎么样”,合法答案可能完全不同。即使数据库查询做了行级过滤,缓存、导出文件或报告分享仍可能把总部数据交给区域用户。
治理不能是一段“请勿泄露敏感信息”的系统提示词。它必须贯穿资产发现、模型上下文、工具调用、执行环境、结果交付和业务动作,并由模型无法覆盖的可信系统强制实施。
模型可以解释策略、请求审批和说明拒绝原因,但不能自行授予权限,也不能用“任务很重要”覆盖拒绝决定。
先画清资产、主体和信任边界
保护对象不只有原始表。字段说明、向量索引、查询结果、缓存、检查点、日志、图表和下载文件都可能泄露数据。主体包括最终用户、Agent 服务身份、数据平台身份、审批人、接收者与连接器供应方。
对每条链路都回答:谁发起、代表谁、读取或改变什么、用途是什么、在哪里运行、结果交给谁。外部文档、网页、数据库文本和子 Agent 消息都属于不可信输入;进入上下文不会让它们获得调用工具或修改策略的权力。
身份需要贯穿整条调用链
优先保留最终用户的权限范围。必须使用服务身份时,按租户、业务域、用途和动作缩小能力,并明确由哪个组件实施用户级限制。连接器能够登录,不等于每个用户都有权查看它连接的数据。
授权输入至少包括主体、租户、资源、字段/行范围、动作、用途、环境、风险等级和策略版本。策略服务返回允许、拒绝或需审批以及有效范围;凭证由服务端管理,不进入提示词。
Microsoft Fabric Data Agent 的分享与权限文档明确区分 Agent 访问与底层数据权限,并继续实施行列级安全。这支持一个普遍原则:入口分享不能替代源数据授权。
缓存和交付是最容易遗漏的出口
缓存键不能只有问题文本。至少要绑定租户、有效权限范围、语义版本、数据版本和策略版本,撤权后立即失效。命中缓存仍要授权,否则总部用户的答案可能被区域用户复用。
“分析师能看”也不代表“报告接收者能看”。导出前按实际接收者检查明细、聚合和小群体推断风险。删除文件中的敏感列,而不是仅在文件名上加“机密”。错误提示也不能泄露无权访问的表名、人员或字段。
提示注入与过度代理是两种风险
提示注入让不可信内容试图改变 Agent 行为;过度代理则是系统本来就暴露了过多工具、权限或自主性。没有注入,一个拥有删除权限的 Agent 也可能因普通判断错误造成事故。
OWASP 关于提示注入的指南强调组合防御:隔离不可信内容、最小权限、输入输出处理和高风险人工确认。把文档放进引号或再用一个模型检测,不构成安全边界。OWASP 关于 Excessive Agency则把过宽功能、权限和自主性列为风险来源。
实践上应把只读查询、写回和对外发送拆成不同能力,只注册任务必要的工具,限制目标和参数。内容检测提供信号,工具网关负责强制拒绝。
审批必须绑定实际动作
不要让审批人只看到“优化投放策略”这种摘要。高影响动作应展示目标对象、参数、数据范围、接收者、依据、预计影响、成本、回滚或补偿方法和有效期。任何实质变化都触发重新审批。
撤销也有真实边界。发送出去的邮件和被下载的文件通常不能保证收回,跨系统动作可能只能补偿而不能原子回滚。因此系统要区分:可事前阻断、可取消、可回滚、可补偿和不可逆。
审计与事件响应要能停止真实动作
审计应连接任务、用户、委派身份、资源、策略、审批、工具参数摘要、执行 ID、结果和接收者。普通日志避免凭证和敏感全文;高风险审计记录需要访问隔离、完整性保护、可靠时间与保留策略。
事件流程至少包括:发现 → 阻断新调用 → 吊销凭证或冻结任务 → 核对在途和已完成动作 → 保存必要证据 → 通知与修复 → 回归验证后恢复。停止聊天模型不会自动停止正在运行的数据库查询,必须在执行端确认取消。
上线前需要哪些证据
最低测试集应包括:
- 不同身份的资产发现、查询、缓存与导出隔离;
- 权限撤销后缓存、会话和长期任务是否失效;
- 用户输入、文档、OCR、数据库文本和工具响应中的间接提示注入;
- 未注册工具、参数扩张和审批绕过;
- 凭证是否出现在提示词、错误、日志或制品中;
- 高风险动作的参数级审批、幂等和状态回读;
- 下载与分享是否按接收者重新授权;
- 熔断、吊销和应急演练能否停止实际执行。
越权误放行率应独立报告,并作为上线阻断项。还要测合法请求误拒和审批负担,但不能靠放宽安全门禁改善体验。
NIST AI Risk Management Framework及其生成式 AI Profile可用于梳理责任、风险、测量和处置,但不会替组织自动满足法规,也不能取代技术控制。
治理成熟的标志不是列出多少政策,而是任何一次数据读取或业务动作都能回答:代表谁、为了什么、依据哪条策略、实际做了什么、结果交给谁、出了问题怎样阻断和追责。