技术

企业落地 Data Agent,第一步不是选模型

从窄业务域、真实任务集、只读 POC 到影子运行和有限生产,建立一条以证据门禁逐步转移责任的企业 Data Agent 落地路线。

技术 #Data Agent#企业落地#POC#Golden Dataset#数据治理#变更管理

企业做 Data Agent,第一步往往不是选最强模型,也不是搭多 Agent。先找一段频繁发生、答案可复核、失败影响可控的工作,把“做对了长什么样”写清楚。否则 Demo 再顺,上线后也没人知道它是否值得信任。

落地过程可以理解为逐步转移责任:每向生产前进一步,Agent 多接手一项工作,团队就要补一份证据和一条回退路径。

企业 Data Agent 从窄业务域到规模化的六阶段路线

选择第一站:高频、可验证、低风险

合适的首个任务通常具备:有人反复完成,有历史问题和人工结果;口径有负责人,关键数字能复算;以只读为主,失败可转人工,不直接改变生产系统。

例如每周净收入复盘,比“自动发现全公司经营问题”更适合试点。前者可以固定身份、指标、时间、来源和交付物,后者连完成定义都很难写清楚。

先写任务卡,不急着写 Prompt

任务卡至少包含:

  • 谁发起,支持哪项决定,最终由谁负责;
  • 使用哪些数据与指标版本,时间、粒度、退款和去重规则;
  • 允许读取和禁止访问的资产,是否允许代码、文件和外部工具;
  • 期望产物、关键证据、允许误差和必须拒答的条件;
  • 最大延迟、扫描量、模型/工具预算和人工接管点;
  • 失败、取消、权限撤销和版本回退路径。

Prompt 只是实现细节。任务卡才是业务、数据、工程、安全和评测可以共同签字的契约。

建立真实任务集

从 20–50 个真实高频任务起步,再派生不同问法、角色和边界样本。不要只准备系统知道答案的正常题,还要加入:

  • 指标歧义和定义冲突,系统应澄清;
  • 数据迟到、来源缺失和空集,系统应保留未知;
  • 同名测试表和过期报表,系统应排除;
  • 无权限、敏感字段和外发请求,系统应拒绝;
  • 查询超时、工具故障和状态未知,系统应安全恢复;
  • 相关性被要求写成因果结论,系统应说明证据不足。

近重复样本应分组切分,避免同一个模板同时出现在开发和测试中。

六个阶段与门禁

1. 范围定义

业务 Owner 确认任务、人工基线、价值假设和不可接受的错误。数据团队确认口径与来源;安全团队确认身份和风险边界。

2. 只读 POC

接入最小数据范围和语义资产,在沙箱中保存查询、代码、上下文和验证轨迹。先证明系统能稳定找对数据、算对指标、知道何时停。

3. 离线回归

固定快照,按任务切片评分。红线错误独立阻断;质量、延迟、成本和人工复核分别报告。任何模型、语义或工具变更都重新跑核心集。

4. 影子运行

处理真实请求,但结果不直接交给用户,不产生业务动作。对比人工结果,发现分布漂移、权限、数据水位和长尾成本问题。

5. 有限生产

只开放明确用户、任务和数据域;保留人工入口、速率和预算上限、熔断开关。先交付只读结果或草稿,高影响动作继续人工执行。

6. 规模化

达到稳定门禁后再扩数据域、用户和动作。每次扩张都视为新风险边界,需要新的任务集和回归,而不是复用一次 POC 结论。

上线门禁不要只看平均正确率

红线门禁包括越权、泄密、危险写入、错误接收者和无法停止的副作用,一次有效触发就应阻断对应版本或能力。

质量门禁看关键任务成功、口径错误、证据支持、拒答和人工修改。运营门禁看 p95 延迟、单位任务成本、人工接管、故障恢复和审计完整性。

阈值来自业务风险和人工基线,不存在通用的“90% 就能上线”。财务报送和探索性分析允许的错误不同。

组织责任必须长期存在

业务负责人维护任务优先级、指标口径与可接受错误;数据负责人维护来源、语义和质量;工程/评测负责人维护版本、轨迹、回归和故障归因;安全/运维负责人维护权限、红线、灰度停止和事件恢复。

如果某个任务没有 Owner,它不适合交给 Agent 自主运行。上线也不是项目终点:数据、口径、模型、工具和用户行为都会变化,黄金任务集必须持续更新。

先交付一个可信闭环

试点的成功标准不应是“能聊”“接了多少表”或“演示很惊艳”,而是一个真实任务在明确边界内反复完成,结果能复算,错误能被发现,成本可接受,失败有人接手。

当团队证明了这一点,再把更多责任交给 Agent。企业落地不是一次技术发布,而是一系列有证据支撑的责任转移。