这两年,数据圈有一个挺明显的变化。以前聊数仓,张口就是 ODS、DWD、DWS、ADS;现在大家讨论的却越来越多是:语义层、指标平台、Data Agent、AI 问数、智能分析。
于是一个问题也跟着冒出来:既然 AI 已经可以理解数据库、自动写 SQL、生成分析结论,那企业还有必要一层一层建数仓吗?甚至有人觉得,以后直接让大模型连接 ERP、CRM、MES、WMS 就行了——数据在哪,Agent 自己找;表怎么 Join,Agent 自己写;指标怎么算,也让 Agent 自己判断。听起来确实省事。
但真正放到企业环境里,很快就会发现:AI 解决的是"怎么更方便地使用数据",并没有自动解决"数据本身是否可信"。而这恰恰是数据仓库存在这么多年的根本原因。
一、为什么以前一定要做 ODS、DWD、DWS、ADS?
企业为什么不直接拿 ERP 数据库做分析?因为业务系统从一开始就不是为了分析设计的。ERP 负责交易和财务记账,CRM 负责客户。这些系统首先解决的是"业务怎么跑",而不是"以后怎么分析"。
所以,同一个客户,在 CRM 和 ERP 里可能有不同编码;同一个"销售额",销售、财务、经营分析可能各有一套口径;退款、取消订单、税额、折扣、跨期确认等规则,也散落在不同系统里。如果直接拿这些源数据分析,很快就会乱。
于是传统数仓做了一件非常重要的事:把面向交易的数据,重新组织成面向分析的数据。
经典四层其实很好理解。ODS 负责接数据——ERP、CRM、MES、WMS 等业务系统的数据先进入数仓,尽可能保留原始状态。DWD 负责把业务事实整理清楚——统一编码、字段、状态、业务粒度,把订单、客户、产品、库存等基础数据清洗干净。DWS 负责沉淀可复用的数据能力——比如客户销售、商品销售、库存周转、生产效率。ADS 再面向具体应用——经营分析、销售日报、财务看板、供应链驾驶舱,各取所需。
所以传统数仓真正解决的,从来不只是存储问题,而是:把分散、混乱的业务数据,加工成可以反复使用的分析资产。
二、但现在的问题是:很多企业把"分层"做成了规定动作
传统四层架构当然有价值。问题是,很多企业后来开始机械分层。一张源表进来:ODS 建一张,DWD 复制一张,DWS 再汇总一张,ADS 继续建一张。业务需求改一下,上面几层一起改。最后数仓里几千张表,没人说得清哪些还在用、哪些已经废弃。甚至报表下线三年了,对应的 ADS 任务还每天凌晨照常跑。
这时候,分层本来是为了降低复杂度,结果反而制造了新的复杂度。
所以现在越来越多团队开始重新思考:是不是所有数据都必须机械地走完 ODS、DWD、DWS、ADS?显然不是。真正应该保留下来的,其实是分层背后的能力:原始数据可追溯、业务事实统一、公共数据可复用、指标结果可验证。至于最终到底三层、四层还是五层,并不是重点。
三、AI 真正冲击的,可能首先是 ADS 层
ADS 为什么会越来越多?因为过去每出现一个新的分析需求,数据开发往往都要重新走一遍:写 SQL → 建结果表 → 配调度 → 接报表。销售部门要一套,财务部门要一套,供应链再来一套。业务换个分析维度,又重新建一张。于是数仓越往上走,数据越定制。
但 AI 分析出现之后,这套模式正在发生变化。比如业务突然问"为什么最近核心产品毛利一直在掉",过去可能要专门准备产品收入、成本、渠道、客户、折扣、退款等数据,再做一套分析。但如果底层已经有稳定的事实数据和统一指标,Agent 完全可以根据问题动态组织查询:毛利下降 → 拆收入和成本 → 定位产品 → 下钻渠道 → 继续追客户和订单。
这时候,就没必要每出现一个分析问题,都提前固化成一张 ADS 表。所以未来最可能被压缩的,不一定是 ODS 和 DWD,而是大量为了固定报表和临时需求反复建设的应用层数据。
四、但 AI 越强,底层数据反而越不能乱
这是很多人容易忽略的一点。现在让大模型写 SQL 已经不难了,真正难的是:它到底该用哪张表?"销售收入"取订单金额还是财务确认收入?退款算不算?取消订单怎么算?客户到底按签约主体还是付款主体统计?毛利成本用标准成本还是实际成本?
这些都不是 SQL 问题,而是企业内部的业务规则和数据语义问题。如果底层本来就乱,让 AI 直接面对几百张表、几万个字段,并不会自动变聪明。很可能只是把过去"人找错表",升级成"AI 自动找错表",而且速度还更快。
所以 AI 时代,数据仓库里的公共明细层、统一维度、稳定事实数据,反而更加重要。因为未来这套数据不只是给报表用,还要给 AI 用。
五、数仓真正的第一关,还是先把数据稳定接进来
不管上层是传统 BI 还是 Data Agent,有一个前提始终没变:数据得先到。现实中的企业数据往往散落在 Oracle、MySQL、SQL Server、ERP、MES、CRM、WMS,以及文件、API 和各种异构系统里。
而且数仓建设也不是做一次全量迁移就结束了,后面还要持续面对:新增订单怎么同步?库存变化怎么增量更新?源表结构变了怎么办?几十个系统的数据怎么长期稳定跑?实时数据和离线数据怎么衔接?
所以数仓建设真正麻烦的第一步,往往不是建 ODS,而是:怎么让上游数据持续、稳定地进入数仓。
实际落地时,这一段通常需要一套数据集成工具来承接。比如用 FineDataLink 把 ERP、CRM、MES、WMS 以及不同数据库中的业务数据持续同步到数仓,在同步过程中完成全量/增量抽取、字段转换和必要的数据处理;对于实时性要求更高的场景,还可以通过 CDC、实时任务等方式持续获取业务变化。
等数据先稳定汇到一起之后,再去做 DWD 清洗、公共模型和上层语义建设,整个链路会清晰很多。所以从这个角度看,AI 并没有绕开传统数据集成。恰恰相反:上层越智能,对底层数据链路的稳定性要求反而越高。
六、四层架构真正会变化的,是"语义层"开始变重要
传统数仓主要解决"数据怎么组织",但到了 AI 时代,还要进一步回答:这些数据到底是什么意思。这就是语义层越来越重要的原因。
数据库里可能存在 order_amt、pay_amt、settle_amt、income_amt,开发人员看字段还能大概猜一下。但业务真正理解的是:订单金额、实付金额、结算金额、确认收入。
再往前一步,还需要告诉 AI:销售收入怎么算?毛利怎么算?客户有哪些层级?哪些指标可以按产品、渠道、区域下钻?不同角色能够看到哪些数据?这些都属于业务语义。
所以未来数仓上面,很可能会多出一个越来越重要的层次:事实数据 → 统一指标与语义 → AI 理解与分析。数据仓库负责把事实做好,语义层负责告诉系统这些事实代表什么,AI 再负责怎么把它们用起来。
七、未来的企业数据架构,可能会从"四层"变成"三段"
如果不再机械强调 ODS、DWD、DWS、ADS,未来更容易理解的方式,是把企业数据架构拆成三部分。
第一部分:数据底座。 包括数据采集、数据集成、CDC、ETL/ELT、清洗、建模、实时同步、历史数据管理。这一层解决的就是:数据有没有、准不准、能不能稳定拿到。像 FineDataLink 这类数据集成平台,本质上就是在这一层把分散在不同业务系统中的数据先连接起来。链路可以理解为:ERP / CRM / MES / WMS / 数据库 → FineDataLink → 数仓 / 湖仓,先把数据流转这件事解决。
第二部分:业务语义。 在稳定的数据基础上进一步沉淀指标体系、维度关系、业务实体、指标口径、权限和血缘。解决的是:这些数据到底代表什么。
第三部分:智能消费。 最上面才是 BI、Data Agent、AI 问数、异常分析、归因分析、预测和经营决策。解决的是:怎么让更多人更低门槛地使用数据。
所以未来完整的数据链路更像:业务系统 → 数据集成 → 数仓/湖仓 → 业务语义 → BI / Data Agent / AI 应用。这其实比单纯纠结"到底分几层",更接近企业未来真正的数据架构。
八、AI 时代最危险的做法,是直接让 Agent 连生产库
从技术上来说,当然可以。连 Oracle,读取 Schema,然后问"分析一下最近三个月销量下降的原因",Agent 自动写 SQL、执行、生成图表。Demo 效果可能非常惊艳。
但真正进入企业,很快就会遇到问题:表太多,字段没人解释,指标口径冲突,历史数据不完整,生产库性能压力,跨系统数据无法直接关联,权限复杂,SQL 执行风险。更重要的是:没人敢保证答案一定对。
所以直接连生产数据库更适合开发辅助、小范围探索和部分实时明细查询。如果要真正支撑企业经营分析,数据还是应该先经过稳定的数据集成链路进入数仓或数据平台。
比如把 ERP 订单、CRM 客户、MES 生产、WMS 库存等数据先通过 FineDataLink 持续同步到统一平台,再在这个基础上清洗、建模和统一口径。这样 Data Agent 面对的,就不再是几十套彼此割裂的业务系统,而是一套已经整理过的数据事实。这两种模式的可靠性完全不是一个量级。
九、AI 时代,评价一套数仓的标准也该变了
过去大家评价数仓,喜欢看:有多少层、多少张表、多少主题域、多少 TB 数据。这些当然重要。但 AI 时代更应该问的是:AI 能不能理解这套数据?指标有没有统一定义?表之间的业务关系是否清晰?字段有没有业务含义?数据能不能追溯来源?结果能不能验证?上游数据变化能不能持续同步?
如果源系统今天产生一笔新订单,数据几个小时以后才进入数仓,那上面的 AI 再智能,也不可能给出真正实时的判断。
所以未来数仓竞争的可能不再只是"建模能力",还包括:数据集成效率、数据质量、语义统一和智能消费能力。
写在最后
所以回到最开始的问题:AI 时代还需要分层数仓吗?需要。但可能不再需要过去那种机械的 ODS → DWD → DWS → ADS,每条数据都完整走四层。
与此同时,数仓上面会越来越重视语义层 + Data Agent + 智能分析,而数仓下面的数据集成也不会消失。无论最终用的是传统 BI 还是 AI Agent,ERP、CRM、MES、WMS 里的数据都得先稳定流出来。像 FineDataLink 这样的数据集成平台,解决的就是这条链路最基础但也最容易被低估的问题:怎么把分散的数据持续、稳定地汇到一起。
所以 AI 时代真正变化的,并不是"数仓还要不要建",而是:数仓应该怎么建,才能既让人用,也让 AI 用。
未来企业数据架构真正值得关注的,可能不再是"到底四层还是五层",而是:底层数据能不能稳定流动,中间语义能不能统一,上层 AI 能不能正确理解。这才是从传统分层数仓走向"语义 + 智能"架构真正的变化。