编辑导语：盘点仓库是我们保存大量历史数据的重要工具。那么，仓库为什么要分层呢？如何分层？从多个仓库分层的原因、常见的多个仓库分层模型和多个仓库分层的实践三个方面详细介绍了多个仓库的分层。过来读一下。

一、仓库数量为什么要分层？也就是说，分层的好处体现在以下几个方面

1.分层是一种以空间换时间的操作。我们知道数据仓库一般用来存储大量的历史数据，可能是业务数据，也可能是日志数据。

由于数据量大，如果直接查询数据仓库中的原始数据所需的表数和底层文件数多，反映在我们的日常工作中就是SQL极其复杂，连join和union加在一起都不够，导致一个直接后果就是SQL运行缓慢，甚至结果都跑不出来或者报错。

分层需要做的是对原始数据重新进行总结和整理，以不同的粒度抽象出不同层次的数据或指标。

分层后，同一指标可能会反映在不同的数据层，这似乎是& quot重复& quot，但这种重复是一个& quot不完整& quot重复，因为每一级的指标粒度并不完全一致。

这种不完全重复的直接好处就是SQL编写大大简化，SQL计算耗时大大减少。

有人可能会质疑这样会增加存储成本，但与直接收益相比，这个成本是可以接受的。毕竟谁也不想被反复dis:为什么我要的号还没出来？

2.分层有助于减少重复开发。分层对最常用、最通用的数据模型和指标进行抽象和总结，经过这样的处理，生成可以满足大多数业务场景需求的数据表和指标。

这些表格和指标类似于程序开发中常见的模块和接口，下游用户在使用时不需要从头开发，直接使用即可。

这样既减少了重复开发，又实现了数据和指标的统一。

3.分层可以简化复杂的问题。例如，当大多数分析师刚到一家新公司时，他们经常被迫接手一个甚至长达数千行的祖传SQL代码。里面有太多的join和uoion，嵌套的子查询更是剪不断理还乱。

在这种情况下，不了解的小白会觉得这个前辈很牛逼，能写出这么长的SQL，甚至会觉得自己很幸运能学会这么牛逼的SQL。

但实际情况往往是仓数不合理或者一开始就没有仓数。所有的逻辑都要从底层表开始计算，这个时候并不复杂。

多仓库分层要做的一部分工作就是对这个又臭又长的SQL进行反汇编和预处理。一方面是对上面提到的通用数据和指标进行分类和预计算，另一方面是对多仓库的ETL中的JOIN、UNION等复杂操作进行拆解。

这就是所谓的复杂问题的简单化。

4.分层带来更高的数据安全性。数据分层后，每一层的表宽和索引粒度都不一样，这样就可以针对不同的对象打开不同级别的数据。

不需要关心详细数据的对方直接开放高聚合的数据，避免底层详细敏感数据的泄露。

此外，还可以在分级处理时对一些敏感字段进行删除、脱敏和加密，避免由于安全控制细化不够导致数据使用权限大于应用权限。

分层的其他好处还包括数据更加规范有条理，数据血缘更加清晰，数据表和指标的统一等等。

二、常用的几个仓库的层次模型我们以阿里的几个仓库的架构图为例来说明常用的几个仓库的层次模型。

阿里的整体数据分为五层，分别是ODS、DWD、DIM、DWS和ADS。下面分别介绍一下。

ODS(OperationDataStore)层,中文通常有两个名字，即源数据层和操作数据层。

前者是基于与数据源的关系，也就是说这一层的数据与数据源的数据是一致的，所以称为附属源数据层。

后者是基于数据生成的层面，也就是说，这一层数据是由公司内部发生的一系列业务行为形成的，所以称之为运营数据层。

我们可以看到，无论使用哪个名称，都体现了与源数据的一致性。

因此，这一层的数据一般与业务库中的数据一致，也就是说，这一层的数据来自业务mysql、oracle等库或日志，同步时不对数据进行处理，以保证与源数据的一致性。

这层楼是最基本也是最重要的一层，就像一栋楼的地基一样。基础不牢，级别越高越不稳。

DWD（DataWarehouseDetail）,中文称为详细数据层。

该层在保持与原表相同粒度的基础上，按照业务流程从ODS数据中剔除脏数据，按照业务流程对表进行分类和关联，通过ETL获得业务流程对应的事实表。

通常在实际业务中，按照维度建模的方式，

需要特别提醒的是这一层的数据在粒度上仍然是明细数据，是没有进行聚合的，只是表变得更宽了些。

DIM(Dimension)，中文称之为维度数据层。

这一层其实是与DWD平行的一个层级，是对业务中常用维度的建模和抽象，例如常见的地域维度，日期维度，商品品类SKU等维度。所谓的维度也即是我们看数据和分析数据的一种习惯和视角。

这一层通常存储的是完整的维度key和维度的名称，而事实表中通常存储的是维度key的字段。

DWS（DataWarehouseService），直译为数据服务层，我们通常称其为汇总数据层。

这一层的数据来源基本上都是DWD和DIM，通常是把DWD中的事实表的key和DIM中的维度key关联，然后对事实按照更高的维度进行上卷的聚合操作，得到在某一维度或者多个维度上的汇总数据或指标。

需要提醒的是数据在这一层发生了粒度变化，不再是明细的数据，而是聚合后的数据，这也是这一层别称之为汇总数据层的原因。

ADS（ApplicationDataService），直译应用数据服务层，也就是我们通常说的应用层或者指标层。

这一层的数据来源可以是DWD层，也可以是DWS层，或者是二者的混合计算。

这一层的数据也是聚合后的数据。

那么它与DWS层的区别是什么呢？

DWS通常是对明细数据按照常用的维度所做的较低维度的聚合汇总，而ADS层通常是面向具体应用（报表、接口等）的较高维度的数据指标的聚合汇总。

举一个不是特别恰当但是很能说明问题的栗子，DWD的10条数据可能在DWS中聚合成了5条，但是在ADS中可能被聚合成了1条，所以二者的聚合度是不一致的。

不过也可能存在二者的聚合度一致，但此时ADS层的表中的字段更多或者更少，这也是体现了其面向具体应用的含义。

以上是阿里数仓的主要分层，抛开具体的层次名称，一般意义上数仓可分为三个大的层次，分别是原始数据层，也就是数仓中数据的来源。

清洗处理层，也就是对原始数据经过各种操作后形成的数据。

面向应用层，也就是说是针对单个特定的数据需求清洗而形成的数据。

明白了这层含义，我也就不用再解释其他一些诸如DWM,FACT,DW,DM等的写法和叫法了，这些都只是表象，核心还是上面说的三层的本质。