大数据学习：数据仓库建模之范式建模
作者：张老师 浏览次数： 2021-01-28 17:39
在数据仓库领域，提起数据建模，范式建模作为一种经典的理论，其地位是不容小觑的。Inmon的范式建模理念，在传统业务的数据仓库建模当中，尤其受到青睐。今天的大数据学习分享，我们就来讲讲数据仓库建模之范式建模。
目前市面上已有的数据仓库模型有范式建模，维度建模，Data Vault 1.0+2.0，Anchor模型等，而使用最广泛的是Inmon的范式建模与Kimball的维度建模。
范式建模
Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。操作型或事务型系统的数据源，通过ETL抽取转换和加载到数据仓库的ODS层，然后通过ODS的数据建设原子数据的数据仓库EDW，EDW不是多维格式的，不方便上层应用做数据分析，所以需要通过汇总建设成多维格式的数据集市层。
优势：易于维护，高度集成；
劣势：结构死板，部署周期较长
范式建模分为三个主要的阶段：
高层建模
了解当前所有业务的关联实体，预判业务未来可能产生关系的实体，在企业业务角度对于实体合并主题，产出高度抽象的模型，包括主题的内容，主题的边界与主体之间的关系。
中层模型
在高层模型之下，对于每一主题确定主数据与其业务众多的属性，并确定在各个场景下能够关联的其他实体。
物理模型
在中层模型之下，基于不同的物理存储平台，基于平台特点设计物理属性，构建“a single source of truth”。
范式建模应用在EDW层
Inmon理论下结构就是：ODS、EDW和DM，也就是贴源层、主题模型层、共性加工层以及集市层。
（1）ODS（贴源层）：即这里存放的数据与原系统保持一致，将采集公司所有的系统产生的数据以及外部数据（包括合作数据以及爬虫获得的数据），将所采集的数据汇总到一起，供EDW和DM使用；
（2）EDW：这一层分为两个，即ADM（共性加工层）和FDM（主题模型层）。其中FDM将从ODS层不同系统不同表的字段进行分类，同一主题的字段都归为一类，目前流行的十大主题；ADM是加工一些共性的指标，指标从ODS或者FDM的字段加工来，这层主要供集市层使用；
（3）DM：数据集市层，这一层是将业务部门所关注的指标进行汇总，形成的数据，不同的业务部门可以形成不同的集市，具体情况可以视情况而定；集市层的架构可以细分为：基础层、汇总层和分析层。
总体来说，范式建模的缺点很明显，因为要求自顶向下构建，对于设计者要求非常高，同样对于后续管理者也要求很高；完成大量的实体表与大量的关联关系非常耗时，也不能快速的产出业务价值，尤其是在起步的阶段很容易被质疑。
但是范式建模并非一无是处，完整的范式建模数据冗余度非常小，那么意味着有更小的数据更新风险，包括逻辑断层；不论是在业务源变更或需求变更下都更加健壮。如果企业业务发展已经非常稳定，对于数据的稳定性要求非常高，那么可以尝试一下范式建模。
关于大数据学习，数据仓库建模之范式建模，以上就为大家做了简单的介绍了。在大数据学习阶段，数据仓库是需要重点理解和掌握的一部分，而数仓建模更是其中的核心环节之一。成都加米谷大数据，专业大数据培训机构，大数据开发、数据分析挖掘，零基础班本月正在招生中，课程大纲及学习视频可联系客服获取！
目前市面上已有的数据仓库模型有范式建模，维度建模，Data Vault 1.0+2.0，Anchor模型等，而使用最广泛的是Inmon的范式建模与Kimball的维度建模。
范式建模
Inmon提出的集线器的自上而下（EDW-DM）的数据仓库架构。操作型或事务型系统的数据源，通过ETL抽取转换和加载到数据仓库的ODS层，然后通过ODS的数据建设原子数据的数据仓库EDW，EDW不是多维格式的，不方便上层应用做数据分析，所以需要通过汇总建设成多维格式的数据集市层。
优势：易于维护，高度集成；
劣势：结构死板，部署周期较长
范式建模分为三个主要的阶段：
高层建模
了解当前所有业务的关联实体，预判业务未来可能产生关系的实体，在企业业务角度对于实体合并主题，产出高度抽象的模型，包括主题的内容，主题的边界与主体之间的关系。
中层模型
在高层模型之下，对于每一主题确定主数据与其业务众多的属性，并确定在各个场景下能够关联的其他实体。
物理模型
在中层模型之下，基于不同的物理存储平台，基于平台特点设计物理属性，构建“a single source of truth”。
范式建模应用在EDW层
Inmon理论下结构就是：ODS、EDW和DM，也就是贴源层、主题模型层、共性加工层以及集市层。
（1）ODS（贴源层）：即这里存放的数据与原系统保持一致，将采集公司所有的系统产生的数据以及外部数据（包括合作数据以及爬虫获得的数据），将所采集的数据汇总到一起，供EDW和DM使用；
（2）EDW：这一层分为两个，即ADM（共性加工层）和FDM（主题模型层）。其中FDM将从ODS层不同系统不同表的字段进行分类，同一主题的字段都归为一类，目前流行的十大主题；ADM是加工一些共性的指标，指标从ODS或者FDM的字段加工来，这层主要供集市层使用；
（3）DM：数据集市层，这一层是将业务部门所关注的指标进行汇总，形成的数据，不同的业务部门可以形成不同的集市，具体情况可以视情况而定；集市层的架构可以细分为：基础层、汇总层和分析层。
总体来说，范式建模的缺点很明显，因为要求自顶向下构建，对于设计者要求非常高，同样对于后续管理者也要求很高；完成大量的实体表与大量的关联关系非常耗时，也不能快速的产出业务价值，尤其是在起步的阶段很容易被质疑。
但是范式建模并非一无是处，完整的范式建模数据冗余度非常小，那么意味着有更小的数据更新风险，包括逻辑断层；不论是在业务源变更或需求变更下都更加健壮。如果企业业务发展已经非常稳定，对于数据的稳定性要求非常高，那么可以尝试一下范式建模。
关于大数据学习，数据仓库建模之范式建模，以上就为大家做了简单的介绍了。在大数据学习阶段，数据仓库是需要重点理解和掌握的一部分，而数仓建模更是其中的核心环节之一。成都加米谷大数据，专业大数据培训机构，大数据开发、数据分析挖掘，零基础班本月正在招生中，课程大纲及学习视频可联系客服获取！
