大数据仓库培训：大数据仓库架构设计

在大数据系统平台当中，支持大数据存储的，除了数据库之外，还有数据仓库。数据仓库，主要的价值在于将不同的数据集集中到一个大的系统当中来，从而实现更高效的应用。今天的大数据仓库培训内容分享，我们主要来讲讲大数据仓库架构设计。

在实际业务当中，企业级数据仓库，往往由专门的数据团队（或称为数据中心）负责集中式的数据管理和维护。


数据量的惊人增长，已经使用了20余年的传统数据库再也无法支撑起新的存储需求了，所以有了分布式存储技术，通过自动调配上万台服务器协同工作，能完成高性能和高可靠的数据存储任务，为大数据的运用铺平了道路。

大数据数据仓库建设的整体架构，包括不同的结构层次：

数据源：数据来源，互联网公司的数据来源随着公司的规模扩张而呈递增趋势，同时自不同的业务源，比如埋点采集，客户上报，API等。

ODS层：数据仓库源头系统的数据表通常会原封不动地存储一份，这称为ODS层，ODS层也经常会被称为准备区。这一层做的工作是贴源，而这些数据和源系统的数据是同构，一般对这些数据分为全量更新和增量更新，通常在贴源的过程中会做一些简单的清洗。

DW层：数据仓库明细层和数据仓库汇总层是数据仓库的主题内容。将一些数据关联的日期进行拆分，使得其更具体的分类，一般拆分成年、月、日，而ODS层到DW层的ETL脚本会根据业务需求对数据进行清洗、设计，如果没有业务需求，则根据源系统的数据结构和未来的规划去做处理，对这层的数据要求是一致、准确、尽量建立数据的完整性。

DWS层：应用层汇总层，主要是将DWD和DWS的明细数据在hadoop平台进行汇总，然后将产生的结果同步到DWS数据库，提供给各个应用。

DA应用层：

①业务产品CRM、ERP等，业务产品所使用的数据，已经存在于数据共享层，直接从数据共享层访问即可；

②报表FineReport、业务报表，同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；

③即席查询即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；

④OLAP：目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；

⑤其它数据接口：这种接口有通用的，有定制的。比如一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。

关于大数据仓库培训，大数据仓库架构设计，以上就为大家做了一个简单的介绍了。在大数据系统架构当中，对数据存储提供支持的数据仓库，可以说是非常重要的一环，值得重视。加米谷大数据，成都大数据培训机构，高级大数据工程师培训班，本月正在招生中，课程大纲及试听课程可联系客服获取！