主页 > 新闻资讯 > 大数据培训:Apache Druid基本介绍

大数据培训:Apache Druid基本介绍

作者:张老师 浏览次数: 2020-11-23 16:08
之前,我们已经对Apache Kylin框架做过简单的入门介绍,相信大家也还记得,Kylin是一个OLAP框架。事实上,在OLAP分析引擎当中,并非只有Kylin。今天的大数据培训分享,我们就要来介绍OLAP分析引擎的另一个框架,Apache Druid。

大数据培训:Apache Druid基本介绍

什么是Druid?

从定义来说,Apache Druid是一个高性能的,分布式列存储的OLAP框架,原身来自美国广告公司MetaMarkets,后来才成为开源项目。

Druid在设计之初,就是为分析需求而生的,在数据处理规模和实时性的方面,相比传统的一些OLAP分析引擎,有了极大的提升,并且可以与主流的大数据开源框架Hadoop进行很好的集成,也使得Druid在市场上更具竞争力。

通常来说,OLAP分析引擎,具体下来又有关系型联机分析处理(ROLAP)、多维联机分析处理(MOLAP)的区别。而Druid,具体来说就是一个MOLAP分析引擎。

Druid的优势

1、快速查询(Fast Query)

部分数据聚合(Partial Aggregate)给Druid争取了很大的性能优化空间;数据内存化也是提高查询速度的重要手段;倒排索引加快AND和OR等计算操作等。

2、水平扩展能力(Horizontal Scalability)

Druid查询性能在很大程度上依赖于内存的优化使用。数据可以分布在多个节点的内存中,因此当数据增长的时候,可以通过简单增加机器的方式进行扩容。Druid的查询模块能够感知和处理集群的状态变化,查询总是在有效的集群架构中进行。集群上的查询可以进行灵活的水平扩展。

3、实时分析(Realtime Analytics)

Druid提供了包含基于时间维度数据的存储服务,对于历史数据Druid以Segment数据文件的方式组织,并且将它们存储到深度存储系统中。当需要查询这些数据的时候,Druid再从深度存储系统中将它们装载到内存供查询使用。

Druid的应用场景

国内外很多公司都在使用Druid,以国内来说,BAT、字节跳动、知乎、优酷、小米等企业,都是用到Druid。

Druid在点击流分析、网络遥测分析、服务器指标存储、供应链分析、应用程序性能指标、数字营销/广告分析等场景下,性能值得肯定。

关于大数据培训,Apache Druid分析引擎,以上就为大家做了简单的介绍了。Druid在OLAP分析引擎当中,还是具备一定的竞争力的,当然最终还是要根据实际需求来匹配解决方案。成都加米谷大数据,专业大数据培训机构,大数据开发,数据分析与挖掘,课程大纲及试学视频,可联系客服领取!
热点排行
推荐文章
立即申请>>