主页 > 新闻资讯 > Hadoop数据分析案例:基于Hadoop的数据分析平台案例

Hadoop数据分析案例:基于Hadoop的数据分析平台案例

作者:张老师 浏览次数: 2020-01-08 12:02
Hadoop在大数据时代,摆脱了原来尴尬的小众地位,成为大数据热门技术。企业基于自身的业务需求要做大数据,在大数据分析平台的搭建上,大部分还是选择的Hadoop,这也说明了Hadoop数据分析平台,确实能够满足企业大数据的需求。今天我们就基于Hadoop数据分析平台,来看看Hadoop数据分析案例。

大家都很熟悉的某东平台,基于Hadoop框架,开发了自己的大数据分析平台,为运营和产品提供决策性的数据辅助。线上购物作为与我们日常生活息息相关的行为,电商平台的大数据分析,在指导企业业务决策上,确实大有可为。

Hadoop数据分析案例

Hadoop数据分析案例,从电商平台来说,有很多的应用场景——

数据分析,某东海量日志分析,某东商品推荐,某东用户行为分析;

离线计算,(异构计算+分布式计算)天文计算;

海量数据存储,如某东的存储集群。

从数据分析场景来说,可以实现用户分析、流量分析、订单分析,这其中既涉及到离线计算,也涉及到实时计算,基于Hadoop框架下,Hadoop、Spark和Strom三个分布式计算系统结合运用。

Hadoop作为基础系统框架,可以轻松地集成结构化、半结构化甚至非结构化数据集;

Spark采用内存计算,构建在HDFS上,从多迭代批处理出发,允许将数据载入内存作反复查询,此外还融合数据仓库,流处理和图形计算等多种计算范式;

Storm用于处理高速、大型数据流,为Hadoop添加可靠的实时数据处理功能。

Hadoop、Spark和Storm,基于Hadoop框架,实现跨计算机集群的分布式存储和计算的环境,从单一服务器到上千台机器扩展,每个机器都可以提供本地计算和存储,再加上Spark和Storm的实时数据计算、数据流计算等,基本上解决了电商平台各个环节的数据处理分析处理任务。

以上就是基于Hadoop平台搭建数据分析平台的Hadoop数据分析案例介绍,目前国内外的很多企业,都是在Hadoop框架下,通过二次开发,实现企业大数据分析处理问题的解决,因此作为技术人员,提升技术实力很重要。成都加米谷大数据,大数据技术分享,专业大数据培训,更多资料分享可联系客服获取!
热点排行
推荐文章
立即申请>>