主页 > 新闻资讯 > Hadoop项目应用案例:Hadoop框架应用举例

Hadoop项目应用案例:Hadoop框架应用举例

作者:张老师 浏览次数: 2020-02-18 15:40
在大数据领域成名已久的Hadoop框架,是众多企业搭建大数据平台的首选框架之一,因此在各行各业都积累了相当多的用户,依靠Hadoop生态搭建的大数据平台占据很大的市场份额。今天,我们就从Hadoop应用落地的角度,为大家分享几个Hadoop项目应用案例。

Hadoop项目应用案例

因为Hadoop兴起得早,早期的行业开始搭建大数据平台时,Hadoop的稳定可靠低成本成为企业选择的主要原因,尤其是国外的各大行业平台,对于Hadoop的应用比国内还要早很多。

Hadoop项目应用案例之EBay

作为国外发展很早的电子商务平台之一的EBay,相信很多人都知道,EBay早在2007年左右,就开始尝试基于Hadoop的大数据平台搭建了。

EBay的第一个大型Hadoop集群是500个节点组成的Athena,集群只用了不到三个月就建成了,然后开始高速处理预测模型、解决实时问题,后来随着业务的需求,集群也在不断扩容。

EBay的Hadoop集群,既用于日常生产作业,又用于一次性作业。使用Hadoop的公平调度器(Fair Scheduler)来管理资源分配、为各小组定义作业池、赋予权重、限制每个用户和小组的并行作业,并且设定抢占超时和延迟调度。

Hadoop项目应用案例之通用电气

通用电气也是很早开始使用Hadoop系统的公司之一,主要是基于Hadoop搭建大数据分析平台,分析用户情感,为营销部门提供外界对通用电气所持的看法(正面、中立或负面)等相关数据的收集。

Hadoop负责支持该应用软件的情感分析部分,这部分对Hadoop来说是一种高度密集的文本挖掘应用环境。采取的独特NSQL方法,这一方法带来了80%的准确率,也是Hadoop这个核心平台的基础,确保公司未来在数据挖掘方面求得发展。

以上就是关于Hadoop项目应用案例的一点分享了。当然,Hadoop作为大数据领域市场规模非常广的系统框架之一,在各行各业都有应用落地,案例多多,这里仅供参考。成都加米谷大数据,专业大数据培训机构,大数据培训春季班正在招生中,详情可联系客服了解!
热点排行
推荐文章
立即申请>>