主页 > 新闻资讯 > Hadoop主要应用:Hadoop国内外应用现状

Hadoop主要应用:Hadoop国内外应用现状

作者:张老师 浏览次数: 2020-02-11 16:50
作为大数据领域代表性的系统框架,Hadoop是大数据领域当之无愧的“老大哥”,历经十多年的发展历史,在国内外也都得到了很好的发展机会,似乎一提到大数据,我们就会想到Hadoop。那么Hadoop主要应用的现状如何呢,我们可以从国内外来了解一下。

Hadoop的发源是在国外,脱胎于Google项目原型,后来才成为Apache旗下的开源项目。早期的Hadoop,比较小众,也被很多技术人员认为是鸡肋的存在,但是随着大数据的兴起,Hadoop开始发力,成为主流的大数据平台框架。

Hadoop主要应用

从国外来看,Hadoop的支持者众多,而且最开始应用Hadoop的,也都是数据领域的大厂。

1.Yahoo

Yahoo可以说是Hadoop的最大支持者,在Yahoo,Hadoop主要应用在支持广告系统、用户行为分析、支持Web搜索、反垃圾邮件系统、会员反滥用、内容敏捷、个性化推荐等方面。早在2012年,Yahoo的Hadoop机器总节点数目超过42,000个。

2.Facebook

Facebook作为数据大户,手握众多数据资源,如何实现这些数据资源的高效运用,也需要Hadoop的支持。Facebook主要讲Hadoop用于存储内部日志与多维数据,并以此作为报告、分析和机器学习的数据源。并且Facebook在Hadoop的基础上建立了Hive数据仓库,后来也成为Hadoop的组件项目。

3.A9.com

A9.com为Amazon使用Hadoop构建了商品搜索索引,主要使用Streaming API以及C++、Perl和Python工具,同时使用Java和Streaming API分析处理每日数以百万计的会话。

4.百度

在国内,百度也是很早开始Hadoop调研和实用的,Hadoop主要应用在数据、大搜索、社区产品、广告等团队,负责数据挖掘与分析、日志分析平台、数据仓库系统、推荐引擎系统、用户行为分析系统等。

5.阿里巴巴

阿里对于Hadoop的应用也开始得很早,主要为淘宝、天猫、一淘、聚划算、CBU、支付宝等提供底层的基础计算和存储服务,包括数据平台系统、搜索支撑、广告系统、数据魔方、量子统计、推荐引擎系统、搜索排行榜等。

从国内外的情况来看,Hadoop主要应用多在有着较多数据资源的头部企业,这些企业拥有较多的数据资源,依靠Hadoop也能跟实现很好的数据处理,同时还能进行二次开发,因此备受企业青睐。成都加米谷大数据,专业大数据培训机构,大数据技术知识分享,课程详情可联系客服了解!
热点排行
推荐文章
立即申请>>