大数据在线视频教程：Hadoop生态技术架构讲解

大数据作为一门具有专业技术门槛的职业，一方面因为高薪吸引了不少人的关注，但是另一方面也需要专业的技术支持，才能真正入行发展。今天我们就从大数据在线视频教程的角度，来聊聊Hadoop生态技术架构的学习。

Hadoop是最早在大数据领域开始实现应用的技术框架，至今仍然有着不可替代的优势，学习大数据必学Hadoop。


Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。

作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。

1、MapReduce

MapReduce分布式离线计算框架，是Hadoop核心编程模型。主要适用于大批量的集群任务，由于是批量执行，故时效性偏低。

2、HDFS

Hadoop分布式文件系统(HDFS)是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

3、Yarn

前期了解即可，Yarn是一个资源调度平台，主要负责给任务分配资源。Yarn是一个公共的资源调度平台，所有满足条件的框架都可以使用Yarn来进行资源调度。

4、Hive

Hive数据仓库，所有的数据都是存储在HDFS上的。使用Hive主要是写Hql，非常类似于Mysql数据库的Sql。其实Hive在执行Hql，底层在执行的时候还是执行的MapRedce程序。

5、Zookeeper

Zookeeper是很多大数据框架的基础，它是集群的管理者。监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。

6、Hbase

Hbase是一个Nosql数据库，是一个Key-Value类型的数据库，适用于非结构化的数据存储，底层的数据存储在HDFS上。

7、Kafka

kafka是一个消息中间件，在工作中常用于实时处理的场景中，作为一个中间缓冲层。

8、Flume

Flume是一个日志采集工具，常见的就是采集应用产生的日志文件中的数据，存储到HDFS上，为了后期使用hadoop或者spark进行离线处理。

以上就是我们从大数据在线视频教程的角度，为大家分享的Hadoop生态技术架构学习内容。Hadoop在大数据当中的重要性不言而喻，作为大数据主流框架之一，仍然有着强大的生命力。成都加米谷大数据，专业大数据培训机构，大数据开发2020春季班即将开班，课程大纲及学习资料可联系客服获取！