大数据基础技术课程：大数据系统组件简介

学习大数据，已经成为IT技能培训当中的新潮流，同样作为程序员，大数据相比于同级别的其他岗位，薪资水平明显高出不少，这是行业当中的显著趋势。今天我们就从大数据基础技术课程的角度，来分享大数据系统组件简介。


大数据基础技术的学习，其实主要就是对大数据系统平台当中提供各项支持的功能组件的学习，针对不同的大数据需求，大数据系统组件可以针对性地给出解决方案。

1、Hadoop

Hadoop是大数据计算的第一代框架，也是迄今为止仍然在大数据当中起着重要作用的一个框架。Hadoop的核心组件主要是三个，分布式文件系统HDFS、分布式计算框架MapReduce、资源管理器Yarn，这三者的学习，是Hadoop当中的重点。

2、HBase

Hbase是基于Hadoop集群的分布式存储系统，利用HBase技术可搭建起大规模结构化存储集群，解决随机、实时读写大数据，提供简化访问HDFS的编程接口。

3、Kafka

Kafka是一个高性能，高吞吐量的分步式消息总线系统，主要负责分布式系统相互通信，数据复制、同步，日志同步等。

4、Hive

基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

5、MongoDB

MongoDB是一个高性能，开源，无模式的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。MongoDB不支持SQL，但有自己功能强大的查询语法。

6、Redis

一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

7、Spark

Spark是Hadoop之后的第二代计算框架，在MapReduce计算模式的基础上做了优化，基于内存计算，大大提升了计算性能，能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

8、Storm

一个分布式的、容错的实时计算系统，相比于Spark框架，有着更精准的时效性。

9、Flink

可扩展的批处理和流式数据处理的框架，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。

关于大数据基础技术课程，大数据系统组件简介，以上就是今天的分享内容了。在大数据开发、大数据技术的学习当中，大数据系统组件是重点，也是难点，需要大家话更多的心思去学习。成都加米谷大数据，专业大数据培训机构，大数据技术开发培训班，本月正在招生中，课程详情可联系客服了解！