主页 > 新闻资讯 > 学大数据需要学哪些内容?难度大不大

学大数据需要学哪些内容?难度大不大

作者:张老师 浏览次数: 2020-07-10 18:02
被广泛关注的大数据,这几年在国内的发展,可以说是进入了比较平稳的一个时期,基本上企业对于技术开发人员的要求,都开始与大数据接轨,而大数据相关的岗位需求也在持续上升。那么想入行做大数据,学大数据需要学哪些内容?难度大不大?今天我们来详细了解一下。

大数据发展速度很快,对技术的需求也在不断更新迭代,从第一代的Hadoop为主,到现在的Hadoop、Spark、Storm、Flink百花齐放,一方面是因为需求的变化,另一方面也是技术生态在不断拓展和完善。

学大数据需要学哪些内容

学大数据需要学哪些内容?从就业的角度来考量,那么自然是市场要求什么,就学什么。我们以现在企业对大数据技术的主流技术需求来看——

1、数据收集层

主要由关系型和非关系型数据收集组件,分布式消息队列构成。

Sqoop/Canal:关系型数据收集和导入工具。

Flume:非关系型数据收集工具,主要是流式日志数据。

Kafka:分布式消息队列,一般作为数据总线使用。

2、数据存储层

主要由分布式文件系统(面向文件存储)和分布式数据库(面向行/列的存储)构成。

HDFS:Hadoop分布式文件系统。

Hbase:构建在HDFS之上的分布式数据库。

Kudu:分布式列数据库,允许用户存储结构化数据。

3、资源管理与服务协调层

YARN:统一资源管理与调度系统,管理集群中的各种资源。

ZooKeeper:基于简化的Paxos协议实现的服务协调系统。

4、计算引擎层

包括批处理(时间要求低,高吞吐)、交互式处理(时间要求比较高,sql查询)、流式实时处理(时间要求非常高、广告投放等)三种引擎。

MapReduce:经典的批处理计算引擎,具体良好的扩展性与容错性。

Spark:通用的DAG计算引擎,允许用户充分利用内存进行快速的数据挖掘和分析。

Impala/Presto:开源的MPP系统,允许用户使用标准的SQL处理存储在Hadoop中的数据。

Storm/Spark Streaming:分布式流式实时计算引擎,能够高效的处理流式数据。

5、数据分析层

为方便用户解决大数据问题而提供的各种数据分析工具。

Hive/Pig/SparkSQL:在计算引擎之上构建的支撑SQL或者脚本语言的分析系统,大大降低了用户进行大数据分析的门槛。

Mahout/MLib:在计算引擎上构建的机器学习库,实现常用的机器学习和数据挖掘算法。

Apache Beam/Cascading:基于各类计算框架而封装的高级API,方便构建复杂的流水线。

关于学大数据需要学哪些内容,难度大不大,以上就为大家做了一个详细的内容介绍了。大数据在快速发展当中,对专业技术框架的学习,始终是入行需要掌握的重点内容。成都加米谷大数据,专业大数据培训机构,大数据开发、数据分析与挖掘,零基础班本月正在招生中,课程大纲及试学资料可联系客服领取!
热点排行
推荐文章
立即申请>>