大数据技术举例：主流计算引擎简介

在大数据快速获得关注的同时，大数据技术支持着大数据从概念快速走向落地，而正是大数据技术的成熟，才使得大数据落地有了基本的可能性。然而很多人对大数据技术还是认识不够，今天我们就来讲讲，大数据技术举例，主流大数据计算引擎简介。

大数据技术，其实可以说是涵盖了一系列对数据进行存储、计算、分析、挖掘的技术，而要实现这些规模庞大且难度复杂的数据处理任务，往往涉及到分布式计算、高并发处理、高可用处理、集群、实时性计算等。


今天大数据技术举例，我们主要从大方向上来聊聊大数据主流计算引擎：

1、Hadoop

Hadoop是第一代框架，最初主要包含分布式文件系统HDFS和计算框架MapReduce两部分，在2.0版本中，又把资源管理和任务调度功能从MapReduce中剥离形成YARN，使其他框架也可以像MapReduce那样运行在Hadoop之上。

Hadoop不断发展完善，又有了非关系数据库HBase、数据仓库Hive、数据处理工具Sqoop、机器学习算法库Mahout、一致性服务软件ZooKeeper、管理工具Ambari等，形成了相对完整的生态圈和分布式计算事实上的标准。

2、Spark

Spark当初引起关注主要是它与Hadoop的三大件之一的MapReduce之间的比较。MapReduce作为计算引擎，其计算速度当时是弱于Spark的，Spark减少了不必要的磁盘IO；增加迭代计算功能，从而大大提升数据处理效率。

3、Storm

Storm主要用于实时的流式数据处理，它与Spark最大的区别在于“实时性”的差异：Spark是“准实时”的，它先收集一段时间的数据再进行统一处理；而Storm则是“完全实时”的，来一条数据就立刻处理一条，源源不断地流入。

但Storm的缺点在于，无论是离线、高延迟，还是交互式查询，它都不如Spark框架，不同的机制决定了二者所适用的场景不同。

4、Flink

Flink同样是分布式的计算引擎，主要基于Java实现，但它的特色主要体现在流式计算。这个引擎流行的主要推手是阿里。阿里在19年初开源了它修改过的Flink，收购了Flink的母公司，并在各种线下技术论坛上推广Flink，让Flink在19年的关注度极速上升。

关于大数据技术举例，主流计算引擎简介，以上就为大家做了简单的入门介绍了。大数据技术是大数据产业发展的重要支撑，并且随着行业的发展还在持续更新迭代。成都加米谷大数据，专业大数据培训机构，大数据高级技术提升班，本月正在招生中，课程大纲及试学视频可联系客服了解！