大数据的发展,离不开大数据技术的支持,准确来说,是大数据技术的成熟,才使得大数据落地应用成为可能。从大数据的发展趋势来说,随着大数据市场规模的进一步扩大,大数据人才需求还将进一步上涨。今天我们就从成都大数据开发培训的角度,为大家分享一下目前的大数据主流技术汇总。
大数据涉及到从数据采集到数据存储、数据计算以及数据可视化等等一系列的环节,这其中各个环节都需要相应的技术去支持——
磁盘存储:HDFS、HBASE、S3、Cassandra、MongoDB、Redis
内存存储:Alluxio、Redis
数据分析:Spark、Storm、MapReduce、Mahout、Hive、Pig
分步式协调服务:ZooKeeper
集群系统监控:CDH-CMS,Metrics,Grafana、Ambari
消息总线:kafka、ActiveMQ、Apollo、Redis
索引系统:Solr、Lucene、ElasticSearch
企业大数据平台的搭建,也往往需要各个环节的配合,基于开源的大数据框架,引入各个系统组件,各自负责解决一部分的问题。大数据组件按照不同的功能组件进行分类——
数据采集:
flume、kafka connector、sqoop、socket、sftp、mina
实时数据处理:
Spark Streaming、Kafka Streams、Storm、Samza、Flink
数据存储:
HDFS、HBASE、S3、Cassandra、MongoDB、Redis、Solr、ElasticSearch
离线数据处理:
Spark SQL、Hive、Map Reduce、Pig、Impala
交互式查询:
Drill、PresTO、Kylin
数据可视化:
Echarts、Tableau、d3js
从另一个方面来说,大数据主流计算框架,也经历了多次的迭代,从第一代的Hadoop到其后的Spark、Storm、Flink,经历了从离线计算到实时计算到流计算的变化。
Hadoop主要的优势是分布式离线计算,在大规模数据集的计算上,提供稳定的系统支持;
Spark主要的优势是实时计算,实时数据流的计算上,能够实现准实时的数据计算处理;
Storm和Flink都是流计算的最新尝试,对于实时数据流进行计算,大大提升了数据计算到投入应用的时间。
成都大数据开发培训,推荐加米谷大数据,专业
大数据培训机构,资深行业大牛研发课程,专注大数据人才培养,大数据开发2020春季班正在招生中,课程详情及学习大纲可联系客服了解!