主页 > 新闻资讯 > 成都大数据开发培训:大数据主流技术汇总

成都大数据开发培训:大数据主流技术汇总

作者:张老师 浏览次数: 2020-03-10 16:35
大数据的发展,离不开大数据技术的支持,准确来说,是大数据技术的成熟,才使得大数据落地应用成为可能。从大数据的发展趋势来说,随着大数据市场规模的进一步扩大,大数据人才需求还将进一步上涨。今天我们就从成都大数据开发培训的角度,为大家分享一下目前的大数据主流技术汇总。

成都大数据开发培训

大数据涉及到从数据采集到数据存储、数据计算以及数据可视化等等一系列的环节,这其中各个环节都需要相应的技术去支持——

磁盘存储:HDFS、HBASE、S3、Cassandra、MongoDB、Redis

内存存储:Alluxio、Redis

数据分析:Spark、Storm、MapReduce、Mahout、Hive、Pig

分步式协调服务:ZooKeeper

集群系统监控:CDH-CMS,Metrics,Grafana、Ambari

消息总线:kafka、ActiveMQ、Apollo、Redis

索引系统:Solr、Lucene、ElasticSearch

企业大数据平台的搭建,也往往需要各个环节的配合,基于开源的大数据框架,引入各个系统组件,各自负责解决一部分的问题。大数据组件按照不同的功能组件进行分类——

数据采集:

flume、kafka connector、sqoop、socket、sftp、mina

实时数据处理:

Spark Streaming、Kafka Streams、Storm、Samza、Flink

数据存储:

HDFS、HBASE、S3、Cassandra、MongoDB、Redis、Solr、ElasticSearch

离线数据处理:

Spark SQL、Hive、Map Reduce、Pig、Impala

交互式查询:

Drill、PresTO、Kylin

数据可视化:

Echarts、Tableau、d3js

从另一个方面来说,大数据主流计算框架,也经历了多次的迭代,从第一代的Hadoop到其后的Spark、Storm、Flink,经历了从离线计算到实时计算到流计算的变化。

Hadoop主要的优势是分布式离线计算,在大规模数据集的计算上,提供稳定的系统支持;

Spark主要的优势是实时计算,实时数据流的计算上,能够实现准实时的数据计算处理;

Storm和Flink都是流计算的最新尝试,对于实时数据流进行计算,大大提升了数据计算到投入应用的时间。

成都大数据开发培训,推荐加米谷大数据,专业大数据培训机构,资深行业大牛研发课程,专注大数据人才培养,大数据开发2020春季班正在招生中,课程详情及学习大纲可联系客服了解!
热点排行
推荐文章
立即申请>>