主页 > 新闻资讯 > 大数据软件和大数据的技术有哪些?

大数据软件和大数据的技术有哪些?

作者:张老师 浏览次数: 2019-07-30 16:21
如今大数据技术庞大复杂,基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。
 
查询引擎
 
1、Phoenix
简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。
2、Pig
简介:Pig是一种编程语言,它简化了Hadoop常见的工作任务。
3、Apache Tajo
简介:Apache Tajo项目的目的是在HDFS之上构建一个先进的数据仓库系统。
4、Apache Drill
简介:Apache Drill是是一个能够对大数据进行交互分析、开源的分布式系统。
5、Hive
简介:hive是基于Hadoop的一个数据仓库工具.
6、Shark
简介:Shark即Hive on Spark,本质上是通过Hive的HQL解析。特点就是快,完全兼容Hive。
7、Cloudera Impala
简介:Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速,交互式的SQL查询。
8、Presto
简介:Facebook开源的数据查询引擎Presto ,可对250PB以上的数据进行快速地交互式分析。
大数据技术
 
离线计算

1、DataTorrent
简介:DataTorrent基于Hadoop 2.x构建,是一个实时的、有容错能力的数据流式处理和分析平台。
2、Hadoop MapReduce
简介:MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。
3、Berkeley Spark
简介:Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行,能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
 
迭代计算
 
1、Apache Hama
简介:Apache Hama是一个纯BSP(Bulk Synchronous Parallel)计算框架。
4、、Twister
简介:Twister, 迭代式MapReduce框架。
3、、HaLoop
简介:迭代的MapReduce,HaLoop——适用于迭代计算的Hadoop 。
2、Apache Giraph
简介:Apache Giraph是一个可伸缩的分布式迭代图处理系统。

如果你想要学习了解关于大数据开发方面的课程,可以在线咨询加米谷学院的老师
热点排行
推荐文章
立即申请>>