主页 > 新闻资讯 > 大数据分析用的什么技术?大数据分析技术简介

大数据分析用的什么技术?大数据分析技术简介

作者:张老师 浏览次数: 2020-09-03 18:21
大数据从概念走向落地,很重要的支持就是来自于大数据技术,大数据技术的成熟,成为大数据落地的前提。而随着大数据的发展,大数据技术也在不断更新迭代。那么大数据分析用的什么技术,今天我们来对大数据分析技术做一个简单的介绍。

大数据分析需要基于大数据系统平台来实现,一个典型的大数据技术栈,底层是基础设施,涵盖计算资源、内存与存储和网络互联,具体表现为计算节点、集群、机柜和数据中心。在此之上是数据存储和管理,包括文件系统、数据库和类似YARN的资源管理系统。

大数据分析用的什么技术

大数据分析所使用的技术,主要就在计算处理层,如hadoop、MapReduce和Spark,以及在此之上的各种不同计算范式,如批处理、流处理和图计算等,包括衍生出编程模型的计算模型,如BSP、GAS等。

大数据分析包括简单的查询分析、流分析以及更复杂的分析(如机器学习、图计算等)。查询分析多基于表结构和关系函数,流分析基于数据、事件流以及简单的统计分析,而复杂分析则基于更复杂的数据结构与方法,如图、矩阵、迭代计算和线性代数。

目前,Hadoop、MapReduce和Spark等分布式处理方式已经成为大数据处理各环节的通用处理方法。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop是一个数据管理系统,作为数据分析的核心,汇集了结构化和非结构化的数据,这些数据分布在传统的企业数据栈的每一层。

基于业务对实时的需求,有支持在线处理的Storm、Cloudar Impala、支持迭代计算的Spark及流处理框架S4。Storm是一个分布式的、容错的实时计算系统,由BackType开发,后被Twitter捕获。Storm属于流处理平台,多用于实时计算并更新数据库。Storm也可被用于“连续计算”(Continuous Computation),对数据流做连续查询,在计算时就将结果以流的形式输出给用户。

关于大数据分析用的什么技术,大数据分析技术,以上就为大家做了一个简单的介绍了。大数据分析是大数据处理的重要一环,要做好大数据分析,需要对各技术框架有相应的掌握。加米谷大数据,成都大数据培训机构,大数据技术零基础班,本月正在招生中,课程大纲及试听课程,可联系客服获取!
热点排行
推荐文章
立即申请>>