主页 > 新闻资讯 > 大数据工程师一般用什么工具之分析计算类工具

大数据工程师一般用什么工具之分析计算类工具

作者:张老师 浏览次数: 2019-12-19 10:37
接着之前介绍过的大数据查询应用类工具,在数据查询应用的下一环节,就是对数据进行分析计算,提取其中的数据价值了,这样才能为企业提供有价值的参考信息,帮助企业决策。那么下面我们就来了解一下大数据工程师一般用什么工具之分析计算类工具。

大数据工程师一般用什么工具

大数据工程师常用的分析计算类工具,包括Spark、Storm、Mahout、Pentaho等——

Spark

Spark是专为大规模数据处理而设计的快速通用的计算引擎,提供全面、统一的框架用于管理各种不同性质的数据集和数据源的大数据处理的需求。大数据工程师,需要掌握Spark基础、SparkJob、Spark RDD部署与资源分配、Spark Shuffle、Spark内存管理、Spark广播变量、Spark SQL、Spark Streaming以及Spark ML等相关知识

Storm

Storm是自由的开源软件,一个分布式的、容错的实时计算系统,可以非常可靠的处理庞大的数据流,用于处理Hadoop的批量数据。Storm支持许多种编程语言,并且有许多应用领域:实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议,一种通过网路从远程计算机程序上请求服务)、ETL等等。

Mahout

Mahout主要特点是为可伸缩的算法提供可扩展环境、面向Scala/Spark/H2O/Flink的新颖算法、Samsara(类似R的矢量数学环境),它还包括了用于在MapReduce上进行数据挖掘的众多算法。

Pentaho

Pentaho是世界上最流行的开源商务智能软件,以工作流为核心的、强调面向解决方案而非工具组件的、基于Java平台的BI套件。包括一个Web Server平台和几个工具软件:报表、分析、图表、数据集成、数据挖掘等,可以说包括了商务智能的方方面面。Pentaho的工具可以连接到NoSQL数据库,大数据工程师需了解其使用方法。

以上就是关于大数据工程师一般用什么工具之分析计算类工具的详细介绍了。大数据工程师作为大数据行业的重要职位在,需要掌握足够的技术知识,才能真正实现融会贯通,熟练运用,大数据分析计算类工具也在其中。
热点排行
推荐文章
立即申请>>