主页 > 新闻资讯 > 大数据工程师一般用什么工具之查询应用类工具

大数据工程师一般用什么工具之查询应用类工具

作者:张老师 浏览次数: 2019-12-13 16:57
之前我们已经为大家介绍了,大数据工程师一般用什么工具之数据存储类工具,这主要是针对于大数据处理环节当中的数据存储,那么完成数据存储之后,我们还需要去查询数据,实现数据的下一步应用等。今天我们就接着来为大家介绍,大数据工程师一般用什么工具之查询应用类工具。

大数据工程师一般用什么工具

数据查询应用也是数据处理环节当中的很重要一环,对于大数据工程师而言,各类数据查询应用类工具,也是必须要掌握的。

Avro与Protobuf

Avro与Protobuf均是数据序列化系统,可以提供丰富的数据结构类型,十分适合做数据存储,还可进行不同语言之间相互通信的数据交换格式,学习大数据,需掌握其具体用法。

Phoenix

Phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎,其具有动态列、散列加载、查询服务器、追踪、事务、用户自定义函数、二级索引、命名空间映射、数据收集、时间戳列、分页查询、跳跃查询、视图以及多租户的特性,大数据开发需掌握其原理和使用方法。

Kylin

Kylin是一个开源的分布式分析引擎,提供了基于Hadoop的超大型数据集(TB/PB级别)的SQL接口以及多维度的OLAP分布式联机分析。最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

Zeppelin

Zeppelin是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档,并且支持多种语言,包括Scala(使用Apache Spark)、Python(Apache Spark)、SparkSQL、Hive、Markdown、Shell等。

ElasticSearch

ElasticSearch是一个基于Lucene的搜索服务器,提供分布式、支持多用户的全文搜索引擎,基于RESTful Web接口。ElasticSearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索、稳定、可靠、快速、安装使用方便。

以上就是关于大数据工程师一般用什么工具之查询应用类工具的介绍了。当然,以上这些工具需要基于大数据开发的具体业务情况来使用,但是作为大数据工程师,这些知识都要事先掌握,才能够在未来的大数据开发工作当中熟练运用出来。
热点排行
推荐文章
立即申请>>