主页 > 新闻资讯 > 大数据工程师一般用什么工具之数据管理与运维

大数据工程师一般用什么工具之数据管理与运维

作者:张老师 浏览次数: 2019-12-19 10:46
在大数据工作流程当中,数据管理与运维同样是不可缺少的一个环节,这关系到大数据分析、大数据应用等下一步的操作。在大数据工程师当中,通常也会有大数据管理工程师、大数据运维工程师等。那么下面我们就主要来了解一下大数据工程师一般用什么工具之数据管理与运维。

大数据工程师一般用什么工具

大数据数据管理类工具

Azkaban

Azkaban是由linked开源的一个批量工作流任务调度器,提供Azkaban Web Server(管理服务器)、Azkaban Executor Server(执行管理器)和MySQL(关系数据库),可用于在一个工作流内以一个特定的顺序运行一组工作和流程,可以利用Azkaban来完成大数据的任务调度,大数据开发需掌握Azkaban的相关配置及语法规则。

Mesos

Mesos是一款开源集群管理软件,支持Hadoop、ElasticSearch、Spark、Storm和Kafka等架构。对数据中心而言它就像一个单一的资源池,从物理或虚拟机器中抽离了CPU、内存、存储以及其它计算资源,很容易建立和有效运行具备容错性和弹性的分布式系统。

Sentry

Sentry是一个开源的实时错误报告工具,支持Web前后端、移动应用以及游戏,支持Python、OC、Java、Go、Node、Django、RoR等主流编程语言和框架,还提供了GitHub、Slack、Trello等常见开发工具的集成,使用Sentry对数据安全管理很有帮助。

大数据运维监控类工具

Flume是大数据运维当中最常用也是最好用的一款工具,高可用、高可靠、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。

以上就是关于大数据工程师一般用什么工具之数据管理与运维的简单分享了。基本上,在大数据的处理流程当中,是少不了数据管理与运维的,作为负责相关模块的大数据工程师,掌握以上这些工具的使用,是必不可少的技能要求。
热点排行
推荐文章
立即申请>>