主页 > 新闻资讯 > 大数据平台运维培训:大数据运维常用的监控工具

大数据平台运维培训:大数据运维常用的监控工具

作者:张老师 浏览次数: 2020-04-01 18:06
在大数据时代,越来越多的企业都在布局大数据相关的业务,而在大数据系统平台的维护上,也需要专业的人才来维持,这就是大数据平台运维人员的职责。今天的大数据平台运维培训分享,我们来聊聊大数据运维常用的工具。

如果你是一个经验丰富的运维开发人员,那么你一定知道Ganglia、Nagios、Zabbix、Elasticsearch、Grafana等组件。这些开源组件都有着深厚的发展背景及功能价值,但如何做到合理搭配选择,如何配比资源从而达到性能的最优,这里就体现了运维人的深厚功力。

大数据平台运维培训

大数据平台运维常见的监控工具选择:

1、Nagios+Ganglia

Nagios最早是在1999年以“NetSaint”发布,主要应用在Linux和Unix平台环境下的监控告警,能够监控网络服务、主机资源,具备并行服务检查机制。

其可自定义shell脚本进行告警,但随着大数据平台承载的服务、数据越来越多之后,Nagios便逐渐不能满足使用场景。

Ganglia是由UC Berkeley发起的一个开源监控项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。

主要用来监控系统性能,如:cpu 、mem、硬盘利用率,I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。

但随着服务、业务的多样化,ganglia覆盖的监控面有限,且自定义配置监控比较麻烦,展示页面查找主机繁琐、展示图像粗糙不精确是其主要缺点。

2、Zabbix

Zabbix是近年来兴起的监控系统,易于入门,能实现基础的监控,但是深层次需求需要非常熟悉Zabbix并进行大量的二次定制开发,难度较大;此外,系统级别报警设置相对比较多,如果不筛选的话报警邮件会很多;并且自定义的项目报警需要自己设置,过程比较繁琐。

3、jmxtrans or Telegraf or collect + influxdb or Prometheus or elasticsearch + Grafana +alertmanager

这套监控系统的优势在于数据采集、存储、监控、展示、告警各取所长。性能、功能可扩展性强,且都有活跃的社区支持。缺点在于其功能是松耦合的,较为考验使用者对于使用场景的判断与运维功力。

关于大数据平台运维培训,大数据运维常用的监控工具,以上就是今天为大家分享的相关内容了。大数据平台运维是为大数据处理提供稳定支持的重要环节,做好大数据运维,也是需要深厚的功力的。加米谷大数据,成都大数据培训机构,大数据开发、数据分析与挖掘,专业课程培训,课程大纲及学习资料可联系客服获取!
热点排行
推荐文章
立即申请>>