大数据平台培训：大数据平台运维主要做什么

随着越来越多的企业开始布局大数据，企业对于大数据人才的需求不断上升，同时大数据相关的技术职位，也开始细分，大数据开发、大数据运维等各自负责不同环节的任务。今天我们就从大数据平台培训的角度来聊一聊，大数据平台运维主要做什么？


大数据平台运维，首先是要基于已经搭建好的大数据平台进行工作，主要负责包括硬件和软件在内的多个方面的监控，包括：

1、主机、网络、硬盘、内存、CPU等资源。

在拥有几十台以上的集群环境中，大量的数据计算对硬件尤其是硬盘的损耗是较大的，在大量计算中，网络也往往会成为一个瓶颈，这些都需要时刻关注。

2、平台层面

主要监控平台各个组件的状态、负载情况，有异常及时报警。

3、用户层面

大数据平台建设是为了服务公司内部广大用户的，所以资源既是共享的，又需要是隔离的，所以需要对用户对平台资源的使用情况做好监控，及时发现异常使用情况，防止对其他用户产生不良影响，影响正常业务开展。

另外，还需要基于企业大数据平台的日常监控，随时关注，确保大数据平台性能稳定可靠，在不同场景之下，有不同的策略应对，包括：

1、在类OLTP场景下，大数据平台有像HBase一样的组件，保证数据读写具有极高的性能和吞吐量。

2、在OLAP场景下，大数据平台有像Impala、Kudu、Kylin、Druid这样引擎，通过内存或预计算的方式保证查询性能。

3、在离线分析场景，有像Hive、Spark、Mapreduce这样的引擎，分布式处理海量数据，在这种场景下，性能和响应时间已无法做到保证。

总的来说，大数据平台培训当中，对于大数据平台的日常运行和稳定维护是非常重要的一部分任务，大数据平台运维也是企业当中非常重要的职位之一。成都加米谷大数据，专业大数据培训机构，大数据开发2020春季班正在招生中，详情可联系客服了解！