主页 > 新闻资讯 > Hadoop Yarn使用:关于Yarn组件的全面解析

Hadoop Yarn使用:关于Yarn组件的全面解析

作者:张老师 浏览次数: 2020-02-17 16:11
在Hadoop生态系统当中,Yarn无疑是关键性的核心组件之一,在Hadoop2.0版本之后,鉴于之前的版本在任务调度上的不足,这才引入了Yarn,主要负责Hadoop集群的任务资源调度管理。关于Hadoop Yarn使用,今天我们就来分享一下关于Yarn组件的全面解析。

在Yarn组件出现之前的版本,Hadoop集群的资源利用率常常被诟病。为了提高Hadoop集群的资源利用率,Yarn 组件上线。

Hadoop Yarn使用

Yarn的运行,主要是基于Hadoop集群当中,YARN允许多个应用程序运行在一个集群中,并将资源按需分配给它们,这大大提高了资源利用率。并且,Yarn允许各类短作业和长服务混合部署在一个集群中,并提供了容错、资源隔离及负载均衡等方面的支持,大大简化了作业和服务的部署和管理成本。

Hadoop Yarn使用master/slave架构,也就是主从结构。在Yarn当中,master是ResourceManager,slave是NodeManager,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。

当Hadoop集群收到任务请求时,产生一个跟踪和管理任务的ApplicationMaster,它负责向ResourceManager申请资源,并要求NodeManger启动可以占用一定资源的Container。如果需要同时执行多个任务,不同的ApplicationMaster被分布到不同的节点上,并通过一定的隔离机制进行了资源隔离,保证互不影响。

Yarn作为Hadoop的资源管理器,既可以运行像MapReduce、Spark这样的短作业,也可以部署像Web Server、MySQL Server这种长服务,因此在一定程度上实现了Hadoop集群性能的提升。YARN能根据各种计算框架或者应用的负载或者需求调整它们各自占用的资源,实现集群资源共享,资源弹性收缩。

关于Hadoop Yarn使用,对于Hadoop集群来说,确实解决了Hadoop早期版本在资源调度上存在的问题,而随着Yarn的上线,Hadoop集群的性能得到一定程度上的提升,并且也能为接入Hadoop集群的其他组件同样提供资源调度服务,实用性很高。成都加米谷大数据,专业大数据培训机构,大数据Hadoop培训2020春季班正在招生中,详情可联系客服了解!
热点排行
推荐文章
立即申请>>