主页 > 新闻资讯 > 大数据学习:Azkaban和Oozie调度系统对比

大数据学习:Azkaban和Oozie调度系统对比

作者:张老师 浏览次数: 2021-03-03 18:01
大数据处理的各个环节当中,涉及到诸多的任务执行,为了保证系统的性能和运行效率,就需要对这些任务进行合理的安排,这就需要到调度系统。在调度系统当中,DAG工作流类调度系统以Azkaban和Oozie为代表。今天的大数据学习分享,我们就主要来讲讲Azkaban和Oozie调度系统对比。

大数据学习:Azkaban和Oozie调度系统对比

所谓DAG工作流类调度系统,这一类系统的方向,重点定位于任务的调度依赖关系的正确处理,分片执行的逻辑通常不是系统关注的核心,或者不是系统核心流程的关键组成部分,如果某些任务真的关注分片逻辑,往往交给后端集群(比如MR任务自带分片能力)或者具体类型的任务执行后端去实现。

DAG工作流类调度系统所服务的往往是作业繁多,作业之间的流程依赖比较复杂的场景,比如大数据开发平台的离线数仓报表处理业务,从数据采集,清洗,到各个层级的报表的汇总运算,到最后数据导出到外部业务系统,一个完整的业务流程,可能涉及到成百上千个相互交叉依赖关联的作业。

这类系统的代表,包括Oozie,Azkaban,Chronos,Zeus,Lhotse等,这里我们选取前两者,从功能、工作流定义、工作流传参、定时执行、资源管理、工作流执行等方面来进行分析比对:

1、功能

Azkaban与Oozie均可以调度mapreduce、pig、java脚本工作流任务。

Azkaban与Oozie均可以定时执行工作流任务。

2、工作流定义

Azkaban使用Properties文件定义工作流。

Oozie使用XML文件定义工作流。

3、工作流传参

Azkaban支持直接传参,例如${input}。

Oozie支持参数和EL表达式,例如${fs:dirSize(myInputDir)}。

4、定时执行

Azkaban的定时执行任务是基于时间的。

Oozie的定时执行任务是基于时间和输入数据资源管理。

5、工作流执行

Azkaban有两种运行模式,分别是solo server mode(executor server和web server部署在同⼀台节点)和multi server mode(executor server和web server可以部署在不同节点)。

Oozie作为工作流服务运行,支持多用户和多工作流。

综上所述,Ooize相比Azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂(xml)。如果可以不在意某些功能的缺失,轻量级调度Azkaban是很不错的候选对象。

关于大数据学习,Azkaban和Oozie调度系统,以上就为大家做了简单的介绍了。相对来说,Oozie调度系统更加全面,但是也更加复杂,在学习当中,也要多花精力去掌握。成都加米谷大数据,专业大数据培训机构,大数据开发、数据分析与挖掘,零基础班本月正在招生中,课程大纲及学习视频,可联系客服获取!
热点排行
推荐文章
立即申请>>