大数据学习：Oozie调度框架简介
作者：张老师 浏览次数： 2021-03-03 17:57
在大数据处理的各个环节当中，各种任务的执行，往往需要调度框架来协调。市面上的调度框架，也有很多开源产品，而Oozie框架还是占有一定的市场地位的。今天的大数据学习分享，我们就先来讲讲这个Oozie调度框架的一些基础知识。
Apache Oozie是一个用来管理Hadoop任务的工作流调度系统，基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有Java MapReduce，Streaming map-reduce，Pig，Hive，Sqoop，Distcp，也可以结合一些脚本如Shell，Python，Java来很灵活的完成一些事情。
Oozie简介
Apache Oozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。这里，用户被允许创建向非循环图工作流程，其可以在并列Hadoop并顺序地运行。
它由两部分组成：
工作流引擎：一个工作流引擎的职责是存储和运行工作流程，由Hadoop作业组成：MapReduce，Pig，Hive。
协调器引擎：它运行基于预定义的时间表和数据的可用性工作流程作业。
Oozie可扩展性和可管理及时执行成千上万的工作流程(每个由几十个作业)的Hadoop集群。
Oozie也非常灵活。人们可以很容易启动，停止，暂停和重新运行作业。Oozie可以很容易地重新运行失败的工作流。可以很容易重做因宕机或故障错过或失败的作业。甚至有可能跳过一个特定故障节点。
Oozie三大功能模块
Oozie的组成
Readme, license, notice & Release log files.（一个项目的，版权，介绍，log等）
Oozie server: oozie-server directory.（oozie的服务端目录）
Scripts: bin/ directory, client and server scripts.（bin下面有一些常用的命令，来管理oozie的）
Binaries: lib/ directory, client JAR files.（存放oozie的依赖包）
Configuration: conf/ server configuration directory.（oozie的配置文件）
Archives:（归档包目录）
oozie-client-*.tar.gz : Client tools.（oozie的客户端包）
oozie.war : Oozie WAR file.（web的服务工程）
docs.zip : Documentation.（文档）
oozie-examples-*.tar.gz : Examples.（例子）
oozie-sharelib-*.tar.gz : Share libraries (with Streaming, Pig JARs).(一些工作流支持的框架共享包)
为什么要使用Oozie？
使用Oozie的主要目的是为了管理不同类型的作业在Hadoop系统中处理。
作业之间的依赖关系是由用户向无环图的形式指定。Oozie的消费信息以及在工作流中指定负责其执行的顺序正确。这样，用户同时管理保存整个工作流程。此外Oozie有指定执行特定工作频率规定。
Oozie的特点
Oozie客户端API以及命令行界面可以用来启动，控制和监视Java应用程序作业
使用其Web服务的API可以从任何位置控制作业
Oozie有规定执行这些计划定期来运行作业
Oozie有规定作业完成后可发送电子邮件通知
关于大数据学习，Oozie调度框架，以上就为大家做了一个基本的介绍了。Oozie这个框架，在Hadoop生态圈当中，还是有着很好的集成性的，这也是Oozie需要大家去学习的原因。成都加米谷大数据，专业大数据培训机构，大数据开发、数据分析与挖掘，零基础班本月正在招生中，课程大纲及学习视频，可联系客服获取！
Apache Oozie是一个用来管理Hadoop任务的工作流调度系统，基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有Java MapReduce，Streaming map-reduce，Pig，Hive，Sqoop，Distcp，也可以结合一些脚本如Shell，Python，Java来很灵活的完成一些事情。
Oozie简介
Apache Oozie是工作流调度用在Hadoop中。它是一个运行相关的作业工作流系统。这里，用户被允许创建向非循环图工作流程，其可以在并列Hadoop并顺序地运行。
它由两部分组成：
工作流引擎：一个工作流引擎的职责是存储和运行工作流程，由Hadoop作业组成：MapReduce，Pig，Hive。
协调器引擎：它运行基于预定义的时间表和数据的可用性工作流程作业。
Oozie可扩展性和可管理及时执行成千上万的工作流程(每个由几十个作业)的Hadoop集群。
Oozie也非常灵活。人们可以很容易启动，停止，暂停和重新运行作业。Oozie可以很容易地重新运行失败的工作流。可以很容易重做因宕机或故障错过或失败的作业。甚至有可能跳过一个特定故障节点。
Oozie三大功能模块
Oozie的组成
Readme, license, notice & Release log files.（一个项目的，版权，介绍，log等）
Oozie server: oozie-server directory.（oozie的服务端目录）
Scripts: bin/ directory, client and server scripts.（bin下面有一些常用的命令，来管理oozie的）
Binaries: lib/ directory, client JAR files.（存放oozie的依赖包）
Configuration: conf/ server configuration directory.（oozie的配置文件）
Archives:（归档包目录）
oozie-client-*.tar.gz : Client tools.（oozie的客户端包）
oozie.war : Oozie WAR file.（web的服务工程）
docs.zip : Documentation.（文档）
oozie-examples-*.tar.gz : Examples.（例子）
oozie-sharelib-*.tar.gz : Share libraries (with Streaming, Pig JARs).(一些工作流支持的框架共享包)
为什么要使用Oozie？
使用Oozie的主要目的是为了管理不同类型的作业在Hadoop系统中处理。
作业之间的依赖关系是由用户向无环图的形式指定。Oozie的消费信息以及在工作流中指定负责其执行的顺序正确。这样，用户同时管理保存整个工作流程。此外Oozie有指定执行特定工作频率规定。
Oozie的特点
Oozie客户端API以及命令行界面可以用来启动，控制和监视Java应用程序作业
使用其Web服务的API可以从任何位置控制作业
Oozie有规定执行这些计划定期来运行作业
Oozie有规定作业完成后可发送电子邮件通知
关于大数据学习，Oozie调度框架，以上就为大家做了一个基本的介绍了。Oozie这个框架，在Hadoop生态圈当中，还是有着很好的集成性的，这也是Oozie需要大家去学习的原因。成都加米谷大数据，专业大数据培训机构，大数据开发、数据分析与挖掘，零基础班本月正在招生中，课程大纲及学习视频，可联系客服获取！
