Oozie Execution Model
2014-06-07 11:18:27 1 举报
Oozie是一个用于管理Hadoop工作流程的开源工作流引擎。其执行模型基于MapReduce和Hadoop的其他计算模型,如Pig和Hive。Oozie工作流由一组动作组成,这些动作定义了数据处理和转换的步骤。Oozie的工作流可以手动触发,也可以根据时间表或事件触发。例如,可以设置一个工作流在每天的特定时间运行,或者在数据文件添加到HDFS时自动运行。Oozie还提供了错误处理和恢复机制,以确保工作流在出现故障时能够正确恢复。此外,Oozie还支持并行执行多个工作流,以进一步提高处理效率。总的来说,Oozie的执行模型提供了一个强大而灵活的工具,用于管理和协调大规模的数据处理任务。
作者其他创作
大纲/内容
8a
3
data conditions-input events
kick-off-time condition
start-time
true
bundle-wait
5
logic conditions
10
false
coodinator-terminate
action-discard
11
oozie Server
8b
workflow-wait
check conditions
4
workflow-execute
Bundle object B
1
Workflowobject W
start
create by frequency
Action object A
end-time
2
execution sequence conditions
12
Coordinator object C
7
action-execute
9
workflow-terminate
Hadoop MapReduce job
bundle-execute
create
13
Action Creator
bundle-terminte
coordinator-execute
6
Oozie internal job
identify and create
coodinator-wait
0 条评论
回复 删除
下一页