数仓作业调度周期优化
2021-12-21 13:45:51 0 举报
弥补hive作业调度中大周期不能对小周期作业的调度依赖的问题问题设计
作者其他创作
大纲/内容
重用作业
华为加戏的地方
8:30
job_dws_collaborator_detail_info_s_h_d
检查监控表取最近的完整态数据8:32
xc_sor.sor_ec_industry_s_h
job_dws_collaborator_detail_info_s_d
03:05
03:15
4:30 6:30 8:30 ....
04:00
检查监控表取最近的完整态数据6:40
03:20
xc_ssa.ssa_fspcms_cms_management_report_v_a_h
注意:1.完成周期太短就不符合这个规则使用流程:1.内部短期在开始和结束时间节点登记运行时间和状态，调度异常时失败状态会缺失；2.外部长周期在调度监控表中进行检查，找到最近一次符合数据要求的快照时间的完整状态(老任务已结束，新任务还未开始) ；检查时，需要制定最短等待时间策略（下一次调度开始时间小于调度时间）
xc_sor.sor_ec_sale_program_s_h
00:00 --00:59
4:25 6:24 8:32 ....
03:10
xc_dws.job_dws_collaborator_detail_info_s_h
4:20 6:25 8:30 ...
7:00
xc_sor.sor_ec_customize_report_s_h
xc_ssa.ssa_fspcms_cms_management_report_v_a_h job_dws_collaborator_detail_info_s_h作业调度监控表设计:作业名称--作业运行日期--作业运行状态--作业状态更新时间-小时分区表参数(sor状态)作业运行状态(开始/完成)
ec
4:35 *6:40* 8:40 ...
4:25 6:24 *8:32* ...
xc_sor.sor_ec_project_s_h
xc_ssa.ssa_xcmall_xc_goods_a_h
xc_sor.sor_ec_campaign_s_h
收藏
收藏
0 条评论
回复 删除
下一页
