数仓调度方案
2021-09-01 09:10:55 0 举报
数仓调度的几种方案
作者其他创作
大纲/内容
获取当日日期(RUN_DATE)
interval_nointerval_type
数据日期
N
是否在交易日运行
Y
获取昨日日期(DATA_DATE)
获取自定义日期(DATA_DATE)
任务清单
开发人员
运行任务
1. 单一task内部依赖,通过Oracle中配置 的sql_order控制,task间依赖通过 airflow进行控制2. 若任务流出现异常中断,重跑机制通过 airflow控制,重跑粒度是task级
维护
START
判断日期是否是交易日
AirFlow Start
获取当日日期(DATA_DATE)
通过task_id获取task详细信息
jobIdrun_datestatusparallel_no
SUCCESS
是否进行交易日校验
数据日期是否是昨日
执行
获取上一交易日(DATA_DATE)
get_task_sql.py(task_id),返回task_sql列表
数据日期是否是当日
数据日期是否校验交易日
AirFlow 返回执行结果
数据日期是否是上一交易日
数据日期是否自定义
import
0 条评论
下一页