标化流程图
2021-10-27 13:49:21 17 举报标化流程图
作者其他创作
大纲/内容
标化sql语句新建和修改
失败
判断公共字段赋值方式(直接赋值，直取，函数，pk特殊处理)
从上下文中取出调度参数
无
源表相关统计
成功
datax节点
有
标化任务流程图
调用任务执行类
开始
结束
sql语法及规范字段校验
暂定方案（可以避免文件传输）
标化任务调度
标化配置页面
1，封装目标表建表语句2，datax配置reader语句3，datax配置writer语句4，datax生成json配置
标化配置流程图
1，调整老配置，标为删除2，插入新配置，标为使用
判断判断是否存在joblog
封装job参数并添加调度到上下文，设置时间10s
标化数据到gp分区
json文件地址
1，公共字段赋值处理2，源查询语句预处理
datax插件
shell或py脚本
开启子线程
创建exelog，并将id添加到参数中
判断是否立即执行，是：移除该job；否：跳过
日志入库，并回写exelog
判断规范公共字段是否启用
事务回滚
处理增量条件并标化到目标表
其他相关统计
datax json 配置参数
执行状态
立即执行
1，接收json参数2，随机生成临时json空文件3，将json参数写入json文件
处理存储规范字段及公共规范字段
获取存储规范字段
0 条评论
下一页
