DSC导入
2023-03-29 19:48:55 0 举报DSC
作者其他创作
大纲/内容
Y
消费
执行Java代码？
启动任务
datapark任务依赖
生成batchNo
发kafka
配置主表
导入服务
前端
上传Excel
？
源数据表名
模板id：bmsTemplateId
根据文件读取配置、文件数据映射和临时数据配置生成源数据表映射关系
创建源数据表
选择客户项目
数据解析流程
规则id：ruleId
取出临时表的执行SQL
校验SQL是否规范（insert into...select from）
执行结果
任务id模板idbatchNocos
执行任务
后端
cos key
新增配置
创建模板并维护模板与规则的关系excel_module_templateexcel_mid_template_rules
2.Excel解析
模板id【主配置】
数据处理配置
规则ID【配置主表】
创建导入任务
临时数据配置(表+字段)
手动拼接创建表语句
【配置主表】【文件读取配置】
选择导入主配置
所属接口
模板配置流程
redis计数器，每天从0开始(主配置code+yyyyMMdd+计数值)
执行SQL?
配置子表(6)
规则ID【文件数据映射】【临时表字段配置】
封装对应接口需要的数据结构
读取【接口字段映射】
N自定义SQL
任务id：taskId
文件读取配置
上传cos
【配置主表】【接口字段映射】【临时表字段配置】【系统接口】
调用接口
接口字段映射
创建规则excel_rule
根据执行结果封装导入的结果
文件数据映射
创建excel单元格规则excel_rule_column
1.生成源数据表
收藏
收藏
0 条评论
下一页
