shuiping

migrator

执行结果

canal

redis

import-es

IMPORT任务，本地脚本执行

接口调用

调用xcoach提交数据导入任务，如果是普通文件，etl会生成csv文件放在hdfs，这里type=HIVE_LOAD; 如果是数据库备份，数据放在数据库，这里type=IMPORT

xcoach

ES_UNSTRUCTURED任务，执行本地脚本

提交任务时传递的回调url:/api/gendry/tasks/%s/callback

解析队列

数据入hive

用户

gendry

hive-load

执行结果异步http调用

获取解析结果

工作区数据加工

调用xcoach提交预处理任务type=DM_UPLOAD

浏览器提交文件

UPLOAD:MANAGER:PARSE:RESULT:KEY

1.处理文件数量：UPLOAD:MANAGER:%s:TOTAL:COUNTER:KEY2.全量上传队列：UPLOAD:MANAGER:%s:UPLOAD:ISSUED:COUNTER:KEY3.扩展名为dmp或dat解析，UPLOAD:MANAGER:DMP_PARSE:QUEUE:KEY  4.其他可解析的：UPLOAD:MANAGER:PARSE:QUEUE:KEY

xaro

上传OSS

cleaner

etl

提交数据加工任务

es-tool

结果写入redis

本地脚本执行

HIVE_LOAD任务，shell脚本执行

写入预处理结果

importDatasetFromRedisQueue()定时任务

数据发布

ETL解析

上传队列

提交录入ES任务

feign调用

ES_STRUCTURED任务，提交华为大数据平台spark

feign调用判断上传是否完成

提交华为大数据平台spark