创新酒管-业务数据推送到携程大数据平台 v1.0
2020-09-24 10:48:42 4 举报推送数据到携程
作者其他创作
大纲/内容
4.用每个sql在每个库中执行分页获取数据，生成文件
report_db_config
load到hadoop
report_sql_config
携程Load定时任务
6.推送成功则更新nextDate，失败则保持原状在整个任务执行完后，将结果写回job_config
nextDate=today跳过执行表示今天已经推送过
2.获取要推送的sql所在数据库连接串如：pms有成都库和上海库两个业务库
携程FTP
5.将本次增量获取的数据文件压缩.7z和md5文件上传到携程ftp
推送数据定时任务
1.获取要推送的所有sql如：key=lc_order
携程Hadoop
3.获取每个sql的key执对应的库成功执行到了哪天如：pms成都库执行到了2020-04-06，上海库执行到了2020-04-08在一次任务触发中会从2020-04-06/2020-04-08到today为执行的时间区间
业务DB
某一个sql的执行失败或推送失败不会导致整个任务停止，执行结束后整个任务的执行结果是失败
每天00:01触发执行
每n分钟触发一次
job_config
0 条评论
下一页
