kettle交换模型v1.0
2021-12-01 14:37:57 0 举报
经过生产环境验证，多次迭代总结的基于增量的kettle交换模型，使得交换数据稳定、高效并配套告警。
作者其他创作
大纲/内容
获取上次时间戳
获取系统参数
统计交换数据
是否继续下一页
数据库中参数设置，主要关注数据交换内部错误信息，如死锁、主键冲突、交换字段不匹配
否
不继续
继续
主要关注数据库层面异常，如连接超时、无法连接
此处分页循环交换数据
更新时间戳
保存日志
交换成功
异常后是否继续
是否保存日志数据库中参数设置
获取总记录数
检查交换总量
处理异常
是
是否有错误
保存日志并告警(数据库日志、钉钉、邮件)
设置交换变量
设置分页参数
设置总记录数和总页码
分页查询并交换数据
终止
收藏
0 条评论
回复 删除
下一页
