数据同步流程
2018-08-16 15:27:06 0 举报
八爪鱼采集数据同步到数据库/索引库流程
作者其他创作
大纲/内容
判断上次是否有未删除数据
判断写入数据库/检索库是否成功
校验失败
获取成功
是否发布成功
有
是否删除成功
写入失败
清洗异常
删除成功
校验成功
否
同步完成
写入成功
开始调度
清洗无异常
获取八爪鱼数据
是否是新闻数据
记录写入成功条数及本次同步时间
发布清洗成功的数据
结束调度
判断是否写入检索库
无
全量同步
判断同步类型
删除失败
根据清洗规则将导入的数据状态更新为无需清洗、清洗成功、清洗失败三种状态
分页请求八爪鱼全部数据
删除整个任务数据（包括之前批次导入成功的数据）
是
遍历需要同步的八爪鱼任务集合
是否继续同步
分批次写入检索库
加入队列
校验需要同步的八爪鱼任务字段映射
获取失败
发布成功
记录本次未删除成功的数据条件
按时间切分，按照小时间粒度请求八爪鱼数据
写入数据库
数据清洗
继续同步下一任务
抛出异常，中止运行
清洗过程是否有异常
发布失败
删除操作
增量同步
0 条评论
回复 删除
下一页
