实时数据处理以及增量数据添加
2018-06-20 21:21:59 11 举报实时
作者其他创作
大纲/内容
更新
结束
同步完成
记录时间戳A，进行old index 复制 new index
有
暂停kafka消费，时间戳B
新字段数据补充结束
写入es新字段
触发
索引复制结束
同步时间戳A到时间戳B的增量数据修改
索引复制开始
无
新字段增加流程
新建index模板
写入Es
期间增量数据无法更新
新字段数据补充开始
切换别名，开启消费
根据接口全量查询新字段数据，已开始同步时间戳数据的updateTime为条件查询
根据Id发送kafka消息
管道
放弃更新
根据表名获取映射配置，解析消息对应Es index
根据es sql 判断是否有值
收藏
收藏
职业：本科
0 条评论
下一页
