基于阿里Canal数据同步（MySQL->ES）架构模型
2021-09-26 17:38:46 1 举报使用logstash进行全量数据初始化、Canal监听binlog日志进行增量数据同步的业务实现框架
作者其他创作
大纲/内容
ElasticSearch
接收变化信息
信息存储
协调服务Zookeeper
MySQL
记录消费数据成功节点
canal
对应流程图：
存储对应信息
发送信息
zookeeper记录消费位置
消费kafka数据
伪装为数据库从库模拟mysql slave
搜索引擎业务服务
允许binlog监听
数据接收推送至消息队列
监听数据库表变化（add、delete、update）
接收binlog日志
kafka&zookeeper
业务数据全量初始化
同步数据处理服务
Canal Server
互联网
Logstash
消息队列Kafka MQ
根据逻辑进行数据处理
消费数据
监听数据库信息
更新存储位置
同步业务处理单元引入Canal Client包
数据库日志信息
0 条评论
下一页
