CDC
2023-05-23 21:09:58 14 举报AI智能生成
CDC
作者其他创作
大纲/内容
简介
是什么？
CDC是（change data capture），翻译过来就是 捕获数据变更。通常数据处理上，我们说的 CDC 技术主要面向 数据库的变更，是一种用于捕获数据库中数据变更的技术。
使用场景
数据同步， 用于备份容灾
数据分发，一个数据源分发给多个下游存储( mysql, kafka, rabbitMQ, rocketMQ, ElasticSearch,Hbase等)
数据采集，面向数据仓库 / 数据湖 的ETL数据集成
目前CDC技术分类
基于查询的 CDC实现
离线调度查询作业，批处理。把一张表同步到其他系统，每次通过查询去获取表中最新的数据
缺点
无法保障数据一致性，查的过程中有可能数据已经发生了多次变更；
无法保障实时性，基于离线调度存在天然的延迟
影响数据库性能
基于日志的 CDC
实时消费日志，流处理，例如 MySQL 的 binlog 日志完整记录了数据库中的变更，可以把 binlog 文件当作流的数据源；
特点
保障数据一致性，因为 binlog 文件包含了所有历史变更明细；
保障实时性，因为类似 binlog 的日志文件是可以流式消费的，提供的是实时数据
对数据库影响小。由于它是读取binlog，对数据库或者业务来说，都不是侵入式的。
Canal
简介
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费
基于日志增量订阅和消费的业务
数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
工作原理
Mysql工作原理
Canal的工作原理
- canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
- MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
组件介绍
canal-server
采集源数据库的binlog，并发送到配置的目的存储。或者发送到指定的tcp端口等待客户端消费。
canal-adapt
集成的canal-client端。可以实现数据同步和ETL（数据仓储技术）功能。消费上游组件（包括canal-server，kafka，TCP）。同步到目的存储(包括关系型数据库(mysql，postgresql，oracle)，ES，Hbase)。且可全量同步源数据库到目标存储系统（但不建议使用全量同步，我实践中全量同步Mysql到mysql时通常会发生锁获取失败)。
canal-admin
提供webUI, 方便canal-server集群部署和日志查看
组件canal-server
架构：它负责采集数据库的binlog，并发送到配置的存储。那么它怎么采集多个数据库，发送到不同的存储地。它是由instance配置决定的。下图是canal-server的架构图，一个erver可以有多个instance，每个nstance对应着一个数据队列
instance模块
eventParser (数据源接入，模拟slave协议和master进行交互，协议解析)
eventSink (Parser和Store链接器，进行数据过滤，加工，分发的工作)
eventStore (数据存储)
metaManager (增量订阅&消费信息管理器)
主要参数介绍
canal.properties
需要自己配置的参数
instance.properties
需要自己配置的参数
0 条评论
下一页
