otter同步任务
2017-02-20 21:29:14 0 举报
Otter是一款强大的同步工具，它可以帮助您轻松地在不同的设备之间同步任务。无论您是使用电脑、手机还是平板，Otter都能让您随时随地查看和管理您的任务列表。只需在一台设备上创建或编辑任务，Otter就会自动将这些更改同步到您的其他设备上。此外，Otter还支持多人协作，您可以与家人、朋友或同事共享任务列表，共同完成工作。Otter的界面简洁明了，操作简单易用，是您管理日常任务的理想选择。快来试试Otter吧！
作者其他创作
大纲/内容
Slave DB
ES搜索引擎1.拥有统一的模板，别名，别名方便统一查询所有的索引的时候使用2.拥有按照路由分索引的操作，路由为tb_seller_*3.对需要模糊查询的字段进行分词，中文分词，最大力度分词4.分表数据加入到总表的Nest字段中，一条数据中包含多条商品数据5.打平所有Json字段，使其变为ES中的字段
tb_order_recordtb_order_info_record
已知分表
Index
Otter，支持DDL同步
分表
所有数据
每次监听主键的变更，按照主键变更去查询User库信息，对比，如果有不一致的报警，修复
根据DML，还是DDL判断是创建索引还是数据操作索引
数据库数据
Slave 总数据
Otter同步
ElasticSearch
基于Node节点做所有的事情
按照table_name做路由
Node节点1.提供监听数据库的binlog变更监听数据库的Event事件，提供数据同步操作。2.通过Filter提供跳过指定操作。3.异步发送Kafka消息，包括表名，字段名称，字段更新值等。
Master DB
canal
基于canal节点做ES同步
引入ES的目的为打平数据1.tb_order 和 tb_order_info合并为一条记录，方便汇总查询。2.暴露ext_info字段，使ext_info等扩展Json字段可查询。3.跨索引查询，单个表查询，提升效率。4.为以后模糊查询提供查询入口
未知分表提前插入模板，自动创建数据库表
数据库1.seller分表的写库，保留三个月数据和没有完成交易的订单，一个实例。2.seller的分表的汇总表，保留所有seller的数据，拥有全部数据，一个实例。两个实例部署在同一机房，保证数据同步速度
tb_order_user表tb_order_info_user表
故障保护
时间耗费1.对于otter的不了解，如主库挂掉如何快速切换到别的机器上面。2.Task的开发，Node节点的开发（主要为修改node节点的代码提供发送Kafka消息跳过指定操作的功能）3.ES分片模板的加入，别名，SpringES操作
tb_order_seller表tb_order_info_seller表
所有的数据
此处可以使用内部队列减少数据堆积，推送Kafka
不过滤数据
数据库同步
三个月数据
基于Node节点做DB同步
0 条评论
回复 删除
下一页
