数据同步架构
2022-10-29 18:11:14 4 举报
离线、实时数据存储及同步脚骨
作者其他创作
大纲/内容
数据管道
实时性强-DLink平台写入
业务目标数据
实时数据
实时
转MQ
存储-Mysql、分库分表、CK、Hbase
数据源
结果数据推送
直连数仓
提供Rpc服务
业务数据库
数据加工
支持几十亿
源数据
统计分析报表
数据推送
数据抽取【全量、增量】
DataApi
离线数据
周期30天数据量
亿级
实时统计自定义SQL
支持明细查询
传输方式
抽取
ck
离线
提供整合离线+实时数据能力
Hive-存储
SystemPlatform
CK
支持量级大
BI-报表
存储周期受限数据量大小
MQ
数据仓库
不支持统计
直连
0 条评论
回复 删除
下一页
