实时离线处理方案
2021-10-28 16:19:31 0 举报大数据采集流程
作者其他创作
大纲/内容
按需同步
Kafka
离线
实时数据流
ClickHouse
源数据层（ods）
DBMS
数据仓库层(dwd/dws/dwt)
PyFlink实时处理
主要用于初始化数据
MySQL应用层
流式计算
以增替删方式处理业务系统物理删除
增量同步中间层（src）
Canal实时同步Binlog
数据应用层(ads)
数据管道
DataX
实时
收藏
职业：开发
0 条评论
下一页
