大数据ods平台
2017-05-31 14:53:40 0 举报ods平台
作者其他创作
大纲/内容
presto查询
解析binlog，将ddl、dml转换成mongodb语法
任务调度
rds初始化数据导入mongodb
rds数据实时同步
mongodb
1
kafka
tidb、mongodb
rds
sqoop初始化
binlog 通过阿里DTS写入
etl数据处理
全量、增量
hive仓库
2
业务完成发送消息
dts服务
hive dw层
rds实例2
rds实例1
sqoop每日导入热数据
3
hive ods层
rds实例3
反查rds数据
结果数据mysql存储
mysql、tidb、mongodb
0 条评论
下一页
