离线计算平台
2022-03-15 11:26:34 16 举报大数据
作者其他创作
大纲/内容
任务调度
flink sql
ods_live_reportdata
flink jdbc
(3天)
topic_b
topic_RTC
origin_topic
App
kafak engine table
topic_VoD
flink es sink
ods_mediasdk_report
报表可视化
源Topic [pb/json]
topic_Meida SDK
topic_c
topic_Codec
ods_rtc_reportdata
Spark
Hive 数仓ODS
服务监控
权限管控
etl_topic[json]
ES
ods_codec_report
数仓 ODS
etl_topic
sink
业务Topic[json]
ods_vod_reportdata
业务Topic
Kafka
Presto
数据分析洞察
MapReduce
flink etl
topic_Live
topic_a
数据存储
Web
Data Hub
dataweb
采集传输
HDFS/Hive
离线路线
ods
QoE
clickhouse
Presto Queue
Flink CDC
api
数仓/指标体系
源Topic
资源队列
ck_vod_reportdata
全量上报
ck_live_reportdata
kafka [json/pb]
Spark
Hive
（30天)
SDK
Data hub/Sqoop
dwd
Clickhouse
采样上报
flink sink
(90天)
ck_codec_report
topic_d
(60天)
同源数据
spark
HFDS Files
源Topic [json]
Flink
数据服务
kafka [json]
ck_result_table
DB
CK
HDFS[json]
故障定位归因
实时链路
doc_reportdata
查询计算引擎
kafka [pb]
元数据管理
（5天)
离线链路
源Topic [pb]
MR
flink hdfs sink
Apollo
新增topic
dim
.....
（3天)
（90天)
实时路线
数据源
kafka 引擎表
Mysql
YARN Queue
数据治理
（7天)
A/B Test分析
dwm
Server
ck_mediasdk_report
ck_rtc_reportdata
...
QoS
kafka 引擎
logstash
Sqoop
Water drop
0 条评论
下一页
