大数据架构选型
2025-04-02 14:46:54 0 举报大数据架构
作者其他创作
大纲/内容
任务调度
APP业务系统
日志服务器
ods
flume
Hive
计算引擎
数据存储
存储 每天n个g价格=0.01×1000+(n-0.5)×0.004×1000+0.8×n
flinkCDC
MaxCompute Engine 计算引擎
DataX
按量收费
离线
dw
伏羲分布式调度系统(YARN)
DW数据仓库
三年价格=45000
DWD数据明细层
1.8
采集集群
ODS原始数据层
Kafka集群
Nginx
MySql
按时长收费
50个cpu，高可用集群 三年价格=175500
实时
spark
监控预警
大数据平台
ADS结果层
flink
Doris
ETL
DB
运维
可视化数据开发
数据采集
日志采集集群(生产者)
数据集成
APP前端埋点数据
盘古分布式存储系统(HDFS)
FBI
DWS数据服务层
MaxCompute
ClinkHouse
DataWorks
Click House
数据拉取
0 条评论
下一页
