数仓技术架构v1.0
2020-10-26 19:38:28 5 举报数据仓库技术
作者其他创作
大纲/内容
统计分析库
HA模式
数据质量报警
编程语言
文件
HiveSQL
库表权限管理
增加
保障服务
中间层
机器学习
springboot(API)
ES
RDBMS
监控kaffa
HDFS
临时数据需求
Grafana
数仓技术架构v1.0
离线计算
Filebeat
两台master
ETL
日志数据
其它数据
脱敏
canal
OSS
MongoDB
应用层
存储层
SparkSQL
MQ
大数据统计/BI展示/数据挖掘/行业报告
KAFKA
REDIS
sqoop
集群采用EMR
服务层
解析
Flink
加工
交易数据
EMR后台监控
事件源
Influxdb
superset
AI
分类
业务数据源
PyCharmIntelliJ IDEA
计算层
埋点数据
三方数据
邮件发送或者通知发送数据文件
实时计算
单独VPC/两层VPN网络安全
表格存储
RDS
清洗
Javascalapythongolang
编程工具
0 条评论
下一页
