集中性能新架构
2021-06-23 17:10:43 147 举报架构图
作者其他创作
大纲/内容
分布式表
数据存储层
大屏展现
原始数据
批流一体实时数仓-KAPPA架构
KETTLE
数据填报
服务发现与治理
实时汇聚物化视图
查询
实时数据
容器编排平台
Clickhouse
数据库信息
HDFS集群
数据采集层
工具及平台
FLUME
GreenPlum
应用层
FLINK
历史数据
KAFKA集群
实时采集
KAFKA消息队列
原始文件
报表查询
ClickHouseOLAP DBMS应用
SQOOP
ClickHouse物化视图 - 实时OLAP
预处理层
数据库
输出适配
设备信息
HDFS分布式文件存储
湖仓一体
监控告警平台
零拷贝 高性能 ETL (C程序，分布式)
GP/Mysql/PG关系型数据库
文件
Beam
本地表
TaskManager
HIVE
海量原始历史数据仓库和离线分析（主要用于大数据备份使用）
可视化分析
1. 统一架构，信息港和呼池使用同一套架构2. 减化处理环节，采用批流一体实时数仓架构，数据在流转过程中不落盘3. 引用湖仓一体，打通数据仓库和数据湖两套体系，统一源数据管理，统一开发体验；提供有机的大数据生态体系4. 引入K8S统一编排所有组件，提升资源利用率，轻化后期的运维、维护；
数据分析层
HIVE/SPARK
数据核查工具
ods基础数据本地表
数据流举例
监控与运维
支持弹性伸缩编排，基于数据一致的批流一体KAPPA架构的实时数仓，配合海量数据离线计算框架，完成业务数据支撑及展现
DataBench
K8S弹性容器编排
设备
统一认证平台
输入适配
离线计算任务
HDFS
前置机
数据源
批流一体
可视化报表工具
Redis高速缓存NoSql存储
定时/条件触发
应用服务层
微服务跟踪治理平台
收藏
职业：暂无
0 条评论
下一页
