大数据平台结构导图

实时消息中间件

业务系统

离线数仓

消息中间件

离线采集

文本文件

离线引擎

实时引擎

ADS 

数据治理

ODS 

DWD 

实时数据库

分类分级

实时规则，离线指标，计算任务等元数据存储

DWS 

数据采集

数据迁移，备份

实时数仓

实时采集

数据采集：作为大数据平台的数据来源分为实时和离线两个模块，实时数据作为数据治理的实时数据提供方，保障了系统的时效性和高可用，离线数据作为离线数据系统数据的提供方保障了断点保护机制，以及稳定的数据源离线采集数据治理：数据治理分为实时数据采集和离线数据采集，实时数据采集将采用7*24小时实时数据数据处理，保障下游业务系统和数据存储的数据供应，同时也保证灵活性，准确性，高吞吐量，高可用和时效性。离线数据处理基于离线数据采集的数据进行大数据离线分析，通过工作流调度将需要进行大数据分析的多样化数据进行数据分析，多维计算和挖掘等并对数据进行分层分类保障下游的业务系统进行进一步获取计算数据存储：主要保障了数据持久层和实时数据的存储，读取。数据存储对大数据进行了分层的管理，便于对数据的管理以及后期的数据分析，挖掘，机器学习，业务系统等数据的支持，作为大数据平台数据最后一站，数据存储同时保障了故障转移，数据分块存储，高并发，时效性等功能以便对上游系统提供稳定的数据供应。数据迁移备份：当数据进行到大数据平台的第一步将进行数据迁移和备份操作，作为一个安全可靠的数据系统，数据迁移将保证了数据放丢失。

关系型数据库

数据存储

调度工作流引擎 

非关系型数据库