大数据系统流程简述

多维分析报表

数据源

logServer

Kafka

Nginx

/origin_data/gmall/log/topic_start

/origin_data/gmall/log/topic_event

数据存储

数据仓库

类型拦截器

业务系统

logFile

Hbase

数据入库到HDFS后，在HDFS上创建数据仓库，数据仓库的分层可以根据具体场景建设，行业通用标准是5层；ODS层：源数据，不做处理；各种来源的数据归集在这一层；DWD层：数据标准化（词根、码表等），数据治理，数据清洗，定义好事实表，确认每张表的主键、分区DIM层：维度层，存放维度表；根据不同场景涉及不同的维度方式，有缓慢变化维（Slowly Changing Dimension）快速变化维（Rapidly Changing Dimension）大维（Huge Dimension）杂项维（Junk Dimension）退化维（Degenearate Dimension）多值维（Multivalue Dimension）等等DWS层：建立轻度汇总表，也就是模型；这里有周期性事实表、累计型事实表、事务性事实表，不同场景选择不同的表ADS层：应用层，根据需求方、业务方建表；也可以是多维分析表等；

数据应用

Flume(P)

mysql/oracle

web/app埋点数据

ES

clickhouse

ETL拦截器

/origin_data/gmall/db/$tb_name/$date

mysql

trino

web/app业务数据

sqoop

系统架构

HDFS

数据入库

数据分析

业务Server

数据采集

topic_start                        topic_event

数据来源有两部分：一是app/web用户行为埋点数据；二是业务系统的业务数据

文本检索

Flume(C)

.......更多应用

Spark

接口输出

hive