互联网大数据技术架构图

kafka(数据汇聚)

Hive/Spark

元数据

sqoop(全量/非实时)

链路治理数据开发管理平台基础设施管理平台

Kyuubi

kafka

ES

hive

离线计算

业务埋点

HDFS

Mysql

存储

DRC数据接入/分发

DRC(自研数据分发)

产品

flum

优势标准的hadoop生态，利用其组建实现数据处理平台的建设1、采用业界通用的大数据hadoop框架，具备完整的生态和标准组件2、对于元数据同步，研发自己的DRC组件，实现标准业务DB数据的接入和分发，快速将数据导入数据仓库3、标准化的数据计算/处理组件，建立数据开发管理平台，使其实现数据开发可视化。4、根据业务对数据的存储进行分级，引入kylin数仓实现数据亚秒级查询

数据处理

Storm/SparkStreaming

业务日志

业务DB

网易

实时/增量NDC/DataStream（网易自研）

Sloth（网易自研）

EDSink（Strom/Flum）

实时/流式计算

kylin

redisCluster

Kudu（网易自研）

优势font color=\"#ff3333\

饿了吗

链路治理yarn统一资源管理和调度数据开发平台