血缘关系可视化
Apache Atlas
Atlas_Hook
数仓表:ODS、ADS、EDS...
线上数据
虎鲸Kafka
数据血缘
元数据同步方式2:Atlas_HOOK通过KafKa消息增量同步
元数据同步方式1:定时全量同步
非结构化数据:File、日志等
接入表
团队表:t_teamcode
Hive
元数据分析
SDK封装
数据权限
元数据Hook存储:MySQL(hive_metastore)
结构化数据:MySQL、Oracle、Pg、HANA...
离线接入
用户访问元数据接口
元数据管理