网易流计算服务化平台架构实践
2018-08-28 16:46:28 13 举报网易流计算服务化平台架构实践
作者其他创作
大纲/内容
直接导入
权限管理Ranger
统一资源管理与调度Yarn
分布式数据库HBase
分布式文件系统HDFS和Kudu
流式计算Sloth
……
网易云音乐
Database
数据加工
数据业务架构
实时/增量接入NDC和DataStream
大数据开发套件（可视化IDE）
多租户管理
元数据管理
离线计算Hive
自助分析
数据存储
资源管理
运维监控Amber
其他仓库
数据管理
数据平台
网易有数/网易猛犸
数据应用
密钥管理Kerberos
数据源
网易考拉
网易云课堂
数据开发
大数据应用开发层
数据集成
内存计算Spark
任务远推
数据存储计算服务
非结构化数据如音频文件
网易新闻
全量/非实时接入Sqoop
半结构化数据如Json
结构化数据如RDBMS备库
数据质量校验DQC
作业流开发AzKaban
网易大数据体系
数据计算
日志
0 条评论
下一页
