大数据开发平台架构
2021-12-08 13:58:41 1 举报大数据开发平台架构
作者其他创作
大纲/内容
get data and check permission
资源调度器（YARN）
/api/auth
/user/[name]/
DA Service
权限验证
JavaPlugin
Python Lib
RangerYarnPlugin
资源管理
E2
Data Store
pull proxy
用户权限
HDFS
resource lookup
告警
Hub
Development Service
pool3
启停
kubsernates集群
Livy Server
开发平台
pool1
Ranger Admin
users/groups
web server
Single TensorFlow
API
Job
user2
user1
Ranger HDFS Plugin
数据列表、申请资源等
Resource TAG扩展
RPC/SASL
Azkaban Cluster
Spawner
REST
Ranger Web UI
申请资源
UserSync
mysql
SSL/Kerberos
调度系统
DB
user3
Others Plugin
Check permission
/hub/
Python2/3.x
User DB
capacity3
capacity1
非大数据组件Redis / postgres / .....
Hive/Storm/Knox/Kylin/Sqoop......
capacity2
HadoopJavaPlugin
Auth
日志
En
spark executor
Azkaban plugins
Config Http proxy
spark on yarn（计算平台中）
Open LDAP
封装内部API
E1
load
CURD
KMS扩展
统一用户鉴权认证中心
Ranger Plugins
实验分析平台
Ranger Hbase Plugin
计算平台
Kafka Cluster
Hbase Cluster
spark context
Executor server
task submit andcheck permission
CommandPlugin
Notebook
Ranger Kafka Plugin
pool2
Sync
0 条评论
下一页
