云计算平台组件
2019-08-27 10:41:44 0 举报AI智能生成
云计算平台组件及各组件概要介绍,包含Iaas、Paas、Daas、Saas部分，及各部分细分软件，涉及OpenStack平台、Hadoop平台等开源组件
作者其他创作
大纲/内容
Iaas
资源服务
自动伸缩服务
网络服务服务
存储服务服务
VPC 服务服务
VDC 服务服务
弹性主机服务
负载均衡服务
资源编排服务
子主题 9
资源池
计算资源池
存储资源池
网络资源池
安全资源池
基础资源
服务器设备
网络设备
存储设备
其它设备
Paas
平台服务
数据传输交换
传输交换服务
数据存储
分布式并行数据库
关系型数据库服务
分布式文件系统服务
内存数据库服务
图数据库服务
全文检索数据库
分析计算
内存计算服务
离线计算服务
实时计算服务
流式计算服务
机器学习服务
平台服务
服务总线
任务调度
API 网关服务
可视化服务
地理信息服务
多媒体处理服务
认证服务
授权服务
容器管理
第三方服务接入管理
异构云平台统一调度
Saas
通用应用
专业应用
智能应用
应用工场
Daas
大数据资源管理平台
数据接入
数据探查
数据定义
数据读取
数据对账
数据处理
数据提取
数据清洗
数据关联
数据比对
数据标识
数据分发
数据治理
数据资源目录
数据分级分类
数据血缘管理
数据模型管理
数据标签管理
数据质量管理
数据运维管理
数据组织
原始库管理
资源库管理
主题库管理
知识库管理
业务库管理
业务要素索引库管理
数据服务
查询检索
比对订阅
模型分析
数据推送
数据鉴权
数据操作
数据管理
资源服务调度及安全机制实现
数据服务总线
数据服务总线管理
数据总线
状态总线
控制总线
数据交换共享
与科信部门信息共享
与网络安全部门信息共享
与其他侦控系统的信息共享
运维管理
资源配置管理
集群管理工具
数据运维平台
采集设备运维
大数据中心运维接口
运维数据备份恢复
数据资产展示
资源门户
运营门户
运维门户
安全保障
安全资源池
分布式虚拟化防火墙
分布式虚拟化数据库审计系统
OpenStack
计算
Nova
API Server（nova-api）
消息队列（rabbit-mq server）
运算工作站（nova-compute）
网络控制器（nova-network）
卷管理（nova-volume）
调度器（nova-scheduler）
存储
Cinder
Swift
Swift代理
Swift对象
Swift容器
Swift账户
Swift RING
网络
Neutron
自服务门户
Horizon
共享服务
认证
Keystone
服务入口
区位
用户
服务
角色
租间
监控计量
Ceilometer
镜像管理
Glance
Glance控制器
Glance注册器
高级服务
Heat
Trove
Hadoop
HDFS
架构
NameNode
元数据
(定期记录DataNode容量)
副本策略
(考虑容量和距离)
第一副本
(同机架，Client就近)
第二副本
(跨机架选择，高可靠)
第三副本
(第一副本机架选择)
DataNode
概念
块
(128M)
包
(64K)
Chunk
(512byte)
MapReduce
MR模型.PNG
Map
Reduce
实战
WordCount流程图.PNG
Yarn
架构
ResourceManager
NodeManager
HBase
架构
Hmaster
RegionServer
Hive
Storm
架构
Nimbus
Supervisor
Spark
架构
Master Node
(Cluster Manager)
控制整个集群，监控worker
Driver
运行应用main()函数
Worker Node
控制计算节点，启动Driver或Excuter
Excuter
某个应用运行在worker node上的一个进程
运行模式
Standalone
Spark-alone模式.png
Spark-alone任务流程图.png
Mesos
Yarn
Yarn Client
Spark-yarn_Client任务流程图.png
Yarn Cluster
(Yarn Standalone)
Spark-yarn_Cluster任务流程图.png
本地模式
Local
Local Cluster
实战
Spark WordCount任务流程图.PNG
关键概念
RDD
(弹性分布式数据集)
操作
Transformations
(提供对应的继承自 RDD 类型)
Actions
(继承自 RDD 的类都定义 compute 函数)
Spark-RDD-transformations-actions函数表.png
Job
(包含多个Task组成的并行计算
由Spark Action触发生成
一个Application中会产生多个Job)
Stage
(Job被拆分成多组Task， 作一个TaskSet)
DAGScheduler
Spark概念串联图.png
HA方案
ZooKeeper
0 条评论
下一页
