大数据和中间件架构
2021-07-26 18:36:14 83 举报hadoop、spark、flink、durid、impala、presto架构图以及一些中间件
作者其他创作
大纲/内容
Task
Redis2(Master)
TaskScheduler
Redis1(Master)
zookeeper1
RedoFile
获取Segment数据文件的相关元数据
shard
提交Application
根据索引文件查找日志
mongos
master
发送任务
4启动Executor
查询
读取指定分区，根据索引查找日志
Portal
NameServer
Meta
调度中心
TaskManager
Discovery Server
读取配置
Spark Driver
Historical Node
Druid架构
收到元数据变更通知
发送心跳
执行器注册
健康检查
Config Service
Spring Gateway处理流程
reduce task
写入EditLog
日志服务
DeepStorageHDFS
partition2
待执行任务队列
Tablet Server
HDFS
WAL
StreamGraph
刷盘
hbase:meta
MemStore（内存）
Flink处理流程
pull
stage2
查找config服务
Driver
Client
segment file
stage1
Tablet Follower
表操作
push
Tablet Leader
注册
Redis3(Slave)
声明不提供该Segment查询服务
DeltaFile
JounalNode
ApplicationMaster
任务执行服务
提交任务
ExecutorBackend
Redis2(Slave)
NebulaGraph
client
Quorum Journal Manager
负载均衡
Worker
Shard1Secondary
ConfigSecondary
MetaIndex
Data
consumer
同步
Region
Broker Node
启动Executor
任务下发
具体业务
segment in-os-cache
BlockCache(查询缓存)
根据key进行hash，路由到指定槽
同步或异步保存消息
DataNode
变更元数据
NodeManager
raft
获取数据分片信息
zookeeper
获取路由信息
State Store
Cluster Manager
RegionServer
Standalone：MasterYarn：ResourceManagerMesos：Master
RouteLocator
Catalog
注册线程
结果文件
BlockTransforService
客户端
task执行最小单元
Tablet
Realtime Node
RDD
任务日志
元数据变更通知
查询实时节点
读写数据
Master
1、查询hbase:meta所在regionserver
FilteringWebHandler
TaskSlot
Clinet
GatewayFilterGlobalFilter
TaskSetManager
flush
Eureka
YarnFlinkResourceManager
Peon
查找admin服务
Impalad
1提交资源申请
RocksDB
Store(保存一个列族数据)
producer
Meta Server
Store
Executor
3、扫描数据
加载路由配置
UndoFile
DAGScheduler
记录更新数据
JobGraph
PortalDB
BaeData
执行结果异步上报
3申请Container
DAG
拉取文件
数据读写
回调线程
broker1
broker4(Slave)
Mysql
获取分区元信息
启动Task
TaskSet
Spark处理流程
索引服务（Indexing Service）
Kafka集群
读写配置
同步或异步复制日志信息
MetaData
发送消息
ES处理流程
Kudu
Graphd
SchedulerBackend
查询流程
分发查询任务
Storaged
Impala
执行器
in-memory buffer
broker2(Master)
commitlog
Table
Hadoop架构
RoutePredicateHandlerMapping
ConfingDB
数据操作
资源请求/响应
Apollo配置中心
负责Historical Node的数据负载均衡
查询元数据
HeartbeatReceiver
Shard2Secondary
ConfigPrimary
读取EditLog
JobHandler1执行线程
FileInfo
ResourceManager
document
DeltaMemStore（内存）
zookeeper2
BloomFile
SparkContext
Hbase
Flink Program
Coordinator
NameNode(Active)
HFile
分发查询
RowSet
Yarn ResourceManager
查找服务
心跳
查询数据
Trailer
MapOutPutTrackerMaster
添加文档
Deepstorage拉取Segment文件
ExecutionGraph
Metad(Leader)
Metad（Follower)
Shard1Primary
读取消息
日志查询
DataIndex
充当协调节点，分发查询任务，汇聚结果
broker3(Slave)
存储结构
Shard2Primary
refresh
Query PlannerQuery CoordinatorQuery Executor
RouteDefinitionLocator
HDFS DATA NODE
查询行键
DiskRowSet
创建任务
RocketMQ集群
存储集群的元数据信息
MiddleManager
流数据
表管理
NameNode(StandBy)
JobManager
统治节点(Overload)
translog
清空translog
Data：数据块 Meta：元数据块 FileInfo：文件信息DataIndex：数据块索引 MetaIndex：元数据块索引Trailer：HFile的基本信息、各个部分的偏移值和寻址信息
JobHandler2执行线程
执行结果
Mongodb集群
clinet
ZKFC
MapStatus（文件位置信息）
Segment上传到Deepstorage
提交查询
声明提供该Segment查询服务
2、查询row所在region
Redis3(Master)
RDD Graph
zookeeper3
Presto
partition1
2启动App Mater
broker1(Master)
Redis1(Slave)
YARN
zookeeper集群
XXL-JOB
Redis集群
每个实例分配部分槽
MapOutPutTrackerWorker
map task
获取tablet元数据
MemRowSet(内存）
Index
保存消息
Coordinator Node
broker2
HFile（文件）
更新元数据
请求
Admin Service
查询历史节点
查找路由
获取worr节点
0 条评论
下一页
