Impala架构
2023-08-09 14:44:03 3 举报
Impala的架构及核心组件的职责分工
作者其他创作
大纲/内容
Client
FE
Impalad
BE
MetaStore
Statestored
Statestored:一个发布订阅服务,主要的作用包括节点之间状态信息的同步、元数据信息的同步、资源队列信息的同步等
Catalogd
Impalad分为两种角色,每个Impalad可以充当任意角色:1)Coordinator(协调者):接收客户端请求、SQL解析,执行计划发送给各个Executor2)Executor(执行者):进行数据的扫描、聚合运算每一个Impalad自身又分为两个模块:1)Frontend:执行SQL解析,是用Java代码编写的2)Backend:执行数据扫描、聚合运算,是用C++代码编写的
Catalogd:是一个元数据服务,单独的一个进程,主要就是将hive的metastore所存储的元数据缓存到自己的内存当中,同时会将元数据信息发布到Statestored,然后各个Impalad就可以订阅相应的topic,将这部分信息拉取到自己的本地进行缓存
0 条评论
下一页