impala
2020-06-09 09:45:10 0 举报AI智能生成
impala知识点覆盖
作者其他创作
大纲/内容
提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能
impala体系结构
Statestored
impala集群的主节点
如果statestored没有运行或者运行失败，其他节点和分布式任务会照常运行，只是说当节点掉线的时候集群会变得没那么健壮。当statestored恢复正常运行时，它就又开始与其他节点通信并进行监控
Catalogd
impala集群的从节点
从Hive元数据库中同步元数据，分发表的元数据信息到各个impala daemon中
接收来自statestore的所有请求，告知哪些impalad节点是健康的
impala daemon
接收client请求、Query执行并返回给中心协调节点
子节点上的守护进程，负责向statestore保持通信，汇报工作
执行计算
最好是与hdfs的datanode节点部署在一起，提高查询计算（数据本地化）
元数据缓存
保存在hive的metastore中的（mysql数据库中）
hive的客户端进行了元数据的变更操作
refresh:手动同步到impala
REFRESH [table] //刷新某个表
REFRESH [table] PARTITION [partition] //刷新某个表的某个分区
REFRESH [table] PARTITION [partition] //刷新某个表的某个分区
imvalidate metadata==命令手动同步
INVALIDATE METADATA; //重新加载所有库中的所有表
INVALIDATE METADATA [table] //重新加载指定的某个表
INVALIDATE METADATA [table] //重新加载指定的某个表
JDBC操作
0 条评论
下一页
