组件篇--kylin
2022-12-14 20:34:13 0 举报组件篇--kylin
作者其他创作
大纲/内容
更新任务状态并清理无效数据
计算维度
数据加载到内存
工作原理
在建表时自动合并
构建模式
Kylin_build(kylin创建)
是开源的，分布式的分析型数据仓库，提供了Hadoop/spark之上的SQL查询接口，多维分析能力支持超大规模数据1.定义星型或则雪花模型2.在数据表上构建cube3.使用标准的SQL通过JDBC压秒内获得查询结果
合并
kylin
Kylin_build 流程图
Build BaseCuboid
从宽表抽取Cuboid
创建的表在内存
一个维度的所有信息
Build N-DimensionCuboid :level 1
Load HFile to HBase Table
创建HBase表
根据维度表建字典表
将以前所有的数据进行汇总计算构建数据的时候 所有的数据都会被进行计算只有一个Segment
全量构建
Update Cube Info
增量构建
优缺点
create hive table(宽表)(类似维度表)
clean（Hive清理，HDFS上的垃圾收集）
跟新多维度信息
手动合并
读取kylin的三种方式
转HFile文件(HBase)
clean (Hive Cleanup，Garbage Collection on HDFS)
开始
Convert Cuboid Data to HFile
文件加载到HBase表
curl -X POST -H \"Authorization: Basic QURNSU46S1lMSU4=\" -H 'Content-Type: application/json' http://localhost:7070/kylin/api/query -d '{\"sql\":\
Build Cube In-Mem
结束
根据字段的时问维度进行分区可以自定义分区的格式构建数据的时候按照时间的区间计算数据每计算出一个结果，都会形成一个Segment
自动合并
定义
Build N-DimensionCuboid:level N
读数据
数据从内存中被加载到HBase
0 条评论
下一页
