Doris
2023-06-26 09:34:53 14 举报AI智能生成
Doris模型的介绍总结
作者其他创作
大纲/内容
SUM：求和REPLACE：替换MAX：保留最大值MIN：保留最小值
AggregationType
数据导入的ETL阶段 - 当前批次数据后端BE进行数据 Compaction 的阶段 - 导入的不同批次数据查询阶段 - 查询涉及到的数据
数据聚合的3个阶段
用户只能查询到聚合后的数据
同一批次数据中有重复key的数据，无法保证replace的有序性
count()查询中，需要扫描所有的AGGREGATE KEY 列，且聚合后，才能统计正确
聚合模型的局限性
Aggregate模型
等价于聚合模型中replace方式
读时合并（merge on read）
在数据写入时候，对历史文件中相同key的数据打上删除标记，新数据写入新文件，在读取数据时候，删除标记的数据在文件级别就被过滤掉，很多情况下支持多种谓词下推
count(*) 查询在Unique模型的写时合并实现上的性能，相比聚合模型有10倍以上的提升
写时合并（merge on write）
Unique 模型
无排序列
表的key列，只是 “排序列”，不限制唯一性
Duplicate 模型
数据模型分类
Doris
0 条评论
回复 删除
下一页
