Doris
2023-06-26 09:34:53 14 举报
AI智能生成
Doris模型的介绍总结
作者其他创作
大纲/内容
数据模型分类
Aggregate模型
AggregationType
- SUM:求和
- REPLACE:替换
- MAX:保留最大值
- MIN:保留最小值
数据聚合的3个阶段
- 数据导入的ETL阶段 - 当前批次数据
- 后端BE进行数据 Compaction 的阶段 - 导入的不同批次
- 数据查询阶段 - 查询涉及到的数据
聚合模型的局限性
同一批次数据中有重复key的数据,无法保证replace的有序性
count()查询中,需要扫描所有的AGGREGATE KEY 列,且聚合后,才能统计正确
Unique 模型
读时合并(merge on read)
等价于聚合模型中replace方式
写时合并(merge on write)
在数据写入时候,对历史文件中相同key的数据打上删除标记,新数据写入新文件,
在读取数据时候,删除标记的数据在文件级别就被过滤掉,很多情况下支持多种谓词下推
在读取数据时候,删除标记的数据在文件级别就被过滤掉,很多情况下支持多种谓词下推
count(*) 查询在Unique模型的写时合并实现上的性能,相比聚合模型有10倍以上的提升
Duplicate 模型
无排序列
表的key列,只是 “排序列”,不限制唯一性
0 条评论
下一页