Doris
2023-06-26 09:34:53 15 举报AI智能生成
Doris模型的介绍总结
作者其他创作
大纲/内容
数据模型分类
Aggregate模型
AggregationType
- SUM：求和
- REPLACE：替换
- MAX：保留最大值
- MIN：保留最小值
数据聚合的3个阶段
- 数据导入的ETL阶段 - 当前批次数据
- 后端BE进行数据 Compaction 的阶段 - 导入的不同批次
- 数据查询阶段 - 查询涉及到的数据
聚合模型的局限性
同一批次数据中有重复key的数据，无法保证replace的有序性
count()查询中，需要扫描所有的AGGREGATE KEY 列，且聚合后，才能统计正确
Unique 模型
读时合并（merge on read）
等价于聚合模型中replace方式
写时合并（merge on write）
在数据写入时候，对历史文件中相同key的数据打上删除标记，新数据写入新文件，
在读取数据时候，删除标记的数据在文件级别就被过滤掉，很多情况下支持多种谓词下推
在读取数据时候，删除标记的数据在文件级别就被过滤掉，很多情况下支持多种谓词下推
count(*) 查询在Unique模型的写时合并实现上的性能，相比聚合模型有10倍以上的提升
Duplicate 模型
无排序列
表的key列，只是 “排序列”，不限制唯一性
0 条评论
下一页
