Parquet UML
2016-01-09 20:46:20 0 举报
Parquet是一种列式存储文件格式,用于在Hadoop生态系统中高效地处理大数据。它的设计目标是提供高效的数据压缩和编码机制,以实现快速的数据读取和查询。Parquet文件由多个行组组成,每个行组包含一组相关的数据记录。这些行组可以进一步划分为多个列块,每个列块包含一列或多列数据。Parquet支持多种压缩算法,如Snappy、Gzip和LZO,以减少存储空间需求。此外,Parquet还提供了丰富的数据类型支持,包括整数、浮点数、布尔值、字符串等,以满足各种数据处理需求。总之,Parquet是一种高性能、可扩展的大数据存储格式,适用于各种大数据应用场景。
作者其他创作
大纲/内容
聚合算子配置
历史统计结果存储
特征存储配置
事件数据源
数据源配置
特征抽取规则配置
特征信息存储
统计指标抽取算子
统计指标聚合算子
收藏
收藏
0 条评论
下一页