金融数仓分层设计
2024-12-20 10:31:31 0 举报
金融数仓分层设计是一种常用的数据架构方法,旨在提高数据质量和数据使用的效率。这种设计通常包括以下几个层次:操作数据存储(ODS)、数据仓库(DW)、数据集市(DM)和应用数据层(ADL)。ODS层存储原始数据,直接从业务系统导入;DW层进行数据清洗、转换和聚合,生成一致性的、可用的数据集;DIM层针对特定业务需求,进一步对DW层数据进行处理,形成易于理解和使用的数据形式;APP层则根据具体应用需求,提供定制化的数据服务。这种分层设计能够提高数据的可维护性和可扩展性,使得数据更加有序、高效地被使用。
作者其他创作
大纲/内容
审计主题
存储1:tidb2:Doris
公开金融数据
投顾保有表
投顾主题
采购金融数据
从数据收集通过 DM/fluentd 同步过来的数据
ODS: 原始存储层,历史数据
原始数据(ODS)
托管行
NGINX
净值明细表
BI
投顾签约明细表
订单主题
APP:应用层,面向业务定制开发
成本
数据收集
事实表(DWD)
用户持仓明细表
时间维度
订单明细表
数据仓库(dw)
份额明细表
用户类型
DWS: 数据服务层,初步利用星型模型,聚合 DWD 和 DIM 的相关数据
合规监管
中间聚合表(DWS)
用户主题
基金类型
持仓时间
redash
数据治理1:异常值检测2:数据一致性3:血缘管理4:生命周期管理5:数据字典
CRM
收入
用户信息
业务数据
DWT:主题宽表层,甚至是超级大宽表,不同业务主题间,不要冗余建设,用外键关联
维度表(DIM)
财务主题
DWD: 数据明细层,对 ODS 进行清洗,脱敏等操作,不做横向整合
账号维度
应用层(APP)
tableau
订单数
数据集市(DWT)
产品维度
业务类型
持仓人数
用户下载渠道
任务调度+ETL1:airflow 2:datax3:seatunnel
用户行为数据
0 条评论
下一页