数据仓库架构设计

客户端采集的数据流

数据字典

数据预处理

应用支撑

holodesk

元数据管理

资源管理框架

模型处理

Container

redis

工务段写入

个性化数据库

汇入模块

HBase

根据大修模型所需数据经过批处理可以一次生成大修模型，大修报表

数据处理模块

Graph

基础指标库

数据宽表（数据模型）

结构化/半结构h化数据库

mysql

近数据源层

权限控制

 Container

API 网关

注释：汇入模块：为了灵活采用各种数据汇入工具或者脚本，故单独拿出清洗转换模块：主要功能将 新增数据 与 上一周期的 '当前数据' 处理成这一时刻的最新数据模型处理模块：在当前数据库的基础上生成模型 或者 在增量和已有精度表的基础上维护模型数据接口中间件：通过JDBC、ODBC与底层数据仓库建立连接并做ORM映射 ，向上提供所需数据接口数据汇入层：数据缓冲层留存当前周期来自数据源的增量数据数据预处理层：生成大修模型数据汇总层：面向外部所需数据 提供数据存储，业务数据和历史数据维护应用支撑： 根据外部所需(业务场景)调整数据结构数据字典：对数据的数据项、数据结构、数据流、数据存储、处理逻辑等进行定义和描述临时库：不做存储，业务表表生成过程的中间表，为免造成业务数据库混乱单独拿出

业务数据库

清洗转换模块

EXCEL/CSV

cube

数据源

数据接口

精度表方案

爬虫

数据仓库

定时任务调度模块执行批处理流程

当前数据库

系统运行日志视具体情况

数据汇总

业务日志

汇总库

ES

报表/前端

数据汇入层

客户端日志

临时库