数据平台建设
2019-08-21 16:26:28 41 举报数据平台建设
作者其他创作
大纲/内容
配置数据质量检测规则，实时抓取异常数据，保证数据准确，有效
数据源
通过队列实时拉取数据，更新指标
用户指标查询中台维度最小化，通过拉取不同表的不同字段实现数据多维度可配化灵活分析
数据收集平台
离线工具导入
平台建设
app
实时计算平台
记录数据收集明细，收集时间，条数，收集的数据范围记录数据库，表，字段和hive的字段，字段类型对应关系记录数据血缘关系，字段与表，表与表，表之间的join，app层业务需求产生新字段的关系图谱
olap平台
实时数仓
消息队列kafka等
实现任务之间工作流调度失败任务重试单点任务执行任务失败报警任务执行多节点资源分配等
离线导入导出
离线数仓
任务调度平台
dwd
dw
配置中心配置实现同步数据实现任务调度时间配置实时和离线数据类型
ods
olap分析平台
元数据管理平台
数据治理平台
canal实时程序开发
0 条评论
下一页
