数据平台建设问题
2017-02-10 15:24:33 0 举报
登录查看完整内容
数据平台建设是一个复杂且关键的过程,涉及到数据采集、存储、处理和分析等多个环节。首先,需要明确数据平台的目标和需求,以便确定合适的技术架构和解决方案。其次,数据的采集和清洗是保证数据质量的关键环节,需要有有效的数据治理策略和工具。此外,数据的安全和隐私保护也是重要的考虑因素,需要遵守相关的法规和标准。最后,数据平台的运维和维护也需要专业的团队和流程,以确保数据平台的稳定和高效运行。在这个过程中,可能会遇到各种技术和管理的挑战,需要通过持续的学习和改进来应对。
作者其他创作
大纲/内容
提出业务问题
产品开发
需求分析
底层数据质量差,导致数据问题较多
挖掘分析
App
业务系统
项目规划
数据分析工具弱,只能数据导出在本地分析
数据开发
数据监控
Web|H5
发布上线,数据差评和相关业务人员验收
第三方系统(友盟)
产品和数据对接
通过xdcs日志收集
Mysql存储
数据产品交付产品和数据文档
报表需求不符合项目规划,导致数据建设投资精力减少
后台开发完成功能开发和数据对接
产品原型设计和数据需求文档
数据质量差,需要花费很多精力在数据质量校对方面,数据口径不一致,统计结果不同
数据开发完成ETL,交付数据表和说明文档
测试发布
数据建模
调度系统
数据管理
提出报表需求
数据提取
元数据管理
数据产品&分析师进行需求分析
数据开发完成建模,交付模型设计文档
web开发完成界面和交换开发
数据仓库不完善,需跨各种数据库进行数据提取,同时数据查询效率低,花费很长时间查询
API
ETL
调度系统不够完善,经常数据丢失
数据采集
数据开发不进行建模和元数据管理,对业务了解不够。导致数据不能复用
数据质量评估
百度统计和GA
数据分析
数据质量管理
产品开发不使用报表开发开源工具,导致开发周期偏长
数据清洗
数据产品交付项目计划
0 条评论
回复 删除
下一页