大数据项目实施工作任务清单
2024-03-13 09:01:59 0 举报AI智能生成
大数据项目实施工作任务清单是一个详细的文档，旨在确保项目按计划进行并达到预期目标。清单中包含了多个任务，涵盖了项目实施的各个阶段，包括数据采集、数据处理、数据分析、数据可视化以及结果应用等。每个任务都配有相应的截止日期和负责人，以确保项目按时完成。此外，清单还提供了各个任务的文件类型和修饰语，如文档、报告、图表等，以便更好地理解任务的具体内容和要求。
作者其他创作
大纲/内容
数据应用
模拟大屏业务
多维分析
实时分析
推拉
数字孪生
模拟报表业务
即系查询
多维分析
大表检索
手机，pc，适配
数仓实施
1、 ODS层数据接入
分层业务
原始层保留数据原貌
根据规范，对高表设置分区或分桶
数据建表
根据建表规范，梳理建表语句，考虑统一类型转换，数据库建表
数据集成
批处理 - 单表 - 全量
批处理 - 单表 - 增量
批处理 - 整库 - 全量
批处理 - 整库 - 增量
流处理 - 单表 - 实时入Hive
流处理 - 单表 - 实时入Kafka
数据治理
数据治理 - 元数据 - ODS层元数据同步
数据治理 - 数据标准 - ODS层标准落标映射
任务调度，持续评估标准落地情况
数据治理 - 元数据 - 标准映射查看
作为下一步建表的标准依据
2、DWD层数据加工
分层业务
字典表标准化
主题表质量检查
如果存在质量问题
创建临时表，根据清洗规则处理
最终得到标准化主题宽表
数据建表
数据治理 - 元数据 - ODS层标准映射查看
作为下一步建表的标准依据
主题表拉宽
根据ODS层元数据建表依据，梳理建表语句，考虑统一类型转换，数据库建表
数据集成
批处理 - Datax加工（普通数据体量）
批处理 - Spark计算（大数据批处理）
流处理 - Flink计算（大数据流处理）
数据治理
数据治理 - 元数据 - DWD层元数据同步
数据治理 - 数据标准 - DWD层标准落标映射
任务调度，持续评估标准落地情况
数据治理 - 元数据 - 标准映射查看
作为DWD层数据质量建设检查依据
作为DWD层数据安全建设检查依据
数据治理 - 数据质量
质量模型
质量任务
质量报告
质量整改
数据治理 - 数据资产
资产目录
资产挂载
数据治理 - 数据安全
数据分类，分级，安全级别，脱敏规则
3、DWS层数据加工
分层业务
主题宽表按需聚合（例如：月表，季表，年表），通用指标运算
数据建表
数据治理 - 元数据 - DWD层标准映射查看
作为下一步建表的标准依据
作为下一步指标运算的依据
根据DWD层元数据建表依据，梳理建表语句，考虑统一类型转换，数据库建表
数据集成
正常业务，无特殊场景要求
数据治理
数据治理 - 元数据 - DWS层元数据同步
数据治理 - 数据标准 - DWS层标准落标映射
任务调度，持续评估标准落地情况
数据治理 - 元数据 - 标准映射查看
作为DWS层数据安全建设检查依据
数据治理 - 数据资产
资产目录
资产挂载
数据治理 - 数据安全
数据分类，分级，安全级别，脱敏规则
4、ADS层数据加工
分层业务
业务按需提现
数据建表
数据治理 - 元数据 - DWS层标准映射查看
作为下一步建表的标准依据
作为下一步数据安全标准依据
根据DWS层元数据建表依据，梳理建表语句，考虑统一类型转换，数据库建表
数据集成
正常业务，无特殊场景要求
数据治理
数据治理 - 元数据 - ADS层元数据同步
数据治理 - 数据标准 - ADS层标准落标映射
任务调度，持续评估标准落地情况
数据治理 - 元数据 - 标准映射查看
作为DWS层数据安全建设检查依据
数据治理 - 数据资产
资产目录
资产挂载
数据治理 - 数据安全
数据分类，分级，安全级别，脱敏规则
5、数据服务
根据业务构建数据服务，加密，脱敏
数据盘点
1、模拟业务数据准备
数据模拟
业务模拟
大屏需求
业务点需求
时效性需求
2、模拟业务资料收集
文档收集
系统需求文档、操作手册等
表结构说明书、代码值、样本数据、建库脚本等
数据治理 - 元数据 - 数据探查
元数据采集（功能测试）
系统级
表数量，表容量，字段数量
表级
数据量，记录数，字段个数，字段类型分布
字段级
字段名，数据类型，长度，精度，注释
3、系统与表级调研
了解系统系统架构功能；
了解系统的数据情况量；
了解数据表的业务含 义，并初步筛选出关注的表
根据需求初步筛选出需求相关的表。
4、字段级调研
了解源系统的字 段的业务含义；
调研初步筛选 关注的字段。
5、调研报告撰写
梳理《调研报告模板》
数据规范
1、行业国标文档搜集
2、数据仓库规划，数据范围，业务域，主题，业务环节梳理，中英文缩写对照表
3、数仓基本规范制定
4、数仓实施规范制定
5、数据标准规范制定
建表规范
表名规范
字段名规范
数据类型规范
异构数据源，类型转换统一
数据元规范
表数据元标准
基本属性
技术属性
表存储引擎
业务属性
业务域
主题
一级分类
二级分类
业务含义
管理属性
归口管理部门
发布时间
安全属性
是否允许发布服务
传输是否加密
...待与客户确定
字段数据元标准
基本属性
技术属性
数据类型
度量单位
数据长度
数据精度
业务属性
标准中文名称
标准英文名称
业务定义
业务规则
制定依据
监管标志
管理属性
归口管理部门
发布时间
质量属性
值域
是否允许为空
格式规范
安全属性
是否脱敏
....待与客户确认
数据字典规范
行业标准梳理
6、模型建立
数据治理 - 元数据 - 元数据模型建立
数据治理 - 数据标准 - 标准模型建立
7、标准录入
数据治理 - 数据标准 - GB/FGB 文档上传
数据治理 - 数据标准 - 字段数据元标准梳理录入系统
数据治理 - 数据标准 - 字典类标准数据录入
0 条评论
下一页
