数据中台
2024-09-17 09:21:10 0 举报AI智能生成
数据中台
作者其他创作
大纲/内容
数据集成
数据库管理
管理不同类型的数据源连接，用户在可以通过配置类型、ip、端口、账号、密码等信息来管理各种平台所支持的数据源，同时支持不同库表查询、测试连接
文件管理
管理用户上传的文件数据
数据接入
数据接入，接入外部的数据到数据中台的ODS层，也可以自定义接入目的端数据源、支持一次性全量同步和周期性增量同步；同时还支持从源端到目标端的一个表名映射以及字段名的印射，还支持查看执行记录以及详细的执行结果，可以查看同步的数据量、数据大小、成功表数量、失败表数量、成功信息、失败信息以及错误的具体信息等，帮助用户全面掌握这么一个数据接入的执行情况
贴数据源
贴源数据主要是用来查看接入到数据中台ods层的数据表和数据，同时也可以查看每张表的同步记录
数据开发
数据表
查看数仓分层数据，查看表的信息，同时支持sql控制台
数据生产
数据生产是对数据进行作业代码化编辑，自行DDL建模，运行，调试等，通俗一点来讲就是我可以建立多个任务，在每个任务中我可以选择已经接入到中台项目的数据源中的数据库，或者选择中台库，在sql控制台中编写sql语句来进行对数据的增删改查的操作，每个单独的任务中也可以查看详细的日志信息以及执行的结果等
调度中心
调度管理
对生产作业进行流程编辑，可视化调度
这个调度管理中有一个大画布，上面数据生产中我们可以新建执行不同sql的任务，在这个画布中，可以对多个任务进行拖拉拽、连线，可以进行一个可视化的调度，来控制不同的任务进行串行化或者并行化等一系列执行
调度记录
查看调度结果，日志等
见名知意，对所有执行的调度任务的记录，可以详细查看任务的执行过程，执行日志及执行结果
运维中心
对作业执行运维管理
对作业的执行的信息汇总聚集，更适合后续运维查看操作
资源中心
资源管理是对各类资源的管理
Flink集群实例-管理FLink资源
Hadoop集群配置-管理Hadoop资源
DataX配置-管理Datax资源
配置中心
管理FilnkSql执行配置
数据治理
元数据
元模型
简单理解来说就是数据的数据，对数据属性、数据结构以及数据之间关系的定义，我们的系统中为用户内置了一套元模型、元数据库、元数据表、元表字段，当然也支持自定义模型
元数据采集
根据定义的元模型对元数据进行采集，通常是每一种元模型有自己内置的采集逻辑，可以设置采集周期等一些信息，比如是全量还是增量，这次采集任务是一次性还是周期性，以及要采集的数据来源哪个库哪些表，是支持一个库下的多张表一起采集的，以及采集出来归属到和何处。
元数据管理
对采集的元数据进行查看和管理
数据血缘
通过数据接入，数据生产流程之间的关系自动构建数据血缘关系图，追溯数据流向，这个我们只支持库表之间的血缘，字段的血缘做起来不好实现
数据标准
标准管理
就是对于数据标准的管理，最简单的例子就是好比如在性别字段中1代表男、2代表女，这就是一个标准的管理
标准清洗
标准清洗就是接入来的数据假如为男，我们就可以通过标准来清洗为1
清洗日志
清洗日志是对数据清洗的一个详细的日志记录，增加对于数据的掌控
数据质量
质量规则
外部接入的数据可能数据质量参差不齐，这就需要有一个统一的标准来检测数据，比如说身份证的格式校验、字段非空校验等
规则配置
规则配置可以自己配置想要的质量规则，自定义规则
检测日志
详细记录数据与质量规则的检测
错误主题库
对于不符合规则的数据单独拎出来，可以进行数据修改，使其符合质量规则
主数据管理
主数据模型
主数据可以理解为，一个大公司下面10个部门，假如有5个部门都需要某一种数据，这时候就可以用一个主数据模型，这个数据模型符合这5个部门的所有要求，可以使这5个部门的数据流通更方便
主数据派发
用户各根据业务需求派发任务，将主数据分发到其他业务系统，同时可以设置派发规则
数据标签
数据服务
API目录
用户自定义API目录，动态生成API，对外提供服务
API权限
对私有API进行授权操作
API日志
查看API调用日志
数据服务模块在数据中台项目中主要用于通过API接口的形式对外提供数据服务。它将中台的核心数据资源通过标准化的API暴露够内部或外部系统，实现数据共享和集成
数据资产
资产目录
自定义资源目录，在每个目录下自定义资源、挂载数据库。API等
资产总览
数据资产模块在数据中台中主要用与对数据资源进行分类、管理和应用。它帮助企业明确数据的来源、归属和使用情况，提升数据的利用率和管理效率。通过数据资产模块，用户可以对各类数据资源进行统一的管理，包括数据库、API、文件等，确保数据在各个业务部门之间得到充分的共享和高效的应用
数据集市
资产查询
中台资源目录以及目录下资源的产看，可对资源进行申请操作
我的申请
可以产看自己的申请记录，审批结果
我的应用
服务审批
管理员对其他角色的申请做出审批，若审批通过，申请人便可以收到审批通过的消息，使用自己申请的服务资源
数据集市是数据中台中的一个重要模块，旨在为业务用户提供便捷的数据访问和查询服务。通过统一的资源目录和 API 服务，数据集市将复杂的数据处理简化为用户友好的界面，支持自助式数据分析和业务决策。与此同时，它还通过权限控制和审批流程，确保数据资源的安全性和合规性，是企业实现数据驱动业务的关键支撑。
应用管理
消息管理
用来发送信息，短信、邮件等
日志管理
登陆日志
记录日志
全局管理
数据项目管理
数据分层展示
系统管理
菜单管理
定时任务
用户管理
数据字典
机构管理
岗位管理
角色管理
附件管理
0 条评论
下一页
