首页  思维导图  详情

元数据规范

2024-02-28 16:40:18   0  举报





AI智能生成

元数据规范是一种用于描述和组织数据集的标准化方法。它包含了数据的核心内容，如数据来源、格式、生成时间等，同时还包括了文件的类型和修饰语。通过遵循元数据规范，可以确保数据的一致性和可访问性，便于数据管理和分析。

metadata

元数据

大数据

作者其他创作

大纲/内容

基本定义

元数据

定义和描述其他数据的数据。

数据项

用于描述元数据的基本数据单元。

元模型

规定一个或多个其他数据模型的数据模型。数据中台元模型由技术属性、业务属性、操作属性构成，可根据需求增加新的属性

属性

一个对象或实体的特征。

技术属性

从源库同步的技术类元数据。

业务属性

定义的有业务含义的元数据。

操作属性

描述处理和访问数据的细节的元数据

元数据描述

采用摘要表示的方式定义和描述元数据，摘要内容包括中文名称、定义、英文名称、数据类
型、值域、缩写名、约束/条件、最大出现次数和备注

元数据扩展

当已经定义的元数据不能满足数据实际使用时，可根据实际需求新增属性，或者进行已有数据项的新增或者修改

元模型

技术属性：表名、所属数据库、创建时间、表结构信息、主键、分区、外键；

业务属性：负责单位、负责部门、负责人、表中文名、主题域、数仓层级、业务域

操作属性：创建日期、变更频率、DDL 最后变更时间、储存位置、储存大小、最近同步时间。

其他元数据属性举例：例如所属系统、任务信息、数据流向、接口信息、管理属性

元数据描述

描述约定

中文名称

元数据的中文名称，如表名、所属数据库、创建时间

英文名称

元数据的英文名称。所有组成词汇的首字母应大写，且用空格连接。

缩写名

元数据的缩写名。宜采用英文名称的首字母大写连写

定义

元数据的基本内容、概念和说明

数据类型

元数据的数据存储数据类型，如：字符串、日期型、时间型、布尔型、整型、浮点型等。

值域

元数据可取值的范围。例如值域中的日期型取值统一为北京时间。

约束/条件

该元数据是否可选。该说明符分别为：
a) M：必选，表明该元数据应选；
b) C：一定条件下必选，当满足约束条件中所定义的条件时必选，条件必选用于以下三种可能性
之一：
1) 当在多个选项中进行选择时，至少有一个选项为必选，且应使用；
2) 当一个元数据已经使用时，选用另一个元数据；
3) 当一个元数据已经选择了一个特定值时，选用另一个元数据。
c) O：可选，根据实际应用可选择也可不选的元数据。已经定义的可选元数据，可指导部门元数
据标准制定人员充分说明其信息。

最大出现次数

说明该元数据可以出现的最大次数，只出现一次的用“1”表示，多次重复出现的用“N”表示，允
许不为1的固定出现次数用相应的数字表示，例如“2”“3”“4”等

备注

与元数据有关的说明注释

元数据展示

技术属性

表名

英文名称：Table Name
缩写词：TN
定义：数据库或者数据源的数据表的名称
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：

所属数据库

英文名称：Data Base
缩写词：DB
定义：元数据所描述的数据表所在的原始数据库名称
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：

创建时间

英文名称：Create Time
缩写词：CT
定义：元数据所描述的数据表的创建时间
数据类型：日期型
值域：自由文本
可选/必选：M
最大出现次数：1
备注：按照“yyyy-mm-dd hh:mm:ss”格式表示。

表结构信息

英文名称：Table Structure
缩写词：TS
定义：元数据所描述的数据表的表结构信息，包括：字段名、字段中文名、数据类型、长度、精度、
允许空、默认值、字段说明
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：

主键

英文名称：Primary Key
缩写词：PK
定义：数据表的主键，能够唯一标识一行数据的主关键字段名称
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：多个主键用半角逗号“,”分割。

分区

英文名称：Partition Key
缩写词：PTK
定义：数据表的分区，用于将数据按照不同的分区维度进行切分管理
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：多个分区用半角逗号“,”分割。

外键

英文名称：Foreign Key
缩写词：FK
定义：数据表的外键，用于指向另一张数据表的主键，帮助两张表做数据关联
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：多个外键用半角逗号“,”分割

...

业务属性

负责单位

英文名称：Responsible Company
缩写词：RC
定义：数据表的责任单位
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：

负责部门

英文名称：Responsible Department
缩写词：RD
定义：数据表的责任部门
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：

负责人

英文名称：Table Manager
缩写词：TM
定义：数据表的责任人，责任人一般为该数据表的创建者
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：采用英文描述。

表中文名

英文名称：Table Name Cn
缩写词：TNC
定义：数据表的中文描述名称
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：采用中文描述。

主题域

英文名称：Subject Domain
缩写词：SD
定义：数据表所属的业务主题域，如销售主题域、物流主题域等
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：采用英文描述

数仓层级

英文名称：Data Warehouse Layer
缩写词：DWL
定义：数据表在数据的分层架构中所属的层级
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：采用英文描述，一般为ODS、DIM、DWD、DWS、ADS。

业务域

英文名称：Business Domain
缩写词：BD
定义：与业务流程相关的数据分域
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1

...

操作属性

创建日期

英文名称：Metadata Create Date
缩写词：MCD
定义：元数据的创建日期。
数据类型：日期型
值域：自由文本
可选/必选：M
最大出现次数：1
备注：按照“yyyy-mm-dd”格式表示。

变更频率

英文名称：Change Frequency
缩写词：CF
定义：数据表的数据更新频率，变更频率决定了表的数据时效性
数据类型：字符串
值域：自由文本
可选/必选：M
最大出现次数：1
备注：一般以秒、分钟、小时、天、周、月为单位。

DDL最后变更时间

缩写词：DUT
定义：元数据所描述的数据表的DDL最后更新时间
数据类型：日期型
值域：自由文本
可选/必选：M
最大出现次数：1
备注：按照“yyyy-mm-dd hh:mm:ss”格式表示

存储位置

英文名称：Storage Location
缩写词：SL
定义：元数据所描述的数据表的访问地址
数据类型：字符串
值域：自由文本
可选/必选：可选
最大出现次数：1
备注：路径用半角正斜杠符号‘/’分割

存储大小

英文名称：Storage Size
缩写词：SZ
定义：元数据所描述的数据表的物理存储空间大小
数据类型：bigint
值域：数值
袋鼠云DTSTACK
T/ZAII 035—2022
7
可选/必选：M
最大出现次数：1
备注：展示的时候单位为KB、MB、GB、TB等。