大数据平台数据血缘采集
2023-01-19 22:14:25 0 举报
数据平台数据血缘采集
作者其他创作
大纲/内容
Query Service
元数据管理
iMDM / Wechat / SAP / ...
Knowledge Management
测试文件查询 (Log/Image)
connectors
ICT / OpenTest
MQ
Job N
ODS
特殊的数据同步需再讨论...
IoT
SQL ServerOraclePostgreSQL
知识管理
埋点?
API
JDBC + Transform
Flink
数据地图
One Data
Samba
Kettle
SPI / AOI / X-Ray
DM
外部系统
...
自助分析
Greenplum
Debezium connector
解析 Panel 用到的 SQL
获取 UDF ，依赖 SQL Parser 进行语法解析生成表级血缘关系，附加表读写热度，PIC 等相关信息
通用模式的数据同步可从任务配置表中获取
MES / DAVI 等自研系统
Job 1
Job 2
DW
SMT / PCA 生产&测试日志
Kanban / Report
Connector 的血缘关系可通过解析 Kafka Connect Restful API 获得
Job 3
DCAgent
Kafka Connect
Tableau / PowerBI / Metabase
1. Flink 任务血缘元数据自动化采集2. 任务描述主动推送
MisTool / API
Kafka
非 connector 相关 Topic 元信息可通过 LogiKM 管理获得
REST
PG BDC
0 条评论
回复 删除
下一页
