21-08-27 组内串讲 王东明
2022-02-15 17:15:07 0 举报
数仓架构
作者其他创作
大纲/内容
4. impala
神策接入
专项指标分析（详细数据）：给业务人员看
........
stg001
ods001
aoding001
2.数据任务
impala1
db_type数据库类型
source数据来源
tb_name表名
task_id任务编号
dependency依赖任务编号
strem触发任务编号
mysql
mysql1
stg_xxxx_xxx1
mysql2
stg_xxxx_xxx2
stg002
hana
hana3
stg_xxxx_xxx3
stg003
ods002
impala
impala2
stg_xxxx_xxx4
stg004
ods003
hive
stg层
ods_xxx_xxx1
ods_xxx_xxx2
ods_xxx_xxx3
管理驾驶舱（汇总数据）：给领导看，为发展决策提供数据支持
1. 创建表、配置任务（除了stg表）2. 表元数据管理3. 表审批
数据源管理(底层调用Databus-saas)
任务调度示意图
数据仓库 ods 层
hana2
excel
ods层 -- 全量表
1.数据地图
1. 创建不同数据源的stg层表
数据仓库 stg 层
奥丁/帆软 指标可视化展现
Databus-saas
3. 数据源链接管理 -------> databusApi/sourceDbLink
数据工厂
hana接入
业务数据
impala3
3.数据接入
mysql3
hana1
stg层 -- 日表（全量/增量）
3.1 创建某个源数据表3.2 修改某个源数据表3.3 查询链接信息列表3.4 查询数据源某个链接信息3.5 尝试链接是否可用3.6 尝试链接是否可用【通过id】3.7 手动同步某个链接源的元数据到databus【通过id】
1.1 建立单表任务1.2 获取任务的数据源信息1.3 查询任务信息1.4 任务上线1.5 任务下线1.6 修改任务信息1.7 手动执行某个任务1.8 重跑某个任务版本1.9 杀死某个任务版本1.10 查询任务版本列表1.11 查看某个任务版本详情1.12 根据任务id查询某个版本的执行结果
文件上传
2. 元数据 -----------------> databusApi/source
1. 版本管理，任务重跑2. 配置任务执行顺序，触发方式
mysql接入
1. 任务管理相关 ---------> databusApi/task
dw(DataWarehouse)层、dim(dimension维度)层、rpt(report)等，数据清洗，数据分析，数据挖掘
收藏
0 条评论
回复 删除
下一页
