大数据平台架构和数仓构建
2024-02-23 17:46:59 0 举报
大数据平台架构和数仓构建
作者其他创作
大纲/内容
机器学习
自动化规划部署Auto Install
热点事件
zb_xx表
爆款预测
ERP业务
详情
Keetle
zb_FY表
定时任务(AZKABAN)
元数据--MataData
知识图谱
电商平台主题库
Mata-Data元数据管理
订单数据源
法官助手
检索(ES)
NOSQL数据库HBase
NOSQL数据库Redis
业务订单数据源
CLIENT
外部源
调度
机器学习平台SVM、SK-learn
XX库二级XX库
POTAL
第三方商业数据源
裁判文书
现有
DW
KAFKA
品类竞价
定制化业务
存储
原始数据--基本库
Sqoop
分布式文件系统(HDFS)
深度学习DeepLearing
数仓分析工具HiveSQL
ODS
JMQ
Python爬虫数据源
日志拉取(Flume)
交互
评论
消息队列(Kafka)
结构化数据DB2、PostGrepSQL
库存分析(线性回归)
统一注册服务(ZooKeeper)
WEBAPI+NGTCP
数据源
商品数据源
计算
GBD-ETL
接入
ajjbxx表
商品品类主题库
zb_AYx表
关系型数据库(MySQL)
应用
GBDIDE
清洗
TEZ
离线/实时计算Spark、Flink
DL
ODS层
Web-API/上层应用
DW层
社交数据源
检索业务(ES)
数据挖掘
业务分类
全局监控Gmetad
APP层
脱敏
诉服机器人
大数据展示(WEB)
大数据展示
爬虫源
SparkStreaming
实时调度(负载均衡,实时转发)
协议适配
ERP
数据研判
GBD-Schedule 统一调度
数据迁移(Sqoop/ooize)
HIveSQL
非结构化数据FTP
网红商品
预测(朴素贝叶斯)
同步
详情评论主题库
0 条评论
下一页