EWT上云-大数据内容应用依赖关系
2022-04-29 12:30:08 4 举报
添加大数据应用切割图方案一,二
作者其他创作
大纲/内容
bigdata-download
gateway
Nginx
data-portal-home
可视化8055
mst-web-schedule-home
HTTP
gitlab邮件fastdfs
data-governance
应用本身db
大数据应用
Kafka1
CLOG
eureka
172.16.189.42172.16.189.52172.16.189.62
前提条件 1. 云下,云上数仓数据一致性 2. 云下,云上clog 一致性 3. 云下,云上调度是否同时开,还是保留一个,Mysql数据通过DTS同步 1. 云下应用保持不变(云下环境、库、集群) 2. 将应用发到云上容器(云上环境、库、集群) a. eureka 指向云下 b. xxl-job 指向去下 3. 独立域名包含云上容器指向,@殷超
注册到MDC
2. 增量
recom-api-home
盘古data-api8022
业务db
可视化盘古SSO
tomcat7sqoophive2python3.5相关的组件beeline...
172.16.189.59 172.16.189.60
HRMSweb重页authcenter盘古禅道sit链接
调度盘古BIcdh监控项
大数据平台
172.16.189.56172.16.189.57172.16.189.61172.16.189.93172.16.189.94
HDFSHbaseSpark
数据分析db
数据服务下载
Feign
bigdatalabel
data-api-home
全量+增量
门户8070
元数据8055
环境
MDC
2. 全量一次
report-custom-home
172.16.189.68 172.16.189.67 172.16.189.69
1. 全量一次
hadoop05-web&boss172.16.188.185worker188.188.188.154188.188.188.157188.188.188.120188.188.188.122
VM
nginx(备)172.16.188.118/23188.188.188.118/24183.129.161.139/28
云上
下载8025
fastdfs
172.16.189.116
标签8033
nginx172.16.188.116/23188.188.188.116/24183.129.161.134/28124.160.126.228/28
元数据、调度
HDFSHiveSpark
推荐recom-api8066
HDFS/Hbase/Kudu
方案一:先云db库再发云应用-云上云下大数据应用始终指向同一数据源 (双跑)
1. DTS增量
biprod-home
用户接触侧
172.16.189.116
大数据应用割接方案
172.16.189.53 172.16.189.63
数据服务出口
方案二:保留MDC不变,应用直接云上部署一套(云流量是否开启)-云上应用指向云上数据源,云下应用指向云下数据源
OSS/Hbase/
Eureka
HiveSpark
云上流量是否当天开启?
注册eureka且配置apollo即可通过以下域名访问gateway.ewt360.comadminGateway.ewt360.cominsideGateway.ewt360.comadmin.mistong.com
调度8080
BI8001
全量+增量DTS
下载schooluserserviceeteacherproduct盘古SSO
盘古可视化
收藏
收藏
0 条评论
下一页