数据中转系统
2017-08-02 19:32:21 1 举报
物料行为数据中转系统框架图这下够15个字了吧
作者其他创作
大纲/内容
JSF
持久化层APP
JMQ
……
poolId生成服务
推荐引擎
WXG/TEG…
实时模型
JDW
物料数据
rpds
Flume集群
Old2Newbiz2-APP
走新协议的流量转发回老Flume，供统计JDW使用，走老协议的忽略，以免循环上报
JMQ/JSF
内网业务（xxx）
Flume
物料预处理APP
Std2XBIbiz-APP
web
HDFS
AVRO
sources
Old2Newbiz1-APP
行为预处理APP
旧行为上报数据
增量同步APP
如上报数据为老pps串，写回老Flume
定时增量同步
任务分配APP
Kafka
MySQL
Collect
xxx
行为数据
Https（json）
HDFS Sink
内网业务如：店铺头条（C++）
离线模型
通用预处理（流入）
Std2WQbiz-APP
数据中转系统
Kafka Sink
全量同步APP
定时全量同步
web接入层https(json)
New2Oldbiz2-APP
ToyMQ
内网业务（Java）
ToyMQ/JSF
0 条评论
回复 删除
下一页
