online项目

web服务查Redis\\Mysql ->展示大屏幕

Flink程序

右

Flume(FlieBeat)

keyBy

窗口

https://flume.apache.org/releases/content/1.11.0/FlumeUserGuide.html#taildir-source

排序

过滤

union

K-V流转Bean对象

测流输出(Redis)

主流输出(Chlickhouse)

视频服务

{\"carrier\":\"中国电信\

查官网设置水位线使用策略指定字段

Flink

FlinkUtil(kafka数据源)

水位线延迟2s

设置水位线

tb_order

MySql

拼团明细表

新老用户

MySQL

Canal

filter过滤

维度流

主输出: OrderMain流

WEB

分组

DataBean{font color=\"#ff0000\

拼团明细表   左连   订单主表(订单ID)== 流1流1  左连   拼团主表(拼团主表ID)==流2在流2进行后续的相关维度计算操作

设Kafka数据源的格式(k-v)

https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/connectors/datastream/jdbc/

分组:根据主播id

直播礼物实时分析(按照主播（直播间）统计礼物的积分)

输出

时间、用户ID、拼团主表ID、font color=\"#ff0000\

Kafka(topic = accessyjx)

设计问题

实时统计订单相关的指标实时将订单表和订单商品表连在一起后续计算

图片服务

日志采集服务器(Nginx)

topic: orderdetail

主流

Nginx(自带负载均衡)(Openresty(luy))

process

log

订单主表

分组求和

业务逻辑

Nginx(Openresty(luy))

JDBC输出到ClickHouse

FlinkETL

Drools

Kafka

滚动窗口5s迟到数据测流输出

业务系统

OrderMain{font color=\"#ff0000\

地理位置

log文件

Union

//测输出数据写到Redis--configFlinkJedisPoolConfig config = new FlinkJedisPoolConfig.Builder().setHost(\"192.168.2.102\

RedisChlickhouse

滑动窗口

APP

1. 直播间主播带货总金额、商品成交（下单）数量2. 直播间主播带商品各个分类的成交金额、商品成交（下单）数量3. 一天内中的成交金额4. 一天各个分类成交金额（维度：省份、操作系统、手机型...）5. 各种下单后商品的状态跟踪（下单 -> 支付 -> 发货 -> 签收 -> 评价）（下单 -> 用户取消 -> 系统取消）

时间，font color=\"#ff0000\

connect.process

b -> b.getEventId().startsWith(\"product\"）

Flume

topic: ordermain

MySQl数据源

(font color=\"#ff0000\

拼团主表

tb_order_goods

a1.sources = r1a1.channels = c1a1.sources.r1.type = TAILDIRa1.sources.r1.positionFile = /root/taildir_position.jsona1.sources.r1.filegroups = f1    //设置文件的路径a1.sources.r1.filegroups.f1 = /logs/access-.*\\.log     font color=\"#ff0000\

增量聚合

实时拼团的金额(模拟)

{ \"carrier\":\"中国联通\

b -> b.getEventId().startsWith(\"live\

coGroup

数据源

热门商品top-N(统计10分钟内，各个分类、各种事件类型的热门商品)

左