数据埋点、大数据数据处理
2023-12-12 19:16:19 1 举报大数据数据处理流程，埋点服务，埋点数据的数据来源和处理，涉及相关模块 前端监控用户行为，收集并通过https请求上报，后端服务也可以通过http请求上报数据； 后端埋点通过异步请求将日志发送到日志转发服务中，再通过相关api同步到kafka原始日志中； 后台业务数据库可以通过Flink CDC或者其他CDC组件实时采集到达kafka中
作者其他创作
大纲/内容
事件分析
PC应用
标签体系
Mysql
Log Service日志服务器
前端应用
留存分析
业务日志输出
Kafka 原始数据
日志采集
StarRocks
RFM分析
C++
埋点平台
GreenPlum
数据应用
https请求上报数据
SQL Server
HDFS离线文件
Flink CDC实时采集
客户主档
分布分析
JAVA
......
埋点元数据同步
Flink实时处理
Flink实时任务
个人360画像
Kafka中间层数据
Hive离线业务表
后端服务
Hive/Spark/Presto离线任务
C
数据实时清洗
Oracle
WEB
Web Service采集服务器
业务数据库
Python
ClickHouse
客群画像
间隔分析
在线测试实时校验
Elasticsearch数据探查
监控告警
漏斗分析
数据落地
路径分析
行为序列
个性化推荐
探查数据标识
小程序
移动APP
0 条评论
下一页
