微服务+爬虫+画像大数据计算_v2.0
2022-03-28 15:15:07 5 举报爬虫画像大数据计算_v2.0
作者其他创作
大纲/内容
客户服务
URL调度器
随机IP代理池
parsers页面内容解析器
Es
DWD
客户库
业务查询
UDF
数据采集/数据通道
Oozie调度
DWS
flinksql
动态cookie
kafka
画像
爬虫主节点（search-robot）
数据转换
zookeeper协同
爬虫从节点1.....n节点（search-robot）
实时数仓
指标表
datax
流表定义
ODS
爬虫种子仓库
flinkcdc
canal实时同步
微信分表分库
存储
CLICKHOUSE
Zookeeper监控
平台端
DIM维度数据
数据应用
爬虫端
Ranger权限管理
DIM
ETL
多流join
离线分析
hbase
store数据存储器
离线数仓
HBASE
Datax
HDFS集群
爬虫库
Yarn资源调度
定时增量采集
grafana监控
报表
企业库服务
sparksql任务
搜索
js逆向
微信服务
聚合计算
DB
发送客户数据
0 条评论
下一页
