爬虫系统架构图-持续更新中
2019-06-10 11:01:43 0 举报Java生态爬虫系统架构
作者其他创作
大纲/内容
车数据服务
Mysql 数 据 库
易置换（估价助手）
估价小程序
定价系统
数 据 抓 取 服 务
……
网页数据源
爬虫2.0
大数据提取
拍卖
招商(H5)
Layer
业务输出层
ETL系统
精估棒
业务接入层
BI报表
OLTP 数据库
零售平台：二手车之家、华夏二手车、淘车、58二手车，瓜子二手车、人人二手车、 优信二手车、赶集二手车、51二手车、搜狐二手车、百姓二手车、 车王二手车、大风车零售 拍卖平台：车易拍、天天拍、优信拍、车速拍、车置宝、开心二手车、大风车拍卖
binlog监控
数 据 入 库 服 务
爬虫数据搜索服务
Sqoop抽取
爬虫系统
爬虫1.0
基础服务层
ETL(MR)
1.0架构-2.0架构
数据清洗
计算服务 Hive
数 据 仓 库
ElasticSearch Cluster
ng-searcher
模 版 管 理 服 务
HDFS
数据存储层
数据库
![[※]数据湖功能架构](https://www.processon.com/chart_image/template/thumb/657eaf769a873e50f506e2b7.png?tid=607ce17a1e08534f372ac63a)
0 条评论
下一页
