数据采集平台架构设计
2018-10-10 08:35:14 2 举报数据采集平台架构V1
作者其他创作
大纲/内容
HDFS
mysql
监控服务CAT
Flume
数据源
KAFKA
实现2
定时任务
调用接口
HBASIC
统一接口
实现1
打包文件
数据报文
PULL DATA
REDIS
爬虫服务
外部数据源
外部推送数据
视频
语音
单机爬虫
服务模块
分布式爬虫
文件系统
NOSQL
消息队列
推送大数据平台
直接访问外部数据源
其他
非结构化数据
接口报文
PUSH DATA
图片
数据源配置
收藏
收藏
0 条评论
下一页
