项目整体框架
2018-01-30 17:28:50 19 举报
爬虫抓取项目框架
作者其他创作
大纲/内容
301
解析请求
运营管理界面
统计数据获取
后台管理sitemap生成内容数据存储
业务正常请求
读入内存,定时执行任务
获取
MQ
业务
业务逻辑
过滤器 过滤sitemap请求(jar包或者starter形式提供)
爬虫抓取或用户请求
Lofter业务项目
上报
业务自身逻辑
解析任务,存储任务
dubbo
缓存、失败重试
运营配置
百度主动推送接口
杭研推荐协议
后台服务项目
ftl生成对应sitemap
yaolu统一协议
定时精品推荐
推荐服务项目
上报物品
主动推送业务链接(jar包或者starter形式提供)
LOFTER项目
DA协议
静态文件
APP
yaolu统一后台
AOP
上报行为获取推荐
收藏
收藏
0 条评论
下一页