微博数据采集流程
2021-08-17 00:37:02 1 举报微博数据
作者其他创作
大纲/内容
博文基本数据
nacos-wb-group
1、解析博文以及评论包含产品2、评论存储3、产品存储4、添加博文到更新队列
wbcenter
产品数据、评论数据
1、发现新博文2、存储博文基本信息3、添加博文到待解析产品队列
1、从队列获取博文更新2、评论存储、回复、评论、点赞更新
数据管道
数据采集
微博基本数据
application
账号同步
ms_weibo_article
ms_weibo_article_item
账号队列engine
博文首次采集队列weibo_mid_product
博文数据更新
博文存储
产品存储、评论存储
wbproductupdate
博文更新队列weibo_mid_update
DBHouse
更新队列
博文产品数据
驱动账号同步
存储队列
wbproduct
继续更新
0 条评论
下一页
