cralwer -总线
2021-04-02 15:16:38 1 举报OK
作者其他创作
大纲/内容
多线程
topic:
spider(更新)
redis 消息队列(key: link:wm_loftercn_app:queue)(value:json串)
Kafka消息队列(topic:icp.incoming)
爬虫
对应一个kafkaTopic)
k1/mongo/wkafka
.....
all.comments.parser.output
pubcode/url/headline/gid/authorid
输入层：url等
end
输出层：struct_data
kafka
0 条评论
下一页
