首页  流程图  详情

增量抓取框架工作流程

2017-01-18 15:58:47   0  举报





仅支持查看

为你推荐

查看更多



增量抓取框架工作流程主要包括以下几个步骤：首先，通过对比本地数据库和目标网站的数据差异，确定需要抓取的内容；其次，根据数据差异生成抓取任务，并发送给抓取引擎；然后，抓取引擎按照任务要求，访问目标网站，获取新的数据；接着，将新数据与本地数据库进行比对，确认是否需要更新；最后，将更新的数据保存到本地数据库中。整个过程自动化进行，能够快速、准确地完成数据的增量抓取。

作者其他创作

大纲/内容

mongodb

server

爬虫