Scrapy Spider Request and Response
2016-04-08 13:31:54 8 举报Scrapy Spider Request and Response
作者其他创作
大纲/内容
twisted.internet.protocol.connectionLost()
下载完毕
需要retry的情况
请求url
ResponseDone/请求成功/状态码200
Downloader Handler
DO Nothing
PotentialDataLoss/可能存在数据丢失/状态码200
引擎构造，发送请求
检查proxy meta;添加proxy meta
构建，返回response
不通过
应用全局proxy or DO Nothing
DownloaderHandler.download_request()进行实际的下载
Scrapy 引擎
中间件处理过的response
RetryMiddleware
HttpProxyMiddleware
MyHttpErrorMiddleware
通过
HttpErrorMiddleware
返回response给引擎
Downloader middleware
RandomProxyMiddleware
返回的response
Downloader
检查response状态，检查retry次数
中间件处理过的请求
返回url
Scheduler(提供next url给scrapy引擎)
0 条评论
下一页
