scrapy的流程

1.png

其流程可以描述如下:

● 调度器把requests-->引擎-->下载中间件--->下载器

● 下载器发送请求,获取响应---->下载中间件---->引擎--->爬虫中间件--->爬虫

● 爬虫提取url地址,组装成request对象---->爬虫中间件--->引擎--->调度器

● 爬虫提取数据--->引擎--->管道

● 管道进行数据的处理和保存


Python爬虫-scrapy介绍及使用