其流程可以描述如下:
● 调度器把requests-->引擎-->下载中间件--->下载器
● 下载器发送请求,获取响应---->下载中间件---->引擎--->爬虫中间件--->爬虫
● 爬虫提取url地址,组装成request对象---->爬虫中间件--->引擎--->调度器
● 爬虫提取数据--->引擎--->管道
● 管道进行数据的处理和保存