自定义方法的参数有变动 scrapy升级到2.14.0以后,自定义下载器中间件的process_request(), process_response() and process_exception()方法参数有变化,取消了spider参数。 因此,以前从爬虫文件spider.py向下载中间件传递变量的方法有变化。 以前传递变量的方法 process_request方法通过参数spider,就可以使用spider.py中定义的变量。 新的传递变量的方法 新增__init__方法。 修改from_crawler方法的…