scrapy从2.14.0版本开始,使用“更多基于协程的 API 替代了基于 Deferred 的 API”,因此,部分代码需要更新以适配最新的>2.14.0版本。 spider文件 指定爬取开始网页的函数有变动 start_urls变量 如果是以变量start_urls的方式指定爬取开始网页,则不需要修改。scrapy内部会自动适配。 start_requests方法 如果是以函数start_requests的方式指定爬取开始网页,则要修改函数名,并增加异步关键词。 middlewares中间件 中间件方法的形参…