builtins.ModuleNotFoundError: No module named 'scrapy.contrib'

builtins.ModuleNotFoundError: No module named 'scrapy.contrib'

    • 错误原因:旧模块被弃用
    • 解决办法
    • 附其它中间件写法

错误原因:旧模块被弃用

builtins.ModuleNotFoundError: No module named 'scrapy.contrib'_第1张图片

解决办法

查看对应自己所用scrapy版本的官文档,找到解决办法
将上述代码修改如下,问题解决。

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
	'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 20,
}

附其它中间件写法

builtins.ModuleNotFoundError: No module named 'scrapy.contrib'_第2张图片

你可能感兴趣的:(爬虫遇到的坑)