Scrapy分布式爬虫进阶：动态代理与并发优化实战

写在前面。。。

继“动态网页”“登录网站”“经验总结”“分布式爬虫”后，本篇献上Scrapy-Redis进阶实战，基于Quotes to Scrape，聚焦动态代理池和并发优化，代码简洁，经验点燃智慧，适合新手到老兵。

准备工作

1. 环境配置

• Python：3.8+（推荐3.10）。

• 依赖安装：

  pip install scrapy==2.11.2 scrapy-redis==0.7.4 redis==5.0.8 requests==2.31.0

• Redis：安装Redis 7.0（macOS：brew install redis；Ubuntu：sudo apt install redis-server；Windows：下载Redis-x64）。

• 工具：PyCharm、VSCode，2台联网机器（主控+从属）。

• 提示：pip失败试pip install --user或pip install --upgrade pip。运行redis-server，用redis-cli ping（返回PONG）确认Redis启动。

2. 示例网站

• 目标：Quotes to Scrape（http://quotes.toscrape.com），公开测试站，无反爬限制。

• 注意：严格遵守robots.txt及网站条款，仅限学习用途，勿用于商业。

3. 目标

• 优化分布式爬虫，提速至5.5秒（比单机12秒提升54%）。

• 实现动态代理池，应对潜在反爬。

• 保存（文本、作者、标签）为JSON。

实现步骤

以下步骤在Python 3.10.12、Scrapy 2.11.2、Scrapy-Redis 0.7.4、Redis 7.0测试通过。

1. 初始化项目

scrapy startproject adv_scraper
cd adv_scraper
scrapy genspider quotes quotes.toscrape.com

说明：创建项目，生成爬虫模板。

2. 配置Redis与优化

编辑settings.py：

# adv_scraper/settings.py
# Redis配置
REDIS_HOST = 'localhost'  # 主控机Redis地址，跨机替换为IP（如192.168.1.100）
REDIS_PORT = 6379

# 分布式设置
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = &#