使用Python Scrapy打造个性化爬虫

使用Python Scrapy打造个性化爬虫——知识金字塔构建

---

1. 引入与连接：从“手动复制”到“自动化采集”的跨越

你是否遇到过这样的场景？想整理1000条知乎优质回答做数据分析，却要逐条复制；想追踪某电商平台的商品价格波动，却要每天手动刷新页面……这些重复劳动，正是“个性化爬虫”的用武之地！

与已有知识的连接：你可能用过requests+BeautifulSoup写过简单爬虫，但面对大规模数据、复杂反爬或动态页面时，效率低、易出错。Scrapy作为Python最强大的爬虫框架，自带“调度-下载-解析-存储”全流程工具，能让你像“搭积木”一样高效构建专业级爬虫。

学习价值：掌握Scrapy后，你可以：

• 自动化采集任意公开网页数据（新闻、商品、社交内容等）；
• 灵活应对反爬机制（如随机请求头、代理IP）；
• 实现分布式爬取（处理亿级数据）；
• 无缝对接数据库（MySQL、MongoDB等）存储。

学习路径概览：概念→基础→进阶→实战，4步掌握个性化爬虫！

---

2. 概念地图：Scrapy的“五脏六腑”

Scrapy的核心是一个模块化的爬虫引擎，各组件分工明确、协作高效。用“快递配送系统”类比理解：

Scrapy组件	类比角色	核心功能
Spider	订单生成员	定义目标网站、解析规则（“要爬哪些页面？怎么提取数据？”）
Scheduler	快递调度中心	管理待爬取的请求队列（“先送A区，再送B区”）
Downloader	快递员	发送HTTP请求，下载页面（“把包裹从服务器取回来”）
Item Pipeline	包裹处理中心	清洗、验证、存储数据（“拆包裹、检查商品、入库”）
Middleware	快递辅助工具（导航仪/雨具）	自定义请求/响应处理（“设置随机路线防堵”“加伪装避免被拦截”）

知识图谱：

Spider → Scheduler → Downloader → Item Pipeline  
          ↑               ↓  
        Middleware（请求/响应处理）  

---

3. 基础理解：用“爬豆瓣电影Top250”学Scrapy

目标：爬取豆瓣电影Top250的电影名称、评分、简介。

步骤1：安装Scrapy

pip install scrapy  

步骤2：创建Scrapy项目

scrapy startproject douban_spider  # 生成项目目录  
cd douban_spider  
scrapy genspider top250 movie.douban.com  # 创建Spider（top250.py）  

步骤3：定义Item（数据结构）
在items.py中定义要爬取的字段：

import scrapy  
class DoubanItem(scrapy.Item):  
    title = scrapy.Field()  # 电影名  
    rating = scrapy.Field() # 评分  
    intro = scrapy.Field()  # 简介  

步骤4：编写Spider（核心解析逻辑）
修改top250.py，定义爬取规则和解析方法：

import scrapy  
from douban_spider.items import DoubanItem  

class Top250Spider(scrapy.Spider):  
    name = 'top250'  # Spider名称  
    start_urls = ['https://movie.douban.com/top250']  # 起始URL  

    def parse(self, response):  
        # 解析当前页电影列表  
        for movie in response.css('div.item'):  
            item = DoubanItem()  
            item['title'] = movie.css('span.title::text').get()  # CSS选择器提取标题  
            item['rating'] = movie.css('span.rating_num::text').get()  # 提取评分  
            item['intro'] = movie.css('span.inq::text').get(default='无简介')  # 提取简介（可能为空）  
            yield item  # 提交到Item Pipeline  

        # 自动翻页：提取“下一页”链接并递归解析  
        next_page = response.css('span.next > a::attr(href)').get()  
        if next_page:  
            yield response.follow(next_page, self.parse)  # 生成新请求  

步骤5：运行爬虫

scrapy crawl top250 -o movies.csv  # 数据保存为CSV文件  

效果：运行后，movies.csv中会生成包含250条电影数据的表格。

常见误解澄清：

• “Scrapy只能爬静态页面？”→ 配合Selenium或Playwright可爬取动态加载内容（如JS渲染的页面）。
• “爬虫会被封IP？”→ 合理设置请求延迟（DOWNLOAD_DELAY）、随机User-Agent（通过Middleware实现）可降低风险。

---

4. 层层深入：从“能用”到“精通”的进阶

第一层：Scrapy的核心机制

• 异步IO：基于Twisted框架，支持高并发请求（无需手动写多线程）。
• 请求调度：默认按广度优先（BFS）爬取，可通过DEPTH_PRIORITY调整为深度优先。
• 中间件链：请求→下载中间件（修改请求头、添加代理）→下载器→响应→蜘蛛中间件（修改响应内容）→Spider。

第二层：细节与反爬应对

• 处理动态页面：若数据由JS异步加载（如滚动加载），需找到真实API（通过浏览器F12→XHR抓包），直接请求API接口（返回JSON数据，解析更简单）。
• 绕过反爬：
  • 设置随机User-Agent（使用scrapy-fake-useragent库）；
  • 添加代理IP（通过scrapy-proxies中间件）；
  • 模拟人类行为（设置DOWNLOAD_DELAY=2，避免频繁请求）。

第三层：底层逻辑与优化

• Item Pipeline的高级用法：
  • 数据清洗（如去除评分中的“分”字，float(rating)）；
  • 去重（用redis记录已爬URL，避免重复采集）；
  • 持久化存储（通过pymysql写入MySQL，或pymongo写入MongoDB）。
• 性能优化：
  • 调整并发数（CONCURRENT_REQUESTS，默认16）；
  • 禁用不必要的中间件（减少处理耗时）；
  • 使用CrawlSpider（基于规则自动爬取，适合全站爬取）。

第四层：分布式爬虫（Scrapy-Redis）
当需要爬取亿级数据时，单台机器效率不足，可通过Scrapy-Redis实现分布式：

• 原理：用Redis作为共享队列（存储待爬URL），多台机器从队列中取任务，避免重复爬取。
• 步骤：
  1. 安装scrapy-redis；
  2. 修改settings.py，启用Redis调度器和去重过滤器；
  3. 多台机器运行同一Spider，自动分配任务。

---

5. 多维透视：Scrapy的“前世今生”与边界

历史视角：Scrapy由Python开发者Shay Palachy于2008年开源，最初为爬取新闻网站设计，历经10+年迭代，现已成为Python爬虫领域的“事实标准”（GitHub星标超4.8万）。

实践视角：不同场景的个性化配置

• 爬取静态页面（如豆瓣）：直接用scrapy.Request+XPath/CSS选择器。
• 爬取需登录页面（如知乎）：通过FormRequest模拟登录，保存Cookies。
• 爬取图片/文件（如壁纸网站）：使用scrapy.pipelines.files.FilesPipeline或ImagesPipeline下载。

批判视角：Scrapy的局限性

• 学习成本较高：相比requests+BeautifulSoup，Scrapy的模块化设计需要理解各组件协作逻辑。
• 轻量级任务冗余：爬取10条数据时，用Scrapy反而比简单脚本更复杂。
• 动态页面支持弱：纯Scrapy无法处理复杂JS渲染（需结合浏览器自动化工具）。

未来视角：

• 异步化升级：Scrapy 2.0+开始支持async/await（基于Twisted的异步IO），未来可能全面转向Python原生Asyncio。
• 与AI结合：通过OCR（如Tesseract）识别验证码，或用机器学习模型预测反爬策略。

---

6. 实践转化：从“代码”到“可用工具”

应用原则：

1. 遵守robots协议：爬取前检查目标网站的/robots.txt（如https://movie.douban.com/robots.txt），避免爬取禁止的路径。
2. 尊重网站服务器：设置合理的DOWNLOAD_DELAY（建议≥1秒），避免影响目标网站正常运行。
3. 数据合法性：仅爬取公开数据，禁止爬取用户隐私（如未公开的个人信息）。

操作步骤：自定义一个“商品价格监控爬虫”
目标：爬取京东某商品（如iPhone）的价格，每日定时监控并记录波动。

1. 分析页面结构：打开京东商品页，F12检查价格元素的CSS选择器（如#price）。
2. 创建Scrapy项目：

   scrapy startproject jd_price  
   cd jd_price  
   scrapy genspider iphone item.jd.com  # 生成Spider（iphone.py）  
   

3. 定义Item（items.py）：

   class JdItem(scrapy.Item):  
       sku_id = scrapy.Field()  # 商品ID  
       price = scrapy.Field()   # 价格  
       time = scrapy.Field()    # 采集时间  
   

4. 编写Spider（iphone.py）：

   import scrapy  
   from datetime import datetime  
   from jd_price.items import JdItem  
   
   class IphoneSpider(scrapy.Spider):  
       name = 'iphone'  
       # 目标商品URL（替换为实际商品ID）  
       start_urls = ['https://item.jd.com/100026605794.html']  
   
       def parse(self, response):  
           item = JdItem()  
           item['sku_id'] = response.url.split('/')[-1].split('.')[0]  # 从URL提取商品ID  
           item['price'] = response.css('#price::text').get()  # 提取价格  
           item['time'] = datetime.now().strftime('%Y-%m-%d %H:%M:%S')  # 记录时间  
           yield item  
   

5. 配置Item Pipeline（pipelines.py）：将数据写入MySQL

   import pymysql  
   
   class JdPipeline:  
       def open_spider(self, spider):  
           self.db = pymysql.connect(host='localhost', user='root', password='123456', db='price_monitor')  
           self.cursor = self.db.cursor()  
   
       def process_item(self, item, spider):  
           sql = "INSERT INTO iphone_price (sku_id, price, time) VALUES (%s, %s, %s)"  
           self.cursor.execute(sql, (item['sku_id'], item['price'], item['time']))  
           self.db.commit()  
           return item  
   
       def close_spider(self, spider):  
           self.db.close()  
   

6. 启用Pipeline（settings.py）：

   ITEM_PIPELINES = {  
       'jd_price.pipelines.JdPipeline': 300,  # 优先级（数值越小越先执行）  
   }  
   

7. 设置定时任务：用crontab（Linux）或任务计划程序（Windows）每日运行爬虫：

   0 12 * * * cd /path/to/jd_price && scrapy crawl iphone  # 每天12点运行  
   

常见问题与解决方案：

• 价格未更新：京东价格可能通过JS动态加载，需抓包找到价格API（如https://p.3.cn/prices/mgets?skuIds=J_100026605794），直接请求API获取JSON数据。
• IP被封：在settings.py中添加代理：

  DOWNLOADER_MIDDLEWARES = {  
      'scrapy_proxies.RandomProxy': 100,  # 安装scrapy-proxies库  
  }  
  PROXY_LIST = 'proxies.txt'  # 代理IP列表（格式：http://user:pass@ip:port）  
  

---

7. 整合提升：从“会写”到“会设计”

核心观点回顾：

• Scrapy是模块化爬虫框架，核心组件分工明确（Spider→调度→下载→处理）；
• 个性化爬虫需结合目标网站结构（静态/动态）、反爬策略（User-Agent/代理）、数据需求（清洗/存储）；
• 遵守规则（robots协议）、尊重服务器（设置延迟）是爬虫的“职业素养”。

知识体系重构：

个性化爬虫设计 = 目标分析（爬什么？） + 反爬应对（怎么防封？） + 数据处理（怎么存？） + 工具选择（Scrapy/其他）  

思考问题：

• 如何设计一个通用爬虫框架，支持快速适配不同网站（如同时爬取豆瓣、京东、知乎）？
• 爬取百万级数据时，如何平衡效率（并发数）与稳定性（避免被封）？

拓展任务：

• 尝试爬取需要登录的网站（如微博），研究如何模拟登录（Cookies/表单提交）；
• 用Scrapy-Redis搭建分布式爬虫，爬取某电商全站商品数据。

学习资源：

• 官方文档：Scrapy Documentation（必看！）；
• 反爬应对：《Python3网络爬虫开发实战》（崔庆才著）；
• 分布式爬虫：Scrapy-Redis GitHub；
• 动态页面爬取：Playwright官方教程（配合Scrapy处理JS渲染）。

---

总结：Scrapy不是“魔法工具”，而是“爬虫工程师的瑞士军刀”。通过理解其核心机制、灵活配置组件，并结合具体场景调整策略，你完全可以打造出高效、稳定、个性化的爬虫，让数据采集从“苦力活”变成“技术活”！