Scrapy 入门

Scrapy Tutorial

---

创建 Scrapy 项目

进入到要创建 Scrapy 项目的目录，执行以下命令行代码：
scrapy startproject tutorial
执行之后将会在当前目录下创建一个名为 tutorial 的目录，目录内容如下：

tutorial/
    scrapy.cfg              # Scrapy 配置文件

    tutorial/               # 项目的Python模块
        __init__.py
        items.py            # 项目的item定义文件
        middlewares.py      # 项目中间件文件
        pipelines.py        # 项目pipeline文件
        settings.py         # 项目配置文件
        spiders/            # 存放爬虫的目录
            __init__.py

Spider 样例

Spider 是自己定义的类，Scrapy 用于从网站抓取信息。Spider 必须是scrapy.Spider的子类，并定义发出的初始请求、怎样跟随页面中的链接以及如何解析抓取的内容。
以下是一个 Spide 的样例，将其保存在 tutorial/spiders 目录下：

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"

    def start_requests(self):
        urls = [
            'http://quotes.toscrape.com/page/1/',
            'http://quotes.toscrape.com/page/2/',
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

• name: 起到每个 Spider 的标识符的作用，因此在一个项目下该属性必须唯一。
• start_requests(): 返回一组可迭代的 Request（可以是一个 request 列表，也可以是一个生成器函数），Spider 将会从此开始爬取。随后的 request 将会从这些初始 request 依次生成。
• parse(): 用于处理针对每个 request 下载的 response 的方法。参数 response 是一个 TextResponse 实例，包含页面的内容。

  parse() 方法通常解析响应，提取抓取的数据作为字典，并寻找新的 URL 和创建新的请求。

运行 Spider

返回项目顶级目录，运行以下代码：
scrapy crawl quotes

省略 start_requests 方法

通过在类中定义 start_urls 变量可以省略 start_requests() 方法，这一列表之后将会被用于 start_requests()的默认实现，以创建 spider 的初始请求。

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = 'quotes-%s.html' % page
        with open(filename, 'wb') as f:
            f.write(response.body)

因为 parse() 方法是 Scrapy 的默认回调函数，因此不用明确写明调用代码也会调用。

提取数据

可以通过使用 Scrapy shell 来了解如何利用 Scrapy 提取数据。运行以下代码：
scrapy shell "http://quotes.toscrape.com/page/1/"

注意 Windows 下必须使用双引号！！！

通过 shell 操作，可以在 response 对象上使用 CSS 来选择元素：
>>> response.css('title')
此命令返回一个 SelectorList 列表对象。

提取 title 中的文本：
>>> response.css('title::text').getall()

不加::text提取整个