Python2 爬虫（六） -- 初尝Scrapy框架

1、Scrapy简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy官网文档 -- 戳我

本来我是基于Python3.5学习爬虫的，但是Python3.x不支持Scrapy框架。即便不支持，也不能就此放弃这个强大的框架，于是转战Ubuntu，搭建Python2.7环境，安装Scrapy，开始学习~~~

2、环境搭建

【1】系统Ubuntu 15

【2】Python版本 -- 2.7 & 3.4 ， 安装pip工具

我的Ubuntu系统上安装了Python2.7和Python3.4两个版本，但是默认配置依然是2.7。

【3】安装Scrapy

使用命令（apt-get install python-scrapy）或者（pip install scrapy）安装：

验证安装完成：

出现上图内容，说明正确安装Scrapy。其实Scrapy框架依赖setuptools，lxml，以及OpenSSL软件，但是Ubuntu中Python2.7已经内置安装，所以，一个简单的命令即可完成Scrapy框架的配置，非常简便。

至此，Scrapy已经配置完成，下面开始我们的第一个Scrapy爬虫项目吧。

3、第一个Scrapy爬虫实例

此实例源于官网（ Scrapy入门教程）。

3.1 开发步骤

接下来以 Open Directory Project(dmoz) (dmoz) 为例来讲述爬取。

1. 创建一个Scrapy项目
2. 定义提取的Item
3. 编写爬取网站的 spider 并提取 Item
4. 编写 Item Pipeline 来存储提取到的Item(即数据)

3.2 创建项目

在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件分别是:

1. scrapy.cfg: 项目的配置文件.
2. tutorial/: 该项目的python模块。之后您将在此加入代码.
3. tutorial/items.py: 项目中的item文件.
4. tutorial/pipelines.py: 项目中的pipelines文件.
5. tutorial/settings.py: 项目的设置文件.
6. tutorial/spiders/: 放置spider代码的目录.

3.3 定义Item

Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。item可以用scrapy.item.Item类来创建，并且用scrapy.item.Field对象来定义属性（可以理解成类似于ORM的映射关系）。
类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个Item。 
首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从dmoz中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件，添加类DmozItem:

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

3.4 编写第一个爬虫

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成 item 的方法。
为了创建一个Spider，您必须继承 scrapy.Spider 类， 且定义以下三个属性:

• name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
• start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
• parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

以下为我们的第一个Spider代码，保存在 tutorial/spiders 目录下的 dmoz_spider.py 文件中:

import scrapy

class DmozSpider(scrapy.spiders.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        with open(filename, 'wb') as f:
            f.write(response.body)

3.4.1 爬取

在项目的根目录输入命令（scrapy crawl dmoz）运行我们的爬虫，得到结果：

...中间省略

最后一句INFO: Closing spider (finished)表明爬虫已经成功运行并且自行关闭了。

查看包含 [dmoz] 的输出，可以看到输出的log中包含定义在 start_urls 的初始URL，并且与spider中是一一对应的。在log中可以看到其没有指向其他页面( (referer:None) )。

那么，刚才发生了什么？
首先，Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象，并将 parse 方法作为回调函数(callback)赋值给了Request。
然后，Request对象经过调度，执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

3.4.2 使用XPath

Selectors选择器简介：
从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。 关于selector和其他提取机制的信息请参考 Selector文档 。
这里给出XPath表达式的例子及对应的含义:

• /html/head/title: 选择HTML文档中 标签内的