初探Scrapy

第一次做笔记，写得不好，请各位多多包涵。

我的操作系统是Ubuntu 16.04 LTS 64 位。Scrapy框架是基于Python写的，这里暂时不写安装Python。

Scrapy的文档：    https://doc.scrapy.org/en/latest/intro/tutorial.html

1.sudo pip install Scrapy        安装Scrapy 【注意：有可能提示没有pip，pip是一个安装和管理 Python 包的工具】

【如果安装了pip,请忽略此步骤一下步骤

a.    wget https://bootstrap.pypa.io/get-pip.py

b.     pip    【查看是否安装成功】

c.    sudo pip install Scrapy        【然后再次安装Scrapy】

】

2.cd /var/www    【进入到你要存放项目的目录】

3.scrapy startproject demo 【demo是项目名称】

4.打开项目，查看该目录结构如下：

图1

5.然后在spiders目录下创建quotes_spider.py文件，并添加如图代码

图2

6.然后在项目下运行，scrapy crawl quotes    【运行quotes_spider.py文件】，结果如图所示

图3

7.完成。