【Python3爬虫】Scrapy入门教程

Python版本：3.5            系统：Windows

 

一、准备工作

需要先安装几个库（pip，lxml，pywin32，Twisted，pyOpenSSL），这些都比较容易，如果使用的是Pycharm，就可以更方便的安装模块，在settings里可以选择版本进行下载。

如果在命令行模式下输入pip -V出现 'pip' 不是内部或外部命令，也不是可运行的程序或批处理文件，先确保自己在环境变量中配置E:\Python3.5\Scripts，如果环境变量配置没有问题，但还是出现 'pip' 不是内部或外部命令，也不是可运行的程序或批处理文件，可以在命令行模式下输入python -m pip install --upgrade pip，这步操作之后应该就没问题了。

 

二、安装scrapy库

在E盘新建一个Scrapy文件夹，然后进入文件夹，shift+鼠标右键，然后打开命令窗口。

在命令行窗口里输入pip install scrapy，就会安装scrapy的最新版本，安装好了之后输入scrapy -h查看相应信息。

 

三、创建项目

在开始爬取之前，我们必须创建一个新的Scrapy项目。 进入我们打算存储代码的目录中，运行下列命令:：

scrapy startproject Test

该命令将会创建包含下列内容的Test 目录:

Test/
    Test/
        __init__.py
    items.py
    pipelines.py
    settings.py
    spiders/
    __init__.py

这些文件分别是：

Test/:  该项目的python模块。之后您将在此加入代码。

Test/items.py:  项目中的item文件.

Test/pipelines.py:  项目中的pipelines文件.

Test/settings.py:  项目的设置文件.

Test/spiders/:  放置spider代码的目录.

 

做完上述准备工作之后，就可以开始写我们的第一个scrapy项目了。（n_n）