Python爬虫学习6-Scrapy安装使用

1、安装scrapy

在命令提示符下使用：
mkvirtualenv article建立名字为article的虚拟环境。
在虚拟环境下pip install -i https://pypi.douban.com/simple scrapy安装scrapy

若遇安装错误，可以根据错误提示安装相应依赖包。
或安装anaconda，使用conda install -c conda-forge scrapy=1.3.3安装

2、建立工程和项目

建立工程
scrapy startproject articlespider
建立项目
scrapy genspider jobbole blog.jobbole.com/all-posts

在工程目录(articlespider)下建立文件main.py：

from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "jobbole"])

通过这个文件来运行爬虫。