在Linux环境下安装Scrapy框架

需要安装的依赖：

1.Python

2.setuptools

3.twisted

4.zope.interface

5.w3lib

6.libxml2

7.libxslt

8.lxml

9.scrapy

 

Scrapy是一个开源的机遇twisted框架的python的单机爬虫，该爬虫实际上包含大多数网页抓取的工具包，用于爬虫下载端以及抽取端。

yum install gcc python-devel

http://www.cnblogs.com/xiaoruoen/archive/2013/02/27/2933854.html

http://www.coder4.com/archives/3660

 

vim ~ / . bashrc

export LD_LIBRARY_PATH = $ LD_LIBRARY_PATH : / home / liheyuan / env / lib

 

若出现gcc exit的情况适用下面的命令安装

yum install gcc libffi-devel python-devel openssl-devel