python scrapy爬虫

由于工作需要，需要做对数据分析和收集有一定了解，于是自己准备收集数据做点小东西。自己的电脑是windows平台下，尝试过用php，但单线程，太慢了。于是转投python，写下自己的流程吧，供大家分享

虽然python最新的已经是python 3.5了，但是因为python2和python3不兼容，很多python库都无法使用了，所以scrapy目前最主流的仍然是基于2.7版本，有兴趣的童鞋可以自己研究python3版本的scrapy。

一、安装python 2.7

• 下载python
  下载地址：http://www.python.org/ftp/python/2.7.9/python-2.7.9.msi
• 安装，记得勾选以下两项。不然就需要配置环境变量，很是麻烦。
  （偷懒截图用的雪峰老师的，推荐雪峰老师的博客：http://www.liaoxuefeng.com/）

安装过程g

• 检查是否安装成功
  开发cmd，输入python，看到如图所示就说明安装成功了

安装成功

二、安装Twisted

下载地址：http://twistedmatrix.com/trac/wiki/Downloads

Paste_Image.png

一直下一步下一步就可以了

安装成功

三、安装setuptools

下载地址：http://pypi.python.org/pypi/setuptools

Paste_Image.png

一直下一步下一步就可以了，这里就不截图了

四、安装zope

• 下载链接地址：http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg

• 将egg文件拷到我们的目标文件夹中，如图所示

  
  
  

  Paste_Image.png

Paste_Image.png

• 命令行中执行以下命令
  C:\>cd Python27\Scripts C:\Python27\Scripts>easy_install.exe zope.interface-3.8.0-py2.7-win32.egg
• 就可以成功得到如图所示的内容表明安装完成

Paste_Image.png

• 验证是否安装成功，通过python引用看看是否报错，正常情况如下

Paste_Image.png

五、安装w3lib

• 下载链接：http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz
• 解压缩后发现有个stup.py的文件，我们用python命令执行安装命令

Paste_Image.png

Paste_Image.png

• 验证一下安装成功了没有，成功如下，正常被引用

Paste_Image.png

六、 安装libxml2

• 下载地址：http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe
• 简单的exe安装直接下一步下一步就可以了

Paste_Image.png

• 验证是否安装成功，引用成功，我们继续

Paste_Image.png

七、安装pyOpenSSL

• 下载地址：http://pypi.python.org/packages/2.7/p/pyOpenSSL/pyOpenSSL-0.13.winxp32-py2.7.msi
• exe文件直接安装，这里可以直接选择进行安装

Paste_Image.png

• 验证是否安装成功

Paste_Image.png

八、最后一步安装Scrapy

• 下载地址：http://pypi.python.org/packages/source/S/Scrapy/Scrapy-0.14.4.tar.gz
• 发现一个setup.py文件，我们用python命令进行安装

Paste_Image.png

Paste_Image.png

• 验证安装，直接输入scrapy。查看运行结果，如下

Paste_Image.png

下一期就给开始正式写爬虫了，敬请期待