Scrapy框架爬取海量妹子图

此文首发于公众号「Python知识圈」，欢迎直接去公众号看。

上次用两篇文章讲了 Scrapy 爬虫框架和储存数据工具 MongoDB，今天我们用这两个工具完成一个项目。

今天要完成的项目的是用 Scrapy 框架爬取煎蛋网妹子图片，这个项目之前用常规方法已经做过一次，为什么这次还要做这个项目呢？

1.用不同的方法做同一个项目，学习不同方法的特点。

2.上次用常规方法的写的项目有点小瑕疵，文章中有一处代码的配图用错了。关键字获取的源码中有一个方法因粗心多写了一个参数导致下载图片失败（已修正）。之前上传到 Github 上的代码是正确的。

所以这次还是用这个项目来学习下，咳咳，我们真的是用来学习的。

先放两张爬取的图片来给大家一点学习的动力。

项目环境

语言：Python3
编辑器：Pycharm

首先确保电脑已配置好 Scrapy 框架环境和 MongoDB 环境，不清楚的可参考上两篇文章：

初识爬虫框架 Scrapy

你的爬虫数据储存在哪？MongoDB入门篇

创建 Scrapy 项目

cmd 中通过命令创建 Scrapy 项目。

C:\Windows\System32>F:

F:\>cd scrapy

F:\scrapy>scrapy startproject meizi
New Scrapy project 'meizi', using template directory 'e:\\py3\\lib\\site-packages\\scrapy\\templates\\project', created in:
    F:\scrapy\meizi

You can start your first spider with:
    cd meizi
    scrapy genspider example example.com
复制代码

然后基于basic模板创建一个名为的「jiandan」爬虫文件。

全部内容请  点击这里查看

复制代码

下面是储存在本地的图片。

转载于:https://juejin.im/post/5b87989ee51d4538b81f2bba