Python之Scrapy爬虫框架详解

一、Scrapy前言

Scrapy 是由 Python 语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据，只需要实现少量的代码，就能够快速的抓取。

二、Scrapy简介

Scrapy的优势

可以容易构建大规模的爬虫项目 Scrapy很容易扩展，快速和功能强大且多线程操作

内置re、xpath、css选择器

同时且免费的网络爬虫框架

可以快速导出数据文件: JSON，CSV和XML 可以自动方式从网页中提取数据(自己编写规则)

这是一个跨平台应用程序框架（在Windows，Linux，Mac OS） Scrapy请求调度和异步处理

Scrapy 运行图

⭕ 上面这张图是Scrapy的一个运行图 。 这个运行的原理小猿在这里就不在多讲解了,因为这个原理也不是一两句能够讲清楚的。 如果自己感兴趣,请自行查看官网进行深度学习.

Scrapy 部件

✅ Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

✅ Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

✅ Downloader（下载器）:负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

✅ Spider（爬虫）:它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器).

✅ Item Pipeline(管道):它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。

✅ Downloader Middlewares（下载中间件）:你可以当作是一个可以自定义扩展下载功能的组件。

✅ Spider Middlewares（Spider中间件）:你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）

三、尝试Scrapy

## 如何创建

⭕ 制作 Scrapy 爬虫 一共需要4步:

✔️ 新建项目 (scrapy startproject 项目名称):新建一个新的爬虫项目

✔ 明确目标 （编写items.py）:明确你想要抓取的目标

✔ 制作爬虫 （spiders/name_spider.py）:制作爬虫开始爬取网页

✔ 存储内容 （pipelines.py）:设计管道存储爬取内容

文件目录

scrapy.cfg :项目的配置文件
mySpider/ :项目的Python模块，将会从这里引用代码
mySpider/items.py :项目的目标文件
mySpider/pipelines.py :项目的管道文件
mySpider/settings.py :项目的设置文件
mySpider/spiders/ :存储爬虫代码目录

寻找目标

1.打开 mySpider 目录下的 items.py。

2.Item 定义结构化数据字段，用来保存爬取到的数据，有点像 Python 中的 dict，但是提供了一些额外的保护减少错误。

3.可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个 Item（可以理解成类似于 ORM 的映射关系）。

最后接下来，创建一个 ItcastItem 类，和构建 item 模型（model）

    import scrapy
    
    class ItcastItem(scrapy.Item):
    name = scrapy.Field()
    title = scrapy.Field()
    info = scrapy.Field()

制作爬虫

1. 爬数据

在当前目录下输入命令，将在mySpider/spider目录下创建一个名为itcast的爬虫，并指定爬取域的范围

    scrapy genspider itcast "itcast.cn"

2.取数据

xpath 方法，我们只需要输入的 xpath 规则就可以定位到相应 html 标签节点

3.保存数据

使用Mysql 存入数据

状态码

⭕ 基本的请求状态码 :当我们进行网络爬虫前一定要多去过几次HTTP返回的状态码;这个真的很重要,如果我们对状态码都不是很清楚的话,有时候对于浏览器放回的值 就会产生看不懂的情况,就会很迷茫.所以,浏览器最基本的几个状态码一定要懂哦:

• 200 - 请求成功
• 301 - 资源（网页等）被永久转移到其它URL
• 404 - 请求的资源（网页等）不存在
• 500 - 内部服务器错误

四、总结

小猿在这里就先卖个葫芦,各位小伙伴请自己先行消化,下一期发布实战项目哦.