Scrapy-Redis手动添加去重请求(指纹)

scrapy-redis 继承scrapy，url请求顺序根据队列顺序调度，队列有先进先出，后进先出两种情况，默认：先进先出。 如果是先进先出，那么新增的请求排在最后。爬取的数据越多，队列就越长。当队列的长度排了很长很长，新增的请求需要等待很长时间才能被调度器调用，如果我们有些请求需要新增请求的时候立马执行，怎么办？

我们把这种特殊的请求，专门用一个spider，或者requests项目单独请求处理，不过注意的事，单独处理的请求需要去重，并且在主scrapy-redis中也有去重的地址。 所以主爬虫跟特殊处理的爬虫需要使用同一个去重队列。

例如：我们在爬虫用户粉丝，粉丝也是用户。 如果根据正常的逻辑处理，发现爬一个完整的用户粉丝需要很长很长的时间。 所以我把用户跟粉丝分别用两个爬虫处理，不过这两个爬虫使用一个去重，但是不使用同一调度器。

接下来我们研究了一下Scrapy和Scrapy-Redis源码，实现手动添加指纹功能。

dupefilter.py

打开scrapy_redis.dupefilter.py文件，找到request_seen()方法

dupefilter.py

在这里我们注意到同样实现了一个 request_seen() 方法，和 Scrapy 中的 request_seen() 方法实现极其类似，不过在这里集合使用的是 server 对象的 sadd()操作，也就是集合不再是简单的一个简单数据结构了，在这里直接换成了数据库的存储方式。

request.py

从上图request_seen()方法中注意到request_fingerprint()方法，request_fingerprint()是获取指纹，这里Scrapy-Redis是直接用的Scrapy的方法。文件路径scrapy.utils.request.py

request_fingerprint()

从源码可以看到指纹是通过sha1加密，需要request.method，request.url，request.body必要的参数。然后返回指纹。

---

解决代码

新建文件：request_fingerprint.py
知道了指纹添加的原理，接下来开始写代码,手动添加添加去重指纹。新建request_fingerprint.py文件

# coding=utf-8
#!/usr/bin python
'''

Author: lifenggang
        ZsLfg
Python3 环境
Email: [email protected]
'''
import redis
from scrapy.utils.request import request_fingerprint


class Request_Fingerprint(object):
    '''构造request对象'''
    def __init__(self, url):
        self.method = 'GET'     # 如果是post请求，请修改成POST
        self.url = url
        self.body = b''

class Redis_Fingerprint(object):
    '''连接redis，这里要跟主爬虫的redis是同一个数据库，否则无法公用同一个去重队列'''
    def __init__(self):
        self.key = 'bilibili_spider:dupefilter'  # 此处修改成对应的数据库
        self.server = redis.Redis(host='192.168.0.157', port=6379, db=0, password=None)

    def sadd(self, fp):
        added = self.server.sadd(self.key, fp)  # added：返回添加成功值的数量。redis集合不会出现重复值，所以added只会返回0，1，异常。
        return added

def run(url):
    '''
    手动添加url指纹，存在返回True，不存在返回False
    :param url: 传入需要去重的url
    :return: 存在返回True，不存在返回False
    '''
    re = Request_Fingerprint(url=url)  # 生成request对象，因为去重是根据request中的参数生成。
    fp = request_fingerprint(re)  # re生成唯一的指纹。
    rf = Redis_Fingerprint()
    added = rf.sadd(fp)   # added：添加成功值的数量。1：添加成功，无重复请求。0：请求重复。

    return added == 0  # 存在返回True，不存在返回False

if __name__ == '__main__':
    run('https://api.bilibili.com/x/space/acc/info?mid=466272&jsonp=jsonp')

如果觉得文章对你有帮助，能否帮我留一个赞。