网络爬虫-07

Spider06回顾

scrapy框架

• 五大组件+工作流程+常用命令

  【1】五大组件
      1.1) 引擎（Engine）
      1.2) 爬虫程序（Spider）
      1.3) 调度器（Scheduler）
      1.4) 下载器（Downloader）
      1.5) 管道文件（Pipeline）
      1.6) 下载器中间件（Downloader Middlewares）
      1.7) 蜘蛛中间件（Spider Middlewares）
      
  【2】工作流程
      2.1) Engine向Spider索要URL,交给Scheduler入队列
      2.2) Scheduler处理后出队列,通过Downloader Middlewares交给Downloader去下载
      2.3) Downloader得到响应后,通过Spider Middlewares交给Spider
      2.4) Spider数据提取：
         a) 数据交给Pipeline处理
         b) 需要跟进URL,继续交给Scheduler入队列，依次循环
      
  【3】常用命令
      3.1) scrapy startproject 项目名
      3.2) scrapy genspider 爬虫名 域名
      3.3) scrapy crawl 爬虫名
  

完成scrapy项目完整流程

• 完整流程

  【1】scrapy startproject Tencent
  【2】cd Tencent
  【3】scrapy genspider tencent tencent.com
  【4】items.py(定义爬取数据结构)
      import scrapy
      class TencentItem(scrapy.Item):
          name = scrapy.Field()
          address = scrapy.Field()
      
  【5】tencent.py（写爬虫文件）
      import scrapy
      from ..items import TencentItem
      class TencentSpider(scrapy.Spider):
          name = 'tencent'
          allowed_domains = ['tencent.com']
          start_urls = ['']
          def parse(self, response):
              item = TencentItem()
              item['name'] = xxxx
              yield item
  
  【6】pipelines.py(数据处理)
      class TencentPipeline(object):
          def process_item(self, item, spider):
              return item
      
  【7】settings.py(全局配置)
      
  【8】run.py 
      from scrapy import cmdline
      cmdline.execute('scrapy crawl tencent'.split())
  

我们必须记住

• 熟练记住

  【1】响应对象response属性及方法
      1.1) response.text ：获取响应内容 - 字符串
      1.2) response.body ：获取bytes数据类型
      1.3) response.xpath('')
      1.4) response.xpath('').extract() ：提取文本内容,将列表中所有元素序列化为Unicode字符串
      1.5) response.xpath('').extract_first() ：序列化提取列表中第1个文本内容
      1.6) response.xpath('').get() ： 提取列表中第1个文本内容(等同于extract_first())
      
  【2】settings.py中常用变量
      2.1) 设置数据导出编码(主要针对于json文件)
           FEED_EXPORT_ENCODING = 'utf-8'
      2.2) 设置User-Agent
           USER_AGENT = ''
      2.3) 设置最大并发数(默认为16)
           CONCURRENT_REQUESTS = 32
      2.4) 下载延迟时间(每隔多长时间请求一个网页)
           DOWNLOAD_DELAY = 0.5
      2.5) 请求头
           DEFAULT_REQUEST_HEADERS = {'Cookie' : 'xxx'}
      2.6) 添加项目管道
           ITEM_PIPELINES = {'目录名.pipelines.类名' : 优先级}
      2.7) cookie(默认禁用,取消注释-True|False都为开启)
           COOKIES_ENABLED = False
  

爬虫项目启动方式

• 启动方式

  【1】方式一:基于start_urls
      1.1) 从爬虫文件(spider)的start_urls变量中遍历URL地址交给调度器入队列,
      1.2) 把下载器返回的响应对象（response）交给爬虫文件的parse(self,response)函数处理
  
  【2】方式二
      重写start_requests()方法，从此方法中获取URL，交给指定的callback解析函数处理
      2.1) 去掉start_urls变量
      2.2) def start_requests(self):
               # 生成要爬取的URL地址，利用scrapy.Request()方法交给调度器
  

数据持久化存储

• MySQL-MongoDB-Json-csv

  ***************************存入MySQL、MongoDB****************************
  
  【1】在setting.py中定义相关变量
  【2】pipelines.py中新建管道类，并导入settings模块
  	def open_spider(self,spider):
  		# 爬虫开始执行1次,用于数据库连接
          
  	def process_item(self,item,spider):
          # 用于处理抓取的item数据
          return item
      
  	def close_spider(self,spider):
  		# 爬虫结束时执行1次,用于断开数据库连接
          
  【3】settings.py中添加此管道
  	ITEM_PIPELINES = {'':200}
  
  【注意】 process_item() 函数中一定要 return item
  
  ********************************存入JSON、CSV文件***********************
  scrapy crawl maoyan -o maoyan.csv
  scrapy crawl maoyan -o maoyan.json
  【注意】
      存入json文件时候需要添加变量(settings.py) : FEED_EXPORT_ENCODING = 'utf-8'
  

Spider07笔记

分布式爬虫

• 分布式爬虫介绍

  【1】原理
      多台主机共享1个爬取队列
      
  【2】实现
      2.1) 重写scrapy调度器(scrapy_redis模块)
      2.2) sudo pip3 install scrapy_redis
  

• 为什么使用redis

  【1】Redis基于内存,速度快
  【2】Redis非关系型数据库,Redis中集合,存储每个request的指纹
  

scrapy_redis详解

• GitHub地址

  https://github.com/rmax/scrapy-redis
  

• settings.py说明

  # 重新指定调度器: 启用Redis调度存储请求队列
  SCHEDULER = "scrapy_redis.scheduler.Scheduler"
  
  # 重新指定去重机制: 确保所有的爬虫通过Redis去重
  DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
  
  # 不清除Redis队列: 暂停/恢复/断点续爬(默认清除为False,设置为True不清除)
  SCHEDULER_PERSIST = True
  
  # 优先级队列 （默认）
  SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'
  #可选用的其它队列
  # 先进先出
  SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'
  # 后进先出
  SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'
  
  # redis管道
  ITEM_PIPELINES = {
      'scrapy_redis.pipelines.RedisPipeline': 300
  }
  
  #指定连接到redis时使用的端口和地址
  REDIS_HOST = 'localhost'
  REDIS_PORT = 6379
  

腾讯招聘分布式改写

• 分布式爬虫完成步骤

  【1】首先完成非分布式scrapy爬虫 : 正常scrapy爬虫项目抓取
  【2】设置,部署成为分布式爬虫
  

• 分布式环境说明

  【1】分布式爬虫服务器数量: 2（其中1台Windows,1台Ubuntu虚拟机）
  【2】服务器分工:
      2.1) Windows : 负责数据抓取
      2.2) Ubuntu  : 负责URL地址统一管理,同时负责数据抓取
  

• 腾讯招聘分布式爬虫 - 数据同时存入1个Redis数据库

  【1】完成正常scrapy项目数据抓取（非分布式 - 拷贝之前的Tencent）
  
  【2】设置settings.py，完成分布式设置
      2.1-必须) 使用scrapy_redis的调度器
           SCHEDULER = "scrapy_redis.scheduler.Scheduler"
          
      2.2-必须) 使用scrapy_redis的去重机制
           DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
          
      2.3-必须) 定义redis主机地址和端口号
           REDIS_HOST = '192.168.1.107'
           REDIS_PORT = 6379
          
      2.4-非必须) 是否清除请求指纹,True:不清除 False:清除（默认）
           SCHEDULER_PERSIST = True
          
      2.5-非必须) 在ITEM_PIPELINES中添加redis管道,数据将会存入redis数据库
           'scrapy_redis.pipelines.RedisPipeline': 200
              
  【3】把代码原封不动的拷贝到分布式中的其他爬虫服务器,同时开始运行爬虫
  
  【结果】：多台机器同时抓取,数据会统一存到Ubuntu的redis中，而且所抓数据不重复
  

• 腾讯招聘分布式爬虫 - 数据存入MySQL数据库

  """和数据存入redis步骤基本一样,只是变更一下管道和MySQL数据库服务器的IP地址"""
  【1】settings.py
      1.1) SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
      1.2) DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
      1.3) SCHEDULER_PERSIST = True
      1.4) REDIS_HOST = '192.168.1.105'
      1.5) REDIS_PORT = 6379
      1.6) ITEM_PIPELINES = {'Tencent.pipelines.TencentMysqlPipeline' : 300}
      1.7) MYSQL_HOST = '192.168.1.105'
      
  【2】将代码拷贝到分布式中所有爬虫服务器
  
  【3】多台爬虫服务器同时运行scrapy爬虫
  
  # 赠送腾讯MySQL数据库建库建表语句
  """
  create database tencentdb charset utf8;
  use tencentdb;
  create table tencenttab(
  job_name varchar(1000),
  job_type varchar(200),
  job_duty varchar(5000),
  job_require varchar(5000),
  job_address varchar(200),
  job_time varchar(200)
  )charset=utf8;
  """
  

机器视觉与tesseract

• 概述

  【1】作用
      处理图形验证码
  
  【2】三个重要概念 - OCR、tesseract-ocr、pytesseract
      2.1) OCR
          光学字符识别(Optical Character Recognition),通过扫描等光学输入方式将各种票据、报刊、书籍、文稿及其它印刷品的文字转化为图像信息，再利用文字识别技术将图像信息转化为电子文本
  
      2.2) tesseract-ocr
          OCR的一个底层识别库（不是模块，不能导入），由Google维护的开源OCR识别库
  
      2.3) pytesseract
          Python模块,可调用底层识别库，是对tesseract-ocr做的一层Python API封装
  

• 安装tesseract-ocr

  【1】Ubuntu安装
      sudo apt-get install tesseract-ocr
  
  【2】Windows安装
      2.1) 下载安装包
      2.2) 添加到环境变量(Path)
  
  【3】测试（终端 | cmd命令行）
      tesseract xxx.jpg 文件名
  

• 安装pytesseract

  【1】安装
      sudo pip3 install pytesseract
      
  【2】使用示例
      import pytesseract
      # Python图片处理库
      from PIL import Image
  
      # 创建图片对象
      img = Image.open('test1.jpg')
      # 图片转字符串
      result = pytesseract.image_to_string(img)
      print(result)
  

补充 - 滑块缺口验证码案例

豆瓣网登录

• 案例说明

  【1】URL地址: https://www.douban.com/
  【2】先输入几次错误的密码，让登录出现滑块缺口验证，以便于我们破解
  【3】模拟人的行为
      3.1) 先快速滑动
      3.2) 到离重点位置不远的地方开始减速
  【4】详细看代码注释
  

• 代码实现

  """
  说明：先输入几次错误的密码，出现滑块缺口验证码
  """
  from selenium import webdriver
  # 导入鼠标事件类
  from selenium.webdriver import ActionChains
  import time
  
  # 加速度函数
  def get_tracks(distance):
      """
      拿到移动轨迹，模仿人的滑动行为，先匀加速后匀减速
      匀变速运动基本公式：
      ①v=v0+at
      ②s=v0t+½at²
      """
      # 初速度
      v = 0
      # 单位时间为0.3s来统计轨迹，轨迹即0.3内的位移
      t = 0.3
      # 位置/轨迹列表,列表内的一个元素代表0.3s的位移
      tracks = []
      # 当前的位移
      current = 0
      # 到达mid值开始减速
      mid = distance*4/5
      while current < distance:
          if current < mid:
              # 加速度越小,单位时间内的位移越小,模拟的轨迹就越多越详细
              a = 2
          else:
              a = -3
  
          # 初速度
          v0 = v
          # 0.3秒内的位移
          s = v0*t+0.5*a*(t**2)
          # 当前的位置
          current += s
          # 添加到轨迹列表
          tracks.append(round(s))
          # 速度已经达到v，该速度作为下次的初速度
          v = v0 + a*t
      return tracks
      # tracks: [第一个0.3秒的移动距离,第二个0.3秒的移动距离,...]
  
  
  # 1、打开豆瓣官网 - 并将窗口最大化
  browser = webdriver.Chrome()
  browser.maximize_window()
  browser.get('https://www.douban.com/')
  
  # 2、切换到iframe子页面
  login_frame = browser.find_element_by_xpath('//*[@id="anony-reg-new"]/div/div[1]/iframe')
  browser.switch_to.frame(login_frame)
  
  # 3、密码登录 + 用户名 + 密码 + 登录豆瓣
  browser.find_element_by_xpath('/html/body/div[1]/div[1]/ul[1]/li[2]').click()
  browser.find_element_by_xpath('//*[@id="username"]').send_keys('15110225726')
  browser.find_element_by_xpath('//*[@id="password"]').send_keys('zhanshen001')
  browser.find_element_by_xpath('/html/body/div[1]/div[2]/div[1]/div[5]/a').click()
  time.sleep(4)
  
  # 4、切换到新的iframe子页面 - 滑块验证
  auth_frame = browser.find_element_by_xpath('//*[@id="TCaptcha"]/iframe')
  browser.switch_to.frame(auth_frame)
  
  # 5、按住开始滑动位置按钮 - 先移动180个像素
  element = browser.find_element_by_xpath('//*[@id="tcaptcha_drag_button"]')
  # click_and_hold(): 按住某个节点并保持
  ActionChains(browser).click_and_hold(on_element=element).perform()
  # move_to_element_with_offset(): 移动到距离某个元素(左上角坐标)多少距离的位置
  ActionChains(browser).move_to_element_with_offset(to_element=element,xoffset=180,yoffset=0).perform()
  
  # 6、使用加速度函数移动剩下的距离
  tracks = get_tracks(28)
  for track in tracks:
      # move_by_offset() : 鼠标从当前位置移动到某个坐标
      ActionChains(browser).move_by_offset(xoffset=track,yoffset=0).perform()
  
  # 7、延迟释放鼠标: release()
  time.sleep(0.5)
  ActionChains(browser).release().perform()
  

Fiddler抓包工具

• 配置Fiddler

  【1】Tools -> Options -> HTTPS
      1.1) 添加证书信任:  勾选 Decrypt Https Traffic 后弹出窗口，一路确认
      1.2) 设置之抓浏览器的包:  ...from browsers only
  
  【2】Tools -> Options -> Connections
      2.1) 设置监听端口（默认为8888）
  
  【3】配置完成后重启Fiddler（'重要'）
      3.1) 关闭Fiddler,再打开Fiddler
  

• 配置浏览器代理

  【1】安装Proxy SwitchyOmega谷歌浏览器插件
  
  【2】配置代理
      2.1) 点击浏览器右上角插件SwitchyOmega -> 选项 -> 新建情景模式 -> myproxy(名字) -> 创建
      2.2) 输入  HTTP://  127.0.0.1  8888
      2.3) 点击 ：应用选项
      
  【3】点击右上角SwitchyOmega可切换代理
  
  【注意】: 一旦切换了自己创建的代理,则必须要打开Fiddler才可以上网
  

• Fiddler常用菜单

  【1】Inspector ：查看数据包详细内容
      1.1) 整体分为请求和响应两部分
      
  【2】Inspector常用菜单
      2.1) Headers ：请求头信息
      2.2) WebForms: POST请求Form表单数据 ：<body>
                     GET请求查询参数: <QueryString>
      2.3) Raw : 将整个请求显示为纯文本
  

移动端app数据抓取

• 方法1 - 手机 + Fiddler

  设置方法见文件夹 - 移动端抓包配置
  

• 方法2 - F12浏览器工具

有道翻译手机版破解案例

import requests
from lxml import etree

word = input('请输入要翻译的单词:')

post_url = 'http://m.youdao.com/translate'
post_data = {
  'inputtext':word,
  'type':'AUTO'
}

html = requests.post(url=post_url,data=post_data).text
parse_html = etree.HTML(html)
xpath_bds = '//ul[@id="translateResult"]/li/text()'
result = parse_html.xpath(xpath_bds)[0]

print(result)