python爬虫数据提取三之xpath

1 xpath概述

   全称 XML Path Language 是一门在XML文档中 查找信息的语言 最初是用来搜寻XML文档的 但是它同样适用于HTML文档的搜索
   XPath 的选择功能十分强大，它提供了非常简洁的路径选择表达式，另外还提供了超过100个内置函数，用于字符串，数值，时间的匹配 以及节点和序列的处理
   XPath 于1999年11月16日成为W3C标准 被设计为供XSLT、XPointer、以及其它XML解析软件使用
   常用节点选择工具 Chrome插件 XPath Helper（下载crx扩展程序进行安装）

<<<
常用规则

表达式 描述

nodename 选取此节点的所有子节点
/ 从当前节点选取直接子节点
// 从当前节点选取子孙节点
. 选取当前节点
.. 选取当前节点的父节点
@ 选取属性
>>>

示例： //title[@lang='eng']

选取所有名称为title 同时属性为lang的值为eng的节点 通过Python的lxml库 利用XPath进行HTML解析

2 安装 lxml

1. pip install lxml
2. wheel方式安装 https://www.lfd.uci.edu/~gohlke/pythonlibs/

验证 python命令行下 import lxml 无报错信息 表示安装成功

3 实例：

• 读取字符串

from lxml import etree #导入lxml的etree模块

text='''


first item
second item
third item
fourth item
fifth item


'''
html = etree.HTML(text)#调用HTML类 初始化 构造一个XPath解析对象
result = etree.tostring(html)#输出 HTML代码
print(result.decode('utf-8'))#结果为bytes类型 用decode方法转化为str类型

• first item


• second item


• third item


• fourth item


• fifth item
  

• 也可以直接读取文本文件 例如：

from lxml import etree

html = etree.parse('./test.html',etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))

• first item


• second item


• third item


• fourth item

fifth item

• 所有节点
  一般会用//开头的XPath规则来选取所有符合要求的节点，例如：

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//*')
print(result)

[, , , , , , , , , , , , , ]

*代表匹配所有节点 返回一个列表 每个元素是Element类型 其后是节点名

• 指定节点
  例如：

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li')
print(result)
print(result[0])#取出其中一个对象 利用索引值

[, , , , ]

• 子节点
  通过/或者// 查找元素子节点或子孙节点
  例如： 查找li节点的所有直接子节点

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li/a')
print(result)

[, , , , ]

ul获取所有子孙a节点

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//ul//a')
print(result)

[, , , , ]

• 父节点
  例如： 获取href属性为link4.html的a节点 获取其父节点 再获取其class属性

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/../@class')
print(result)

['item-1']

也可以通过parent::* 获取其父节点

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//a[@href="link4.html"]/parent::*/@class')
print(result)

['item-1']

• 属性过滤
  选取class为item-0 的li节点

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]')
print(result)

[, ]

• 文本获取
  用xpath中text（）方法获取节点中的文本
  例如 获取li节点中的文本

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/text()') #此处的含义是直接获取子节点
print(result)#返回结果为 空列表

[]

两种方式 1.先选取a节点 再获取文本 2.使用//

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/a/text()')
print(result)#返回预期结果

['first item', 'fifth item']

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]//text()')
print(result)

['first item', 'fifth item']

• 属性获取
  示例 获取li节点下所有a节点的href属性

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li/a/@href')
print(result)#注意 之前学的属性过滤是限制某个属性 class=“xxxx” 这里是获取某个节点某个属性的属性值 返回形式是列表

['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']

• 属性多值匹配
  示例 有时候某个节点的某个属性有多个值

from lxml import etree
text='''
first item
'''
html = etree.HTML(text)
result = html.xpath('//li[@class="li"]/a/text()')
print(result)#返回结果是[]

[]

需要 contains()函数

from lxml import etree
text='''
first item
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li")]/a/text()')
print(result)#第一个参数传入属性名称 第二个参数传入属性值

['first item']

• 多属性匹配
  示例 根据多个属性确定一个节点 通常需要同时匹配多个属性 可以使用and来连接

from lxml import etree
text='''
first item
second item
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class,"li") and @name="item"]/a/text()')
print(result)

['first item']

4 运算符

• 按序选择
  有时候选择某些属性 可能同时匹配了多个节点 但是想要其中某个节点，如 第一个节点或者最后一个节点，则可以利用中括号传索引的方法

from lxml import etree

html = etree.parse('./html.html',etree.HTMLParser())
result = html.xpath('//li[1]/a/text()')
print(result)#返回第一个节点 注意这里序号是从1开始的

result = html.xpath('//li[last()]/a/text()')
print(result)#返回最后一个节点

result = html.xpath('//li[position()<3]/a/text()')
print(result)#返回前两个

result = html.xpath('//li[last()-2]/a/text()')
print(result)#返回倒数第三个

['first item']
['fifth item']
['first item', 'second item']
['third item']

xpath提供了100多个函数 包括存取 数值 字符串 逻辑 节点 序列等 参考资料 http://www.w3school.com.cn/xpath/xpath_functions.asp

• 节点轴选择
  xpath提供了很多节点轴选择方法 包括子元素，兄弟元素，父元素，祖先元素等

from lxml import etree
text='''


first item
second item
third item
fourth item
fifth item


'''
html = etree.HTML(text)

result = html.xpath('//li[1]/ancestor::*')
print(result)# 获取第一个li所有祖先节点 包括html body div ul


result = html.xpath('//li[1]/ancestor::div')
print(result)#限定条件 div

result = html.xpath('//li[1]/attribute::*')
print(result)#获取所有属性值 返回li节点所有属性值

result = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result)#获取所有直接子节点 限定条件href = link1.html

result = html.xpath('//li[1]/descendant::span')
print(result)# 获取所有子孙节点 限定span节点 不包含a节点

result1 = html.xpath('//li[1]/following::*[2]')
print(result1)#获取当前节点之后的所有节点 虽然加了* 但又加了索引选择 只获取第二个后续节点

result = html.xpath('//li[1]/following-sibling::*')
print(result)#获取当前节点之后的所有同级节点

[, , , ]
[]
['item-0']
[]
[]
[]
[, , , ]

4 实战：百度校花吧爬取并保存图片案例

import requests
from lxml import etree
import os

class Baidu(object):

    def __init__(self, name):
        self.url = 'http://tieba.baidu.com/f?ie=utf-8&kw={}'.format(name)
        # 使用较老版本的请求头，该浏览器不支持js
        self.headers = {
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0) '
        }

    # 发送请求，获取响应
    def get_data(self, url):
        response = requests.get(url,headers=self.headers)
        return response.content

    # 解析列表页数据，获取列表页面帖子的标题和链接
    def parse_list_page(self, data):
        with open('baidu.html','wb') as f:
            f.write(data)
        # 实例化etree对象
        html = etree.HTML(data)
        # 使用xpath语法，提取网页数据
        node_list = html.xpath("//*[@id='thread_list']/li[@class=' j_thread_list clearfix']/div/div[2]/div[1]/div[1]/a")
        # 判断获取结果
        # print(len(node_list))
        data_list = []
        # 遍历node_list
        for node in node_list:
            temp = {}
            temp['url'] = 'http://tieba.baidu.com' + node.xpath('./@href')[0]
            temp['title'] = node.xpath('./text()')[0]
            data_list.append(temp)

        # 提取下一页的节点
        next_node = html.xpath('//*[@id="frs_list_pager"]/a[last()-1]/@href')[0]
        # print(next_node)
        # 拼接下一页的完整url
        next_url = 'http:' + next_node
        # print(next_url)
        return data_list,next_url

    def parse_detail_page(self, data_list):
        html = etree.HTML(data_list)
        # 提取详情页面的图片链接
        image_list = html.xpath("//cc/div[contains(@class,'d_post')]/img[@class='BDE_Image']/@src")
        # 返回图片节点列表
        print(image_list)
        return image_list

    # 下载图片，保存图片文件
    # 创建文件夹
    def download(self, image_list):
        if not os.path.exists('images'):
            os.makedirs('images')
        for image in image_list:
            # os.sep在mac系统中是/,如果是windows系统，\\,跨平台
            file_name = 'images'+ os.sep + image.split('/')[-1]
            image_data = self.get_data(image)
            with open(file_name,'wb') as f:
                f.write(image_data)

    def run(self):
        # 构造url和请求头
        # 发送请求，获取响应
        next_url = self.url
        # 开启循环，
        while next_url:
            data = self.get_data(next_url)

            # 解析列表页数据，返回的列表数据、下一页的的数据
            data_list,next_url = self.parse_list_page(data)
            # 解析详情页的数据，获取详情页的图片的链接地址
            for data in data_list:
                url = data['url']
                result_list = self.get_data(url)
                image_list = self.parse_detail_page(result_list)
                # 保存数据，下载图片
                self.download(image_list)

if __name__ == '__main__':
    # 爬取百度校花吧所有图片并存在文件夹中
    baidu = Baidu('校花吧')
    baidu.run()