使用Beautiful Soup库解析网页
使用Beautiful Soup库解析网页
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库。它能够实现惯用的文档导航，查找，修改文档的方式等功能。Beautiful Soup支持Python标准库中的HTML解析器，还支持一些第三方的解析器，其中一个是 lxml，另一个可供选择的解析器是纯Python实现的 html5lib，html5lib的解析方式与浏览器相同。下表介绍了Beautiful Soup主要的解析器，以及它们的优缺点:
| 解析器 | 使用方法 | 优势 | 劣势 |
|---|---|---|---|
| Python标准库 | BeautifulSoup(markup, “html.parser”) | Python的内置标准库、执行速度适中、 文档容错能力强 | Python 2.7.3 or 3.2.2)前的版本中文档容错能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup, “lxml”) | 速度快、文档容错能力强 | 需要安装C语言库 |
| lxml XML 解析器 | BeautifulSoup(markup, [“lxml-xml”])、BeautifulSoup(markup, “xml”) | 速度快、唯一支持XML的解析器 | 需要安装C语言库 |
| html5lib | BeautifulSoup(markup, “html5lib”) | 最好的容错性、以浏览器的方式解析文档、生成HTML5格式的文档 | 速度慢、不依赖外部扩展 |
1.安装
Beautiful Soup可使用pip安装，如代码所示：
pip install bs4
2.创建BeautifulSoup对象
要使用BeautifulSoup库解析网页，首先需要创建BeautifulSoup对象，将一段文档传入BeautifulSoup的构造方法，就能得到一个文档的对象，可以传入一段字符串或一个文件句柄，如代码所示：
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))
soup = BeautifulSoup("data")
Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构，每个节点都是Python对象，所有对象可以归纳为4种: Tag，NavigableString，BeautifulSoup，Comment。
(1)、Tag对象
Tag对象与XML或HTML原生文档中的tag相同，包括HTML标签还有其中包含的文本内容。例如"
通过Tag名称可以很方便的在文档树中获取需要的Tag对象，使用Tag名称查找的方法只能获得文档树中的第一个同名Tag对象，示例代码如下：
>>> # 导入BeautifulSoup
>>> from bs4 import BeautifulSoup
>>> # 创建BeautifulSoup对象
>>> soup = BeautifulSoup('Extremely bold', 'lxml')
>>> print(soup.b)
<b class="boldest">Extremely bold</b>
Tag有很多方法和属性，其中最重要的属性: name和attributes。
每个tag都有自己的名字，通过 .name来获取，示例代码如下：
>>> # 创建Tag对象
>>> tag = soup.b
>>> print(tag.name)
b
一个tag可能有很多个属性。有一个 “class” 的属性,值为 “boldest”。tag的属性的操作方法与字典相同:
>>> print(tag['class'])
['boldest']
也可以直接"点"取属性，返回的是一个地点，属性为键，属性值为值，示例代码如下:
>>> print(tag.attrs)
{'class': ['boldest']}
(2)、NavigableString对象
NavigableString对象为包含在Tag对象中的文本字符串内容，可使用string方法获取，示例代码如下:
>>> # 导入BeautifulSoup
>>> from bs4 import BeautifulSoup
>>> html = '''
'''
>>> # 创建BeautifulSoup对象
>>> soup = BeautifulSoup(html, 'lxml')
>>> print(soup.a.string)
世纪星城
string只能获取该Tag对象中的直系文本内容，可以使用text属性和get_text()方法获取Tag对象中后代节点的所有文本内容，返回值为字符串，示例代码如下：
>>> # 导入BeautifulSoup
>>> from bs4 import BeautifulSoup
>>> html = '''
4室2厅高楼层/共10层
'''
>>> # 创建BeautifulSoup对象
>>> soup = BeautifulSoup(html, 'lxml')
# 使用text属性获取div节点下的所有文本内容
>>> print(soup.div.text)
4室2厅高楼层/共10层
# 使用get_text()方法获取div节点下的所有文本内容
>>> print(soup.div.get_text())
4室2厅高楼层/共10层
(3)、BeautifulSoup对象
BeautifulSoup对象表示的是一个文档的全部内容，大部分时候，可以把它当作 Tag对象。BeautifulSoup对象并不是真正的HTML或XML的tag，所以它没有name和attribute属性。但BeautifulSoup对象包含了一个值为 “[document]” 的特殊属性 .name属性，示例代码如下：
>>> # 导入BeautifulSoup
>>> from bs4 import BeautifulSoup
>>> html = '''
4室2厅高楼层/共10层
'''
>>> # 创建BeautifulSoup对象
>>> soup = BeautifulSoup(html, 'lxml')
>>> print(soup.name)
[document]
(4)、Comment对象
Tag，NavigableString，BeautifulSoup几乎覆盖了html和xml中的所有内容，但是还有一些特殊对象就文档的注释部分。Comment 对象是一个特殊类型的 NavigableString对象，但是当它出现在HTML文档中时，会使用特殊的格式输出，示例代码如下：
>>> # 导入BeautifulSoup
>>> from bs4 import BeautifulSoup
>>> markup = ""
>>> soup = BeautifulSoup(markup, 'lxml')
>>> comment = soup.b.string
>>> print(comment)
Hey, buddy. Want to buy a used parser?
3.搜索特定节点并获取其中的链接及文本
BeautifulSoup库中定义了很多搜索方法，常用的有find方法、find_all方法，还可以通过CSS选择器进行搜索。find()方法返回直接的结果，find_all()方法返回一个包含结果的列表，基本语法如下：
find(name, attrs, recursive, string, **kwargs)
find_all(name, attrs, recursive, string, **kwargs)
参数说明：
- name：需要查找的Tag名字
- attrs：可以定义一个字典参数来搜索包含特殊属性的tag，按照CSS类名搜索tag，但标识CSS类名的关键字 class 在Python中是保留字,使用 class 做参数会导致语法错误，可以通过 class_参数搜索有指定CSS类名的tag
- recursive：调用find_all()方法时，Beautiful Soup会检索当前tag的所有子孙节点，如果只想搜索tag的直接子节点，可以使用参数 recursive=False
- string：可以搜索文档中的字符串内容。string参数接受字符串， 正则表达式，列表， True
- **kwargs：若一个指定名字的参数不是搜索内置的参数名，搜索时会把该参数当作指定名字的Tag对象的属性来搜索。
使用BeautifulSoup库解析某网站二手房详情页中的信息，如代码3-7所示：
# 导包
import requests
from bs4 import BeautifulSoup
# 定义LianJiaSpider类
class LianJiaSpider:
# 定义初始化函数
def __init__(self):
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/'
'537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'}
# 定义发送请求函数
def get_page(self, url):
response = requests.get(url=url, headers=self.headers).content.decode('utf-8')
soup = BeautifulSoup(response, 'lxml')
return soup
# 定义解析函数,解析详情页的url地址
def parse_url(self, soup):
li_list = soup.find_all('li', 'clear LOGVIEWDATA LOGCLICKDATA')
for li in li_list:
# 解析每套房屋标题中的链接
detail_url = li.find('a', 'noresultRecommend img LOGCLICKDATA').get('href')
# 向详情页链接发送请求
detail_soup = self.get_page(detail_url)
# 调用parse()函数解析详情页信息
self.parse(detail_soup)
# 定义详情页解析函数
def parse(self, detail_soup):
# 创建空子典保存解析出的房屋信息
item = {}
# 解析详情页房屋标题
item['title'] = detail_soup.find('h1', 'main').string
# 解析详情页房屋所在小区
item['community'] = detail_soup.find('a', 'info').string
# 解析详情页属性值为"mainInfo"的div标签
main_list = detail_soup.find_all('div', 'mainInfo')
# 解析详情页房屋户型
item['house_type'] = main_list[0].string if main_list[0] else None
# 解析详情页房屋面积
item['area'] = main_list[2].string if main_list[2] else None
# 解析详情页房屋单价
item['unit_price'] = detail_soup.select('.unitPrice>span')[0].text
# 解析详情页房屋总价
item['total_price'] = detail_soup.find('span', 'total').string
print(item)
# 定义运行函数
def run(self, url):
tree = self.get_page(url)
self.parse_url(tree)
if __name__ == '__main__':
# 调用类创建实例对象
spider = LianJiaSpider()
url = 'https://xx.xxxxxx.com/ershoufang/'
# 调用run函数运行程序
spider.run(url)
BeautifulSoup支持大部分的CSS选择器在Tag或BeautifulSoup对象的select()方法中传入字符串参数，即可使用CSS选择器的语法找到tag，示例如下：
>>> from bs4 import BeautifulSoup
>>> html_doc = """
The Dormouse's story
The Dormouse's story
Once upon a time there were three little sisters; and their names were
Elsie,
Lacie and
Tillie;
and they lived at the bottom of a well.
...
"""
>>> # 创建BeautifulSoup对象
>>> soup = BeautifulSoup(html_doc, 'html.parser')
>>> # 通过tag查找:
>>> soup.select("title")
[<title>The Dormouse's story</title>]
>>> soup.select("p nth-of-type(3)")
[<p class="story">...</p>]
>>> # 通过tag标签逐层查找:
>>> soup.select("body a")
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
>>> soup.select("html head title")
[<title>The Dormouse's story</title>]
>>> # 找到某个tag标签下的直接子标签:
>>> soup.select("head > title")
[<title>The Dormouse's story</title>]
>>> soup.select("p > a")
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
>>> soup.select("p > a:nth-of-type(2)")
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
>>> soup.select("p > #link1")
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
>>> soup.select("body > a")
[]