Python爬虫：Requests与Beautiful Soup库详解

前言

在当今数据驱动的时代，网络爬虫成为了获取网络信息的重要工具。Python作为最流行的爬虫语言之一，拥有丰富的库支持。今天我们就来介绍两个最基础也最强大的爬虫库：Requests和Beautiful Soup，并补充关于lxml解析器和Requests Session的内容。

一、Requests库：让HTTP请求变得简单

Requests是一个优雅而简单的HTTP库，它让发送HTTP请求变得非常简单，比Python内置的urllib库更加人性化。

安装Requests

在开始之前，我们需要先安装Requests库：

pip install requests

基本GET请求

import requests

# 发送GET请求
response = requests.get('https://www.example.com')

# 查看响应状态码
print(response.status_code)  # 200表示成功

# 查看网页内容
print(response.text)

常用方法和属性

1. response.status_code：HTTP请求的返回状态
2. response.text：返回内容的文本形式
3. response.content：返回内容的二进制形式
4. response.json()：如果返回内容是JSON格式，可以直接解析为字典
5. response.headers：查看响应头信息

带参数的GET请求

params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://httpbin.org/get', params=params)
print(response.url)  # 查看实际请求的URL

POST请求示例

data = {'username': 'test', 'password': '123456'}
response = requests.post('https://httpbin.org/post', data=data)
print(response.text)

设置请求头

有些网站会检查请求头，我们可以模拟浏览器访问：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get('https://www.example.com', headers=headers)

使用Session保持会话

Requests的Session对象可以跨请求保持某些参数，比如cookies，还可以为请求方法提供缺省数据。

import requests

# 创建一个Session对象
s = requests.Session()

# 设置公共的请求头
s.headers.update({'User-Agent': 'Mozilla/5.0'})

# 登录请求（假设这是一个登录接口）
login_data = {'username': 'user', 'password': 'pass'}
s.post('https://example.com/login', data=login_data)

# 后续请求会自动携带cookies
response = s.get('https://example.com/dashboard')
print(response.text)

# Session也可以设置请求参数默认值
s.params = {'token': 'abc123'}
# 这个请求会自动加上?token=abc123
response = s.get('https://example.com/api/data')

Session的主要优势：

1. 保持cookies，模拟用户登录状态
2. 可以设置默认headers和params
3. 重用TCP连接，提高请求效率
4. 保持会话级别的设置

二、Beautiful Soup：HTML解析利器

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。

安装Beautiful Soup和lxml

pip install beautifulsoup4 lxml

为什么选择lxml解析器？

lxml是一个高性能的HTML/XML解析器，相比Python内置的html.parser：

1. 速度更快
2. 容错能力更强
3. 支持复杂的XPath查询
4. 更接近现代浏览器的解析方式

基本用法（使用lxml解析器）

from bs4 import BeautifulSoup
import requests

# 获取网页内容
response = requests.get('https://www.example.com')
html_content = response.text

# 创建Beautiful Soup对象，指定使用lxml解析器
soup = BeautifulSoup(html_content, 'lxml')

# 打印美化后的HTML
print(soup.prettify())

常用方法

1. 标签选择

# 获取第一个