【Python库详解】 Requests

简介

requests 是 Python 中最流行的 HTTP 客户端库，以简洁的 API 设计和强大的功能著称。以下是其核心知识点的详细说明及代码示例。

---

一、安装与导入

安装

# 使用 pip 安装 requests 库
pip install requests

导入

# 导入 requests 模块
import requests

---

二、发送 HTTP 请求

1. GET 请求

基本请求

# 发送一个简单的 GET 请求
response = requests.get("https://api.example.com/data")
print("响应状态码:", response.status_code)

URL 参数

# 通过 params 参数传递 URL 查询参数
params = {
    "page": 1,          # 当前页码
    "limit": 10,        # 每页数据量
    "sort": "desc"      # 排序方式
}
response = requests.get("https://api.example.com/items", params=params)
print("实际请求的 URL:", response.url)  # 输出构造后的完整 URL

2. POST 请求

表单数据提交

# 模拟表单提交（Content-Type: application/x-www-form-urlencoded）
form_data = {
    "username": "admin",
    "password": "secret"
}
response = requests.post("https://api.example.com/login", data=form_data)
print("登录响应:", response.text)

JSON 数据提交

# 发送 JSON 格式数据（Content-Type: application/json）
user_info = {
    "name": "Alice",
    "age": 25,
    "email": "[email protected]"
}
response = requests.post("https://api.example.com/users", json=user_info)
print("创建用户结果:", response.json())

文件上传

# 上传本地文件（Content-Type: multipart/form-data）
with open("report.pdf", "rb") as file:  # 以二进制模式打开文件
    files = {"document": ("report.pdf", file, "application/pdf")}
    response = requests.post("https://api.example.com/upload", files=files)
print("文件上传结果:", response.json())

3. 其他方法

PUT 请求示例

# 更新资源（例如修改用户信息）
update_data = {"email": "[email protected]"}
response = requests.put("https://api.example.com/users/123", json=update_data)
print("更新结果状态码:", response.status_code)

DELETE 请求示例

# 删除资源（例如删除文章）
response = requests.delete("https://api.example.com/articles/456")
print("删除操作状态码:", response.status_code)

---

三、处理响应

1. 响应内容解析

文本内容处理

# 获取响应文本（自动解码）
response = requests.get("https://api.example.com/text")
print("文本内容:", response.text[:100])  # 截取前 100 个字符

二进制内容处理

# 下载图片并保存到本地
response = requests.get("https://example.com/image.jpg")
with open("image.jpg", "wb") as f:  # 以二进制写入模式保存
    f.write(response.content)
print("图片下载完成")

JSON 数据处理

# 解析 JSON 响应（自动转换为字典）
response = requests.get("https://api.example.com/products/789")
product = response.json()
print(f"产品名称: {product['name']}, 价格: {product['price']}元")

2. 响应状态与头信息

状态码检查

response = requests.get("https://api.example.com/health")
if response.status_code == 200:
    print("服务正常")
elif response.status_code == 404:
    print("资源不存在")
else:
    print("未知状态:", response.status_code)

异常处理

# 自动抛出 HTTP 错误
try:
    response = requests.get("https://api.example.com/error")
    response.raise_for_status()  # 如果状态码是 4xx/5xx 会抛出异常
except requests.HTTPError as err:
    print(f"HTTP 错误: {err}")

响应头解析

response = requests.head("https://example.com")  # HEAD 请求只获取头信息
print("服务器类型:", response.headers.get("Server", "未知"))
print("内容类型:", response.headers.get("Content-Type", "未指定"))

---

四、高级功能

1. 会话（Session）管理

# 使用 Session 保持登录状态和连接池
with requests.Session() as session:
    # 第一次请求：登录
    login_data = {"user": "admin", "pass": "123456"}
    session.post("https://api.example.com/login", data=login_data)

    # 后续请求：自动携带 Cookie
    profile = session.get("https://api.example.com/profile").json()
    orders = session.get("https://api.example.com/orders").json()
    print("用户信息:", profile)

2. 代理设置

# 通过代理服务器发送请求
proxies = {
    "http": "http://10.10.1.10:3128",   # HTTP 代理
    "https": "http://10.10.1.10:1080"   # HTTPS 代理
}
try:
    response = requests.get("http://external-site.com", proxies=proxies, timeout=5)
    print("通过代理访问成功")
except requests.ConnectTimeout:
    print("代理连接超时")

3. 超时控制

# 设置连接超时和读取超时（元组格式）
try:
    response = requests.get("https://slow-api.example.com", timeout=(3.05, 10))
    # 连接超时 3.05 秒，读取超时 10 秒
except requests.Timeout:
    print("请求超时，请重试")

4. SSL 验证

禁用验证（测试环境使用）

# 注意：verify=False 会忽略 SSL 证书验证（不安全！）
response = requests.get("https://self-signed-cert-site.com", verify=False)
print("跳过 SSL 验证结果:", response.status_code)

自定义证书

# 使用自定义 CA 证书验证
response = requests.get("https://internal-api.example.com", 
                       verify="/path/to/corporate-ca-bundle.crt")
print("自定义证书验证成功")

---

五、异常处理

完整异常处理示例

from requests.exceptions import RequestException

url = "https://unstable-api.example.com/data"

try:
    # 设置超时和重试
    response = requests.get(url, timeout=5)
    response.raise_for_status()  # 检查 4xx/5xx 错误
    
    # 处理成功响应
    data = response.json()
    print("获取数据成功:", data["key"])

except requests.Timeout:
    print("错误: 请求超时（5 秒）")
except requests.HTTPError as e:
    print(f"HTTP 错误: {e.response.status_code} - {e.response.reason}")
except requests.JSONDecodeError:
    print("错误: 响应不是有效的 JSON")
except RequestException as e:
    print(f"请求失败: {str(e)}")

---

六、其他实用功能

1. Cookie 操作

# 手动设置 Cookie
cookies = {"session_id": "abc123xyz"}
response = requests.get("https://api.example.com/cart", cookies=cookies)
print("购物车内容:", response.json())

# 获取服务器设置的 Cookie
print("服务器返回的 Cookies:")
for cookie in response.cookies:
    print(f"{cookie.name}: {cookie.value}")

2. 重定向控制

# 禁用自动重定向
response = requests.get("https://example.com/old-url", allow_redirects=False)
if response.status_code == 301:
    new_location = response.headers["Location"]
    print(f"需要手动跳转到: {new_location}")

3. 流式下载大文件

# 分块下载大文件（避免内存溢出）
url = "https://example.com/large-video.mp4"
with requests.get(url, stream=True) as r:
    r.raise_for_status()
    with open("video.mp4", "wb") as f:
        for chunk in r.iter_content(chunk_size=8192):  # 8KB 块
            f.write(chunk)
print("大文件下载完成")

4. 身份认证

# 使用 Basic 认证
from requests.auth import HTTPBasicAuth

response = requests.get("https://api.example.com/secured",
                       auth=HTTPBasicAuth("user", "pass"))
print("认证结果:", response.status_code)

---

七、最佳实践

推荐做法

1. 会话复用：

   # 使用 with 语句自动管理 Session
   with requests.Session() as s:
       s.headers.update({"User-Agent": "MyApp/1.0"})  # 统一设置请求头
       s.get("https://api.example.com/ping")          # 测试连接
   

2. 超时必填：

   # 所有请求都应该设置超时
   requests.get("https://example.com", timeout=(3, 10))  # 连接 3 秒，读取 10 秒
   

3. 资源释放：

   # 使用 with 语句确保响应资源释放
   with requests.get("https://example.com", stream=True) as response:
       # 处理响应内容
       pass
   

4. 错误重试：

   # 实现简单重试逻辑
   retries = 3
   for _ in range(retries):
       try:
           response = requests.get(url, timeout=5)
           response.raise_for_status()
           break
       except (RequestException, Timeout):
           continue
   

官方文档：https://docs.python-requests.org/

---

特点说明

1. 代码注释：每个示例都添加了详细的注释，说明代码用途和关键参数
2. 场景覆盖：包含常见场景（登录、文件传输、错误处理）和特殊需求（代理、SSL 验证）
3. 安全提示：在禁用 SSL 验证等危险操作时添加警告说明
4. 最佳实践：强调超时设置、会话管理和资源释放的重要性

可直接保存为 .md 文件或导入到文档工具中使用。