【网络爬虫】(2) requests模块，案例：网络图片爬取，附Python代码

1. 基本原理

1.1 requests 模块

requests 是 Python 中一个非常流行的 HTTP 客户端库，用于发送所有的 HTTP 请求类型。它基于 urllib，但比 urllib 更易用。

中文文档地址：Requests: 让 HTTP 服务人类 — Requests 2.18.1 文档

（1）requests.get(url, **kwargs)

requests.get() 函数是 requests 库中用于发送 HTTP GET 请求的主要函数。GET 请求通常用于从服务器请求数据，而不发送任何数据到服务器（尽管可以通过查询参数发送少量数据）。下面我将介绍 requests.get 函数的参数、用法，并给出一个简短的例子。

参数：

url (str): 请求的 URL。这是 requests.get 必须的参数，想要请求的网页或资源的地址。

params (dict, optional): 一个字典或字节序列，作为查询参数增加到 url 中。例如，params={'key1': 'value1', 'key2': 'value2'} 将会以 key1=value1&key2=value2 的形式附加到 URL 上。

headers (dict, optional): 自定义 HTTP 头。例如，可以通过 headers={'User-Agent': 'my-app/0.0.1'} 来设置用户代理。

cookies (dict, optional): 字典或 CookieJar，包含要发送的 cookie。

timeout (float or tuple, optional): 以秒为单位的请求超时时间。可以是单个浮点数（连接超时和读取超时相同），或者是一个元组，分别指定连接超时和读取超时。

allow_redirects (bool, optional): 是否允许重定向。默认为 True。

proxies (dict, optional): 字典映射协议或协议和主机名到 URL。

verify (bool or str, optional): 是否验证 SSL 证书。默认为 True。可以提供一个 CA_BUNDLE 文件