参考
requests官方文档
Python爬虫利器一之Requests库的用法
前言
在看这篇文章之前你要对HTTP有较深以及全面的了解，不了解的可以参见我的博客：
Http协议-你需要收藏了
一篇文章带你搞懂HTTP
此外，requests属于第三方库，在python标准库中有与该库相同功能的库：urllib.request，二者的区别在于requests相对urllib.request来说较为上层，urllib.request是用c来开发的。其实二者之间的关系就像c语言中的系统函数与库函数。
在一般的开发中，使用requests即可，简单好用，值得推荐
安装与导入
pip install requests
import requests
发送Http请求
r = requests.get('url')
r = requests.post('url', data = {'key':'value'}) # post方法会上传数据，因此data参数是必须的
r = requests.delete("url")
r = requests.head("url")
r = requests.options("url")
响应对象：Response
如果了解HTTP协议，你应该知道响应报文这个概念，这里的Response对象包含的就是响应报文的内容
r.text # HTML文本
r.encoding # 响应内容的编码，可以修改
r.status_code # 查看响应报文的状态码
r.url # 查看请求url
r.headers # 查看响应报文头
r.headers['Content-Type']
r.headers.get('content-type')
二进制响应内容
对于非文本请求，例如图片，视频等，你可以以字节的方式访问请求响应内容。
Requests 会自动为你解码
gzip和deflate传输编码的响应数据。
r.content # 以二进制的响应输出内容，适合图片，视频
JSON响应内容
有时我们请求的是一个JSON文件，这个时候我们需要使用解析文件
r.json() # 如果 JSON 解码失败， r.json() 就会抛出一个异常。
原始响应内容?
r = requests.get('https://github.com/timeline.json', stream=True)
r.raw # 获取来自服务器的原始套接字响应,请你确保在初始请求中设置了 stream=True
HTTP GET
1. 基本的Get请求
r = requests.get("url")
2. 向url中添加请求参数
-
以字典形式传入url查询参数
payload = {'key1': 'value1', 'key2': 'value2'} r = requests.get("http://httpbin.org/get", params=payload)则此时的URL就变成了：
http://httpbin.org/get?key2=value2&key1=value1注意字典里值为
None的键都不会被添加到 URL 的查询字符串里。如果此处看不懂的话，不妨到任意一个网站，在搜索栏中输入关键字，查看最终的url，你就会发现区别（前提是你得懂url的结构）
-
将列表作为值传入
payload = {'key1': 'value1', 'key2': ['value2', 'value3']} r = requests.get('http://httpbin.org/get', params=payload)此时完整的url就变成了：
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
3. 向GET请求中添加请求头部
headers = {'content-type': 'application/json'}
r = requests.get("http://httpbin.org/get", params=payload, headers=headers)
注意: 所有的 header 值必须是
string、bytestring 或者 unicode。
HTTP POST
基本POST请求：发送表单形式数据
注意，在POST请求中，我们是一定要有请求参数的，而Get中是不一定需要请求参数的。
payload = {'key1': 'value1', 'key2': 'value2'}
payload = (('key1', 'value1'), ('key1', 'value2'))
response = requests.post("http://httpbin.org/post", data=payload)
传送JSON形式数据
payload = {'some': 'data'}
r = requests.post(url, data=json.dumps(payload))
或 r = requests.post(url, json=payload) #2.4.2后支持
传送文件
files = {'file': open('filename', 'rb')}
r = requests.post(url, files=files)
状态码
r.status_code # 查看响应状态吗
r.status_code = requests.codes.ok #查看状态码是否ok
如果请求失败（返回的状态码不是202），则可以用r.raise_for_status()来抛出异常。
r.raise_for_status()
Traceback (most recent call last):
File "requests/models.py", line 832, in raise_for_status
raise http_error
requests.exceptions.HTTPError: 404 Client Error
# 当返回状态码为200时，该函数返回为None
Cookie
1. 发送Cookie
cookies = dict(cookies_are='working')
response = requests.get(url, cookies=cookies)
2.查看响应报文中的Cookie
response.cookies['cookie_name']
重定向和请求历史
默认情况下，除了 HEAD, Requests 会自动处理所有重定向。
可以使用响应对象的
history方法来追踪重定向。
response.history
# 禁用重定向处理
response = requests.get('http://github.com', allow_redirects=False)
# 对HEAD启用重定向
response = requests.head('http://github.com', allow_redirects=True)
超时
所有的生产代码都应该使用这一参数。如果不使用，你的程序可能会永远失去响应：
requests.get('http://github.com', timeout=0.001)
timeout并不是整个下载响应的时间限制，而是如果服务器在timeout秒内没有应答，将会引发一个异常.
错误和异常
- 遇到网络问题（如：DNS 查询失败、拒绝连接等）时，Requests 会抛出一个
ConnectionError异常。- HTTP 请求返回了不成功的状态码，
Response.raise_for_status()会抛出一个HTTPError异常。- 请求超时，则抛出一个
Timeout异常。- 请求超过了设定的最大重定向次数，则会抛出一个
TooManyRedirects异常。- Requests显式抛出的异常都继承自
requests.exceptions.RequestException。