python使用代理爬虫_python爬虫requests使用代理ip

python爬虫requests使用代理ip

一、总结

一句话总结：

a、请求时，先将请求发给代理服务器，代理服务器请求目标服务器，然后目标服务器将数据传给代理服务器，代理服务器再将数据给爬虫。

b、代理服务器是经常变化的，使用代理服务器时传一个参数：proxy，是一个字典的形式。

importrequests

proxy={'http':'58.87.98.150:1080'}

response=requests.get("http://httpbin.org/ip",proxies=proxy)print(response.text)

二、python爬虫requests使用代理ip

转自或参考：python爬虫(十) requests使用代理ip - 方木Fengl - 博客园

https://www.cnblogs.com/zhaoxinhui/p/12383760.html

请求时，先将请求发给代理服务器，代理服务器请求目标服务器，然后目标服务器将数据传给代理服务器，代理服务器再将数据给爬虫。

代理服务器是经常变化的

使用代理服务器时传一个参数：proxy。是一个字典的形式。

通过网址：httpbin.org/ip可以看到当前请求得ip地址：

再快代理官网，点击开放代理可以找到一个代理：

在选第一个ip时，报错超时，说明这个ip已经不能用了，再选第二个

importrequests

proxy={'http':'58.87.98.150:1080'}

response=requests.get("http://httpbin.org/ip",proxies=proxy)print(response.text)

此时得结果就是代理ip