urllib,urllib2,requests对比

  1 #coding:utf-8

  2 import urllib2

  3 import urllib

  4 import httplib

  5 import socket

  6 import requests

  7 

  8 #实现以下几个方面内容：

  9 ##get请求，post请求

 10 ##请求参数自定义(querystring 针对get,form针对post,cookie,header)

 11 ##返回内容格式

 12 ##实现代理

 13 def testforurllib():

 14     r=urllib.urlopen('http://www.baidu.com')

 15     #返回的内容

 16     r.readline()

 17     r.read()

 18     r.info()

 19     r.getcode()

 20     r.geturl()

 21     #get 加参数

 22     params=urllib.urlencode({'name':'yy','age':22})#结果:name=yy$age=22

 23     r1=urllib.urlopen('http://www.baidu.com?%s'%params)

 24     #post 加参数

 25     r2=urllib.urlopen('http://www.baidu.com',params)

 26     print(r2.getcode())

 27     #代理

 28     proxies = {'http': 'http://127.0.0.1:7070/'}

 29     opener=urllib.FancyURLopener(proxies)

 30     opener.open('http://www.baidu.com')

 31     print(opener.getcode())

 32     #cookie实现比较没找到好的方法

 33     pass

 34 def testforurllib2():

 35     #代理

 36     proxy=urllib2.ProxyHandler({'http':'http://127.0.0.1:7070'})

 37     opener=urllib2.build_opener(proxy)

 38     #局部

 39     opener.open('http://baidu.com')

 40     ##全局

 41     urllib2.install_opener(opener)

 42     urllib2.urlopen('bakdu.com')

 43     

 44     #get

 45     urllib2.urlopen('http://cnblogs.com?%s'%urllib.urlencode({'page':2}))

 46     #post

 47     urllib2.urlopen('http://cnblogs.com',urllib.urlencode({'page':2}))

 48     

 49     #cookie

 50     import cookielib

 51     cj=cookielib.CookieJar()

 52     opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

 53     r=opener.open('http://weibo.com')

 54     print(r.info())

 55     #定制http头

 56     r=urllib2.Request('http://cnblogs.com')

 57     r.add_header('user-agent','xxx')

 58     response=urllib2.urlopen(r)

 59     pass

 60 def testforhttplib():

 61     #urllib是对httplib的封装，如果没有更精细的控制，使用urllib即可

 62     #http://www.cnblogs.com/qq78292959/archive/2013/04/01/2993133.html

 63     url='http://cnblogs.com'

 64     params={'page':1}

 65     

 66 def testforrequests():

 67     #这个api设置更爽

 68     url='http://www.baidu.com'

 69     params={'page':1}

 70     r=requests.get(url)

 71     r1=requests.post('http://httpbin.org/post')

 72     #同理有put,delete,head,options

 73     #添加参数

 74     r3=requests.get(url,params=params)

 75 

 76     #获取响应

 77     r4=requests.get('https://github.com/timeline.json')

 78     print(r4.text+r4.encoding+str(r4.raw))

 79 

 80     #添加post的data数据

 81     import json

 82     r5=requests.post('http://baidu.com',data={'page':1})

 83     print(r5.status_code)

 84 

 85     #添加http头

 86     headers={'a':'a'}

 87     r6=requests.post('http://baidu.com',headers=headers)

 88     print(r6.headers)

 89 

 90     #添加cookie

 91     c=dict(a='a')

 92     r7=requests.get('http://baidu.com',cookies=c)

 93     print(len(r7.cookies))

 94 

 95     #响应内容

 96     r7.text

 97     r7.content

 98     r7.json()

 99     r7.raw

100 

101     r7.status_code

102     r7.headers

103     r7.cookie['key']

104     r7.history

105     pass

106 

107 

108 def main():

109     testforrequests()

110     pass

111 

112 

113 main()

View Code

综上所述还是requests的api更好理解，使用起来也更简洁。