urllib和urllib2的User-agent区别

设置爬虫的User-agent
urllib默认是Python-urllib/2.7，而且不能修改

>>> import urllib
>>> url = "http://127.0.0.1"
>>> request = urllib2.Request(url)
>>> print request.get_header('User-agent')
Python-urllib/2.7
>>> request.add_head
>>> request.add_headers = ('User-agent','Mozilla/5.0')
>>> print request.get_header('User-agent')
Python-urllib/2.7

urllib默认是空值，可以修改

>>> import urllib2
>>> url = "http://127.0.0.1"
>>> request = urllib2.Request(url)
>>> print request.get_header('User-agent')
None
>>> request.add_header('User-agent','Mozilla/5.0')
>>> print request.get_header('User-agent')
Mozilla/5.0

参考：http://www.cnblogs.com/semmin/archive/2012/05/29/2523983.html