Python爬虫（一）

本教程基于Python3.6，Mac OS系统，Pycharm编辑器

使用urllib库可以获取网页,示例代码如下

 1 from urllib import request
 2 
 3 #要爬取的网页，这里以百度为例
 4 url = 'http://www.baidu.com/'
 5 
 6 #构建请求对象Request
 7 res = request.Request(url)
 8 
 9 #发起请求，得到请求结果，命名为response
10 response = request.urlopen(res)
11 
12 #读取结果，命名为html
13 html = response.read()
14 
15 #打印查看结果
16 print(html)

可以看到打印的结果为

/Library/Frameworks/Python.framework/Versions/3.6/bin/python3.6 /Users/pn/Desktop/Python/blog/demo.py
b'\n\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\t\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\t\r\n        \r\n\t\t\t        \r\n\t\r\n\t\t\t        \r\n\t\r\n\t\t\t        \r\n\t\r\n\t\t\t        \r\n\t\t\t    \r\n\r\n\t\r\n        \r\n\t\t\t        \r\n\t\r\n\t\t\t        \r\n\t\r\n\t\t\t        \r\n\t\r\n\t\t\t        \r\n\t\t\t    \r\n\r\n\r\n\r\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\r\n\n\n\n    \n    \n    \n\t\n    \n    \n     \n    \n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n\t\n    \n    \n    \r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\n    \r\n\r\n\r\n\r\n\n    \n\n\n\n\t\n    
\n        \r\n\n        \n        \r\n\r\n\r\n
\xe8\xbe\x93\xe5\x85\xa5\xe6\xb3\x95
\xe6\x89\x8b\xe5\x86\x99
\xe6\x8b\xbc\xe9\x9f\xb3
\xe5\x85\xb3\xe9\x97\xad
\xe7\x99\xbe\xe5\xba\xa6\xe9\xa6\x96\xe9\xa1\xb5\xe8\xae\xbe\xe7\xbd\xae\xe7\x99\xbb\xe5\xbd\x95
\xe6\x96\xb0\xe9\x97\xbbhao123\xe5\x9c\xb0\xe5\x9b\xbe\xe8\xa7\x86\xe9\xa2\x91\xe8\xb4\xb4\xe5\x90\xa7\xe5\xad\xa6\xe6\x9c\xaf\xe7\x99\xbb\xe5\xbd\x95\xe8\xae\xbe\xe7\xbd\xae\xe6\x9b\xb4\xe5\xa4\x9a\xe4\xba\xa7\xe5\x93\x81
\n\r\n\r\n\r\n
\r\n    \xe7\xbd\x91\xe9\xa1\xb5\xe6\x96\xb0\xe9\x97\xbb\xe8\xb4\xb4\xe5\x90\xa7\xe7\x9f\xa5\xe9\x81\x93\xe9\x9f\xb3\xe4\xb9\x90\xe5\x9b\xbe\xe7\x89\x87\xe8\xa7\x86\xe9\xa2\x91\xe5\x9c\xb0\xe5\x9b\xbe\xe6\x96\x87\xe5\xba\x93\xe6\x9b\xb4\xe5\xa4\x9a\xc2\xbb\r\n
\r\n\n        \r\n\r\n
\r\n\t
\r\n\t\t
\r\n\t\t\t
\r\n\t\t\t
\r\n\t\t\t\t\t
\xe6\x89\x8b\xe6\x9c\xba\xe7\x99\xbe\xe5\xba\xa6
\r\n\t\t\t
\r\n\t\t
\r\n\t
\r\n
\r\n
\r\n\r\n
\xe6\x8a\x8a\xe7\x99\xbe\xe5\xba\xa6\xe8\xae\xbe\xe4\xb8\xba\xe4\xb8\xbb\xe9\xa1\xb5\xe5\x85\xb3\xe4\xba\x8e\xe7\x99\xbe\xe5\xba\xa6About  Baidu\xe7\x99\xbe\xe5\xba\xa6\xe6\x8e\xa8\xe5\xb9\xbf
©2017 Baidu \xe4\xbd\xbf\xe7\x94\xa8\xe7\x99\xbe\xe5\xba\xa6\xe5\x89\x8d\xe5\xbf\x85\xe8\xaf\xbb \xe6\x84\x8f\xe8\xa7\x81\xe5\x8f\x8d\xe9\xa6\x88 \xe4\xba\xacICP\xe8\xaf\x81030173\xe5\x8f\xb7  \xe4\xba\xac\xe5\x85\xac\xe7\xbd\x91\xe5\xae\x89\xe5\xa4\x8711000002000001\xe5\x8f\xb7 
\n        
\n        
\n    
\n    
\n    \n    \n    \n    \r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\r\n\n\n\n\n\r\n\r\n\r\n\n\r\n'

Process finished with exit code 0

 

但是我们会发现一个问题，真实的百度网址是https开头的，而不是http

如果我们把刚才的那段代码中的url换成

url = 'https://www.baidu.com/'

会发现报错，错误的提示是

urllib.error.URLError: 

 

这是因为https增加的ssl套接字层阻碍了我们的访问请求，在python爬虫中有两个解决方法

1.使用ssl创建未经验证的上下文，在urlopen中传入上下文参数

import ssl
from urllib import request
 
context = ssl._create_unverified_context()
print request.urlopen("https://www.baidu.com/", context=context).read()

 

2.导入ssl时关闭证书验证

import ssl
 
ssl._create_default_https_context = ssl._create_unverified_context

 

二、当遇到请求错误时

网络请求不一定每次都能成功，很多时候请求会返回一些错误码给我们定位问题，为了安全起见，我们请求网页的代码应该考虑到请求错误的情况，示例代码如下：

from urllib import request
from urllib import error

#要爬取的网页，这里以百度为例
url = 'https://www.baidu.com/'
try:
    # 构建请求对象Request
    res = request.Request(url)
    # 发起请求，得到请求结果，命名为response
    response = request.urlopen(res)
    # 读取结果，命名为html
    html = response.read()
except error.HTTPError as e:
    # 打印HTTP错误结果
    print('Download error:', e.reason)
    html = None
except error.URLError as e:
    #打印URL错误结果
    print('Download error:', e.reason)
    html = None

#打印查看请求结果
print(html)

 

这里我们导入了urllib.error模块，它会把错误的结果返回，我们可以打印查看

转载于:https://www.cnblogs.com/PN-13077313888/p/7267181.html