Python爬虫实现爬取下载网站数据的几种方法

使用脚本进行下载的需求很常见，可以是常规文件、web页面、Amazon S3和其他资源。Python 提供了很多模块从 web 下载文件。下面介绍

一、使用 requests

requests 模块是模仿网页请求的形式从一个URL下载文件

示例代码：

1 2 3 4 5 6 7

import requests url = 'xxxxxxxx'  # 目标下载链接 r = requests.get(url)  # 发送请求 # 保存 with open ('r.txt', 'rb') as f:     f.write(r.content)     f.close

二、使用 wget

1

安装 wget 库

1	pip install wget

示例代码

1 2 3 4

import wget url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png'  # 目标路由，下载的资源是图片 path = 'D:/x.png'  # 保存的路径 wget.download(url, path)  # 下载