python入门011~python3借助requests类库3行代码爬取网页数据

今天我们来做一个简单的python爬虫示例,让大家看看python爬取数据的方便之处。

先来看下我们实现的效果


python入门011~python3借助requests类库3行代码爬取网页数据_第1张图片

本节知识点

1,python导入三方类库的学习
2,requests类库的简单使用
3,爬取网页数据

一,先把实现代码贴出来给大家

# -*- coding:UTF-8 -*-
import requests
if __name__ == '__main__':
    target = 'http://gitbook.cn/'
    req = requests.get(url=target)
    print(req.text)

这就是本节的全部代码,是不是很简单,这就是python的魅力所在。用最少的代码做最多的事。

二,创建一个python类,把上面的代码复制进去。

如创建一个叫 pachong的类,如下图


python入门011~python3借助requests类库3行代码爬取网页数据_第2张图片

python入门011~python3借助requests类库3行代码爬取网页数据_第3张图片

创建好以后,把上面第一步的代码复制进去,这时候会报红。


python入门011~python3借助requests类库3行代码爬取网页数据_第4张图片

要解决这个报红,我们就要学会导入三方类库。

三,导入类库

其实导入三方类库也很简单,有下面两种方式。


python入门011~python3借助requests类库3行代码爬取网页数据_第5张图片

python入门011~python3借助requests类库3行代码爬取网页数据_第6张图片

如上面两种方式,我们便可以轻松的导入类库了。

四,运行代码

python入门011~python3借助requests类库3行代码爬取网页数据_第7张图片

运行完后,就可以爬取到网页数据了,如下图。


python入门011~python3借助requests类库3行代码爬取网页数据_第8张图片

到这里我们就轻松的实现了网页数据的爬取,我们后面要做的就是使用正则表达式,从上图的数据中,过滤出自己需要的数据。

图文教程

  • python入门001~python开发工具 pycharm的安装与破解(mac和window都有讲)
    https://www.jianshu.com/p/dc8299467718
  • python入门002~创建属于自己的第一个python项目
    https://www.jianshu.com/p/eda772bde32a
  • python入门003~python3的安装~以python3最新版为例(Mac window都有讲)
    https://www.jianshu.com/p/4bb23e40a7ac
  • python入门004~创建属于自己的第一个python3项目~python3基础知识的讲解
    https://www.jianshu.com/p/0fadc0369abd
  • python入门005~基本数据类型和变量的学习
    https://www.jianshu.com/p/44c2a7b34cbf
  • python入门010~python3操作数据库 借助pycharm快速连接并操作mysql数据库
    https://www.jianshu.com/p/a23f414cc2f2
  • python入门011~python3借助requests类库3行代码爬取网页数据
    https://www.jianshu.com/p/cf22a679e96f
  • python入门012~使用python3爬取网络图片并保存到本地
    https://www.jianshu.com/p/651effd4f3b8
  • python入门013~爬虫篇,网页爬虫,图片爬虫,文章爬虫,Python爬虫爬取新闻网站新闻
    https://www.jianshu.com/p/7e59f52ea0b6
  • python入门014~把爬取到的数据存到数据库,带数据库去重功能
    https://www.jianshu.com/p/5ba719a7d8cb
  • python入门015---python爬取前程无忧51job的职位信息并存入mysql数据库(带数据去重)
    https://www.jianshu.com/p/fe434693781f

视频教程

点击这个地址可以试看:https://www.bilibili.com/video/av55521385/
如果觉得视频教程不错,可以加老师微信购买 ,老师微信 2501902696

你可能感兴趣的:(python入门011~python3借助requests类库3行代码爬取网页数据)