python学习 三 02 再爬一个网站,获得所有分页


Python安装

python学习 一 python语法,及变量类型

python学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载

python学习 三 01 再爬一个网站,几行代码,搞定分类类别

再爬一个网站,获得所有分页信息

到目前为止,我们创建好了网站类别,并且获得了每个类别所链接的网址,其中最底层的类别所对应的网址,就是图片展示列表。

看一下网页,

python学习 三 02 再爬一个网站,获得所有分页_第1张图片

图片展示是分页形式的,看下源码

分页信息如上,

分页位于class=pagination的

    标签下,我们获得了首页,现在只需获得最后一页就行,最后一页保存在ul的末尾 last page ,我们获得lastpage的索引,中间的页面改变下索引就可以了。

下面我们要做的是获得所有分页信息

为此,我写了递归函数:

python学习 三 02 再爬一个网站,获得所有分页_第2张图片

针对这个网页的分页形式,重写了获得分页函数

python学习 三 02 再爬一个网站,获得所有分页_第3张图片

有了这两个函数之后,我们就可以将所有的分页都下载下来了。

下载下来后,下一步就是下载每个分页对应的图片了。

你可能感兴趣的:(python学习 三 02 再爬一个网站,获得所有分页)