python爬虫豆瓣大作业-Python爬虫案例：抓取豆瓣编程类高评分书籍

对于很多正在学习计算机的朋友来说，选择合适的学习材料是非常重要的。

本文将通过 Python 来爬取豆瓣编程类评分大于 9.0 的书籍。

此案例很适合入门爬虫的朋友学习，总共也就 3 个函数。

下图是最终的结果：

下面进入正题：

一、采集源分析：

首先我们找到豆瓣的编程类书籍网址：

进入网址之后我们翻到最下面的分页导航：

通过分析分页地址我们可以得出：

这个地址则是我们要采集的内容。第一页 start = 0，第二页 start = 20 ... 以此类推。

找到了要采集的 URL 之后，接下来就是分析我们真正需要的数据在 HTML 文档中的位置。

F12 打开控制台发现，这些 li 标签正是我们的目标内容。

而书名、评论、评分分别对应li 下面的 h2 标签、class 为 rating_nums 的 span 标签， class 为 pl 的 span 标签。

见下图：

<