小众且好用的 Python 爬虫库 RoboBrowser

RoboBrowser，Your friendly neighborhood web scraper！由纯 Python 编写，运行无需独立的浏览器，它不仅可以做爬虫，还可以实现 Web 端的自动化

项目地址：

https://github.com/jmcarp/robobrowser

2. 安装及用法

在实战之前，我们先安装依赖库及解析器

PS：官方推荐的解析器是 「lxml」

# 安装依赖
pip3 install robobrowser

# lxml解析器（官方推荐）
pip3 install lxml

RoboBrowser 常见的 2 个功能为：

• 模拟表单 Form 提交

• 网页数据爬取

使用 RoboBrowser 进行网页数据爬取，常见的 3 个方法如下：

• find

  查询当前页面满足条件的第一个元素

• find_all

  查询当前页面拥有共同属性的一个列表元素

• select

  通过 CSS 选择器，查询页面，返回一个元素列表

需要指出的是，RoboBrowser 依赖于 BS4，所以它的使用方法和 BS4 类似

更多功能可以参考：

https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

3. 实战一下

我们以「 百度搜索及爬取搜索结果列表 」为例

3-1  打开目标网站

首先，我们实例化一个 RoboBr