python+requests+BeautifulSoup使用教程及爬虫实战

目录

一、requests

二、BeautifulSoup

三、爬虫实战-新浪财经新闻

1、导包

2、BeautifulSoup解析

3、提取新闻标题

4、提取新闻发布时间

5、提取正文内容

四、爬虫实战-小说爬取及可视化

1、爬取小说信息

2、可视化

五、总结

---

一、requests

在终端运行以下命令即可安装requests：

pip install requests

使用requests：

# 导入Requests模块
import requests as rq

#使用get方法，请求指定的页面信息，并返回实体主体
response = rq.get('http://httpbin.org/get')

#使用post方法，请求服务器接受所指定的文档作为对所标识的URI的新的从属实体
response = rq.post('http://httpbin.org/post')

#使用put方法，从客户端向服务器传送的数据取代指定的文档的内容
response = rq.put('http://httpbin.org/put')

#使用delete方法，请求服务器删除指定的页面
response = rq.delete('http://httpbin.org/delete')

#使用head方法，只请求页面的首部
response = rq.head('http://httpbin.org/get')

#使用options方法，可用于检测服务器允许的http方法
response = rq.options('http://httpbin.org/get')

httpbin是一个使用Python + Flask编写的HTTP Request & Response Service，该服务主要用于测试HTTP库，你可以向他发送请求，然后他会按照指定的规则将你的请求返回（查看你所发送请求中的信息）。

响应：

Response "200" 是一个HTTP状态码，表示请求已成功处理。

response.text 是获取HTTP请求的响应内容，即服务器返回的数据。

response.json() 是将HTTP请求的响应内容解析为JSON格式的方法。如果 JSON 解码失败， ​就会抛出一个异常。

response.encoding 是HTTP请求响应的字符编码方式。

response.content 是以字节的方式访问请求响应体。

二、BeautifulSoup

BeautifulSoup是一个Python库，用于从HTML和XML文件中提取数据。它的主要作用是解析网页内容，将网页转换为一个结构化的数据对象，以便于进一步处理和分析。BeautifulSoup提供了简洁而直观的API，能够自动纠正不规范的HTML代码，并处理嵌套标签、缺失标签等问题，还支持多种解析器，可以根据需要选择不同的解析器来提高解析速度和效果，被广泛应用于爬虫中。

简而言之，我们可以使用requests获取网页内容后，交给BeautifulSoup来解析。

Beautiful Soup支持多种解析器，其中常用的有三种：html.parser、lxml和html5lib。它们各自有一些特点和用途。以下是它们之间的主要区别：

html.parser:
速度： 是Python标准库中的内置解析器，因此速度相对较快。
依赖： 不需要额外安装依赖。
兼容性： 在处理一些复杂或损坏的HTML时，可能不如其他解析器稳定。

soup = BeautifulSoup(html, 'html.parser')

lxml:
速度： 通常比内置解析器快，是C语言编写的。
依赖： 需要额外安装lxml库。
功能： 支持XPath表达式，处理HTML和XML的能力强。

soup = BeautifulSoup(html, 'lxml')

html5lib:
严格性： 以浏览器的方式解析文档，生成严格的HTML5。
兼容性： 处理损坏的HTML时表现良好，但相对较慢。
依赖： 需要额外安装html5lib库。

soup = BeautifulSoup(html, 'html5lib')

总结：在选择解析器时，如果你的HTML文档是标准的，并且性能是关键，可以选择使用内置的html.parser。如果你处理的HTML文档较大或较复杂，且性能很重要，可以考虑使用lxml。如果你处理的是HTML5文档，或者需要处理损坏的HTML，可以选择使用html5lib，但要注意它可能会比较慢。

三、爬虫实战-新浪财经新闻

1、导包

导入需要的python库，newsUrl为本次爬取的新闻地址。

import requests as rq
from bs4 import BeautifulSoup

newsUrl = 'http://finance.sina.com.cn/wm/2023-11-11/doc-imzuhcek4892020.shtml'

新闻网页如下所示：

2、BeautifulSoup解析

爬取新闻，并交由BeautifulSoup库解析HTML文本，'lxml'是指定的解析器，用于解析HTML文档。

newsWeb = rq.get(newsUrl)
newsWeb.encoding = 'utf-8'
soup = BeautifulSoup(newsWeb.text,'lxml')

with open('soup.txt', 'w',encoding='utf-8') as f:
    f.write(str(soup))

通过导出soup的文本内容，可以看到，该新闻网页已经被解析好了。

3、提取新闻标题

通过观察可以发现新闻标题《美国评级，再亮“红灯”》可以通过soup.title获取（用正则表达式清除多余的字符）、也可以通过soup.find()方法获取、还可以通过soup.select方法获取。

re.search(r'