如何使用爬虫简单的爬取一个网页的静态前端代码

什么是爬虫？

Python 爬虫是一种使用 Python 语言编写的程序，用于自动访问网页并提取所需信息。它通常用于网络数据抓取、数据挖掘和信息收集。Python 爬虫可以模拟浏览器行为，向服务器发送请求并接收响应数据，然后解析这些数据以获取有用的信息。

爬虫的基本原理（流程）

1. 发送请求：爬虫向目标网站的服务器发送 HTTP 请求（通常是 GET 请求）。

2. 获取响应：服务器返回网页的 HTML 内容。

3. 解析内容：爬虫解析 HTML，提取出需要的数据（如文本、图片链接、标题等）。

4. 存储数据：将提取的数据保存到本地文件、数据库或其他存储系统中。

5. 继续爬取：根据网页中的链接，继续访问其他页面，重复上述过程。

如何去爬取网页内容？

我们需要使用两个库，一个是requests库另外一个是BeautifulSoup库。

对于requests库：是一个python库用于发送各种 HTTP 请求的一个常用库

对于BeautifulSoup库：BeautifulSoup 是一个 Python 库，用于解析 HTML 和 XML 文档，方便开发者提取标签。

库的下载：

pip install requests beautifulsoup4

在下载完库以后，我们可以开始使用代码对网站进行静态页面的爬取了（注意：爬取必须是合法的方式，爬取到的数据不能够滥用）

爬取百度网站静态页面的示例展示：

​
import requests
from bs4 import BeautifulSoup

# 目标网页 URL
url = "https://www.baidu.com"

# 设置请求头，模拟浏览器访问
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}

# 发送 GET 请求
response = requests.get(url, headers=headers)

# 检查请求是否成功
if response.status_code == 200:
    # 使用 BeautifulSoup 解析 HTML 内容
    soup = BeautifulSoup(response.text, "html.parser")

    # 获取网页标题
    title = soup.title.string
    print("网页标题：", title)

    # 获取网页正文文本（可根据需要修改选择器）
    text = soup.get_text()
    print("网页内容预览：")
    print(text[:500])  # 打印前500个字符
else:
    print("请求失败，状态码：", response.status_code)

​

对于代码的解析：

• requests.get() 用于发送 HTTP 请求；

• BeautifulSoup 用于解析 HTML；

• soup.title.string 获取网页标题；

• soup.get_text() 获取网页所有文本内容

• headers是对于你去抓取网页的请求编程一个模拟浏览器的请求，这个的作用是让服务器认为请求来自一个真实的用户，而不是程序或机器人，不要多次爬取否则会被网站屏蔽。