Python爬虫基础全攻略：从入门到实战的详细指南

一、为什么需要爬虫？

在数据驱动的时代，爬虫是高效获取网络公开数据的核心工具。它能自动抓取网页中的文本、图片、视频、表格等信息，广泛应用于：

- 数据分析：爬取电商平台商品价格、用户评价，用于市场调研。

- 学术研究：抓取论文数据库文献摘要，辅助研究分析。

- 内容聚合：整合多个网站的新闻、资讯，生成个性化信息平台。

- 自动化监控：实时监控目标网站内容更新（如价格变动、库存状态）。

 

二、环境搭建：必备工具与库

 

1. 安装Python

 

- 官网下载：访问 Python官网，根据系统选择对应安装包（Windows/macOS/Linux），建议安装 Python 3.8+ 版本。

- 配置环境变量：安装时勾选“Add Python to PATH”，避免手动配置路径；安装后在命令行输入  python --version  验证是否成功。

 

2. 安装核心库

 

（1）网络请求库： requests 

 

- 功能：发送HTTP/HTTPS请求，获取网页原始数据。

- 优势：简洁易用，支持会话保持、Cookie处理、代理设置等。

- 安装：

pip install requests  

 

- 进阶技巧：

- 使用  session = requests.Session()  保持会话，避免重复设置请求头。

- 处理代理：

proxies = {  

    "http": "http://127.0.0.1:8080",  

    "https": "https://127.0.0.1:8080"  

}  

response = requests.get(url, proxies=proxies)  

 

 

（2）解析库： BeautifulSoup  +  lxml 

 

- BeautifulSoup：将复杂的HTML/XML文档解析为树形结构，方便通过标签、类名、ID提取数据。

pip install beautifulsoup4  

 

- lxml：高性能解析器，解析速度比Python内置的 html.parser 快3-5倍，需单独安装：

pip install lxml  

 

- 解析器对比：

解析器 优势 安装方式 

 html.parser  内置无需安装 速度较慢，功能基础 

 lxml  速度快，支持XPath  pip install lxml  

 html5lib  严格遵循HTML5标准  pip install html5lib  

 

（3）正则表达式库： re 

 

- 功能：通过自定义模式匹配复杂文本（如提取乱序数据、清洗无效内容）。

- 基础语法：

-  \d ：匹配数字， \w ：匹配字母/数字/下划线， \s ：匹配空白符。

-  .* ：匹配任意字符（除换行符）， ^ ：匹配字符串开头， $ ：匹配结尾。

- 示例：提取邮箱  [\w\.-]+@[\w\.-]+\.\w+ 。

 

三、爬虫核心流程：从请求到数据提取

 

1. 发送请求：模拟浏览器行为

 

（1）基础代码框架

 

import requests  

 

url = "https://example.com" # 目标网址  

headers = {  

    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",  

    "Referer": "https://example.com", # 来源页，部分网站需验证  

    "Accept-Language": "zh-CN,zh;q=0.9"  

}  

response = requests.get(url, headers=headers, timeout=10) # 超时时间10秒  

 

# 处理响应  

if response.status_code == 200:  

    html = response.text # 获取文本内容  

    # 或 response.content # 获取二进制内容（用于图片/视频）  

else:  

    print(f"请求失败：状态码 {response.status_code}")  

 

 

（2）关键参数解析

 

- User-Agent：必须设置，否则可能被识别为机器人（可通过浏览器F12获取真实UA）。

- 状态码：

-  200 ：成功； 403 ：禁止访问（需添加Cookie或IP被封）； 404 ：页面不存在； 500 ：服务器内部错误。

 

2. 解析网页：结构化提取数据

 

（1）BeautifulSoup 常用方法

 

from bs4 import BeautifulSoup  

 

soup = BeautifulSoup(html, 'lxml') # 用lxml解析器  

 

# 示例1：通过标签名提取  

title = soup.title.string # 获取