Python 网络爬虫

使用 Python 进行网络爬虫：从入门到进阶

网络爬虫是数据采集与信息处理的重要技术，能帮助我们自动获取网页数据。本文将详细介绍如何用 Python 编写爬虫，涵盖环境准备、基本爬虫代码、数据解析、保存、以及常见的进阶问题和防护措施。

---

目录

1. 什么是网络爬虫
2. 爬虫的基本工作流程
3. 环境搭建与库安装
4. 使用 Requests 发送 HTTP 请求
5. 解析 HTML 页面：BeautifulSoup 入门
6. 实例演示：爬取 Quotes 网站
7. 数据存储：保存到 CSV 文件
8. 进阶技巧与常见问题
9. 扩展阅读与总结

---

什么是网络爬虫

网络爬虫（Web Crawler 或 Spider）是一种模拟浏览器的程序，其主要任务是：

• 自动发送 HTTP 请求访问网页；
• 下载网页资源（HTML、图片、文件等）；
• 解析并提取所需信息；
• 实现数据存储与后续处理。

网络爬虫在数据采集、搜索引擎、舆情监控等方面有着广泛的应用。

---

爬虫的基本工作流程

1. 发送请求：通过 HTTP 协议向目标网页发送请求。
2. 响应处理：获取返回的 HTML 页面。
3. 解析内容：借助解析库解析 HTML，提取想要的信息。
4. 数据存储：保存提取的数据至文件或数据库中。
5. 控制爬取：处理分页、设置请求头、延时请求、异常处理等，防止被封 IP。

---

环境搭建与库安装

本教程主要使用以下 Python 库：

• Requests：发送 HTTP 请求
• BeautifulSoup：解析 HTML
• （可选）lxml：加速解析
• Python 内置模块：csv（用于数据保存）

安装命令如下（建议使用虚拟环境）：

pip install requests beautifulsoup4 lxml

---

使用 Requests 发送 HTTP 请求

使用 Requests 库非常简单，以下代码展示如何发送 GET 请求并检查响应状态：

import requests

url = "http://quotes.toscrape.com/"
response = requests.get(url)

if response.status_code == 200:
    print("成功访问网页！")
    html_content = response.text
else:
    print("访问失败，状态码：", response.status_code)

在实际爬虫中，你可能还需要设置请求头（如 User-Agent）来模拟浏览器行为。

---

解析 HTML 页面：BeautifulSoup 入门

BeautifulSoup 能帮助我们提取 HTML 标签中的数据。常用步骤如下：

1. 将 HTML 字符串加载进 BeautifulSoup 对象
2. 使用 find、find_all 等方法定位标签
3. 提取标签内容和属性

示例代码：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')
# 找出所有带有 class="quote" 的 div 标签
quotes_divs = soup.find_all('div', class_='quote')
for quote_div in quotes_divs:
    # 提取文本内容
    text = quote_div.find('span', class_='text').get_text(strip=True)
    author = quote_div.find('small', class_='author').get_text(strip=True)
    print(text, "——", author)

---

实例演示：爬取 Quotes 网站

下面以 quotes.toscrape.com 为例，完整演示如何抓取网站中的名言、作者和标签信息，并将数据保存下来。

示例代码

import requests
from bs4 import BeautifulSoup
import csv

def scrape_quotes(url):
    response = requests.get(url)
    if response.status_code != 200:
        print("网页请求失败，状态码：", response.status_code)
        return []

    soup = BeautifulSoup(response.text, 'lxml')
    quotes_data = []
    
    quotes_divs = soup.find_all('div', class_='quote')
    for quote_div in quotes_divs:
        text = quote_div.find('span', class_='text').get_text(strip=True)
        author = quote_div.find('small', class_='author').get_text(strip=True)
        tags = [tag.get_text(strip=True) for tag in quote_div.find_all('a', class_='tag')]
        quotes_data.append({
            'text': text,
            'author': author,
            'tags': ', '.join(tags)
        })
    
    return quotes_data

def save_to_csv(quotes, filename="quotes.csv"):
    keys = quotes[0].keys() if quotes else []
    with open(filename, 'w', newline='', encoding='utf-8') as f:
        dict_writer = csv.DictWriter(f, keys)
        dict_writer.writeheader()
        dict_writer.writerows(quotes)

if __name__ == "__main__":
    base_url = "http://quotes.toscrape.com/page/{}/"
    all_quotes = []
    page = 1
    
    while True:
        print(f"正在爬取第 {page} 页...")
        url = base_url.format(page)
        quotes = scrape_quotes(url)
        if not quotes:
            print("无更多数据，爬取结束。")
            break
        all_quotes.extend(quotes)
        page += 1

    print(f"共爬取 {len(all_quotes)} 条数据，保存到 CSV 文件中。")
    save_to_csv(all_quotes)

代码讲解

• 循环爬取：通过修改 URL 中的页码，实现对多页数据的抓取
• 数据提取：利用 BeautifulSoup 从每个
  中提取文本、作者和标签
• 数据存储：调用 csv 库保存数据到 quotes.csv 文件中，方便后续分析或查看

---

数据存储：保存到 CSV 文件

将爬取的数据保存到 CSV 文件方便日后分析，示例中使用的 csv.DictWriter 模块可自动写入字典数据。你也可以根据需要将数据保存到数据库中或其他格式文件中。

---

进阶技巧与常见问题

1. 请求头与代理

• 设置请求头（如 User-Agent）可避免部分网站屏蔽爬虫：

  headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."}
  response = requests.get(url, headers=headers)
  

• 使用代理 IP 处理目标网站的频率限制。

2. 处理分页与重试机制

• 分析网页的分页结构，实现自动翻页采集。
• 遇到请求失败时，加入重试机制以提高爬虫健壮性。

3. 动态内容抓取

• 部分页面通过 JavaScript 加载数据，可使用 Selenium 或 Pyppeteer 实现动态页面渲染后再抓取数据。

4. 反爬机制

• 遵守 robots.txt 规则；
• 设置合理的请求间隔（如 time.sleep()）；
• 控制请求并发数，避免对目标网站造成过大压力。

---

小结

本文从基础原理、环境搭建、示例实战到进阶技巧，全面介绍了如何使用 Python 编写网络爬虫。希望本教程能帮助你快速入门并逐步提升自己的爬虫技术，在合法合规的范围内高效获取所需数据！

---

注意： 爬虫技术请在遵守目标网站的使用条款及法律法规前提下使用，尊重对方的隐私和版权。

---

欢迎大家留言讨论或提出问题，也欢迎分享你在爬虫项目中的经验与心得！