爬虫入门教程：从基础到实践

一、引言

网络爬虫在数据获取、信息处理等领域发挥着重要作用。它能够自动从网页中提取有价值的数据，为数据分析、机器学习等提供支持。本文将带领大家逐步走进爬虫的世界，掌握爬虫的基本概念、原理和常用工具，通过实际案例让你快速上手爬虫开发。

二、爬虫基础概念

（一）什么是爬虫

网络爬虫，也叫网络蜘蛛（Web Spider）或网络机器人（Web Robot），它是一种按照一定规则，自动抓取万维网信息的程序或脚本。简单来说，爬虫就像一个不知疲倦的浏览者，在互联网的网页海洋中穿梭，获取我们指定的信息。

（二）爬虫的工作原理

1. 发起请求：爬虫通过 HTTP 协议向目标网页服务器发送请求，请求的方式通常有 GET 和 POST 等。例如，当我们在浏览器地址栏输入一个网址并回车时，浏览器就向对应的服务器发送了一个 GET 请求。
2. 获取响应：服务器接收到请求后，会根据请求的内容进行处理，并返回一个包含网页内容的响应。这个响应通常是 HTML、XML 或 JSON 格式的数据。
3. 解析数据：爬虫获取到响应数据后，需要从中提取出我们需要的信息。这就涉及到数据解析，常见的解析方式有正则表达式、BeautifulSoup 库（针对 HTML 和 XML）、JSON 解析等。
4. 存储数据：将解析后的数据存储到本地文件（如 CSV、JSON 文件等）或数据库（如 MySQL、MongoDB）中，以便后续使用。

（三）爬虫的合法性与道德性

在进行爬虫开发时，必须要注意合法性和道德性。首先，要遵守网站的 robots 协议，该协议规定了爬虫哪些页面可以爬取，哪些不可以。其次，不要过度爬取，以免对目标网站的服务器造成过大压力，影响正常用户的访问。如果用于商业目的，更要确保获得合法授权。

三、爬虫开发环境搭建

（一）安装 Python

Python 是爬虫开发中最常用的编程语言之一，它简洁易用且拥有丰富的库。可以从 Python 官网（Welcome to Python.org）下载最新版本的 Python 安装包，按照安装向导进行安装。安装过程中记得勾选 “Add Python to PATH”，这样可以在命令行中直接使用 Python 命令。

（二）安装相关库

1. requests 库：用于发送 HTTP 请求，获取网页内容。在命令行中输入pip install requests进行安装。
2. BeautifulSoup 库：用于解析 HTML 和 XML 格式的数据。安装命令为pip install beautifulsoup4。
3. lxml 库：也是一个高效的解析库，与 BeautifulSoup 配合使用能提高解析效率。安装命令pip install lxml

四、使用 requests 库发送请求

（一）简单 GET 请求

import requests

url = 'https://www.example.com'  # 替换为目标网址
response = requests.get(url)
if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码: {response.status_code}")

上述代码中，我们使用requests.get()方法向目标网址发送 GET 请求，并通过response.status_code判断请求是否成功。如果状态码为 200，表示请求成功，response.text则包含了网页的 HTML 内容。

（二）带参数的 GET 请求

有些网页需要传递参数来获取特定的数据。例如，搜索引擎的搜索结果页面，我们需要传递搜索关键词作为参数。

import requests

url = 'https://www.example.com/search'
params = {
    'q': '爬虫入门',
    'page': 1
}
response = requests.get(url, params=params)
if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码: {response.status_code}")

这里通过params参数传递了搜索关键词q和页码page。

（三）POST 请求

当我们需要向服务器提交数据（如登录表单、评论等）时，通常使用 POST 请求。

import requests

url = 'https://www.example.com/login'
data = {
    'username': 'your_username',
    'password': 'your_password'
}
response = requests.post(url, data=data)
if response.status_code == 200:
    print(response.text)
else:
    print(f"请求失败，状态码: {response.status_code}")

在这个例子中，data参数包含了登录所需的用户名和密码。

五、使用 BeautifulSoup 解析数据

（一）解析 HTML 基础

from bs4 import BeautifulSoup
import requests

url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'lxml')
    # 查找所有的a标签
    links = soup.find_all('a')
    for link in links:
        print(link.get('href'))
else:
    print(f"请求失败，状态码: {response.status_code}")

上述代码使用BeautifulSoup将获取到的 HTML 内容进行解析，通过find_all()方法查找所有的标签，并提取出它们的href属性值，即链接地址。

（二）根据类名、ID 等属性查找元素

from bs4 import BeautifulSoup
import requests

url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'lxml')
    # 根据类名查找元素
    elements = soup.find_all(class_='example-class')
    for element in elements:
        print(element.text)
    # 根据ID查找元素
    element = soup.find(id='example-id')
    if element:
        print(element.text)
else:
    print(f"请求失败，状态码: {response.status_code}")

这里通过class_参数按类名查找元素，通过id参数按 ID 查找元素，并获取它们的文本内容。

六、爬虫实战案例：爬取豆瓣电影 Top250 信息

（一）分析网页结构

打开豆瓣电影 Top250 页面（豆瓣电影 Top 250），通过浏览器的开发者工具（通常按 F12 键打开）分析网页结构。我们发现电影信息包含在

标签内，每个电影的标题、评分、简介等信息都有对应的 HTML 标签。

（二）编写爬虫代码

import requests
from bs4 import BeautifulSoup
import csv

def get_movie_info(url):
    headers = {
        'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'lxml')
        movie_list = soup.find_all('div', class_='item')
        for movie in movie_list:
            rank = movie.find('em').text
            title = movie.find('span', class_='title').text
            rating = movie.find('span', class_='rating_num').text
            quote = movie.find('span', class_='inq')
            quote = quote.text if quote else '无'
            yield rank, title, rating, quote
    else:
        print(f"请求失败，状态码: {response.status_code}")

def save_to_csv(data, filename='douban_movies.csv'):
    with open(filename, 'w', encoding='utf - 8', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(['排名', '电影名', '评分', '简介'])
        for row in data:
            writer.writerow(row)

if __name__ == '__main__':
    base_url = 'https://movie.douban.com/top250?start={}&filter='
    all_movie_info = []
    for start in range(0, 250, 25):
        url = base_url.format(start)
        movie_info = get_movie_info(url)
        all_movie_info.extend(movie_info)
    save_to_csv(all_movie_info)

代码解释：

1. get_movie_info函数负责发送请求、解析网页并提取电影信息，使用yield生成器返回数据，以便节省内存。
2. save_to_csv函数将获取到的电影信息保存到 CSV 文件中。
3. 在__main__部分，通过循环构造不同页码的 URL，调用get_movie_info获取所有电影信息，并最终保存到 CSV 文件。

七、爬虫进阶

（一）处理反爬虫机制

许多网站为了防止恶意爬虫，会设置各种反爬虫机制，如验证码、IP 限制、User - Agent 检测等。应对方法如下：

1. 验证码处理：可以使用第三方验证码识别服务（如打码平台），或者通过机器学习算法自己训练验证码识别模型。
2. IP 限制：使用代理 IP 池，不断更换 IP 地址进行请求，避免单个 IP 因频繁请求被封禁。
3. User - Agent 检测：随机设置不同的 User - Agent 头信息，模拟真实浏览器请求。

（二）分布式爬虫

当需要爬取大量数据时，单台机器的爬虫效率可能会受到限制。分布式爬虫通过多台机器同时工作，提高爬取速度。可以使用框架如 Scrapy - Redis 来实现分布式爬虫，它利用 Redis 数据库作为分布式调度器和数据存储。

（三）动态网页爬虫

现代网页很多采用 JavaScript 动态加载数据，传统的爬虫方式无法直接获取这些动态数据。可以使用 Selenium 库结合浏览器驱动（如 ChromeDriver）来模拟浏览器行为，等待页面加载完成后再获取数据。例如：

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
url = 'https://www.example.com/dynamic'
driver.get(url)
# 等待页面加载完成，可根据实际情况调整等待时间
import time
time.sleep(5)
html = driver.page_source
soup = BeautifulSoup(html, 'lxml')
# 解析数据
driver.quit()

八、总结

本文介绍了爬虫的基本概念、原理、开发环境搭建，以及使用 Python 的 requests 和 BeautifulSoup 库进行简单爬虫开发的方法，并通过实战案例让大家掌握了从网页获取数据的过程。同时，还提及了爬虫进阶的一些方向，如处理反爬虫机制、分布式爬虫和动态网页爬虫等。希望通过这篇教程，你能对爬虫有一个全面的认识，并能够在实际工作和学习中灵活运用爬虫技术获取所需的数据。但请始终牢记爬虫的合法性和道德性，做一个负责任的开发者。