‌【Python爬虫全攻略】手把手教你从入门到实战：Requests+BeautifulSoup+Scrapy

目录

一、背景介绍‌

二、环境准备‌

‌核心工具与库‌

三、核心实现步骤‌

‌1. 基础爬虫：静态网页数据抓取‌

‌2. 动态网页抓取：Selenium模拟浏览器‌

‌3. 高级框架：Scrapy分布式爬虫‌

四、实战案例：抓取天气数据并可视化‌

‌目标‌：

五、注意事项与法律合规‌

六、总结‌

---

一、背景介绍‌

网络爬虫（Web Crawler）是一种自动化获取互联网数据的核心技术，广泛应用于搜索引擎、数据分析、舆情监控等领域。

‌学习爬虫的价值‌：

• ‌数据驱动决策‌：抓取电商价格、社交媒体评论等数据，支持商业分析。
• ‌自动化工具‌：批量下载资源（如文档、图片）、监控网站更新。
• ‌技术融合‌：为机器学习、自然语言处理提供数据源。

‌注意‌：爬虫需遵守法律法规与网站协议（如robots.txt），禁止抓取敏感信息或侵犯隐私。

---

二、环境准备‌

‌核心工具与库‌

• ‌Python 3.8+‌
• ‌Requests‌：发送HTTP请求，获取网页内容。
• ‌BeautifulSoup‌：解析HTML/XML文档，提取数据。
• ‌Scrapy‌（可选）：高级爬虫框架，适合大规模项目。

# 安装依赖库
pip install requests beautifulsoup4 scrapy

三、核心实现步骤‌

‌1. 基础爬虫：静态网页数据抓取‌

使用Requests获取网页，BeautifulSoup解析内容，抓取豆瓣电影Top250信息。

import requests
from bs4 import BeautifulSoup
import csv

# 定义请求头（模拟浏览器访问）
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

def get_douban_top250():
    url = "https://movie.douban.com/top250"
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, "html.parser")
        movies = []
        for item in soup.find_all("div", class_="item"):
            title = item.find("span", class_="title").text
            rating = item.find("span", class_="rating_num").text
            link = item.find("a")["href"]
            movies.append({"title": title, "rating": rating, "link": link})
        return movies
    else:
        print("请求失败，状态码：", response.status_code)
        return []

# 保存数据到CSV
def save_to_csv(data, filename="douban_top250.csv"):
    with open(filename, "w", newline="", encoding="utf-8-sig") as file:
        writer = csv.DictWriter(file, fieldnames=["title", "rating", "link"])
        writer.writeheader()
        writer.writerows(data)

if __name__ == "__main_