关于Python：8. Python项目开发与代码规范
一、项目结构划分（模块、包）
基本概念：
-
模块（module）：一个
.py文件就是一个模块。 -
包（package）：包含
__init__.py的文件夹是包，可以组织多个模块。
1. 为什么要划分结构？
真实开发中，项目会包含：
-
多个功能（比如爬虫、解析、存储）
-
工具函数
-
配置文件
-
测试代码
-
接口服务（比如 Flask）
所以必须用「模块」+「包」结构来拆分，不然所有代码都堆在一个 py 文件里，后期维护会崩溃。
2. 推荐项目结构示例（中小型项目）
「一个爬虫 + 接口服务」项目举例说明：
my_spider_project/
├── main.py # 程序入口
├── config/
│ └── settings.py # 配置项
├── core/
│ ├── crawler.py # 爬虫逻辑
│ ├── parser.py # 解析逻辑
│ └── saver.py # 存储逻辑
├── api/
│ └── server.py # Flask API 服务
├── utils/
│ ├── tools.py # 工具函数
│ └── logger.py # 日志封装
├── tests/
│ ├── test_crawler.py
│ └── test_parser.py
├── requirements.txt
└── README.md
3. 模块与包如何使用？
1）requirements.txt
flask
requests
2）main.py（项目入口）
from api.server import app
if __name__ == "__main__":
app.run(port=5000, debug=True)
3）config/settings.py
# 配置项
HEADERS = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)"
}
4）core/crawler.py
import requests
from config.settings import HEADERS
def fetch_html(url):
try:
response = requests.get(url, headers=HEADERS, timeout=10)
response.raise_for_status()
return response.text
except Exception as e:
return f"[ERROR] {e}"
5）core/parser.py
from bs4 import BeautifulSoup
def extract_title(html):
try:
# "html.parser": 指定解析器，这里用的是 Python 内置的解析器，
# 也可以用更强大的解析器如 lxml。
# 这一步相当于把 HTML 转换成一个可以像 DOM 一样操作的对象结构。
soup = BeautifulSoup(html, "html.parser")
return soup.title.string if soup.title else "No Title Found"
except Exception as e:
return f"[ERROR] {e}"
6）core/saver.py
def save_to_file(data, path="output.txt"):
try:
with open(path, "w", encoding="utf-8") as f:
f.write(data)
return True
except Exception as e:
return False7）utils/logger.py
import logging
def get_logger(name="my_logger"):
# 从 logging 模块中获取一个命名日志记录器对象（Logger 对象）。
logger = logging.getLogger(name)
# 如果这个 logger 还没有绑定处理器（handler），就配置它, 可以避免重复绑定多个处理器。
if not logger.handlers:
# 创建一个“流处理器”，默认会把日志输出到终端控制台（即 stdout）。
handler = logging.StreamHandler()
# 创建一个“格式器”，规定日志的输出格式。
formatter = logging.Formatter("[%(asctime)s] %(levelname)s: %(message)s")
# 把上面的格式器绑定到处理器上。
handler.setFormatter(formatter)
# 把处理器绑定到 logger 上，这样 logger 才能通过这个 handler 输出日志。
logger.addHandler(handler)
# 设置日志等级为 DEBUG，
# 只要日志等级是 DEBUG、INFO、WARNING、ERROR、CRITICAL，都会被输出。
logger.setLevel(logging.DEBUG)
return logger8）utils/tools.py
def clean_text(text):
return text.strip().replace("\n", "").replace("\r", "")9）api/server.py
from flask import Flask, request, jsonify
# fetch_html: 你自定义的爬虫模块中的函数，用于抓取网页 HTML。
from core.crawler import fetch_html
# extract_title: 你写的解析模块中的函数，用于提取网页 。
from core.parser import extract_title
# get_logger: 封装的日志工具函数，用于生成日志记录器。
from utils.logger import get_logger
# 创建一个 logger，可以记录请求、错误等信息。
logger = get_logger()
# 创建一个 Flask Web 应用，__name__ 是当前模块名。
app = Flask(__name__)
def success(data=None):
return jsonify({"code": 0, "msg": "success", "data": data})
def fail(msg="error", code=1):
return jsonify({"code": code, "msg": msg})
# 绑定路由 /fetch，只允许 GET 请求。
@app.route("/fetch", methods=["GET"])
def fetch():
# 从客户端发来的 HTTP GET 请求中，提取名为 "url" 的查询参数。
url = request.args.get("url")
if not url:
return fail("Missing url parameter")
logger.info(f"Fetching URL: {url}")
html = fetch_html(url)
if html.startswith("[ERROR]"):
return fail(html)
title = extract_title(html)
return success({"title": title})
@app.route("/", methods=["GET"])
def index():
return "Welcome to MySpider API! Try /fetch?url=https://example.com"</code></pre>
<p>10）tests/test_crawler.py</p>
<pre><code class="language-python">from core.crawler import fetch_html
def test_fetch_html():
html = fetch_html("https://example.com")
assert "Example Domain" in html</code></pre>
<p>11）tests/test_parser.py</p>
<pre><code class="language-python">from core.parser import extract_title
def test_extract_title():
html = "<html><head><title>Test Page