理解日志基础：使用Python进行有效的日志记录

源码分享
https://docs.qq.com/sheet/DUHNQdlRUVUp5Vll2?tab=BB08J2

日志记录是任何软件开发过程中的一个基本组成部分，尤其是在爬虫开发中。有效的日志记录策略可以帮助开发者监控爬虫的行为，诊断问题，以及追踪爬虫的性能。Python的​​logging​​模块提供了一套强大的日志记录工具，它可以帮助你轻松地记录信息、警告和错误。在这篇技术博客中，我们将探索如何在Python中使用​​logging​​模块，并提供一些代码示例。

为什么要进行日志记录？

日志记录允许您跟踪事件，当一个应用程序运行时，您可以了解它做了什么或在某个时间点发生了什么错误。这对于调试和监控应用程序来说是非常有用的。

Python日志记录简介

Python的​​logging​​模块提供了灵活的日志记录系统。与打印语句（​​print​​）不同，日志记录允许您通过简单的配置来设置日志级别、日志格式以及输出位置。

基本配置

import logging

# 配置基本的日志记录信息
logging.basicConfig(level=logging.DEBUG,
                    format='%(asctime)s - %(levelname)s - %(message)s')

这里，我们设置了日志级别为​​DEBUG​​，这意味着所有级别的日志（DEBUG, INFO, WARNING, ERROR, CRITICAL）都会被记录。​​format​​参数定义了记录输出的格式。

日志级别

Python定义了几个日志级别：

• ​​DEBUG​​: 详细信息，通常只有在诊断问题时才有用。
• ​​INFO​​: 证明事情按预期工作。
• ​​WARNING​​: 表示某些尚未出现的问题（例如'磁盘空间低'），或者程序的一些问题。
• ​​ERROR​​: 由于更严重的问题，软件已经无法执行一些功能了。
• ​​CRITICAL​​: 严重错误，表明程序本身可能无法继续运行。

记录消息

logging.debug("这是一个调试信息")
logging.info("这是一个信息提示")
logging.warning("这是一个警告信息")
logging.error("这是一个错误信息")
logging.critical("这是一个严重的错误信息")

日志记录到文件

# 配置日志记录到文件
logging.basicConfig(filename='example.log', 
                    level=logging.INFO,
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')

logging.info("这条信息会被记录到文件中")

添加文件处理器

# 创建日志记录器
logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)

# 创建文件处理器并设置级别为DEBUG
file_handler = logging.FileHandler('my_log.log')
file_handler.setLevel(logging.DEBUG)

# 创建日志记录格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# 将格式器添加到处理器
file_handler.setFormatter(formatter)

# 将处理器添加到日志记录器
logger.addHandler(file_handler)

logger.info("这条信息将记录到日志文件")

多个处理器和格式

# 创建一个流处理器和文件处理器
stream_handler = logging.StreamHandler()
file_handler = logging.FileHandler('file.log')

# 设置日志记录格式
formatter = logging.Formatter('%(name)s - %(levelname)s - %(message)s')
stream_handler.setFormatter(formatter)
file_handler.setFormatter(formatter)

# 创建日志记录器并添加两个处理器
logger = logging.getLogger('my_application')
logger.setLevel(logging.DEBUG)
logger.addHandler(stream_handler)
logger.addHandler(file_handler)

# 记录一些信息
logger.debug("这是一个调试信息")
logger.info("这是一个信息提示")

结语

遵循最佳的日志记录实践可以在开发过程中节省大量的时间，尤其是在调试和后期维护阶段。使用Python的​​logging​​模块可以帮助您创建一个灵活、可配置和易于扩展的日志记录系统。务必根据你的应用程序需求来配置适当的日志记录级别和输出格式，同时确保敏感信息不被记录。以上介绍和代码示例为您提供了一个良好的日志记录基础，可以根据您的具体需求进行调整和扩展。