【Python】一文教你快速遍历文件夹下所有文件
- 博主简介
博主致力于嵌入式、Python、人工智能、C/C++领域和各种前沿技术的优质博客分享，用最优质的内容带来最舒适的阅读体验！在博客领域获得 C/C++领域优质、CSDN年度征文第一、掘金2023年人气作者、华为云享专家、支付宝开放社区优质博主等头衔。
- 个人社区 & 个人社群 加入点击 即可
| 介绍 | 加入链接 |
|---|---|
| 个人社群 | 社群内包含各个方向的开发者，有多年开发经验的大佬，一起监督打卡的创作者，开发者、在校生、考研党、均可加入并且咱每周都会有粉丝福利放送保你有所收获，一起 加入我们 共同进步吧！ |
| 个人社区 | 点击即可加入 【咕咕社区】 ，让我们一起共创社区内容，输出优质文章来让你的写作能力更近一步一起加油！ |
⛳️ 推荐
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。
专栏介绍
| 专栏名称 | 专栏介绍 |
|---|---|
| 科技杂谈 | 本专栏主要撰写各种科技数码等的评测体验心得，带大家一起体验最前沿的科技机技术产品体验 |
| C++干货基地 | 本专栏主要撰写C++干货内容和编程技巧，让大家从底层了解C++，把更多的知识由抽象到简单通俗易懂。 |
| 《数据结构&算法》 | 本专栏主要是注重从底层来给大家一步步剖析数据存储的奥秘，一起解密数据在存储中数据的基本存储结构！ |
| 《docker容器精解篇》 | 全面深入解析 docker 容器，从基础到进阶，涵盖原理、操作、实践案例，助您精通 docker。 |
| 《linux深造日志》 | 本专栏的标题灵感是来自linux中系统产生的系统日志。而我们也可以每天输出内容不断前进，以达到精深的境地。 |
| 《C语言进阶篇》 | 想成为编程高手嘛？来看看《C语言进阶篇》成为编程高手的必学知识，带你一步步认识C语言最核心最底层原理。 |
| 写作技巧 | 写作涨粉太慢？不知道如何写博客？想成为一名优质的博主那么这篇专栏你一定要去了解 |
文章目录
- ⛳️ 推荐
- 专栏介绍
- 前言
-
- 一、为什么需要遍历文件夹下的所有文件
- 二、Python 中遍历文件夹的方法
-
- 1. 使用 os 模块
- 2. 使用 glob 模块
- 3. 使用 pathlib 模块
- 三、遍历文件夹的性能优化
-
- 1. 避免重复遍历
- 2. 并行遍历
- 3. 减少不必要的文件操作
- 四、遍历文件夹的注意事项
- 五、总结
前言
在日常的编程工作中，我们经常会遇到需要遍历文件夹下所有文件的情况。无论是处理大量的数据文件、进行文件系统的分析，还是实现复杂的自动化任务，高效地遍历文件夹下的所有文件都是一项非常重要的技能。在本文中，我们将深入探讨如何使用 Python 快速遍历文件夹下的所有文件，并介绍一些实用的技巧和注意事项。
一、为什么需要遍历文件夹下的所有文件
在很多实际应用场景中，我们需要对文件夹下的所有文件进行操作。以下是一些常见的例子：
- 文件处理和转换：例如，将一批图片文件从一种格式转换为另一种格式，或者对大量的文本文件进行内容分析和处理。
- 数据收集和整理：当需要从多个文件中收集数据并进行整理和分析时，遍历文件夹下的所有文件可以帮助我们快速找到所需的数据。
- 自动化任务：比如定期备份文件夹中的重要文件，或者对特定类型的文件进行自动分类和归档。
- 程序调试和错误处理：在调试程序时，可能需要检查特定文件夹下的所有文件，以确定是否存在错误或异常情况。
二、Python 中遍历文件夹的方法
Python 提供了多种方法来遍历文件夹下的所有文件。下面我们将介绍几种常用的方法，并比较它们的优缺点。
1. 使用 os 模块
os模块是 Python 中用于与操作系统交互的标准库模块。它提供了许多函数和方法，用于处理文件和目录操作。以下是使用os模块遍历文件夹的基本方法：
import os
def traverse_folder(folder_path):
for root, dirs, files in os.walk(folder_path):
for file in files:
file_path = os.path.join(root, file)
print(file_path)
traverse_folder('/path/to/folder')
在上述代码中，我们使用os.walk()函数遍历指定文件夹及其子文件夹下的所有文件。os.walk()函数返回一个三元组(root, dirs, files)，其中root表示当前遍历的目录路径，dirs是当前目录下的子目录列表，files是当前目录下的文件列表。我们可以通过循环遍历files列表，获取每个文件的路径，并进行相应的处理。
优点：
- 简单易用，是 Python 中最基本的遍历文件夹的方法。
- 可以遍历指定文件夹及其所有子文件夹下的文件。
缺点：
- 对于大型文件夹，遍历速度可能较慢。
- 不能直接控制遍历的深度和顺序。
2. 使用 glob 模块
glob模块是 Python 中用于文件路径匹配的模块。它提供了一种简单的方法来查找符合特定模式的文件路径。以下是使用glob模块遍历文件夹的方法：
import glob
def traverse_folder(folder_path):
for file_path in glob.glob(folder_path + '/**/*', recursive=True):
print(file_path)
traverse_folder('/path/to/folder')
在上述代码中，我们使用glob.glob()函数查找指定文件夹及其子文件夹下的所有文件。glob.glob()函数接受一个文件路径模式作为参数，并返回一个匹配的文件路径列表。我们可以使用通配符*来表示任意字符，使用**来表示任意深度的子目录。通过设置recursive=True参数，我们可以递归地查找子文件夹下的文件。
优点：
- 可以使用通配符进行文件路径匹配，非常灵活。
- 对于特定的文件路径模式，遍历速度可能比
os.walk()更快。
缺点：
- 不能像
os.walk()那样直接获取当前目录下的子目录列表。 - 对于复杂的文件夹结构，可能需要使用多个通配符进行匹配，代码可能会变得比较复杂。
3. 使用 pathlib 模块
pathlib模块是 Python 3.4 及以上版本中新增的模块，它提供了一种面向对象的方式来处理文件和目录路径。以下是使用pathlib模块遍历文件夹的方法：
from pathlib import Path
def traverse_folder(folder_path):
folder = Path(folder_path)
for file_path in folder.rglob('*'):
print(file_path)
traverse_folder('/path/to/folder')
在上述代码中，我们使用Path类表示文件和目录路径。通过调用folder.rglob('*')方法，我们可以递归地查找指定文件夹及其子文件夹下的所有文件。rglob()方法接受一个文件路径模式作为参数，并返回一个生成器对象，我们可以使用循环遍历生成器对象，获取每个文件的路径。
优点：
- 提供了一种面向对象的方式来处理文件和目录路径，代码更加简洁和易读。
- 可以方便地进行文件和目录的操作，如创建、删除、移动等。
缺点：
- 对于 Python 3.4 以下版本不兼容。
- 在某些情况下，遍历速度可能不如
os.walk()和glob模块。
三、遍历文件夹的性能优化
当处理大量文件时，遍历文件夹的性能可能会成为一个问题。以下是一些优化遍历文件夹性能的方法：
1. 避免重复遍历
在遍历文件夹时，尽量避免重复遍历相同的文件和目录。可以使用集合或字典来记录已经遍历过的文件和目录路径，以便在后续的遍历中跳过它们。
import os
visited = set()
def traverse_folder(folder_path):
for root, dirs, files in os.walk(folder_path):
for file in files:
file_path = os.path.join(root, file)
if file_path not in visited:
visited.add(file_path)
print(file_path)
traverse_folder('/path/to/folder')
在上述代码中，我们使用一个集合visited来记录已经遍历过的文件路径。在遍历每个文件时，我们检查文件路径是否已经在集合中，如果不在集合中，则打印文件路径，并将其添加到集合中。这样可以避免重复遍历相同的文件。
2. 并行遍历
如果你的计算机具有多个 CPU 核心，可以考虑使用并行编程技术来加速遍历文件夹的过程。Python 中的multiprocessing和concurrent.futures模块提供了方便的并行编程接口。
import os
import multiprocessing
def process_file(file_path):
# 对文件进行处理的代码
print(file_path)
def traverse_folder(folder_path):
pool = multiprocessing.Pool()
for root, dirs, files in os.walk(folder_path):
for file in files:
file_path = os.path.join(root, file)
pool.apply_async(process_file, args=(file_path,))
pool.close()
pool.join()
traverse_folder('/path/to/folder')
在上述代码中，我们定义了一个process_file()函数，用于对单个文件进行处理。在遍历文件夹时，我们使用multiprocessing.Pool()创建一个进程池，并将每个文件的处理任务提交给进程池中的一个进程执行。这样可以充分利用计算机的多个 CPU 核心，提高遍历文件夹的速度。
3. 减少不必要的文件操作
在遍历文件夹时，尽量减少不必要的文件操作，如打开、读取、写入文件等。如果只需要获取文件的路径信息，可以直接使用文件路径进行处理，而不需要打开文件。
import os
def traverse_folder(folder_path):
for root, dirs, files in os.walk(folder_path):
for file in files:
file_path = os.path.join(root, file)
# 直接使用文件路径进行处理，而不需要打开文件
print(file_path)
traverse_folder('/path/to/folder')
在上述代码中，我们只打印文件的路径信息，而没有进行任何文件操作。这样可以减少不必要的文件操作，提高遍历文件夹的速度。
四、遍历文件夹的注意事项
在遍历文件夹时，还需要注意以下几点：
- 权限问题：确保你的程序具有足够的权限来访问指定的文件夹和文件。如果遇到权限不足的情况，可以尝试以管理员身份运行程序，或者调整文件夹和文件的权限设置。
- 文件类型过滤：如果只需要遍历特定类型的文件，可以在遍历过程中进行文件类型过滤。例如，可以使用文件扩展名来判断文件类型，并只处理符合条件的文件。
- 异常处理：在遍历文件夹时，可能会遇到各种异常情况，如文件不存在、权限不足、文件损坏等。为了保证程序的稳定性，应该在遍历过程中进行适当的异常处理。
- 递归深度限制：如果文件夹结构非常深，可能会导致递归深度超过 Python 的默认限制。在这种情况下，可以考虑使用非递归的方法来遍历文件夹，或者调整 Python 的递归深度限制。
五、总结
本文介绍了如何使用 Python 快速遍历文件夹下的所有文件。我们介绍了三种常用的遍历文件夹的方法，包括使用os模块、glob模块和pathlib模块，并比较了它们的优缺点。我们还介绍了一些优化遍历文件夹性能的方法，如避免重复遍历、并行遍历和减少不必要的文件操作。最后，我们提醒了在遍历文件夹时需要注意的一些问题，如权限问题、文件类型过滤、异常处理和递归深度限制。希望本文对你在使用 Python 进行文件操作时有所帮助。