Python 多进程共享内存：multiprocessing.shared_memory 模块详解

Python 多进程共享内存：multiprocessing.shared_memory 模块详解

在 Python 的多进程编程中，进程间通信和数据共享是关键问题。multiprocessing.shared_memory 模块为我们提供了一种高效的方式来实现多进程之间的共享内存操作。该模块允许不同的进程直接访问同一块物理内存区域，避免了数据的复制，从而显著提高了数据传输和处理的效率。本文将深入剖析 multiprocessing.shared_memory 模块，详细介绍其核心概念、使用方法、常见操作及注意事项，帮助读者掌握多进程共享内存编程技巧。

一、模块概述

multiprocessing.shared_memory 模块是 Python 3.8 引入的标准库模块，它提供了 SharedMemory 类，用于创建和管理跨进程的共享内存块。通过共享内存，多个进程可以同时读写同一块内存区域，实现高效的数据共享。这在处理大规模数据时尤为有用，比如在机器学习中的数据并行处理、多进程数据挖掘等场景。

二、核心类：SharedMemory

（一）创建共享内存块

可以使用 SharedMemory 类的构造函数来创建一个新的共享内存块。构造函数的常用参数如下：

• name：共享内存块的唯一标识符，可选参数。如果不指定，系统会自动生成一个唯一的名称。
• create：布尔值，指示是否创建新的共享内存块。默认为 False，若为 True 则创建新的内存块。
• size：整数，指定共享内存块的大小（以字节为单位），仅在 create 为 True 时需要指定。

import multiprocessing.shared_memory as shm

# 创建一个大小为 1024 字节的共享内存块
shared_mem = shm.SharedMemory(create=True, size=1024)
print(f"共享内存块名称: {shared_mem.name}")

（二）访问和操作共享内存

SharedMemory 对象有一个 buf 属性，它是一个 memoryview 对象，用于访问共享内存块的内容。可以像操作普通字节序列一样对其进行读写操作。

import multiprocessing.shared_memory as shm

# 创建共享内存块
shared_mem = shm.SharedMemory(create=True, size=10)

# 向共享内存中写入数据
data = b'Hello!'
shared_mem.buf[:len(data)] = data

# 从共享内存中读取数据
read_data = bytes(shared_mem.buf[:len(data)])
print(f"读取的数据: {read_data}")

# 关闭共享内存连接
shared_mem.close()
# 释放共享内存块
shared_mem.unlink()

（三）不同进程中访问共享内存

在不同的进程中，可以通过共享内存块的名称来访问已存在的共享内存。

import multiprocessing
import multiprocessing.shared_memory as shm

def child_process(name):
    # 连接到已存在的共享内存块
    existing_shm = shm.SharedMemory(name=name)
    data = bytes(existing_shm.buf[:6])
    print(f"子进程读取的数据: {data}")
    existing_shm.close()

if __name__ == '__main__':
    # 创建共享内存块
    shared_mem = shm.SharedMemory(create=True, size=10)
    data = b'Hello!'
    shared_mem.buf[:len(data)] = data

    # 创建子进程并传递共享内存块的名称
    p = multiprocessing.Process(target=child_process, args=(shared_mem.name,))
    p.start()
    p.join()

    # 关闭共享内存连接并释放内存块
    shared_mem.close()
    shared_mem.unlink()

三、共享内存数组：ShareableList

ShareableList 是基于 SharedMemory 实现的一个类，用于在多个进程间共享类似列表的数据结构。它支持常见的列表操作，如索引访问、切片、赋值等。

（一）创建和使用 ShareableList

import multiprocessing.shared_memory as shm
from multiprocessing.managers import SharedMemoryManager

# 创建共享内存管理器
with SharedMemoryManager() as smm:
    # 创建一个 ShareableList 对象
    shareable_list = smm.ShareableList([1, 2, 3, 4, 5])
    print(f"初始列表: {shareable_list}")

    # 修改列表元素
    shareable_list[2] = 10
    print(f"修改后的列表: {shareable_list}")

（二）在多进程中使用 ShareableList

import multiprocessing
import multiprocessing.shared_memory as shm
from multiprocessing.managers import SharedMemoryManager

def child_process(shl):
    # 修改 ShareableList 中的元素
    shl[0] = 100
    print(f"子进程修改后的列表: {shl}")

if __name__ == '__main__':
    with SharedMemoryManager() as smm:
        # 创建 ShareableList 对象
        shareable_list = smm.ShareableList([1, 2, 3, 4, 5])

        # 创建子进程并传递 ShareableList 对象
        p = multiprocessing.Process(target=child_process, args=(shareable_list,))
        p.start()
        p.join()

        print(f"主进程读取的列表: {shareable_list}")

四、使用注意事项

（一）内存管理

• 关闭连接：每个进程使用完共享内存后，应调用 close() 方法关闭对共享内存的连接，以释放相关资源。
• 释放内存块：当所有进程都不再需要共享内存块时，应调用 unlink() 方法释放该内存块。只有调用 unlink() 后，系统才会真正回收该内存。

（二）数据类型和大小

• 共享内存中存储的数据本质上是字节序列，需要自行处理数据类型的转换。例如，将整数存储到共享内存中时，需要考虑字节序和数据长度。
• 在创建共享内存块时，要准确预估所需的内存大小，避免因内存不足导致数据丢失或程序出错。

（三）并发访问

多个进程同时对共享内存进行读写操作时，可能会出现数据竞争问题。可以使用同步机制（如 multiprocessing.Lock）来保证数据的一致性。

import multiprocessing
import multiprocessing.shared_memory as shm
from multiprocessing import Lock

def increment(shm_obj, lock):
    with lock:
        # 假设共享内存中存储的是一个整数
        value = int.from_bytes(shm_obj.buf[:4], byteorder='big')
        value += 1
        shm_obj.buf[:4] = value.to_bytes(4, byteorder='big')

if __name__ == '__main__':
    # 创建共享内存块
    shared_mem = shm.SharedMemory(create=True, size=4)
    initial_value = 0
    shared_mem.buf[:4] = initial_value.to_bytes(4, byteorder='big')

    # 创建锁对象
    lock = Lock()

    # 创建多个进程
    processes = []
    for _ in range(5):
        p = multiprocessing.Process(target=increment, args=(shared_mem, lock))
        processes.append(p)
        p.start()

    # 等待所有进程结束
    for p in processes:
        p.join()

    # 读取最终结果
    final_value = int.from_bytes(shared_mem.buf[:4], byteorder='big')
    print(f"最终值: {final_value}")

    # 关闭连接并释放内存块
    shared_mem.close()
    shared_mem.unlink()

总结

multiprocessing.shared_memory 模块为 Python 多进程编程提供了高效的共享内存解决方案。通过 SharedMemory 类和 ShareableList 类，我们可以方便地在多个进程间共享数据，避免了数据的复制，提高了程序的性能。但在使用过程中，需要注意内存管理、数据类型和并发访问等问题，以确保程序的正确性和稳定性。

TAG: Python、multiprocessing.shared_memory、多进程编程、共享内存、ShareableList

相关学习资源

1. Python 官方文档（https://docs.python.org/zh-cn/3.12/library/multiprocessing.shared_memory.html）：提供了 multiprocessing.shared_memory 模块的详细文档，包括类和方法的定义、使用示例及注意事项，是学习该模块的权威资料。
2. Tekin的Python编程秘籍库： Python 实用知识与技巧分享，涵盖基础、爬虫、数据分析等干货 本 Python 专栏聚焦实用知识，深入剖析基础语法、数据结构。分享爬虫、数据分析等热门领域实战技巧，辅以代码示例。无论新手入门还是进阶提升，都能在此收获满满干货，快速掌握 Python 编程精髓。