Python基础-27-进程池Pool

进程池

概述

（1）池子里面放的是进程，进程池会根据任务执行情况自动创建进程而且尽量少创建进程，合理利用进程池中的进程完成多任务

（2）当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态生成多个进程，但如果是上百甚至上千个目标，手动去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法

（3）初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会用之前的进程来执行新任务

 

Pool的使用

（1）实例化一个Pool对象：pool = multiprocessing.Pool(10)   #10为进程池中进程最大个数

（2）Pool创建的实例对象常用方法

pool.apply(func[,args[,kwds]])：阻塞方式（同步）调用函数，args表示以元组方式给函数传参，kwargs表示字典传参

pool.apply_async(func[,args[,kwds]]：使用非阻塞（异步）调用函数

close()：关闭pool，使其不能接受新的任务

terminate()：不管任务是否完成，立即终止

join()：主进程阻塞，等待子进程退出，必须close或terminate之后使用

 

进程池同步执行任务

表示进程池中的进程在执行任务的时候一个执行完成另一个才能执行，如果没有执行完会等待上一个进程执行

（1）代码

import multiprocessing
import time

def work():
    print("work....当前进程号：",multiprocessing.current_process().pid)
    time.sleep(0.5)

if __name__ == '__main__':
    # 设置进程池最大进程数5个
    pool = multiprocessing.Pool(5)
    for i in range(10):
        # 循环让进程池执行对应的work任务
        # 同步执行任务，一个任务执行完成以后领完一个任务才能执行
        pool.apply(work)

（2）结果（5个以后就循环了一遍）

 

进程池异步执行任务

表示进程池中的进程同时执行任务，进程之间不会等待

（1）代码

import multiprocessing
import time

def work():
    print("work....当前进程号：",multiprocessing.current_process().pid)
    time.sleep(0.1)

if __name__ == '__main__':
    # 设置进程池最大进程数5个
    pool = multiprocessing.Pool(6)
    # 模拟大批量任务，让进程池去执行
    for i in range(10):
        # 循环让进程池执行对应的work任务
        # 异步执行，任务执行不会等待，多个任务一起执行
        pool.apply_async(work)
    pool.close()  # 关闭进程池，告诉主进程不会再有新的任务添加进来
    pool.join()  # 主进程等待进程池执行完成以后程序再退出

（2）结果