python学习笔记 | Python中的线程与进程简介

近日,我开始对代码的各个部分进行计时,以了解我是否可以加快速度。

令我惊讶的是,我发现数据增强是最大的瓶颈。我使用的方法:旋转,翻转,缩放。依靠Numpy并在CPU上运行。Numpy在某些情况下使用并行处理,而Pytorch的数据加载器也是如此,但我一次运行3-5个实验,每个实验都在做自己的增强。这似乎效率低下,我很好奇,看看我能否通过并行处理来加快速度。

什么是并行处理?

基本上可以同时做两件事情,既可以在不同的CPU上同时运行代码,也可以在同一个CPU上运行代码,并在程序等待外部资源时利用“浪费的”CPU周期实现加速:文件加载,API调用。

作为一个例子,这是一个“正常”的程序。它使用单个线程一次下载一个URL列表。

单线程

这是使用2个线程的相同程序。它将线索分开给我们提供了近2倍的加速。

2个线程

如果您很好奇如何生成这些图表以及它们的含义,您可以在这里找到代码,但要简要总结一下:

1.在函数中添加一个计时器并返回其开始和停止时间


URLS = [url1, url2, url3, ...]defdownload(url, base):

   start = time.time() - base

   resp = urlopen(url)

   stop = time.time() - base

   return start,stop

2.要想显示一个线程,多次运行你的函数并存储开始和停止时间


results = [download(url, 1) for url inURLS]

3.转置[开始,停止]时间的结果数组并绘制条形图


def visualize_runtimes(results):

   start,stop = np.array(results).T

   plt.barh(range(len(start)), stop-start, left=start)

   plt.grid(axis=’x’)

   plt.ylabel("Tasks")

   plt.xlabel("Seconds")

多个线程的图表可以以相同的方式生成。Python的并发库中的方法返回结果数组。

进程与线程

一个进程是一个程序实例(例如Jupyter笔记本,Python解释器)。进程产生线程(子进程)来处理子任务,如读取击键,加载HTML页面,保存文件。线程存在于进程内并共享相同的内存空间。

示例:MicrosoftWord

当您打开Word时,您将创建一个进程。当你开始输入时,进程会产生线程:一个读取击键,另一个显示文本,一个自动保存文件,另一个突出显示拼写错误。通过产生多个线程,Microsoft利用闲置的CPU时间(等待击键或文件加载)并使您的工作效率更高。

处理

  • 由操作系统创建运行程序

  • 进程可以有多个线程

  • 两个进程可以在同一个python程序中同时执行代码

  • 进程比线程开销更多,因为打开和关闭进程需要更多时间

  • 在进程之间共享信息比在线程之间共享慢,因为进程不共享内存空间。在python中,他们通过酸洗像数组这样的需要IO时间的数据结构来共享信息。

线

  • 线程就像进程内部的微型进程

  • 它们共享内存空间并高效地读写相同的变量

  • 两个线程无法在同一个python程序中同时执行代码(尽管有解决方法)

CPU与核心

该CPU或处理器,管理计算机的基本运算工作。CPU有一个或多个内核,允许CPU同时执行代码。

使用单核时,CPU密集型任务(例如循环,算术)不会加速。操作系统在执行每个任务的任务之间来回切换。这就是为什么对于小型操作(例如下载几张图像),多任务处理有时会损害您的性能。与启动和维护多个任务相关的开销。

Python的GIL 问题

CPython(标准的python实现)有一个叫做GIL(全局解释器锁)的东西,它阻止两个线程在同一个程序中同时执行。有些人为此感到难过,而另一些人则为此辩护。然而,有一些解决方法,像Numpy这样的库通过在C中运行外部代码来绕过这个限制。

何时使用线程与进程?

  • 进程加速了CPU密集型的Python操作,因为它们受益于多核并避免GIL。

  • 线程最适合涉及外部系统的IO任务或任务,因为线程可以更有效地组合工作。过程需要腌制他们的结果来组合它们,这需要时间。

  • 由于GIL,线程对于CPU密集型任务的python没有任何好处。

对于像Dot Product这样的特定操作,Numpy围绕Python的GIL工作,并行执行代码。

我将本篇博文的代码都已经打包放在我的群里啦。
如果需要代码或者需要有关python的资料都可以加。四九一,三零八,六五九,备注跨界,我就明白是你了


并行处理示例

Python的concurrent.futures库令人惊喜地愉快地工作。只需传递你的功能,一系列要处理的项目以及工作人员的数量。在接下来的几节中,我会通过运行各种实验来了解更多关于何时使用线程与处理的内容。

concurrent.futures:
https://docs.python.org/3/library/concurrent.futures.html


def multithreading(func, args,

                   workers):

   with ThreadPoolExecutor(workers) as ex:

       res = ex.map(func, args)

   return list(res)def multiprocessing(func, args,

                    workers):

   with ProcessPoolExecutor(work) as ex:

       res = ex.map(func, args)

   return list(res)

API调用

我发现线程更适合API调用,并观察到串行处理和多处理的加速。


def download(url):

   try:

       resp = urlopen(url)

   except Exception as e:

       print ('ERROR: %s' % e)

单线程
2个线程
4线程
2个过程
4个过程

IO重任务

我传入了一堆巨大的文本字符串,以查看写入性能的差异。线程似乎在这里赢了,但多处理也提高了运行时间。


def io_heavy(text):

    f= open('output.txt', 'wt', encoding='utf-8')

   f.write(text)

   f.close()

串行


%timeit -n 1 [io_heavy(TEXT,1) for i inrange(N)]

>> 1 loop, best of 3: 1.37 s per loop

4个线程
4个过程

CPU强化

按照预期,多处理在这里赢得了一天。进程避免GIL并在多个内核上同时执行代码。


def cpu_heavy(n):

   count = 0

   for i in range(n):

       count += i

CPU强化

序列号: 4.2秒

4线程: 6.5秒

4进程: 1.9秒

Numpy Dot产品

正如所料,我没有看到在这段代码中增加线程或进程的好处。Numpy在幕后执行外部C代码,从而避开GIL。


def dot_product(i, base):

   start = time.time() - base

   res = np.dot(a,b)

   stop = time.time() - base

   return start,stop

序列: 2.8秒

2线程: 3.4秒

2进程: 3.3秒

Github地址:

https://github.com/bfortuner/ml-study/blob/master/multitasking_python.ipynb

我将本篇博文的代码都已经打包放在我的群里啦。
如果需要代码或者需要有关python的资料都可以加。四九一,三零八,六五九,备注跨界,我就明白是你了


你可能感兴趣的:(python学习笔记 | Python中的线程与进程简介)