Python3加载一个动态库并实现线程并行

前言

• 在学习Python的过程遇到GIL，然后为了解决CPython解释器带来的问题，就写了一个简单的demo。
• 目的：使用线程进行并行充分挥发CPU的性能。

GIL 全局解释器锁

• 表现形式
  • 2个线程占用的资源率加起来是一个CPU，因为线程是并发的形式。
  • 2个进程占用的资源率加起来是二个CPU，因为进程是并行的形式。
• 原因
  • 保证同一时刻只有一个线程可以执行代码，所以每个线程的执行过程都需要先获得GIL
  • 在遇到IO操作等可能会引起阻塞的操作时，会自动切换线程实现并发效果
  • GIL只对线程有影响，进程、协程并不受GIL影响。
  • python语言与GIL没有直接关系，仅仅是由于历史原因GIL只存在CPython解释器

扩展

• 多线程爬虫是否比单线程性能高？

  • 是的
  • 线程释放GIL锁的情况：
    • 在IO操作等可能会引起阻塞的system call之前，可以暂时释放GIL，但在其他线程释放GIL后，必须重新获取GIL
    • 在python 3.x使用计时器（执行时间达到阈值后，当前线程释放GIL）
  • 多线程爬取比单线程性能有提升，因为遇到IO阻塞会自动释放GIL锁

• 任务类型

  • 计算密集型
    • 其特点是要进行大量的计算，消耗CPU资源
    • 比如计算圆周率、对视频进行高清解码等等，全靠CPU的运算能力
  • IO密集型
    • 涉及到网络、磁盘IO的任务都是IO密集型任务
    • 这类任务的特点是CPU消耗很少，任务的大部分时间都在等待IO操作完成（因为IO的速度远远低于CPU和内存的速度）。常见的大部分任务都是IO密集型任务，比如Web应用
  • 数据密集型
    • 大量独立的数据分析处理作业可以分布在松耦合的计算机集群系统的不同节点上运行
    • 高度密集的海量数据I/O吞吐需求
    • 大部分数据密集型应用都有个数据流驱动的流程

加载一个动态库并实现线程并行

1.创建一个loop.c程序

// 一个简单的死循环
void DeadLoop()
{
	while(1)
	{
		;
	}
}

2.将C语言编译成一个动态库

gcc loop.c -shared -o libdead_loop.so

在linux下执行以上命令后，当前目录下会出现一个libdead_loop.so文件

3.创建一个main.py程序

• 导入ctypes模块
• 然后加载动态库
• 创建子线程调用动态库

from ctypes import *
from threading import Thread

# 加载动态库
lib = cdll.LoadLibrary("./libdead_loop.so")

# 创建一个子线程，调用动态库
t = Thread(target=lib.DeadLoop)
t.start()

# 主进程
while True:
	pass

4.查看结果

htop

加载一个动态库并实现线程并行完成！