Python代码中如何创建真正的多线程

众所周知,Python代码中有一个threading模块,可以创建多线程,但是在这种模式下创建的多线程并不能将多核利用起来,所有由这种模式下创建的线程最多只能共享一个CPU核,所以在有些场景下,我们需要将一个作业分配给一个独立的线程,并且每个独立的线程可以使用不同的CPU核资源,做到真正的并发执行。
如何实现呢?这里有一个办法是通过调用一个C库函数来实现,在C库中再调用标准的pthread_create函数来实现,参考代码如下:

  • C库函数
#include 
#include 
#include 
#include 


void* myThread(void *arg)
{
    while (1);
}

void createThread(void)
{
    int err;
    pthread_t tid;

    err = pthread_create(&tid, NULL, myThread, NULL);
    if (err != 0) {
        printf("create thread failed!\n");
        return;
    }
    return;
}

编译成动态库:

$ gcc -fPIC -shared -o libfoo.so foo.c

  • 在Python中调用,实现真正的多线程
    代码如下:
#-*- coding=utf-8 -*-
from ctypes import *
import time

lib = CDLL("./libfoo.so", RTLD_GLOBAL)
create_thread = lib.createThread
#create_thread.argtypes = [c_void]
#create_thread.restype = c_void

if __name__ == '__main__':
    create_thread()
    create_thread()
    while True:
        print 'I am in main thread!'
        time.sleep(2)

运行起来后,查看CPU占用率:

hank@hank-desktop:~/Study/Python/CallC2$ top
top - 10:33:27 up  2:06,  3 users,  load average: 0.31, 0.08, 0.07
Tasks: 159 total,   1 running, 158 sleeping,   0 stopped,   0 zombie
%Cpu0  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu1  :  0.0 us,  0.0 sy,  0.0 ni,100.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu2  :  0.3 us,  0.0 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
%Cpu3  :100.0 us,  0.0 sy,  0.0 ni,  0.0 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem:   8166744 total,  1696620 used,  6470124 free,   280708 buffers
KiB Swap:        0 total,        0 used,        0 free.   731816 cached Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                      
 2625 hank      20   0   51404   7616   4824 S 199.8  0.1   0:17.52 python                                       
 1035 daemon    20   0  517408   8136   7144 S   0.3  0.1   0:25.53 CodeMeterLin                                 
 2628 hank      20   0   29152   3324   2804 R   0.3  0.0   0:00.01 top

可以看到在C库中创建的两个线程(while无限循环)分别消耗掉了两个独立的CPU核,这也就验证了可以做到真正并发的目的。

你可能感兴趣的:(Python代码中如何创建真正的多线程)