python 异步执行 apply_async 方法

1.项目需要读取hive表数据,并对返回的数据进行解析;

select * from table ;

2.返回数据,根据库、表,对其进行 下一步执行;

中间遇到一个棘手的问题,在python线程池中,使用异步非阻塞 apply_async() 方法时,一直无法获取到异步子线程执行的结果,最后通过查官方API 使用ready()方法可以拿到子线程的运行结果。

apply_async()是异步非阻塞式,不用等待当前进程执行完毕,随时跟进操作系统调度来进行进程切换,即多个进程并行执行,提高程序的执行效率。

代码:

python 异步执行 apply_async 方法_第1张图片

你可能感兴趣的:(python,hive,spark,elasticsearch)