python requests遭遇死锁小记

跑的程序实在有点慢,想优化下

希望借用multiprocessing 提高速度


1、多进程

结果发现 莫名的过一段时间后, 所有进程都会 卡在  request 请求后,没有了反应

缩小范围,仔细查看代码,并未看到导致死锁或者死循环的地方,暂时放弃


2、多线程

我靠,仍然有,就是看不出来问题,遂放弃


3、放弃优化

发现居然仍然会卡死


仔细查看代码后发现 调用方式有问题

requests.get(url, 3)

可能造成死锁的调用方法,想当然的以为第二个参数是timeout,实际并不是, 修正后未再发现问题

越来越喜欢python 调用时 key=value的显式调用啦



你可能感兴趣的:(python requests遭遇死锁小记)