已解决:python多线程使用TensorRT输出为零?附tensorrt推理代码

我是多个不同类型的模型多线程调用报错。
设备:cuda12.1,cudnn8.9.2,tensorrt8.6.1

1.问题tensorrt的推理没输出???
已解决:python多线程使用TensorRT输出为零?附tensorrt推理代码_第1张图片
有输入:
已解决:python多线程使用TensorRT输出为零?附tensorrt推理代码_第2张图片
想要的输出:
已解决:python多线程使用TensorRT输出为零?附tensorrt推理代码_第3张图片

原因:
多进程时,每进程应单独调用import pycuda.driver as cudacuda.init(),完成初始化CUDA驱动,并需要使用self.cfx.push()self.cfx.pop()管理CUDA上下文,以保证每个程序使用自己独立的上下文运行。
(更简单的理解:因为执行程序时多个不同类别模型在一起调用cuda来

你可能感兴趣的:(算法实战,python,开发语言)