tensorRT 第23页

linux下cuda、cudnn、tensorRT的安装

目录一、所用脚本文件：二、linux下cuda安装三、cudnn安装官网方法：参考链接方法：四、tensorrt安装保存退出五、常见问题1.验证tensorrt是否安装成功时，importtensorrt

phily123·2022-12-29 12:50

cuda和cudnn和tensorrt的理解

cuda参考：https://www.zhihu.com/question/409350643/answer/1361111350cudacuda是ComputeUnifiedDeviceArchitecture的缩写。中文叫统一计算架构。是为了让nvidiagpu可以完成通用计算任务的一种集成技术。我们通常可以使用的cuda框架有c，c++,fortran,python,java的，可以为数据大

愚昧之山绝望之谷开悟之坡·2022-12-29 12:50

tensorrt 安装 windows python

windows必须按照8及以上版本1.下载官网：https://developer.nvidia.com/nvidia-tensorrt-downloadEA版本代表抢先体验，GA是稳定版。

Python图像识别·2022-12-29 12:50

安装Tensorrt,pycuda,cuda,cudnn的记录

ubuntu安装Tensorrt一开始需要安装pycuda，但是目前最新的2021.1版本，安装不好。

黄沛鑫HPX·2022-12-29 12:19

cuda11.2对应的tensorRT版本

下载tensorRT的官网地址：https://developer.nvidia.com/nvidia-tensorrt-download进去之后可以看到各种版本的tensorRT，但是没有找到只适用于

木之希·2022-12-29 12:47

TensorRT基础

1.TensorRT的核心在于对模型算子的优化（合并算子、利用GPU特性选择特定核函数等）2.tensorRT的模型需要在目标GPU上实际运行的方式选择最优算法和配置3.tensorRT生成的模型只能在特定条件下运行

cxb1998·2022-12-29 11:54

TensorRT入门(Windows上安装与VisualStudio项目配置)

安装TensorRT的Document这里有，可以按照这个实现GettingStart。这里将在Windows上安装的主要步骤记录下来。

sinat_18131557·2022-12-29 11:54

TensorRT 入门(4) Python API 浏览

文章目录0.前言1.UserGuide1.1.CoreConcepts2.TensorRTAPIReference3.UFFConverterAPIReference4.GraphSurgeonAPIReference0

清欢守护者·2022-12-29 11:53

TensorRT 入门(6) tensorrtx lenet

文章目录0.前言1.使用流程2.源码解析2.1.创建Engine文件2.2.模型推理0.前言学习TensorRT的资料实在是太少了主要就是靠官方文档和官方Demo其他开源项目基本都是针对某个或某些网络的

清欢守护者·2022-12-29 11:23

TensorRT 入门(7) INT8 量化

文章目录0.前言1.sampleINT81.1实例简介1.2扩展阅读2.sampleINT8API2.1实例简介2.2扩展阅读3.PythonCaffeMNISTINT80.前言TensorRT提供了FP16

清欢守护者·2022-12-29 11:23

TensorRT | 入门篇

文章目录简介WhyTensorRTTensorRT部署流程TensorRT支持范围TensorRT模型导入流程TensorRT优化细节TensorRT部署方法https://developer.nvidia.com

THE@JOKER·2022-12-29 11:52

TensorRT 入门(2) 官方样例 sampleMNISTAPI

sampleMNIST通过导入一个caffe模型并将caffe模型转换为tensorrt的形式。sampleMNIST

清欢守护者·2022-12-29 11:52

TensorRT 入门(3) 官方样例 sampleOnnxMNIST

sampleMNIST通过导入一个caffe模型并将caffe模型转换为tensorrt的形式。sampleMNISTAPI通过TensorRT的C++接

清欢守护者·2022-12-29 11:52

TensorRT入门介绍

什么是TensorRTTensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库，是一个用于生产部署的优化器和运行时引擎。其高性能计算能力依赖于Nvidia的图形处理单元。

Ango_Cango·2022-12-29 11:51

TensorRT入门

在训练了神经网络之后，TensorRT可以对网络进行压缩、优化以及运行时部署，并且没有框架的开销。

某一天10_21·2022-12-29 11:50

NVIDIA Xavier pytorch深度学习环境配置 & yolov5目标检测 & TensorRT加速

XhranXhran·2022-12-28 16:54

NVIDIA Xavier TensorRT TensorRTX 生成engine时报错

自己训练得到的yolov5s无法部署。能生成.wts文件，但在生成.engine时报错，报错内容：Loadingweights:best.wts[04/13/2022-18:13:44][E][TRT](UnnamedLayer*214)[Convolution]:kernelweightshascount2304but32640wasexpected[04/13/2022-18:13:44][E

XhranXhran·2022-12-28 16:54

tensorrt部署YOLOv5模型记录【附代码，支持视频检测】

同时英伟达也推出了tensorrt进行模型部署，同时可以进行模型加速，这篇文章就是在学习利用tensorrt进行YOLOv5部署记录【需要有C/C++的基础，我也在学这一部分】

爱吃肉的鹏·2022-12-28 13:27

tensorRT部署实战——yolov5

onnx优化上来先贴onnx优化后的效果：左图是yolov5s原模型导出的onnx，右图是经过优化后的onnx，效果是一致的，可以看到优化后简洁了不少，最主要的是模型简化后，可以排除很多不必要的麻烦。1.首先是动态维度，前面说过通常只设定batch为动态维度，因此找到yolov5官方的onnx转化代码export.py，找到torch.onnx.export函数，进行修改。torch.onnx.e

cxb1998·2022-12-28 13:23

yolov5的TensorRT部署【tensorrt+cudnn@主机】

1、版本问题（1）TensorRT的ONNX解释器是针对Pytorch版本编译的，如果版本不对应可能导致转模型时出现错误。

epic_Lin·2022-12-28 13:50

TensorRt（4）yolov3加载测试

本文介绍使用darknet项目原始的预训练模型yolov3.weights，经过tensorrt脚本转换为onnx模型，进一步编译优化编译位engine，最后使用TensorRt运行时进行推理。

wanggao90·2022-12-28 13:19

使用OpenCV操作CUDA送检图像到TensorRT(SSD模型)

本地环境:Corei77700HQ,GTX10606G.开发环境(安装顺序):1)NvidiaDriver384;2)Cuda9;3)Cudnn7forcuda9;4)OpenCV3.4.1;5)TensorRT3.4.2

一点晴·2022-12-28 13:15

一个基于Docker的TensorRT+OpenCV项目的环境配置

环境依赖python3.7.13cuda10.2cudnn8.0.4TensorRT7.2.1.6OpenCV3.4.16docker相关由于环境依赖过于复杂，使用dockerfile直接进行部署不太现实

qq_38617319·2022-12-28 13:15

AGX Xavier部署自己修改训练后的yolov4模型(tensorrt加速版)

本项目使用的这位大佬的git项目.，过程中遇到很多问题大佬都及时回复了，在此十分感谢大佬相助。以下是对项目的补充说明：一、项目环境AGXXavier版本Jetpack4.4.1cuda10.2.89cudnn8.0.0.180tensoort7.1.3.0opencv4.4.1onnx1.5.0二、环境配置1.安装yaml-cpp出现的错误：解决方法：sudoapt-getinstalllibbo

丹啊丹·2022-12-28 13:15

opencv-＞tensorrt的数据排列方式

在使用tensorrt的时候，将opencv的Mat格式处理成tensorrt输入方式。

永力·2022-12-28 13:15

Win10下VS2019配置OpenCV和TensorRT

VS2019+OpenCVlatestver的经历需要下载的文件所需要的环境VS2019配置OpenCV的步骤1.安装VS20192.安装Cmake工具3.配置OpenCV4.新建C++项目VS2019配置TensorRT

DeepLearningJay·2022-12-28 13:44

Jetson AGX Xavier进行边缘端算法环境配置、OpenCV和TensorRT配置

JetsonAGXXavier移植和部署深度学习算法，需要依赖cuda、cudnn、tensorrt、opencv等库，不过好在jetpack包含了上述所有环境，无需额外编译opencv或者tensorrt

MidasKing·2022-12-28 13:14

使用tensorrt 加速Ultra-Fast-Lane-Detection项目

使用tensorrt加速Ultra-Fast-Lane-Detection项目运行环境：项目主机版本(onubuntu18.04)AGX版本(Jetson4.3)cuda10.010.0.130-cudnn77.6.5.32

不知道起啥名_·2022-12-28 01:26

INT8量化原理理解

INT8量化的深入理解参考量化几连问INT8量化原理INT8量化目的不饱和（最大值）映射饱和映射INT8量化流程TensorRT的INT8量化TensorRTINT8量化过程编写Calibration器

Activewaste·2022-12-27 17:23

int8量化--调研

，如MobileNet系列、shuffleNet系列、VoVNet等；从大的模型开始通过量化、剪裁、蒸馏等压缩技术实现网络的小型化；在inference阶段使用特殊的计算库实现计算的加速，比如MKL、TensorRT

assassin_sword·2022-12-27 17:23

一文了解模型量化中的QAT和PTQ

一文了解模型量化中的QAT和PTQ由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32

菜鸟滚滚·2022-12-27 17:53

Tensorrt_Algorithm Selection API usage example based off sampleMNIST in TensorRT

[tensorRT中基于sampleMNIST的算法选择API使用示例]1descriptionIAlgorithmSelector：使用该插件确切的创建TRTenginesIAlgorithmSelector

谢欣燕·2022-12-27 10:56

TensorRT实战

而通过nvidia退出的tensorrt工具来部署主流框架上训练的模型能够极大的提高模型推断的速度，往往相比与原本的框架能够有至少1倍以上的速度提升，同时占用的设备内存也会更少。

谢欣燕·2022-12-27 10:55

TensorRT开发者手册（3）使用TensorRT的PythonAPI

–2020/11/25Chapter3.UsingThePythonAPI该部分主要讲的是NVIDIA®TensorRT™用户目标和任务以及如何使用PythonAPI来实现。

xiyou_1996·2022-12-27 10:55

Working With TensorRT Using The Python API

以下部分将重点介绍使用PythonAPI可以执行TensorRT用户的目标和任务。这些部分主要讨论在没有任何框架的情况下使用PythonAPI。

weixin_39538789·2022-12-27 09:24

【理论知识】实际部署中tensorrt的简单理解

因为各种项目的原因，其实已经用过一段时间tensorrt了，但是一直没仔细梳理过理论知识了，在b站刷到官方教程，写个博客梳理一下tensorrt基础知识和开发流程。

qqsuiying·2022-12-27 09:21

TensorRT笔记(3)使用C++ API

目录2.1在C++中实例化TensorRT对象2.2在C++中创建网络定义2.2.1使用C++API从头开始创建网络定义2.2.2在C++中使用解析器导入模型2.2.3使用C++ParserAPI导入Caffe

这里是zzh·2022-12-27 09:48

基于tensorrt的车道线检测lane_detection，实现从pth模型转engine模型，在通过tensorrt加载engine全过程

基于tensorrt的车道线检测lane_detection，实现从pth模型转engine模型，在通过tensorrt加载engine全过程问题以及解决方案如何运行代码学习参考代码实例讲解将低版本tensorrt

鼾声鼾语·2022-12-27 09:17

TensorRT(3)-C++ API使用：mnist手写体识别

本节将介绍如何使用tensorRTC++API进行网络模型创建。1使用C++API进行tensorRT模型创建还是通过tensorRT官方给的一个例程来学习。还是mnist手写体识别的例子。

浩瀚之水_csdn·2022-12-27 09:42

TensorRt（3）mnist示例中的C++ API

目前sample中mnist提供了至少caffe、onnx的预训练模型，在TensorRT经过优化生成engine后再进行infer，两种模型的加载处理略有不同，做出简单api处理说明。

wanggao90·2022-12-27 09:39

MMDetection2系列-(3)-部署

MMDetection2系列-3-部署@[TOC](MMDetection2系列-3-部署)1.PytorchtoONNX2.ONNXtoTensorRT1.PytorchtoONNXpipinstallonnx-simplifierpipinstallonnxruntimepythontools

GeekPlusA·2022-12-26 15:40

ubuntu16.04一步到位安装CUDA10.02、PyTorch、PaddlePaddle、TensorRT

文章目录原始驱动卸载CUDA安装CUDNN配置驱动安装PyTorch安装PaddlePaddle安装TensorRT安装备注由于很多框架和套件停止了10.0的支持，将原始已安装完成的cuda10.0的服务器重新配置

DeepHao·2022-12-26 11:53

Transformers文本分类微调和TensorRT推理加速

Transformers文本分类微调和TensorRT推理加速本文介绍了使用Transformers模块微调文本分类模型，以及模型转pth格式，进而转为onnx格式和TensorRT的engine格式，

NLP小讲堂·2022-12-26 08:39

服务器开发系列（二）——Jetson Xavier NX

系列文章目录服务器开发系列（一）——计算机硬件文章目录系列文章目录服务器开发系列（一）——计算机硬件前言一、硬件情况二、操作系统安装三、操作系统的备份与恢复四、预装软件工具1.CUDA简介2.DeepStream简介3.TensorRT

马•晓·2022-12-25 19:10

Jetson NX emmc版本系统转移到SSD

因emmc版本的NX自带内存不够大，只有16GB（手上的是这个型号），安装系统大概需要除去4G多内存，再安装CUDA,cuDNN,TensorRT等内存直接爆满,无法继续使用。

GNNUXXL·2022-12-25 19:40

Python Apex YOLO V7 main 目标检测全过程记录

博文目录文章目录环境准备YOLOV7main分支TensorRT环境工程源码假人权重文件toolkit.py测试.实时检测.pygrab.for.apex.pylabel.for.apex.pyaimbot.for.apex.py

mrathena·2022-12-25 07:04

Windows Python PyTorch CUDA 11.7 TensorRT 环境配置

博文目录文章目录版本说明版本选择下载代码创建并激活虚拟环境使用CPU推理安装工程运行的最少依赖运行detect.py使用NvidiaGPU推理安装PyTorchCUDA环境运行detect.py安装TensorRT

mrathena·2022-12-25 07:57

ubuntu 18.04 安装cuda 10.0+cudnn 7.6

conda安装cuda和cudnn的一些可能问题用conda维护虚拟环境时，可通过conda来安装cuda和cudnn，但在ubuntu下，安装了tensorRT后，编译sample时，会发生找不到cuda

qianshuqinghan·2022-12-24 15:30

13.TensorRT中文版开发教程-----TensorRT的最佳性能实践与性能调优

TensorRT的最佳性能实践点击此处加入NVIDIA开发者计划13.1.MeasuringPerformance在开始使用TensorRT进行任何优化工作之前，必须确定应该测量什么。

扫地的小何尚·2022-12-24 12:11

使用TensorRT加速超分辨率模型Real-ESRGAN

IntroductionTensorRT是NVIDIA提供在其GPU上进行推理加速的工具。

snoopy_21·2022-12-24 11:11

推荐频道

tensorRT