Jetson Orin NX Super安装TensorRT-LLM

Jetson Orin NX Super安装TensorRT-LLM_第1张图片

根据图片中显示的 Jetson Orin NX Super 系统环境(JetPack 6.2 + CUDA 12.6 + TensorRT 10.7),以下是针对该平台的 TensorRT-LLM 安装优化方案


一、环境适配调整

基于你的实际配置:

  • JetPack 6.2(含 CUDA 12.6, TensorRT 10.7)

  • Python 3.10.12

  • aarch64 架构

需选择适配的 TensorRT-LLM 版本。由于官方预编译包可能未覆盖此组合,建议通过 源码编译 安装。


二、分步安装指南

1. 安装依赖
sudo apt update
sudo apt install -y git-lfs python3.10-ven

你可能感兴趣的:(#,LLM/部署&推理,elasticsearch,大数据,搜索引擎)