【凌智视觉模块】RV1106上部署YOLOv5目标检测及量化原理简介

目标检测简介

目标检测是计算机视觉中的一个重要领域，它不仅要求模型能够识别图像中出现的对象属于哪一类（分类问题），还要求确定这些对象在图像中的具体位置（通常通过边界框来表示）。目标检测可以应用于多种场景，如自动驾驶、安防监控、医学影像分析等。

YOLO（You Only Look Once）是一种流行的目标检测算法系列，而YOLOv5是其中的一个版本。YOLOv5由Ultralytics公司开发，并不是正式的学术论文发布，但它因其高效性和易用性而在实践中得到了广泛应用。以下是YOLOv5的一些特点：

1. 速度与精度：YOLOv5相比之前的版本，在保持较高检测精度的同时显著提升了处理速度。这使得它非常适合实时应用。

2. 网络结构：YOLOv5的网络结构包括Backbone、Neck和Head三个主要部分。Backbone负责从输入图像中提取特征；Neck用于融合不同层次的特征图，以便更好地捕捉物体的多尺度信息；Head则基于融合后的特征图进行最终的边界框预测和类别判定。

3. 预处理和增强：在输入网络之前，YOLOv5会对图片进行预处理，例如缩放、填充以保持宽高比等。此外，它还会应用数据增强技术，比如Mosaic，以增加训练集的多样性，从而提高模型的泛化能力。

4. 多尺度预测：YOLOv5会在三个不同的尺度上进行预测，每个尺度对应着不同大小的目标。这样有助于提高对小目标或重叠目标的检测效果。

5. Anchor机制：YOLOv5使用了预定义的anchor boxes来帮助模型更好地适应不同形状和大小的目标。这些anchors是在训练过程中根据数据集自动生成的。

6. 易于使用：YOLOv5提供了易于使用的接口和详细的文档，使得即使是初学者也能快速上手并将其应用于实际项目中。
   完整代码可以前往 gitee 仓库查看

量化原理

在边缘端设备部署神经网络模型时，通常需要配合剪枝/量化/蒸馏等手段加以辅助，提升模型的运行效率，目前在边缘端设备普遍被使用到的是模型量化，
模型量化是指将深度学习模型中的浮点参数和操作转换为定点数表示，如FLOAT32转换为INT8等。量化能够降低内存占用，实现模型压缩和推理加速，但会造成一定程度的精度损失。

量化计算原理

以线性非对称量化为例，浮点数量化为有符号定点数的计算原理如下：

$$x_{int}=\text{clamp}\left(\left[\frac{x}{s}\right]+z;-2^{b-1},2^{b-1}-1\right)\text{\hspace{1em}(1)}$$

其中 $ x $ 为浮点数， $ x_{int} $ 为量化定点数， $[\cdot ]$ 为四舍五入运算， $ s $ 为量化比例因子， $ z $ 为量化零点， $ b $ 为量化位宽，如INT8数据类型中 $ b = 8 $; clamp 为截断运算，具体定义如下：

$$\text{clamp}(x;a,c)=\{\begin{array}{ll}a,& x<a,\\ x,& a\le x\le c,\\ c,& x>c,\end{array}\text{\hspace{1em}(2)}$$

从定点数转换为浮点数称为反量化过程，具体定义如下：

$$x\approx \hat{x}=s(x_{int}-z)\text{\hspace{1em}(3)}$$

设量化范围为 $(q_{min},q_{max})$，截断范围为 $(c_{min},c_{max})$，量化参数 $ s $ 和 $ z $ 的计算公式如下：

$$s=\frac{q_{max}-q_{min}}{c_{max}-c_{min}}=\frac{q_{max}-q_{min}}{2^b-1}\text{\hspace{1em}(4)}$$

$$z=c_{max}-\lfloor \frac{q_{max}}{s}\rfloor \text{或}z=c_{min}-\lfloor \frac{q_{min}}{s}\rfloor \text{\hspace{1em}(5)}$$

其中截断范围是根据量化的数据类型决定，例如INT8的截断范围为(-128, 127); 量化范围根据不同的量化算法确定。

量化误差

量化会造成模型一定程度的精度丢失。根据公式(1)可知，量化误差来源于舍入误差和截断误差，即 $[\cdot ]$ 和 $ \text{clamp} $ 运算。四舍五入的计算方式会产生舍入误差，误差范围为 $\left(-\frac{1}{2}s,\frac{1}{2}s\right)$。当浮点数 $x$ 过大，比例因子 $s$ 过小时，容易导致量化定点数超出截断范围，产生截断误差。理论上，比例因子 $s$ 的增大可以减小截断误差，但会造成舍入误差的增大。因此为了权衡两种误差，需要设计合适的比例因子和零点，来减小量化误差。

线性对称量化和线性非对称量化

线性量化中定点数之间的间隔是均匀的，例如INT8线性量化将量化范围均匀等分为256个数。线性对称量化中零点是根据量化数据类型确定并且零点 $z$ 位于量化定点数范围上的中心对称点，例如INT8中零点为0。线性非对称量化中零点根据公式(5)计算确定并且零点 $z$ 一般不在量化定点数范围上的中心对称点。

对称量化是非对称量化的简化版本，理论上非对称量化能够更好的处理数据分布不均匀的情况，因此实践中大多采用非对称量化方案。

量化算法

量化比例因子 $s$ 和零点 $z$ 是影响量化误差的关键参数，而量化范围的求解对量化参数起到决定性作用。本文介绍三种关于量化范围求解的算法：Normal、KL-Divergence和MMSE。

Normal量化算法

Normal量化算法是通过计算浮点数中的最大值和最小值直接确定量化范围的最大值和最小值。从量化计算原理可知，Normal量化算法不会产生截断误差，但对异常值很敏感，因为大异常值可能会导致舍入误差过大。

$$q_{min}=\min \mathbf{V}\text{\hspace{1em}(6)}$$

$$q_{max}=\max \mathbf{V}\text{\hspace{1em}(7)}$$

其中 $\mathbf{V}$ 为浮点数Tensor。

KL-Divergence量化算法

KL-Divergence量化算法计算浮点数和定点数的分布，通过调整不同的阈值来更新浮点数和定点数的分布，并根据KL散度最小化两个分布的相似性来确定量化范围的最大值和最小值。KL-Divergence量化算法通过最小化浮点数和定点数之间的分布差异，能够更好地适应非均匀的数据分布并缓解少数异常值的影响。

$$\arg \underset{q_{min},q_{max}}{\min }H(\Psi (\mathbf{V}),\Psi ({\mathbf{V}}_{int}))\text{\hspace{1em}(8)}$$

其中 $H(\cdot ,\cdot )$ 为KL散度计算公式， $\Psi (\cdot )$ 为分布函数，将对应数据计算为离散分布， ${\mathbf{V}}_{int}$ 为量化定点数Tensor。

MMSE量化算法

MMSE量化算法通过最小化浮点数与量化反量化后浮点数的均方误差损失，确定量化范围的最大值和最小值，在一定程度上缓解大异常值带来的量化精度丢失问题。由于MMSE量化算法的具体实现是采用暴力迭代搜索近似解，速度较慢，内存开销较大，但通常会比Normal量化算法具有更高的量化精度。

arg ⁡ min ⁡ q m i n , q m a x ∥ V − V ^ ( q m i n , q m a x ) ∥ F 2 (9) \arg \min_{q_{min}, q_{max}} \left\| \mathbf{V} - \widehat{\mathbf{V}}(q_{min}, q_{max}) \right\|_F^2 \tag{9} argqmin​,qmax​min​ ​V−V (qmin​,qmax​) ​F2​(9)

其中 $\mathbf{V}(q_{min},q_{max})$ 为 $\mathbf{V}$ 的量化、反量化形式， ${\Vert \cdot \Vert }_F$ 为F范数。

参考来源:RKNN Toolkit2

扯了这么多量化原理后，有童鞋可能在想废话这么多，那就直接上菜了

yolov5 代码简介

头文件

#include "yolov5.h"

模型初始化函数

int init_yolov5_model(const char* model_path, rknn_app_context_t* ctx);

• 作用：加载YOLOv5 RKNN模型并初始化推理上下文
• 参数
  • model_path：RKNN模型文件路径
  • ctx：模型上下文指针
• 返回值：
  • 0：初始化成功
  • -1：初始化失败

模型推理函数

int inference_yolov5_model(rknn_app_context_t* ctx, 
                         object_detect_result_list* od_results);

• 作用：执行模型推理并获取检测结果
• 参数：
  • ctx：已初始化的模型上下文
  • od_results：检测结果存储结构体指针
• 返回值：
  • 0：推理成功
  • -1 ：推理失败

模型释放函数

void release_yolov5_model(rknn_app_context_t* ctx);

• 作用：释放模型相关资源
• 参数：
  • ctx：待释放的模型上下文
• 返回值：无

图像处理函数

Letterbox处理

cv::Mat letterbox(cv::Mat& image);

• 作用：保持图像比例进行缩放，添加灰边填充
• 参数：
  -image:输入图像(RGB格式)
• 返回值：
  • 返回预处理图像

坐标映射函数

void mapCoordinates(float& x, float& y);

• 作用：将模型输出坐标映射回原始图像坐标系
• 参数：
  • x/y：模型输出坐标（输入输出参数）
• 返回值:无

结果处理函数

后处理初始化

void init_post_process();

• 作用：加载类别标签文件
• 参数：无
• 返回值：无

结果绘制函数

void draw_detections(int count, 
                    object_detect_result* results,
                    cv::Mat& frame,
                    void (*mapFunc)(float&, float&));

• 作用：在图像上绘制检测框和标签
• 参数：
  • count:检测结果数量
  • results：检测结果数组
  • frame：目标图像帧
  • mapFunc：坐标映射函数指针
• 返回值：无

main 函数实现

#include 
#include 
#include 
#include "yolov5.h"
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include 
#include 
// output img size
#define DISP_WIDTH 320
#define DISP_HEIGHT 320

// disp size
int width = DISP_WIDTH;
int height = DISP_HEIGHT;

// model size
int model_width = 320;
int model_height = 320;

int leftPadding;
int topPadding;

// label size
extern int obj_class_num;
char *lable;

int main(int argc, char *argv[])
{
  if (argc != 4)
  {
    LOGGER_INFO("Usage: %s ./yolov5_main model_path ./label size\n ./label_txt");
  }
  obj_class_num = atoi(argv[2]);
  lable = argv[3];
  // Rknn model
  char text[16];
  // rknn上下文结构体
  rknn_app_context_t rknn_app_ctx;
  object_detect_result_list od_results;
  int ret;
  const char *model_path = argv[1];
  memset(&rknn_app_ctx, 0, sizeof(rknn_app_context_t));

  // Step 1: Load RKNN model
  if (init_yolov5_model(model_path, &rknn_app_ctx) != 0)
  {
    printf("❌ Failed to load RKNN model!\n");
    return -1;
  }
  printf("✅ RKNN model loaded successfully.\n");

  // 加载标签文件
  init_post_process();

  // 打开摄像头
  lockzhiner_vision_module::edit::Edit edit;
  if (!edit.StartAndAcceptConnection())
  {
    std::cerr << "Error: Failed to start and accept connection." << std::endl;
    return EXIT_FAILURE;
  }

  cv::VideoCapture cap;
  cap.set(cv::CAP_PROP_FRAME_WIDTH, 640);
  cap.set(cv::CAP_PROP_FRAME_HEIGHT, 480);
  cap.open(0);

  if (!cap.isOpened())
  {
    std::cerr << "Error: Could not open camera." << std::endl;
    return 1;
  }
  cv::Mat frame;
  // 在 while 循环外声明 start 和 end 变量
  std::chrono::steady_clock::time_point start, end;

  while (true)
  {
    // 记录开始时间
    start = std::chrono::steady_clock::now();
    // Step 2: Load image from command line
    cap >> frame;
    if (frame.empty())
    {
      LOGGER_INFO("❌ Failed to read frame from camera.\n");
      continue;
    }
    cv::resize(frame, frame, cv::Size(width, height), 0, 0, cv::INTER_LINEAR);
    cv::Mat letterboxImage = letterbox(frame);

    if (letterboxImage.empty() || letterboxImage.total() * letterboxImage.elemSize() != model_width * model_height * 3)
    {

      LOGGER_ERROR("❌ Input image format or size mismatch!\n");
      release_yolov5_model(&rknn_app_ctx);
      return -1;
    }

    if (rknn_app_ctx.input_mems == nullptr || rknn_app_ctx.input_mems[0] == nullptr)
    {

      LOGGER_ERROR("❌ RKNN input memory not allocated!\n");
      release_yolov5_model(&rknn_app_ctx);
      return -1;
    }

    memcpy(rknn_app_ctx.input_mems[0]->virt_addr, letterboxImage.data, model_width * model_height * 3);

    if (inference_yolov5_model(&rknn_app_ctx, &od_results) != 0)
    {
      LOGGER_ERROR("inference_yolov5_model failed");
      release_yolov5_model(&rknn_app_ctx);
      return -1;
    }

    draw_detections(od_results.count,	// 传入结果数量
            od_results.results, // 传入结果数组
            frame,				// 图像帧
            mapCoordinates);	// 直接使用现有坐标映射函数

    edit.Print(frame);
    // 记录结束时间
    end = std::chrono::steady_clock::now();
    // 计算耗时（秒）
    double elapsed_time = std::chrono::duration<double>(end - start).count();
    printf("Frame processed in %.4f seconds\n", elapsed_time);
  }
  release_yolov5_model(&rknn_app_ctx);
  deinit_post_process();
  cap.release();
  return 0;
}

后处理代码可前往gitee 仓库查看,太懒了，不想 CV

结果展示

开发者生态支持

• ✅ 关注 更新日志 获取最新模型支持
• ❓ 遇到问题？欢迎提交 Issue

---

文档版本：v1.0
最后更新时间：2025年5月15日