YOLOv12改进策略【注意力机制篇】| 引入MobileNetv4中的Mobile MQA,轻量化注意力模块 提高模型效率(二次改进A2C2f)

一、本文介绍

本文记录的是基于Mobile MQA模块的YOLOv12目标检测改进方法研究MobileNetv4中的Mobile MQA模块是用于模型加速,减少内存访问的模块,相比其他全局的自注意力,其不仅加强了模型对全局信息的关注,同时也显著提高了模型效率。

文章目录

  • 一、本文介绍
  • 二、Mobile MQA注意力原理
  • 三、Mobile MQA的实现代码
  • 四、创新模块
    • 4.1 改进点⭐
  • 五、添加步骤
    • 5.1 修改一
    • 5.2 修改二
    • 5.3 修改三
  • 六、yaml模型文件
    • 6.1 模型改进⭐
  • 七、成功运行结果


二、Mobile MQA注意力原理

在论文《MobileNetV4 - Universal Models for the Mobile Ecosystem》中,提出了Mobile MQA

一、原理

  1. 基于MQA改进并结合不对称空间下采样
    • MQA(Multi-Query Attention)简化了传统的多头注意力机制,通过共享keysvalues来减少内存访问需求。在移动混合模型中,当批量大小较小时,这种方式能有效提高运算强度。
    • 借鉴MQA中对querieskeysvalu

你可能感兴趣的:(YOLOv12改进专栏,YOLOv12,计算机视觉,深度学习,目标检测)