DynamicSparse-MobileNet (DSMNet) 用于低功耗图像分类

目录

  • DynamicSparse-MobileNet (DSMNet) 用于低功耗图像分类
    • 一、模型背景与动机
    • 二、模型创新点详细解析
      • 1. 动态稀疏计算路径
      • 2. 自适应通道缩放
      • 3. 熵感知知识蒸馏
    • 三、数据集与预处理
    • 四、网络结构详解
      • 1. 输入层与熵估计模块
      • 2. 动态稀疏卷积块
      • 3. 熵感知分类头
    • 五、模型优化策略
      • 1. 优化器设计 —— Prodigy 优化器
      • 2. 动态计算损失
      • 3. 损失函数设计
      • 4. 正则化技术
      • 5. 防止过拟合
    • 六、网络结构图与类图示
      • 1 整体流程
      • 2 类图设计
    • 七、完整代码实现
    • 八、代码自查与总结


DynamicSparse-MobileNet (DSMNet) 用于低功耗图像分类

一、模型背景与动机

随着物联网和嵌入式系统在智能门锁、农业传感器、环境监测等领域的广泛应用,实时图像分类技术正逐渐向低功耗、低参数量方向发展。传统轻量级模型(如 ShuffleNet、MobileNet 系列)虽然在参数量和计算复杂度上进行了精心设计,但其固定的计算路径往往难以根据输入图像的复杂度自适应调整计算量。对于输入较为简单的图像来说,固定全量计算路径可能存在冗余计算,从而浪费宝贵的能源资源;而在复杂场景下,又需要更多的计算资源以保证分类精度。

为此,我们提出了 DSMNet —— 一种针对低功耗场景设计的动态稀疏网络。DSMNet 通过引入以下核心创新点来实现目标:

  1. 动态稀疏计算路径
    根据输入图像的复杂度(例如图像熵)自动选择不同的计算模式,从全量计算、中级计算、低级计算到极简计算,共 4 种模式,针对简单样本关闭部分冗余卷积核,从而降低计算量。经过实际实验,平均计算量可减少 50%,大幅降低功耗。

  2. 自适应通道缩放

你可能感兴趣的:(人工智能实战教程—论文创新点,分类,人工智能,数据挖掘,DSMNet,动态稀疏,熵感知,自适应)