CRAS-YOLO：多类别船舶检测与分类模型

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

目前，基于卫星图像的多类别船舶检测和分类由于在军事和民用领域的重要应用而备受关注。

01

前景概要

在今天分享中，我们团队在FUSAR船舶数据集和SimpleCopyPaste方法的基础上生成了一个新的Artificial-SAR-Vessel数据集中。我们进一步提出了一种新的多类船检测，称为CRAS-YOLO，它由卷积块注意力模块（CBAM）、感受野块（RFB）和基于YOLOv5s的自适应空间特征融合（ASFF）组成。CRAS-YOLO改进了基于路径聚合网络（PANet）的特征金字塔网络，该网络集成了RFB特征增强模块和ASFF特征融合策略，以获得更丰富的特征信息，并实现多尺度特征的自适应融合。同时，在骨干中增加了CBAM，以准确定位船只位置，提高检测能力。

结果证实，CRAS-YOLO模型的准确度、召回率和平均准确度（mAP）（0.5）分别高达90.4%、88.6%和92.1%。所提出的模型在另一个Sar船舶检测（SSDD）数据集中的精度、召回率和mAP得分分别高达97.3%、95.5%和98.7%，也优于先前的研究结果。

02

项目背景

如今，深度学习已经突破了传统目标检测算法的瓶颈，成为检测的主流算法。深度学习方法不需要在SAR图像中分离海洋和陆地，只需要通过标记的数据集进行训练，在目标检测方面具有很大的优势。目前流行的目标检测算法有两种类型。一种是基于区域推荐的两阶段目标检测算法，其中代表性的方法有基于区域的卷积神经网络（R-CNN）、Fast R-CNN和Faster R-CNN。其主要思想是利用选择性搜索方法来生成建议区域，然后在建议区域中进行回归分类。另一种是一阶段目标检测算法，它将检测问题简化为回归问题，只需要卷积神经网络就可以直接获得目标的类概率和位置坐标。代表性算法包括YOLO、SSD、Retina-Net等。YOLO系列算法通常比其他算法更快，对小目标检测效果良好。它们是经典的一阶段检测方法，通常比其他算法具有更快的识别速度，并且在小目标检测中表现出优异的检测能力。

迄今为止公开发布的上述SAR船舶探测数据集大多只包含船舶位置数据，缺乏船舶类别数据。同时，唯一一个名为SRSDD的公共多类别船舶检测数据集存在严重的类别不平衡问题，严重影响了船舶检测的准确性。因此，我们在研究中，基于FusarShip数据集和HAISI-1卫星拍摄的海面远程合成孔径雷达（SAR）图像的组合，生成了一个新的数据集，称为Artificial-SAR-Vessel据集。创新性地将SimpleCopyPaste方法引入到数据集的构建中，希望对SAR船舶检测数据集进行补充，为船舶检测数据缺乏的问题提供新的解决方案。

03

新研究框架介绍

我们研究的CRAS-YOLO是为了在给定SAR图像的情况下，在精确定位船只位置和提高检测能力方面提供高性能而形成的。下图中的流程图显示了所提出的CRAS-YOLO是如何开发的。

首先，生成了Artificial-SAR-Vessel数据集。其次，通过在YOLOv5s网络中添加CBAM、RFB和ASFF，形成了所提出的CRAS-YOLO模型。接下来，给出了性能度量，以评估所提出的模型与其他模型相比的性能。最后，将所开发的CRAS-YOLO模型应用于基于卫星图像的船舶探测。

在我们的研究中，提出的CRAS-YOLO船舶检测和分类模型基于YOLOv5s，通过在PANet（RA PANet）中添加RFB和ASFF来改进FPN，以获得更丰富的特征信息，并实现多尺度特征的自适应融合。拟议的CRAS-YOLO还将CBAM集成到网络的颈部。CRAS-YOLO的完整网络结构如下图所示。

注意机制主要包括空间注意和渠道注意。SE和ECA是渠道关注机制的代表。CA是空间注意机制的代表。CBAM融合了通道和空间注意力机制，具有良好的性能。我们将CBAM插入颈部结构中，以实现更有效的特征提取。从下图中，CBAM通过通道模块和空间模块提取特征信息，并使用串行结构融合特征信息。

从下图中，首先，输入特征图通过通道模块生成通道权重，并将获得的权重与输入相乘以生成通道图。接下来，将通道特征图导入空间模块以生成空间权重，并将权重与导入的特征图相乘以生成空间图。最后，将最终的加权特征图和原始输入逐元素相加，得到最终的输出结果，详细的CBAM结构如图所示。

浅层滤波器提取的特征包含更具体的特征信息。因此，我们在浅层集成了CBAM，以从浅层特征图中学习和选择重要特征，提高船舶的定量性能。

SAR图像特征图的可视化。（a） 通过滤波器从RA PANet的骨干网络中提取的特征图的可视化。（b） 从浅层到深层的小型船舶特征图的可视化。

RFB特征增强模块网络结构

ASFF网络结构

04

实验及可视化

CRAS-YOLO与其他模型的实验结果比较

基于CRAS-YOLO模型的船舶检测结果：上面三张分别是复杂海岸背景下的船舶测试结果，下面三张分别是深海中稀疏分布的船舶测试成果。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~