助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统
井盖、店杆、光交箱、通信箱、标石等为城市中常见部件，在方便居民生活的同时，因为后期维护的不及时往往会出现一些“井盖吃人”、“线杆、电杆、线缆伤人”事件。造成这类问题的原因是客观的多方面的，这也是城市化进程不断发展进步的过程中难以完全避免的问题，相信随着城市化的发展完善相应的问题会得到妥善解决。本文的核心目的并不是要来深度分析此类问题形成的深度原因等，而是考虑如何从技术的角度来助力此类问题的解决，这里我们的核心思想是想要基于实况的数据集来开发构建自动化的检测识别模型，对于摄像头所能覆盖的视角内存在的对应设施部件进行关注计算，后期，在业务应用层面可以考虑设定合理的规则和预警逻辑，结合AI的自动检测识别能力来对可能出现的损坏、倒塌、折断等问题进行及时的预警，通知到相关的工程技术人员来进行维护处理，在源头端尽可能地降低可能的损害，感觉这是一个不错的技术与实际生活场景相结合的落地点。
在前文中我们已经进行了相关的项目开发实践，感兴趣的话可以自行移步阅读：
《助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于DETR(DEtection TRansformer)开发构建生活场景下城市部件检测识别系统》
《助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv3开发构建生活场景下城市部件检测识别系统》
《助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv4开发构建生活场景下城市部件检测识别系统》
本文主要是选择YOLOv5来开发实现检测模型，这里我们开发了五个不同参数量级的模型，首先看下实例效果：
接下来看下数据集情况：
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第1张图片](http://img.e-com-net.com/image/info8/287bb1429ce94ab495a0b141c1e7b5eb.jpg)
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第2张图片](http://img.e-com-net.com/image/info8/49143e5fb7574409b328b905cde8754a.jpg)
本文是选择的是YOLOv5算法模型来完成本文项目的开发构建。相较于前两代的算法模型，YOLOv5可谓是集大成者，达到了SOTA的水平，下面简单对v3-v5系列模型的演变进行简单介绍总结方便对比分析学习:
【YOLOv3】
YOLOv3（You Only Look Once version 3）是一种基于深度学习的快速目标检测算法，由Joseph Redmon等人于2018年提出。它的核心技术原理和亮点如下：
技术原理：
YOLOv3采用单个神经网络模型来完成目标检测任务。与传统的目标检测方法不同，YOLOv3将目标检测问题转化为一个回归问题，通过卷积神经网络输出图像中存在的目标的边界框坐标和类别概率。
YOLOv3使用Darknet-53作为骨干网络，用来提取图像特征。检测头（detection head）负责将提取的特征映射到目标边界框和类别预测。
亮点：
YOLOv3在保持较高的检测精度的同时，能够实现非常快的检测速度。相较于一些基于候选区域的目标检测算法（如Faster R-CNN、SSD等），YOLOv3具有更高的实时性能。
YOLOv3对小目标和密集目标的检测效果较好，同时在大目标的检测精度上也有不错的表现。
YOLOv3具有较好的通用性和适应性，适用于各种目标检测任务，包括车辆检测、行人检测等。
【YOLOv4】
YOLOv4是一种实时目标检测模型，它在速度和准确度上都有显著的提高。相比于其前一代模型YOLOv3，YOLOv4在保持较高的检测精度的同时，还提高了检测速度。这主要得益于其采用的CSPDarknet53网络结构，主要有三个方面的优点：增强CNN的学习能力，使得在轻量化的同时保持准确性；降低计算瓶颈；降低内存成本。YOLOv4的目标检测策略采用的是“分而治之”的策略，将一张图片平均分成7×7个网格，每个网格分别负责预测中心点落在该网格内的目标。这种方法不需要额外再设计一个区域提议网络（RPN），从而减少了训练的负担。然而，尽管YOLOv4在许多方面都表现出色，但它仍然存在一些不足。例如，小目标检测效果较差。此外，当需要在资源受限的设备上部署像YOLOv4这样的大模型时，模型压缩是研究人员重新调整较大模型所需资源消耗的有用工具。
优点：
速度：YOLOv4 保持了 YOLO 算法一贯的实时性，能够在检测速度和精度之间实现良好的平衡。
精度：YOLOv4 采用了 CSPDarknet 和 PANet 两种先进的技术，提高了检测精度，特别是在检测小型物体方面有显著提升。
通用性：YOLOv4 适用于多种任务，如行人检测、车辆检测、人脸检测等，具有较高的通用性。
模块化设计：YOLOv4 中的组件可以方便地更换和扩展，便于进一步优化和适应不同场景。
缺点：
内存占用：YOLOv4 模型参数较多，因此需要较大的内存来存储和运行模型，这对于部分硬件设备来说可能是一个限制因素。
训练成本：YOLOv4 模型需要大量的训练数据和计算资源才能达到理想的性能，这可能导致训练成本较高。
精确度与速度的权衡：虽然 YOLOv4 在速度和精度之间取得了较好的平衡，但在极端情况下，例如检测高速移动的物体或复杂背景下的物体时，性能可能会受到影响。
误检和漏检：由于 YOLOv4 采用单一网络对整个图像进行预测，可能会导致一些误检和漏检现象。
【YOLOv5】
YOLOv5是一种快速、准确的目标检测模型，由Glen Darby于2020年提出。相较于前两代模型，YOLOv5集成了众多的tricks达到了性能的SOTA：
技术原理：
YOLOv5同样采用单个神经网络模型来完成目标检测任务，但采用了新的神经网络架构，融合了领先的轻量级模型设计理念。YOLOv5使用较小的骨干网络和新的检测头设计，以实现更快的推断速度，并在不降低精度的前提下提高目标检测的准确性。
亮点：
YOLOv5在模型结构上进行了改进，引入了更先进的轻量级网络架构，因此在速度和精度上都有所提升。
YOLOv5支持更灵活的模型大小和预训练选项，可以根据任务需求选择不同大小的模型，同时提供丰富的数据增强扩展、模型集成等方法来提高检测精度。YOLOv5通过使用更简洁的代码实现，提高了模型的易用性和可扩展性。
训练数据配置文件如下：
# Dataset
path: ./dataset
train:
- images/train
val:
- images/test
test:
- images/test
# Classes
names:
0: biaoshi
1: diangan
2: guangjiaoxiang
3: renjing实验截止目前，本文将YOLOv5系列五款不同参数量级的模型均进行了开发评测，接下来依次看下模型详情：
【yolov5n】
# YOLOv5 by Ultralytics, GPL-3.0 license
# Parameters
nc: 4 # number of classes
depth_multiple: 0.33 # model depth multiple
width_multiple: 0.25 # layer channel multiple
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
# YOLOv5 v6.0 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3, [1024]],
[-1, 1, SPPF, [1024, 5]], # 9
]
# YOLOv5 v6.0 head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 4], 1, Concat, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14], 1, Concat, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, Concat, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]【yolov5s】
# YOLOv5 by Ultralytics, GPL-3.0 license
# Parameters
nc: 4 # number of classes
depth_multiple: 0.33 # model depth multiple
width_multiple: 0.50 # layer channel multiple
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
#Backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3, [1024]],
[-1, 1, SPPF, [1024, 5]], # 9
]
#Head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 4], 1, Concat, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14], 1, Concat, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, Concat, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]【yolov5m】
# YOLOv5 by Ultralytics, GPL-3.0 license
# Parameters
nc: 4 # number of classes
depth_multiple: 0.67 # model depth multiple
width_multiple: 0.75 # layer channel multiple
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
# YOLOv5 v6.0 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3, [1024]],
[-1, 1, SPPF, [1024, 5]], # 9
]
# YOLOv5 v6.0 head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 4], 1, Concat, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14], 1, Concat, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, Concat, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]【yolov5l】
# YOLOv5 by Ultralytics, GPL-3.0 license
# Parameters
nc: 4 # number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 # layer channel multiple
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
# YOLOv5 v6.0 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3, [1024]],
[-1, 1, SPPF, [1024, 5]], # 9
]
# YOLOv5 v6.0 head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 4], 1, Concat, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14], 1, Concat, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, Concat, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]【yolov5x】
# YOLOv5 by Ultralytics, GPL-3.0 license
# Parameters
nc: 4 # number of classes
depth_multiple: 1.33 # model depth multiple
width_multiple: 1.25 # layer channel multiple
anchors:
- [10,13, 16,30, 33,23] # P3/8
- [30,61, 62,45, 59,119] # P4/16
- [116,90, 156,198, 373,326] # P5/32
# YOLOv5 v6.0 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [64, 6, 2, 2]], # 0-P1/2
[-1, 1, Conv, [128, 3, 2]], # 1-P2/4
[-1, 3, C3, [128]],
[-1, 1, Conv, [256, 3, 2]], # 3-P3/8
[-1, 6, C3, [256]],
[-1, 1, Conv, [512, 3, 2]], # 5-P4/16
[-1, 9, C3, [512]],
[-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
[-1, 3, C3, [1024]],
[-1, 1, SPPF, [1024, 5]], # 9
]
# YOLOv5 v6.0 head
head:
[[-1, 1, Conv, [512, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 6], 1, Concat, [1]], # cat backbone P4
[-1, 3, C3, [512, False]], # 13
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 4], 1, Concat, [1]], # cat backbone P3
[-1, 3, C3, [256, False]], # 17 (P3/8-small)
[-1, 1, Conv, [256, 3, 2]],
[[-1, 14], 1, Concat, [1]], # cat head P4
[-1, 3, C3, [512, False]], # 20 (P4/16-medium)
[-1, 1, Conv, [512, 3, 2]],
[[-1, 10], 1, Concat, [1]], # cat head P5
[-1, 3, C3, [1024, False]], # 23 (P5/32-large)
[[17, 20, 23], 1, Detect, [nc, anchors]], # Detect(P3, P4, P5)
]在实验训练开发阶段，所有的模型均保持完全相同的参数设置，等待训练完成后，来整体进行评测对比分析。
【F1值曲线】
F1值曲线是一种用于评估二分类模型在不同阈值下的性能的可视化工具。它通过绘制不同阈值下的精确率（Precision）、召回率（Recall）和F1分数的关系图来帮助我们理解模型的整体性能.F1分数是精确率和召回率的调和平均值，它综合考虑了两者的性能指标。F1值曲线可以帮助我们确定在不同精确率和召回率之间找到一个平衡点，以选择最佳的阈值。
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第3张图片](http://img.e-com-net.com/image/info8/3140ca0fce4741f4a08dd301a82d64c0.jpg)
【loss曲线】
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第4张图片](http://img.e-com-net.com/image/info8/203deeeeb41145e687a0f8a2e051e1fd.jpg)
【Precision曲线】
精确率曲线（Precision-Recall Curve）是一种用于评估二分类模型在不同阈值下的精确率性能的可视化工具。它通过绘制不同阈值下的精确率和召回率之间的关系图来帮助我们了解模型在不同阈值下的表现。精确率（Precision）是指被正确预测为正例的样本数占所有预测为正例的样本数的比例。召回率（Recall）是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第5张图片](http://img.e-com-net.com/image/info8/8fe6d3ac19814fcb979b7739fa1dbcfa.jpg)
【Recall曲线】
召回率曲线（Recall Curve）是一种用于评估二分类模型在不同阈值下的召回率性能的可视化工具。它通过绘制不同阈值下的召回率和对应的精确率之间的关系图来帮助我们了解模型在不同阈值下的表现。召回率（Recall）是指被正确预测为正例的样本数占所有实际为正例的样本数的比例。召回率也被称为灵敏度（Sensitivity）或真正例率（True Positive Rate）。
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第6张图片](http://img.e-com-net.com/image/info8/12183932c1a24686be4128e8fee9747b.jpg)
整体对比分析不难发现：在本文我们自主构建的数据集上五款不同参数量级的模型没有呈现出来断崖式的性能差异，纵向对比来看：n系列的模型性能最差，s系列次之，而m、l和x三个系列的模型则达到了相近的水平，结合推理速度来考虑的话实际项目中，如果算力受限的话更加推荐使用s系列的模型，反之则更加倾向于优先选择使用m系列的模型。
这里以s系列模型为基准实例推理效果如下：
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第7张图片](http://img.e-com-net.com/image/info8/c976c10290ba4b37953e30b4bfbc1ae1.jpg)
数据分布可视化如下所示：
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第8张图片](http://img.e-com-net.com/image/info8/d4ffc60abd54448184671ebc74346436.jpg)
整体训练可视化如下所示：
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第9张图片](http://img.e-com-net.com/image/info8/4127d31f70594bad89abd741fdc32125.jpg)
混淆矩阵如下：
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第10张图片](http://img.e-com-net.com/image/info8/55ce1c6ce33e49cca89ccd54ae06d4c3.jpg)
batch实例如下：
![助力城市部件[标石/电杆/光交箱/人井]精细化管理，基于YOLOv5全系列模型【n/s/m/l/x】开发构建生活场景下城市部件检测识别系统_第11张图片](http://img.e-com-net.com/image/info8/2ccbf4bb0762485e80b7a5c44fa7fc0b.jpg)
在实际应用开发的时候可以考虑如何更好地基于目标检测模型的检测计算结果来产生业务上的有效事件，这里大都是需要结合业务需求来设定合理有效的规则和预警逻辑的，这里暂时不是本文的重点，感兴趣的话都可以自行动手尝试下！