CN116935473A - 基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及*** - Google Patents

Abstract

本发明属于作业安全监测的技术领域，尤其涉及一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，包括图像采集、图像增强及标注，构建数据集并进行随机划分；对YOLO v7模型进行改进；对改进后的YOLO v7模型进行训练，得到训练完成的模型，并对模型进行评估；将模型部署到可视化监拍设备***，进行实时检测并判断是否发出警告。所述对YOLO v7模型进行改进包括新增特征提取层、在特征提取之后增加SimAM模块、改进ELAN和MP模块、采用归一化Wasserstein距离和损失惩罚项改进的SIoU损失函数、引入可变形卷积和轻量化的深度可分离卷积以及自监督蒸馏。本发明解决了模型样本数据需求高、精度不够高、训练时间长、模型复杂等问题，实时监测，降低了工地的安全风险。

Description

基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及 ***

技术领域

本发明属于作业安全监测的技术领域，尤其涉及一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***。

背景技术

安全帽是用于施工场地的头部防护用品，能够保护使用者免受坠落物、小型飞溅物等因素引起的头部伤害。近年来，由于不佩戴安全帽或佩戴不规范等原因，安全生产事故频频发生，其背后的影响不容小觑，不仅会给家庭带来巨大的痛苦，也会给企业带来巨大的损失。施工场地背景复杂，安全帽存在遮挡、图像中安全帽尺寸不一，尺寸在图像中所占比例为0.02％-30％，如何规范佩戴安全帽、保障员工和企业双方利益，一直是各方关注和追求的目标。因此，研究佩戴安全帽的监测算法具有重大意义和广泛应用价值。

传统的计算机视觉方法包括目标检测、特征提取和分类等技术。常用的目标检测算法有Haar特征分类器和HOG+SVM等，这些算法主要依靠手工设计的特征和分类器进行安全帽的检测和识别。此外，还可以使用基于颜色和形状等特征的检测算法。这些算法可以通过对大量数据的训练和优化来提高安全帽佩戴的检测和识别准确率。但是，这些传统方法的准确率受到很大限制，容易受到光线、角度等环境因素的影响，对于复杂场景的安全帽佩戴检测效果不佳。

近年来，深度学习技术在安全帽佩戴检测方面得到广泛应用。常用的深度学习模型有卷积神经网络(CNN)、区域卷积神经网络(RCNN)和YOLO等。这些模型不需要手工提取特征，而是直接从原始图像中学习特征，并进行安全帽佩戴的检测和识别。与传统方法相比，深度学习方法的准确率较高，对于复杂场景的安全帽佩戴检测效果也更好。但是，深度学习方法需要大量的训练数据，训练时间长，而且模型较为复杂，计算速度存在瓶颈。

发明内容

本发明针对复杂场景下安全帽佩戴检测所存在的技术问题，提出一种设计合理、方法简单、理论性强且能够解决精度不够高、训练时间长、模型复杂等问题的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***。

为了达到上述目的，本发明采用的技术方案为：本发明提供一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，包括以下步骤：

S1、图像采集：通过图像采集设备对复杂背景下的图像数据进行采集，所述图像数据为复杂背景下正确佩戴安全帽、未正确佩戴安全帽以及未佩戴安全帽的图像；

S2、对所获得的图像进行数据增强达到扩充样本的目的，并对数据增强后的图像使用labelImg进行标注，将所获得的图像和标注制作成YOLO v7模型所需格式，得到数据集；

S3、将数据集按照一定比例随机划分为训练集、验证集和测试集；

S4、对YOLO v7模型进行改进：包括新增加一个特征提取层、增加SimAM模块、改进ELAN和MP模块以及改进损失函数，所述改进损失函数，基于SIoU函数添加归一化Wasserstein距离(NWD)、IOU损失惩罚项ε，距离损失和形状损失惩罚项α，得到Loss的最终计算公式为：

Loss＝(1-β)(1-NWD(N_A,N_B))+β(1-IoU^ε+(1-α)Δ+αΩ)

其中，Δ为距离损失，Ω为形状损失，β是NWD的权重比例系数，ε为IoU损失惩罚项，α为距离损失和形状损失惩罚项；

S5、对改进后的YOLO v7模型进行训练，得到训练完成的模型，并对模型进行评估：基于自监督蒸馏使用训练集对改进后的YOLO v7模型进行训练，得到训练完成的模型后对模型进行评估；

S6、将模型部署到可视化监拍设备***，进行实时检测并判断是否发出警告：在进行实时检测时，若检测到未佩戴安全帽或未正确佩戴安全帽，则监拍设备发出警告。

作为优选，所述步骤S2的数据增强采用随机裁剪和Mosaic技术；

作为优选，所述步骤S4的具体改进为：

S4.1所述新增加一个特征提取层，是在原有的三个提取层的基础上，新增一个尺度为160×160的特征提取层，形成四尺度预测；

S4.2所述增加SimAM模块，是在特征提取之后添加四个无参数的SimAM模块；

S4.3所述改进ELAN和MP模块，是引入可变形卷积(Deformable Convolution)和深度可分离卷积(DWConv)，基于可变形卷积、BN以及SiLU构建DCBS模块，基于DWConv、BN以及SiLU构建DWBS模块，组建新的DELAN模块和DWMP模块；

S4.4所述改进损失函数，基于SIoU函数添加归一化Wasserstein距离(NWD)、IoU损失惩罚项ε，距离损失和形状损失惩罚项α，其中NWD的计算公式为：

其中，是距离度量，C是一个常数，N_A为预测框A的高斯分布模型，N_B为真实框B的高斯分布模型。添加惩罚项ε和α，得到最终Loss的计算公式为：

Loss＝(1-β)(1-NWD(N_A,N_B))+β(1-IoU^ε+(1-α)Δ+αΩ)

其中，Δ为距离损失，Ω为形状损失，β是NWD的权重比例系数，ε为IoU损失惩罚项，α为距离损失和形状损失惩罚项。

作为优选，所述步骤S5的自监督蒸馏是不提前训练一个teacher网络模型，而是student网络本身的训练完成一个蒸馏过程，所述蒸馏过程具体是先开始训练student模型，在整个训练过程的最后几个epoch的时候，利用前面训练的student作为监督模型，在剩下的epoch中，对模型进行蒸馏。

作为优选，所述步骤S5的评估指标为：

其中，P和R分别代表精确率和召回率，TP为识别结果为真且实际也为真的数量，FP为识别结果为真但实际为假的数量，FN为识别结果为假但实际为真的数量；AP为单个目标类的平均精度，由P，R和坐标轴围成的面积计算得到；mAP表示对所有目标类的AP求取的均值，其中N代表所有目标类的数量；F1值是精确度和召回率的调和平均数。

与现有技术相比，本发明的优点和积极效果在于：

1、本发明通过新增特征提取层、在特征提取之后增加SimAM模块以及采用增加归一化Wasserstein距离和损失惩罚项改进的SIoU损失函数，用于提高模型的性能；

2、本发明通过引入可变形卷积和轻量化的深度可分离卷积，基于可变形卷积、BN以及SiLU构建DCBS模块，基于DWConv、BN以及SiLU构建DWBS模块，组建轻量化的DELAN模块和DWMP模块，在保证模型性能的情况下降低模型的复杂度，提高计算速度；

3、本发明通过数据增强减少了数据采集的样本量，通过引入自监督蒸馏，减少模型的训练时间。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的流程图；

图2为本发明实施例提供的改进的YOLO v7的模型结构图；

图3为本发明实施例提供的DCBS、DWBS模块结构图；

图4为本发明实施例提供的DELAN模块图；

图5为本发明实施例提供的DWMP模块图；

图6为本发明实施例提供的自监督蒸馏结构示意图；

图7为本发明实施例提供的可视化监拍设备***工作流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

如图1、图2所示，本实施例提供一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，以解决现有复杂背景下安全帽佩戴实时检测所存在的技术问题。

考虑到复杂背景指安全帽存在遮挡、图像中安全帽尺寸不一，尺寸在图像中所占比例为0.02％-30％，这其中的小目标容易受干扰导致漏检的情况，深度学习算法需要大量的样本进行训练，所以首先进行图像采集，通过监控探头等图像采集设备对图像进行采集共挑选出3000张图像，图像为复杂背景下正确佩戴安全帽、未正确佩戴安全帽以及未佩戴安全帽的图像。

因挑选出的图像数量不能保证模型的训练结果理想，所以考虑采用随机裁剪和Mosaic技术进行数据增强扩充样本，然后使用labelImg对数据集进行标注，将所获得的图像和标注制作成YOLO v7模型所需格式，得到数据集，之后将数据集按照7：2：1的比例随机划分为训练集、验证集和测试集。

然后，考虑到YOLO v7模型需要较长的训练时间，而且模型较为复杂，计算速度存在瓶颈，需要在保证精度情况下，对模型进行轻量化处理，为此对YOLO v7模型进行改进。因增加特征提取层，形成四尺度预测，可以增加模型针对图像中尺寸不同的安全帽的目标检测尺度以及安全帽颜色特征的提取，提高模型的对安全帽的识别准确性，所以新增一个特征提取层。SimAM模块是一种概念简单且非常有效的3D注意力机制模块，可以实现不引入额外学习参数的情况下更高效地评估图像中安全帽的特征权重，实现安全帽是否佩戴以及是否正确佩戴的精确识别与定位，提高基础模型的性能。在神经科学中，信息丰富的神经元比周围神经元表现出更活跃的状态，同时对周围神经元产生抑制。所以考虑在特征提取之后添加四个无参数的SimAM模块，利用能量函数高效评估提取安全帽特征的重要性，增强了有效信息同时抑制无关特征的干扰，提高了模型定位能力与识别能力。可变形卷积(Deformable Convolution)能够使感受野随着拍摄角度、形状和尺寸的不同而改变，通过偏移量与局部或全局交互，具有长距离建模能力，通过调指标量和偏移量根据输入不同进行学习进而变化，具备类似自适应空间聚合能力，增强算子的表达能力，同时共享了卷积权重，降低算法的复杂度，通过归一化调制标量，提高训练过程的稳定性。DWConv能够将模型体积和计算量压缩，大大降低了对部署设备计算能力的要求。NWD可以提高对远距离的安全帽目标对象的检测能力，SIoU加入了预测框与真实框之间的向量角度并且重新定义了损失函数，给SIoU损失函数中的IoU损失增加惩罚项可以提高安全帽目标在回归过程中的权重。给SIoU中的距离损失和形状损失增加惩罚项，可以使损失函数自适应的调整形状损失在损失函数中的占比。所以对YOLO v7的改进包括新增加一个特征提取层、增加SimAM模块、改进ELAN和MP模块以及改进损失函数。

具体的，新增加一个特征提取层，如图2所示，是在原有的三个提取层的基础上，新增一个尺度为160×160的特征提取层，形成四尺度预测；增加SimAM模块，如图2所示，是在特征提取之后添加四个无参数的SimAM模块；所述改进ELAN和MP模块，如图3、图4和图5所示，引入可变形卷积(Deformable Convolution)和深度可分离卷积(DWConv)，基于可变形卷积、BN以及SiLU构建DCBS模块，基于DWConv、BN以及SiLU构建DWBS模块，组建新的DELAN模块和DWMP模块；改进损失函数，基于SIoU函数添加归一化Wasserstein距离(NWD)、IoU损失惩罚项ε，距离损失和形状损失惩罚项α，其中NWD的计算公式为：

其中，是距离度量，C是一个常数，N_A为预测框A的高斯分布模型，N_B为真实框B的高斯分布模型。添加惩罚项ε和α，得到最终Loss的计算公式为：

Loss＝(1-β)(1-NWD(N_A,N_B))+β(1-IoU^ε+(1-α)Δ+αΩ)

其中，Δ为距离损失，Ω为形状损失，β是NWD的权重比例系数，ε为IoU损失惩罚项，α为距离损失和形状损失惩罚项。

接着，对改进后的YOLO v7模型进行训练，得到训练完成的模型，并对模型进行评估：基于自监督蒸馏使用训练集对改进后的YOLO v7模型进行训练，得到训练完成的模型后对模型进行评估。

具体的，如图6所示，自监督蒸馏是不提前训练一个安全帽佩戴或者未正确佩戴检测的teacher网络模型，而是student网络本身的训练完成一个蒸馏过程，蒸馏过程具体是先开始训练student模型，在整个训练过程的最后几个epoch的时候，利用前面训练的student作为监督模型，在剩下的epoch中，对安全帽检测模型进行蒸馏。评估指标为：

其中，P和R分别代表精确率和召回率，TP为识别结果为真且实际也为真的数量，FP为识别结果为真但实际为假的数量，FN为识别结果为假但实际为真的数量；AP为单个目标类的平均精度，由P，R和坐标轴围成的面积计算得到；mAP表示对所有目标类的AP求取的均值，其中N代表所有目标类的数量；F1值是精确度和召回率的调和平均数。

最后，如图7所示，模型部署到可视化监拍设备***，进行实时检测并判断是否发出警告：在进行实时检测时，若检测到未佩戴安全帽或未正确佩戴安全帽，则监拍设备发出警告。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，其特征在于，包括以下步骤：

S1、图像采集：通过图像采集设备对复杂背景下的图像数据进行采集，所述图像数据为复杂背景下正确佩戴安全帽、未正确佩戴安全帽以及未佩戴安全帽的图像；

S2、对所获得的图像进行数据增强达到扩充样本的目的，并对数据增强后的图像使用labelImg进行标注，将所获得的图像和标注制作成YOLO v7模型所需格式，得到数据集；

S3、将数据集按照一定比例随机划分为训练集、验证集和测试集；

S4、对YOLO v7模型进行改进：包括新增加一个特征提取层、增加SimAM模块、改进ELAN和MP模块以及改进损失函数，所述改进损失函数，基于SIoU函数添加归一化Wasserstein距离(NWD)、IOU损失惩罚项ε，距离损失和形状损失惩罚项α，得到Loss的最终计算公式为：

Loss＝(1-β)(1-NWD(N_A,N_B))+β(1-IoU^ε+(1-α)Δ+αΩ)

其中，Δ为距离损失，Ω为形状损失，β是NWD的权重比例系数，ε为IoU损失惩罚项，α为距离损失和形状损失惩罚项；

S5、对改进后的YOLO v7模型进行训练，得到训练完成的模型，并对模型进行评估：基于自监督蒸馏使用训练集对改进后的YOLO v7模型进行训练，得到训练完成的模型后对模型进行评估；

S6、将模型部署到可视化监拍设备***，进行实时检测并判断是否发出警告：在进行实时检测时，若检测到未佩戴安全帽或未正确佩戴安全帽，则监拍设备发出警告。

2.根据权利要求1所述的基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，其特征在于，所述步骤S2的数据增强采用随机裁剪和Mosaic技术。

3.根据权利要求1所述的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，其特征在于，所述步骤S4的具体改进为：

S4.1所述新增加一个特征提取层，是在原有的三个提取层的基础上，新增一个尺度为160×160的特征提取层，形成四尺度预测；

S4.2所述增加SimAM模块，是在特征提取之后添加四个无参数的SimAM模块；

S4.3所述改进ELAN和MP模块，是引入可变形卷积(Deformable Convolution)和深度可分离卷积(DWConv)，基于可变形卷积、BN以及SiLU构建DCBS模块，基于DWConv、BN以及SiLU构建DWBS模块，组建新的DELAN模块和DWMP模块；

S4.4所述改进损失函数，基于SIoU函数添加归一化Wasserstein距离(NWD)、IoU损失惩罚项ε，距离损失和形状损失惩罚项α，其中NWD的计算公式为：

其中，是距离度量，C是一个常数，N_A为预测框A的高斯分布模型，N_B为真实框B的高斯分布模型。添加惩罚项ε和α，得到最终Loss的计算公式为：

Loss＝(1-β)(1-NWD(N_A,N_B))+β(1-IoU^ε+(1-α)Δ+αΩ)

其中，Δ为距离损失，Ω为形状损失，β是NWD的权重比例系数，ε为IoU损失惩罚项，α为距离损失和形状损失惩罚项。

4.根据权利要求1所述的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，其特征在于，所述步骤S5的自监督蒸馏是不提前训练一个teacher网络模型，而是student网络本身的训练完成一个蒸馏过程，所述蒸馏过程具体是先开始训练student模型，在整个训练过程的最后几个epoch的时候，利用前面训练的student作为监督模型，在剩下的epoch中，对模型进行蒸馏。

5.根据权利要求1所述的一种基于改进YOLO v7的复杂背景下安全帽佩戴实时检测方法及***，其特征在于，所述步骤S5的评估指标为：

其中，P和R分别代表精确率和召回率，TP为识别结果为真且实际也为真的数量，FP为识别结果为真但实际为假的数量，FN为识别结果为假但实际为真的数量；AP为单个目标类的平均精度，由P，R和坐标轴围成的面积计算得到；mAP表示对所有目标类的AP求取的均值，其中N代表所有目标类的数量；F1值是精确度和召回率的调和平均数。