CN115410111A - 一种应用于边缘设备基于结构重参数化的安全帽检测方法 - Google Patents

Abstract

本发明涉及一种应用于边缘设备基于结构重参数化的安全帽检测方法，包括以下步骤：1)构建稠密重参数化模块；2)构建适用于安全帽检测的标准YOLOv3‑tiny模型与训练数据集；3)对标准YOLOv3‑tiny模型进行重构并训练；4)将训练好的重构模型等价转换为推理模型，并进行安全帽检测。与现有技术相比，本发明具有实时性高、准确率高、泛化能力强，能够避免梯度弥散与梯度***，降低特征冗余度，提升网络的学习能力等优点。

Description

一种应用于边缘设备基于结构重参数化的安全帽检测方法

技术领域

本发明涉及深度神经网络结构重参数化技术与目标检测技术领域，尤其是涉及一种应用于边缘设备基于结构重参数化的安全帽检测方法。

背景技术

工程、建筑等行业是典型的劳动密集型行业，其工作环境复杂、安全事故多发，物体高空坠落导致脑部外伤死亡是建筑业的常见典型事故，安全帽作为一种有效的安全防护设备，可以阻挡高处坠落物体的冲击能量，减少头部震击伤害，被广泛应用于施工现场。在工地安全管理中，对安全帽佩戴行为进行实时准确的监管是及其重要的环节。工地安全管理要求检测设备体积小、可移动性强，因而常使用嵌入式边缘计算设备，从而导致了安全帽检测算法在实时性和准确率上的欠缺。

国内外已有许多工作针对安全帽的自动识别技术进行了研究，Dalal等人首次提出了通过提取梯度直方图特征来实现对安全帽的自动检测；冯杰等结合Adaboost分类器检测安全帽位置，根据人与安全帽的位置关系来判断安全帽的是否佩戴；胡恬等在着重分析小波变换和深度学习在安全帽识别中应用的基础上，提出了神经网络安全帽识别模型；刘晓慧等采用肤色检测的方法定位人脸，再利用支持向量机(SVM)实现安全帽的识别；刘云波等通过检测运动目标的上1/3部分中像素点色度值分布情况，判断是否佩戴安全帽。以上方法虽在特定场景下可以实现对安全帽较为精确的识别，但仍存在对环境要求高、实时性差、泛化能力弱、用户操作过程复杂等问题。

近年来，随着深度学习技术的深入研究与应用普及，以YOLOv3(You Only LookOnce V3)模型为代表的深度网络目标检测方法，不仅具有良好的实时性，同时具有较高的准确性。然而，复杂多样的卷积结构，导致网络结构碎片化，网络复杂度增加，特征冗余度高，内存存取效率低下，灵活性差，这严重阻碍了基于YOLOv3的安全帽检测算法在弱算力、低内存的边缘智能设备上的部署应用。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种应用于边缘设备基于结构重参数化的安全帽检测方法。

本发明的目的可以通过以下技术方案来实现：

一种应用于边缘设备基于结构重参数化的安全帽检测方法，该方法包括以下步骤：

1)构建稠密重参数化模块；

2)构建适用于安全帽检测的标准YOLOv3-tiny模型与训练数据集；

3)对标准YOLOv3-tiny模型进行重构并训练；

4)将训练好的重构模型等价转换为推理模型，并进行安全帽检测。

所述的步骤1)具体包括以下步骤：

11)定义基本单元；

12)构建变换结构；

13)构建学习结构；

14)构建稠密重参数化模块DR-Block：该稠密重参数化模块DR-Block由1个变换结构级联1个学习结构构成，变换结构的参数为F_trans(x;C_{rep_in})，学习结构的参数为F_learn(x_learn;2×C_{rep_in},C_{rep_out},K_rep,S_rep)，且x_learn＝F_trans(x;C_{rep_in})，则该构建稠密重参数化模块DR-Block记为F_rep(x;C_{rep_in},C_{rep_out},K_rep,S_rep)。

所述的步骤11)中，基本单元由1个卷积层级联1个批归一化层构成，记为F_basic(x;C_{basic_in},C_{basic_out},K_basic,S_basic)，其中，x为输入，C_{basic_in}为输入通道数、C_{basic_out}为输出通道数、K_basic为卷积核大小、S_basic为步长。具体地，卷积层的输入通道数为C_{basic_in}，输出通道数为C_{basic_out}，卷积核大小为K_basic，批归一化层作用通道数为C_{basic_out}。

所述的步骤12)具体为：

首先级联4个基本单元，形成深层级联网络结构，实现网络过参数化，然后在任意两个基本单元之间添加跳跃连接以实现不同层级特征的模型集成，最后将每个基本单元的输出拼接为一体，记为F_trans(x;C_{trans_in})。

所述的步骤13)中，学习结构由1个基本单元构成，记为F_learn(x;C_{learn_in},C_{learn_out},K_learn,S_learn)。

所述的步骤2)具体包括以下步骤：

21)在施工现场和网络图片中采集并标注安全帽检测数据集，进行标准数据预处理；

22)搭建标准YOLOv3-tiny模型，并将检测类别数设定为2，具体为未佩戴安全帽人体和已佩戴安全帽人体。

所述的步骤3)具体包括以下步骤：

31)对于标准YOLOv3-tiny模型中所有非1×1卷积层及其级联的批归一化层替换为稠密重参数化模块DR-Block，替换后的重构模型记为DR-Net；对于标准YOLOv3-tiny模型中输入通道数为C_in，输出通道数为C_out，卷积核为K(K≠1)，步长为S的卷积，替换为F_rep(x;C_in,C_out,K,S)；

32)采用安全帽检测数据集，通过YOLOv3-tiny标准训练参数与训练策略，对重构模型DR-Net进行训练。

所述的步骤4)具体包括以下步骤：

41)将基本单元转换为单一卷积层，基本单元中卷积的权重记作w_conv，批归一化层的均值记作μ，标准差为σ，缩放系数为γ，偏移系数为β，则重构后的单一卷积层F′_basic的权重为

偏置为

42)将使用跳跃连接的卷积转换为单一卷积层，转换后的单一卷积层F′_{skip_connect}的权重为w′＝concat([w_prev,w])，偏置为b′＝concat([b_prev,b])，其中，concat表示级联操作，w_prev为等效卷积的权重，b_prev为等效卷积的偏置，w为被转换卷积的权重，b为被转换卷积的偏置；

43)将两个级联的卷积转换为单一卷积层；

44)将变换结构转换为单一1×1卷积层，按照步骤41)将变换结构中的所有卷积转换为单一卷积层，然后按照步骤42)依次将所有跳跃连接重构为单一卷积层，最终得到与整个变换结构等效的单一卷积层F′_trans；

45)将DR-Block转换为单一卷积层；

46)将DR-Net中所有的DR-Block按照步骤45)全部转换为单一卷积层，从而获得部署所需的推理阶段结构；

47)提取现场图像帧，输入步骤46)得到的模型中进行安全帽检测，并输出检测结果。

所述的步骤43)具体为：

首先将第一个卷积的权重w₁的第一和第二维度转置，结果记作w₁′，则重构后的单一卷积层F′_cascade的权重为w′＝Conv2d(w₂,w₁′)，偏置为b′＝b₂+(b₁×w₂)，其中，Conv2d表示二维卷积操作，b₁为第一个卷积的偏置，w₂为第二个卷积的权重，b₂为第二个卷积的偏置。

所述的步骤45)具体为：

首先按照步骤44)将变换结构转换为单一卷积层F′_trans，然后将单一卷积层F′_trans与学习结构的级联结构，按照步骤43转换为单一卷积层F′_rep，F′_rep即为DR-Block重参数化后的单一卷积层结构。

与现有技术相比，本发明具有以下优点：

一、针对现有基于深度学习的安全帽检测算法实时性不足，本发明采用yolov3-tiny网络进行训练与推理，实现高实时性。

二、YOLOv3-tiny网络因追求实时性，网络深度较浅，准确率不高，本发明采用网络重参数化方法，对网络的训练阶段与推理阶段进行解耦，在训练阶段使用复杂结构进行模型学习，提高网络准确率，在推理阶段将复杂结构等价转化为原yolov3-tiny简单结构，复原网络的实时性。

三、因训练数据有限，模型泛化能力不足，本发明通过在网络重参数化结构中加入深层级联结构，实现网络过参数化、增大模型容量，从而对网络产生隐式正则化作用，提高了原模型的泛化能力。

四、深度网络因层数较多，梯度回传存在弥散与***问题，训练缓慢且不易收敛，现有方法没有从实质上改变网络深度，也没有对回传梯度进行额外处理，而本发明通过多层级联的批归一化层，对回传梯度进行了多级分布调整，更好的保证了梯度回传的有效性，在一定程度上避免了梯度弥散与梯度***。

五、由于深度网络参数较多，存在大量冗余，网络的学习能力被削弱，现有方法主要通过设计不同尺度和复杂度的多分支结构来增强单个卷积层的表达能力，但引入了大量特征冗余，影响了对性能的提升能力，而本方法通过稠密连接，实现了不同层级特征的模型集成，大大降低了特征冗余度，提升了网络的学习能力，进一步提高了原模型的准确率。

附图说明

图1为本发明的方法设计流程图。

图2为DR-Block结构与重参数化变换图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，本发明提供一种应用于边缘设备基于结构重参数化的安全帽检测方法，包括以下步骤：

首先，按照如下步骤构建稠密重参数化模块

S1、定义“基本单元”：该“基本单元”的参数为：输入为x，输入通道数C_{basic_in}、输出通道数C_{basic_out}、卷积核大小K_basic、步长为S_basic，该“基本单元”包括1个卷积层级联1个批归一化层，其中，卷积层的输入通道数为C_{basic_in}，输出通道数为C_{basic_out}，卷积核大小为K_basic；批归一化层作用通道数为C_{basic_out}，记“基本单元”为F_basic(x;C_{basic_in},C_{basic_out},K_basic,S_basic)；

S2、在S1基础上，构建“变换结构”：该“变换结构”的参数为输入为x、输入通道数C_{trans_in}、输出通道数2×C_{trans_in}，该“变换结构”包括：首先级联4个“基本单元”，从而形成深层级联网络结构，用于实现网络过参数化，引入隐式正则化效应，增大模型容量；其中，多层批归一化层的引入，使得重参数化模块对网络回传梯度进行有效调整，避免梯度消失和梯度***，其中，第i个“基本单元”的参数为

然后在任意两个“基本单元”之间添加跳跃连接，用于实现不同层级特征的模型集成，从而降低特征冗余度；最后将每个“基本单元”的输出拼接为一体，记“变换结构”为F_trans(x;C_{trans_in})；

S3、在S1基础上，定义“学习结构”，用于提取重要特征，并扩大感受野：该“学习结构”的参数为输入为x、输入通道数C_{learn_in}、输出通道数C_{learn_out}、卷积核大小K_learn、步长为S_learn。该结构包括：1个“基本单元”，其参数为F_learn(x;C_{learn_in},C_{learn_out},K_learn,S_learn)；

S4、在S2与S3基础上，构建“稠密重参数化模块(densely reparametrizedblock)”，记为DR-Block，该DR-Block的参数为：输入为x、输入通道数C_{rep_in}、输出通道数C_{rep_out}、卷积核大小K_rep、步长为S_rep。该DR-Block包括1个“变换结构”级联1个“学习结构”，其中，“变换结构”的参数为F_trans(x;C_{rep_in})，“学习结构”的参数为F_learn(x_learn;2×C_{rep_in},C_{rep_out},K_rep,S_rep)，其中，x_learn＝F_trans(x;C_{rep_in})，将DR-Block记作F_rep(x;C_{rep_in},C_{rep_out},K_rep,S_rep)。

第二，构建适用于安全帽检测的YOLOv3-tiny模型与训练数据集

S5、在施工现场和网络图片中采集、标注安全帽检测数据集，并进行标准数据预处理；

S6、搭建标准YOLOv3-tiny模型，并将检测类别数设定为2(两类：未佩戴安全帽人体、已佩戴安全帽人体)；

第三，按照如下步骤对YOLOv3-tiny原模型进行重构并训练

S7、给定S6中搭建好的网络模型，将原模型中所有非1×1卷积层及其级联的批归一化层替换为DR-Block，替换后的模型记为DR-Net，对于原参数为输入通道数为C_in，输出通道数为C_out，卷积核为K(K≠1)，步长为S的卷积，替换为F_rep(x;C_in,C_out,K,S)；

S8、使用S5制作好的数据集，利用YOLOv3-tiny标准训练参数与训练策略，对S7中重构后的模型进行训练；

最后，按照如下步骤将训练好的重构模型等价转换为推理模型，并进行检测

S9、将“基本单元”转换为单一卷积层，“基本单元”中卷积的权重记作w_conv；批归一化层的均值记作μ，标准差为σ，缩放系数为γ，偏移系数为β；则重构后的单一卷积层F′_basic，其权重为

偏置为

S10、基于S9，将使用跳跃连接的卷积转换为单一卷积层。结构的输入可表示为原始输入x经过等效卷积F_prev得来，将等效卷积的权重记作w_prev，偏置记作b_prev；将该结构中卷积的权重记作w，偏置记作b。则转换后的单一卷积层F′_{skip_connect}，其权重为w′＝concat([w_prev,w])，偏置为b′＝concat([b_prev,b])，其中concat表示级联操作；

S11、基于S10，将两个级联的卷积转换为单一卷积层。将第一个卷积的权重记作w₁，偏置记作b₁；第二个卷积的权重记作w₂，偏置记作b₂。首先将w₁的第一和第二维度转置，结果记作w₁′，则重构后的单一卷积层F′_cascade，其权重为w′＝Conv2d(w₂,w₁′)，偏置为b′＝b₂+(b₁×w₂)，其中Conv2d表示二维卷积操作。

S12：基于S11，将“变换结构”转换为单一1×1卷积层。首先按照S9，将“变换结构”中的所有卷积转换为单一卷积层；然后按照S10依次将所有跳跃连接重构为单一卷积层；最终得到与整个“变换结构”等效的单一卷积层F′_trans。

S13、基于S12，将DR-Block转换为单一卷积层。首先按照S12将“变换结构”转换为单一卷积层F′_trans；然后将F′_trans与“学习结构”的级联结构，按照S11转换为单一卷积层F′_rep。F′_rep即为DR-Block重参数化后的单一卷积层结构；

S14、最后将DR-Net中所有的DR-Block按S13全部转换为单一卷积层，从而获得部署所需的推理阶段结构；

S15、提取现场图像帧，输入S14得到的模型中进行安全帽检测，并输出检测结果。

表1显示了本发明在安全帽检测数据集上的实验结果，结果表明本发明可以在不改变原方法网络结构，不增加额外推理开销的情况下，以即插即用的方式，对边缘设备上的安全帽检测任务的准确率具有提升作用。

表1本发明对安全帽检测算法准确率的提升效果

指标	[email protected]	[email protected]
			原始模型	78.1	92.1
DR-Block	81.2(↑3.1)	96.4(↑4.3)

由于DR-Block是即插即用的，因而，本发明能够应用于多种任务，促进深度网络在边缘设备上的高效部署与实时计算。

综上，本发明针对边缘设备上安全帽检测算法的性能提升问题，设计了稠密线性复合结构，用来在训练阶段代替安全帽检测算法的卷积，并在推理阶段重构为原模型简单卷积，从而在保证推理速度不变的情况下，实现性能提升。

本发明首先构建了稠密网络重参数化结构(DR-Block)，该结构首先通过深层级联结构，实现网络过参数化，增大模型容量，从而对网络产生隐式正则化作用，提高了原模型的泛化能力；其次利用级联的批归一化层，对回传梯度进行了多级分布调整，更好的保证了梯度回传的有效性，在一定程度上避免了梯度弥散与梯度***；最后通过稠密连接，实现了不同层级特征的模型集成，大大降低了特征冗余度，提高了对原模型的学习能力。其次，本发明构建了实时性极强的yolov3-tiny网络，并使之适配于安全帽检测任务。随后，本发明将yolov3-tiny网络的训练和推理结构进行结构，在训练阶段利用DR-Block替换原网络卷积并进行训练，实现网络性能提升；最后，将DR-Block等价转换为原yolov3-tiny网络的简单卷积，从而在不增加额外推理开销的情况下，实现性能提升，并针对安全帽检测任务进行部署应用。

Claims (10)

1.一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，该方法包括以下步骤：

1)构建稠密重参数化模块；

2)构建适用于安全帽检测的标准YOLOv3-tiny模型与训练数据集；

3)对标准YOLOv3-tiny模型进行重构并训练；

4)将训练好的重构模型等价转换为推理模型，并进行安全帽检测。

2.根据权利要求1所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤1)具体包括以下步骤：

11)定义基本单元；

12)构建变换结构；

13)构建学习结构；

14)构建稠密重参数化模块DR-Block：该稠密重参数化模块DR-Block由1个变换结构级联1个学习结构构成，变换结构的参数为F_trans(x；C_{rep_in})，学习结构的参数为F_learn(x_learn；2×C_{rep_in}，C_{rep_out}，K_rep，S_rep)，且x_learn＝F_trans(x；C_{rep_in})，则该构建稠密重参数化模块DR-Block记为F_rep(x；C_{rep_in}，C_{rep_out}，K_rep，S_rep)。

3.根据权利要求2所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤11)中，基本单元由1个卷积层级联1个批归一化层构成，记为F_basic(x；C_{basic_in}，C_{basic_out}，K_basic，S_basic)，其中，x为输入，C_{basic_in}为输入通道数、C_{basic_out}为输出通道数、K_basic为卷积核大小、S_basic为步长；具体地，卷积层的输入通道数为C_{basic_in}，输出通道数为C_{basic_out}，卷积核大小为K_basic，批归一化层作用通道数为C_{basic_out}。

4.根据权利要求3所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤12)具体为：

首先级联4个基本单元，形成深层级联网络结构，实现网络过参数化，然后在任意两个基本单元之间添加跳跃连接以实现不同层级特征的模型集成，最后将每个基本单元的输出拼接为一体，记为F_trans(x；C_{trans_in})。

5.根据权利要求4所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤13)中，学习结构由1个基本单元构成，记为F_learn(x；C_{learn_in}，C_{learn_out}，K_learn，S_learn)。

6.根据权利要求1所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤2)具体包括以下步骤：

21)在施工现场和网络图片中采集并标注安全帽检测数据集，进行标准数据预处理；

22)搭建标准YOLOv3-tiny模型，并将检测类别数设定为2，具体为未佩戴安全帽人体和已佩戴安全帽人体。

7.根据权利要求6所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤3)具体包括以下步骤：

31)对于标准YOLOv3-tiny模型中所有非1×1卷积层及其级联的批归一化层替换为稠密重参数化模块DR-Block，替换后的重构模型记为DR-Net；对于标准YOLOv3-tiny模型中输入通道数为C_in，输出通道数为C_out，卷积核为K(K≠1)，步长为S的卷积，替换为F_rep(x；C_in；C_out，K，S)；

32)采用安全帽检测数据集，通过YOLOv3-tiny标准训练参数与训练策略，对重构模型DR-Net进行训练。

8.根据权利要求2所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤4)具体包括以下步骤：

41)将基本单元转换为单一卷积层，基本单元中卷积的权重记作w_conv，批归一化层的均值记作μ，标准差为σ，缩放系数为γ，偏移系数为β，则重构后的单一卷积层F′_basic的权重为

偏置为

42)将使用跳跃连接的卷积转换为单一卷积层，转换后的单一卷积层F′_{skip_connect}的权重为w′＝concat([w_prev，w])，偏置为b′＝concat([b_prev，b])，其中，concat表示级联操作，w_preu为等效卷积的权重，b_prev为等效卷积的偏置，w为被转换卷积的权重，b为被转换卷积的偏置；

43)将两个级联的卷积转换为单一卷积层；

44)将变换结构转换为单一1×1卷积层，按照步骤41)将变换结构中的所有卷积转换为单一卷积层，然后按照步骤42)依次将所有跳跃连接重构为单一卷积层，最终得到与整个变换结构等效的单一卷积层F′_trans；

45)将DR-Block转换为单一卷积层；

46)将DR-Net中所有的DR-Block按照步骤45)全部转换为单一卷积层，从而获得部署所需的推理阶段结构；

47)提取现场图像帧，输入步骤46)得到的模型中进行安全帽检测，并输出检测结果。

9.根据权利要求8所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤43)具体为：

首先将第一个卷积的权重w₁的第一和第二维度转置，结果记作w₁′，则重构后的单一卷积层F′_cascade的权重为w′＝Conv2d(w₂，w₁′)，偏置为b′＝b₂+(b₁×w₂)，其中，Conv2d表示二维卷积操作，b₁为第一个卷积的偏置，w₂为第二个卷积的权重，b₂为第二个卷积的偏置。

10.根据权利要求8所述的一种应用于边缘设备基于结构重参数化的安全帽检测方法，其特征在于，所述的步骤45)具体为：

首先按照步骤44)将变换结构转换为单一卷积层F′_trans，然后将单一卷积层F′_trans与学习结构的级联结构，按照步骤43转换为单一卷积层F′_rep，F′_rep即为DR-Block重参数化后的单一卷积层结构。

Images