CN111507276B - 一种基于隐藏层增强特征的工地安全帽检测方法 - Google Patents

Abstract

本发明涉及一种基于隐藏层增强特征的工地安全帽检测方法，该方法以隐藏层的方式，把上一次图像的卷积特征融合到当前帧的卷积特征，减少因为光线变化、遮挡而容易丢失的目标，同时引入FGRM模块对输出的目标检测结果作进一步修正。该方法有利于提高工地安全帽检测的准确性。

Description

一种基于隐藏层增强特征的工地安全帽检测方法

技术领域

本发明属于图像分析领域，具体涉及一种基于隐藏层增强特征的工地安全帽检测方法。

背景技术

当前人工智能领域的研究和突破给图像处理、视频处理、语音识别带来了巨大的突破。工地安全帽分析作为人体姿态识别、行为识别、人体跟踪等任务的延伸，在智慧工地的建设中具有很高的应用价值。

工地安全帽检测是在检测算法的基础上，判别人体是否佩戴安全帽。为了实现这一目标，当前有以下几种方法：

第一种方法，基于机器学习的方法，通过提取人体头部图像的Hog特征结合支持向量机模型实现对是否佩戴安全帽进行检测。该方法目前只适用于闸机通道的检测，面对雨雪天气复杂的工地的巡检任务显得力不从心。

第二种方法，借助两阶段深度学习算法，在人体检测的基础上截取人体数据，对该数据做出二次的判断。这种基于二阶段分析的方法可以达到较好的准确性，但是这种方法需要较长的处理时间，无法完成视频实时处理。同时当人体的扭曲、遮挡等情况出现时，其鲁棒性有待进一步提高。

第三种方法，在一阶段深度学习目标检测算法的基础上，把人体与安全帽分开检测。这种做法可以充分利用当前已经比较成熟的一阶段目标检测算法，可以做到实时检测，不过它也存在检测准确度不如二阶段算法以及无法有效利用前一帧的检测信息的缺点。

发明内容

本发明的目的在于提供一种基于隐藏层增强特征的工地安全帽检测方法，该方法有利于提高工地安全帽检测的准确性。

为实现上述目的，本发明采用的技术方案是：一种基于隐藏层增强特征的工地安全帽检测方法，其特征在于，包括如下步骤：

步骤1：获取用于训练安全帽分析网络模型的原始图像，并获取原始图像中的人体坐标、头坐标和安全帽坐标信息；对各原始图像及其中的坐标信息进行图像增广处理，得到增广图像数据；最后对各图像及其中的坐标信息进行归一化处理后，以匹配数据对的方式进行存储，作为训练数据集；

步骤2：对于训练数据集中各图像，基于设定尺寸的画布，将尺寸大于画布的图像在保持图像长宽比的前提下调整图像大小至图像中的长边占满画布，并填充画布中未填满图像的部分；对于小于画布的图像，将图形直接贴到画布中心，并填充画布中未填满图像的部分；

步骤3：构建基于卷积神经网络的安全帽分析网络模型，对于输入的图像，先通过骨干网络提取图像特征值，进而得到第一阶段的检测特征图H_conv_1_t；通过连接第一阶段的检测特征图与骨干网络中的中间特征得到第二阶段的检测特征图H_conv_2_t；通过连接第二阶段的检测特征图与骨干网络中的中间特征得到第三阶段的检测特征图H_conv_3_t；(H_conv_1_t,H_conv_2_t,H_conv_3_t)构成网络的隐藏状态Z_t，作为卷积特征输出；

所述卷积神经网络中负责提取特征的骨干网络由四大块特征提取模块组成，四大块特征提取模块通过级联的方式提取特征，每个模块包含3个卷积模块以及1个3x3的最大池化层；每个卷积模块包括一个卷积层，一个批正则化层和一个LeakyRelu激活函数；其中一个大卷积块的计算公式为：

F＝R(BN(W_n*Q_n+B_n))

其中R表示非线性激活函数，BN表示批归一化函数，W_n、B_n分别表示特征提取阶段中卷积层的权重和偏置，Q_n表示上一个卷积输出的特征图，F表示当前特征提取阶段得到的输出结果；

步骤4：获取步骤3的卷积特征输出Z_t后，将其与上一次的卷积特征输出，即隐藏状态Z_t-1进行元素对应相乘，得到初步检测结果；

步骤5：通过FGRM模块修正网络输出的初步检测结果，然后对FGRM模块输出结果做非极大值抑制NMS，得到最终输出结果；

步骤6：将训练过程分为预设的多个子训练周期，采用步进增长策略依次进行子训练周期的训练；每完成一个子训练周期后逐步减小学习率；当完成一个子训练周期后生成的目标检测框与其对应的标定数据存在较大出入时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再返回步骤2继续训练；当完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后，则完成训练，得到训练好的安全帽分析网络模型；

步骤7：采用训练好的安全帽分析网络模型对待测的视频图像进行检测，以判断人体是否佩戴安全帽。

进一步地，所述步骤1的具体方法为：

选取要采集的工地视频，通过抽帧的方式获取图像作为输入的原始图像X_t，且如果相邻两张图像来自同一个视频，则为相邻帧；获取各图像中的三类坐标：人体坐标P(x,y,w,h)，安全帽坐标H(x,y,w,h)，头坐标T(x,y,w,h)，其中，x、y为相应的中心点的横、纵坐标，w、h为相应的框的宽、高；对各原始图像及其中的坐标信息进行包括左右翻转以及随机改变亮度、色度饱和度的图像增广处理，得到大量的增广图片数据；对各图像及其中的坐标信息进行归一化到0～1之间的浮点数的处理后，以匹配数据对{X_t,P(x,y,w,h),H(x,y,w,h),T(x,y,w,h)}的方式进行存储，作为深度学习的训练数据集。

进一步地，所述步骤4中，对于第一次隐藏状态Z_t-1包含3个高维矩阵分别为：H_conv_1_t-1、H_conv_2_t-1、H_conv_3_t-1分别取值为全0.5的矩阵；当t>1时，Z_t-1取值为从上一次输入获取的中间的卷积神经网络输出H_conv_1_t-1、H_conv_2_t-1、H_conv_3_t-1；通过上一次的卷积特征输出与当前获取的卷积特征进行元素级别的矩阵相乘，然后进行检测结果修正。

进一步地，所述步骤5中，所述FGRM模块包含三个部分：目标特征图生成、内核偏移量提取和局部上下文信息提取，通过FGRM模块对检测结果进行修正，包括以下步骤：

步骤51：通过通道分解，把步骤4的输出分解为目标特征图C_1x与内核偏移量B_1x(Δx,Δy,Δwidth,Δheight)，其中Δx、Δy、Δwidth、Δheight为检测到的目标框参数；

步骤52：通过对C_1x做3x3的最大值池化配合sigmoid函数得到O_1x，按如下公式进行特征增强：

F_m＝F_in⊙O_1x+F_in

其中，F_in为输入特征，⊙为元素对应相乘运算，F_m为获取到的增强特征；

步骤53：内核偏移量B_1x(Δx,Δy,Δwidth,Δheight)中，只取Δx、Δy通道作为特征精化的输入，通过1x1的卷积获取输出结果Δp_k，最后将内核偏移量用作可变形卷积的输入，以引导特征采样并与精化锚点对齐，其计算公式如下：

其中，f^1×1表示1x1的卷积，

表示取B_1x的Δx、Δy通道；

步骤54：在FGRM模块中进行所有操作后，获得最终的精炼特征F_rf：

其中，p₀表示最终精炼特征图F_rf中的每个空间位置，d为膨胀率；w表示可变形卷积参数，R是一个采样输入特征的规则网格(即，如果内核是3×3，则膨胀率1，R＝(-1，-1)，(-1，0)，...，(0，1)，(1，1)，p_k为参数选取的位置)；最终的改进特征F_rf是由w加权的采样值的总和；Δp_k是内核偏移量，用于扩展常规采样网格，从而增强CNN建模几何转换的能力；在所述FGRM模块中，偏移量由目标模块的上一次回归生成，即由步骤4的输出获得；利用从目标模块预测的偏移量B_1x优化原始锚点位置，采用精炼位置和精炼特征F_rf执行多类分类C_2x和框回归B_2x。

相较于现有技术，本发明具有以下有益效果：提供了一种基于隐藏层增强特征的工地安全帽检测方法，该方法以隐藏层的方式，把上一次图像的卷积特征融合到当前帧的卷积特征，使得因为光线变化、遮挡而容易丢失的目标大大减少。同时引入FGRM模块对输出的目标检测结果做了进一步微调，使该方法对于工地安全帽的检测更鲁棒，更准确可靠。

附图说明

图1是本发明实施例的工地安全帽检测方法的网络架构图。

图2是本发明实施例中FGRM模块的结构示意图。

图3是本发明实施例中骨干网络的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

本发明提供了一种基于隐藏层增强特征的工地安全帽检测方法，包括如下步骤：

步骤1：获取用于训练安全帽分析网络模型的原始图像，并获取原始图像中的人体坐标、头坐标和安全帽坐标信息；对各原始图像及其中的坐标信息进行图像增广处理，得到增广图像数据；最后对各图像及其中的坐标信息进行归一化处理后，以匹配数据对的方式进行存储，作为训练数据集。

为了训练安全帽分析网络模型，选取要采集的工地视频，通过抽帧的方式获取图像作为输入的原始图像X_t，且如果相邻两张图像来自同一个视频，则为相邻帧；获取各图像中的三类坐标：人体坐标P(x,y,w,h)，安全帽坐标H(x,y,w,h)，头坐标T(x,y,w,h)，其中，x、y为相应的中心点的横、纵坐标，w、h为相应的框的宽、高；对各原始图像及其中的坐标信息进行包括左右翻转以及随机改变亮度、色度饱和度的图像增广处理，得到大量的增广图片数据；对各图像及其中的坐标信息进行归一化到0～1之间的浮点数的处理后，以匹配数据对{X_t,P(x,y,w,h),H(x,y,w,h),T(x,y,w,h)}的方式进行存储，作为深度学习的训练数据集。本发明对增广后的2D坐标做了归一化处理，归一化到0-1之间的浮点数，从而可以进一步提升模型的收敛速度，提升模型精度，防止梯度***。

步骤2：对于训练数据集中各图像，基于设定尺寸的画布，将尺寸大于画布的图像在保持图像长宽比的前提下调整图像大小至图像中的长边占满画布，并填充画布中未填满图像的部分；对于小于画布的图像，将图形直接贴到画布中心，并填充画布中未填满图像的部分。

在本实施例中，输入画布大小为832*480，即宽为832，高为480。对于尺寸大于832*480的图像输入，采用等比例压缩图像分辨率的方法压缩图像到一边占满画布，同时采用0.5填充未填满的画布。对于小于画布大小的图像，直接贴图到画布中心，同时采用0.5填充未填满的画布。

步骤3：构建基于卷积神经网络的安全帽分析网络模型，网络整体结构如图1所示。对于输入的图像，先通过骨干网络提取图像特征值，进而得到第一阶段的检测特征图H_conv_1_t；通过连接第一阶段的检测特征图与骨干网络中的中间特征得到第二阶段的检测特征图H_conv_2_t；通过连接第二阶段的检测特征图与骨干网络中的中间特征得到第三阶段的检测特征图H_conv_3_t；(H_conv_1_t,H_conv_2_t,H_conv_3_t)构成网络的隐藏状态Z_t，作为卷积特征输出。

所述卷积神经网络中负责提取特征的骨干网络由四大块特征提取模块组成，如图3所示。四大块特征提取模块通过级联的方式提取特征，每个模块包含3个卷积模块以及1个3x3的最大池化层；每个卷积模块包括一个卷积层，一个批正则化层和一个LeakyRelu激活函数；其中一个大卷积块的计算公式为：

F＝R(BN(W_n*Q_n+B_n))

其中R表示非线性激活函数，BN表示批归一化函数，W_n、B_n分别表示特征提取阶段中卷积层的权重和偏置，Q_n表示上一个卷积输出的特征图，F表示当前特征提取阶段得到的输出结果。

步骤4：获取步骤3的卷积特征输出Z_t后，将其与上一次的卷积特征输出，即隐藏状态Z_t-1进行元素对应相乘，得到初步检测结果。如果是第一帧输入的图像，没有上一层输出，将数据全部初始化为0.5，减少每次运行的判断操作。

对于第一次隐藏状态Z_t-1包含3个高维矩阵分别为：H_conv_1_t-1、H_conv_2_t-1、H_conv_3_t-1分别取值为全0.5的矩阵；当t>1时，Z_t-1取值为从上一次输入获取的中间的卷积神经网络输出H_conv_1_t-1、H_conv_2_t-1、H_conv_3_t-1；通过上一次的卷积特征输出与当前获取的卷积特征进行元素级别的矩阵相乘，然后进行检测结果修正。

步骤5：通过FGRM模块修正网络输出的初步检测结果。

所述FGRM模块(Feature Guided Refinement Module)包含三个部分：目标特征图生成、内核偏移量提取和局部上下文信息提取，通过FGRM模块对检测结果进行修正，如图2所示，包括以下步骤：

步骤51：通过通道分解，把步骤4的输出分解为目标特征图C_1x与内核偏移量B_1x(Δx,Δy,Δwidth,Δheight)，其中Δx、Δy、Δwidth、Δheight为检测到的目标框参数；

步骤52：通过对C_1x做3x3的最大值池化配合sigmoid函数得到O_1x，按如下公式进行特征增强：

F_m＝F_in⊙O_1x+F_in

其中，F_in为输入特征，⊙为元素对应相乘运算，F_m为获取到的增强特征；

步骤53：内核偏移量B_1x(Δx,Δy,Δwidth,Δheight)中，只取Δx、Δy通道作为特征精化的输入，通过1x1的卷积获取输出结果Δp_k，最后将内核偏移量用作可变形卷积的输入，以引导特征采样并与精化锚点对齐，其计算公式如下：

其中，f^1×1表示1x1的卷积，

表示取B_1x的Δx、Δy通道；

步骤54：在FGRM模块中进行所有操作后，获得最终的精炼特征F_rf：

为了更好的获得图像的上下文信息，本发明采用了可变形卷积。其中，p₀表示最终精炼特征图F_rf中的每个空间位置，d为膨胀率；w表示可变形卷积参数，R是一个采样输入特征的规则网格(即，如果内核是3×3，则膨胀率1，R＝(-1，-1)，(-1，0)，...，(0，1)，(1，1)，p_k为参数选取的位置)；最终的改进特征F_rf是由w加权的采样值的总和；Δp_k是内核偏移量，用于扩展常规采样网格，从而增强CNN建模几何转换的能力。传统的获得偏移做法是，通过在同一输入特征图上应用卷积层来获得偏移。在所述FGRM模块中，偏移量由目标模块的上一次回归生成，即由步骤4的输出获得；利用从目标模块预测的偏移量B_1x优化原始锚点位置，采用精炼位置和精炼特征F_rf执行多类分类C_2x和框回归B_2x。

然后对FGRM模块输出结果做非极大值抑制NMS，得到最终输出结果。

每个结果包含(1+4+class)*3个通道的输出，其中1代表用1个通道表示是目标的概率，4个通道代表4目标框的核心参数x、y、width、height通道，class为需要检测类别的数量(本文取值为3)，最后3个通道为需要依据3层anchors去提取目标。

步骤6：将训练过程分为预设的多个子训练周期，采用步进增长策略依次进行子训练周期的训练；每完成一个子训练周期后逐步减小学习率；当完成一个子训练周期后生成的目标检测框与其对应的标定数据存在较大出入时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再返回步骤2继续训练；当完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后，则完成训练，得到训练好的安全帽分析网络模型。

在原始图片缩放成小图片的基础上开始训练，并佐以大学习率。在训练周期结束后增大输入图片，再减小学习率再次进行训练。以此类推，这样可以让分辨率更高的图片在低分辨率图片的基础上增强精度，增加网络的鲁棒性。

步骤7：采用训练好的安全帽分析网络模型对待测的视频图像进行检测，以判断分析人体是否佩戴安全帽。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于隐藏层增强特征的工地安全帽检测方法，其特征在于，包括如下步骤：

步骤1：获取用于训练安全帽分析网络模型的原始图像，并获取原始图像中的人体坐标、头坐标和安全帽坐标信息；对各原始图像及其中的坐标信息进行图像增广处理，得到增广图像数据；最后对各图像及其中的坐标信息进行归一化处理后，以匹配数据对的方式进行存储，作为训练数据集；

步骤2：对于训练数据集中各图像，基于设定尺寸的画布，将尺寸大于画布的图像在保持图像长宽比的前提下调整图像大小至图像中的长边占满画布，并填充画布中未填满图像的部分；对于小于画布的图像，将图形直接贴到画布中心，并填充画布中未填满图像的部分；

步骤3：构建基于卷积神经网络的安全帽分析网络模型，对于输入的图像，先通过骨干网络提取图像特征值，进而得到第一阶段的检测特征图H_conv_1_t；通过连接第一阶段的检测特征图与骨干网络中的中间特征得到第二阶段的检测特征图H_conv_2_t；通过连接第二阶段的检测特征图与骨干网络中的中间特征得到第三阶段的检测特征图H_conv_3_t；(H_conv_1_t,H_conv_2_t,H_conv_3_t)构成网络的隐藏状态Z_t，作为卷积特征输出；

所述卷积神经网络中负责提取特征的骨干网络由四大块特征提取模块组成，四大块特征提取模块通过级联的方式提取特征，每个模块包含3个卷积模块以及1个3x3的最大池化层；每个卷积模块包括一个卷积层，一个批正则化层和一个LeakyRelu激活函数；其中一个大卷积块的计算公式为：

F＝R(BN(W_n*Q_n+B_n))

其中R表示非线性激活函数，BN表示批归一化函数，W_n、B_n分别表示特征提取阶段中卷积层的权重和偏置，Q_n表示上一个卷积输出的特征图，F表示当前特征提取阶段得到的输出结果；

步骤4：获取步骤3的卷积特征输出Z_t后，将其与上一次的卷积特征输出，即隐藏状态Z_t-1进行元素对应相乘，得到初步检测结果；

步骤5：通过FGRM模块修正网络输出的初步检测结果，然后对FGRM模块输出结果做非极大值抑制NMS，得到最终输出结果；

步骤6：将训练过程分为预设的多个子训练周期，采用步进增长策略依次进行子训练周期的训练；每完成一个子训练周期后逐步减小学习率；当完成一个子训练周期后生成的目标检测框与其对应的标定数据存在较大出入时，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数再返回步骤2继续训练；当完成一个子训练周期后生成的目标检测框达到预期或完成所有预设的子训练周期的次数后，则完成训练，得到训练好的安全帽分析网络模型；

步骤7：采用训练好的安全帽分析网络模型对待测的视频图像进行检测，以判断人体是否佩戴安全帽。

2.根据权利要求1所述的一种基于隐藏层增强特征的工地安全帽检测方法，其特征在于，所述步骤1的具体方法为：

选取要采集的工地视频，通过抽帧的方式获取图像作为输入的原始图像X_t，且如果相邻两张图像来自同一个视频，则为相邻帧；获取各图像中的三类坐标：人体坐标P(x,y,w,h)，安全帽坐标H(x,y,w,h)，头坐标T(x,y,w,h)，其中，x、y为相应的中心点的横、纵坐标，w、h为相应的框的宽、高；对各原始图像及其中的坐标信息进行包括左右翻转以及随机改变亮度、色度饱和度的图像增广处理，得到大量的增广图片数据；对各图像及其中的坐标信息进行归一化到0～1之间的浮点数的处理后，以匹配数据对{X_t,P(x,y,w,h),H(x,y,w,h),T(x,y,w,h)}的方式进行存储，作为深度学习的训练数据集。

3.根据权利要求1所述的一种基于隐藏层增强特征的工地安全帽检测方法，其特征在于，所述步骤4中，对于第一次隐藏状态Z_t*1包含3个高维矩阵分别为：H_conv_1_t-1、H_conv_2_t-1、H_conv_3_t-1分别取值为全0.5的矩阵；当t>1时，Z_t-1取值为从上一次输入获取的中间的卷积神经网络输出H_conv_1_t-1、H_conv_2_t-1、H_conv_3_t-1；通过上一次的卷积特征输出与当前获取的卷积特征进行元素级别的矩阵相乘，然后进行检测结果修正。

4.根据权利要求1所述的一种基于隐藏层增强特征的工地安全帽检测方法，其特征在于，所述步骤5中，所述FGRM模块包含三个部分：目标特征图生成、内核偏移量提取和局部上下文信息提取，通过FGRM模块对检测结果进行修正，包括以下步骤：

步骤51：通过通道分解，把步骤4的输出分解为目标特征图C_1x与内核偏移量B_1x(Δx,Δy,Δwidth,Δheight)，其中Δx、Δy、Δwidth、Δheight为检测到的目标框参数；

步骤52：通过对C_1x做3x3的最大值池化配合sigmoid函数得到O_1x，按如下公式进行特征增强：

F_m＝F_in⊙O_1x+F_in

其中，F_in为输入特征，⊙为元素对应相乘运算，F_m为获取到的增强特征；

步骤53：内核偏移量B_1x(Δx,Δy,Δwidth,Δheight)中，只取Δx、Δy通道作为特征精化的输入，通过1x1的卷积获取输出结果Δp_k，最后将内核偏移量用作可变形卷积的输入，以引导特征采样并与精化锚点对齐，其计算公式如下：

其中，f^1×1表示1x1的卷积，

表示取B_1x的Δx、Δy通道；

步骤54：在FGRM模块中进行所有操作后，获得最终的精炼特征F_rf：

其中，p₀表示最终精炼特征图F_rf中的每个空间位置，d为膨胀率；w表示可变形卷积参数，R是一个采样输入特征的规则网格(即，如果内核是3×3，则膨胀率1，R＝(-1，-1)，(-1，0)，...，(0，1)，(1，1)，p_k为参数选取的位置)；最终的改进特征F_rf是由w加权的采样值的总和；Δp_k是内核偏移量，用于扩展常规采样网格，从而增强CNN建模几何转换的能力；在所述FGRM模块中，偏移量由目标模块的上一次回归生成，即由步骤4的输出获得；利用从目标模块预测的偏移量B_1x优化原始锚点位置，采用精炼位置和精炼特征F_rf执行多类分类C_2x和框回归B_2x。

Images