CN112364734B - 基于yolov4和CenterNet的异常着装检测方法 - Google Patents

Abstract

本发明涉及一种基于yolov4和CenterNet的异常着装检测方法，包括以下步骤：步骤S1:获取异常着装数据并对其进行数据预处理,构建异常着装检测数据集；步骤S2:对yolov4模型和CenterNet模型的超参数分别进行调优，并分别训练；步骤S3:根据训练后的yolov4检测模型进行目标检测，获取预测结果，并解码预测结果后利用非极大值抑制筛选出最终的预测框；步骤S4:根据训练后CenterNet检测模型进行目标检测，计算输入数据的中心点和角点热力图，预测关键点位置，将得到的热力图归一化后找出K个极大值点作为候选目标；通过中心点计算得到最终目标框；步骤S5:根据得到的最终的预测框和最终目标框在原图上进行绘制，添加类别名称和置信度等信息后得到结果图。本发明能够有效识别异常着装现象。

Description

基于yolov4和CenterNet的异常着装检测方法

技术领域

本发明涉及图像识别与计算机视觉领域，具体涉及一种基于yolov4和CenterNet的异常着装检测方法。

背景技术

日常生产生活过程中，某些特定场合对于人们的着装具有较为严格的要求，以此确保人们在生产生活过程中的安全性。在建筑工地中，施工人员必须穿戴安全帽、安全背心等护具保障自身的工作安全性。建筑业是所有行业中较为危险的行业之一，美国劳工***(BLS)的数据显示，建筑业的死亡人数远高于其他所有行业，致命伤害率也高于全部行业的全国平均水平。负责人员监管不力，施工人员没有严格遵守建筑工地的相关安全规定，佩戴安全帽和安全背心等安全防护设备，导致安全事故频繁发生。在医院中，医务人员和各种传染病患者十分容易发生接触，具有较高的传染风险。呼吸道传染病是目前各类传染病中危险性最高的疾病之一，其特殊的传播途径导致它难以预防和控制。医务人员和患者可以通过佩戴口罩这一简单但非常有用的方法来防止感染，佩戴口罩可以在医务人员和患者之间起到双向保护的效果。口罩的佩戴对保护医护人员和患者，预防传染病广泛传播具有重要意义。在这些特定场合中，不穿戴安全帽、安全背心，不戴口罩等异常着装行为将会大大增加人们生产生活过程中的危险性。

目前，对于以上异常着装情况的识别主要以人工检查的方式为主。人工检查容易被各种各样的因素干扰降低效率，并且无法实行全天候监控且浪费人力资源，所以这种方法效率比较低下，各***部门的实际需求无法得到充分满足。要实时监控异常着装现象，可以通过监控摄像头等设备，并利用基于机器视觉的检测算法对异常着装现象进行自动识别，可以实现对异常着装情况的实时监控，避免人工检测中由于各种主观因素造成的漏检和误检等问题，在节省人力资源的同时还可以提高监管的效率及自动化水平。

发明内容

有鉴于此，本发明的目的在于提供一种基于yolov4和CenterNet的异常着装检测方法，能够有效识别异常着装现象，在达到良好检测精度的同时能够保持相对较好的检测速度。

为实现上述目的，本发明采用如下技术方案：

一种基于yolov4和CenterNet的异常着装检测方法，包括以下步骤：

步骤S1:获取异常着装数据并对其进行数据预处理,根据yolov4模型要求和CenterNet模型要求分别构建异常着装检测数据集；

步骤S2:对yolov4模型和CenterNet模型的超参数分别进行调优，并分别根据对应数据集训练并得到yolov4检测模型和CenterNet检测模型；

步骤S3:根据训练后的yolov4检测模型进行目标检测，获取预测结果，并解码预测结果后利用非极大值抑制筛选出最终的预测框；

步骤S4:根据训练后CenterNet检测模型进行目标检测，计算输入数据的中心点和角点热力图，预测关键点位置，将得到的热力图归一化后找出K个极大值点作为候选目标；通过中心点计算得到最终预测框；

步骤S5:根据两个检测模型分别得到的最终预测框在原图上进行绘制，添加类别名称和置信度等信息后得到结果图。

进一步的，所述步骤S1，具体为：

步骤S11:获取异常着装相关的数据图片，筛选数据并完成数据预处理；

步骤S12：根据yolov4模型要求制作数据集，将所有数据按比例分为训练集和测试集，根据包含图片数据标注信息的xml文件生成训练模型所需的txt文件；

步骤S13：根据CenterNet模型要求制作数据集，将所有数据按比例分为训练集、测试集和验证集，根据包含图片数据标注信息的xml文件生成训练模型所需的json文件。

进一步的，所述步骤S2，具体为：

步骤S21：获取超参数的最优值，调优超参数使训练模型达到最优；

步骤S22：在yolov4的训练文件中将动量梯度下降中的动量参数momentum设为0.9，将权重衰减的正则系数decay设为0.0005；

步骤S23：学习率调整方式采取steps方法；

步骤S24：利用k-means聚类算法计算anchor，使用数据图片的宽高对boundingbox的宽高做归一化，即：

令anchor＝(w_a,h_a),box＝(w_b,h_b)，使用IOU作为度量，其计算方式如下：

IOU的取值在0到1之间，两个box越相似则IOU值越大，最终的度量公式为：

d(box,anchor)＝1-IOU(box,anchor)

在数据集中随机选取k个bounding box作为初始anchor，使用IOU度量将每个bounding box分配给与其距离最近的anchor，遍历所有boundingbox后，计算每个簇中所有bounding box宽和高的均值，更新anchor，重复以上步骤直到anchor不再变化或者达到了最大迭代次数。

进一步的，所述步骤S3，具体为：

步骤S31：输入数据经过特征提取网络darknet53后将得到三个不同尺寸的特征图；

步骤S32根据提取到三个不同尺寸的特征图，对三个初始特征图进行卷积得到的结果一部分用于输出该特征图对应的预测结果，另一部分用于进行反卷积后与其他特征图进行结合，最终得到三个有效特征图的预测结果；

步骤S33：根据得到的预测结果对预先设定好的先验框进行调整，得到预测框的大小和位置信息；

步骤S34：根据调整后的得到预测框，进行极大值抑制在候选目标中进行局部搜索寻找置信度最高的预测框并抑制置信度较低的预测框，

进一步的，所述步骤S33，具体为：

(a)特征图被划分为S×S个网格，然后将预先设置好的先验框调整到有效特征图上

(b)接着从yolov4网络预测结果中获取先验框的坐标信息x_offset，y_offset，h和w；

(c)将网格对应的先验框的中心点坐标进行sigmoid函数处理后加上对应的x_offset和y_offset得到预测框的中心，再利用h和w计算得到预测框的宽和高，最终得到预测框的大小和位置信息。

进一步的，所述步骤S34，具体为：

(a)在进行非极大值抑制时，将同一个目标的预测框按置信度从大到小进行排序，取出置信度最高的预测框分别与其余预测框计算IOU，

按照交并比IOU寻找局部最大值的过程，设两个检测框B₁和B₂，则二者之间的交并比如下：

(b)若计算结果大于所设定阈值则该预测框被抑制，不会作为结果输出，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框重复以上操作。

进一步的，所述步骤S4具体包括以下步骤：

步骤S41：通过centerpooling提取中心点水平方向和垂直方向的最大值并相加，以此给中心点提供所处位置之外的信息，获得中心点热力图；

步骤S42：利用cascade cornerpooling预测物体的左上和右下角点并提取物体边界最大值max₁，沿着边界最大值向内部寻找最大值max₂，然后相加捕获边界特征，以此给角点特征提供关联物体的语义信息，获得角点热力图；

步骤S43：使用sigmoid函数对得到的热力图进行归一化，其中sigmoid函数公式如下：

步骤S44：对热力图进行3×3最大池化卷积，通过_topk函数找到并筛选前k个极大值点代表存在目标，得到topk_score，topk_inds，topk_clses，topk_ys，topk_xs，其中topk_score代表每个类别前k个最大的score，topk_inds代表每个类别对应的k个score的下角标，topk_clses全部类别中前k个最大的score，topk_ys和topk_xs用于从对应张量中根据下角标提取结果；

步骤S45：根据topk_ys和topk_xs计算得出box及其对应的类别和置信度。

进一步的，所述步骤S5具体为:

步骤S51：根据得到的检测框位置信息为检测框中心点坐标以及宽高，根据中心点坐标及宽高计算得出预测框的左上角点坐标，从而得出预测框在输出图片中的位置信息；

步骤S52：利用绘图函数将预测框、预测类别及置信度绘制在输出图片上，得到最终结果。

本发明与现有技术相比具有以下有益效果：

本发明能够有效识别异常着装现象，在达到良好检测精度的同时能够保持相对较好的检测速度。

附图说明

图1是本发明原理示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于yolov4和CenterNet的异常着装检测方法，包括以下步骤：

步骤S1:获取异常着装数据并对其进行数据预处理,根据yolov4模型要求和CenterNet模型要求分别构建异常着装检测数据集；

步骤S2:对yolov4模型和CenterNet模型的超参数分别进行调优，并分别根据对应数据集训练并得到yolov4检测模型和CenterNet检测模型；

步骤S3:根据训练后的yolov4检测模型进行目标检测，由主干特征提取网络darknet53提取特征图，对特征图进行卷积等操作，对特征图进行预测得到预测结果，解码预测结果后利用非极大值抑制筛选出最终的预测框；

步骤S4:根据训练后CenterNet检测模型进行目标检测，计算输入数据的中心点和角点热力图，预测关键点位置，将得到的热力图归一化后找出K个极大值点作为候选目标；通过中心点计算得到最终预测框；

步骤S5:根据两个检测模型分别得到的最终预测框在原图上进行绘制，添加类别名称和置信度等信息后得到结果图。

在本实施例中，所述步骤S1，具体为：

步骤S11:获取异常着装相关的数据图片，筛选数据并完成数据预处理；

步骤S12：根据yolov4模型要求制作数据集，将所有数据按比例分为训练集和测试集，根据包含图片数据标注信息的xml文件生成训练模型所需的txt文件；其中txt文件包含图片数据中每个目标的类别及位置信息；

步骤S13：根据CenterNet模型要求制作数据集，将所有数据按比例分为训练集、测试集和验证集，根据包含图片数据标注信息的xml文件生成训练模型所需的json文件，其中json文件包含图片数据中的图片名、图片大小、目标类别、位置坐标及大小等信息。

在本实施例中，所述步骤S2，具体为：

步骤S21：根据多次实验得出相关训练文件中超参数的最优值，调优超参数将使训练模型达到最优；

步骤S22：在yolov4的训练文件中将动量梯度下降中的动量参数momentum设为0.9，能够有效防止网络训练中损失函数陷入局部最小值，加快梯度收敛到最优值的速度，将权重衰减的正则系数decay设为0.0005，可以有效防止过拟合；

步骤S23：学习率过大则权重更新速度快，但容易错过最优值的选取，学习率过小则权重更新速度缓慢，训练效率低下，设置相对合适的学习率可以有效提高训练速度与最优值选取，学习率调整方式采取steps方法，在达到一定迭代次数时学习率将会以一定倍数衰减；

步骤S24：利用k-means聚类算法计算anchor，使用数据图片的宽高对boundingbox的宽高做归一化，即：

令anchor＝(w_a,h_a),box＝(w_b,h_b)，使用IOU作为度量，其计算方式如下：

IOU的取值在0到1之间，两个box越相似则IOU值越大，最终的度量公式为：

d(box,anchor)＝1-IOU(box,anchor)

在数据集中随机选取k个bounding box作为初始anchor，使用IOU度量将每个bounding box分配给与其距离最近的anchor，遍历所有boundingbox后，计算每个簇中所有bounding box宽和高的均值，更新anchor，重复以上步骤直到anchor不再变化或者达到了最大迭代次数。

在本实施例中，所述步骤S3，具体为：

步骤S31：darknet53是yolov4的backbone，输入数据后，darknet53首先使用Conv2D对输入数据进行处理，卷积时进行L2正则化，完成卷积后进行批量标准化并使用LeakyReLU激活函数，接着使用darknet53中的残差卷积块对输出进行一次3×3且步长为2的卷积，然后保存该卷积层再进行一次1×1卷积和3×3卷积，并把该结果与保存的卷积层相加作为最终结果，不仅增加了神经网络的深度，还缓解了深度神经网络中增加深度所带来的梯度消失问题。输入数据经过特征提取网络darknet53后将得到三个不同尺寸的特征图，分别为(52,52,256)，(26,26,512)，(13,13,1024)；

步骤S32经过特征提取网络darknet53提取到三个不同尺寸的特征图，对三个初始特征图进行卷积等操作后得到的结果一部分用于输出该特征图对应的预测结果，另一部分用于进行反卷积后与其他特征图进行结合。最终得到三个有效特征图的预测结果，尺寸分别为(255,13,13),(255,26,13),(255,52,52),对应每个图分为13×13、26×26、52×52的网格上3个预测框的位置；

步骤S33：处理特征图后得到的预测结果并不是最终预测框，需要利用yolov4网络的预测结果对预先设定好的先验框进行调整，首先将特征图划分为S×S个网格，将预先设置好的先验框调整到有效特征图上，接着从yolov4网络预测结果中获取先验框的坐标信息x_offset，y_offset，h和w，将网格对应的先验框的中心点坐标进行sigmoid函数处理后加上对应的x_offset和y_offset得到预测框的中心，再利用h和w计算得到预测框的宽和高，最终得到预测框的大小和位置信息；

步骤S34：每一个目标通常会有多个预测框，需要进行极大值抑制在候选目标中进行局部搜索寻找置信度最高的预测框并抑制置信度较低的预测框，本质上是一个按照交并比IOU寻找局部最大值的过程。交并比IOU是衡量两个预测框重叠程度的重要指标，设有两个检测框B₁和B₂，则二者之间的交并比如下：

在进行非极大值抑制时，首先将同一个目标的预测框按置信度从大到小进行排序，然后取出置信度最高的预测框分别与其余预测框计算IOU，若计算结果大于所设定阈值则该预测框被抑制，不会作为结果输出，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框重复以上操作。

在本实施例中，所述步骤S4具体包括以下步骤：

步骤S41：通过centerpooling提取中心点水平方向和垂直方向的最大值并相加，以此给中心点提供所处位置之外的信息，获得中心点热力图；

步骤S42：利用cascade cornerpooling预测物体的左上和右下角点并提取物体边界最大值max₁，沿着边界最大值向内部寻找最大值max₂，然后相加捕获边界特征，以此给角点特征提供关联物体的语义信息，获得角点热力图；

步骤S43：使用sigmoid函数对得到的热力图进行归一化，其中sigmoid函数公式如下：

步骤S44：对热力图进行3×3最大池化卷积，通过_topk函数找到并筛选前k个极大值点代表存在目标，得到topk_score，topk_inds，topk_clses，topk_ys，topk_xs，其中topk_score代表每个类别前k个最大的score，topk_inds代表每个类别对应的k个score的下角标，topk_clses全部类别中前k个最大的score，topk_ys和topk_xs用于从对应张量中根据下角标提取结果；

步骤S45：根据topk_ys和topk_xs计算得出box及其对应的类别和置信度。

在本实施例中，所述步骤S5具体为:

步骤S51：根据得到的检测框位置信息为检测框中心点坐标以及宽高，根据中心点坐标及宽高计算得出预测框的左上角点坐标，从而得出预测框在输出图片中的位置信息；

步骤S52：利用绘图函数将预测框、预测类别及置信度绘制在输出图片上，得到最终结果。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (3)

1.一种基于yolov4和CenterNet的异常着装检测方法，其特征在于，包括以下步骤：

步骤S1:获取异常着装数据并对其进行数据预处理,根据yolov4模型要求和CenterNet模型要求分别构建异常着装检测数据集；

步骤S2:对yolov4模型和CenterNet模型的超参数分别进行调优，并分别根据对应数据集训练并得到yolov4检测模型和CenterNet检测模型；

步骤S3:根据训练后的yolov4检测模型进行目标检测，获取预测结果，并解码预测结果后利用非极大值抑制筛选出最终的预测框；

步骤S4:根据训练后CenterNet检测模型进行目标检测，计算输入数据的中心点和角点热力图，预测关键点位置，将得到的热力图归一化后找出K个极大值点作为候选目标；通过中心点计算得到最终预测框；

步骤S5:根据两个检测模型分别得到的最终预测框在原图上进行绘制，添加类别名称和置信度等信息后得到结果图；

所述步骤S2，具体为：

步骤S21：获取超参数的最优值，调优超参数使训练模型达到最优；

步骤S22：在yolov4的训练文件中将动量梯度下降中的动量参数momentum设为0.9，将权重衰减的正则系数decay设为0.0005；

步骤S23：学习率调整方式采取steps方法；

步骤S24：利用k-means聚类算法计算anchor，使用数据图片的宽高对bounding box的宽高做归一化，即：

令anchor＝(w_a,h_a),box＝(w_b,h_b)，使用IOU作为度量，其计算方式如下：

IOU的取值在0到1之间，两个box越相似则IOU值越大，最终的度量公式为：

d(box,anchor)＝1-IOU(box,anchor)

在数据集中随机选取k个bounding box作为初始anchor，使用IOU度量将每个boundingbox分配给与其距离最近的anchor，遍历所有boundingbox后，计算每个簇中所有boundingbox宽和高的均值，更新anchor，重复以上步骤直到anchor不再变化或者达到了最大迭代次数；

所述步骤S3，具体为：

步骤S31：输入数据经过特征提取网络darknet53后将得到三个不同尺寸的特征图；

步骤S32根据提取到三个不同尺寸的特征图，对三个初始特征图进行卷积得到的结果一部分用于输出该特征图对应的预测结果，另一部分用于进行反卷积后与其他特征图进行结合，最终得到三个有效特征图的预测结果；

步骤S33：根据得到的预测结果对预先设定好的先验框进行调整，得到预测框的大小和位置信息；

步骤S34：根据调整后的得到预测框，进行极大值抑制在候选目标中进行局部搜索寻找置信度最高的预测框并抑制置信度较低的预测框；

所述步骤S33，具体为：

(a)特征图被划分为S×S个网格，然后将预先设置好的先验框调整到有效特征图上

(b)接着从yolov4网络预测结果中获取先验框的坐标信息x_offset，y_offset，h和w；

(c)将网格对应的先验框的中心点坐标进行sigmoid函数处理后加上对应的x_offset和y_offset得到预测框的中心，再利用h和w计算得到预测框的宽和高，最终得到预测框的大小和位置信息；

所述步骤S34，具体为：

(a)在进行非极大值抑制时，将同一个目标的预测框按置信度从大到小进行排序，取出置信度最高的预测框分别与其余预测框计算IOU，

按照交并比IOU寻找局部最大值的过程，设两个检测框B₁和B₂，则二者之间的交并比如下：

(b)若计算结果大于所设定阈值则该预测框被抑制，不会作为结果输出，计算完所有预测框后，取出剩余预测框中拥有最大置信度的预测框重复以上操作；

所述步骤S4具体包括以下步骤：

步骤S41：通过centerpooling提取中心点水平方向和垂直方向的最大值并相加，以此给中心点提供所处位置之外的信息，获得中心点热力图；

步骤S42：利用cascade cornerpooling预测物体的左上和右下角点并提取物体边界最大值max₁，沿着边界最大值向内部寻找最大值max₂，然后相加捕获边界特征，以此给角点特征提供关联物体的语义信息，获得角点热力图；

步骤S43：使用sigmoid函数对得到的热力图进行归一化，其中sigmoid函数公式如下：

步骤S44：对热力图进行3×3最大池化卷积，通过_topk函数找到并筛选前k个极大值点代表存在目标，得到topk_score，topk_inds，topk_clses，topk_ys，topk_xs，其中topk_score代表每个类别前k个最大的score，topk_inds代表每个类别对应的k个score的下角标，topk_clses全部类别中前k个最大的score，topk_ys和topk_xs用于从对应张量中根据下角标提取结果；

步骤S45：根据topk_ys和topk_xs计算得出box及其对应的类别和置信度。

2.根据权利要求1所述基于yolov4和CenterNet的异常着装检测方法，其特征在于，所述步骤S1，具体为：

步骤S11:获取异常着装相关的数据图片，筛选数据并完成数据预处理；

步骤S12：根据yolov4模型要求制作数据集，将所有数据按比例分为训练集和测试集，根据包含图片数据标注信息的xml文件生成训练模型所需的txt文件；

步骤S13：根据CenterNet模型要求制作数据集，将所有数据按比例分为训练集、测试集和验证集，根据包含图片数据标注信息的xml文件生成训练模型所需的json文件。

3.根据权利要求1所述的基于yolov4和CenterNet的异常着装检测方法，其特征在于，所述步骤S5具体为:

步骤S51：根据得到的检测框位置信息为检测框中心点坐标以及宽高，根据中心点坐标及宽高计算得出预测框的左上角点坐标，从而得出预测框在输出图片中的位置信息；

步骤S52：利用绘图函数将预测框、预测类别及置信度绘制在输出图片上，得到最终结果。

Images