CN110533025A - 基于候选区域提取网络的毫米波人体图像检测方法 - Google Patents

Abstract

本发明涉及一种基于候选区域提取网络的毫米波人体图像检测方法，包括：收集安检中不同类型的目标图像，并标记所述目标图像，组成毫米波图像数据集；采用卷积神经网络，对所述毫米波图像数据集进行模型训练，以形成目标分类网络并得到目标分类网络的参数；采用阈值分割方法检测并标记人***置；根据所述目标分类网络的参数，采用Faster R‑CNN算法检测毫米波图像的隐藏目标；采用兴趣区域池化算法对提取的特征图进行预处理；采用目标分类网络利用候选区域特征图的高维特征对目标进行分类。本发明的方法能够有效解决传统检测算法不适用于安检场合下的人体检测的问题，并且显著提高目标检测的准确度。

Description

基于候选区域提取网络的毫米波人体图像检测方法

技术领域

本发明属于图像检测技术领域，具体涉及一种基于候选区域提取网络的毫米波人体图像检测方法。

背景技术

随着安全形势越来越严峻，安全检查也越来越重要，目前，常用的安检检测***有金属探测器和X射线***。然而，金属探测器只能探测金属目标并且不能区分类似的物品，而X射线***因其高辐射对人体非常有害，因此，金属探测器用于探测人体，X射线***用于探测手提物品。但是对于人体内隐藏的如非金属的刀、***、瓶子和手机等，金属探测器无法快速准确地检测出。

随着科技的发展，毫米波***也成为了人员监视的典型成像***，毫米波***工作在30-300GHz频段，具有非电离特性，在中等功率水平下不会产生健康危害，而且毫米波成像***可以获得人体和人体隐藏物体的清晰图像，因此研究相应的目标检测算法以自动检测这些隐藏目标非常有意义。但是，目前毫米波图像检测对于如何快速有效的在安检过程中检测人体和其他隐藏目标的问题，没有很好的解决方法。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于候选区域提取网络的毫米波人体图像检测方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于候选区域提取网络的毫米波人体图像检测方法，包括：

S1：收集安检中不同类型的目标图像，并标记所述目标图像，组成毫米波图像数据集；

S2：采用卷积神经网络，对所述毫米波图像数据集进行模型训练，以形成目标分类网络并得到目标分类网络的参数；

S3：利用阈值分割方法检测并标记输入的毫米波图像的人***置，得到毫米波人体图像；

S4：根据所述目标分类网络的参数，利用Faster R-CNN算法对所述毫米波人体图像进行处理，得到特征图和目标候选框；

S5：利用兴趣区域池化算法对所述特征图进行处理，输出固定尺寸的处理图像；

S6：利用softmax回归计算所述目标候选框的目标分类结果的置信概率，同时获取所述目标候选框在所述处理图像的位置，输出图像检测结果。

在本发明的一个实施例中，所述步骤S2包括：

采用ZFnet作为所述目标图像分类的卷积神经网络，采用非线性函数g x＝max 0,x作为所述ZFnet卷积神经网络的激活函数，对所述毫米波图像数据集进行模型训练，形成ZFNet目标分类网络，得到ZFNet目标分类网络的参数，所述ZFnet卷积神经网络的损失函数为，

其中，r表示目标的种类，t表示单次训练的图像数量，γ表示正则化系数，θ表示ZFnet卷积神经网络中需要进行训练优化的网络权值，1·表示指示函数，当输入参数为正确值时，1·输出1，反之输出0。

在本发明的一个实施例中，所述步骤S3包括：

设置决策线和阈值条件，使所述决策线分别沿着从左到右、从右到左、从上到下和从下到上四个方向扫描输入的所述毫米波图像，当所述决策线上幅度最大的像素点满足阈值条件时，此时的决策线作为边界线，所述幅度最大的像素点作为边界点，根据所述边界线和所述边界点标记所述毫米波图像的人***置。

在本发明的一个实施例中，所述步骤S4包括：

S41：将所述ZFNet目标分类网络的参数作为毫米波人体图像检测网络的初始值，采用所述毫米波人体图像检测网络对所述毫米波人体图像进行目标特征提取，生成特征图；

S42：利用Faster R-CNN算法对所述特征图进行候选区域提取和目标分类，得到目标候选框，同时利用边界框回归对所述目标候选框的位置进行修正。

与现有技术相比，本发明的有益效果在于：

本发明的方法首先训练一个目标分类网络，然后利用目标分类网络的参数初始化毫米波人体图像检测网络的参数，使得毫米波人体图像检测网络具有更好的训练起点，训练时损失函数的收敛速度更快，可以提高毫米波人体图像检测网络的检测准确度，而且本发明利用改进的阈值分割方法，检测并标记输入的毫米波图像的人***置相比传统的阈值分割方法，计算速度更快，节省了计算资源。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明实施例提供的一种基于候选区域提取网络的毫米波人体图像检测方法的流程图；

图2a是本发明实施例提供的一种携带刀的人体正面毫米波成像图；

图2b是本发明实施例提供的一种携带***的人体正面毫米波成像图；

图2c是本发明实施例提供的一种携带手机的人体正面毫米波成像图；

图2d是本发明实施例提供的一种携带刀的人体背面毫米波成像图；

图2e是本发明实施例提供的一种携带***的人体背面毫米波成像图；

图2f是本发明实施例提供的一种携带手机的人体背面毫米波成像图；

图3是本发明实施例提供的一种ZFNet目标分类网络的结构示意图；

图4a是本发明实施例提供的一种传统阈值分割方法检测毫米波图像的示意图；

图4b是本发明实施例提供的一种改进的阈值分割方法检测毫米波图像的示意图；

图5是本发明实施例提供的一种Faster R-CNN网络的结构示意图；

图6是本发明实施例提供的一种目标分类网络的原理示意图；

图7a-7h是本发明实施例提供的毫米波图像检测结果示意图。

具体实施方式

为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及具体实施方式，对依据本发明提出的一种基于候选区域提取网络的毫米波人体图像检测方法进行详细说明。

有关本发明的前述及其他技术内容、特点及功效，在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明，可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解，然而所附附图仅是提供参考与说明之用，并非用来对本发明的技术方案加以限制。

实施例一

请参见图1，图1是本发明实施例提供的一种基于候选区域提取网络的毫米波人体图像检测方法的流程图，如图所示，本实施例的基于候选区域提取网络的毫米波人体图像检测方法，包括：

S1：收集安检中不同类型的目标图像，并标记所述目标图像，组成毫米波图像数据集；

在本实施例中，收集26505张不同类型的目标图像，将安检中常见的不同类型目标，例如刀、***、瓶子和手机按照标准格式标记出，这些标记图像组成安检中所述毫米波图像数据集，标记后的图像分辨率约为5毫米，以JPEG格式保存，每个图像的尺寸固定为380*200像素。请参见图2a-2f，其中，图2a-2c为不同的人体正面毫米波成像图，图2d-2f为与图2a-2c对应的人体背面毫米波成像图，从图中可以看出，毫米波成像***的高分辨率和易穿透服装材料性质，使人体图像中的隐藏物体清晰可见，如图所示，图2a中隐藏的刀，图b中隐藏的***和图2c中隐藏的手机均可以清晰的看到。

S2：采用卷积神经网络，对所述毫米波图像数据集进行模型训练，以形成目标分类网络并得到目标分类网络的参数；

具体地，采用ZFnet作为所述目标图像分类的卷积神经网络，采用非线性函数g x＝max 0,x作为所述ZFnet卷积神经网络的激活函数，对所述毫米波图像数据集进行模型训练，形成ZFNet目标分类网络，得到ZFNet目标分类网络的参数，所述ZFnet卷积神经网络的损失函数为，

其中，r表示目标的种类，t表示单次训练的图像数量，γ表示正则化系数，θ表示ZFnet卷积神经网络中需要进行训练优化的网络权值，1·表示指示函数，当输入参数为正确值时，1·输出1，反之输出0。

在本实施例中，选取所述毫米波图像数据集70％的图像作为ZFNet目标分类网络的训练集，20％作为ZFNet目标分类网络的验证集，10％作为ZFNet目标分类网络的测试集。

请参见图3，图3是本发明实施例提供的一种ZFNet目标分类网络的结构示意图，如图所示，ZFNet目标分类网络具有8层计算结构，包括5层卷积网络和3层全连接网络，本实施例的ZFNet目标分类网络采用固定尺寸的图像作为输入，输出多个逻辑回归的目标结果预测。所述目标包括刀、***、水杯和手机四种，四种目标容易相互区分，且在安检中比较常见。

具体地，ZFNet目标分类网络的第一层卷积层将227*227分辨率的毫米波图像作为输入，并且采用96个卷积核、步长为2像素，对所述毫米波图像进行滤波操作，与卷积相对应的同时采用步长为2像素的最大池化方式对所述毫米波图像进行降采样操作，池化层在不改变特征图通道个数的情况下，可以明显降低特征图尺寸，能够显著降低网络参数量和训练难度。第二层卷积层与第一层一致，第三、四、五层卷积层具有相同尺寸的卷积核，且步长均为1像素，因此ZFNet目标分类网络的卷积操作并不改变特征图的尺寸，卷积操作后最终输出6*6*256的特征图。最终的特征图将转化成列向量然后与后续的全连接层连接，第六层和第七层全连接层分别具有4096个神经元，并且与各自网络的上一层节点处于全连接状态，第八层输出目标预测结果。

S3：利用阈值分割方法检测并标记输入的毫米波图像的人***置，得到毫米波人体图像；

具体地，设置决策线和阈值条件，使所述决策线分别沿着从左到右、从右到左、从上到下和从下到上四个方向扫描输入的所述毫米波图像，当所述决策线上幅度最大的像素点满足阈值条件时，此时的决策线作为边界线，所述边界线上幅度最大的像素点作为边界点，根据所述边界线和所述边界点标记所述毫米波图像的人***置。

请结合参见图4a和图4b，图4a是本发明实施例提供的一种传统阈值分割方法检测毫米波图像的示意图；图4b是本发明实施例提供的一种改进的阈值分割方法检测毫米波图像的示意图。如图4a所示，在传统阈值分割方法中，首先设定分割阈值，其次分别沿着r_start至r_end方向和c_start至c_end方向，点扫描整副图像，当像素点的值大于预先设定的分割阈值时，将该像素点标记为人体图像的一个边界点。如图4b所示，设置决策线为所述毫米波图像的图像边界(图中的4条灰色线条)，决策线分别沿着c₁至c₂、c₂至c₁、r₁至r₂、r₂至r₁四个方向滑动，扫描输入的所述毫米波图像，当决策线上幅度最大的像素点满足阈值条件时，此时的决策线作为边界线(图中的虚线)，所述边界线上幅度最大的像素点(图中的o₁,o₂,o₃和o₄)。所述边界线所包围的矩形框即为在毫米波图像中的人***置。假设毫米波图像的尺寸为m·n，毫米波图像中人体的宽度为w，那么传统阈值分割的方法的计算复杂度近似为m·n，本实施例的改进的阈值分割方法的计算复杂度近似为2m+n k-4k²，其中，k表示人体边界与图像边界之间的平均距离，与传统阈值分割的方法相比，本实施例的改进的阈值分割方法能提高近5倍的计算速度。

在本实施例中，采用大津阈值法计算得到阈值，并根据所述阈值对所述毫米波图像进行二值化，即当毫米波图像的像素点的灰度小于阈值时，该像素点的灰度值设为0，当毫米波图像的像素点的灰度大于阈值时，该像素点的灰度值设为255。

S4：根据所述目标分类网络的参数，利用Faster R-CNN算法对所述毫米波人体图像进行处理，得到特征图和目标候选框；

请参见图5，图5是本发明实施例提供的一种Faster R-CNN网络的结构示意图，如图所示，Faster-RCNN算法包括特征提取、候选区域提取、兴趣区域池化和目标分类4个模块。

具体地，所述步骤S4包括：

S41：将所述ZFNet目标分类网络的参数作为毫米波人体图像检测网络的初始值，采用所述毫米波人体图像检测网络对所述毫米波人体图像进行目标特征提取，生成特征图；

在本实施例中，将所述ZFNet目标分类网络的参数作为毫米波人体图像检测网络的初始值，所述毫米波人体图像检测网络也就是Faster R-CNN的卷积网络，与ZFNet目标分类网络不同的是剔除掉ZFNet目标分类网络最后的全连接层，采用所述毫米波人体图像检测网络对所述毫米波人体图像进行目标特征提取，生成的特征图。

S42：利用Faster R-CNN算法对所述特征图进行候选区域提取和目标分类，得到目标候选框，同时利用边界框回归对所述目标候选框的位置进行修正。

在本实施例中，首先，一个小尺寸的卷积网络沿着最后一个共享网络层进行特征提取；其次，后续区域网络利用softmax回归判断生成的锚点属于目标或者背景，同时利用边界框回归对生成的目标候选框位置进行修正以获取更精确的目标候选框的位置，并且每个目标候选框都具有相应的目标置信概率，采用4个坐标参数分别表征边界框回归前后目标候选框的位置变化关系：

t_x＝(x-x_a)/w_a，t_y＝y-y_a/h_a，

t_w＝log w/w_a，t_h＝log h/h_a，

其中，t_x,t_y,t_w和t_h分别表示边界框回归前的中心点的坐标和边框的宽度与高度，和分别表示边界框回归后的中心点的坐标和边框的宽度与高度，变量x,x_a和x^*分别表示边界框回归前的边框、锚点和真实边框的位置；

S5：利用兴趣区域池化算法对所述特征图进行处理，输出固定尺寸的处理图像；

具体地，输入图像的尺寸必须与训练图像保持一致，网络的输出是固定维度的向量或矩阵。Faster-RCNN算法采用兴趣区域池化算法对所述特征图进行处理，其池化过程与卷积网络中的池化过程中的池化相似，不同的是兴趣区域池化网络的输出为固定尺寸m·n的处理图像；

S6：利用softmax回归计算所述目标候选框的目标分类结果的置信概率，同时获取所述目标候选框在所述处理图像的位置，输出图像检测结果。

请参见图6，图6是本发明实施例提供的一种目标分类网络的原理示意图，如图所示，目标分类层与兴趣区域池化层相连接，采用softmax回归计算所述目标候选框的目标分类结果的置信概率，同时为了获取更准确的目标框位置，目标分类网络也采用边界框回归算法修正目标位置的偏移量。

本实施例的基于候选区域提取网络的毫米波人体图像检测方法，适用于安检场合下对人体毫米波图像的快速检测。本实施例的方法首先训练一个目标分类网络，然后利用目标分类网络的参数初始化毫米波人体图像检测网络的参数，使得毫米波人体图像检测网络具有更好的训练起点，训练时损失函数的收敛速度更快。而且本发明利用改进的阈值分割方法，检测并标记输入的毫米波图像的人***置，与传统的阈值分割方法相比，提高近5倍的计算速度、节省了计算资源。而且采用Faster-RCNN算法检测隐藏目标，能够有效解决传统检测算法不适用于复杂多变的“隐匿目标”、无法应用于复杂安检场合下的携带物品的人体检测的问题，除次之外，相比于利用深度学习方法检测人体，本实施例的的方法能够实现机场等安检场合对人体及隐匿目标的有效检测、并显著提高检测的准确度。

实施例二

本实施例是对实施例一的基于候选区域提取网络的毫米波人体图像检测方法通过仿真实验进一步说明。在本实施例的仿真实验过程中，收集26505张不同类型的目标图像样本，按照标准格式标记这些图像，图像以JPEG格式保存，图像分辨率约为5毫米，每个图像的尺寸固定为380*200像素，组成毫米波图像数据集，选择数据集中70％的图像作为训练集，20％作为验证集，10％作为测试集。毫米波人体图像检测网络参数与Faster R-CNN算法中的参数一致，不同的是，在每个滑动窗口的位置设置了k个不同分辨率和长宽比的参考锚点。

深度神经网络的训练过程中，用以降低损失函数的优化算法很重要。本实施例采用带动量的梯度下降算法优化网络权值。在训练好网络之后，利用测试数据测试检测网络的检测准确度，评价指标是目标检测领域的重要指标，本实施例选用平均准确度(AP)作为评价指标，平均准确度越高，说明网络的检测性能越优异，其目标定位的准确度和目标分类的准确度越高。直接利用Faster R-CNN进行目标检测和本发明的方法进行目标检测的检测准确度如表1所示。

表1检测准确度(％)

从表1中可以看出，与传统Faster R-CNN算法相比，本发明所提方法使对人体、刀、***、水杯、手机等的检测准确度均有不同程度的显著提高。其中，对人体的检测准确度从92.65％提高到97.19％；对刀的检测准确度从76.44％提高到86.90％，对***的检测准确度从68.69％提高到73.49％，对水杯的检测准确度从25.90％提高到36.77％，对手机的检测准确度从50.21％提高到56.83％。二次平均准确度(mAP)指对所有目标的检测准确度进行平均，与传统Faster-RCNN方法相比，本发明的方法的二次平均准确度从62.78％提高到70.24％。也就是说明，本发明的方法能够显著提高毫米波图像的检测准确度。

请参见图7a-7h，图7a-7h是本发明实施例提供的毫米波图像检测结果示意图，如图所示，每个目标候选框都有准确的类别标注和置信度标注，图中大部分目标和人体图像都被较精确的检测到，另外在本实施例中，检测速度从10帧/秒提高到15帧/秒，也就是，本发明的检测算法平均每70ms可以检测一张图，具有较高的检测速度和检测精度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于候选区域提取网络的毫米波人体图像检测方法，其特征在于，包括：

S1：收集安检中不同类型的目标图像，并标记所述目标图像，组成毫米波图像数据集；

S2：采用卷积神经网络，对所述毫米波图像数据集进行模型训练，以形成目标分类网络并得到目标分类网络的参数；

S3：利用阈值分割方法检测并标记输入的毫米波图像的人***置，得到毫米波人体图像；

S4：根据所述目标分类网络的参数，利用Faster R-CNN算法对所述毫米波人体图像进行处理，得到特征图和目标候选框；

S5：利用兴趣区域池化算法对所述特征图进行处理，输出固定尺寸的处理图像；

S6：利用softmax回归计算所述目标候选框的目标分类结果的置信概率，同时获取所述目标候选框在所述处理图像的位置，输出图像检测结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：

采用ZFnet作为所述目标图像分类的卷积神经网络，采用非线性函数gx＝max0,x作为所述ZFnet卷积神经网络的激活函数，对所述毫米波图像数据集进行模型训练，形成ZFNet目标分类网络，得到ZFNet目标分类网络的参数，所述ZFnet卷积神经网络的损失函数为，

其中，r表示目标的种类，t表示单次训练的图像数量，γ表示正则化系数，θ表示ZFnet卷积神经网络中需要进行训练优化的网络权值，1·表示指示函数，当输入参数为正确值时，1·输出1，反之输出0。

3.根据权利要求2所述的方法，其特征在于，所述步骤S3包括：

设置决策线和阈值条件，使所述决策线分别沿着从左到右、从右到左、从上到下和从下到上四个方向扫描输入的所述毫米波图像，当所述决策线上幅度最大的像素点满足阈值条件时，此时的决策线作为边界线，所述边界线上幅度最大的像素点作为边界点，根据所述边界线和所述边界点标记所述毫米波图像的人***置。

4.根据权利要求3所述的方法，其特征在于，所述步骤S4包括：

S41：将所述ZFNet目标分类网络的参数作为毫米波人体图像检测网络的初始值，采用所述毫米波人体图像检测网络对所述毫米波人体图像进行目标特征提取，生成特征图；

S42：利用Faster R-CNN算法对所述特征图进行候选区域提取和目标分类，得到目标候选框，同时利用边界框回归对所述目标候选框的位置进行修正。