CN110443158B - 一种基于毫米波图像的人体隐匿物体检测方法 - Google Patents
一种基于毫米波图像的人体隐匿物体检测方法 Download PDFInfo
- Publication number
- CN110443158B CN110443158B CN201910647793.9A CN201910647793A CN110443158B CN 110443158 B CN110443158 B CN 110443158B CN 201910647793 A CN201910647793 A CN 201910647793A CN 110443158 B CN110443158 B CN 110443158B
- Authority
- CN
- China
- Prior art keywords
- millimeter wave
- wave image
- human body
- data
- verification set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 52
- 238000012795 verification Methods 0.000 claims description 51
- 239000013598 vector Substances 0.000 claims description 49
- 239000010410 layer Substances 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000013434 data augmentation Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 210000000746 body region Anatomy 0.000 claims description 2
- 230000003321 amplification Effects 0.000 claims 1
- 238000013480 data collection Methods 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 12
- 238000013519 translation Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- -1 guns Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/259—Fusion by voting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于毫米波图像的人体隐匿物体检测方法，包括遍历包含人体多个角度的毫米波图像数据，将经过预处理的毫米波图像数据分别进行不同角度的旋转得到训练数据，对训练数据进行训练，得到模型参数，对待测的毫米波图像依次进行预处理和不同角度的旋转得到测试数据，利用对应旋转角度下的模型参数对测试数据进行检测，得到多组检测结果，进行融合后得到最终的检测结果。本发明提供的模型网络能够较好地利用安检场景下毫米波图像多视角的特点，将人体区域划分为多个，仅需记住正常人体区域的特征而不需要直接识别隐匿物体，较好地避免了隐匿物体的多样性，泛化能力强，进一步提高现有毫米波图像隐匿物体检测方法的检测准确率。
Description
技术领域
本发明属于毫米波图像目标检测领域，更具体地，涉及一种基于毫米波图像的人体隐匿物体检测方法。
背景技术
为了防止乘客携带毒品、***、***等违禁物体，在机场、地铁站与高铁站等人流量大的区域部署人体安检设备已成为保护人民生命财产的重要手段，其中毫米波人体安检设备由于对人体无害且能穿透衣物的特点使其极具应用前景。传统人工判读安检图像的方法不仅存在侵犯被检人员隐私的问题，也极易受人为因素的影响而造成漏检与误检，因此研究一种具有高准确率的毫米波图像隐匿物体自动检测方法对于提高公共场所的安全性与保护被检人员隐私都具有重要价值。
目前毫米波图像隐匿物体检测方法主要可以分为两大类：基于滑动窗口的毫米波图像隐匿物体检测方法与基于改进的RCNN(Region-based Convolutional NeuralNetworks)毫米波图像隐匿物体检测方法。基于滑动窗口的毫米波图像隐匿物体检测方法通过预设多个不同大小的窗，将这些窗在毫米波图像上进行滑动，随后使用卷积神经网络提取这些矩形窗内的特征(“利用卷积神经网络进行毫米波图像违禁物体定位”，红外与毫米波学报，2017)或提取该区域的人为设计的特征来判断该区域内是否存在隐匿物体，最终当这些窗在整个毫米波图像上滑动结束后即完成检测过程。基于改进的RCNN毫米波图像隐匿物体检测方法保留了窗口的设计，但是抛弃了滑动这种方式。由于卷积神经网络提取特征时依旧保留位置信息，所以其利用特征图上的点与原始毫米波图像的区域存在的对应关系来替代滑动窗口的工作方式。基于改进的RCNN毫米波图像隐匿物体检测方法使用卷积神经网络对整幅毫米波图像进行特征提取得到特征图后，直接判断特征图中的区域特征是否与训练集中隐匿物体的特征类似，即可判断特征图中这些区域是否存在需要检测的物体，随后将特征图的这些特征区域映射回原始毫米波图像中即可完成全部检测过程，Liu C等采取这种方法已经取得了除本发明方法外的最佳性能(“Towards Robust HumanMillimeter Wave Imaging Inspection System in Real Time with Deep Learning”,Progress In Electromagnetics Research,2018)，准确率约为94％。
这两种方法均是在单张毫米波图像中进行隐匿物体的检测，但是在实际场景中，毫米波人体安检设备为了能够获得人体各个部位的信息，多采用多视角成像的方案，即为单个被检目标进行多角度成像，因此一个被检目标往往会有多张不同视角的毫米波图像。通过单张图像就判断人体某个区域是否存在隐匿物体极易受毫米波图像低分辨率与高噪声的影响，因此上述两种方法的检测准确率都比较低，更为合理的做法是综合多视角的毫米波图像来对该区域进行判断。并且这两种方法都是先提取出被检区域的特征，随后判断该特征是否与训练集中隐匿物体特征相似的方式来进行检测。这种方法的问题在于，实际安检场景下的隐匿物体多样性极高，训练数据无法包含所有隐匿物体的特征，因此容易造成漏检现象，已有方法并未考虑这种情况。而且常见的毫米波图像数据集一般较小，这给毫米波图像隐匿物体检测方法的泛化能力带来的挑战，而上述两种方法均未能有效地解决这个问题。
综上所述，现有人体安检场景下的毫米波图像隐匿物体检测方法受上述问题的影响检测准确率较差，难以满足应用的要求。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于毫米波图像的人体隐匿物体检测方法，其目的在于，使用循环神经网络利用毫米波图像的多视角特点，使用基于区域划分的标签解决隐匿物体多样性高的问题，使用集成学习的方法应对毫米波图像隐匿物体检测方法泛化能力差的问题，进一步提高现有毫米波图像隐匿物体检测方法的检测准确率。
为实现上述目的，本发明提供了一种基于毫米波图像的人体隐匿物体检测方法，包括以下步骤：
步骤S1、遍历包含人体多个角度的毫米波图像数据，对毫米波图像数据进行预处理；
步骤S2、将经过预处理的毫米波图像数据分别进行0°、90°、180°、270°旋转得到4组训练数据；
步骤S3、利用预设的检测模型在各组训练数据上按照一定训练策略进行多次重复训练，保存最佳的模型参数，最终完成对检测模型的训练；
步骤S4、对待测的毫米波图像做预处理与0°、90°、180°、270°旋转得到测试数据；
步骤S5、加载对应角度下的模型参数进行检测，得到测试数据的若干组检测结果；
步骤S6、对检测结果进行融合得到最终的检测结果。
进一步地，本发明通过毫米波数据采集设备采集数据(主要为毫米波人体安检设备)，采集期间需要人体双手上扬举过头顶，同时需要对人体各个角度进行成像，以保证采集的数据包含人体各个部位的信息。采集完成后需要对数据进行标注，本发明基于区域划分对包含人体多个角度的毫米波图像数据进行标注，单个样本的标签为一个15维向量，该向量的每个维度对应人体的一个特定区域。若某个维度的值为1则表示该人体区域存在隐匿物体，为0则表示该人体区域不存在隐匿物体，通过这种标签的设定方式使得本发明中的循环神经网络模型仅需记住正常人体区域的特征，检测时对比待检区域与正常区域的特征即可，这样能够较好地避免隐匿物体多样性给本方法带来的影响。
进一步地，预处理的方式主要为通道填充，由于原始的毫米波图像仅仅包含单个通道的信息，因此将该通道的信息复制到二三通道中以形成一个RGB格式的数据。
进一步地，循环神经网络模型的训练在单个旋转角度下训练3次，4组训练数据共需训练12次。每一次的训练过程具体包括：
步骤S301、将训练数据划分为训练集和验证集，打乱训练集数据的顺序，并且将当前迭代次数设为1；
步骤S302、对训练集进行小角度的旋转、平移、随机抹除等数据增广；
步骤S303、判断当前迭代次数是否小于或等于总的迭代次数的80％，如果是则执行步骤S319，如果否，则执行步骤S304；
步骤S304、判断当前迭代次数是否小于总的迭代次数，如果是，则执行步骤S305，如果否，则执行步骤S32；
步骤S305、训练集不再使用小角度旋转、平移、随机抹除等数据增广方法；
步骤S31、按照特定规则筛选模型参数。
进一步地，筛选规则具体可以分为以下子步骤：
步骤S311、开始筛选模型参数，分别执行步骤S312与步骤S315；
步骤S312、判断当前验证集损失函数值是否小于或等于已保存的最小验证集损失函数值，如果是，则执行步骤S313，如果否则执行步骤S319；
步骤S313、判断当前验证集损失函数值是否等于已保存的最小验证集损失函数值，如果是，则执行步骤S314，如果否，则执行步骤S318；
步骤S314、判断当前验证集召回率是否小于或等于已保存的最大验证集召回率，如果是，则执行步骤S319，如果否，则执行步骤S318；
步骤S315、判断当前验证集召回率是否小于已保存的最大验证集召回率，如果是，则执行步骤S319，如果否，则执行步骤S316；
步骤S316、判断当前验证集召回率是否等于已保存的最大验证集召回率，如果是，则执行步骤S317，如果否，则执行步骤S318；
步骤S317、判断当前验证集损失函数值是否小于或等于已保存的最小验证集损失函数值，如果是，则执行步骤S318，如果否，则执行S319；
步骤S318、保存本次迭代的模型参数，且更新所保存的最小验证集损失函数值或最大的验证集召回率；
步骤S319、开始下次迭代的模型参数优化，迭代次数加1，随后执行步骤S303；
步骤S32、获得满足要求的模型参数。
进一步地，一次迭代具体包括：
步骤S70、在经过预处理得到多视角毫米波图像数据后，使用卷积神经网络对其进行特征提取得到特征层。
步骤S71、分别使用3×3，5×5的卷积核对步骤S70得到的特征层进行两次深层卷积得到多尺度特征层；
经过这两个卷积核的卷积操作后共可得到三个特征层，即：原始特征层、使用3×3卷积核得到的特征层与使用5×5卷积核得到的特征层，将这些特征层统称为多尺度特征层，这样可使得模型具备更好地检测不同大小隐匿物体的能力。
步骤S72、将属于同一角度下的多尺度特征层拉长后拼接到一起形成该角度下毫米波图像的K组特征向量。
步骤S73、将这K组特征向量依次后送入到双向双层的门控循环单元(GatedRecurrent Unit，GRU)中进行特征融合。
进一步地，具体融合过程包括：
在步骤S72中获取了K组单个被检人员的特征向量后按照其采集的先后顺序进行排列；
将排列好的特征向量依次输入到GRU1中，每次输入都会引起GRU1输出一个特征向量，因此会输出K组经过GRU1正向融合后的特征向量；
将排列好的特征向量再进行反向排列，再次输入到GRU1中，得到K组经过GRU1反向融合后的特征向量；
将经过GRU1正向融合后的K组特征向量依次输入到GRU2中，得到K组经过GRU2正向融合后的特征向量；
将经过GRU1反向融合的K组特征向量再次输入到GRU2中，得到K组经过GRU2反向融合后的特征向量；
将同一个输入特征向量所对应GRU2正向与反向输出的2个特征向量进行拼接，形成K组拼接后的特征向量，该特征向量的数据形式为一个矩阵A；
随机初始化另一个矩阵B，将其与矩阵A进行对应位置上的元素相乘得到一个矩阵C；
将矩阵C同一行元素进行相加，即完成融合的特征向量。
步骤S74、将完成融合的特征向量送入到全连接层中，该全连接层仅为单层结构，输出为一个15维的向量，代表人体15个位置是否有隐匿物体。
上述即为本发明检测方法的训练过程，在前80％的迭代过程中使用了小角度旋转、平移、随机抹除等数据增广方法进行训练可以增加本方法在实际场景中对于人体移动与倾斜的鲁棒性，剩下20％的迭代过程使用未经增广的数据进行训练可以使模型参数更加适用于实际场景。训练过程中保存验证集损失函数值最小的模型参数有利于检测模型准确率的提升，保存最大的验证集召回率模型参数以允许检测模型以一定误报为代价提升对隐匿物体的检测能力，这符合实际的需求，因为漏检比误检的后果更加严重。将原始数据旋转4个角度得到扩充后的训练数据，有利于缓解数据集样本数量过少的问题，提升检测模型的泛化能力。
进一步地，利用训练好的循环神经网络模型对待测毫米波图像中的隐匿物体进行检测，具体的检测过程包括以下步骤：
步骤S40、输入被检人员的多视角毫米波图像数据，对输入的被检人员的毫米波图像进行预处理，即将毫米波图像数据的单通道信息复制到第二通道和第三通道中形成RGB格式的毫米波图像数据；
步骤S41、将经过预处理的毫米波图像数据分别进行0°、90°、180°、270°旋转得到4组被检人员的图像数据；
步骤S50、不同的角度的数据使用加载不同角度模型参数的检测模型进行检测；
步骤S51、得到若干组模型检测结果；
步骤S60、对各个旋转角度下的检测结果使用投票的方法得到4组单个角度下prediction[i]的融合结果prediction1，投票的规则为：
步骤S61、
对各个旋转角度下的检测结果使用投票的方法进行再次融合，得到最终的检测结果prediction2，投票的规则为：
其中，1≤j≤M，旋转角度的个数为M。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
1、本发明采用卷积神经网络对多视角毫米波图像进行特征提取得到特征序列，随后使用循环神经网络对特征序列进行筛选融合，使得发明的模型网络能够较好地利用安检场景下毫米波图像多视角的特点；
2、本发明将人体区域划分为多个，测时对比待检区域与正常区域，仅需记住正常人体区域的特征而不需要直接识别隐匿物体，较好地避免了隐匿物体的多样性；
3、本发明采用集成学习的方式对旋转后的各组检测结果进行融合，提高了本方法的泛化能力；
4、本方法所保存的模型参数有着更好的鲁棒性与对实际工作场景的适应性，无论在检测速度还是检测准确率上都有着较好的表现，特别是检测准确率达到了99％，随着毫米波人体安检设备的逐渐普及，本发明有着较好的应用前景。
附图说明
图1是本发明提供的基于毫米波图像的人体隐匿物体检测方法的流程框图；
图2是本发明提供的人体隐匿物体检测方法的区域划分示意图；
图3是本发明提供的人体隐匿物体检测方法的检测模型训练流程图；
图4是本发明提供的人体隐匿物体检测方法的检测模型筛选流程图；
图5是本发明提供的人体隐匿物体检测方法的检测模型参数获取流程图；
图6是本发明提供的人体隐匿物体检测方法的检测模型网络结构示意图；
图7是本发明提供的人体隐匿物体检测方法的检测过程流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种基于毫米波图像的人体隐匿物体检测方法，如图1所示，包括以下步骤：
步骤S1、遍历包含人体多个角度的毫米波图像数据，对毫米波图像数据进行预处理；
步骤S2、将经过预处理的毫米波图像数据分别进行0°、90°、180°、270°旋转得到4组训练数据；
步骤S3、利用预设的检测模型在各组训练数据上按照一定训练策略进行多次重复训练，保存最佳的模型参数，最终完成对检测模型的训练；
步骤S4、对待测的毫米波图像做预处理与0°、90°、180°、270°旋转得到测试数据；
步骤S5、加载对应角度下的模型参数进行检测，得到测试数据的若干组检测结果；
步骤S6、对检测结果进行融合得到最终的检测结果。
具体地，本发明通过毫米波数据采集设备采集数据(主要为毫米波人体安检设备)，采集期间需要人体双手上扬举过头顶，同时需要对人体各个角度进行成像，以保证采集的数据包含人体各个部位的信息。采集完成后需要对数据进行标注，本发明基于区域划分对包含人体多个角度的毫米波图像数据进行标注，单个样本的标签为一个15维向量，该向量的每个维度对应人体的一个特定区域，人体区域的划分方式如图2所示。若某个维度的值为1则表示该人体区域存在隐匿物体，为0则表示该人体区域不存在隐匿物体，通过这种标签的设定方式使得本发明中的循环神经网络模型仅需记住正常人体区域的特征，检测时对比待检区域与正常区域的特征即可，这样能够较好地避免隐匿物体多样性给本方法带来的影响。
具体地，预处理的方式主要为通道填充，由于原始的毫米波图像仅仅包含单个通道的信息，因此将该通道的信息复制到第二、第三通道中以形成一个RGB格式的数据。
具体地，如图3所示，循环神经网络模型的训练在单个旋转角度下训练3次，4组训练数据共需训练12次。每一次的训练过程如图3所示，具体包括：
步骤S301、将训练数据划分为训练集和验证集，打乱训练集数据的顺序，并且将当前迭代次数设为1；
步骤S302、对训练集进行小角度的旋转、平移、随机抹除等数据增广；
步骤S303、判断当前迭代次数是否小于或等于总的迭代次数的80％，如果是则执行步骤S319，如果否，则执行步骤S304；
步骤S304、判断当前迭代次数是否小于总的迭代次数，如果是，则执行步骤S305，如果否，则执行步骤S32；
步骤S305、训练集不再使用小角度旋转、平移、随机抹除等数据增广方法；
步骤S31、按照特定规则筛选模型参数。
具体地，筛选规则如图4所示，具体可以分为以下子步骤：
步骤S311、开始筛选模型参数，分别执行步骤S312与步骤S315；
步骤S312、判断当前验证集损失函数值是否小于或等于已保存的最小验证集损失函数值，如果是，则执行步骤S313，如果否则执行步骤S319；
步骤S313、判断当前验证集损失函数值是否等于已保存的最小验证集损失函数值，如果是，则执行步骤S314，如果否，则执行步骤S318；
步骤S314、判断当前验证集召回率是否小于或等于已保存的最大验证集召回率，如果是，则执行步骤S319，如果否，则执行步骤S318；
步骤S315、判断当前验证集召回率是否小于已保存的最大验证集召回率，如果是，则执行步骤S319，如果否，则执行步骤S316；
步骤S316、判断当前验证集召回率是否等于已保存的最大验证集召回率，如果是，则执行步骤S317，如果否，则执行步骤S318；
步骤S317、判断当前验证集损失函数值是否小于或等于已保存的最小验证集损失函数值，如果是，则执行步骤S318，如果否，则执行S319；
步骤S318、保存本次迭代的模型参数，且更新所保存的最小验证集损失函数值或最大的验证集召回率；
步骤S319、开始下次迭代的模型参数优化，迭代次数加1，随后执行步骤S303；
步骤S32、获得满足要求的模型参数。
在本实施中由于存在4个旋转角度的训练数据，每个角度下各训练了3次，每次保存验证集召回率最大与验证集损失函数值最小的两组模型参数，因此整个训练过程共保存了24组满足要求的模型参数，如图5所示，分别为模型参数1_1～1_6、2_1～2_6、…、4_1～4_6。
进一步地，一次迭代的过程如图6所示，具体包括：
步骤S70、在经过预处理得到多视角毫米波图像数据后，使用卷积神经网络对其进行特征提取得到特征层，本实施中使用共享参数的Resnet50网络对每张毫米波图像进行特征提取，并且该Resnet50初始参数为在ImageNet上预训练好的模型参数，便于加速收敛。
步骤S71、分别使用3×3，5×5的卷积核对步骤S70得到的特征层进行两次深层卷积得到多尺度特征层；
经过这两个卷积核的卷积操作后共可得到三个特征层，即：原始特征层、使用3×3卷积核得到的特征层与使用5×5卷积核得到的特征层，将这些特征层统称为多尺度特征层，这样可使得模型具备更好地检测不同大小隐匿物体的能力。
步骤S72、将属于同一角度下的多尺度特征层拉长后拼接到一起形成该角度下毫米波图像的K组特征向量，在本实施中该向量的优选维度为8192，因此共有K组这样的特征向量，其中K为单个被检人员经过毫米波安检设备所获得的多视角毫米波图像的数量，K的值不应当低于4，在本实施中优选K为16。
步骤S73、将这K组特征向量依次送入到双向双层的门控循环单元(GatedRecurrent Unit，GRU)中进行特征融合。
进一步地，具体融合过程包括：
在步骤S72中获取了K组单个被检人员的特征向量后按照其采集的先后顺序进行排列；
将排列好的特征向量依次输入到GRU1中，每次输入都会引起GRU1输出一个特征向量，因此会输出K组经过GRU1正向融合后的特征向量，在本实施中该向量的优选维度为768；
将排列好的特征向量再进行反向排列，再次输入到GRU1中，得到K组经过GRU1反向融合后的特征向量，在本实施中该向量的优选维度为768；
将经过GRU1正向融合后的K组特征向量依次输入到GRU2中，得到K组经过GRU2正向融合后的特征向量，在本实施中该向量的优选维度为768；
将经过GRU1反向融合的K组特征向量再次输入到GRU2中，得到K组经过GRU2反向融合后的特征向量，在本实施中该向量的优选维度为768；
将同一个输入特征向量所对应GRU2正向与反向输出的2个特征向量进行拼接，形成K组拼接后的1536维特征向量，该特征向量的数据形式为一个1536×K的矩阵A；
随机初始化另一个1536×K的矩阵B，将其与矩阵A进行对应位置上的元素相乘得到一个1536×K的矩阵C；
将矩阵C同一行元素进行相加得到一个1536维的向量，即完成融合的特征向量。
步骤S74、将完成融合的特征向量送入到全连接层中，该全连接层仅为单层结构，输出为一个15维的向量，代表人体15个位置是否有隐匿物体。
上述即为本发明检测方法的训练过程，在前80％的迭代过程中使用了小角度旋转、平移、随机抹除等数据增广方法进行训练可以增加本方法在实际场景中对于人体移动与倾斜的鲁棒性，剩下20％的迭代过程使用未经增广的数据进行训练可以使模型参数更加适用于实际场景。训练过程中保存验证集损失函数值最小的模型参数有利于检测模型准确率的提升，保存最大的验证集召回率模型参数以允许检测模型以一定误报为代价提升对隐匿物体的检测能力，这符合实际的需求，因为漏检比误检的后果更加严重。将原始数据旋转4个角度得到扩充后的训练数据，有利于缓解数据集样本数量过少的问题，提升检测模型的泛化能力。
进一步地，利用训练好的循环神经网络模型对待测毫米波图像中的隐匿物体进行检测，具体的检测过程如图7所示，包括以下步骤：
步骤S40、输入被检人员的多视角毫米波图像数据，对输入的被检人员的毫米波图像进行预处理，即将毫米波图像数据的单通道信息复制到第二通道和第三通道中形成RGB格式的毫米波图像数据；
步骤S41、将经过预处理的毫米波图像数据分别进行0°、90°、180°、270°旋转得到4组被检人员的图像数据；
步骤S50、不同的角度的数据使用加载不同角度模型参数的检测模型进行检测；
步骤S51、得到若干组模型检测结果；
步骤S60、对各个旋转角度下的检测结果使用投票的方法得到4组单个角度下prediction[i]的融合结果prediction1，投票的规则为：
步骤S61、
对各个旋转角度下的检测结果使用投票的方法进行再次融合，得到最终的检测结果prediction2，投票的规则为：
其中，1≤j≤M，旋转角度的个数为M。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于毫米波图像的人体隐匿物体检测方法，其特征在于，包括以下步骤：
步骤S1、遍历包含人体多个角度的毫米波图像数据，对所述毫米波图像数据进行预处理；
步骤S2、将所述经过预处理的毫米波图像数据分别进行不同角度的旋转得到训练数据；
步骤S3、利用预设的检测模型对所述训练数据进行训练，得到模型参数；具体包括：
步骤S301、将所述训练数据划分为训练集和验证集，打乱训练集数据的顺序，并且将当前迭代次数设为1；
步骤S302、对所述训练集进行数据增广后进行迭代；
步骤S303、判断当前迭代次数是否小于或等于总的迭代次数的80％，如果是则执行步骤S319，如果否，则执行步骤S304；
步骤S304、判断当前迭代次数是否小于总的迭代次数，如果是，则执行步骤S305，如果否，则执行步骤S32；
步骤S305、所述训练集不再进行数据增广，得到待选的模型参数，进入步骤S311；
步骤S311、筛选模型参数，分别执行步骤S312与步骤S315；
步骤S312、判断当前验证集损失函数值是否小于或等于已保存的最小验证集损失函数值，如果是，则执行步骤S313，如果否则执行步骤S319；
步骤S313、判断当前验证集损失函数值是否等于已保存的最小验证集损失函数值，如果是，则执行步骤S314，如果否，则执行步骤S318；
步骤S314、判断当前验证集召回率是否小于或等于已保存的最大验证集召回率，如果是，则执行步骤S319，如果否，则执行步骤S318；
步骤S315、判断当前验证集召回率是否小于已保存的最大验证集召回率，如果是，则执行步骤S319，如果否，则执行步骤S316；
步骤S316、判断当前验证集召回率是否等于已保存的最大验证集召回率，如果是，则执行步骤S317，如果否，则执行步骤S318；
步骤S317、判断当前验证集损失函数值是否小于或等于已保存的最小验证集损失函数值，如果是，则执行步骤S318，如果否，则执行S319；
步骤S318、保存本次迭代的模型参数，且更新所保存的最小验证集损失函数值或最大的验证集召回率；
步骤S319、开始下次迭代的模型参数优化，迭代次数加1，执行步骤S303；
步骤S32、获得满足要求的模型参数；
步骤S4、对待测的毫米波图像依次进行预处理和不同角度的旋转得到测试数据；
步骤S5、利用对应旋转角度下的模型参数对所述测试数据进行检测，得到多组检测结果；
步骤S6、对所述多组检测结果进行融合得到最终的检测结果。
2.根据权利要求1所述的检测方法，其特征在于，对毫米波数据采集设备采集的所述毫米波图像数据进行标注，标签为一个15维向量，每个维度对应人体的一个区域，维度的值为1表示该人体区域存在隐匿物体，维度的值为0表示该人体区域不存在隐匿物体。
3.根据权利要求1所述的检测方法，其特征在于，所述预处理包括通道填充，将所述毫米波图像数据的单通道信息复制到第二通道和第三通道中形成RGB格式的毫米波图像数据。
4.根据权利要求1所述的检测方法，其特征在于，所述对待测的毫米波图像依次进行预处理和不同角度的旋转得到测试数据，具体包括：
步骤S40、对输入的待测的毫米波图像数据进行预处理，将所述毫米波图像数据的单通道信息复制到第二通道和第三通道中形成RGB格式的毫米波图像数据；
步骤S41、将经过预处理的毫米波图像数据分别进行不同角度的旋转得到测试数据。
5.根据权利要求1所述的检测方法，其特征在于，所述迭代具体包括：
步骤S70、对经过预处理得到的多视角毫米波图像数据使用卷积神经网络对其进行特征提取得到特征层；
步骤S71、分别使用不同大小的卷积核对所述特征层进行两次深层卷积得到多尺度特征层；
步骤S72、将属于同一角度下的多尺度特征层拉长后拼接到一起形成该角度下毫米波图像的K组特征向量；
步骤S73、将这K组特征向量依次后送入到双向双层的GRU中进行特征融合；
步骤S74、将完成融合的特征向量送入到全连接层中，输出最终的检测结果。
6.根据权利要求5所述的检测方法，其特征在于，所述全连接层为单层结构。
7.根据权利要求5所述的检测方法，其特征在于，所述最终的检测结果为一个15维的向量，代表15个人体区域是否有隐匿物体。
8.根据权利要求1所述的检测方法，其特征在于，所述对所述多组检测结果进行融合得到最终的检测结果，具体包括：
步骤S60、对各个旋转角度下的检测结果使用投票的方法得到各个旋转角度下prediction[i]的融合结果prediction1，投票的规则为：
其中，1≤i≤N，需要融合的结果数量为N；
步骤S61、对各个旋转角度下的检测结果使用投票的方法进行再次融合，得到最终的检测结果prediction2，投票的规则为：
其中，1≤j≤M，旋转角度的个数为M。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910647793.9A CN110443158B (zh) | 2019-07-18 | 2019-07-18 | 一种基于毫米波图像的人体隐匿物体检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910647793.9A CN110443158B (zh) | 2019-07-18 | 2019-07-18 | 一种基于毫米波图像的人体隐匿物体检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110443158A CN110443158A (zh) | 2019-11-12 |
| CN110443158B true CN110443158B (zh) | 2021-10-08 |
Family
ID=68430623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910647793.9A Active CN110443158B (zh) | 2019-07-18 | 2019-07-18 | 一种基于毫米波图像的人体隐匿物体检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443158B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111046877A (zh) * | 2019-12-20 | 2020-04-21 | 北京无线电计量测试研究所 | 一种毫米波图像可疑物品检测方法和*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8213672B2 (en) * | 2007-08-08 | 2012-07-03 | Microsemi Corporation | Millimeter wave imaging method and system to detect concealed objects |
| CN107506702A (zh) * | 2017-08-08 | 2017-12-22 | 江西高创保安服务技术有限公司 | 基于多角度的人脸识别模型训练及测试***及方法 |
| CN109558781A (zh) * | 2018-08-02 | 2019-04-02 | 北京市商汤科技开发有限公司 | 一种多视角视频识别方法及装置、设备和存储介质 |
| CN109584339A (zh) * | 2018-12-04 | 2019-04-05 | 中国民航大学 | 一种基于生成式对抗网络的安检违禁品x光图像生成方法 |
| CN109799544A (zh) * | 2018-12-28 | 2019-05-24 | 深圳市华讯方舟太赫兹科技有限公司 | 应用于毫米波安检仪的智能检测方法、装置以及存储装置 |
| CN109948562A (zh) * | 2019-03-25 | 2019-06-28 | 浙江啄云智能科技有限公司 | 一种基于x射线图像的安检***深度学习样本生成方法 |
-
2019
- 2019-07-18 CN CN201910647793.9A patent/CN110443158B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8213672B2 (en) * | 2007-08-08 | 2012-07-03 | Microsemi Corporation | Millimeter wave imaging method and system to detect concealed objects |
| CN107506702A (zh) * | 2017-08-08 | 2017-12-22 | 江西高创保安服务技术有限公司 | 基于多角度的人脸识别模型训练及测试***及方法 |
| CN109558781A (zh) * | 2018-08-02 | 2019-04-02 | 北京市商汤科技开发有限公司 | 一种多视角视频识别方法及装置、设备和存储介质 |
| CN109584339A (zh) * | 2018-12-04 | 2019-04-05 | 中国民航大学 | 一种基于生成式对抗网络的安检违禁品x光图像生成方法 |
| CN109799544A (zh) * | 2018-12-28 | 2019-05-24 | 深圳市华讯方舟太赫兹科技有限公司 | 应用于毫米波安检仪的智能检测方法、装置以及存储装置 |
| CN109948562A (zh) * | 2019-03-25 | 2019-06-28 | 浙江啄云智能科技有限公司 | 一种基于x射线图像的安检***深度学习样本生成方法 |
Non-Patent Citations (3)
| Title |
|---|
| Concealed Object Detection for Activate Millimeter Wave Image;Ting Liu et al.;《IEEE Transactions on Industrial Electronics》;20190128;9909-9917 * |
| 毫米波成像隐匿目标检测方法研究;桑湘鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180215;I138-1489 * |
| 毫米波隐匿危险品成像的图像识别算法研究;戴玲;《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》;20180215;B026-8 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110443158A (zh) | 2019-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145177B (zh) | 图像样本生成方法、特定场景目标检测方法及其*** | |
| CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
| CN109977921B (zh) | 一种输电线路隐患检测方法 | |
| CN105488517B (zh) | 一种基于深度学习的车辆品牌型号识别方法 | |
| CN105590099B (zh) | 一种基于改进卷积神经网络的多人行为识别方法 | |
| CN110310264A (zh) | 一种基于dcnn的大尺度目标检测方法、装置 | |
| CN109284669A (zh) | 基于Mask RCNN的行人检测方法 | |
| CN109409256A (zh) | 一种基于3d卷积神经网络的森林烟火检测方法 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| KR20170056474A (ko) | 건축물 높이 산출 방법, 장치 및 저장 매체 | |
| CN105930822A (zh) | 一种人脸抓拍方法及*** | |
| CN106778614B (zh) | 一种人体识别方法和装置 | |
| CN108416265A (zh) | 一种人脸检测方法、装置、设备及存储介质 | |
| CN105740910A (zh) | 一种车辆物件检测方法及装置 | |
| CN105654066A (zh) | 一种车辆识别方法及装置 | |
| CN110322438A (zh) | 结核分枝杆菌自动检测模型的训练方法及自动检测*** | |
| CN109871763A (zh) | 一种基于yolo的特定目标跟踪方法 | |
| CN108764082A (zh) | 一种飞机目标检测方法、电子设备、存储介质及*** | |
| CN109241902A (zh) | 一种基于多尺度特征融合的山体滑坡检测方法 | |
| CN109903339B (zh) | 一种基于多维融合特征的视频群体人物定位检测方法 | |
| CN113538347B (zh) | 基于高效双向路径聚合注意力网络的图像检测方法及*** | |
| CN108960145A (zh) | 人脸图像检测方法、装置、存储介质和电子设备 | |
| CN108776777A (zh) | 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法 | |
| CN112308156A (zh) | 一种基于对抗学习的两阶段图像变化检测方法 | |
| CN110008877A (zh) | 一种基于Faster RCNN的变电站隔离开关检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |