CN110334571B - 一种基于卷积神经网络的毫米波图像人体隐私保护方法 - Google Patents

一种基于卷积神经网络的毫米波图像人体隐私保护方法 Download PDF

Info

Publication number
CN110334571B
CN110334571B CN201910264654.8A CN201910264654A CN110334571B CN 110334571 B CN110334571 B CN 110334571B CN 201910264654 A CN201910264654 A CN 201910264654A CN 110334571 B CN110334571 B CN 110334571B
Authority
CN
China
Prior art keywords
human body
center
millimeter wave
regions
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910264654.8A
Other languages
English (en)
Other versions
CN110334571A (zh
Inventor
张铂
王斌
吴晓峰
张立明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201910264654.8A priority Critical patent/CN110334571B/zh
Publication of CN110334571A publication Critical patent/CN110334571A/zh
Application granted granted Critical
Publication of CN110334571B publication Critical patent/CN110334571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体为一种基于卷积神经网络的毫米波图像人体隐私保护方法。本发明首先将人体划分为十个区域，并且针对十个区域设计人体结构数据集，训练深度学习模型，来检测受检人的人体区域；然后利用人体区域坐标来给人体隐私部位添加遮挡；最后利用人体结构信息，结合最近邻算法、坐标投影算法，将违禁物体预测框投影到卡通图片的对应位置。外部用户只能观察到卡通图片及其对应的违禁物体预测框，从而保护了受检人员的隐私安全。

Description

一种基于卷积神经网络的毫米波图像人体隐私保护方法
技术领域
本发明属于图像处理技术领域，具体涉及毫米波图像的隐私保护方法。
背景技术
毫米波是一种波长为1mm～10mm，频率为30～300GHz的电磁波。由于毫米波可以有效地穿透普通衣物等障碍物，并且具有较高的成像分辨率，同时对人体是无危害的，因此，现如今，毫米波成像***已经广泛地应用在安检、安防等领域，例如，城市地铁安检点，机场安检点，人群密集区域等。毫米波成像***按照工作方式可以分为被动式成像(PMMW)和主动式成像(AMMW)。相比被动式成像方法，主动式成像即可以实现二维、三维成像，也具有较高的成像分辨率，可以配合自动目标检测算法，利用人工智能技术准确地识别隐藏在人体中的违禁携带物体。但是，由于较高的成像分辨率，主动式成像设备的成像结果会有很明显的人体轮廓特征以及人体性别特征，很明显地暴露受检人员的隐私，如图1。因此，需要利用图像处理技术来完成毫米波图像的个人隐私保护功能。
在国内，北京无线电计量测试研究所利用去隐私部位的图像处理技术[1]，中科院上海微***所利用人体隐私部位快速识别定位的技术[2]，来完成对毫米波人体隐私部位的遮挡处理。
在国际上，美国L3公司所研发的Provision产品主要针对机场安检，将人体成像结果映射到一张卡通图中，作为原始毫米波人体图像的替代图，机场辅助安检人员可以看到的仅仅是人体成像结果的替代图，保护了受检人员的隐私。
不论在国内外，对毫米波成像结果的隐私保护技术一直普遍受到关注。一般所采用的算法流程包括：1)使用图像处理技术确定毫米波图像中人体的位置；2)对图像中人体进行进一步区域划分，从而确定面部、胸部和裆部等隐私部位。然而随着主动毫米波安检仪器的广泛应用，受检人员的体型分布、身高分布扩大，受检人员接受安全检查时的站立姿势并非完全按照受检说明执行，因此导致按照传统的图像处理技术来获取毫米波图像中人***置、人体轮廓信息的难度增大，最后导致对隐私部位的坐标定位出现较大偏差，对人体违禁物品的坐标映射发生偏差，如图2第二行所示。因此，利用大规模毫米波人体图像，快速、有效地定位人***置，恢复人体的轮廓信息不仅仅会提升违禁物品检测的精度，而且会提升毫米波图像人体隐私保护算法的精度。
传统对毫米波人体图像的隐私保护算法[1][2][3]通过平滑滤波，阈值选取和形态学处理的方式得到人体轮廓信息。在获得人体轮廓信息后，[1][2]需要设计几何式的手工特征，确定人体隐私部位相对于人体轮廓的几何位置。但若是人体的站姿发生变化，导致手部区域距离面部区域较近时；或者是成像结果由于外界条件的原因发生改变，导致手部区域的成像结果与面部区域相似时，则会导致对面部隐私部位的误判，如图2.B第二行所示。
下面介绍一些有关毫米波人体成像的隐私保护算法:
1、常规隐私保护算法
基于传统图像处理的隐私保护算法采用横向分割隐私保护算法[1]。具体地，通过平滑滤波、阈值选取、形态学操作得到人体轮廓图；获得人体轮廓图后需要对人体进行身高判断，基于人体轮廓的身高特征，进行面部定位、裆部定位等。
1.1获取人体轮廓图
首先，增加毫米波图像中人体的边缘细节：
g(x,y)＝f(x,y)+A×h(x,y) (1)
公式(1)中，f(x,y)是原始毫米波图像，h(x,y)是原始毫米波图像经过高通滤波后的结果，常数A是锐化惩罚因此，控制锐化程度，g(x,y)是图像锐化的输出结果。
经过锐化处理后g(x,y)已是边缘较清晰的图像。通过公式(2)，设定阈值。阈值利用最大类间方差来选择[4]，此时人体轮廓与背景的差别最大，二值化的效果最好。
Figure BDA0002016397780000021
T(x,y)代表经过阈值处理后的图像。然后将T(x,y)进行形态学闭运算与腐蚀膨胀算法处理，来填补人体轮廓的空缺部分。
1.2人体身高判断
为了防止由于不同身高的受检人导致的纵向偏差，常规隐私保护算法需要对人体轮廓图像进行人体身高判断。该方法主要通过从图像纵向方向遍历像素值，来按照人体比例模型求出人体身高。但是此方法不能适用于身材变化较大的受检人，且此方法收到T(x,y)结果的影响较大。
1.3隐私部位定位
对T(x,y)进行区域划分。利用受检人员的站姿的先验知识来设计T(x,y)的区域。但是此方法严重收到受检人员的站姿以及成像质量的影响。
2、基于深度学习的隐私保护算法
本发明提出基于深度学习的隐私保护算法。其依靠采用一阶段目标检测模型来检测到人体的不同区域。基于深度学习的检测模型可以较大程度地提升对人体区域检测的精度，从而可以有效识别出人体的隐私区域，并且有效地完成携带物的坐标投影。具体算法流程参见发明内容部分，本节只介绍基于深度学习的目标检测算法。
2.1深度学习检测模型
一阶段(one-stage，或者称作one-shot)目标检测模型是指提取候选框和使用候选框来预测地面真实(Ground Truth)在一个阶段完成，通常是端到端的深度学习模型架构。
本发明利用SSD[9]模型来获取人体区域，其中，关于候选框的概念参考文献[9]。在从候选框中合理地挑选出了一定比例的正负样本之后，训练的代价函数如下：
Figure BDA0002016397780000031
其中，N是挑选出的正样本的个数。Lcls(I,C)表示类别预测，Lloc(I,P,G))表示位置回归预测，α表示惩罚因子，C是训练集中的类别个数，I是示性项，
Figure BDA0002016397780000032
当且仅当第i个候选框和第j个Ground Truth匹配时，I＝1。
回归项如公式(4)，
Figure BDA0002016397780000033
和
Figure BDA0002016397780000034
分别表示第i个候选框和第j个GroundTruth的中心点坐标，
Figure BDA0002016397780000035
和
Figure BDA0002016397780000036
分别表示第i个候选框和第j个Ground Truth的宽和高。
Figure BDA0002016397780000037
是候选框发生的相对偏移。
Figure BDA0002016397780000038
是对第i个候选框发生偏移的回归预测。
Figure BDA0002016397780000039
Figure BDA00020163977800000310
类别预测项如公式(6)，
Figure BDA00020163977800000311
是第i个候选框关于第k类的预测概率，
Figure BDA00020163977800000312
是第i类候选框关于背景的预测概率。
Figure BDA00020163977800000313
发明内容
本发明的目的在于提供一种速度快、正确率高的毫米波图像的隐私保护方法。
本发明提出的毫米波图像的隐私保护方法，是基于深度卷积神经网络技术的，即采用深度卷积神经网络人体局部区域识别架构(记为DHF)，如图3所示。首先，利用目标检测算法预测人体局部区域，而非全局区域，将人体分割为10个区域；其次，采用最近邻法将人体携带物(图中正方形包围盒标记处)与其中的最近邻人体区域绑定，然后在该人体区域内部进行投影操作，将毫米波原图中的人体携带物标记框投影到卡通图像人体局部区域的对应位置处；最后，利用重构算法还原该卡通图像以及其人体携带物标记框。
本发明利用识别人体的10个区域来完成毫米波人体图像的隐私保护。可通过胸部区域的中心点坐标确定人体脸部坐标，通过裆部区域的中心点确定人体裆部坐标，通过投影和重构算法来完成人体携带物体从原始毫米波图像至卡通图像的坐标变换操作。
具体包括以下几个方面：
(1)采用目标检测模型SSD[9]，来检测人体区域，本发明将人体分为10个区域，如图4所示，分别为：1、左小臂，2、右小臂，3、左大臂，4、右大臂，5、胸部，6、裆部，7、左小腿，8、右小腿，9、左大腿，10、右大腿；
(2)利用SSD检测到的人体10个区域来设置隐私遮挡，如图2.B第一行所示，获取到人体胸部区域后，胸部区域的中心点的横坐标便是面部区域的横坐标，面部区域的纵坐标采用标准人体比例因子计算得到；裆部区域中心点坐标直接即可获得；
(3)将毫米波原图中的违禁危险物体标记框通过DHF架构投影到卡通图像对应位置处，如图2.C第一行所示。
本发明采用SSD模型准确获得人体区域的坐标信息，并利用这些信息检测到人体隐私部位，同时利用人体区域信息投影违禁物体标记框。准确率、时效性都超过了传统人体图像隐私保护算法。
本发明提供的基于卷积神经网络的毫米波图像人体隐私保护方法，包括构建网络结构的方法，预测人体隐私部位的方法，投影人体携带物的方法，以及训练以及测试方案(见具体实施方式)，具体步骤如下：
步骤1、检测人体区域：构建人体结构数据集。
1.1：划分人体。由于毫米波安检仪要求受检人的站姿是手向上举过头顶，双肩与颈部水平，双脚分开的距离与肩同宽。因此，本发明将人体分割为10个区域，分别是(基于图像从左至右的法则)：1代表左小臂，2代表右小臂，3代表左大臂，4代表右大臂，5代表胸部或背部(背面)，6代表裆部或臀部(背面)，7代表左小腿，8代表右小腿，9代表左大腿，10代表右大腿。如图4所示。
1.2：对数据集进行标注。本发明选择来自不同地区、不同身高、不同体型的受检人员的毫米波安检仪的扫描结果作为数据集。共计5788张扫描图片，其中2894张正面扫描结果，2894张背面扫描结果。标注方式按照步骤1.1的划分方式进行。
步骤2、检测人体区域：检测模型的设计。
2.1：聚类前景目标的面积分布。对步骤1.2的标注结果进行统计，得出前景目标的区域面积的分布范围，如图5所示。采用K-means算法[16]，取K-means算法的聚类种类K＝3，来获得初始化候选框的规模因子smin和smax(参见公式(7))。本发明实施例中将smin设置为0.2，smax设置为0.5。
2.2：对毫米波图像进行下采样操作。本发明采用VGG模型[10]来获得毫米波图像的抽象特征。如图3所示，采用fc7、conv6_2、conv7_2这三个层级的特征图来预测人体的十个部位。其中，fc7、conv6_2、conv7_2分别对原始毫米波图像下采样16倍，32倍，64倍。
2.3：初始化候选框。基于步骤2.2选出的fc7、conv6_2、conv7_2这三个层级特征图在原图中初始化候选框。这三个层级特征图中的第i个特征点，分别在原始图像中初始化第i个候选框
Figure BDA0002016397780000051
cx是中心点坐标横坐标，cy是中心点纵坐标，w是候选框的宽，h是候选框的高。候选框的初始化方法按照公式(7)-公式(9)。
Figure BDA0002016397780000052
Figure BDA0002016397780000053
Figure BDA0002016397780000054
其中，sk∈{fc7，conv6_2，conv7_2}，表示的含义是参与预测人体区域的候选框的比例因子(针对毫米波图像的宽高比例)；n表示参与预测人体区域的层级特征图的个数，本发明选用fc7，conv6_2，conv7_2这三层参与预测，n＝3；rj代表不同宽高比的集合。W代表毫米波图像的宽度，H代表毫米波图像的高度。
2.4：针对候选框，进一步选择出可供训练的正负样本。步骤2.3对fc7、conv6_2、conv7_2这三层特征图中的每一个特征点，都在原图中产生了候选框。此时按照候选框与地面真实(Ground Truth)的重合度挑选正负样本[9]。若重合度大于阈值θ，则为正样本候选框，反之为负样本候选框。通过OHEM[15]算法来挑选出难以学习的负样本候选框，保持正负样本比例均衡。本发明实施例中，设置阈值θ为0.5。
步骤3、检测人体区域：训练检测器，并且预测人体区域。
3.1：通过步骤1.2得到有监督的训练样本5788张。为了验证模型训练的性能，随机选择3859张图片(包括正面和背面)作为训练样本，选择1929张图片作为验证样本。在具体实施方案中会介绍模型的实验结果。针对每一张训练样本，步骤2.4都会合理地选择出一定比例的正样本和负样本，后采用公式(3)训练检测器：
Figure BDA0002016397780000055
其中，N是挑选出的正样本的个数；Lcls(I,C)表示类别预测，Lloc(I,P,G))表示位置回归预测，α表示惩罚因子，C是训练集中的类别个数，I是示性项，
Figure BDA0002016397780000061
当且仅当第i个候选框和第j个Ground Truth匹配时，I＝1。
3.2：在有监督的人体区域数据集中完成训练后，将检测器投入实际应用场景，即DHF架构中。如图3，DHF架构针对每一张测试图片，识别出人体的十个区域的类别以及区域中心点坐标。
步骤4、遮挡人体隐私部位：对步骤3得到的人体区域进一步处理，遮挡人体隐私部位。
4.1：如图3，在步骤3.2检测到人体的十个区域后，分别对特定的区域添加遮挡。其中，对6号区域裆部或臀部添加遮挡。通过5号区域的中心点横坐标来确定面部区域的中心点横坐标，并且参照标准人体比例因子来确定面部区域的中心点纵坐标。
4.2：步骤4.1获得了隐私部位的中心点坐标，基于提供的中心点坐标，添加遮挡物来保护隐私。
步骤5、违禁物标记框投影：
到步骤4.2结束。本发明已经可以利用DHF架构屏蔽人体隐私部位。接下来还需要将自动目标识别算法检测到的危险物体投影到卡通图中，这样可以进一步保护受检人员的隐私安全。
5.1：最近邻算法绑定人体区域。
输入：
(1)步骤3.2获得的人体部位的中心点坐标centeri＝(center_xi,center_yi),i∈[1,Z]；Z表示检测器预测的人体区域的个数；
(2)自动目标识别算法获得的违禁物体中心点坐标detj＝(det_xj,det_yj),j∈[1,N],N表示一次检出的违禁物的个数；
要判断违禁物体的中心点坐标与哪个人体部位绑定，本发明通过计算欧式距离，选择欧式距离最短的一个人体部位中心centermin＝(center_xmin,center_ymin)，执行下一步。
5.2：投影标记框至卡通图片。
若Z＝10，即检测器正常地预测出了10个人体区域，则计算偏移向量b0＝detj-centermin,
Figure BDA0002016397780000062
b1是对b0向量归一化的结果。
若Z<10，即人体区域检测器预测的人体区域小于10个，这种情况是由于人体站姿发生变化导致成像产生较大偏差导致。则计算偏移向量b0＝detj-center5,
Figure BDA0002016397780000063
其中center5表示5号人体部件的中心点坐标。
5.3：重构卡通图片中违禁物标记框。
利用偏移向量b1重构在卡通图中违禁物的中心点坐标。本发明针对图3中的右侧卡通图，提前定义卡通图中的十个人体区域中心点坐标，记center_cark,k∈[1,10]。其中ω＝(ωW,ωH)分别表示卡通图的宽和高。
按照b1ω+center_carmin，即可简单解出卡通图中违禁物的中心点坐标。
本发明针对毫米波图像，利用卷积神经网络来提取毫米波图像中的人体结构信息，基于人体结构信息完成人体隐私保护算法。本发明将人体分为10个区域，利用SSD[9]模型来检测人体10个区域，将隐私区域进行遮挡处理；针对人体违禁物体的标记框，利用最近邻算法、投影算法将在毫米波图像中的标记框投影至卡通图像中的对应位置。
附图说明
图1是主动式毫米波成像结果展示。
图2是本发明提出的算法与传统人体图像隐私保护算法的可视化对比结果，第一行是本发明提出算法的实验结果，第二行是传统方法的实验结果。其中A栏表示毫米波原图，其中右上角的长方形标记框表示违禁物目标检测算法所检测到的人体所携带的违禁物体，B栏是对人体面部加入遮挡的效果图对比，C栏是将检测到的人体携带物投影到卡通图像的效果对比。在C中，长方形标记框是地面真实(Ground Truth)，而带圆点的长方形标记框是采用不同的算法的投影结果。
图3是深度卷积神经网络人体局部区域识别架构(DHF)图。其功能是检测人体的10个不同区域，完成隐私部位遮挡物添加，完成违禁物体标记框从原始毫米波图像至卡通图像的投影。
图4是本发明对人体区域的分割方式：将人体分割为10个不同的区域。
图5是本发明提出的人体部位数据集中的前景目标的统计结果，横坐标GT area表示前景目标的面积大小，纵坐标Number表示前景目标的数目。
图6是针对人体部位数据集下的验证集结果。实线代表采用SSD架构的全部特征图预测人体部位，圆点实线代表采用fc7，conv6_2，conv7_2预测人体部位。横坐标Trainingiterations表示是训练迭代次数，纵坐标mAP表示的是检测器的性能指标。
图7是在本发明设计的人体部位数据集中的预测结果，每张图片都准确预测出了10个人体部位以及其对应的类别概率。
图8是每张毫米波原图中的危险物体标记框到卡通图片的投影结果。其中实线包围框是卡通图上的Ground Truth，而圆点实线包围框是采用DHF架构的投影结果。
图9是采用DHF算法投影违禁物标记框出现错误的结果。
图中标号：1、左小臂，2、右小臂，3、左大臂，4、右大臂，5、胸部，6、裆部，7、左小腿，8、右小腿，9、左大腿，10、右大腿。
具体实施方式
下面，在毫米波数据集中来说明本发明的具体实施方式。
数据集说明：本发明所设计的人体部位数据集来自[5]。在[5]中其中包含15万张带有违禁物体的训练集图像，6454张带有违禁物体的验证集图像，9个标准测试集。
1、预测人体部位实验：
数据集选取与标注：
在15万张毫米波扫描结果图中选择5788张，其中2894张正面扫描结果，2894张背面扫描结果。5788张图像中覆盖了不同身材、性别、身高的50个受检人。我们将原始毫米波图像中的人体划分为10个区域，并标注这些区域，如图4所示。
训练实验设置：
本节介绍人体部位检测器的训练设置，代码采用caffe[14]编写，选用上述内容介绍的数据集中的3859张图片作为训练样本。并且，本节所有实验都按照如下实验设置进行：
初始化学习率:0.001；
训练周期:约40次遍历训练集，又叫做epochs数；
训练迭代次数：约30000次，每次抓取的batch size的个数：8；
优化算法，带冲量SGD，momentum设置为0.9；
正则项：采用L2，其中惩罚因子(weight decay)设置为0.0005；
预训练模型：加载SSD[9]模型在VOC0712数据集上的训练的最优结果作为初始化参数。
测试实验设置：
验证集：1929张毫米波扫描结果。
验证过程中，1)实验设置正样本阈值为0.9，即置信度高于0.9的候选框才会被作为网络输出的预测结果；
2)设置检出重合度设置为0.5，即网络的预测结果与Ground Truth的重合度大于0.5即判断为检出。
为了识别不同身材、不同身高，不同受检扫描姿态的受检人员的人体部位，我们采用多层级(multi-level)特征图预测的方式。如图6中的6level features代表选择6层特征图预测人体部位，而3level features代表选择fc7，conv6_2，conv7_2来预测人体部位。实验结果表明采用K-means聚类初始化候选框的规模因子，并且采用3层特征图预测人体部位的性能优于采用6层特征图预测人体部位，并且相对于6层级特征图，选择3个层级的特征图预测会降低检测模型的时间复杂度，因此，在DHF架构中，我们选择3个层级特征来识别不同身高、身材、受检姿态的受检人员。其中，在验证集中mAP指标为95.24％；在正样本阈值为0.9的条件下，成功召回19287个人体部位，达到99.99％召回率。
2、投影违禁物标记框实验：
数据集选取与标注：
在[5]中的9个标准测试集中随机挑选出352张不同身高的模特的不同部位的身体正面扫描结果，224张身体背面扫描结果。
标注上述所有图片。标注方式如下：
(1)对于在原始毫米波图像中的任意一个违禁物标记框，确认其中心点落在哪个人体部位内，例如，图2中的违禁物标记框的中心点落在了2号部位；
(2)在卡通图中找到上述对应的人体部位，人工标记在卡通图中相对于人体部位的中心点坐标；
(3)在卡通图中违禁物标记框的长和宽由原始毫米波图像与卡通图像的长宽比例系数得到。
我们称在卡通图中的标记结果为投影Ground Truth，利用该标记信息来判断我们的DHF架构对违禁物标记框的投影有效性。
实验设置：
自动目标识别算法：选择[2]中涉及的毫米波违禁物目标识别算法来获得人体违禁携带物的预测结果。
数据集：选择本节中所标注的数据集，包含了352张人体正面扫描结果和224张人体背面扫描结果。
评价标准：本节中的评价标准主要负责评价隐私保护算法的性能。其中包括L1_acc指标和L2_acc指标。
(1)L1_acc指标：记δi是算法将原始毫米波图像中的违禁物标记框投影至卡通图中的结果，当δi与投影Ground Truth的重合度大于0.2时，则认为本次算法正确地将原图的标记框投影到了卡通图的对应位置；否则，认为算法没有正确地投影该标记框；
(2)L2_acc指标：同样地，记δi是算法将原始毫米波图像中的违禁物标记框投影至卡通图中的结果，当δi与投影Ground Truth落在了同一个人体部位时(本例有十个人体部位)，则认为本次算法正确地将原图的标记框投影到了卡通图的对应位置；否则，认为算法没有正确地投影该标记框。
对比常规隐私保护算法：
表1表明了与常规隐私保护算法对比的实验结果，其中对于DHF的运行时间测试是在NVIDIA TITAN Xp上完成，batch size＝4，取1000次迭代的平均值。
对比常规隐私保护算法和DHF算法可知，由于DHF算法获得到有效地人体结构信息，因此对于不同身高、身材、体型、站姿的受检人员的泛化性更强，算法性能稳定，运行速度快。
表1.与其他的常规隐私保护算法的对比结果(time表示实际的运行时间，单位是毫秒，batch size＝4)
Figure BDA0002016397780000101
3、结果分析：
对DHF的实验结果进行分析。在352张正面图片和224张背面图片，每张图片中都带有至少一个违禁物标记框。其中若以L2_acc指标为准，那么DHF算法对正面投影只出错了5个，对背面投影只出错了2个。
本节将对投影出错的图像进行分析，并且分析投影出错的原因，进行下一步讨论。
如图9所示，在卡通图中，实线标记框表示投影Ground Truth，带圆点实线标记框表示DHF的算法投影结果。由于我们在人体分割阶段，将人体划分为10个区域，但是这10个区域中不包含颈部、头部区域，对于面部区域的隐私保护我们是通过胸部区域按照人体比例得到的，因此对于颈部、头部区域出现的违禁物标记框的投影，DHF算法发生了错误。但是这个错误是可以通过进一步细分人体区域而修补。
综上，由于毫米波人体安检仪器在安检领域的广泛应用，对于受检人员的隐私保护是一个重要的研究领域。由于毫米波图像可以穿透衣物，本发明采用DHF架构来给毫米波人体图像添加遮挡，并且利用卡通图替换的方式来提高受检人员的隐私。其中，本发明通过卷积神经网络检测器来获取原始毫米波图像的人体部位信息，召回率达99.99％，通过有效的人体部位信息来添加遮挡物，并且利用最近邻法和投影变换法来完成人体违禁物体标记框向替代图的映射。对比常规的隐私保护算法，基于卷积神经网络来获得人体部位的隐私保护算法更加有效。
为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。
参考文献
[1]王凯让，王威，年丰，等.一种基于毫米波成像的隐私保护装置[P].中国：CN102708560B，2012.
[2]叶金晶，周健，等.主动毫米波成像隐私保护算法[J].红外与毫米波学报,2017(4).
[3]Tirosh Y,Birnhack M.Naked in Front of the Machine:Does AirportScanning Violate Privacy？[J].Ohio State Law Journal,2013,74.
[4]Otsu N.A Threshold Selection Method from Gray-Level Histograms[J].IEEE Transactions on Systems,Man,and Cybernetics,2007,9(1):62-66.
[5]Zhu Y Z Y,Yang M Y M,Wu L W L,et al.Practical millimeter-waveholographic imaging system with good robustness[J].Chinese Optics Letters,2016,14(10):101101-101105.
[6]Liu C,Yang M H,Sun X W.TOWARDS ROBUST HUMAN MILLIMETER WAVEIMAGING INSPECTION SYSTEM IN REAL TIME WITH DEEP LEARNING[J].Progress InElectromagnetics Research,2018,161:87-100.
[7]Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks[J].IEEE Transactions on PatternAnalysis&Machine Intelligence,2015,39(6):1137-1149.
[8]Lin T Y,Dollár,Piotr,Girshick R,et al.Feature Pyramid Networks forObject Detection[C].In CVPR,2017.
[9]Liu W,Anguelov D,Erhan D,et al.SSD:Single Shot MultiBox Detector[C].In ECCV,2016.
[10]K.Simonyan and A.Zisserman.Very deep convolutional networks forlarge-scale image recognition.In ICLR,2015.
[11]Hu J,Shen L,Albanie S,et al.Squeeze-and-Excitation Networks[J].InCVPR,2017.
[12]Fu C Y,Liu W,Ranga A,et al.DSSD:Deconvolutional Single ShotDetector[J].In CVPR,2017.
[13]Shen Z,Liu Z,Li J,et al.DSOD:Learning Deeply Supervised ObjectDetectors from Scratch[J].In ICCV,2017.
[14]Jia,Y.,Shelhamer,E.,Donahue,J.,Karayev,S.,Long,J.,Girshick,R.,Guadarrama,S.,Darrell,T.:Caffe:Convolutional architecture for fast featureembedding.In:MM.(2014)
[15]Shrivastava A,Gupta A,Girshick R.Training Region-based ObjectDetectors with Online Hard Example Mining[C].In CVPR,2016.
[16]Hartigan J A,Wong M A.Algorithm AS 136:A K-Means ClusteringAlgorithm[J].Journal of the Royal Statistical Society,1979,28(1):100-108.。

Claims (4)

1.一种基于卷积神经网络的毫米波图像人体隐私保护方法，其特征在于，将人体划分为十个区域并且构建人体结构数据集，利用卷积神经网络预测十个人体区域及其坐标信息，利用这些信息来遮挡人体隐私部位，并且利用这些信息来投影违禁物体预测框至卡通图片中的对应位置；具体步骤如下：
步骤1、检测人体区域：构建人体结构数据集；
1.1：划分人体：将人体分割为10个区域，分别是：左小臂，右小臂，左大臂，右大臂，胸部或背部，裆部或臀部，左小腿，右小腿，左大腿，右大腿；
1.2：对数据集进行标注：选择来自不同地区、不同身高、不同体型的受检人员的毫米波安检仪的扫描结果作为数据集；共计5788张扫描图片，其中2894张正面扫描结果，2894张背面扫描结果；标注方式按照步骤1.1的划分方式进行；
步骤2、检测人体区域：检测模型的设计；
2.1：聚类前景目标的面积分布；对步骤1.2的标注结果进行统计，得出前景目标的区域面积的分布范围，采用K-means算法，取K-means算法的聚类种类数K＝3，来获得初始候选框的规模因子smin和smax；
2.2：对毫米波图像进行下采样操作；本发明采用VGG模型来获得毫米波图像的抽象特征；采用fc7、conv6_2、conv7_2三个层级的特征图来预测人体的十个部位；其中，fc7、conv6_2、conv7_2分别对原始毫米波图像下采样16倍，32倍，64倍；
2.3：初始化候选框；基于步骤2.2选出的fc7、conv6_2、conv7_2三个层级特征图，在原图中初始化候选框；这三个层级特征图中的第i个特征点，分别在原始图像中初始化第i个候选框
Figure FDA0003844384920000011
cx是中心点坐标横坐标，cy是中心点纵坐标，w是候选框的宽，h是候选框的高；候选框的初始化方法按照公式(7)-公式(9)：
Figure FDA0003844384920000012
Figure FDA0003844384920000013
Figure FDA0003844384920000014
其中，sk∈{fc7，conv6_2，conv7_2}，表示的含义是参与预测人体区域的候选框的比例因子，即针对毫米波图像的宽高比例；n表示参与预测人体区域的层级特征图的个数；选用fc7、conv6_2、conv7_2三层参与预测，n＝3；rj代表不同宽高比的集合，W代表毫米波图像的宽度，H代表毫米波图像的高度；
2.4：针对候选框，进一步选择出可供训练的正负样本：步骤2.3对fc7、conv6_2、conv7_2这三层特征图中的每一个特征点，都在原图中产生了候选框；此时按照候选框与地面真实的重合度挑选正负样本：若重合度大于阈值θ，则为正样本候选框，反之为负样本候选框；通过OHEM算法来挑选出难以学习的负样本候选框，保持正负样本比例均衡；
步骤3、检测人体区域：训练检测器，并且预测人体区域；
3.1：通过步骤1.2得到有监督的训练样本5788张；为了验证模型训练的性能，随机选择3859张图片，包括正面和背面的图片，作为训练样本，选择1929张图片作为验证样本；针对每一张训练样本，采用公式(3)训练检测器：
Figure FDA0003844384920000021
其中，N是挑选出的正样本的个数；Lcls(I,C)表示类别预测，Lloc(I,P,G))表示位置回归预测，α表示惩罚因子，C是训练集中的类别个数，I是示性项，
Figure FDA0003844384920000022
当且仅当第i个候选框和第j个Ground Truth匹配时，I＝1；
3.2：在有监督的人体区域数据集中完成训练后，将检测器投入实际应用场景，即DHF架构中，DHF架构针对每一张测试图片，识别出人体的十个区域的类别以及区域中心点坐标；
步骤4、遮挡人体隐私部位：对步骤3得到的人体区域进一步处理，遮挡人体隐私部位；
4.1：在步骤3.2检测到人体的十个区域后，分别对特定的区域添加遮挡；其中，对裆部或臀部区域添加遮挡；通过胸部或背部区域的中心点横坐标来确定面部区域的中心点横坐标，并且参照标准人体比例因子来确定面部区域的中心点纵坐标；
4.2：步骤4.1获得了隐私部位的中心点坐标，基于提供的中心点坐标，添加遮挡物来保护隐私。
2.根据权利要求1所述的人体隐私保护方法，其特征在于，进一步：
步骤5、违禁物标记框投影：
将自动目标识别算法检测到的危险物体投影到卡通图中，以进一步保护受检人员的隐私安全；
5.1：采用最近邻算法绑定人体区域；
输入：
(1)步骤3.2获得的人体部位的中心点坐标centeri＝(center_xi,center_yi),i∈[1,Z]；Z表示检测器预测的人体区域的个数；
(2)自动目标识别算法获得的违禁物体中心点坐标detj＝(det_xj,det_yj),j∈[1,N],N表示一次检出的违禁物的个数；
要判断违禁物体的中心点坐标与哪个人体部位绑定，通过计算欧式距离，选择欧式距离最短的一个人体部位中心centermin＝(center_xmin,center_ymin)，执行下一步；
5.2：投影标记框至卡通图片；
若Z＝10，即检测器正常地预测出10个人体区域，则计算偏移向量b0＝detj-centermin,
Figure FDA0003844384920000031
b1表示对b0归一化后的结果；
若Z<10，即人体区域检测器预测的人体区域小于10个，则计算偏移向量b0＝detj-center5,
Figure FDA0003844384920000032
其中center5表示胸部或背部区域的中心点坐标；
5.3：重构卡通图片中违禁物标记框
利用偏移向量b1重构在卡通图中违禁物的中心点坐标；提前定义卡通图中的十个人体区域中心点坐标，记center_cark,k∈[1,10]；其中ω＝(ωW,ωH)分别表示卡通图的宽和高；
按照b1ω+center_carmin，即解出卡通图中违禁物的中心点坐标。
3.根据权利要求1所述的人体隐私保护方法，其特征在于，步骤2.1中smin设置为0.2，smax设置为0.5。
4.根据权利要求1所述的人体隐私保护方法，其特征在于，步骤2.4中阈值设置为0.5。
CN201910264654.8A 2019-04-03 2019-04-03 一种基于卷积神经网络的毫米波图像人体隐私保护方法 Active CN110334571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910264654.8A CN110334571B (zh) 2019-04-03 2019-04-03 一种基于卷积神经网络的毫米波图像人体隐私保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910264654.8A CN110334571B (zh) 2019-04-03 2019-04-03 一种基于卷积神经网络的毫米波图像人体隐私保护方法

Publications (2)

Publication Number Publication Date
CN110334571A CN110334571A (zh) 2019-10-15
CN110334571B true CN110334571B (zh) 2022-12-20

Family

ID=68139281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910264654.8A Active CN110334571B (zh) 2019-04-03 2019-04-03 一种基于卷积神经网络的毫米波图像人体隐私保护方法

Country Status (1)

Country Link
CN (1) CN110334571B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111209793A (zh) * 2019-12-05 2020-05-29 重庆特斯联智慧科技股份有限公司 一种基于人工智能的区域屏蔽人体安检方法及***
CN111178447B (zh) * 2019-12-31 2024-03-08 北京市商汤科技开发有限公司 模型压缩方法、图像处理方法及相关装置
CN115311685B (zh) * 2022-08-05 2023-05-02 杭州电子科技大学 一种基于平均结构相似度的毫米波图像检出结果判定方法
CN116030411B (zh) * 2022-12-28 2023-08-18 宁波星巡智能科技有限公司 基于姿态识别的人形隐私遮挡方法、装置及设备
CN117930381A (zh) * 2024-03-25 2024-04-26 海南中南标质量科学研究院有限公司 基于物联网大数据的口岸无辐射透视波通关查验***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100964A2 (de) * 2010-02-18 2011-08-25 Esw Gmbh Verfahren zur verarbeitung von mehrkanaligen bildaufnahmen für die detektion von verborgenen gegenständen bei der optoelektronischen personenkontrolle
CN106447634A (zh) * 2016-09-27 2017-02-22 中国科学院上海微***与信息技术研究所 一种基于有源毫米波成像的隐私部位定位与保护方法
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN109444967A (zh) * 2018-12-28 2019-03-08 同方威视技术股份有限公司 人体特性测量方法、人体安检方法和fmcw雷达-毫米波安检装置
CN109544563A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种面向违禁物安检的被动毫米波图像人体目标分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7858938B2 (en) * 2007-06-07 2010-12-28 Brijot Imaging Systems, Inc. System for deployment of a millimeter wave concealed object detection system using an outdoor passively illuminated structure
US20140086448A1 (en) * 2012-09-24 2014-03-27 MVT Equity LLC d/b/a Millivision Technologies Appearance Model Based Automatic Detection in Sensor Images
CN107730439B (zh) * 2017-09-08 2021-02-05 深圳市无牙太赫兹科技有限公司 一种人体图像映射方法、***及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011100964A2 (de) * 2010-02-18 2011-08-25 Esw Gmbh Verfahren zur verarbeitung von mehrkanaligen bildaufnahmen für die detektion von verborgenen gegenständen bei der optoelektronischen personenkontrolle
CN106447634A (zh) * 2016-09-27 2017-02-22 中国科学院上海微***与信息技术研究所 一种基于有源毫米波成像的隐私部位定位与保护方法
CN107704877A (zh) * 2017-10-09 2018-02-16 哈尔滨工业大学深圳研究生院 一种基于深度学习的图像隐私感知方法
CN109544563A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种面向违禁物安检的被动毫米波图像人体目标分割方法
CN109444967A (zh) * 2018-12-28 2019-03-08 同方威视技术股份有限公司 人体特性测量方法、人体安检方法和fmcw雷达-毫米波安检装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Image registration and fusion of MMW and visual images for concealed object detection;Hyoung Lee,等;《Proc. SPIE 7670, Passive Millimeter-Wave Imaging Technology》;20100427;全文 *
Santiago L＇opez Tapia，等.Detection and localization of objects in Passive Millimeter Wave Images.《2016 24th European Signal Processing Conference》.2016, *
Towards Robust Human Millimeter Wave Imaging Inspection System in Real Time with Deep Learning;chengyu Liu，等;《Progress In Electromagnetics Research》;20180413;第161卷;全文 *
Using machine learning to detect and localize concealed objects in passive millimeter-wave images;Santiago López-Tapia，等;《Engineering Applications of Artificial Intelligence》;20171009;全文 *
主动毫米波图像的人体携带危险物检测研究;杜琨，等;《***工程与电子技术》;20160630;第38卷(第6期);全文 *
主动毫米波成像隐私保护算法;叶金晶;《红外与毫米波学报》;20170831;第36卷(第4期);全文 *
基于卷积神经网络的毫米波图像人体隐匿物检测;骆尚，等;《复旦学报（自然科学版）》;20180831;第57卷(第4期);全文 *

Also Published As

Publication number Publication date
CN110334571A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110334571B (zh) 一种基于卷积神经网络的毫米波图像人体隐私保护方法
Xu et al. Automatic defect detection and segmentation of tunnel surface using modified Mask R-CNN
Tupin et al. Detection of linear features in SAR images: Application to road network extraction
CN103390164B (zh) 基于深度图像的对象检测方法及其实现装置
US6956961B2 (en) Extracting shape information contained in cell images
Seff et al. 2D view aggregation for lymph node detection using a shallow hierarchy of linear classifiers
US9639748B2 (en) Method for detecting persons using 1D depths and 2D texture
CN109615653A (zh) 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
CN104599280B (zh) 一种道路裂缝交叉点提取方法及***
Roberts et al. Human pose estimation using learnt probabilistic region similarities and partial configurations
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN102567733B (zh) 一种微波图像非合作情况下人体隐私部位检测与遮挡方法
CN103345757A (zh) 多层次多特征约束下的光学和sar影像自动配准方法
US20080084413A1 (en) Method for generating multi-resolution three-dimensional model
CN105869166A (zh) 一种基于双目视觉的人体动作识别方法及***
CN105894037A (zh) 一种基于sift训练样本提取的遥感图像全监督分类方法
CN101533466A (zh) 一种眼睛定位图像处理方法
CN110533025A (zh) 基于候选区域提取网络的毫米波人体图像检测方法
Wang Automatic extraction of building outline from high resolution aerial imagery
Xu et al. Tracking visual object as an extended target
Migniot et al. 3D human tracking from depth cue in a buying behavior analysis context
CN111639562A (zh) 一种手掌感兴趣区域的智能定位方法
CN105975960A (zh) 基于纹理方向能量特征的虹膜识别方法
CN103093204B (zh) 行为监测方法及装置
Gooßen et al. A stitching algorithm for automatic registration of digital radiographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant