CN110298797B - 一种基于卷积神经网络的毫米波图像处理方法 - Google Patents
一种基于卷积神经网络的毫米波图像处理方法 Download PDFInfo
- Publication number
- CN110298797B CN110298797B CN201910506923.7A CN201910506923A CN110298797B CN 110298797 B CN110298797 B CN 110298797B CN 201910506923 A CN201910506923 A CN 201910506923A CN 110298797 B CN110298797 B CN 110298797B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- millimeter wave
- characteristic dimension
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000011176 pooling Methods 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 abstract description 11
- 230000000717 retained effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的毫米波图像处理方法及***，属于毫米波图像处理技术领域，包括以下步骤：S1：接收毫米波原始图像；S2：对毫米波原始图像进行处理；S3：以三维动态的方式显示处理后的毫米波图像。本发明由于采用了基于卷积神经网络的处理方法，能够实现对毫米波图像快速精准处理，有效地去除冗余信息，极大程度保留了毫米波图像中的有效信息，一定程度上提升了毫米波主动式成像设备的使用性能；在此基础上，对毫米波图像进行隐私处理，从而实现对测试者成像的隐私部位进行隐私处理，避免了隐私泄露的危险；并且将处理后的毫米波图像以三维动态显示方式显示在指定界面，使毫米波图像显示得更加直观。
Description
技术领域
本发明涉及毫米波图像处理技术领域，具体涉及一种基于卷积神经网络的毫米波图像处理方法。
背景技术
毫米波主动成像技术的工作原理和雷达类似，设备首先向人体辐射毫米波，而后通过接收装置接收与人体进行相互作用后的毫米波电磁场，从而对人体进行成像。
目前国外市场上已经基本采用毫米波主动式成像，作为机场等高级别安检及一些重要场合的安检手段。但是由于毫米波成像的原理，造成设备成像的分辨率较高，存在图像冗余信息较多、隐私泄露等隐患。
现有的毫米波主动式成像设备，对于接收装置接收到的毫米波信号，直接进行成像。这种方式主要有两个缺点：对于未经过一定训练或培训的设备使用者来说，毫米波原始图像含有大量的冗余信息，不能直观的从图像中获取有效的信息；为保护被检测者的隐私问题，通常对于形成的毫米波原始图像不能对外公开，或者直接使用卡通图像替代。因此，提出一种基于卷积神经网络的毫米波图像处理方法。
发明内容
本发明所要解决的技术问题在于：如何实现对毫米波图像快速精准的处理，从而在保留更多有效信息的情况下对测试者所成的图像做出更好的保护，提供了一种基于卷积神经网络的毫米波图像处理方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
S1：接收毫米波原始图像
接收由设备生成的毫米波原始图像，此设备为毫米波主动式成像设备；
S2：对毫米波原始图像进行处理
利用第一卷积神经网络对毫米波原始图像进行图像处理，去除毫米波原始图像中的冗余信息并保留有效信息，该第一卷积神经网络为全卷积神经网络，基于VGG16结构，并将VGG16结构中的全连接层更换为卷积层；
同时利用第二卷积神经网络对毫米波原始图像的隐私部位进行检测，得到隐私部位的坐标参数，该第二卷积神经网络为Darknet框架下的yolov3结构；
S3：以三维动态的方式显示处理后的毫米波图像
利用三维动态显示方法对步骤S2中经过第一卷积神经网络处理后的图像以及经过第二卷积神经网络检测得到的隐私部位坐标参数进行处理，处理完毕后，将毫米波图像以三维动态的方式显示，将处理后的毫米波图像以三维动态显示方式显示在指定界面，使毫米波图像显示得更加直观。
优选的，在所述步骤S2中，利用卷积神经网络对毫米波原始图像进行图像处理的过程包括以下步骤：
S201：设计第一卷积神经网络的结构，其网络各级结构如下：
第1层为两个步长为1，卷积核为3x3的卷积层，特征维度为64；
第2层为一个步长为2，池化核大小为2x2的池化层，特征维度为64；
第3层为两个步长为1，卷积核为3x3的卷积层，特征维度为128；
第4层为一个步长为2，池化核大小为2x2的池化层，特征维度为128；
第5层为三个步长为1，卷积核为3x3的卷积层，特征维度为256；
第6层为一个步长为2，池化核大小为2x2的池化层，特征维度为256；
第7层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第8层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第9层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第10层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第11层为两个步长为1，卷积核分别为7x7、1x1的卷积层，特征维度均为4096；
第12层为一个步长为1，卷积核为1x1的卷积层，特征维度为3；
第13层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第14层为将第8层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第13层进行和运算；
第15层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第16层为将第6层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第15层进行和运算；
第17层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第18层为将第4层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第17层进行和运算；
第19层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第20层为Softmax层,用于对结果进行分类，并输出；
S202：利用毫米波图像样本对步骤S201中的卷积神经网络进行训练，得到该卷积神经网络的权重文件；
S203：在设备中载入步骤S202得到的权重文件；
S204：利用权重文件对接收到的毫米波原始图像进行图像处理，去除毫米波原始图像中的冗余信息并保留有效信息，得到处理后的毫米波图像，由于采用了基于卷积神经网络的处理方法，能够实现对毫米波图像快速精准处理，有效地去除冗余信息，极大程度保留了毫米波图像中的有效信息，一定程度上提升了毫米波主动式成像设备的使用性能。
优选的，在所述步骤S204中，毫米波图像的处理效果由图像处理参数设置决定。
优选的，在所述步骤S2中，利用卷积神经网络对毫米波原始图像的隐私部位进行检测并得到其坐标参数的过程包括以下步骤：
S211：设计第二卷积神经网络的结构，利用毫米波图像样本对第二卷积神经网络进行训练，得到该卷积神经网络的权重文件，该第二卷积神经网络各级结构如下：
第1层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第2层为一个步长为2，卷积核为3x3的卷积层，特征维度为64；
第3层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第4层为一个步长为1，卷积核为3x3的卷积层，特征维度为64；
第5层为把第2层与第4层进行和运算的残差层；
第6层为一个步长为2，卷积核为3x3的卷积层，特征维度为128；
第7层为一个步长为1，卷积核为1x1的卷积层，特征维度为64；
第8层为一个步长为1，卷积核为3x3的卷积层，特征维度为128；
第9层为把第6层与第8层进行和运算的残差层；
第10层为一个步长为2，卷积核为3x3的卷积层，特征维度为256；
第11层为一个步长为1，卷积核为1x1的卷积层，特征维度为128；
第12层为一个步长为1，卷积核为3x3的卷积层，特征维度为256；
第13层为把第10层与第12层进行和运算的残差层；
第14层为一个步长为2，卷积核为3x3的卷积层，特征维度为512；
第15层为一个步长为1，卷积核为1x1的卷积层，特征维度为256；
第16层为一个步长为1，卷积核为3x3的卷积层，特征维度为512；
第17层为把第14层与第16层进行和运算的残差层；
第18层为一个步长为2，卷积核为3x3的卷积层，特征维度为1024；
第19层为一个步长为1，卷积核为1x1的卷积层，特征维度为512；
第20层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024；
第21层为把第18层与第20层进行和运算的残差层；
第22层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024
第23层为一个步长为1，卷积核为1x1的卷积层，特征维度为3*(classes+5)；
第24层为yolo层，输出检测的坐标位置；
S212：在设备中载入步骤S212得到的权重文件；
S213：利用权重文件对接收到的毫米波原始图像进行人体检测，得到人体范围相关坐标参数；
S214：对得到的人体范围相关坐标参数进行修正，得到精确的人体坐标后，对人体坐标进行处理并输出人体隐私部位的坐标参数。
优选的，在所述步骤S214中，输出人体隐私部位的坐标参数中包括男性隐私部位的坐标参数与女性隐私部位的坐标参数。
优选的，在所述步骤S214中，人体隐私部位的坐标参数由对人体坐标进行处理时的参数设置决定。
优选的，在所述步骤S3中，利用三维动态显示方法的处理过程包括以下步骤：
S301：接收经处理后的毫米波图像和隐私部位坐标参数；
S302：将步骤S301中毫米波图像动态显示在指定界面；
S303：确认是否接收到设置指令，若接收到设置指令，则根据接收到的设置指令进行相应操作；否则对毫米波图像进行循环动态显示。
优选的，在步骤S302中，对于同一测试者一次扫描形成的一系列毫米波图像，分别对其正面和背面形成时间序列上的动态显示。
优选的，在步骤S303中，循环动态显示的时间间隔根据图像显示要求而定，相应操作包括查看上一幅毫米波图像、下一幅毫米波图像以及保存当前毫米波图像。
本发明还提供了一种基于卷积神经网络的毫米波图像处理***，包括：
原始图像接收模块，用于接收由设备生成的毫米波原始图像；
图像处理模块，用于利用卷积神经网络对毫米波原始图像进行图像处理；
隐私部位检测模块，用于利用卷积神经网络对毫米波原始图像的隐私部位进行检测；
三维动态显示模块，用于利用三维动态显示方法对处理后的毫米波图像和隐私部位坐标参数进行处理，并将毫米波图像以三维动态的方式显示；
控制模块，用于向各个模块发出指令，控制其完成相关动作；
所述原始图像接收模块、图像处理模块、隐私部位检测模块、三维动态显示模块均与控制模块电连接。
本发明相比现有技术具有以下优点：该基于卷积神经网络的毫米波图像处理方法，由于采用了基于卷积神经网络的处理方法，能够实现对毫米波图像快速精准处理，有效地去除冗余信息，极大程度保留了毫米波图像中的有效信息，一定程度上提升了毫米波主动式成像设备的使用性能；在此基础上，对毫米波图像进行隐私处理，从而实现对测试者成像的隐私部位进行隐私处理，避免了隐私泄露的危险；并且将处理后的毫米波图像以三维动态显示方式显示在指定界面，使毫米波图像显示得更加直观，值得被推广使用。
附图说明
图1是本发明实施例一中的流程示意图；
图2是本发明实施例二中的实施流程框图；
图3是本发明实施例二中的图像处理算法框图；
图4是本发明实施例二中的隐私处理算法框图；
图5是本发明实施例二中的三维动态显示流程图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例一
如图1所示，本实施例提供一种技术方案：一种基于卷积神经网络的毫米波图像处理方法，包括以下步骤：
S1：接收毫米波原始图像
接收由设备生成的毫米波原始图像，此设备为毫米波主动式成像设备。
S2：对毫米波原始图像进行处理
利用第一卷积神经网络对毫米波原始图像进行图像处理，去除毫米波原始图像中的冗余信息并保留有效信息，该第一卷积神经网络为全卷积神经网络，基于VGG16结构，并将VGG16结构中的全连接层更换为卷积层；
同时利用第二卷积神经网络对毫米波原始图像的隐私部位进行检测，得到隐私部位的坐标参数，该第二卷积神经网络为Darknet框架下的yolov3结构；
利用卷积神经网络对毫米波原始图像进行图像处理的过程包括以下步骤：
S201：设计第一卷积神经网络的结构，其网络各级结构如下：
第1层为两个步长为1，卷积核为3x3的卷积层，特征维度为64；
第2层为一个步长为2，池化核大小为2x2的池化层，特征维度为64；
第3层为两个步长为1，卷积核为3x3的卷积层，特征维度为128；
第4层为一个步长为2，池化核大小为2x2的池化层，特征维度为128；
第5层为三个步长为1，卷积核为3x3的卷积层，特征维度为256；
第6层为一个步长为2，池化核大小为2x2的池化层，特征维度为256；
第7层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第8层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第9层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第10层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第11层为两个步长为1，卷积核分别为7x7、1x1的卷积层，特征维度均为4096；
第12层为一个步长为1，卷积核为1x1的卷积层，特征维度为3；
第13层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第14层为将第8层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第13层进行和运算；
第15层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第16层为将第6层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第15层进行和运算；
第17层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第18层为将第4层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第17层进行和运算；
第19层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第20层为Softmax层,用于对结果进行分类，并输出；
S202：利用毫米波图像样本对步骤S201中的卷积神经网络进行训练，得到该卷积神经网络的权重文件，在训练过程中，通过程序将大量的毫米波图像和人工标注的标签读入内存中，并随机初始化卷积神经网络结构中的参数；然后将图像送入卷积神经网络中进行训练，得到训练结果。并将训练结果与人工标注的标签进行对比，将对比的差值作为目标函数，最小化该目标函数，利用梯度求导等算法，反向对网络参数进行优化，达到优化卷积神经网络结构中参数的目的，将所有图片反复进行训练，最终得到卷积神经网络参数为训练的权重文件。
S203：在设备中载入步骤S202得到的权重文件；
S204：利用权重文件对接收到的毫米波原始图像进行图像处理，去除毫米波原始图像中的冗余信息并保留有效信息，步骤S202中的权重文件是由网络结构的参数组成，卷积神经网络结构载入参数后，经过网络结构的运算，可以得到处理后的图像，该图像只包含有效信息，得到处理后的毫米波图像，由于采用了基于卷积神经网络的处理方法，能够实现对毫米波图像快速精准处理，有效地去除冗余信息，极大程度保留了毫米波图像中的有效信息，一定程度上提升了毫米波主动式成像设备的使用性能。
在所述步骤S204中，毫米波图像的处理效果由图像处理参数设置决定。
利用卷积神经网络对毫米波原始图像的隐私部位进行检测并得到其坐标参数的过程包括以下步骤：
S211：设计第二卷积神经网络结构，利用毫米波图像样本对第二卷积神经网络进行训练，得到该卷积神经网络的权重文件，该第二卷积神经网络各级结构如下：
第1层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第2层为一个步长为2，卷积核为3x3的卷积层，特征维度为64；
第3层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第4层为一个步长为1，卷积核为3x3的卷积层，特征维度为64；
第5层为把第2层与第4层进行和运算的残差层；
第6层为一个步长为2，卷积核为3x3的卷积层，特征维度为128；
第7层为一个步长为1，卷积核为1x1的卷积层，特征维度为64；
第8层为一个步长为1，卷积核为3x3的卷积层，特征维度为128；
第9层为把第6层与第8层进行和运算的残差层；
第10层为一个步长为2，卷积核为3x3的卷积层，特征维度为256；
第11层为一个步长为1，卷积核为1x1的卷积层，特征维度为128；
第12层为一个步长为1，卷积核为3x3的卷积层，特征维度为256；
第13层为把第10层与第12层进行和运算的残差层；
第14层为一个步长为2，卷积核为3x3的卷积层，特征维度为512；
第15层为一个步长为1，卷积核为1x1的卷积层，特征维度为256；
第16层为一个步长为1，卷积核为3x3的卷积层，特征维度为512；
第17层为把第14层与第16层进行和运算的残差层；
第18层为一个步长为2，卷积核为3x3的卷积层，特征维度为1024；
第19层为一个步长为1，卷积核为1x1的卷积层，特征维度为512；
第20层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024；
第21层为把第18层与第20层进行和运算的残差层；
第22层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024
第23层为一个步长为1，卷积核为1x1的卷积层，特征维度为3*(classes+5)；
第24层为yolo层，输出检测的坐标位置；
S212：在设备中载入步骤S211得到的权重文件；
需要说明的是，步骤S211与步骤202中得到的权重文件两个权重文件是不同网络结构训练出来的，详细结构在上文中有两个网络得结构说明。分别使用两个网络结构，训练出来两个网络权重，第一个网络训练出来的权重主要用于毫米波图像的图像处理；第二个网络训练出来的网络权重主要用于隐私部位的坐标检测。
S213：利用权重文件对接收到的毫米波原始图像进行人体检测，得到人体范围相关坐标参数；
S214：对得到的人体范围相关坐标参数进行修正，得到精确的人体坐标后，对人体坐标进行处理并输出人体隐私部位的坐标参数。
得到人体坐标的详细过程如下：
对人体相关范围坐标参数(该参数包含人体粗略的坐标位置，人体的左上点坐标x、y，人的宽w和高h)，根据这些参数求出人体的初始中线位置x_center_temp＝x+w/2,y_center_temp＝y；
在坐标(x_center_temp，y_center_temp)一定范围，根据算法找出准确的人体中线坐标(x_center，y_center)；
得到人体的精确坐标位置参数(x_center，y_center，w,h)。
在所述步骤S214中，输出人体隐私部位的坐标参数中包括男性隐私部位的坐标参数与女性隐私部位的坐标参数。
在所述步骤S214中，人体隐私部位的坐标参数由对人体坐标进行处理时的参数设置决定。
S3：以三维动态的方式显示处理后的毫米波图像
利用三维动态显示方法对步骤S2中经过卷积神经网络处理后的图像以及经过卷积神经网络检测得到的隐私部位坐标参数进行处理，处理完毕后，将毫米波图像以三维动态的方式显示，将处理后的毫米波图像以三维动态显示方式显示在指定界面，使毫米波图像显示得更加直观。
利用三维动态显示方法的处理过程包括以下步骤：
S301：接收经处理后的毫米波图像和隐私部位坐标参数；
S302：将步骤S301中毫米波图像动态显示在指定界面；
S303：确认是否接收到设置指令，若接收到设置指令，则根据接收到的设置指令进行相应操作；否则对毫米波图像进行循环动态显示。
在步骤S302中，对于同一测试者一次扫描形成的一系列毫米波图像，分别对其正面和背面形成时间序列上的动态显示。
在步骤S303中，循环动态显示的时间间隔根据图像显示要求而定，相应操作包括查看上一幅毫米波图像、下一幅毫米波图像以及保存当前毫米波图像。
本实施例还提供了一种基于卷积神经网络的毫米波图像处理***，包括：
原始图像接收模块，用于接收由设备生成的毫米波原始图像；
图像处理模块，用于利用卷积神经网络对毫米波原始图像进行图像处理；
隐私部位检测模块，用于利用卷积神经网络对毫米波原始图像的隐私部位进行检测；
三维动态显示模块，用于利用三维动态显示方法对处理后的毫米波图像和隐私部位坐标参数进行处理，并将毫米波图像以三维动态的方式显示；
控制模块，用于向各个模块发出指令，控制其完成相关动作；
所述原始图像接收模块、图像处理模块、隐私部位检测模块、三维动态显示模块均与控制模块电连接。
实施例二
本实施例提供了一种基于卷积神经网络的毫米波图像处理方法，主要包含三部分：图像处理算法、隐私处理算法和三维动态显示，在本实施中，图像处理算法即利用卷积神经网络对毫米波原始图像进行图像处理，隐私处理算法即利用卷积神经网络对毫米波原始图像的隐私部位进行检测，得到隐私部位的坐标参数。
如图2所示，本实施例的总体流程是：接收由设备传输至算法模块的毫米波原始图像，其中由卷积神经网络图像处理算法对毫米波原始图像进行图像处理，去除原始图像中的冗余信息，最大限度保留有效信息；由卷积神经网络隐私处理算法对原始图像的隐私部位进行检测，得到隐私部位的坐标参数；把卷积神经网络图像处理算法处理后的图像和卷积神经网络隐私处理算法得到的隐私坐标参数发送至三维动态显示算法；三维动态显示算法对接收的数据处理后，在软件界面上进行显示。
如图3所示，图像处理算法：首先，针对毫米波图像的成像原理，设计一个卷积神经网络结构，该卷积神经网络为全卷积神经网络，基于VGG16结构，并将VGG16结构中的全连接层更换为卷积层，其网络各级结构如下：
第1层为两个步长为1，卷积核为3x3的卷积层，特征维度为64；
第2层为一个步长为2，池化核大小为2x2的池化层，特征维度为64；
第3层为两个步长为1，卷积核为3x3的卷积层，特征维度为128；
第4层为一个步长为2，池化核大小为2x2的池化层，特征维度为128；
第5层为三个步长为1，卷积核为3x3的卷积层，特征维度为256；
第6层为一个步长为2，池化核大小为2x2的池化层，特征维度为256；
第7层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第8层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第9层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第10层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第11层为两个步长为1，卷积核分别为7x7、1x1的卷积层，特征维度均为4096；
第12层为一个步长为1，卷积核为1x1的卷积层，特征维度为3；
第13层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第14层为将第8层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第13层进行和运算；
第15层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第16层为将第6层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第15层进行和运算；
第17层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第18层为将第4层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第17层进行和运算；
第19层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第20层为Softmax层,用于对结果进行分类，并输出。
在此基础上，利用大量的毫米波图像样本对该卷积神经网络进行训练，得到网络的权重文件；在设备中载入网络的权重文件，利用权重文件对接收到的毫米波原始图像进行图像处理，得到处理后的毫米波图像，并且可设置参数对处理效果进行调节。经过处理后的图像，目标信息更加清晰。
如图4所示，隐私处理算法：设计一种基于毫米波图像的卷积神经网络及目标检测算法，该卷积神经网络为Darknet框架下的yolov3结构，其各级结构如下：
第1层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第2层为一个步长为2，卷积核为3x3的卷积层，特征维度为64；
第3层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第4层为一个步长为1，卷积核为3x3的卷积层，特征维度为64；
第5层为把第2层与第4层进行和运算的残差层；
第6层为一个步长为2，卷积核为3x3的卷积层，特征维度为128；
第7层为一个步长为1，卷积核为1x1的卷积层，特征维度为64；
第8层为一个步长为1，卷积核为3x3的卷积层，特征维度为128；
第9层为把第6层与第8层进行和运算的残差层；
第10层为一个步长为2，卷积核为3x3的卷积层，特征维度为256；
第11层为一个步长为1，卷积核为1x1的卷积层，特征维度为128；
第12层为一个步长为1，卷积核为3x3的卷积层，特征维度为256；
第13层为把第10层与第12层进行和运算的残差层；
第14层为一个步长为2，卷积核为3x3的卷积层，特征维度为512；
第15层为一个步长为1，卷积核为1x1的卷积层，特征维度为256；
第16层为一个步长为1，卷积核为3x3的卷积层，特征维度为512；
第17层为把第14层与第16层进行和运算的残差层；
第18层为一个步长为2，卷积核为3x3的卷积层，特征维度为1024；
第19层为一个步长为1，卷积核为1x1的卷积层，特征维度为512；
第20层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024；
第21层为把第18层与第20层进行和运算的残差层；
第22层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024
第23层为一个步长为1，卷积核为1x1的卷积层，特征维度为3*(classes+5)；
第24层为yolo层，输出检测的坐标位置。
得到人体坐标的详细算法过程如下：
对人体相关范围坐标参数(该参数包含人体粗略的坐标位置，人体的左上点坐标x、y，人的宽w和高h)，根据这些参数求出人体的初始中线位置x_center_temp＝x+w/2,y_center_temp＝y；
在坐标(x_center_temp，y_center_temp)一定范围，根据算法找出准确的人体中线坐标(x_center，y_center)；
得到人体的精确坐标位置参数(x_center，y_center，w,h)。
在此基础上，利用大量的毫米波图像样本对该卷积神经网络进行训练，得到网络的权重文件；在设备中载入网络的权重文件，对毫米波原始图像进行人体检测，得到人体范围相关坐标参数；提出一种人体坐标修正算法，对得到的人体坐标进行修正，得到精确的人体坐标，根据隐私坐标算法输出人体隐私的坐标参数。
如图5所示，三维动态显示算法获取处理后毫米波图像和隐私参数后，对处理后的毫米波图像在软件界面显示。对同一测试者一次扫描形成的一系列毫米波图像，分别对其正面和背面形成时间序列上的动态显示；当没有接收到软件界面的设置指令时，循环动态显示，并且循环显示的时间间隔可设置；当接收到软件界面的设置指令，停止循环显示，可根据设置指令，进行相应操作反馈；比如：查看上一幅或者下一幅毫米波图像、保存当前毫米波图像等。
本实施例还提供了一种基于卷积神经网络的毫米波图像处理***，包括：
原始图像接收模块，用于接收由设备生成的毫米波原始图像；
图像处理模块，用于图像处理算法进行图像处理；
隐私部位检测模块，用于利用隐私处理算法对隐私部位进行检测；
三维动态显示模块，用于利用三维动态显示算法对处理后的毫米波图像和隐私部位坐标参数进行处理，并将毫米波图像以三维动态的方式显示；
控制模块，用于向各个模块发出指令，控制其完成相关动作；
所述原始图像接收模块、图像处理模块、隐私部位检测模块、三维动态显示模块均与控制模块电连接。
综上所述，上述两组实施例中的基于卷积神经网络的毫米波图像处理方法，由于采用了基于卷积神经网络的处理方法，能够实现对毫米波图像快速精准处理，有效地去除冗余信息，极大程度保留了毫米波图像中的有效信息，一定程度上提升了毫米波主动式成像设备的使用性能；在此基础上，对毫米波图像进行隐私处理，从而实现对测试者成像的隐私部位进行隐私处理，避免了隐私泄露的危险；并且将处理后的毫米波图像以三维动态显示方式显示在指定界面，使毫米波图像显示的更加直观，值得被推广使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于卷积神经网络的毫米波图像处理方法，其特征在于，包括以下步骤：
S1：接收毫米波原始图像
接收由设备生成的毫米波原始图像；
S2：对毫米波原始图像进行处理
利用第一卷积神经网络对毫米波原始图像进行图像处理，去除毫米波原始图像中的冗余信息并保留有效信息，该第一卷积神经网络为全卷积神经网络，基于VGG16结构，并将VGG16结构中的全连接层更换为卷积层；
同时利用第二卷积神经网络对毫米波原始图像的隐私部位进行检测，得到隐私部位的坐标参数，该第二卷积神经网络为Darknet框架下的yolov3结构；
S3：以三维动态的方式显示处理后的毫米波图像
利用三维动态显示方法，对步骤S2中经过处理后的图像以及检测得到的隐私部位坐标参数进行处理，处理完毕后，将毫米波图像以三维动态的方式显示；
在所述步骤S2中，利用卷积神经网络对毫米波原始图像进行图像处理的过程包括以下步骤：
S201：设计第一卷积神经网络的结构，网络各级结构如下：
第1层为两个步长为1，卷积核为3x3的卷积层，特征维度为64；
第2层为一个步长为2，池化核大小为2x2的池化层，特征维度为64；
第3层为两个步长为1，卷积核为3x3的卷积层，特征维度为128；
第4层为一个步长为2，池化核大小为2x2的池化层，特征维度为128；
第5层为三个步长为1，卷积核为3x3的卷积层，特征维度为256；
第6层为一个步长为2，池化核大小为2x2的池化层，特征维度为256；
第7层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第8层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第9层为三个步长为1，卷积核为3x3的卷积层，特征维度为512；
第10层为一个步长为2，池化核大小为2x2的池化层，特征维度为512；
第11层为两个步长为1，卷积核分别为7x7、1x1的卷积层，特征维度均为4096；
第12层为一个步长为1，卷积核为1x1的卷积层，特征维度为3；
第13层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第14层为将第8层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第13层进行和运算；
第15层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第16层为将第6层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第15层进行和运算；
第17层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第18层为将第4层的输出经过一个步长为1，卷积核为1x1的卷积层，特征维度为3，再与第17层进行和运算；
第19层为一个步长为2，池化核大小为4x4的反卷积层，特征维度为3；
第20层为Softmax层,用于对结果进行分类，并输出；
S202：利用毫米波图像样本对步骤S201中的第一卷积神经网络进行训练，得到该卷积神经网络的第一权重文件；
S203：在设备中载入步骤S202得到的第一权重文件；
S204：利用第一权重文件对接收到的毫米波原始图像进行图像处理，去除毫米波原始图像中的冗余信息并保留有效信息，得到处理后的毫米波图像。
2.根据权利要求1所述的一种基于卷积神经网络的毫米波图像处理方法，其特征在于：在所述步骤S2中，利用卷积神经网络对毫米波原始图像的隐私部位进行检测并得到其坐标参数的过程包括以下步骤：
S211：设计第二卷积神经网络的结构，利用毫米波图像样本对第二卷积神经网络进行训练，得到该卷积神经网络的第二权重文件，该第二卷积神经网络各级结构如下：
第1层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第2层为一个步长为2，卷积核为3x3的卷积层，特征维度为64；
第3层为一个步长为1，卷积核为3x3的卷积层，特征维度为32；
第4层为一个步长为1，卷积核为3x3的卷积层，特征维度为64；
第5层为把第2层与第4层进行和运算的残差层；
第6层为一个步长为2，卷积核为3x3的卷积层，特征维度为128；
第7层为一个步长为1，卷积核为1x1的卷积层，特征维度为64；
第8层为一个步长为1，卷积核为3x3的卷积层，特征维度为128；
第9层为把第6层与第8层进行和运算的残差层；
第10层为一个步长为2，卷积核为3x3的卷积层，特征维度为256；
第11层为一个步长为1，卷积核为1x1的卷积层，特征维度为128；
第12层为一个步长为1，卷积核为3x3的卷积层，特征维度为256；
第13层为把第10层与第12层进行和运算的残差层；
第14层为一个步长为2，卷积核为3x3的卷积层，特征维度为512；
第15层为一个步长为1，卷积核为1x1的卷积层，特征维度为256；
第16层为一个步长为1，卷积核为3x3的卷积层，特征维度为512；
第17层为把第14层与第16层进行和运算的残差层；
第18层为一个步长为2，卷积核为3x3的卷积层，特征维度为1024；
第19层为一个步长为1，卷积核为1x1的卷积层，特征维度为512；
第20层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024；
第21层为把第18层与第20层进行和运算的残差层；
第22层为一个步长为1，卷积核为3x3的卷积层，特征维度为1024
第23层为一个步长为1，卷积核为1x1的卷积层，特征维度为3*(classes+5)；
第24层为yolo层，输出检测的坐标位置；
S212：在设备中载入步骤S212得到的第二权重文件；
S213：利用第二权重文件对接收到的毫米波原始图像进行人体检测，得到人体范围相关坐标参数；
S214：对得到的人体范围相关坐标参数进行修正，得到精确的人体坐标后，对人体坐标进行处理并输出人体隐私部位的坐标参数。
3.根据权利要求2所述的一种基于卷积神经网络的毫米波图像处理方法，其特征在于：在所述步骤S214中，输出人体隐私部位的坐标参数中包括男性隐私部位的坐标参数与女性隐私部位的坐标参数。
4.根据权利要求3所述的一种基于卷积神经网络的毫米波图像处理方法，其特征在于：在所述步骤S3中，利用三维动态显示方法的处理过程包括以下步骤：
S301：接收经处理后的毫米波图像和隐私部位坐标参数；
S302：将步骤S301中毫米波图像动态显示在指定界面；
S303：确认是否接收到设置指令，若接收到设置指令，则根据接收到的设置指令进行相应操作；否则对毫米波图像进行循环动态显示。
5.根据权利要求4所述的一种基于卷积神经网络的毫米波图像处理方法，其特征在于：在步骤S302中，对于同一测试者一次扫描形成的一系列毫米波图像，分别对其正面和背面形成时间序列上的动态显示。
6.根据权利要求4所述的一种基于卷积神经网络的毫米波图像处理方法，其特征在于：在步骤S303中，循环动态显示的时间间隔根据图像显示要求而定，相应操作包括查看上一幅毫米波图像、下一幅毫米波图像以及保存当前毫米波图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910506923.7A CN110298797B (zh) | 2019-06-12 | 2019-06-12 | 一种基于卷积神经网络的毫米波图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910506923.7A CN110298797B (zh) | 2019-06-12 | 2019-06-12 | 一种基于卷积神经网络的毫米波图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110298797A CN110298797A (zh) | 2019-10-01 |
| CN110298797B true CN110298797B (zh) | 2021-07-09 |
Family
ID=68027914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910506923.7A Active CN110298797B (zh) | 2019-06-12 | 2019-06-12 | 一种基于卷积神经网络的毫米波图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298797B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469321B (zh) * | 2020-03-30 | 2023-04-18 | 聚晶半导体股份有限公司 | 基于神经网络的物件检测装置和物件检测方法 |
| CN113536004A (zh) * | 2021-06-25 | 2021-10-22 | 猫岐智能科技（上海）有限公司 | 实时图形监测***及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013090A (zh) * | 2010-11-23 | 2011-04-13 | 电子科技大学 | 一种无源毫米波图像条带噪声抑制方法 |
| CN102697503A (zh) * | 2012-02-29 | 2012-10-03 | 北京无线电计量测试研究所 | 一种基于毫米波成像的人体检测方法 |
| CN108648204A (zh) * | 2018-04-24 | 2018-10-12 | 特斯联（北京）科技有限公司 | 一种实现人工智能区域屏蔽的人体安检的方法和装置 |
| CN109543582A (zh) * | 2018-11-15 | 2019-03-29 | 杭州芯影科技有限公司 | 基于毫米波图像的人体异物检测方法 |
| CN109598267A (zh) * | 2018-11-15 | 2019-04-09 | 北京天融信网络安全技术有限公司 | 图像数据防泄漏方法、装置及设备 |
| CN109597069A (zh) * | 2018-12-25 | 2019-04-09 | 山东雷诚电子科技有限公司 | 一种主动毫米波成像隐私保护方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022221B (zh) * | 2016-05-09 | 2021-11-30 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及处理*** |
-
2019
- 2019-06-12 CN CN201910506923.7A patent/CN110298797B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013090A (zh) * | 2010-11-23 | 2011-04-13 | 电子科技大学 | 一种无源毫米波图像条带噪声抑制方法 |
| CN102697503A (zh) * | 2012-02-29 | 2012-10-03 | 北京无线电计量测试研究所 | 一种基于毫米波成像的人体检测方法 |
| CN108648204A (zh) * | 2018-04-24 | 2018-10-12 | 特斯联（北京）科技有限公司 | 一种实现人工智能区域屏蔽的人体安检的方法和装置 |
| CN109543582A (zh) * | 2018-11-15 | 2019-03-29 | 杭州芯影科技有限公司 | 基于毫米波图像的人体异物检测方法 |
| CN109598267A (zh) * | 2018-11-15 | 2019-04-09 | 北京天融信网络安全技术有限公司 | 图像数据防泄漏方法、装置及设备 |
| CN109597069A (zh) * | 2018-12-25 | 2019-04-09 | 山东雷诚电子科技有限公司 | 一种主动毫米波成像隐私保护方法 |
Non-Patent Citations (2)
| Title |
|---|
| Privacy algorithm for airport passenger screening portal;Paul E. Keller 等;《ResearchGate》;20000331;全文 * |
| 毫米波成像技术在人体安全检查领域的应用;桑伟 等;《中国安防》;20130430;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110298797A (zh) | 2019-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109118542B (zh) | 激光雷达与相机之间的标定方法、装置、设备及存储介质 | |
| Malarvel et al. | An improved version of Otsu's method for segmentation of weld defects on X-radiography images | |
| JP4160258B2 (ja) | 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定 | |
| CN108074237B (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
| US11941796B2 (en) | Evaluation system, evaluation device, evaluation method, evaluation program, and recording medium | |
| CN110298797B (zh) | 一种基于卷积神经网络的毫米波图像处理方法 | |
| CN111898610B (zh) | 卡片缺角检测方法、装置、计算机设备及存储介质 | |
| CN112330527A (zh) | 图像处理方法、装置、电子设备和介质 | |
| US6993187B2 (en) | Method and system for object recognition using fractal maps | |
| CN111079730A (zh) | 一种在界面图中确定样图所在区域的方法和电子设备 | |
| CN111539238A (zh) | 二维码图像修复方法、装置、计算机设备和存储介质 | |
| CN112053427A (zh) | 一种点云的特征提取方法、装置、设备及可读存储介质 | |
| US11704807B2 (en) | Image processing apparatus and non-transitory computer readable medium storing program | |
| US11544839B2 (en) | System, apparatus and method for facilitating inspection of a target object | |
| US9563937B2 (en) | High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program | |
| WO2021056501A1 (zh) | 提取特征点的方法、可移动平台及存储介质 | |
| CN113658196B (zh) | 红外图像中船舶的检测方法、装置、电子设备和介质 | |
| CN111209908A (zh) | 更新标注框的方法、装置、存储介质和计算机设备 | |
| CN112330787B (zh) | 图像标注方法、装置、存储介质和电子设备 | |
| CN110633759A (zh) | 图像融合方法、装置及电子设备 | |
| JP2017076240A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN115147389A (zh) | 图像处理方法、设备以及计算机可读存储介质 | |
| CN110310235B (zh) | 眼底图像处理方法、装置及设备和存储介质 | |
| CN112907462A (zh) | 超广角摄像器件畸变校正方法、***及包括其的拍摄装置 | |
| US12062118B2 (en) | Generation system and generation method for perspective image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |