CN108229381B - 人脸图像生成方法、装置、存储介质和计算机设备 - Google Patents
人脸图像生成方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN108229381B CN108229381B CN201711480435.0A CN201711480435A CN108229381B CN 108229381 B CN108229381 B CN 108229381B CN 201711480435 A CN201711480435 A CN 201711480435A CN 108229381 B CN108229381 B CN 108229381B
- Authority
- CN
- China
- Prior art keywords
- network
- target detection
- face image
- layer
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000017105 transposition Effects 0.000 claims description 10
- 210000000697 sensory organ Anatomy 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种人脸图像生成方法、装置、存储介质和计算机设备，包括基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络；构建对抗生成网络，对抗生成网络用于对人脸特征进行重构；将目标检测网络与对抗生成网络级联，得到超分辨率网络；将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像；超分辨率网络中的目标检测网络从待检测人脸图像中提取并识别人脸特征，对抗生成网络对人脸特征进行重构，得到超分辨率人脸图像，这样的处理可以有效提升输入图像的清晰度，从而提升输入图像的图像质量。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种人脸图像生成方法、装置、存储介质和计算机设备。
背景技术
在计算机视觉、图像处理与模式识别领域中，人脸图像是研究热点之一，人脸识别检测技术是生物识别技术的重要组成部分。在视频监控中，由于硬件摄像设备的自身不足以及拍摄环境的影响，获取到的人脸图像可能会出现不同程度的不清楚，造成图像质量下降。
发明内容
基于此，有必要针对上述问题，提供一种可以提升图像质量的人脸图像生成方法、装置、存储介质和计算机设备。
一种人脸图像生成方法，包括：
基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络，目标检测网络用于从待检测人脸图像中提取并识别人脸特征；
构建对抗生成网络，对抗生成网络用于对人脸特征进行重构；
将目标检测网络与对抗生成网络级联，得到超分辨率网络；
将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像。
一种人脸图像生成装置，包括：
目标检测网络构建模块，用于基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络，目标检测网络用于从待检测人脸图像中提取并识别人脸特征；
对抗生成网络构建模块，用于构建对抗生成网络，对抗生成网络用于对人脸特征进行重构；
超分辨网络模块，用于将目标检测网络与对抗生成网络级联，得到超分辨率网络；
人脸图像输出模块，用于将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像。
一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该程序时实现上述方法的步骤。
上述人脸图像生成方法、装置、存储介质和计算机设备，包括基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络；构建对抗生成网络，对抗生成网络用于对人脸特征进行重构；将目标检测网络与对抗生成网络级联，得到超分辨率网络；将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像；超分辨率网络中的目标检测网络从待检测人脸图像中提取并识别人脸特征，对抗生成网络对人脸特征进行重构，得到超分辨率人脸图像，这样的处理可以有效提升输入图像的清晰度，从而提升输入图像的图像质量。
附图说明
图1为一个实施例中人脸图像生成方法的流程示意图；
图2为一个实施例中人脸图像生成方法中残差网络的示意图；
图3为一个实施例中人脸图像生成方法其中一个步骤的流程示意图；
图4为一个实施例中人脸图像生成装置的结构示意图；
图5为一个实施例中人脸图像生成方法中目标检测网络的示意图；
图6为一个实施例中人脸图像生成方法中对抗生成网络的示意图。
具体实施方式
如图1所示，一种人脸图像生成方法，包括：
S100，基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络，目标检测网络用于从待检测人脸图像中提取并识别人脸特征。
残差网络(Residual Network，ResNet)为每层的输入提供一个参考,学习形成残差函数，这种残差函数更容易优化，能使网络层数大大加深。在计算机视觉里，图像特征的等级随网络深度的加深而变高，网络深度是实现好的图像处理效果的重要因素。然而梯度弥散或***成为训练深层次网络的障碍，导致无法收敛。归一初始化、各层输入归一化等手段可以使收敛的网络的深度提升为原来的十倍，然而网络却开始退化，即增加网络层数会导致更大的误差。通过在一个浅层网络基础上叠加y＝x的层，可以让网络随深度增加而不退化。
ResNet学习的是残差函数F(x)＝H(x)–x，没有引入额外的参数和计算复杂度，残差函数一般会有较小的响应波动。实际中，考虑计算的成本，对残差块做计算优化，将两个3×3的卷积层替换为1×1+3×3+1×1，如图2所示，中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算，然后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量。
具有卷积神经网络特征的快速区域网络(Faster Regions with ConvolutionNeural Networks features，Faster Rcnn)，包括输入测试图像，将整张图片输入CNN(Convolution Neural Networks，卷积神经网络)进行特征提取；用RPN生成建议窗口，每张图片生成300个建议窗口；把建议窗口映射到CNN的最后一层卷积特征图上；通过RoI(region of interest，感兴趣区域)pooling(池化)层使每个RoI生成固定尺寸的特征图；利用Softmax Loss(探测分类概率)和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练。
卷积神经网络和普通的神经网络一样，由神经元按层级结构组成，其间的权重和偏移量都是可以通过训练得到。同样是输入的数据和权重做运算，输出结果输入激励神经元，再输出结果。从整体上看来，整个神经网络对像素级别输入的图像数据，用得分函数计算最后各个类别的得分，然后通过最小化损失函数来得到最优的权重。
S200，构建对抗生成网络，对抗生成网络用于对人脸特征进行重构。
对抗生成网络GAN启发自博弈论中的二人零和博弈(two-player game)，GAN模型中的两位博弈方分别由生成式模型(generative model)和判别式模型(discriminativemodel)充当。生成式模型G捕捉样本数据的分布，用服从某一分布(比如均匀分布、高斯分布等)的噪声z生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别式模型D是一个二分类器，估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，D输出大概率；否则，D输出小概率。在训练的过程中固定一方，更新另一方的网络权重，交替迭代，在这个过程中，双方都极力优化自己的网络，从而形成竞争对抗，直到双方达到一个动态的平衡(纳什均衡)，此时生成式模型G恢复了训练数据的分布(造出了和真实数据一模一样的样本)，判别式模型再也判别不出来结果，准确率为50％，约等于乱猜。当固定G的时候，对于D的优化，可以这样理解：输入来自于真实数据，D优化网络结构使自己输出1；输入来自于生成数据，D优化网络结构使自己输出0。当固定D的时候，G优化自己的网络使自己输出尽可能和真实数据一样的样本，并且使得生成的样本经过D的判别之后，D输出高概率。
S300，将目标检测网络与对抗生成网络级联，得到超分辨率网络。
将训练好的目标检测网络和对抗生成网络连接，得到超分辨率网络，当低分辨率的人脸图像输入至该超分辨率网络后，输出可以得到高清晰度人脸图像，以及人脸五官特征。
S400，将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像。
超分辨率是指提高原有图像的分辨率，通过低分辨率的图像来得到高分辨率的图像的过程就是超分辨率重建。在大量的电子图像应用领域，往往期望得到高分辨率图像。高分辨率意味着图像中的像素密度高，能够提供更多的细节，而这些细节在许多实际应用中不可或缺。
上述人脸图像生成方法，包括基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络；构建对抗生成网络，对抗生成网络用于对人脸特征进行重构；将目标检测网络与对抗生成网络级联，得到超分辨率网络；将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像；超分辨率网络中的目标检测网络从待检测人脸图像中提取并识别人脸特征，对抗生成网络对人脸特征进行重构，得到超分辨率人脸图像，这样的处理可以有效提升输入图像的清晰度，从而提升输入图像的图像质量。
在一个实施例中，如图3所示，人脸图像生成方法中基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络的步骤S100包括：
S120，基于残差网络，构建用于提取人脸图像中人脸特征的特征提取层；
S140，将特征提取层与具有卷积神经网络特征的快速区域网络中的目标检测层连接，形成样本目标检测网络，样本目标检测网络用于识别人脸图像中的人脸特征；
S160，对样本目标检测网络进行训练，得到目标检测网络。
具体地，可以搭建一个残差网络(RestNet-101层)，在该残差网络中一共有5个块，除了第一个输入块中，其余四个块中卷积网络的循环数量分别为3、4、23、3，采用ImageNet数据库中的数据，对该网络进行训练使得参数拟合，训练到最后可以达到分类前一种正确率72.6％，前五正确率93.7％。采用321×321像素大小的图片输入，提取中间块中每一个循环的最后一个卷积层，四个卷积层的大小分别为160×160×256、80×80×512、40×40×1024、20×20×2048，卷积层的参数可以用(s，n)表示，其中，n为卷积核的数量，s为卷积核的尺寸。从最底层的卷积层开始，通过一个卷积层减小特征数量后，利用转置卷积层放大2倍，再与上一层的卷积层相连，最后得到160×160×256的输出层，该残差网络作为特征提取网络。对已经训练好的基于ImageNet的1000个类别的ResNet进行调整，将其分类数量改成6类，把人脸和其他4类图像作为数据集进行输入，重新训练参数，可以达到100％的准确率，不能过拟合，第一阶段训练结束，得到了所需要特征提取网络。得到训练好的特征提取网络之后，将得到的特征提取网络按照Faster Rcnn的连接方式与后续的目标检测层相连，采用Faster Rcnn对五官和人脸进行检测，所需要分类的类别为眼睛、眉毛、鼻子、嘴巴、人脸、其他六类。
在其中一个实施例中，对样本目标检测网络进行训练，得到目标检测网络的步骤包括：将携带特征标记的人脸图像输入至样本目标检测网络，输出人脸图像中特征的位置和分类类别，特征包括人脸五官；通过损失函数对样本目标检测网络进行修正，得到目标检测网络，其中，损失函数为五官标记的位置与输出五官位置的欧氏距离。在最小化损失函数时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。欧氏距离是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。
在一个实施例中，人脸图像生成方法中构建对抗生成网络的步骤包括：搭建卷积网络和像素位移网络；将卷积网络与像素位移网络连接，形成对抗生成网络。在另一个实施例中，人脸图像生成方法中构建对抗生成网络的步骤包括：搭建卷积层和转置卷积层，将卷积层与转置卷积层连接，形成卷积网络；将卷积网络中的转置卷积层与像素位移网络连接，形成对抗生成网络。其中，搭建卷积层和转置卷积层，将卷积层与转置卷积层连接，形成卷积网络的步骤包括：搭建依次连接的第一卷积层、第二卷积层以及第三卷积层；搭建依次连接的第一转置卷积层和第二转置卷积层；将第三卷积层与第一转置卷积层连接，形成卷积网络。
具体地，对抗生成网络可以采用5层卷积网络加1层像素位移网络，前三层为步长为2的卷积层，可以将图片缩小8倍，后两层为步长为2的转置卷积层，将图片放大4倍。特征层为132个，最后一层像素位移层，将132位特征层提取为3位通道，图片长、宽放大8倍，得到长、宽分别放大4倍的浅层对抗生成网络，对网络进行训练，使得网络拟合。
在一个实施例中，人脸图像生成方法中将目标检测网络与对抗生成网络级联，得到超分辨率网络的步骤之后还包括：通过梯度下降法减小网络损失函数，对超分辨率网络进行修正，其中，网络损失函数为通过超分辨率网络输出的人脸图像特征与预设样本人脸图像特征的欧氏距离；将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像的步骤包括：将待检测人脸图像输入至修正后的超分辨率网络，得到超分辨率人脸图像。
在机器学习算法中，在最小化损失函数时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。
在一个实施例中，还提供一种存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述各实施例中的任意一种人脸图像生成方法。其中，存储介质可以为光盘、只读存储记忆体或随机存储记忆体等。
该存储介质，其存储的计算机程序，通过实现包括如上述各人脸图像生成方法的实施例的流程，从而可以得到超分辨率人脸图像，这样的处理可以有效提升输入图像的清晰度，从而提升输入图像的图像质量。
在一个实施例中，还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行该程序时实现如上述各实施例中的任意一种人脸图像生成方法。该计算机设备，其处理器执行程序时，通过实现如上述各实施例中的任意一种人脸图像生成方法，从而可以得到超分辨率人脸图像，这样的处理可以有效提升输入图像的清晰度，从而提升输入图像的图像质量。
在一个实施例中，一种人脸图像生成装置，如图4所示，包括：
目标检测网络构建模块100，用于基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络，目标检测网络用于从待检测人脸图像中提取并识别人脸特征；
对抗生成网络构建模块200，用于构建对抗生成网络，对抗生成网络用于对人脸特征进行重构；
超分辨网络模块300，用于将目标检测网络与对抗生成网络级联，得到超分辨率网络；
人脸图像输出模块400，用于将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像。
上述人脸图像生成装置，包括目标检测网络构建模块100、对抗生成网络构建模块200、超分辨网络模块300以及人脸图像输出模块400，目标检测网络构建模块100基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络；对抗生成网络构建模块200构建对抗生成网络，对抗生成网络用于对人脸特征进行重构；超分辨网络模块300将目标检测网络与对抗生成网络级联，得到超分辨率网络；人脸图像输出模块400将待检测人脸图像输入至超分辨率网络，得到超分辨率人脸图像；超分辨率网络中的目标检测网络从待检测人脸图像中提取并识别人脸特征，对抗生成网络对人脸特征进行重构，得到超分辨率人脸图像，这样的处理可以有效提升输入图像的清晰度，从而提升输入图像的图像质量。
在一个实施例中，一种人脸图像生成方法，具体包括：1、特征提取网络的搭建。搭建一个残差网络(ResNet-101)，在残差网络中一共有5个块，除了第一个输入块，其余每个块中卷积网络的循环数量分别为3、4、23、3，采用ImageNet数据库的数据，对网络进行训练使得参数拟合，训练到最后可以达到分类前一种正确率72.6％，前五正确率93.7％。采用321×321像素大小的图片输入，提取中间块中每一个循环的最后一个卷积层，四个卷积层的大小分别为160×160×256、80×80×512、40×40×1024、20×20×2048，卷积层的参数可以用(s，n)表示，其中，n为卷积核的数量，s为卷积核的尺寸。从最底层的卷积层开始，通过一个卷积层减小特征数量后，利用转置卷积层放大2倍，与上一层的卷积层相连，最后得到160×160×256的输出层。
得到训练好的特征提取层后，采用具有卷积神经网络特征的快速区域网络对五官和人脸进行检测，所需要分类的类别为眼睛、眉毛、鼻子、嘴巴、人脸、其他六类，所以需要对已经训练好的基于ImageNet的1000个类别ResNet进行调整，将其分类数量改成6类，把人脸和其他4类图像做成数据集进行输入，重新训练参数，可以达到100％的准确率，不能过拟合，第一阶段训练结束，得到了所需要特征提取网络。
2、构建目标检测网络。将得到的特征提取网络按照具有卷积神经网络特征的快速区域网络的连接方式与后续的目标检测层相连，形成目标检测网络，如图5所示。将带有五官标记的人脸图片输入该目标检测网络，输出为每个五官的位置和分类类别，损失函数为标记位置和所预测位置的欧氏距离。基于人脸特征，眼睛和嘴巴的检测边框长宽比为2：1，鼻子的检测边框的长宽比为1：2。通过训练好的目标检测网络可以准确检测出人脸五官的位置和类别。
3、构建对抗生成网络。对抗生成网络可以有两种，一种采用深层网络，提取更好的特征；另一种采用浅层网络，保留原图更多的特征。如图6所示，这里采用5层卷积网络加1层像素位移网络，前三层为步长为2的卷积层，可以将图片缩小8倍；后两层为步长为2的转置卷积层，将图片放大4倍。特征层为132个，最后一层像素位移层将132位特征层提取为3位通道，图片长、宽放大8倍，然后得到长、宽分别放大4倍的浅层对抗生成网络，训练该网络，使得网络拟合。
4、对抗生成网络与目标检测网络级联。将训练好的目标检测网络和对抗生成网络连接，当低分辨率的图片输入该连接后的网络后，可以得到高清晰度图片及其五官特征。同时将数据库中高清晰度人脸图片的平均值输入，得到综合五官特征值。对于相应的特征使用L2泛数作为损失函数，将损失函数对高清晰度图片求导，用梯度下降法减小损失函数，提高高清晰度图片中五官特征的准确度。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种人脸图像生成方法，其特征在于，包括：
基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络，所述目标检测网络用于从待检测人脸图像中提取并识别人脸特征，所述目标检测网络由所述残差网络构建的特征提取层与所述快速区域网络中的目标检测层连接得到；
构建对抗生成网络，所述对抗生成网络用于对所述人脸特征进行重构；
将所述目标检测网络与所述对抗生成网络级联，得到超分辨率网络；
将所述待检测人脸图像输入至所述超分辨率网络，得到超分辨率人脸图像；
所述基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络的步骤包括：
基于残差网络，构建用于提取人脸图像中人脸特征的特征提取层，其中，所述特征提取层是指从所述残差网络中最底层的卷积层开始，通过一个卷积层减小特征数量，利用转置卷积层放大后，与上一层的卷积层相连得到的输出层；
将所述特征提取层与具有卷积神经网络特征的快速区域网络中的目标检测层连接，形成样本目标检测网络，所述样本目标检测网络用于识别人脸图像中的人脸特征；
对所述样本目标检测网络进行训练，得到目标检测网络。
2.根据权利要求1所述的人脸图像生成方法，其特征在于，所述对所述样本目标检测网络进行训练，得到目标检测网络的步骤包括：
将携带特征标记的人脸图像输入至所述样本目标检测网络，输出所述人脸图像中特征的位置和分类类别，所述特征包括人脸五官；
通过损失函数对所述样本目标检测网络进行修正，得到目标检测网络，其中，所述损失函数为所述特征标记的位置与输出特征位置的欧氏距离。
3.根据权利要求1所述的人脸图像生成方法，其特征在于，所述构建对抗生成网络的步骤包括：
搭建卷积网络和像素位移网络；
将所述卷积网络与所述像素位移网络连接，形成对抗生成网络。
4.根据权利要求3所述的人脸图像生成方法，其特征在于，所述构建对抗生成网络的步骤包括：
搭建卷积层和转置卷积层，将所述卷积层与所述转置卷积层连接，形成卷积网络；
将所述卷积网络中的转置卷积层与所述像素位移网络连接，形成对抗生成网络。
5.根据权利要求4所述的人脸图像生成方法，其特征在于，所述搭建卷积层和转置卷积层，将所述卷积层与所述转置卷积层连接，形成卷积网络的步骤包括：
搭建依次连接的第一卷积层、第二卷积层以及第三卷积层；
搭建依次连接的第一转置卷积层和第二转置卷积层；
将所述第三卷积层与所述第一转置卷积层连接，形成卷积网络。
6.根据权利要求1所述的人脸图像生成方法，其特征在于，
所述将所述目标检测网络与所述对抗生成网络级联，得到超分辨率网络的步骤之后还包括：
通过梯度下降法减小网络损失函数，对所述超分辨率网络进行修正，其中，所述网络损失函数为通过所述超分辨率网络输出的人脸图像特征与预设样本人脸图像特征的欧氏距离；
所述将所述待检测人脸图像输入至所述超分辨率网络，得到超分辨率人脸图像的步骤包括：
将所述待检测人脸图像输入至修正后的所述超分辨率网络，得到超分辨率人脸图像。
7.一种人脸图像生成装置，其特征在于，包括：
目标检测网络构建模块，用于基于残差网络和具有卷积神经网络特征的快速区域网络，构建目标检测网络，所述目标检测网络用于从待检测人脸图像中提取并识别人脸特征，所述目标检测网络由所述残差网络构建的特征提取层与所述快速区域网络中的目标检测层连接得到；
对抗生成网络构建模块，用于构建对抗生成网络，所述对抗生成网络用于对所述人脸特征进行重构；
超分辨网络模块，用于将所述目标检测网络与所述对抗生成网络级联，得到超分辨率网络；
人脸图像输出模块，用于将所述待检测人脸图像输入至所述超分辨率网络，得到超分辨率人脸图像；
所述目标检测网络构建模块还用于基于残差网络，构建用于提取人脸图像中人脸特征的特征提取层，其中，所述特征提取层是指从所述残差网络中最底层的卷积层开始，通过一个卷积层减小特征数量，利用转置卷积层放大后，与上一层的卷积层相连得到的输出层；
将所述特征提取层与具有卷积神经网络特征的快速区域网络中的目标检测层连接，形成样本目标检测网络，所述样本目标检测网络用于识别人脸图像中的人脸特征；
对所述样本目标检测网络进行训练，得到目标检测网络。
8.根据权利要求7所述的装置，其特征在于，所述目标检测网络构建模块还用于将携带特征标记的人脸图像输入至所述样本目标检测网络，输出所述人脸图像中特征的位置和分类类别，所述特征包括人脸五官；
通过损失函数对所述样本目标检测网络进行修正，得到目标检测网络，其中，所述损失函数为所述特征标记的位置与输出特征位置的欧氏距离。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-6中任意一项所述方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6中任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711480435.0A CN108229381B (zh) | 2017-12-29 | 2017-12-29 | 人脸图像生成方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711480435.0A CN108229381B (zh) | 2017-12-29 | 2017-12-29 | 人脸图像生成方法、装置、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108229381A CN108229381A (zh) | 2018-06-29 |
| CN108229381B true CN108229381B (zh) | 2021-01-08 |
Family
ID=62646179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711480435.0A Active CN108229381B (zh) | 2017-12-29 | 2017-12-29 | 人脸图像生成方法、装置、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108229381B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675324B (zh) * | 2018-07-02 | 2023-10-10 | 上海寰声智能科技有限公司 | 4k超高清图像清晰化处理方法 |
| CN110728626A (zh) * | 2018-07-16 | 2020-01-24 | 宁波舜宇光电信息有限公司 | 图像去模糊方法和装置及其训练 |
| CN109300107B (zh) | 2018-07-24 | 2021-01-22 | 深圳先进技术研究院 | 磁共振血管壁成像的斑块处理方法、装置和计算设备 |
| CN109460708A (zh) * | 2018-10-09 | 2019-03-12 | 东南大学 | 一种基于生成对抗网络的林火图像样本生成方法 |
| CN109447962A (zh) * | 2018-10-22 | 2019-03-08 | 天津工业大学 | 一种基于卷积神经网络的眼底图像硬性渗出物病变检测方法 |
| CN109447018B (zh) * | 2018-11-08 | 2021-08-03 | 天津理工大学 | 一种基于改进Faster R-CNN的道路环境视觉感知方法 |
| CN111598891B (zh) * | 2019-02-20 | 2023-08-08 | 深圳先进技术研究院 | 斑块稳定性的识别方法、装置、设备及存储介质 |
| CN109961507B (zh) * | 2019-03-22 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 一种人脸图像生成方法、装置、设备及存储介质 |
| CN110210314B (zh) * | 2019-05-06 | 2023-06-13 | 深圳华付技术股份有限公司 | 人脸检测方法、装置、计算机设备及存储介质 |
| CN110119746B (zh) * | 2019-05-08 | 2021-11-30 | 北京市商汤科技开发有限公司 | 一种特征识别方法及装置、计算机可读存储介质 |
| CN110189255B (zh) * | 2019-05-29 | 2023-01-17 | 电子科技大学 | 基于两级检测的人脸检测方法 |
| CN110298384B (zh) * | 2019-06-03 | 2021-03-12 | 西华大学 | 对抗样本图像生成方法和装置 |
| CN110533004A (zh) * | 2019-09-07 | 2019-12-03 | 哈尔滨理工大学 | 一种基于深度学习的复杂场景人脸识别*** |
| CN110570355B (zh) * | 2019-09-12 | 2020-09-01 | 杭州海睿博研科技有限公司 | 多尺度自动聚焦超分辨率处理***和方法 |
| CN112836554A (zh) * | 2019-11-25 | 2021-05-25 | 广东博智林机器人有限公司 | 图像校验模型的构建方法、图像校验方法和装置 |
| CN111047546A (zh) * | 2019-11-28 | 2020-04-21 | 中国船舶重工集团公司第七一七研究所 | 一种红外图像超分辨率重构方法、***及电子设备 |
| CN111221118B (zh) * | 2020-02-26 | 2022-06-28 | 南京理工大学 | 一种基于相位编码单透镜的显微成像方法 |
| CN111428591A (zh) * | 2020-03-11 | 2020-07-17 | 天津华来科技有限公司 | Ai人脸图像处理的方法、装置、设备和存储介质 |
| CN111310732A (zh) * | 2020-03-19 | 2020-06-19 | 广东宜教通教育有限公司 | 高精度人脸认证方法、***、计算机设备及存储介质 |
| CN111862040B (zh) * | 2020-07-20 | 2023-10-31 | 中移（杭州）信息技术有限公司 | 人像图片质量评价方法、装置、设备及存储介质 |
| CN112528851B (zh) * | 2020-12-09 | 2024-03-29 | 南京航空航天大学 | 一种人脸检测方法及*** |
| CN114240844B (zh) * | 2021-11-23 | 2023-03-14 | 电子科技大学 | 一种医学图像中无监督的关键点定位和目标检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
-
2017
- 2017-12-29 CN CN201711480435.0A patent/CN108229381B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 欧阳宁.基于并列卷积神经网络的超分辨率重建.《计算机应用》.2017, * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108229381A (zh) | 2018-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229381B (zh) | 人脸图像生成方法、装置、存储介质和计算机设备 | |
| JP6807471B2 (ja) | セマンティックセグメンテーションモデルの訓練方法および装置、電子機器、ならびに記憶媒体 | |
| Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
| CN107679477B (zh) | 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 | |
| CN110991299B (zh) | 一种物理域上针对人脸识别***的对抗样本生成方法 | |
| CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| CN105069400B (zh) | 基于栈式稀疏自编码的人脸图像性别识别*** | |
| CN111783748B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| WO2019227479A1 (zh) | 人脸旋转图像的生成方法及装置 | |
| CN107103285B (zh) | 基于卷积神经网络的人脸深度预测方法 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
| CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
| CN112581540A (zh) | 一种大场景下基于人体姿态估计的相机标定方法 | |
| CN110991563B (zh) | 一种基于特征融合的胶囊网络随机路由方法 | |
| CN110503002B (zh) | 一种人脸检测方法和存储介质 | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| CN111553250B (zh) | 一种基于人脸特征点的精准面瘫程度评测方法及装置 | |
| CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
| CN112560824B (zh) | 一种基于多特征自适应融合的人脸表情识别方法 | |
| CN114841887A (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN111507185B (zh) | 一种基于堆叠空洞卷积网络的摔倒检测方法 | |
| CN116342466A (zh) | 一种图像抠图的方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: Hunan happy Technology Co., Ltd. Document name: Notification of Approving Refund |
|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |