CN111260577B - 基于多引导图和自适应特征融合的人脸图像复原*** - Google Patents
基于多引导图和自适应特征融合的人脸图像复原*** Download PDFInfo
- Publication number
- CN111260577B CN111260577B CN202010039493.5A CN202010039493A CN111260577B CN 111260577 B CN111260577 B CN 111260577B CN 202010039493 A CN202010039493 A CN 202010039493A CN 111260577 B CN111260577 B CN 111260577B
- Authority
- CN
- China
- Prior art keywords
- convolution
- layer
- hole
- output
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 213
- 230000015556 catabolic process Effects 0.000 claims description 134
- 238000006731 degradation reaction Methods 0.000 claims description 134
- 238000000605 extraction Methods 0.000 claims description 50
- 230000003044 adaptive effect Effects 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 29
- 238000010606 normalization Methods 0.000 claims description 29
- 238000005286 illumination Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000001815 facial effect Effects 0.000 claims description 18
- 230000014509 gene expression Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 239000011800 void material Substances 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 21
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
基于多引导图和自适应特征融合的人脸图像复原***，涉及图像复原处理技术领域，为解决现有技术中无法有效的复原真实低质量图像的问题，包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，本发明所述的基于多引导图和自适应特征融合的人脸图像复原***能够有效地对低质量人脸图像进行增强，可以有效的复原真实低质量图像。
Description
技术领域
本发明涉及图像复原处理技术领域，具体为一种基于多引导图和自适应特征融合的人脸图像复原***。
背景技术
人脸图像复原目的是从一幅低质量人脸图像(模糊、低分辨率、压缩严重、噪声多等常见低质量)复原出高质量人脸图像。低质量人脸图像通常由于拍摄年代久远、拍摄设备受限、在存储过程中存在的失真，不可避免的会降低人脸图像质量。随着技术的发展，人们越来越追求高视觉质量的多媒体信息，例如2K和4K视频。因此，如何把低质量人脸图像复原为高质量的图像，一直都是学者们研究的热点。
近年来，随着深度学习的进一步发展，图像复原也逐渐获得突破性的进展。学者们将卷积神经网络应用到不同的单一复原任务中，例如超分辨，去燥，去模糊等操作中，也同样获得了实际性进展。然而，真实的低质量图像由于其未知退化类型，因此，现有的方法无法对其进行有效复原和增强，往往无法取得较理想的增强效果。
现有的基于正面引导图的人脸复原工作，对于每一个人只取一张正面图像作为引导信息，无法适应到在真实的人脸复原工作中。人脸由于多样性，具有不同的姿态、表情以及光照影响，单一的引导图无法适应于真实人脸复原场景中。
此外，通过简单地将引导图与退化图特征串联，无法有效发挥出引导图作用。退化图需要有效的根据退化图的退化程度，从而提供相应的特征。
发明内容
本发明的目的是：针对现有技术中无法有效的复原真实低质量图像的问题，提出一种基于多引导图和自适应特征融合的人脸图像复原***。
本发明为了解决上述技术问题采取的技术方案是：
基于多引导图和自适应特征融合的人脸图像复原***，所述***包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，
所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；
所述最优引导图特征提取模块用于提取最优引导图的特征；
所述退化图特征提取模块用于提取退化图的特征；
所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；
所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；
所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；
所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；
所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图。
进一步的，所述最优引导图特征提取模块包含M1个空洞卷积残差单元，所述退化图特征提取模块包含M2个空洞卷积残差单元、所述退化图人脸关键点特征提取模块包含M3个无偏差卷积层，所述逐级自适应特征融合模块包含M4个自适应特征融合单元、所述复原结果重建模块中多层神经网络为M5个空洞卷积残差单元，其中，M1、M2、M3、M4、M5均大于或等于1。
进一步的，所述引导图包含N张不同姿态、表情和光照的同一身份高清人脸图像，N大于或等于1。
进一步的，所述最优引导图选择模块执行如下步骤：
首先采用基于人脸关键点相似性的优化的加权最小二乘模块，所述加权最小二乘模块执行如下步骤：首先从N张引导图中选择出与退化图具有最相似的姿态和表情，然后采用人脸关键点检测算法，检测出每张引导图P个关键点，Lp＝(xp，yp)表示人脸关键点的第p个关键点横轴和纵轴坐标，将退化图的关键点定义为Ld，对于该退化图对应的所有引导图中，第m个引导图的关键点定义为
定义的加权最小二乘为：
其中k*表示从N个引导图中选择出来的最优的引导图序号；
A表示仿射变换矩阵；
wm表示第m个关键点的权重；
给定一个退化图和引导图，闭合解为：
其中W＝Diag(w)是关键点权重w的对角矩阵；
利用网络梯度反向传播算法更新权重w，定义如下：
对w求导更新整个权重，获得最优引导图。
进一步的，所述最优引导图特征提取模块中空洞卷积残差单元为3个，所述最优引导图特征提取模块执行如下步骤；
输入选择的最优引导图；
最优引导图特征提取模块包含卷积层C1、卷积层C2、卷积层C3、卷积层C4、空洞卷积单元D1、空洞卷积单元D2和空洞卷积单元D3；
卷积层C1用于对最优引导图进行第一卷积操作和激活操作；
空洞卷积残差单元D1用于对卷积层C1的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层C2用于空洞卷积残差单元D1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元D2用于对卷积层C2的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层C3用于空洞卷积残差单元D2的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元D3用于对卷积层C3的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层C4用于对空洞卷积残差单元D3的输出依次进行第四卷积操作和激活操作；
卷积层C4的输出为最优引导图特征；
其中，激活操作采用LReLU函数，归一化操作均采用BatchNorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
进一步的，所述退化图特征提取模块中空洞卷积残差单元为3个，其执行如下步骤：
输入退化图；
退化图特征提取模块包含卷积层C5、卷积层C6、卷积层C7、卷积层C8、空洞卷积残差单元D4、空洞卷积残差单元D5和空洞卷积残差单元D6；
卷积层C5用于对退化图进行第一卷积操作和激活操作；
空洞卷积残差单元D4用于对卷积层C5的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层C6用于空洞卷积残差单元D4的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元D5用于对卷积层C6的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层C7用于空洞卷积残差单元D5的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元D6用于对卷积层C7的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层C8用于对空洞卷积残差单元D6的输出依次进行第四卷积操作、激活操作；
卷积层C8的输出为退化图的特征；
其中，激活操作采用LReLU函数，归一化操作均采用BatchNorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作
进一步的，所述退化图人脸关键点特征提取模块中无偏差卷积层为10个，其执行如下步骤：
输入退化图人脸关键点；
退化图人脸关键点特征提取模块包含卷积层C9、卷积层C10、卷积层C11、卷积层C12、卷积层C13、卷积层C14、卷积层C15、卷积层C16、卷积层C17和卷积层C18；
卷积层C9用于对退化图人脸关键点图进行第一卷积操作和激活操作；
卷积层C10用于对C9的输出进行第二卷积操作和激活操作；
卷积层C11用于对C10的输出进行第三卷积操作和激活操作；
卷积层C12用于对C11的输出进行第四卷积操作和激活操作；
卷积层C13用于对C12的输出进行第五卷积操作和激活操作；
卷积层C14用于对C13的输出进行第六卷积操作和激活操作；
卷积层C15用于对C14的输出进行第七卷积操作和激活操作；
卷积层C16用于对C15的输出进行第八卷积操作和激活操作；
卷积层C17用于对C16的输出进行第九卷积操作和激活操作；
卷积层C18用于对C17的输出进行第十卷积操作和激活操作；
卷积层C18的输出为退化图人脸关键点特征；
激活操作采用LReLU函数，
第一卷积操作为64个9*9，步长为2，偏执为0的卷积操作；
第二卷积操作为64个3*3，步长为1，偏执为0的卷积操作；
第三卷积操作为64个7*7，步长为1，偏执为0的卷积操作；
第四卷积操作为128个3*3，步长为1，偏执为0的卷积操作；
第五卷积操作为128个5*5，步长为2，偏执为0的卷积操作；
第六卷积操作到第十卷积操作为128个3*3、步长为1，偏执为0的卷积操作。
进一步的，所述最优引导图特征姿态纠正模块执行如下步骤：
输入最优引导图的特征、最优引导图人脸关键点、退化图人脸关键点；
定义最优引导图特征为Fg，最优引导图的人脸关键点为Lg，退化图的人脸关键点为Ld，；利用移动的最小二乘形变方法，每个点的仿射变换矩阵为：
其中：
p为给定的关键点位置，
为Ld的增广矩阵，
根据仿射变换矩阵，通过双线性插值方式，获得的形变最优引导图特征为：
进一步的，所述光照分布纠正模块执行如下步骤：
输入形变后最优引导图的特征、退化图的特征，
将形变后引导图通过自适应的实例归一化，将形变后引导图光照进一步与退化图分布一致，公式为：
其中，
Fd为退化图特征；
Fgw为形变后最优引导图特征；
σ(·)表示沿着特征图的空间通道位置的均值；
μ(·)表示沿着特征图的空间通道位置的标准差，
输出为光照纠正后的最终引导图的特征。
进一步的，所述自适应特征融合单元为4个，包括自适应特征融合单元P1、P2、P3和P4，其执行如下步骤：
输入最终引导图特征、退化图特征、退化图人脸关键点特征，
P1特征融合时：
卷积层C19用于对退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C20用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C21用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T1将卷积层C19、C20和C21的输出进行特征串联；
卷积层C22对T1的输出进行第四次卷积操作、激活操作；
卷积层C23对C22的输出进行第五次卷积操作、激活操作；
卷积层C24对退化图特征进行第六次卷积、激活操作；
卷积层C25对C24的输出进行第七次卷积、激活操作；
卷积层C26对最终引导图特征进行第八次卷积、激活操作；
卷积层C27对C26的输出进行第九次卷积、激活操作；
残差层J1对C25层的输出与C27层的输出进行相减操作；
尺度层将J1的输出与C23层的输出进行相乘操作；
复原层F1将尺度层J1的输出与退化图特征相加，输出第P1级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P2特征融合时：
卷积层C28用于对P1增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C29用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C30用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T2将卷积层C28、C29和C30的输出进行特征串联；
卷积层C31对T2的输出进行第四次卷积操作、激活操作；
卷积层C32对C31的输出进行第五次卷积操作、激活操作；
卷积层C33对退化图特征进行第六次卷积、激活操作；
卷积层C34对C33的输出进行第七次卷积、激活操作；
卷积层C35对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C36对C35的输出进行第九次卷积、激活操作；
残差层J2对C34层的输出与C36层的输出进行相减操作；
尺度层将J2的输出与C32层的输出进行相乘操作；
复原层F2将尺度层J2的输出与退化图特征相加，输出第P2级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P3特征融合时：
卷积层C37用于对P2增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C38用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C39用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T3将卷积层C37、C38和C39的输出进行特征串联；
卷积层C40对T3的输出进行第四次卷积操作、激活操作；
卷积层C41对C40的输出进行第五次卷积操作、激活操作；
卷积层C42对退化图特征进行第六次卷积、激活操作；
卷积层C43对C44的输出进行第七次卷积、激活操作；
卷积层C45对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C46对C45的输出进行第九次卷积、激活操作；
残差层J3对C43层的输出与C46层的输出进行相减操作；
尺度层将J3的输出与C41层的输出进行相乘操作；
复原层F3将尺度层J3的输出与退化图特征相加，输出第P3级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P4特征融合时：
卷积层C47用于对P3增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C48用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C49用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T4将卷积层C47、C48和C49的输出进行特征串联；
卷积层C50对T4的输出进行第四次卷积操作、激活操作；
卷积层C51对C50的输出进行第五次卷积操作、激活操作；
卷积层C52对退化图特征进行第六次卷积、激活操作；
卷积层C53对C32的输出进行第七次卷积、激活操作；
卷积层C54对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C55对C54的输出进行第九次卷积、激活操作；
残差层J4对C53层的输出与C55层的输出进行相减操作；
尺度层将J4的输出与C51层的输出进行相乘操作；
复原层F4将尺度层J4的输出与退化图特征相加，输出第P4级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
最后输出多级自适应特征融合后的增强退化图特征。
进一步的，所述复原结果重建模块中空洞卷积残差单元为3个，其执行如下步骤
输入逐级增强后的退化图的特征，
特征重建模块包含卷积层C56、卷积层C57、卷积层C58、卷积层C59、空洞卷积残差单元D7、空洞卷积残差单元D8和空洞卷积残差单元D9；
卷积层C56用于逐级增强后的退化图特征进行第一卷积操作和激活操作；
空洞卷积残差单元D7用于对卷积层C56的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作、残差操作；
上采样层S1用于对D7的输出使用PixelShuffle，对特征进行上采样两倍；
卷积层C57用于上采样层S1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元D8用于对卷积层C57的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作、残差操作；
上采样层S2用于对D8的输出使用PixelShuffle，对特征进行上采样两倍；
卷积层C58用于上采样层S1的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元D9用于对卷积层C58的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作、残差操作；
卷积层C59用于空洞卷积残差单元D9的输出进行第四卷积操作
输出激活操作将C59的输出进行最后一次激活操作；
输出激活操作的输出为最终复原结果；
激活操作采用LReLU函数，最后一次激活操作采用Tanh，
第一卷积操作为256个3*3、步长为1的卷积操作；
第一空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二卷积操作为128个3*3，步长为1的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第三卷积操作为64个3*3，步长为1的卷积操作；
第五空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第六空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为32个3*3，步长为1的卷积操作。
进一步的，所述***还包括训练网络，所述训练网络通过重建损失来约束整个网络学习，
所述重建损失包括复原后的人脸图像
与其对应的未退化的高清图像I的在像素空间损失和人脸识别网络的特征之间的损失；
所述像素空间损失的欧式距离损失定义为：
其中，C.H.W表示图像的通道数以及和宽度；
所述人脸识别网络的特征空间损失的欧式距离损失定义为：
式中，Ψu为预先训练好人脸识别网络得到的第u层卷积特征，Cu、Hu和Wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
进一步的，所述训练网络还包括约束复原结果的特征分布与退化图像特征分布一致的步骤，该约束采用风格损失函数，具体方式为：
风格损失通过计算复原图像和未退化图像在人脸识别网络特征空间的Gram矩阵，具体如下：
式中，Cu、Hu和Wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
进一步的，所述训练网络通过判别损失来约束人脸图像复原网络，具体方式为：
首先训练网络通过基于自注意力的判别网络来获得判别损失；
然后判别网络输出的特征进行hingeloss计算判别损失，
对于判别网络的学习，损失定义为：
对于生成网络在判别网络约束下的学习，损失定义为：
进一步的，所述训练网络采用Adam优化算法对该图像复原的整体网络进行端对端的训练。
进一步的，所述退化图通过对高清人脸图像依次进行模糊、降采样、添加噪声和JPEG压缩处理得到，
其中，模糊处理采用高斯模糊和运动模糊，高斯模糊核标准差
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:S}；
添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:N}；
JPEG压缩质量参数q∈{0,10:0.1:Q}。
本发明的有益效果是：
本发明提出了多引导图的人脸复原算法，并提出了姿态纠正、光照纠正、逐级的自适应特征融合操作，最优引导图经过姿表情和光照纠正后，能够与退化的人脸具有高度的对齐度，能够为退化的人脸图像复原提供缺失的身份细节信息。因此，与现有基于卷积神经网络的人脸图像复原***相比，本发明所述的基于多引导图和自适应特征融合的人脸图像复原***能够有效地对低质量人脸图像进行增强，可以有效的复原真实低质量图像。
附图说明
图1为本发明人脸图像复原***流程图。
具体实施方式
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于多引导图和自适应特征融合的人脸图像复原***，所述***包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，
所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；
所述最优引导图特征提取模块用于提取最优引导图的特征；
所述退化图特征提取模块用于提取退化图的特征；
所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；
所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；
所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；
所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；
所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图。
所述最优引导图特征提取模块包含M1个空洞卷积残差单元，所述退化图特征提取模块包含M2个空洞卷积残差单元、所述退化图人脸关键点特征提取模块包含M3个无偏差卷积层，所述逐级自适应特征融合模块包含M4个自适应特征融合单元、所述复原结果重建模块中多层神经网络为M5个空洞卷积残差单元，其中，M1、M2、M3、M4、M5均大于或等于1。
其中，所述退化图根据待复原图像的低质量图像得到。
人脸面部特征由引导图提供的是细节纹理，退化图提供的是粗纹理得到。
从N张引导图中选择出与退化图姿态和表情最接近的最优引导图。
作为优选的是N≥1。
采用基于人脸关键点相似性的优化的加权最小二乘模块，所述加权最小二乘模块执行如下步骤：首先从N张引导图中选择出与退化图具有最相似的姿态和表情，对于退化图和所有的引导图，首先采用人脸关键点检测算法，检测出每张人脸图的P个关键点，Lp＝(xp，yp)表示人脸关键点的第p个关键点横轴和纵轴坐标，对于退化图的关键点定义为Ld，对于该退化图对应的所有引导图中，第m个引导图的关键点定义为
定义的加权最小二乘为：
其中k*表示从N个引导图中选择出来的最优的引导图序号；
A表示仿射变换矩阵；
wm表示第m个关键点的权重；
给定一个退化图和引导图，上述公式具有一个闭合解：
其中W＝Diag(w)是关键点权重w的对角矩阵；
对于不同关键点权重，可以通过网络梯度的反向传播算法，更新权重w，定义如下：
通过对w求导即可更新整个权重W，从而实现优化的加权最小二乘算法来获得最优引导图。
作为优选的是，最优引导图特征提取模块，作为优选的是M1＝3；
输入选择的最优引导图；
最优引导图特征提取模块包含卷积层C1、卷积层C2、卷积层C3、卷积层C4、空洞卷积单元D1、空洞卷积单元D2和空洞卷积单元D3；卷积层C1用于对最优引导图进行第一卷积操作和激活操作；
空洞卷积残差单元D1用于对卷积层C1的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层C2用于空洞卷积残差单元D1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元D2用于对卷积层C2的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层C3用于空洞卷积残差单元D2的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元D3用于对卷积层C3的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层C4用于对空洞卷积残差单元D3的输出依次进行第四卷积操作和激活操作；
卷积层C4的输出为最优引导图特征；
其中，激活操作采用LReLU函数，归一化操作均采用BatchNorm，
第一卷积操作为64个3*3、步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
作为优选的是，退化图特征提取模块，作为优选的是M2＝3；
输入退化图；
退化图特征提取模块包含卷积层C5、卷积层C6、卷积层C7、卷积层C8、空洞卷积残差单元D4、空洞卷积残差单元D5和空洞卷积残差单元D6；卷积层C5用于对退化图进行第一卷积操作和激活操作；
空洞卷积残差残差块D4用于对卷积层C5的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层C6用于空洞卷积残差残差块D4的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差残差块D5用于对卷积层C6的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层C7用于空洞卷积残差残差块D5的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差残差块D6用于对卷积层C7的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层C8用于对空洞卷积残差块D6的输出依次进行第四卷积操作、激活操作；
卷积层C8的输出为退化图特征；
其中，激活操作采用LReLU函数，归一化操作均采用BatchNorm，
第一卷积操作为64个3*3、步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
作为优选的是，退化图人脸关键点特征提取模块，作为优选的是M3＝10；
输入退化图人脸关键点图；
退化图人脸关键点特征提取模块包含卷积层C9、卷积层C10、卷积层C11、卷积层C12、卷积层C13、卷积层C14、卷积层C15、卷积层C16、卷积层C17和卷积层C18；
卷积层C9用于对退化图人脸关键点图进行第一卷积操作和激活操作；
卷积层C10用于对退化图人脸关键点图进行第二卷积操作和激活操作；
卷积层C11用于对退化图人脸关键点图进行第三卷积操作和激活操作；
卷积层C12用于对退化图人脸关键点图进行第四卷积操作和激活操作；
卷积层C13用于对退化图人脸关键点图进行第五卷积操作和激活操作；
卷积层C14用于对退化图人脸关键点图进行第六卷积操作和激活操作；
卷积层C15用于对退化图人脸关键点图进行第七卷积操作和激活操作；
卷积层C16用于对退化图人脸关键点图进行第八卷积操作和激活操作；
卷积层C17用于对退化图人脸关键点图进行第九卷积操作和激活操作；
卷积层C18用于对退化图人脸关键点图进行第十卷积操作和激活操作；
卷积层C18的输出为退化图人脸关键点特征；
激活操作采用LReLU函数，
第一卷积操作为64个9*9、步长为2，偏执为0的卷积操作；
第二卷积操作为64个3*3、步长为1，偏执为0的卷积操作；
第三卷积操作为64个7*7、步长为1，偏执为0的卷积操作；
第四卷积操作为128个3*3、步长为1，偏执为0的卷积操作；
第五卷积操作为128个5*5、步长为2，偏执为0的卷积操作；
第六卷积操作到第十卷积操作为128个3*3、步长为1，偏执为0的卷积操作。
作为优选的是，最优引导图特征姿态纠正操作。
输入为最优引导图特征、最优引导图人脸关键点、退化图人脸关键点；
定义最优引导图特征为Fg，最优引导图的人脸关键点为Lg，退化图的人脸关键点为Ld，通过移动的最小二乘形变方法，每个点的仿射变换矩阵为：
其中：
根据仿射变换矩阵，通过双线性插值方式，获得的形变最优引导图特征为：
N为4近邻点。上述公式对于卷积神经网络是可导的，所以退化图特征提取阶段可以通过反向传播将梯度传递到特征提取模块。
输出为形变后最优引导图特征。
作为优选的是，形变最优引导图特征光照纠正操作：
输入为形变后最优引导图特征、退化图特征。
将形变后引导图通过自适应的实例归一化，将形变后引导图光照进一步与退化图分布一致：
其中，
Fd为退化图特征；
Fg，w为形变后最优引导图特征；
σ(·)表示沿着特征图的空间通道位置的均值；
μ(·)表示沿着特征图的空间通道位置的标准差。
输出为光照纠正后的最终引导图特征，该特征与退化图特征能够在姿态、表情、光照分布上一致。
作为优选的是，逐级自适应的M4个特征融合模块，作为优选的是M4＝4；
输入为最终引导图特征、退化图特征、退化图人脸关键点特征。
逐级自适应的特征融合模块包括自适应特征融合单元P1、P2、P3和P4；
输入最终引导图特征、退化图特征、退化图人脸关键点特征，
P1特征融合时：
卷积层C19用于对退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C20用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层C21用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层T1将卷积层C19、C20和C21的输出进行特征串联；
卷积层C22对T1的输出进行第四次卷积操作、激活操作；
卷积层C23对C22的输出进行第五次卷积操作、激活操作；
卷积层C24对退化图特征进行第六次卷积、激活操作；
卷积层C25对C24的输出进行第七次卷积、激活操作；
卷积层C26对最终引导图特征进行第八次卷积、激活操作；
卷积层C27对C26的输出进行第九次卷积、激活操作；
残差层J1对C25层的输出与C27层的输出进行相减操作；
尺度层将J1的输出与C23层的输出进行相乘操作；
复原层F1将尺度层J1的输出与退化图特征相加，输出第P1级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P2特征融合时：
卷积层C28用于对P1增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C29用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层C30用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层T2将卷积层C28、C29和C30的输出进行特征串联；
卷积层C31对T2的输出进行第四次卷积操作、激活操作；
卷积层C32对C31的输出进行第五次卷积操作、激活操作；
卷积层C33对退化图特征进行第六次卷积、激活操作；
卷积层C34对C33的输出进行第七次卷积、激活操作；
卷积层C35对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C36对C35的输出进行第九次卷积、激活操作；
残差层J2对C34层的输出与C36层的输出进行相减操作；
尺度层将J2的输出与C32层的输出进行相乘操作；
复原层F2将尺度层J2的输出与退化图特征相加，输出第P2级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P3特征融合时：
卷积层C37用于对P2增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C38用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层C39用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层T3将卷积层C37、C38和C39的输出进行特征串联；
卷积层C40对T3的输出进行第四次卷积操作、激活操作；
卷积层C41对C40的输出进行第五次卷积操作、激活操作；
卷积层C42对退化图特征进行第六次卷积、激活操作；
卷积层C43对C44的输出进行第七次卷积、激活操作；
卷积层C45对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C46对C45的输出进行第九次卷积、激活操作；
残差层J3对C43层的输出与C46层的输出进行相减操作；
尺度层将J3的输出与C41层的输出进行相乘操作；
复原层F3将尺度层J3的输出与退化图特征相加，输出第P3级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P4特征融合时：
卷积层C47用于对P3增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C48用于对最终引导图特征进行第一次卷积操作，进一步特征提取；
卷积层C49用于对人脸关键点特征进行第一次卷积操作，进一步特征提取；
串联层T4将卷积层C47、C48和C49的输出进行特征串联；
卷积层C50对T4的输出进行第四次卷积操作、激活操作；
卷积层C51对C50的输出进行第五次卷积操作、激活操作；
卷积层C52对退化图特征进行第六次卷积、激活操作；
卷积层C53对C32的输出进行第七次卷积、激活操作；
卷积层C54对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C55对C54的输出进行第九次卷积、激活操作；
残差层J4对C53层的输出与C55层的输出进行相减操作；
尺度层将J4的输出与C51层的输出进行相乘操作；
复原层F4将尺度层J4的输出与退化图特征相加，输出第P4级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
最后输出多级自适应特征融合后的增强退化图特征。
作为优选的是，增强后退化图特征重建模块，作为优选的是，M5＝3；
输入逐级增强后的退化图特征，
特征重建模块包含卷积层C56、卷积层C57、卷积层C58和卷积层C59；
特征重建模块包含空洞卷积残差块D7、空洞卷积残差块D8和空洞卷积残差块D9；
卷积层C56用于逐级增强后的退化图特征进行第一卷积操作和激活操作；
空洞卷积残差残差块D7用于对卷积层C56的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作、残差操作；
上采样层S1用于对D7的输出使用PixelShuffle，对特征进行上采样两倍；
卷积层C57用于上采样层S1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差残差块D8用于对卷积层C57的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作、残差操作；
上采样层S2用于对D8的输出使用PixelShuffle，对特征进行上采样两倍；
卷积层C58用于上采样层S1的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差残差块D9用于对卷积层C58的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作、残差操作；
卷积层C59用于空洞卷积残差残差块D9的输出进行第四卷积操作
输出激活操作将C59的输出进行最后一次激活操作；
输出激活操作的输出为最终复原结果；
激活操作采用LReLU函数，最后一次激活操作采用Tanh，
第一卷积操作为256个3*3、步长为1的卷积操作；
第一空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二卷积操作为128个3*3，步长为1的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第三卷积操作为64个3*3，步长为1的卷积操作；
第五空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第六空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为32个3*3，步长为1的卷积操作。
作为优选的是，通过重建损失来约束整个网络学习，具体方式为；
重建损失包括复原后的人脸图像
与其对应的未退化的高清图像I的在像素空间和人脸识别网络的特征之间的损失；
像素空间损失的欧式距离损失定义为：
式中，C，H，W表示图像的通道数以及和宽度；
人脸识别网络的特征空间损失的欧式距离损失定义为：
式中，Ψu为预先训练好人脸识别网络得到的第u层卷积特征，Cu、Hu和Wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
作为优选的是，约束复原图像和未退化图像的分布，具体方式为：
风格损失通过计算复原图像和未退化图像在人脸识别网络特征空间的Gram矩阵，具体如下：
式中，Cu、Hu和Wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
作为优选的是，通过判别损失来约束人脸图像复原网络，具体方式为：
训练网络通过自注意力的判别网络来获得判别损失；
判别网络输出的特征进行hinge loss计算判别损失。
对于更新判别网络，损失定义为：
对于更新生成网络，损失定义为：
作为优选的是，训练网络采用Adam优化算法对引导图变形网络和人脸图像重建网络进行端对端的训练。
本发明所述的基于多引导图和自适应特征融合的人脸图像复原***，在现有基于卷积神经网络的人脸图像复原***的基础上，引入了多引导图、多引导图优化选择操作、移动的最小二乘的姿态纠正操作、自适应实例归一化的光照纠正分布、逐级自适应特征融合操作。对于一张退化图，有N张高清同一身份的引导图，该引导图可以具有不同的姿态、光照、表情、和背景；最优引导图通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，选择出对于退化图具有最相似表情和姿态的最优引导图；最优引导图特征提取模块包含M1个空洞卷积残差模块，获得引导图特征；退化图特征提取模块包含M2个空洞卷积残差模块，获得退化图特征；退化图人脸关键点特征提取模块包含M3个无偏差卷积操作，获得人脸面部关键点特征；最优引导图特征的姿态纠正模块，通过计算退化图人人脸关键点以及最优引导图关键点之间的移动最小二乘(moving least square)获得形变向量，将最优引导图进一步形变到退化图姿态和表情上，获得形变后最优引导图；形变后最优引导图特征的光照分布纠正模块，通过自适应的实例归一化操作(adaptive instance norm)，进一步在特征层上将形变引导图的光照分布纠正为退化图光照分布上，获得最终引导图特征；逐级的自适应特征融合模块，包含M4个自适应特征融合操作，将引导图特征动态自适应且逐级的加入到退化图中，获得增强后的退化图特征；复原结果重建模块将增强后的退化图特征经过M5个空洞卷积残差块，输出复原人脸图。
本发明能够应用在具有多张引导图的任何人脸修复场景中，本发明包含但不局限于以下两种场景：
1、手机相册中根据身份分组的照片，可以利用已知的高质量图片辅助拍摄过程或者低质量图像增强。
2、电影修复中，根据已知的主演信息，找到高清的图像，可以有效的复原电影中主演脸部增强，
本发明利用神经网络结构中卷积操作和多层卷积操作实现，并不局限于一种神经网络。
本发明中所述的最小二乘为least square算法，所述的自适应的实例归一化操作为Adaptive instance norm，所述加权最小二乘模块为weighted least square。
本发明所述的最终引导图指的是最优引导图经过特征提取、形变、光照纠正后的特征。
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。
Claims (13)
1.基于多引导图和自适应特征融合的人脸图像复原***，其特征在于所述***包括最优引导图选择模块、最优引导图特征提取模块、退化图特征提取模块、退化图人脸关键点特征提取模块、最优引导图特征姿态纠正模块、光照分布纠正模块、逐级自适应特征融合模块和复原结果重建模块，
所述最优引导图选择模块通过计算退化图和引导图之间人脸关键点的优化加权仿射变换距离，在多个引导图中选择出对于退化图具有最相似表情和姿态的最优引导图；
所述最优引导图特征提取模块用于提取最优引导图的特征；
所述退化图特征提取模块用于提取退化图的特征；
所述退化图人脸关键点特征提取模块用于根据退化图的关键点获得人脸面部关键点特征，其中，退化图的关键点通过人脸关键点检测算法对退化图进行关键点检测得到；
所述最优引导图特征姿态纠正模块通过计算人脸面部关键点特征以及最优引导图关键点之间的移动最小二乘获得形变向量，将最优引导图形变到退化图姿态和表情上，获得形变后最优引导图，其中，最优引导图关键点通过人脸关键点检测算法对最优引导图进行关键点检测得到；
所述光照分布纠正模块用于将形变后的最优引导图的特征与退化图的特征进行自适应的实例归一化操作，获得最终引导图的特征；
所述逐级自适应特征融合模块用于将最终引导图的特征动态自适应且逐级的加入到退化图的特征中，获得增强后的退化图的特征；
所述复原结果重建模块用于将增强后的退化图的特征经过多层神经网络输出复原人脸图；
所述最优引导图特征提取模块包含M1个空洞卷积残差单元，所述退化图特征提取模块包含M2个空洞卷积残差单元、所述退化图人脸关键点特征提取模块包含M3个无偏差卷积层，所述逐级自适应特征融合模块包含M4个自适应特征融合单元、所述复原结果重建模块中多层神经网络为M5个空洞卷积残差单元，其中，M1、M2、M3、M4、M5均大于或等于1；
所述自适应特征融合单元为4个，包括自适应特征融合单元P1、P2、P3和P4，其执行如下步骤：
输入最终引导图特征、退化图特征、退化图人脸关键点特征，
P1特征融合时：
卷积层C19用于对退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C20用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C21用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T1将卷积层C19、C20和C21的输出进行特征串联；
卷积层C22对T1的输出进行第四次卷积操作、激活操作；
卷积层C23对C22的输出进行第五次卷积操作、激活操作；
卷积层C24对退化图特征进行第六次卷积、激活操作；
卷积层C25对C24的输出进行第七次卷积、激活操作；
卷积层C26对最终引导图特征进行第八次卷积、激活操作；
卷积层C27对C26的输出进行第九次卷积、激活操作；
残差层J1对C25层的输出与C27层的输出进行相减操作；
尺度层将J1的输出与C23层的输出进行相乘操作；
复原层F1将尺度层J1的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P1级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P2特征融合时：
卷积层C28用于对P1增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C29用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C30用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T2将卷积层C28、C29和C30的输出进行特征串联；
卷积层C31对T2的输出进行第四次卷积操作、激活操作；
卷积层C32对C31的输出进行第五次卷积操作、激活操作；
卷积层C33对退化图特征进行第六次卷积、激活操作；
卷积层C34对C33的输出进行第七次卷积、激活操作；
卷积层C35对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C36对C35的输出进行第九次卷积、激活操作；
残差层J2对C34层的输出与C36层的输出进行相减操作；
尺度层将J2的输出与C32层的输出进行相乘操作；
复原层F2将尺度层J2的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P2级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P3特征融合时：
卷积层C37用于对P2增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C38用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C39用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T3将卷积层C37、C38和C39的输出进行特征串联；
卷积层C40对T3的输出进行第四次卷积操作、激活操作；
卷积层C41对C40的输出进行第五次卷积操作、激活操作；
卷积层C42对退化图特征进行第六次卷积、激活操作；
卷积层C43对C44的输出进行第七次卷积、激活操作；
卷积层C45对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C46对C45的输出进行第九次卷积、激活操作；
残差层J3对C43层的输出与C46层的输出进行相减操作；
尺度层将J3的输出与C41层的输出进行相乘操作；
复原层F3将尺度层J3的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P3级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
P4特征融合时：
卷积层C47用于对P3增强后退化图特征进行第一次卷积操作，进一步特征提取；
卷积层C48用于对最终引导图特征进行第二次卷积操作，进一步特征提取；
卷积层C49用于对人脸关键点特征进行第三次卷积操作，进一步特征提取；
串联层T4将卷积层C47、C48和C49的输出进行特征串联；
卷积层C50对T4的输出进行第四次卷积操作、激活操作；
卷积层C51对C50的输出进行第五次卷积操作、激活操作；
卷积层C52对退化图特征进行第六次卷积、激活操作；
卷积层C53对C32的输出进行第七次卷积、激活操作；
卷积层C54对P1增强后退化图特征进行第八次卷积、激活操作；
卷积层C55对C54的输出进行第九次卷积、激活操作；
残差层J4对C53层的输出与C55层的输出进行相减操作；
尺度层将J4的输出与C51层的输出进行相乘操作；
复原层F4将尺度层J4的输出与退化图特征经过两层128个3*3，步长为1的卷积操作后特征进行相加，输出第P4级增强特征；
第一到第三卷积操作均为64个1*1，步长为1的卷积操作；
第四到七卷积操作为128个3*3，步长为1的卷积操作；
第八到九卷积操作为128个1*1，步长为1的卷积操作；
最后输出多级自适应特征融合后的增强退化图特征；
所述最优引导图特征姿态纠正模块执行如下步骤：
输入最优引导图的特征、最优引导图人脸关键点、退化图人脸关键点；
定义最优引导图特征为Fg，最优引导图的人脸关键点为Lg，退化图的人脸关键点为Ld；利用移动的最小二乘形变方法，每个点的仿射变换矩阵为：
其中：
p为给定的关键点位置，
为Ld的增广矩阵，
根据仿射变换矩阵，通过双线性插值方式，获得的形变最优引导图特征为：
2.根据权利要求1所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于所述引导图包含N张不同姿态、表情和光照的同一身份高清人脸图像，N大于1。
3.根据权利要求2所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于所述最优引导图选择模块执行如下步骤：
首先采用基于人脸关键点相似性的优化的加权最小二乘模块，所述加权最小二乘模块执行如下步骤：首先从N张引导图中选择出与退化图具有最相似的姿态和表情，然后采用人脸关键点检测算法，检测出每张引导图P个关键点，Lp＝(xp,yp)表示人脸关键点的第p个关键点横轴和纵轴坐标，将退化图的关键点定义为Ld，对于该退化图对应的所有引导图中，第m个引导图的关键点定义为
定义的加权最小二乘为：
其中k*表示从N个引导图中选择出来的最优的引导图序号；
A表示仿射变换矩阵；
wm表示第m个关键点的权重；
给定一个退化图和引导图，闭合解为：
其中W＝Diag(w)是关键点权重w的对角矩阵；
利用网络梯度反向传播算法更新权重w，定义如下：
对lw求导更新整个权重，获得最优引导图。
4.根据权利要求3所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述最优引导图特征提取模块中空洞卷积残差单元为3个，所述最优引导图特征提取模块执行如下步骤；
输入选择的最优引导图；
最优引导图特征提取模块包含卷积层C1、卷积层C2、卷积层C3、卷积层C4、空洞卷积单元D1、空洞卷积单元D2和空洞卷积单元D3；
卷积层C1用于对最优引导图进行第一卷积操作和激活操作；
空洞卷积残差单元D1用于对卷积层C1的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层C2用于空洞卷积残差单元D1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元D2用于对卷积层C2的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层C3用于空洞卷积残差单元D2的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元D3用于对卷积层C3的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层C4用于对空洞卷积残差单元D3的输出依次进行第四卷积操作和激活操作；
卷积层C4的输出为最优引导图特征；
其中，激活操作采用LReLU函数，归一化操作均采用BatchNorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
5.根据权利要求4所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于所述退化图特征提取模块中空洞卷积残差单元为3个，其执行如下步骤：
输入退化图；
退化图特征提取模块包含卷积层C5、卷积层C6、卷积层C7、卷积层C8、空洞卷积残差单元D4、空洞卷积残差单元D5和空洞卷积残差单元D6；
卷积层C5用于对退化图进行第一卷积操作和激活操作；
空洞卷积残差单元D4用于对卷积层C5的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作和残差操作；
卷积层C6用于空洞卷积残差单元D4的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元D5用于对卷积层C6的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作和残差操作；
卷积层C7用于空洞卷积残差单元D5的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元D6用于对卷积层C7的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作和残差操作；
卷积层C8用于对空洞卷积残差单元D6的输出依次进行第四卷积操作、激活操作；
卷积层C8的输出为退化图的特征；
其中，激活操作采用LReLU函数，归一化操作均采用BatchNorm，
第一卷积操作为64个3*3，步长为1的卷积操作；
第一空洞卷积操作为64个3*3，步长为1，空洞率为7的空洞卷积操作；
第二空洞卷积操作为64个3*3，步长为1，空洞率为5的空洞卷积操作；
第二卷积操作为128个3*3，步长为2的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为5的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第三卷积操作为128个3*3，步长为2的卷积操作；
第五空洞卷积操作为128个3*3，步长为1，空洞率为3的空洞卷积操作；
第六空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为128个3*3，步长为1的卷积操作。
6.根据权利要求5所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于所述退化图人脸关键点特征提取模块中无偏差卷积层为10个，其执行如下步骤：
输入退化图人脸关键点；
退化图人脸关键点特征提取模块包含卷积层C9、卷积层C10、卷积层C11、卷积层C12、卷积层C13、卷积层C14、卷积层C15、卷积层C16、卷积层C17和卷积层C18；
卷积层C9用于对退化图人脸关键点图进行第一卷积操作和激活操作；
卷积层C10用于对C9的输出进行第二卷积操作和激活操作；
卷积层C11用于对C10的输出进行第三卷积操作和激活操作；
卷积层C12用于对C11的输出进行第四卷积操作和激活操作；
卷积层C13用于对C12的输出进行第五卷积操作和激活操作；
卷积层C14用于对C13的输出进行第六卷积操作和激活操作；
卷积层C15用于对C14的输出进行第七卷积操作和激活操作；
卷积层C16用于对C15的输出进行第八卷积操作和激活操作；
卷积层C17用于对C16的输出进行第九卷积操作和激活操作；
卷积层C18用于对C17的输出进行第十卷积操作和激活操作；
卷积层C18的输出为退化图人脸关键点特征；
激活操作采用LReLU函数，
第一卷积操作为64个9*9，步长为2，偏执为0的卷积操作；
第二卷积操作为64个3*3，步长为1，偏执为0的卷积操作；
第三卷积操作为64个7*7，步长为1，偏执为0的卷积操作；
第四卷积操作为128个3*3，步长为1，偏执为0的卷积操作；
第五卷积操作为128个5*5，步长为2，偏执为0的卷积操作；
第六卷积操作到第十卷积操作为128个3*3、步长为1，偏执为0的卷积操作。
7.根据权利要求6所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述光照分布纠正模块执行如下步骤：
输入形变后最优引导图的特征、退化图的特征，
将形变后引导图通过自适应的实例归一化，将形变后引导图光照进一步与退化图分布一致，公式为：
其中，
Fd为退化图特征；
Fg,w为形变后最优引导图特征；
σ(·)表示沿着特征图的空间通道位置的均值；
μ(·)表示沿着特征图的空间通道位置的标准差，
输出为光照纠正后的最终引导图的特征。
8.根据权利要求1所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述复原结果重建模块中空洞卷积残差单元为3个，其执行如下步骤
输入逐级增强后的退化图的特征，
特征重建模块包含卷积层C56、卷积层C57、卷积层C58、卷积层C59、空洞卷积残差单元D7、空洞卷积残差单元D8和空洞卷积残差单元D9；
卷积层C56用于逐级增强后的退化图特征进行第一卷积操作和激活操作；
空洞卷积残差单元D7用于对卷积层C56的输出进行第一空洞卷积操作、激活操作、残差操作、第二空洞卷积操作、激活操作、残差操作；
上采样层S1用于对D7的输出使用PixelShuffle，对特征进行上采样两倍；
卷积层C57用于上采样层S1的输出依次进行第二卷积操作、归一化操作和激活操作；
空洞卷积残差单元D8用于对卷积层C57的输出进行第三空洞卷积操作、激活操作、残差操作、第四空洞卷积操作、激活操作、残差操作；
上采样层S2用于对D8的输出使用PixelShuffle，对特征进行上采样两倍；
卷积层C58用于上采样层S1的输出依次进行第三卷积操作、归一化操作和激活操作；
空洞卷积残差单元D9用于对卷积层C58的输出进行第五空洞卷积操作、激活操作、残差操作、第六空洞卷积操作、激活操作、残差操作；
卷积层C59用于空洞卷积残差单元D9的输出进行第四卷积操作；
输出激活操作将C59的输出进行最后一次激活操作；
输出激活操作的输出为最终复原结果；
激活操作采用LReLU函数，最后一次激活操作采用Tanh，
第一卷积操作为256个3*3、步长为1的卷积操作；
第一空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二空洞卷积操作为256个3*3，步长为1，空洞率为1的空洞卷积操作；
第二卷积操作为128个3*3，步长为1的卷积操作；
第三空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第四空洞卷积操作为128个3*3，步长为1，空洞率为1的空洞卷积操作；
第三卷积操作为64个3*3，步长为1的卷积操作；
第五空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第六空洞卷积操作为64个3*3，步长为1，空洞率为1的空洞卷积操作；
第四卷积操作为32个3*3，步长为1的卷积操作。
9.根据权利要求8所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述***还包括训练网络，所述训练网络通过重建损失来约束整个网络学习，
所述重建损失包括复原后的人脸图像
与其对应的未退化的高清图像I的在像素空间损失和人脸识别网络的特征之间的损失；
所述像素空间损失的欧式距离损失定义为：
其中，C,H,W表示图像的通道数、高度和宽度；
所述人脸识别网络的特征空间损失的欧式距离损失定义为：
式中，Ψu为预先训练好人脸识别网络得到的第u层卷积特征，Ci、Hu和Wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
10.根据权利要求9所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述训练网络还包括约束复原结果的特征分布与退化图像特征分布一致的步骤，该约束采用风格损失函数，具体方式为：
风格损失通过计算复原图像和未退化图像在人脸识别网络特征空间的Gram矩阵，具体如下：
式中，Cu、Hu和Wu分别为输入的人脸图片在预先训练好的人脸识别网络得到的第u层卷积特征的通道数、高度和宽度，u属于[1,2,3,4]。
11.根据权利要求10所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述训练网络通过判别损失来约束人脸图像复原网络，具体方式为：
首先训练网络通过基于自注意力的判别网络来获得判别损失；
然后判别网络输出的特征进行hingeloss计算判别损失，
对于判别网络的学习，损失定义为：
对于生成网络在判别网络约束下的学习，损失定义为：
12.根据权利要求11所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述训练网络采用Adam优化算法对该图像复原的整体网络进行端对端的训练。
13.根据权利要求12所述的基于多引导图和自适应特征融合的人脸图像复原***，其特征在于，所述退化图通过对高清人脸图像依次进行模糊、降采样、添加噪声和JPEG压缩处理得到，
其中，模糊处理采用高斯模糊和运动模糊，高斯模糊核标准差
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:S}；
添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:N}；
JPEG压缩质量参数q∈{0,10:0.1:Q}。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010039493.5A CN111260577B (zh) | 2020-01-15 | 2020-01-15 | 基于多引导图和自适应特征融合的人脸图像复原*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010039493.5A CN111260577B (zh) | 2020-01-15 | 2020-01-15 | 基于多引导图和自适应特征融合的人脸图像复原*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260577A CN111260577A (zh) | 2020-06-09 |
| CN111260577B true CN111260577B (zh) | 2023-04-18 |
Family
ID=70945269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010039493.5A Active CN111260577B (zh) | 2020-01-15 | 2020-01-15 | 基于多引导图和自适应特征融合的人脸图像复原*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260577B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111768354A (zh) * | 2020-08-05 | 2020-10-13 | 哈尔滨工业大学 | 基于多尺度人脸部位特征字典的人脸图像复原*** |
| CN113554569B (zh) * | 2021-08-04 | 2022-03-08 | 哈尔滨工业大学 | 基于双记忆字典的人脸图像复原*** |
| CN114170108B (zh) * | 2021-12-14 | 2024-04-12 | 哈尔滨工业大学 | 基于人脸退化模型迁移的自然场景图像盲复原*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103592A (zh) * | 2017-04-07 | 2017-08-29 | 南京邮电大学 | 一种基于双核范数正则的多姿态人脸图像质量增强方法 |
| CN108537754A (zh) * | 2018-04-12 | 2018-09-14 | 哈尔滨工业大学 | 基于形变引导图的人脸图像复原*** |
| CN108932536A (zh) * | 2018-07-18 | 2018-12-04 | 电子科技大学 | 基于深度神经网络的人脸姿态重建方法 |
| CN109740541A (zh) * | 2019-01-04 | 2019-05-10 | 重庆大学 | 一种行人重识别***与方法 |
| CN110084775A (zh) * | 2019-05-09 | 2019-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8064712B2 (en) * | 2007-01-24 | 2011-11-22 | Utc Fire & Security Americas Corporation, Inc. | System and method for reconstructing restored facial images from video |
| WO2010087162A1 (ja) * | 2009-01-27 | 2010-08-05 | 日本電気株式会社 | カラー画像処理方法、カラー画像処理装置および記録媒体 |
-
2020
- 2020-01-15 CN CN202010039493.5A patent/CN111260577B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107103592A (zh) * | 2017-04-07 | 2017-08-29 | 南京邮电大学 | 一种基于双核范数正则的多姿态人脸图像质量增强方法 |
| CN108537754A (zh) * | 2018-04-12 | 2018-09-14 | 哈尔滨工业大学 | 基于形变引导图的人脸图像复原*** |
| CN108932536A (zh) * | 2018-07-18 | 2018-12-04 | 电子科技大学 | 基于深度神经网络的人脸姿态重建方法 |
| CN109740541A (zh) * | 2019-01-04 | 2019-05-10 | 重庆大学 | 一种行人重识别***与方法 |
| CN110084775A (zh) * | 2019-05-09 | 2019-08-02 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110570377A (zh) * | 2019-09-11 | 2019-12-13 | 辽宁工程技术大学 | 一种基于组归一化的快速图像风格迁移方法 |
Non-Patent Citations (5)
| Title |
|---|
| Enhanced blind face restoration with multi-exemplar images and adaptive spatial feature fusion;Xiaoming Li 等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;2706-2715 * |
| Learning Warped Guidance for Blind Face Restoration;Xiaoming Li 等;《arXiv》;20180413;1-25 * |
| 人脸图像的复原与识别算法研究;张亚洲;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150715(第07期);I138-1199 * |
| 基于深度神经网络的人脸引导填充研究;叶玉婷;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第01期);I138-3131 * |
| 运动模糊估计的理论、算法及其应用;潘金山;《中国博士学位论文全文数据库 信息科技辑》;20180815(第08期);I138-41 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260577A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260577B (zh) | 基于多引导图和自适应特征融合的人脸图像复原*** | |
| CN108537754B (zh) | 基于形变引导图的人脸图像复原*** | |
| CN113673307A (zh) | 一种轻量型的视频动作识别方法 | |
| CN112434655B (zh) | 一种基于自适应置信度图卷积网络的步态识别方法 | |
| CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN112288627B (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
| CN112232134B (zh) | 一种基于沙漏网络结合注意力机制的人体姿态估计方法 | |
| CN112633220B (zh) | 一种基于双向序列化建模的人体姿态估计方法 | |
| CN112347861A (zh) | 一种基于运动特征约束的人体姿态估计方法 | |
| CN112084952B (zh) | 一种基于自监督训练的视频点位跟踪方法 | |
| CN112364838B (zh) | 一种利用合成的联机文本图像改进手写ocr性能的方法 | |
| CN111768354A (zh) | 基于多尺度人脸部位特征字典的人脸图像复原*** | |
| CN115690152A (zh) | 一种基于注意力机制的目标追踪方法 | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及*** | |
| CN113989928A (zh) | 一种动作捕捉和重定向方法 | |
| CN116030498A (zh) | 面向虚拟服装走秀的三维人体姿态估计方法 | |
| CN113378949A (zh) | 一种基于胶囊网络和混合注意力的双重生成对抗学习方法 | |
| CN114240811A (zh) | 一种基于多张图像生成新图像的方法 | |
| CN113421185A (zh) | 一种基于StyleGAN的移动端人脸年龄编辑方法 | |
| CN110555379B (zh) | 一种根据性别动态调整特征的人脸愉悦度估计方法 | |
| CN116416649A (zh) | 一种基于多尺度分辨率对齐的视频行人重识别方法 | |
| CN116152926A (zh) | 基于视觉和骨架信息融合的手语识别方法、装置及*** | |
| CN113222016B (zh) | 一种基于高层和低层特征交叉增强的变化检测方法及装置 | |
| CN113869154B (zh) | 根据语言描述的视频动作者分割方法 | |
| CN111104929B (zh) | 基于3d卷积和spp的多模态动态手势识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |