CN113554569B - 基于双记忆字典的人脸图像复原*** - Google Patents
基于双记忆字典的人脸图像复原*** Download PDFInfo
- Publication number
- CN113554569B CN113554569B CN202110891768.2A CN202110891768A CN113554569B CN 113554569 B CN113554569 B CN 113554569B CN 202110891768 A CN202110891768 A CN 202110891768A CN 113554569 B CN113554569 B CN 113554569B
- Authority
- CN
- China
- Prior art keywords
- scale
- convolution
- features
- normalization
- activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000013508 migration Methods 0.000 claims abstract description 32
- 230000005012 migration Effects 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000004913 activation Effects 0.000 claims description 172
- 238000010606 normalization Methods 0.000 claims description 172
- 238000005520 cutting process Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 14
- 230000009977 dual effect Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
一种基于双记忆字典的人脸图像复原***，属于人脸图像复原技术领域。本发明针对现有通用人脸图像复原方法对身份的细节特征复原能力差的问题。包括，采用通用字典生成模块获得不同尺度的通用特征字典；特定字典生成模块获得不同尺度的特定特征字典；人脸特征提取模块获得不同尺度的退化人脸各部位特征，以及退化人脸各部位特征的查询值；字典特征迁移模块获得遍历后字典特征；字典特征迁移模块中还设置置信度预测模块获得退化人脸各部位的自适应融合特征；退化图像复原模块获得重建结果特征；并将重建结果特征按照人脸关键点替换到待复原退化人脸图像中，获得复原后人脸图像。本发明用于退化人脸图像的高质量复原。
Description
技术领域
本发明涉及基于双记忆字典的人脸图像复原***，属于人脸图像复原技术领域。
背景技术
人脸图像复原技术，指的是将给定的真实低质量模糊的人脸图像复原为高质量清晰的图像的技术。
随着网络以及多媒体的发展，与人物相关的视频及照片的拍摄手段越来越多，但由于拍摄意外状况的发生(例如抖动)、拍照设备配置低下、存储传输的压缩以及年代久远等问题的存在，极易造成图像的退化，使人脸图像质量下降。对于真实低质量图像存在的多种退化，最主要的挑战在于发生的退化无法通过现有方式合成来恢复，导致使用神经网络方法训练的难度增加。
目前，对真实人脸图像复原的方法包括两种：其一为基于引导图的人脸图像复原，这种方法的前提是假设输入的人脸图像身份已知并且具有该身份的其他一张或多张高质量图像作为引导。该方法只适用在特定的场景，其复原结果受不稳定的引导图数量和质量影响；其二为通用人脸图像的复原，这种方法的应用场景比较广泛，对输入的退化图像采用人脸先验等方式进行增强。这种方法的弊端是会生成不属于当前身份的细节特征。因此现有人脸图像复原方法很难满足人脸图像复原越来越高的质量要求。
发明内容
针对现有通用人脸图像复原方法对身份的细节特征复原能力差的问题，本发明提供一种基于双记忆字典的人脸图像复原***。
本发明的一种基于双记忆字典的人脸图像复原***，包括，
通用字典生成模块，用于对通用高清人脸图像数据集中每张通用高清人脸图像进行特征提取，获得每张通用高清人脸图像对应的不同尺度通用各部位特征；对所有通用各部位特征按尺度分类，并以通用各部位特征的通用索引值和通用特征值的方式进行存储，获得不同尺度的通用特征字典；
特定字典生成模块，用于对待复原退化人脸图像同一身份的特定高质量参考人脸图像进行特征提取，获得每张特定高质量参考人脸图像对应的不同尺度特定各部位特征；对所有特定各部位特征按尺度分类，并以特定各部位特征的特定索引值和特定特征值的方式进行存储，获得不同尺度的特定特征字典；
人脸特征提取模块，用于对待复原退化人脸图像进行特征提取，获得不同尺度的退化人脸各部位特征，以及退化人脸各部位特征的查询值；
字典特征迁移模块，用于将退化人脸各部位特征的查询值与通用特征字典和特定特征字典中相对应部位的所有索引值进行遍历，获得退化人脸各部位特征与所有通用特征值的通用相似度得分以及与所有特定特征值的特定相似度得分；再基于相似度得分对通用特征值和特定特征值进行加权，获得遍历后字典特征；
字典特征迁移模块中还设置置信度预测模块，用于根据退化人脸各部位特征与相应的遍历后字典特征获得残差，根据残差预测置信度，再根据置信度获得退化人脸各部位的自适应融合特征；
退化图像复原模块，用于对退化人脸各部位特征以及退化人脸各部位的自适应融合特征进行重建，获得重建结果特征；并将重建结果特征按照人脸关键点替换到待复原退化人脸图像中，获得复原后人脸图像。
根据本发明的基于双记忆字典的人脸图像复原***，所述尺度包括1尺度、2尺度和3尺度，共获得三个尺度通用特征字典和三个尺度特定特征字典；
人脸各部位包括眼睛、鼻子和嘴；
获得1尺度通用特征字典的过程包括：
对每张通用高清人脸图像依次进行第一次卷积操作、归一化、激活、第一次空洞卷积残差操作、第二次卷积操作、归一化、激活、以及第二次空洞卷积残差操作，获得1尺度通用高清人脸特征；
其中第一次卷积操作为64个3*3、步长为2的卷积操作；
第一次空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
第二次卷积操作为64个3*3、步长为1的卷积操作；
第二次空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
对1尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的1尺度通用部位特征；
对1尺度通用部位特征依次进行第三次卷积操作、归一化、激活、第四次卷积操作、归一化以及激活操作，获得1尺度通用部位特征的通用索引值；
第三次卷积操作和第四次卷积操作均为16个3*3、步长为1的卷积操作；
对1尺度通用部位特征依次进行第五次卷积操作、归一化、激活、第六次卷积操作、归一化以及激活操作，获得1尺度通用部位特征的通用特征值；
第五次卷积操作和第六次卷积操作均为64个3*3、步长为1的卷积操作；
将1尺度通用部位特征以1尺度通用部位特征的通用索引值和1尺度通用部位特征的通用特征值的方式进行存储，获得1尺度通用特征字典。
根据本发明的基于双记忆字典的人脸图像复原***，获得2尺度通用特征字典的过程包括：
对1尺度通用高清人脸特征依次进行第七次卷积操作、归一化、激活、第三次空洞卷积残差操作、第八次卷积操作、归一化、激活、以及第四次空洞卷积残差操作，获得2尺度通用高清人脸特征；
其中第七次卷积操作为128个3*3、步长为2的卷积操作；
第三次空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
第八次卷积操作为128个3*3、步长为1的卷积操作；
第四次空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对2尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的2尺度通用部位特征；
对2尺度通用部位特征依次进行第九次卷积操作、归一化、激活、第十次卷积操作、归一化以及激活操作，获得2尺度通用部位特征的通用索引值；
第九次卷积操作和第十次卷积操作均为32个3*3、步长为1的卷积操作；
对2尺度通用部位特征依次进行第十一次卷积操作、归一化、激活、第十二次卷积操作、归一化以及激活操作，获得2尺度通用部位特征的通用特征值；
第十一次卷积操作和第十二次卷积操作均为128个3*3、步长为1的卷积操作；
将2尺度通用部位特征以2尺度通用部位特征的通用索引值和2尺度通用部位特征的通用特征值的方式进行存储，获得2尺度通用特征字典。
根据本发明的基于双记忆字典的人脸图像复原***，获得3尺度通用特征字典的过程包括：
对2尺度通用高清人脸特征依次进行第十三次卷积操作、归一化、激活、第五次空洞卷积残差操作、第十四次卷积操作、归一化、激活、以及第六次空洞卷积残差操作，获得3尺度通用高清人脸特征；
其中第十三次卷积操作为256个3*3、步长为2的卷积操作；
第五次空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
第十四次卷积操作为256个3*3、步长为1的卷积操作；
第六次空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对3尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的3尺度通用部位特征；
对3尺度通用部位特征依次进行第十五次卷积操作、归一化、激活、第十六次卷积操作、归一化以及激活操作，获得3尺度通用部位特征的通用索引值；
第十五次卷积操作和第十六次卷积操作均为64个3*3、步长为1的卷积操作；
对3尺度通用部位特征依次进行第十七次卷积操作、归一化、激活、第十八次卷积操作、归一化以及激活操作，获得3尺度通用部位特征的通用特征值；
第十七次卷积操作和第十八次卷积操作均为256个3*3、步长为1的卷积操作；
将3尺度通用部位特征以3尺度通用部位特征的通用索引值和3尺度通用部位特征的通用特征值的方式进行存储，获得3尺度通用特征字典；
所述激活均采用参数为0.2的LReLU激活函数；归一化均采用普归一化操作；
每一次卷积操作的卷积参数均为随机初始化，并通过训练进行优化学习。
根据本发明的基于双记忆字典的人脸图像复原***，根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的不同尺度通用部位特征的方法包括：
采用人脸关键点检测算法，确定不同尺度通用高清人脸特征的左眼、右眼、鼻子及嘴的目标位置，根据目标位置将左眼、右眼、鼻子及嘴通过RoIAlign的方式由不同尺度通用高清人脸特征中裁剪出来，获得左眼、右眼、鼻子及嘴的不同尺度通用部位特征。
本发明的有益效果：本发明通过通用特征字典存储大量通用的高质量人脸部位先验，通过特定特征字典存储身份相关的特征。
本发明提出基于双记忆字典的形式，通过存储通用和特定的人脸各部位特征，可以灵活的处理退化图像，既可以嵌入身份相关的细节，又能够处理引导图不存在或者不充足的场景，具有广泛的应用价值。
本发明通过构建双记忆字典的方式，不仅可以应用到有引导图场景，也可以应用到无引导图场景，使图像复原不再受限于应用范围，可以应用在所有人脸增强场景；本发明构建的双记忆字典，可以通过优化的方式进行学习，相比于离线构建的部位字典，经过训练后，能够更适合人脸图像复原任务，大大提升了引导增强的质量。
本发明利用神经网络结构中卷积操作和多层卷积操作实现，并不局限于一种神经网络。
附图说明
图1是本发明所述基于双记忆字典的人脸图像复原***的流程框图；
图2是通用字典生成模块的流程框图；
图3是特定字典生成模块的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1至图3所示，本发明提供了一种基于双记忆字典的人脸图像复原***，包括，
通用字典生成模块，用于对通用高清人脸图像数据集中每张通用高清人脸图像进行特征提取，获得每张通用高清人脸图像对应的不同尺度通用各部位特征；对所有通用各部位特征按尺度分类，并以通用各部位特征的通用索引值和通用特征值的方式进行存储，获得不同尺度的通用特征字典；
特定字典生成模块，用于对待复原退化人脸图像同一身份的特定高质量参考人脸图像进行特征提取，获得每张特定高质量参考人脸图像对应的不同尺度特定各部位特征；对所有特定各部位特征按尺度分类，并以特定各部位特征的特定索引值和特定特征值的方式进行存储，获得不同尺度的特定特征字典；
人脸特征提取模块，用于对待复原退化人脸图像进行特征提取，获得不同尺度的退化人脸各部位特征，以及退化人脸各部位特征的查询值；
字典特征迁移模块，用于将退化人脸各部位特征的查询值与通用特征字典和特定特征字典中相对应部位的所有索引值进行遍历，获得退化人脸各部位特征与所有通用特征值的通用相似度得分以及与所有特定特征值的特定相似度得分；再基于相似度得分对通用特征值和特定特征值进行加权，获得遍历后字典特征；
字典特征迁移模块中还设置置信度预测模块，用于根据退化人脸各部位特征与相应的遍历后字典特征获得残差，根据残差预测置信度，再根据置信度获得退化人脸各部位的自适应融合特征；
退化图像复原模块，用于对退化人脸各部位特征以及退化人脸各部位的自适应融合特征进行重建，获得重建结果特征；并将重建结果特征按照人脸关键点替换到待复原退化人脸图像中，获得复原后人脸图像。
所述待复原退化人脸图像同一身份的特定高质量参考人脸图像可以根据需要选择多张。
本实施方式中，通用字典生成模块在大量非特定身份的高清人脸图像的特征层中分别提取包含但不局限于眼睛、鼻子和嘴区域的高质量人脸部位特征，每一个部位特征以索引和特征值的形式存储；特定字典生成模块由当前测试图像中属于该身份的其他高质量图像进行提取身份相关的包含但不局限于眼睛、鼻子嘴区域的高质量人脸部位特征，每一个部位特征以索引和特征值的形式存储；退化图像复原模块，用于对待复原的退化图像进行特征提取，使用多尺度字典特征迁移模块进行复原，获得复原后的人脸图像特征；字典特征迁移模块根据待复原退化人脸图像的各个部位(包含但不局限于眼睛、鼻子嘴)获得各自查询值，与所构建的双记忆字典项中所有的索引值计算相似度，然后根据相似度将双记忆字典中的特征值项加权求和，将获得的字典特征与退化图特征进行融合，得到对应部位复原后的部位特征；当双记忆字典中特定字典不存在时，字典特征迁移模块可以只利用通用字典进行复原；最终通过退化图像复原模块对复原后的人脸图像特征进行重建，获得最终复原结果图像。从而实现低质量人脸图像的复原。
通用字典生成模块可以生成Mg个通用特征字典，Mg为尺度数，为大于或等于1的整数。每个通用特征字典可以包含Ng个字典项，每个字典项以{索引值：特征值}的方式存储，Ng为大于或等于1的整数。其中特征值尺寸可以表示为B*C1*W*H，索引值尺寸可以表示为B*C2*W*H，C1可以小于或者等于C2，以便减少计算复杂度。
特定字典生成模块可以生成Ms个特定特征字典，Ms为尺度数，为大于或等于1的整数。每个尺度下的特定特征字典可以包含Ns个字典项，每个字典项以{索引值：特征值}的方式存储，Ns为大于或等于0的整数。
所述通用字典生成模块中采用可优化学习的通用人脸特征提取网络对通用高清人脸图像进行特征提取。
进一步，结合图2所示，所述尺度包括1尺度、2尺度和3尺度，共获得三个尺度通用特征字典和三个尺度特定特征字典；当输入图像尺寸为3*512*512时，1尺度通用字典眼睛、鼻子和嘴对应的尺寸可以分别为P*64*80*80，P*64*50*50，P*64*110*110；2尺度可以为P*128*40*40，P*128*25*25，P*128*55*55，3尺度可以为P*256*20*20，P*256*12*12，P*256*27*27。1尺度特定字典眼睛、鼻子和嘴对应的尺寸可以分别为S*64*80*80，S*64*50*50，S*64*110*110；2尺度可以为S*128*40*40，S*128*25*25，S*128*55*55，3尺度可以为S*256*20*20，S*256*12*12，S*256*27*27。P为通用特征字典数目，可以设置为128，S为当前待复原图像身份所具有的特定高质量参考人脸图像数目。
人脸各部位包括眼睛、鼻子和嘴；
获得1尺度通用特征字典的过程包括：
对每张通用高清人脸图像依次进行第一次卷积操作、归一化、激活、第一次空洞卷积残差操作、第二次卷积操作、归一化、激活、以及第二次空洞卷积残差操作，获得1尺度通用高清人脸特征；
其中第一次卷积操作为64个3*3、步长为2的卷积操作；
第一次空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
第二次卷积操作为64个3*3、步长为1的卷积操作；
第二次空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
对1尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的1尺度通用部位特征；
对1尺度通用部位特征依次进行第三次卷积操作、归一化、激活、第四次卷积操作、归一化以及激活操作，获得1尺度通用部位特征的通用索引值；
第三次卷积操作和第四次卷积操作均为16个3*3、步长为1的卷积操作；
对1尺度通用部位特征依次进行第五次卷积操作、归一化、激活、第六次卷积操作、归一化以及激活操作，获得1尺度通用部位特征的通用特征值；
第五次卷积操作和第六次卷积操作均为64个3*3、步长为1的卷积操作；
将1尺度通用部位特征以1尺度通用部位特征的通用索引值和1尺度通用部位特征的通用特征值的方式进行存储，获得1尺度通用特征字典。
再进一步，结合图2所示，获得2尺度通用特征字典的过程包括：
对1尺度通用高清人脸特征依次进行第七次卷积操作、归一化、激活、第三次空洞卷积残差操作、第八次卷积操作、归一化、激活、以及第四次空洞卷积残差操作，获得2尺度通用高清人脸特征；
其中第七次卷积操作为128个3*3、步长为2的卷积操作；
第三次空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
第八次卷积操作为128个3*3、步长为1的卷积操作；
第四次空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对2尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的2尺度通用部位特征；
对2尺度通用部位特征依次进行第九次卷积操作、归一化、激活、第十次卷积操作、归一化以及激活操作，获得2尺度通用部位特征的通用索引值；
第九次卷积操作和第十次卷积操作均为32个3*3、步长为1的卷积操作；
对2尺度通用部位特征依次进行第十一次卷积操作、归一化、激活、第十二次卷积操作、归一化以及激活操作，获得2尺度通用部位特征的通用特征值；
第十一次卷积操作和第十二次卷积操作均为128个3*3、步长为1的卷积操作；
将2尺度通用部位特征以2尺度通用部位特征的通用索引值和2尺度通用部位特征的通用特征值的方式进行存储，获得2尺度通用特征字典。
进一步，结合图2所示，获得3尺度通用特征字典的过程包括：
对2尺度通用高清人脸特征依次进行第十三次卷积操作、归一化、激活、第五次空洞卷积残差操作、第十四次卷积操作、归一化、激活、以及第六次空洞卷积残差操作，获得3尺度通用高清人脸特征；
其中第十三次卷积操作为256个3*3、步长为2的卷积操作；
第五次空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
第十四次卷积操作为256个3*3、步长为1的卷积操作；
第六次空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对3尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的3尺度通用部位特征；
对3尺度通用部位特征依次进行第十五次卷积操作、归一化、激活、第十六次卷积操作、归一化以及激活操作，获得3尺度通用部位特征的通用索引值；
第十五次卷积操作和第十六次卷积操作均为64个3*3、步长为1的卷积操作；
对3尺度通用部位特征依次进行第十七次卷积操作、归一化、激活、第十八次卷积操作、归一化以及激活操作，获得3尺度通用部位特征的通用特征值；
第十七次卷积操作和第十八次卷积操作均为256个3*3、步长为1的卷积操作；
将3尺度通用部位特征以3尺度通用部位特征的通用索引值和3尺度通用部位特征的通用特征值的方式进行存储，获得3尺度通用特征字典；
所述激活均采用参数为0.2的LReLU激活函数；归一化均采用普归一化操作；
每一次卷积操作的卷积参数均为随机初始化，并通过训练进行优化学习。
再进一步，根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的不同尺度通用部位特征的方法包括：
采用人脸关键点检测算法，确定不同尺度通用高清人脸特征的左眼、右眼、鼻子及嘴的目标位置，根据目标位置将左眼、右眼、鼻子及嘴通过RoIAlign的方式由不同尺度通用高清人脸特征中裁剪出来，获得左眼、右眼、鼻子及嘴的不同尺度通用部位特征。
再进一步，结合图3所示，获得1尺度特定特征字典的过程包括：
对每张特定高质量参考人脸图像依次进行一号卷积操作、归一化、激活、一号空洞卷积残差操作、二号卷积操作、归一化、激活、以及二号空洞卷积残差操作，获得1尺度特定高清人脸特征；
其中一号卷积操作为64个3*3、步长为2的卷积操作；
一号空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
二号卷积操作为64个3*3、步长为1的卷积操作；
二号空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
对1尺度特定高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的1尺度特定部位特征；
对1尺度特定部位特征依次进行三号卷积操作、归一化、激活、四号卷积操作、归一化以及激活操作，获得1尺度特定部位特征的特定索引值；
三号卷积操作和四号卷积操作均为16个3*3、步长为1的卷积操作；
对1尺度特定部位特征依次进行五号卷积操作、归一化、激活、六号卷积操作、归一化以及激活操作，获得1尺度特定部位特征的特定特征值；
五号卷积操作和六号卷积操作均为64个3*3、步长为1的卷积操作；
将1尺度特定部位特征以1尺度特定部位特征的特定索引值和1尺度特定部位特征的特定特征值的方式进行存储，获得1尺度特定特征字典。
再进一步，结合图3所示，获得2尺度特定特征字典的过程包括：
对1尺度特定高清人脸特征依次进行七号卷积操作、归一化、激活、三号空洞卷积残差操作、八号卷积操作、归一化、激活，以及四号空洞卷积残差操作，获得2尺度特定高清人脸特征；
七号卷积操作为128个3*3、步长为2的卷积操作；
三号空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
八号卷积操作为128个3*3、步长为1的卷积操作；
四号空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对2尺度特定高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的2尺度特定部位特征；
对2尺度特定部位特征依次进行九号卷积操作、归一化、激活、十号卷积操作、归一化以及激活操作，获得2度特定部位特征的特定索引值；
九号卷积操作和十号卷积操作均为32个3*3、步长为1的卷积操作；
对2尺度特定部位特征依次进行十一号卷积操作、归一化、激活、十二号卷积操作、归一化以及激活操作，获得2尺度特定部位特征的特定特征值；
十一号卷积操作和十二号卷积操作均为128个3*3、步长为1的卷积操作；
将2尺度特定部位特征以2尺度特定部位特征的特定索引值和2尺度特定部位特征的特定特征值的方式进行存储，获得2尺度特定特征字典；
获得3尺度特定特征字典的过程包括：
对2尺度特定高清人脸特征依次进行十三号卷积操作、归一化、激活、五号空洞卷积残差操作、十四号卷积操作、归一化、激活，以及六号空洞卷积残差操作，获得3尺度特定高清人脸特征；
十三号卷积操作为256个3*3、步长为2的卷积操作；
五号空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
十四号卷积操作为256个3*3、步长为1的卷积操作；
六号空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化、激活、256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对3尺度特定高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的3尺度特定部位特征；
对3尺度特定部位特征依次进行十五号卷积操作、归一化、激活、十六号卷积操作、归一化以及激活操作，获得3尺度特定部位特征的特定索引值；
十五号卷积操作和十六号卷积操作均为64个3*3、步长为1的卷积操作；
对3尺度特定部位特征依次进行十七号卷积操作、归一化、激活、十八号卷积操作、归一化以及激活操作，获得3尺度特定部位特征的特定特征值；
十七号卷积操作和十八号卷积操作均为256个3*3、步长为1的卷积操作；
将3尺度特定部位特征以3尺度特定部位特征的特定索引值和3尺度特定部位特征的特定特征值的方式进行存储，获得3尺度特定特征字典。
所述激活均采用参数为0.2的LReLU激活函数；归一化均采用普归一化操作；
每一次卷积操作的卷积参数均为随机初始化，并通过训练进行优化学习。
再进一步，对通用字典生成模块初始优化的过程包括：
初始随机输入P张高质量通用人脸图像，对每一个通用特征字典构建P项通用字典项，每项通用字典项包含通用索引值和通用特征值；P为正整数；
对初始通用字典项前向更新：
value*＝γv·value+(1-γv)·valuegt，
key*＝γk·key+(1-γk)·keygt，
其中value*表示前向更新后的通用特征值，key*表示前向更新后的通用索引值；γv表示特征值可学习优化参数，γk表示索引值可学习优化参数，value表示已构建的通用特征值，key表示已构建的通用索引值，valuegt表示新输入高质量通用人脸图像的通用特征值，keygt表示新输入高质量通用人脸图像的通用索引值；
再对前向更新后通用字典项反向更新：
通过重建损失函数Lrec的梯度反向传播，对前向更新后通用字典项进一步优化，得到反向更新后最终通用字典项：
式中η表示学习率，η取值可以为0.0002。
再进一步，结合图1所示，所述人脸特征提取模块包括1尺度人脸特征提取模块、2尺度人脸特征提取模块和3尺度人脸特征提取模块；
字典特征迁移模块包括1尺度字典特征迁移模块、2尺度字典特征迁移模块和3尺度字典特征迁移模块；
1尺度人脸特征提取模块对待复原退化人脸图像进行特征提取包括：对待复原退化人脸图像依次进行卷积操作一、归一化、激活、空洞卷积残差操作一、卷积操作二、归一化、激活、以及空洞卷积残差操作二，获得1尺度退化人脸特征；
对1尺度退化人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的1尺度退化人脸部位特征，对每个1尺度退化人脸部位特征再分别依次进行卷积操作三、归一化、激活、卷积操作四、归一化以及激活操作，获得1尺度退化人脸部位特征的查询值；
其中卷积操作一为64个3*3、步长为2的卷积操作；
空洞卷积残差操作一为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
卷积操作二为64个3*3、步长为1的卷积操作；
空洞卷积残差操作二为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
卷积操作三和卷积操作四均为16个3*3、步长为1的卷积操作；
1尺度字典特征迁移模块对1尺度退化人脸部位特征的查询值与1尺度通用特征字典和1尺度特定特征字典中相对应部位的所有索引值进行遍历，得到1尺度遍历后字典特征；再通过1尺度字典特征迁移模块中的1尺度置信度预测模块获得1尺度自适应融合特征；
2尺度人脸特征提取模块对待复原退化人脸图像进行特征提取包括：对1尺度退化人脸特征依次进行卷积操作五、归一化、激活、空洞卷积残差操作三、卷积操作六、归一化、激活以及空洞卷积残差操作四，获得2尺度退化人脸特征；
对2尺度退化人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的2尺度退化人脸部位特征，对每个2尺度退化人脸部位特征再分别依次进行卷积操作七、归一化、激活、卷积操作八、归一化以及激活操作，获得2尺度退化人脸部位特征的查询值；
其中卷积操作五为128个3*3、步长为2的卷积操作；
空洞卷积残差操作三为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作六为128个3*3、步长为1的卷积操作；
空洞卷积残差操作四为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作七和卷积操作八均为32个3*3、步长为1的卷积操作；
2尺度字典特征迁移模块对2尺度退化人脸部位特征的查询值与2尺度通用特征字典和2尺度特定特征字典中相对应部位的所有索引值进行遍历，得到2尺度遍历后字典特征；再通过2尺度字典特征迁移模块中的2尺度置信度预测模块获得2尺度自适应融合特征；
3尺度人脸特征提取模块对待复原退化人脸图像进行特征提取包括：对2尺度退化人脸特征依次进行卷积操作九、归一化、激活、空洞卷积残差操作五、卷积操作十、归一化、激活以及空洞卷积残差操作六，获得3尺度退化人脸特征；
对3尺度退化人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的3尺度退化人脸部位特征，对每个3尺度退化人脸部位特征再分别依次进行卷积操作十一、归一化、激活、卷积操作十二、归一化以及激活操作，获得3尺度退化人脸部位特征的查询值；
其中卷积操作九为256个3*3、步长为2的卷积操作；
空洞卷积残差操作五为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作十为256个3*3、步长为1的卷积操作；
空洞卷积残差操作六为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作十一和卷积操作十二均为64个3*3、步长为1的卷积操作；
3尺度字典特征迁移模块对3尺度退化人脸部位特征的查询值与3尺度通用特征字典和3尺度特定特征字典中相对应部位的所有索引值进行遍历，得到3尺度遍历后字典特征；再通过3尺度字典特征迁移模块中的3尺度置信度预测模块获得3尺度自适应融合特征；
其中激活均采用参数为0.2的LReLU激活函数，归一化均采用普归一化操作；
每一次卷积操作的卷积参数均为随机初始化，并通过训练进行优化学习。
再进一步，结合图1所示，所述退化图像复原模块包括四级特征重建模块、三级特征重建模块、二级特征重建模块和一级特征重建模块；
所述四级特征重建模块，用于对3尺度退化人脸特征依次进行卷积、归一化、激活和空洞卷积残差操作，得到四级重建结果特征；
三级特征重建模块，用于对四级重建结果特征和3尺度自适应融合特征进行仿射变换，并将变换结果通过模型网络解码，得到三级重建结果特征；
二级特征重建模块，用于对三级重建结果特征和2尺度自适应融合特征进行仿射变换，并将变换结果通过模型网络解码，得到二级重建结果特征；
一级特征重建模块，用于对二级重建结果特征和1尺度自适应融合特征进行仿射变换，并将变换结果通过模型网络解码，得到一级重建结果特征；将一级重建结果特征按照人脸关键点替换到待复原退化人脸图像中，获得复原后人脸图像。
进一步，字典特征迁移模块获得遍历后字典特征的方法包括：
式中
为遍历后字典特征，Q为退化人脸部位特征的查询值，K为通用特征字典或特定特征字典的索引值，V为通用特征字典或特定特征字典的特征值，d为常数，取值可以为64。
所述置信度预测模块获得自适应融合特征的过程包括：
式中
表示自适应融合特征，
为退化人脸部位特征，
为置信度预测网络，ΘCon为置信度预测网络可学习参数；所述置信度预测网络包括两层3*3，步长为1的卷积操作；
所述一级特征重建模块对二级重建结果特征和1尺度自适应融合特征，通过两层3*3，步长为1的卷积操作，获得尺度变化参数α及位移变化参数β，经计算得到一级重建结果特征SFTs：
所述退化图像复原模块包括整体网络的训练形式，训练约束包括一级重建结果特征与其对应的未退化的特定高质量参考人脸图像在像素空间损失；
式中Lmse表示像素域的误差损失，C表示图像的通道数，H表示图像的高度，W表示图像的宽度，
表示一级重建结果特征，Igt表示对应的未退化的特定高质量参考人脸图像；
以及定义在特征空间的感知损失Lperc：
Ci、Hi、,Wi依次表示一级重建结果特征
的第i层特征通道数、高度和宽度，
为预先训练好人脸识别网络得到的第i层卷积特征；
训练网络还包括风格损失函数Lstyle：
对于引导复原结果图像，对其在r个尺寸图像进行判别损失约束，对复原图像进行降采样操作，获得对应的尺度图像，r＝{1,2,4,8}获得4组不同分辨率的图像，分别经过四个判别网络，采用hingeloss方式计算损失；对于判别网络的学习，定义为：
其中，R为对应的最大降采样尺度，Dr为尺度为r的判别器，
为对未退化的高清图像进行降采样r倍的图像，↓r表示降采样r倍，E为期望，P为数据分布；F为整个复原模型Id为输入的待复原图像，IN为该身份对应的特定引导图，θ为网络F可学习参数，
为通用字典。
所述训练网络采用Adam优化算法对所有网络结构进行端对端的训练。
所述待复原退化人脸图像通过对高清人脸图像随机进行模糊、降采样、添加噪声和JPEG压缩处理获得训练的低质量退化图像，其中，模糊处理采用高斯模糊和运动模糊，高斯模糊核标准差
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:S}；添加噪声处理采用高斯白噪声，噪声水平n∈{0,1:0.1:N}；JPEG压缩质量参数q∈{0,10:0.1:Q}，P≥5，S≥8，N≥15，Q≥80；
通过构建的低质量待复原退化人脸图像和对应的高清人脸图像训练整个网络，得到的训练后网络用于对低质量图像进行复原。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。
Claims (10)
1.一种基于双记忆字典的人脸图像复原***，其特征在于包括，
通用字典生成模块，用于对通用高清人脸图像数据集中每张通用高清人脸图像进行特征提取，获得每张通用高清人脸图像对应的不同尺度通用各部位特征；对所有通用各部位特征按尺度分类，并以通用各部位特征的通用索引值和通用特征值的方式进行存储，获得不同尺度的通用特征字典；
特定字典生成模块，用于对待复原退化人脸图像同一身份的特定高质量参考人脸图像进行特征提取，获得每张特定高质量参考人脸图像对应的不同尺度特定各部位特征；对所有特定各部位特征按尺度分类，并以特定各部位特征的特定索引值和特定特征值的方式进行存储，获得不同尺度的特定特征字典；
人脸特征提取模块，用于对待复原退化人脸图像进行特征提取，获得不同尺度的退化人脸各部位特征，以及退化人脸各部位特征的查询值；
字典特征迁移模块，用于将退化人脸各部位特征的查询值与通用特征字典和特定特征字典中相对应部位的所有索引值进行遍历，获得退化人脸各部位特征与所有通用特征值的通用相似度得分以及与所有特定特征值的特定相似度得分；再基于相似度得分对通用特征值和特定特征值进行加权，获得遍历后字典特征；
字典特征迁移模块中还设置置信度预测模块，用于根据退化人脸各部位特征与相应的遍历后字典特征获得残差，根据残差预测置信度，再根据置信度获得退化人脸各部位的自适应融合特征；
退化图像复原模块，用于对退化人脸各部位特征以及退化人脸各部位的自适应融合特征进行重建，获得重建结果特征；并将重建结果特征按照人脸关键点替换到待复原退化人脸图像中，获得复原后人脸图像。
2.根据权利要求1所述的基于双记忆字典的人脸图像复原***，其特征在于，
所述尺度包括1尺度、2尺度和3尺度，共获得三个尺度通用特征字典和三个尺度特定特征字典；
人脸各部位包括眼睛、鼻子和嘴；
获得1尺度通用特征字典的过程包括：
对每张通用高清人脸图像依次进行第一次卷积操作、归一化、激活、第一次空洞卷积残差操作、第二次卷积操作、归一化、激活、以及第二次空洞卷积残差操作，获得1尺度通用高清人脸特征；
其中第一次卷积操作为64个3*3、步长为2的卷积操作；
第一次空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
第二次卷积操作为64个3*3、步长为1的卷积操作；
第二次空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
对1尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的1尺度通用部位特征；
对1尺度通用部位特征依次进行第三次卷积操作、归一化、激活、第四次卷积操作、归一化以及激活操作，获得1尺度通用部位特征的通用索引值；
第三次卷积操作和第四次卷积操作均为16个3*3、步长为1的卷积操作；
对1尺度通用部位特征依次进行第五次卷积操作、归一化、激活、第六次卷积操作、归一化以及激活操作，获得1尺度通用部位特征的通用特征值；
第五次卷积操作和第六次卷积操作均为64个3*3、步长为1的卷积操作；
将1尺度通用部位特征以1尺度通用部位特征的通用索引值和1尺度通用部位特征的通用特征值的方式进行存储，获得1尺度通用特征字典。
3.根据权利要求2所述的基于双记忆字典的人脸图像复原***，其特征在于，
获得2尺度通用特征字典的过程包括：
对1尺度通用高清人脸特征依次进行第七次卷积操作、归一化、激活、第三次空洞卷积残差操作、第八次卷积操作、归一化、激活、以及第四次空洞卷积残差操作，获得2尺度通用高清人脸特征；
其中第七次卷积操作为128个3*3、步长为2的卷积操作；
第三次空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
第八次卷积操作为128个3*3、步长为1的卷积操作；
第四次空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对2尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的2尺度通用部位特征；
对2尺度通用部位特征依次进行第九次卷积操作、归一化、激活、第十次卷积操作、归一化以及激活操作，获得2尺度通用部位特征的通用索引值；
第九次卷积操作和第十次卷积操作均为32个3*3、步长为1的卷积操作；
对2尺度通用部位特征依次进行第十一次卷积操作、归一化、激活、第十二次卷积操作、归一化以及激活操作，获得2尺度通用部位特征的通用特征值；
第十一次卷积操作和第十二次卷积操作均为128个3*3、步长为1的卷积操作；
将2尺度通用部位特征以2尺度通用部位特征的通用索引值和2尺度通用部位特征的通用特征值的方式进行存储，获得2尺度通用特征字典。
4.根据权利要求3所述的基于双记忆字典的人脸图像复原***，其特征在于，
获得3尺度通用特征字典的过程包括：
对2尺度通用高清人脸特征依次进行第十三次卷积操作、归一化、激活、第五次空洞卷积残差操作、第十四次卷积操作、归一化、激活、以及第六次空洞卷积残差操作，获得3尺度通用高清人脸特征；
其中第十三次卷积操作为256个3*3、步长为2的卷积操作；
第五次空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
第十四次卷积操作为256个3*3、步长为1的卷积操作；
第六次空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对3尺度通用高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的3尺度通用部位特征；
对3尺度通用部位特征依次进行第十五次卷积操作、归一化、激活、第十六次卷积操作、归一化以及激活操作，获得3尺度通用部位特征的通用索引值；
第十五次卷积操作和第十六次卷积操作均为64个3*3、步长为1的卷积操作；
对3尺度通用部位特征依次进行第十七次卷积操作、归一化、激活、第十八次卷积操作、归一化以及激活操作，获得3尺度通用部位特征的通用特征值；
第十七次卷积操作和第十八次卷积操作均为256个3*3、步长为1的卷积操作；
将3尺度通用部位特征以3尺度通用部位特征的通用索引值和3尺度通用部位特征的通用特征值的方式进行存储，获得3尺度通用特征字典；
所述激活均采用参数为0.2的LReLU激活函数；归一化均采用普归一化操作；
每一次卷积操作的卷积参数均为随机初始化，并通过训练进行优化学习。
5.根据权利要求4所述的基于双记忆字典的人脸图像复原***，其特征在于，
根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的不同尺度通用部位特征的方法包括：
采用人脸关键点检测算法，确定不同尺度通用高清人脸特征的左眼、右眼、鼻子及嘴的目标位置，根据目标位置将左眼、右眼、鼻子及嘴通过RoIAlign的方式由不同尺度通用高清人脸特征中裁剪出来，获得左眼、右眼、鼻子及嘴的不同尺度通用部位特征。
6.根据权利要求5所述的基于双记忆字典的人脸图像复原***，其特征在于，
获得1尺度特定特征字典的过程包括：
对每张特定高质量参考人脸图像依次进行一号卷积操作、归一化、激活、一号空洞卷积残差操作、二号卷积操作、归一化、激活、以及二号空洞卷积残差操作，获得1尺度特定高清人脸特征；
其中一号卷积操作为64个3*3、步长为2的卷积操作；
一号空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
二号卷积操作为64个3*3、步长为1的卷积操作；
二号空洞卷积残差操作为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
对1尺度特定高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的1尺度特定部位特征；
对1尺度特定部位特征依次进行三号卷积操作、归一化、激活、四号卷积操作、归一化以及激活操作，获得1尺度特定部位特征的特定索引值；
三号卷积操作和四号卷积操作均为16个3*3、步长为1的卷积操作；
对1尺度特定部位特征依次进行五号卷积操作、归一化、激活、六号卷积操作、归一化以及激活操作，获得1尺度特定部位特征的特定特征值；
五号卷积操作和六号卷积操作均为64个3*3、步长为1的卷积操作；
将1尺度特定部位特征以1尺度特定部位特征的特定索引值和1尺度特定部位特征的特定特征值的方式进行存储，获得1尺度特定特征字典。
7.根据权利要求6所述的基于双记忆字典的人脸图像复原***，其特征在于，
获得2尺度特定特征字典的过程包括：
对1尺度特定高清人脸特征依次进行七号卷积操作、归一化、激活、三号空洞卷积残差操作、八号卷积操作、归一化、激活，以及四号空洞卷积残差操作，获得2尺度特定高清人脸特征；
七号卷积操作为128个3*3、步长为2的卷积操作；
三号空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
八号卷积操作为128个3*3、步长为1的卷积操作；
四号空洞卷积残差操作为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对2尺度特定高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的2尺度特定部位特征；
对2尺度特定部位特征依次进行九号卷积操作、归一化、激活、十号卷积操作、归一化以及激活操作，获得2度特定部位特征的特定索引值；
九号卷积操作和十号卷积操作均为32个3*3、步长为1的卷积操作；
对2尺度特定部位特征依次进行十一号卷积操作、归一化、激活、十二号卷积操作、归一化以及激活操作，获得2尺度特定部位特征的特定特征值；
十一号卷积操作和十二号卷积操作均为128个3*3、步长为1的卷积操作；
将2尺度特定部位特征以2尺度特定部位特征的特定索引值和2尺度特定部位特征的特定特征值的方式进行存储，获得2尺度特定特征字典；
获得3尺度特定特征字典的过程包括：
对2尺度特定高清人脸特征依次进行十三号卷积操作、归一化、激活、五号空洞卷积残差操作、十四号卷积操作、归一化、激活，以及六号空洞卷积残差操作，获得3尺度特定高清人脸特征；
十三号卷积操作为256个3*3、步长为2的卷积操作；
五号空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
十四号卷积操作为256个3*3、步长为1的卷积操作；
六号空洞卷积残差操作为256个3*3、步长为1、空洞率为1的空洞卷积，归一化、激活、256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
对3尺度特定高清人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的3尺度特定部位特征；
对3尺度特定部位特征依次进行十五号卷积操作、归一化、激活、十六号卷积操作、归一化以及激活操作，获得3尺度特定部位特征的特定索引值；
十五号卷积操作和十六号卷积操作均为64个3*3、步长为1的卷积操作；
对3尺度特定部位特征依次进行十七号卷积操作、归一化、激活、十八号卷积操作、归一化以及激活操作，获得3尺度特定部位特征的特定特征值；
十七号卷积操作和十八号卷积操作均为256个3*3、步长为1的卷积操作；
将3尺度特定部位特征以3尺度特定部位特征的特定索引值和3尺度特定部位特征的特定特征值的方式进行存储，获得3尺度特定特征字典；
所述激活均采用参数为0.2的LReLU激活函数；归一化均采用普归一化操作；
每一次卷积操作的卷积参数均为随机初始化，并通过训练进行优化学习。
8.根据权利要求7所述的基于双记忆字典的人脸图像复原***，其特征在于，
对通用字典生成模块初始优化的过程包括：
初始随机输入P张高质量通用人脸图像，对每一个通用特征字典构建P项通用字典项，每项通用字典项包含通用索引值和通用特征值；P为正整数；
对初始通用字典项前向更新：
value*＝γv·value+(1-γv)·valuegt，
key*＝γk·key+(1-γk)·keygt，
其中value*表示前向更新后的通用特征值，key*表示前向更新后的通用索引值；γv表示特征值可学习优化参数，γk表示索引值可学习优化参数，value表示已构建的通用特征值，key表示已构建的通用索引值，valuegt表示新输入高质量通用人脸图像的通用特征值，keygt表示新输入高质量通用人脸图像的通用索引值；
再对前向更新后通用字典项反向更新：
通过重建损失函数Lrec的梯度反向传播，对前向更新后通用字典项进一步优化，得到反向更新后最终通用字典项：
式中η表示学习率。
9.根据权利要求8所述的基于双记忆字典的人脸图像复原***，其特征在于，
所述人脸特征提取模块包括1尺度人脸特征提取模块、2尺度人脸特征提取模块和3尺度人脸特征提取模块；
字典特征迁移模块包括1尺度字典特征迁移模块、2尺度字典特征迁移模块和3尺度字典特征迁移模块；
1尺度人脸特征提取模块对待复原退化人脸图像进行特征提取包括：对待复原退化人脸图像依次进行卷积操作一、归一化、激活、空洞卷积残差操作一、卷积操作二、归一化、激活、以及空洞卷积残差操作二，获得1尺度退化人脸特征；
对1尺度退化人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的1尺度退化人脸部位特征，对每个1尺度退化人脸部位特征再分别依次进行卷积操作三、归一化、激活、卷积操作四、归一化以及激活操作，获得1尺度退化人脸部位特征的查询值；
其中卷积操作一为64个3*3、步长为2的卷积操作；
空洞卷积残差操作一为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
卷积操作二为64个3*3、步长为1的卷积操作；
空洞卷积残差操作二为64个3*3、步长为1、空洞率为5的空洞卷积，归一化，激活，64个3*3、步长为1、空洞率为3的空洞卷积，以及残差相加操作；
卷积操作三和卷积操作四均为16个3*3、步长为1的卷积操作；
1尺度字典特征迁移模块对1尺度退化人脸部位特征的查询值与1尺度通用特征字典和1尺度特定特征字典中相对应部位的所有索引值进行遍历，得到1尺度遍历后字典特征；再通过1尺度字典特征迁移模块中的1尺度置信度预测模块获得1尺度自适应融合特征；
2尺度人脸特征提取模块对待复原退化人脸图像进行特征提取包括：对1尺度退化人脸特征依次进行卷积操作五、归一化、激活、空洞卷积残差操作三、卷积操作六、归一化、激活以及空洞卷积残差操作四，获得2尺度退化人脸特征；
对2尺度退化人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的2尺度退化人脸部位特征，对每个2尺度退化人脸部位特征再分别依次进行卷积操作七、归一化、激活、卷积操作八、归一化以及激活操作，获得2尺度退化人脸部位特征的查询值；
其中卷积操作五为128个3*3、步长为2的卷积操作；
空洞卷积残差操作三为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作六为128个3*3、步长为1的卷积操作；
空洞卷积残差操作四为128个3*3、步长为1、空洞率为3的空洞卷积，归一化，激活，128个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作七和卷积操作八均为32个3*3、步长为1的卷积操作；
2尺度字典特征迁移模块对2尺度退化人脸部位特征的查询值与2尺度通用特征字典和2尺度特定特征字典中相对应部位的所有索引值进行遍历，得到2尺度遍历后字典特征；再通过2尺度字典特征迁移模块中的2尺度置信度预测模块获得2尺度自适应融合特征；
3尺度人脸特征提取模块对待复原退化人脸图像进行特征提取包括：对2尺度退化人脸特征依次进行卷积操作九、归一化、激活、空洞卷积残差操作五、卷积操作十、归一化、激活以及空洞卷积残差操作六，获得3尺度退化人脸特征；
对3尺度退化人脸特征根据人脸关键点进行裁剪，获得眼睛、鼻子和嘴的3尺度退化人脸部位特征，对每个3尺度退化人脸部位特征再分别依次进行卷积操作十一、归一化、激活、卷积操作十二、归一化以及激活操作，获得3尺度退化人脸部位特征的查询值；
其中卷积操作九为256个3*3、步长为2的卷积操作；
空洞卷积残差操作五为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作十为256个3*3、步长为1的卷积操作；
空洞卷积残差操作六为256个3*3、步长为1、空洞率为1的空洞卷积，归一化，激活，256个3*3、步长为1、空洞率为1的空洞卷积，以及残差相加操作；
卷积操作十一和卷积操作十二均为64个3*3、步长为1的卷积操作；
3尺度字典特征迁移模块对3尺度退化人脸部位特征的查询值与3尺度通用特征字典和3尺度特定特征字典中相对应部位的所有索引值进行遍历，得到3尺度遍历后字典特征；再通过3尺度字典特征迁移模块中的3尺度置信度预测模块获得3尺度自适应融合特征；
其中激活均采用参数为0.2的LReLU激活函数，归一化均采用普归一化操作；
每一次卷积操作的卷积参数均为随机初始化，并通过训练进行优化学习。
10.根据权利要求9所述的基于双记忆字典的人脸图像复原***，其特征在于，
所述退化图像复原模块包括四级特征重建模块、三级特征重建模块、二级特征重建模块和一级特征重建模块；
所述四级特征重建模块，用于对3尺度退化人脸特征依次进行卷积、归一化、激活和空洞卷积残差操作，得到四级重建结果特征；
三级特征重建模块，用于对四级重建结果特征和3尺度自适应融合特征进行仿射变换，并将变换结果通过模型网络解码，得到三级重建结果特征；
二级特征重建模块，用于对三级重建结果特征和2尺度自适应融合特征进行仿射变换，并将变换结果通过模型网络解码，得到二级重建结果特征；
一级特征重建模块，用于对二级重建结果特征和1尺度自适应融合特征进行仿射变换，并将变换结果通过模型网络解码，得到一级重建结果特征；将一级重建结果特征按照人脸关键点替换到待复原退化人脸图像中，获得复原后人脸图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110891768.2A CN113554569B (zh) | 2021-08-04 | 2021-08-04 | 基于双记忆字典的人脸图像复原*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110891768.2A CN113554569B (zh) | 2021-08-04 | 2021-08-04 | 基于双记忆字典的人脸图像复原*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113554569A CN113554569A (zh) | 2021-10-26 |
| CN113554569B true CN113554569B (zh) | 2022-03-08 |
Family
ID=78105377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110891768.2A Active CN113554569B (zh) | 2021-08-04 | 2021-08-04 | 基于双记忆字典的人脸图像复原*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554569B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170108B (zh) * | 2021-12-14 | 2024-04-12 | 哈尔滨工业大学 | 基于人脸退化模型迁移的自然场景图像盲复原*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537754A (zh) * | 2018-04-12 | 2018-09-14 | 哈尔滨工业大学 | 基于形变引导图的人脸图像复原*** |
| CN110826417A (zh) * | 2019-10-12 | 2020-02-21 | 昆明理工大学 | 一种基于判别字典学习的跨视角行人重识别方法 |
| CN111260577A (zh) * | 2020-01-15 | 2020-06-09 | 哈尔滨工业大学 | 基于多引导图和自适应特征融合的人脸图像复原*** |
| CN111768354A (zh) * | 2020-08-05 | 2020-10-13 | 哈尔滨工业大学 | 基于多尺度人脸部位特征字典的人脸图像复原*** |
| CN112001865A (zh) * | 2020-09-02 | 2020-11-27 | 广东工业大学 | 一种人脸识别方法、装置和设备 |
| CN113128624A (zh) * | 2021-05-11 | 2021-07-16 | 山东财经大学 | 一种基于多尺度字典的图网络人脸恢复方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150031896A (ko) * | 2013-09-17 | 2015-03-25 | 한국전자통신연구원 | 음성인식장치 및 그 동작방법 |
-
2021
- 2021-08-04 CN CN202110891768.2A patent/CN113554569B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537754A (zh) * | 2018-04-12 | 2018-09-14 | 哈尔滨工业大学 | 基于形变引导图的人脸图像复原*** |
| CN110826417A (zh) * | 2019-10-12 | 2020-02-21 | 昆明理工大学 | 一种基于判别字典学习的跨视角行人重识别方法 |
| CN111260577A (zh) * | 2020-01-15 | 2020-06-09 | 哈尔滨工业大学 | 基于多引导图和自适应特征融合的人脸图像复原*** |
| CN111768354A (zh) * | 2020-08-05 | 2020-10-13 | 哈尔滨工业大学 | 基于多尺度人脸部位特征字典的人脸图像复原*** |
| CN112001865A (zh) * | 2020-09-02 | 2020-11-27 | 广东工业大学 | 一种人脸识别方法、装置和设备 |
| CN113128624A (zh) * | 2021-05-11 | 2021-07-16 | 山东财经大学 | 一种基于多尺度字典的图网络人脸恢复方法 |
Non-Patent Citations (2)
| Title |
|---|
| Blind Face restoration via deepmulti-scale component dictionaries;Li xiaoming et al;《2020 European Conference Computer Vision》;20201105;第399-415页 * |
| Robust Face Hallucination Using Quantization-Adaptive Dictionaries;Reuben A. Farrugia et al;《2016 IEEE ICIP》;20160819;第414-418页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113554569A (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108932693B (zh) | 基于人脸几何信息的人脸编辑补全方法及装置 | |
| Walker et al. | Predicting video with vqvae | |
| CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及*** | |
| CN111598805A (zh) | 一种基于vae-gan的对抗样本防御方法及*** | |
| CN113658051A (zh) | 一种基于循环生成对抗网络的图像去雾方法及*** | |
| Qi et al. | Avt: Unsupervised learning of transformation equivariant representations by autoencoding variational transformations | |
| CN112784929B (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN109948721B (zh) | 一种基于视频描述的视频场景分类方法 | |
| CN106097278B (zh) | 一种多维信号的稀疏模型、重建方法和字典训练方法 | |
| CN113961736B (zh) | 文本生成图像的方法、装置、计算机设备和存储介质 | |
| CN112287973A (zh) | 基于截尾奇异值和像素插值的数字图像对抗样本防御方法 | |
| CN107463932B (zh) | 一种使用二进制瓶颈神经网络来抽取图片特征的方法 | |
| CN115393396B (zh) | 一种基于掩码预训练的无人机目标跟踪方法 | |
| CN111768354A (zh) | 基于多尺度人脸部位特征字典的人脸图像复原*** | |
| Mukherjee et al. | Predicting video-frames using encoder-convlstm combination | |
| CN114038055A (zh) | 一种基于对比学习和生成对抗网络的图像生成方法 | |
| Uddin et al. | A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss | |
| CN113554569B (zh) | 基于双记忆字典的人脸图像复原*** | |
| CN116843830A (zh) | 一种基于自监督学习的掩码图像建模算法 | |
| CN113822790B (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112528077B (zh) | 基于视频嵌入的视频人脸检索方法及*** | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN116975347A (zh) | 图像生成模型训练方法及相关装置 | |
| CN116630369A (zh) | 基于时空记忆网络的无人机目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |