CN112270644A - 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 - Google Patents
基于空间特征变换和跨尺度特征集成的人脸超分辨方法 Download PDFInfo
- Publication number
- CN112270644A CN112270644A CN202011124368.0A CN202011124368A CN112270644A CN 112270644 A CN112270644 A CN 112270644A CN 202011124368 A CN202011124368 A CN 202011124368A CN 112270644 A CN112270644 A CN 112270644A
- Authority
- CN
- China
- Prior art keywords
- feature
- output
- map
- face
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000009466 transformation Effects 0.000 title claims abstract description 41
- 230000010354 integration Effects 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 238000012360 testing method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 230000008447 perception Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于空间特征变换和跨尺度特征集成的人脸超分辨方法，具体按照如下步骤实施：预处理人脸图像，得到训练集和测试集，将预处理后的人脸图像进行处理生成语义分割概率图；构建用于训练的生成对抗网络模型；将训练集内的人脸图像依次输入构建的生成对抗网络模型中，设置参数，训练并达到收敛，将测试集中的人脸图像输入训练好的生成对抗网络模型中，得到超分辨重建后的高分辨图像。本发明的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，解决了现有技术中存在的现有方法忽略了重建的人脸图像中纹理细节的问题。
Description
技术领域
本发明属于人脸图像识别技术领域，涉及一种基于空间特征变换和跨尺度特征集成的人脸超分辨方法。
背景技术
现有与人脸相关的任务,如人脸识别、人脸对齐、表情识别和三维人脸重建等都是基于清晰的高分辨率人脸数据集实现的,在面对低分辨人脸图像时,效果出现明显下降.因此,人脸超分辨技术在计算机视觉和生物识别领域显得尤其重要。此外，受传统数字成像设备的固有限制，所获得的人脸图像往往经过了光学模糊、欠采样等一系列退化过程，最终难以获得视觉感官上较清晰的图像。图像超分辨技术作为一种有效的图像恢复手段，能有效克服因为成像设备物理分辨率限制和光学模糊等导致图像分辨率低的问题。
人脸超分辨率方法大致分为两类:基于经典机器学习算法的传统方法和基于卷积神经网络的深度学习方法。其中，基于深度学习的超分辨方法因其优越的重建性能而获得人们广泛关注。然而，现有的人脸图像超分辨率算法大多数只关注16×16像素的“微小脸”超分辨重建，即也称为“人脸幻象”，而忽略了实际应用中常见的“较小脸”如64×64像素的人脸图像重建；也正因如此，这些方法所获得的结果图像往往只能满足人脸检测任务，而并不能使其与真实人脸保持身份一致性。另外，这些方法往往追求很高的峰值信噪比和结构相似性，而忽略了重建的人脸图像中纹理细节是否满足人眼对视觉感知质量的要求。
发明内容
本发明的目的是提供一种基于空间特征变换和跨尺度特征集成的人脸超分辨方法，解决了现有技术中存在的现有方法忽略了重建的人脸图像中纹理细节的问题。
本发明所采用的技术方案是，基于空间特征变换和跨尺度特征集成的人脸超分辨方法，具体按照如下步骤实施：
步骤1，从人脸数据集中随机选取N张人脸图像，然后对人脸图像进行预处理，生成训练集和测试集；
步骤2，采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，将步骤1预处理后的人脸图像进行处理生成语义分割概率图；
步骤3，构建用于训练的生成对抗网络模型，生成对抗网络模型包括依次连接的语义分割概率图中间条件生成模块、空间特征变换模块、跨尺度特征集成模块和融合输出模块，跨尺度特征集成模块内引入图像上采样的亚像素卷积层，生成对抗网络模型引入对抗损失函数和感知损失函数；
步骤4，将步骤1得到的训练集内的人脸图像依次输入构建的生成对抗网络模型中，设置参数，训练并达到收敛；
步骤5，将步骤1中的测试集中的人脸图像输入经步骤4训练好的生成对抗网络模型中，得到超分辨重建后的高分辨图像。
步骤1中的人脸数据集为CelebA-HQ人脸数据集。
步骤1中对训练集中的人脸图像进行预处理具体为：采用双立方插值算法对训练集中的图像进行下采样，输出尺寸为512×512的插值图像IHR，作为训练集和测试集的目标图像，然后将插值图像IHR采用双立方插值下采样4倍至64×64作为训练和测试输入图像ILR；然后将输入图像ILR采用双立方插值上采样4倍至256×256作为语义分割网络输入图像IS。
步骤2具体为：
采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，修改人脸解析预训练模型BisNet的输出层，具体为：在人脸解析预训练模型BisNet的输出层加入softmax函数，将步骤1得到的语义分割网络输入图像IS作为输入输入到修改后的人脸解析预训练模型BisNet中，输出为语义概率，将语义概率输出结果保存为.pth文件，即Pytorch模型文件，得到语义分割概率图ISeg。
步骤4具体为：
步骤4.1，设置训练参数，将训练和测试输入图像ILR、训练集和测试集的目标图像IHR和语义分割概率图ISeg加载网络输入端，即就是语义分割概率图中间条件生成模块的输入端，语义分割概率图中间条件生成模块将输入的语义分割概率图ISeg进行处理，生成语义信息中间条件Ψ；
步骤4.2，语义分割概率图中间条件生成模块将训练和测试输入图像ILR经过一层卷积生成特征图，作为前层特征图；
步骤4.3，前层特征图和语义信息中间条件Ψ作为空间特征变换模块的输入，空间特征变换模块输出特征图F1；
步骤4.4，将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征，然后将不同尺度特征输入至融合输出模块，得到超分辨图像，记为ISR；
步骤4.5，将超分辨图像ISR和对应的插值图像IHR输入判别器Dη，将判别信息反向传输至生成对抗网络模型，即就是生成器Gθ；
步骤4.6，不断迭代步骤4.4-4.5，使得对抗损失和感知损失的总和达到最小，然后将对应的参数作为训练好的模型参数，得到训练好的生成对抗网络模型。
语义分割概率图中间条件生成模块包括依次连接的五个卷积层，第一个卷积层的输入通道数为19，输出通道数为128，卷积核大小为4×4，卷积步长为4，修正线性单元的负值非零斜率为0.1；第二个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为4，修正线性单元的负值非零斜率为0.1；第三个卷积层输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为1，修正线性单元的负值非零斜率为0.1，第四个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为1；最后再用一个卷积层的输入通道数为128，输出通道数为32，卷积核大小为1×1，卷积步长为1，最后再用一个卷积层输出包含语义信息的中间条件记为Ψ；
空间特征变换模块由8个带有空间特征变换层的残差单元组成，每个残差单元由空间特征变换层、卷积层、非线性激活层构成。
步骤4.4中将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征具体为：
输出特征图F1在跨尺度集成模块中首先经过一个卷积层对维数升高4倍，再经过亚像素卷积对输出特征图F1进行上采样2倍得到特征图F2；同时输出特征图F1通过双立方插值放大2倍后与特征图F2进行通道上的融合，得到特征图F3_1，并向后传递；并且将特征图F2通过一个步长为2的卷积实现缩小两倍后与特征图F1进行通道上的融合，得到特征图F3_2并向后传递；F3_1和F3_2分别输入两个残差特征提取模块，输出的特征图分别记为特征图F4_1和特征图F4_2，特征图F4_1分别通过直接输出得到特征图F5_2、利用步长为2的卷积进行下采样2倍输出得到特征图F5_1，利用双三次插值进行上采样2倍输出得到特征图F5_3；
特征图F4_1利用第二个亚像素上采样2倍，输出特征图F5，然后特征图F5分别直接输出得到F6_3、利用步长为2的卷积进行下采样2倍输出得到F6_2、利用步长为4的卷积进行下采样4倍输出得到F6_1；
F4_2分别直接输出得到F7_1、双三次插值2倍得到F7_2、双三次插值4倍得到F7_3；接下来，将同为小尺度的F5_1、F6_1、F7_1进行特征融合后接着输入到由4个残差块构成的特征提取模块中，输出特征图通过插值上采样模块进行4倍放大输出特征图F8_1；同理，将同为中尺度的特征图F5_2、F6_2、F7_2进行特征融合后接着输入到由4个残差块构成的残差特征提取模块中，输出特征图通过插值上采样模块进行2倍放大输出F8_2；将同为大尺度的F5_3、F6_3、F7_3进行特征融合后接着输入到由4个残差块构成的残差特征提取模块中，输出特征图直接输出F8_3。
步骤4.4中将不同尺度特征输入至融合输出模块，得到重建后的超分辨结果具体为：
将不同尺度的特征图F8_1、F8_2、F8_3进行特征融合，然后用两个卷积层逐级降维输出得到重建后的超分辨图像，记为ISR。
步骤4.6的感知损失函数为：
对抗损失函数为：
LD＝∑ilog(1-Dη(Gθ(ILR)))
其中，φ(ISR)，φ(IHR)表示结果图和目标图分别经过预训练的Vgg网络后所提得到的特征图，Gθ代表生成网络，Dη代表判别网络。
本发明的有益效果是：
(1)使用的空间特征变换层通过转换单个网络的中间特征，只需一次正向传递就可以实现具有丰富语义区域的高分辨率图像的重建。
(2)重建网络使用语义映射来指导高分辨率域中不同区域的纹理恢复,同时，利用概率图来捕捉精细的纹理细节。
(3)跨尺度特征集成模块使传输中的纹理特征在各个尺度上进行交换，实现了更有效的特征表示，从而进一步提高了超分辨重建算法的性能。
附图说明
图1是本发明于空间特征变换和跨尺度特征集成的人脸超分辨方法中实施例1-1的结果对比图；
图2是本发明于空间特征变换和跨尺度特征集成的人脸超分辨方法中实施例1-2的结果对比图.
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
基于空间特征变换和跨尺度特征集成的人脸超分辨方法，具体按照如下步骤实施：
步骤1，从人脸数据集中随机选取N张人脸图像，然后对人脸图像进行预处理，生成训练集和测试集；具体为：从CelebA-HQ人脸数据集中随机选取1000张人脸图像作为训练集，100张作为测试集，采用双立方插值算法对训练集中的高分辨图像进行下采样，输出尺寸为512×512的插值图像IHR，作为训练集和测试集的目标图像；同样使用双立方插值将下采样4倍至64×64作为训练和测试输入图像ILR；然后将ILR再次插值上采样4倍至256×256作为语义分割网络输入图像IS。
步骤2，采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，将步骤1预处理后的人脸图像进行处理生成语义分割概率图；具体为：
采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，修改人脸解析预训练模型BisNet的输出层，具体为：在人脸解析预训练模型BisNet的输出层加入softmax函数，将步骤1得到的语义分割网络输入图像IS作为输入输入到修改后的人脸解析预训练模型BisNet中，输出为语义概率，将语义概率输出结果保存为.pth文件，即Pytorch模型文件，得到语义分割概率图ISeg；
步骤3，构建用于训练的生成对抗网络模型，生成对抗网络模型包括依次连接的语义分割概率图中间条件生成模块、空间特征变换模块、跨尺度特征集成模块和融合输出模块，跨尺度特征集成模块内引入图像上采样的亚像素卷积层，生成对抗网络模型引入对抗损失函数和感知损失函数；
步骤4，将步骤1得到的训练集内的人脸图像依次输入构建的生成对抗网络模型中，设置参数，训练并达到收敛；
步骤5，将步骤1中的测试集中的人脸图像输入经步骤4训练好的生成对抗网络模型中，得到超分辨重建后的高分辨图像。
步骤4具体为：
步骤4.1，设置训练参数，将训练和测试输入图像ILR、训练集和测试集的目标图像IHR和语义分割概率图ISeg加载网络输入端，即就是语义分割概率图中间条件生成模块的输入端，语义分割概率图中间条件生成模块将输入的语义分割概率图ISeg进行处理，生成语义信息中间条件Ψ，其中，语义分割概率图中间条件生成模块包括依次连接的五个卷积层，第一个卷积层的输入通道数为19，输出通道数为128，卷积核大小为4×4，卷积步长为4，修正线性单元的负值非零斜率为0.1；第二个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为4，修正线性单元的负值非零斜率为0.1；第三个卷积层输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为1，修正线性单元的负值非零斜率为0.1，第四个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为1；最后再用一个卷积层的输入通道数为128，输出通道数为32，卷积核大小为1×1，卷积步长为1，最后再用一个卷积层输出包含语义信息的中间条件记为Ψ，该模块结构参数见表1；
步骤4.2，语义分割概率图中间条件生成模块将训练和测试输入图像ILR经过一层卷积生成特征图，作为前层特征图；
步骤4.3，前层特征图和语义信息中间条件Ψ作为空间特征变换模块的输入，空间特征变换模块输出特征图F1，空间特征变换模块由8个带有空间特征变换层的残差单元组成，每个残差单元由空间特征变换层、卷积层、非线性激活层构成；在每个残差单元由空间特征变换层、卷积层和非线性激活层构成，结构见表2；其中，空间特征变换层以上一层特征图和语义信息中间条件Ψ为输入，经过内部的两组卷积生成一对调制参数(γ,β)，通过相乘和相加实现了在空间上对特征图的仿射变换；
其数学描述为：
SFT(F|γ，β)＝γ⊙F+β
其中，F代表特征图，其维数和γ和β的维度一致，⊙为矩阵对应位置元素的点乘操作。
步骤4.4，将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征，然后将不同尺度特征输入至融合输出模块，得到超分辨图像，记为ISR；输出特征图F1在跨尺度集成模块中首先经过一个卷积层对维数升高4倍，再经过亚像素卷积对输出特征图F1进行上采样2倍得到特征图F2；同时输出特征图F1通过双立方插值放大2倍后与特征图F2进行通道上的融合，得到特征图F3_1，并向后传递；并且将特征图F2通过一个步长为2的卷积实现缩小两倍后与特征图F1进行通道上的融合，得到特征图F3_2并向后传递；F3_1和F3_2分别输入两个残差特征提取模块，每个残差块结构见表3，输出的特征图分别记为特征图F4_1和特征图F4_2，特征图F4_1分别通过直接输出得到特征图F5_2、利用步长为2的卷积进行下采样2倍输出得到特征图F5_1，利用双三次插值进行上采样2倍输出得到特征图F5_3；
特征图F4_1利用第二个亚像素上采样2倍，输出特征图F5，然后特征图F5分别直接输出得到F6_3、利用步长为2的卷积进行下采样2倍输出得到F6_2、利用步长为4的卷积进行下采样4倍输出得到F6_1；
F4_2分别直接输出得到F7_1、双三次插值2倍得到F7_2、双三次插值4倍得到F7_3；接下来，将同为小尺度的F5_1、F6_1、F7_1进行特征融合后接着输入到由4个残差块构成的特征提取模块中，输出特征图通过插值上采样模块进行4倍放大输出特征图F8_1；同理，将同为中尺度的特征图F5_2、F6_2、F7_2进行特征融合后接着输入到由4个残差块构成的残差特征提取模块中，输出特征图通过插值上采样模块进行2倍放大输出F8_2；将同为大尺度的F5_3、F6_3、F7_3进行特征融合后接着输入到由4个残差块构成的特征提取模块中，直接输出特征图F8_3，残差块结构见表3；
将不同尺度的特征图F8_1、F8_2、F8_3进行特征融合，然后用两个卷积层逐级降维输出得到重建后的超分辨图像，记为ISR；
步骤4.5，将超分辨图像ISR和对应的插值图像IHR输入判别器Dη，将判别信息反向传输至生成对抗网络模型，即就是生成器Gθ；
步骤4.6，不断迭代步骤4.4-4.5，使得对抗损失和感知损失的总和达到最小，然后将对应的参数作为训练好的模型参数，得到训练好的生成对抗网络模型，其中，感知损失函数为：
对抗损失函数为：
LD＝∑ilog(1-Dη(Gθ(ILR)))
其中，φ(ISR)，φ(IHR)表示结果图和目标图分别经过预训练的Vgg网络后所提得到的特征图，Gθ代表生成网络，Dη代表判别网络。
本发明将每步的训练数据量即bachsize设置为16，设置迭代3000轮，感知损失权重设为1，对抗损失权重设置为10-4；开始训练，训练结束后将最后一轮训练所得到的参数保存成模型文件，在本发明中，在将所有训练样本遍历3000轮后，验证集总的损失基本不再变化，表示训练可以结束。
表1
| Conv_1|LeakyRelu | (19,128,4,4)|LeakyRelu |
| Conv_2|LeakyRelu | (128，128，1，1)|LeakyRelu |
| Conv_3|LeakyRelu | (128，128，1，1)|LeakyRelu |
| Conv_4|LeakyRelu | (128，128，1，1)|LeakyRelu |
| Conv_out | (128,32,1,1) |
表2
如表2所示，SFT即为空间特征变换层，Scale_Conv0和Scale_Conv1为两个卷积层，其可学***移参数β。括号中对应参数从左到右分别表示该层的输入特征图个数、输出特征图个数、卷积核大小、步长大小。
表3
| Conv | (64，64，3，1，1) |
| Relu | \ |
| Conv | (64，64，3，1，1) |
如表3所示，该模块由卷积层、激活层、卷积层构成，括号中对应参数从左到右分别表示该层的输入特征图个数、输出特征图个数、卷积核大小、步长大小。
实施例
为了更方便地生成人脸语义分割概率图，并且更容易对比图像细节，本发明在实验上采用人脸高清数据集CelebA-HQ，从中随机选择部分人脸图像在4倍放大下比较结果；另外为了更好地量化图像质量分数，使其更符合人眼感官，本发明除了比较PSNR(峰值信噪比)和SSIM(结构相似性)，还会计算其局部块相似度和基于马超等人提出的感知指标参数。采用现有较为先进的技术如MSRN(多尺度残差网路)、EDSR(改进的深度残差超分辨网络)方法、SRFBN(超分辨反馈网络)方法、SFTGAN(空间特征变换网络)方法、ESRGAN(改进的超分辨生成对抗网络)方法和本发明方法获得的PSNR值、SSIM值、LPIPS值和PI值分别如下表所示：
经对比，本发明方法不论在主观视觉质量如图1和2所示，还是客观评价指标上均优于其他几种对比方法，尤其和较为先进的ESRGAN(改进的超分辨生成对抗网络)相比，几乎获得了和其同等的性能，但是本发明的参数量却仅有4,604,262，而ESRGAN(改进的超分辨生成对抗网络)的参数量为16,697,987。
Claims (9)
1.基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，具体按照如下步骤实施：
步骤1，从人脸数据集中随机选取N张人脸图像，然后对人脸图像进行预处理，生成训练集和测试集；
步骤2，采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，将步骤1预处理后的人脸图像进行处理生成语义分割概率图；
步骤3，构建用于训练的生成对抗网络模型，所述生成对抗网络模型包括依次连接的语义分割概率图中间条件生成模块、空间特征变换模块、跨尺度特征集成模块和融合输出模块，所述跨尺度特征集成模块内引入图像上采样的亚像素卷积层，所述生成对抗网络模型引入对抗损失函数和感知损失函数；
步骤4，将步骤1得到的训练集内的人脸图像依次输入构建的生成对抗网络模型中，设置参数，训练并达到收敛；
步骤5，将步骤1中的测试集中的人脸图像输入经步骤4训练好的生成对抗网络模型中，得到超分辨重建后的高分辨图像。
2.根据权利要求1所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤1中的人脸数据集为CelebA-HQ人脸数据集。
3.根据权利要求1所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤1中对训练集中的人脸图像进行预处理具体为：采用双立方插值算法对训练集中的图像进行下采样，输出尺寸为512×512的插值图像IHR，作为训练集和测试集的目标图像，然后将插值图像IHR采用双立方插值下采样4倍至64×64作为训练和测试输入图像ILR；然后将输入图像ILR采用双立方插值上采样4倍至256×256作为语义分割网络输入图像IS。
4.根据权利要求3所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤2具体为：
采用人脸解析预训练模型BisNet作为语义分割概率图生成的基网络，修改人脸解析预训练模型BisNet的输出层，具体为：在人脸解析预训练模型BisNet的输出层加入softmax函数，将步骤1得到的语义分割网络输入图像IS作为输入输入到修改后的人脸解析预训练模型BisNet中，输出为语义概率，将语义概率输出结果保存为.pth文件，即Pytorch模型文件，得到语义分割概率图ISeg。
5.根据权利要求4所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤4具体为：
步骤4.1，设置训练参数，将训练和测试输入图像ILR、训练集和测试集的目标图像IHR和语义分割概率图ISeg加载网络输入端，即就是语义分割概率图中间条件生成模块的输入端，所述语义分割概率图中间条件生成模块将输入的语义分割概率图ISeg进行处理，生成语义信息中间条件Ψ；
步骤4.2，语义分割概率图中间条件生成模块将训练和测试输入图像ILR经过一层卷积生成特征图，作为前层特征图；
步骤4.3，前层特征图和语义信息中间条件Ψ作为空间特征变换模块的输入，空间特征变换模块输出特征图F1；
步骤4.4，将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征，然后将不同尺度特征输入至融合输出模块，得到超分辨图像，记为ISR；
步骤4.5，将超分辨图像ISR和对应的插值图像IHR输入判别器Dη，将判别信息反向传输至生成对抗网络模型，即就是生成器Gθ；
步骤4.6，不断迭代步骤4.4-4.5，使得对抗损失和感知损失的总和达到最小，然后将对应的参数作为训练好的模型参数，得到训练好的生成对抗网络模型。
6.根据权利要求5所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述语义分割概率图中间条件生成模块包括依次连接的五个卷积层，第一个卷积层的输入通道数为19，输出通道数为128，卷积核大小为4×4，卷积步长为4，修正线性单元的负值非零斜率为0.1；第二个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为4，修正线性单元的负值非零斜率为0.1；第三个卷积层输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为1，修正线性单元的负值非零斜率为0.1，第四个卷积层的输入通道数为128，输出通道数为128，卷积核大小为1×1，卷积步长为1；最后再用一个卷积层的输入通道数为128，输出通道数为32，卷积核大小为1×1，卷积步长为1，最后再用一个卷积层输出包含语义信息的中间条件记为Ψ；
所述空间特征变换模块由8个带有空间特征变换层的残差单元组成，每个残差单元由空间特征变换层、卷积层、非线性激活层构成。
7.根据权利要求6所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤4.4中将步骤4.3中输出特征图F1输入到跨尺度集成模块中，得到不同尺度特征具体为：
输出特征图F1在跨尺度集成模块中首先经过一个卷积层对维数升高4倍，再经过亚像素卷积对输出特征图F1进行上采样2倍得到特征图F2；同时输出特征图F1通过双立方插值放大2倍后与特征图F2进行通道上的融合，得到特征图F3_1，并向后传递；并且将特征图F2通过一个步长为2的卷积实现缩小两倍后与特征图F1进行通道上的融合，得到特征图F3_2并向后传递；F3_1和F3_2分别输入两个残差特征提取模块，输出的特征图分别记为特征图F4_1和特征图F4_2，特征图F4_1分别通过直接输出得到特征图F5_2、利用步长为2的卷积进行下采样2倍输出得到特征图F5_1，利用双三次插值进行上采样2倍输出得到特征图F5_3；
特征图F4_1利用第二个亚像素上采样2倍，输出特征图F5，然后特征图F5分别直接输出得到F6_3、利用步长为2的卷积进行下采样2倍输出得到F6_2、利用步长为4的卷积进行下采样4倍输出得到F6_1；
F4_2分别直接输出得到F7_1、双三次插值2倍得到F7_2、双三次插值4倍得到F7_3；接下来，将同为小尺度的F5_1、F6_1、F7_1进行特征融合后接着输入到由4个残差块构成的特征提取模块中，输出特征图通过插值上采样模块进行4倍放大输出特征图F8_1；同理，将同为中尺度的特征图F5_2、F6_2、F7_2进行特征融合后接着输入到由4个残差块构成的残差特征提取模块中，输出特征图通过插值上采样模块进行2倍放大输出F8_2；将同为大尺度的F5_3、F6_3、F7_3进行特征融合后接着输入到由4个残差块构成的残差特征提取模块中，输出特征图直接输出F8_3。
8.根据权利要求7所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤4.4中将不同尺度特征输入至融合输出模块，得到重建后的超分辨结果具体为：
将不同尺度的特征图F8_1、F8_2、F8_3进行特征融合，然后用两个卷积层逐级降维输出得到重建后的超分辨图像，记为ISR。
9.根据权利要求8所述的基于空间特征变换和跨尺度特征集成的人脸超分辨方法，其特征在于，所述步骤4.6中的感知损失函数为：
对抗损失函数为：
LD＝∑ilog(1-Dη(Gθ(ILR)))
其中，φ(ISR)，φ(IHR)表示结果图和目标图分别经过预训练的Vgg网络后所提得到的特征图，Gθ代表生成网络，Dη代表判别网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011124368.0A CN112270644B (zh) | 2020-10-20 | 2020-10-20 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011124368.0A CN112270644B (zh) | 2020-10-20 | 2020-10-20 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112270644A true CN112270644A (zh) | 2021-01-26 |
| CN112270644B CN112270644B (zh) | 2024-05-28 |
Family
ID=74338729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011124368.0A Active CN112270644B (zh) | 2020-10-20 | 2020-10-20 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112270644B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949707A (zh) * | 2021-02-26 | 2021-06-11 | 西安电子科技大学 | 一种基于多尺度语义信息监督的跨模态人脸图像生成方法 |
| CN113128624A (zh) * | 2021-05-11 | 2021-07-16 | 山东财经大学 | 一种基于多尺度字典的图网络人脸恢复方法 |
| CN113177882A (zh) * | 2021-04-29 | 2021-07-27 | 浙江大学 | 一种基于扩散模型的单帧图像超分辨处理方法 |
| CN113240792A (zh) * | 2021-04-29 | 2021-08-10 | 浙江大学 | 一种基于人脸重建的图像融合生成式换脸方法 |
| CN113298740A (zh) * | 2021-05-27 | 2021-08-24 | 中国科学院深圳先进技术研究院 | 一种图像增强方法、装置、终端设备及存储介质 |
| CN113538307A (zh) * | 2021-06-21 | 2021-10-22 | 陕西师范大学 | 基于多视角超分辨深度网络的合成孔径成像方法 |
| CN113643687A (zh) * | 2021-07-08 | 2021-11-12 | 南京邮电大学 | 融合DSNet与EDSR网络的非平行多对多语音转换方法 |
| CN113723414A (zh) * | 2021-08-12 | 2021-11-30 | 中国科学院信息工程研究所 | 一种蒙面人脸遮挡物分割方法与装置 |
| CN113850813A (zh) * | 2021-09-16 | 2021-12-28 | 太原理工大学 | 基于空间分辨率域自适应的无监督遥感图像语义分割方法 |
| CN115174620A (zh) * | 2022-07-01 | 2022-10-11 | 北京博数嘉科技有限公司 | 一种智能化旅游综合服务***和方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| WO2019109524A1 (zh) * | 2017-12-07 | 2019-06-13 | 平安科技（深圳）有限公司 | 入侵检测方法、应用服务器及计算机可读存储介质 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN111027575A (zh) * | 2019-12-13 | 2020-04-17 | 广西师范大学 | 一种自注意对抗学习的半监督语义分割方法 |
| CN111080645A (zh) * | 2019-11-12 | 2020-04-28 | 中国矿业大学 | 基于生成式对抗网络的遥感图像半监督语义分割方法 |
| KR20200080970A (ko) * | 2018-12-27 | 2020-07-07 | 포항공과대학교 산학협력단 | 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법 |
| CN111695455A (zh) * | 2020-05-28 | 2020-09-22 | 西安工程大学 | 一种基于耦合判别流形对齐的低分辨人脸识别方法 |
-
2020
- 2020-10-20 CN CN202011124368.0A patent/CN112270644B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| WO2019109524A1 (zh) * | 2017-12-07 | 2019-06-13 | 平安科技（深圳）有限公司 | 入侵检测方法、应用服务器及计算机可读存储介质 |
| KR20200080970A (ko) * | 2018-12-27 | 2020-07-07 | 포항공과대학교 산학협력단 | 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN111080645A (zh) * | 2019-11-12 | 2020-04-28 | 中国矿业大学 | 基于生成式对抗网络的遥感图像半监督语义分割方法 |
| CN111027575A (zh) * | 2019-12-13 | 2020-04-17 | 广西师范大学 | 一种自注意对抗学习的半监督语义分割方法 |
| CN111695455A (zh) * | 2020-05-28 | 2020-09-22 | 西安工程大学 | 一种基于耦合判别流形对齐的低分辨人脸识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| DONGLI WANG, ET AL.,: ""TwinsAdvNet:Adversarial Learning for Semantic Segmentation"", 《2019 IEEE GLOBAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING(GLOBALSIP)》 * |
| 李昂: ""基于对抗神经网络和语义分割技术的 图像超分辨率***的研发和应用"", 《有线电视技术》, no. 11, pages 28 - 33 * |
| 赵增顺;高寒旭;孙骞;滕升华;常发亮;DAPENG OLIVER WU;: "生成对抗网络理论框架、衍生模型与应用最新进展", 小型微型计算机***, no. 12 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949707B (zh) * | 2021-02-26 | 2024-02-09 | 西安电子科技大学 | 一种基于多尺度语义信息监督的跨模态人脸图像生成方法 |
| CN112949707A (zh) * | 2021-02-26 | 2021-06-11 | 西安电子科技大学 | 一种基于多尺度语义信息监督的跨模态人脸图像生成方法 |
| CN113177882A (zh) * | 2021-04-29 | 2021-07-27 | 浙江大学 | 一种基于扩散模型的单帧图像超分辨处理方法 |
| CN113240792A (zh) * | 2021-04-29 | 2021-08-10 | 浙江大学 | 一种基于人脸重建的图像融合生成式换脸方法 |
| CN113128624A (zh) * | 2021-05-11 | 2021-07-16 | 山东财经大学 | 一种基于多尺度字典的图网络人脸恢复方法 |
| WO2022247232A1 (zh) * | 2021-05-27 | 2022-12-01 | 中国科学院深圳先进技术研究院 | 一种图像增强方法、装置、终端设备及存储介质 |
| CN113298740A (zh) * | 2021-05-27 | 2021-08-24 | 中国科学院深圳先进技术研究院 | 一种图像增强方法、装置、终端设备及存储介质 |
| CN113538307A (zh) * | 2021-06-21 | 2021-10-22 | 陕西师范大学 | 基于多视角超分辨深度网络的合成孔径成像方法 |
| CN113643687B (zh) * | 2021-07-08 | 2023-07-18 | 南京邮电大学 | 融合DSNet与EDSR网络的非平行多对多语音转换方法 |
| CN113643687A (zh) * | 2021-07-08 | 2021-11-12 | 南京邮电大学 | 融合DSNet与EDSR网络的非平行多对多语音转换方法 |
| CN113723414A (zh) * | 2021-08-12 | 2021-11-30 | 中国科学院信息工程研究所 | 一种蒙面人脸遮挡物分割方法与装置 |
| CN113723414B (zh) * | 2021-08-12 | 2023-12-15 | 中国科学院信息工程研究所 | 一种蒙面人脸遮挡物分割方法与装置 |
| CN113850813A (zh) * | 2021-09-16 | 2021-12-28 | 太原理工大学 | 基于空间分辨率域自适应的无监督遥感图像语义分割方法 |
| CN113850813B (zh) * | 2021-09-16 | 2024-05-28 | 太原理工大学 | 基于空间分辨率域自适应的无监督遥感图像语义分割方法 |
| CN115174620A (zh) * | 2022-07-01 | 2022-10-11 | 北京博数嘉科技有限公司 | 一种智能化旅游综合服务***和方法 |
| CN115174620B (zh) * | 2022-07-01 | 2023-06-16 | 北京博数嘉科技有限公司 | 一种智能化旅游综合服务***和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112270644B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112270644B (zh) | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 | |
| CN112037131A (zh) | 一种基于生成对抗网络的单图像超分辨率重建方法 | |
| CN111932461A (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及*** | |
| Luo et al. | Lattice network for lightweight image restoration | |
| CN112561799A (zh) | 一种红外图像超分辨率重建方法 | |
| CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN113538246A (zh) | 基于无监督多阶段融合网络的遥感图像超分辨率重建方法 | |
| CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
| CN116664397B (zh) | TransSR-Net结构化图像超分辨重建方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN113379597A (zh) | 人脸超分辨率重构方法 | |
| CN113469884A (zh) | 基于数据仿真的视频超分辨方法、***、设备及存储介质 | |
| Liu et al. | Learning cascaded convolutional networks for blind single image super-resolution | |
| CN115115514A (zh) | 基于高频信息特征融合的图像超分辨率重建方法 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
| CN115880158A (zh) | 一种基于变分自编码的盲图像超分辨率重建方法及*** | |
| CN115936983A (zh) | 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质 | |
| Yang et al. | MRDN: A lightweight Multi-stage residual distillation network for image Super-Resolution | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| CN114066729A (zh) | 一种可恢复身份信息的人脸超分辨率重建方法 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| CN116703725A (zh) | 感知多重特征的双分支网络实现针对真实世界文本图像的超分辨率的方法 | |
| CN116797456A (zh) | 图像超分辨率重建方法、***、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240131 Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant after: Shenzhen Wanzhida Technology Co.,Ltd. Country or region after: China Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19 Applicant before: XI'AN POLYTECHNIC University Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240419 Address after: 117000, Building 155, Pingshan Road, Mingshan District, Benxi City, Liaoning Province, China, 1-4-5 Applicant after: Rao Jinbao Country or region after: China Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province Applicant before: Shenzhen Wanzhida Technology Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |