CN111275624A - 基于多集典型相关分析的人脸图像超分辨率重建识别方法 - Google Patents

基于多集典型相关分析的人脸图像超分辨率重建识别方法 Download PDF

Info

Publication number
CN111275624A
CN111275624A CN202010069717.7A CN202010069717A CN111275624A CN 111275624 A CN111275624 A CN 111275624A CN 202010069717 A CN202010069717 A CN 202010069717A CN 111275624 A CN111275624 A CN 111275624A
Authority
CN
China
Prior art keywords
resolution
image
face image
reconstruction
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010069717.7A
Other languages
English (en)
Other versions
CN111275624B (zh
Inventor
袁运浩
李进
李云
强继朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202010069717.7A priority Critical patent/CN111275624B/zh
Publication of CN111275624A publication Critical patent/CN111275624A/zh
Application granted granted Critical
Publication of CN111275624B publication Critical patent/CN111275624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多集典型相关分析的人脸图像超分辨率重建识别方法，包括以下步骤：1利用多集典型相关分析，可以同时为同源的各种低分辨率人脸视图学习多种特定分辨率的映射，将多视图人脸图像分成重叠的图像块，再利用多集典型相关分析提取图像块主成分的潜在相干特征；2利用邻域重建策略重建出全局人脸图像，再通过残差补偿对全局人脸图像补充细节；3最终输出的超分辨率重建结果为全局人脸图像加上残差人脸图像。本发明具有一定的理论基础，在不同数据库下测试结果表明本发明具有较强的鲁棒性，具有一定的市场实施的可行性，解决了目前绝大多数现有算法无法处理的多视图超分辨率问题，具有较大的创新性与实用性。

Description

基于多集典型相关分析的人脸图像超分辨率重建识别方法
技术领域
本发明涉及超分辨率重建和识别领域，特别涉及基于多集典型相关分析的人脸图像超分辨率重建识别方法
背景技术
多元分析方法常被运用于超分辨率重建以进行特征提取，其中较为流行的是主成分分析(Principal Component Analysis，PCA)以及典型相关分析(CanonicalCorrelation Analysis，CCA)。特征提取步骤通常用来对数据降维并减少噪声。PCA通过保留合适的维度以提取人脸的有用信息并过滤噪声。Wang等人提出一个通过PCA得到图像线性组合系数来生成高分辨率人脸的框架。Huang等人提出一种利用CCA提取高低分辨率图像关系的超分辨率方法。多集典型相关分析(Multiset Canonical Correlation Analysis，MCCA)便是CCA由两组特征数据向多组特征数据集的自然推广，通过MCCA可以实现多组数据的特征融合，用于分析多个数据集合变量间的线下关系。
在现实世界应用中，低分辨率人脸图像不仅对人类视觉感知有所影响，也使得许多人脸分析任务变得棘手，如人脸识别、人脸对齐以及人脸美化等。为了解决这一问题，许多人脸超分辨率重建方法被提出，其旨在从输入的低分辨率图像中恢复出其高分辨率图像。作为图像超分辨率领域的分支，与其相比，人脸超分辨率任务利用面部结构以及纹理并生成更加逼真的高分辨率人脸图像。
基于学习的超分辨率方法近些年来取得了巨大的成功，其利用机器学习的技术学习高低分辨率特征空间之间的映射关系。基于高低分辨率特征空间中存在着等距流形的理论，一种典型的策略是将低分辨率空间中的编码系数应用到高分辨率空间，以此恢复相应的高分辨率人脸图像，另一种策略则是直接学习高低分辨率图像对之间的映射关系。
但是，在现实生活中，由于距离或者设备的限制，人们通常需要面对同一人脸具有多种不同分辨率视图的情况，对于多种不同的低分辨率视图，现有的大多数方法不能有效地处理这种问题，它们无法同时学习将多种低分辨率视图同时映射到高分辨率视图的映射关系。迄今为止，共同学习多种视图之间关系还没有得到广泛关注。
发明内容
本发明的目的是克服现有技术缺陷，提供基于多集典型相关分析的人脸图像超分辨率重建识别方法，利用多集典型相关分析，同时为同源的各种低分辨率人脸视图学习多种特定分辨率的映射，将多视图人脸图像分成重叠的图像块，再利用多集典型相关分析提取图像块主成分的潜在相干特征，利用邻域重建策略重建出全局人脸图像，再通过残差补偿对全局人脸图像补充细节，最终输出超分辨率重建图像。
本发明的目的是这样实现的：基于多集典型相关分析的人脸图像超分辨率重建识别方法，包括以下步骤：
步骤1在训练阶段利用训练集学习不同分辨率视图之间的相关关系，将不同分辨率对应的训练集中的每幅图像分成重叠的图像块，使用PCA对每块图像提取主成分特征，利用MCCA进行特征提取，计算MCCA投影矩阵，并将每个图像块的主成分特征投影到MCCA的一致相干子空间；
步骤2在测试阶段，将输入的低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率视图的PCA投影矩阵得到每个图像块的主成分特征，使用相应低分辨率视图的MCCA投影矩阵将主成分特征投影到MCCA子空间，利用邻域重建策略重建出全局人脸图像，再通过残差补偿对全局人脸图像补充细节；
步骤3最终输出的超分辨率重建结果为全局人脸图像加上残差人脸图像。
作为本发明的进一步限定，步骤1中所述的训练阶段包括以下步骤：
(1)给定多个分辨率视图人脸图像训练集为
Figure BDA0002377003010000031
其中m为分辨率视图的数量，将每幅图像
Figure BDA0002377003010000032
分成n个s×s大小的重叠o像素的图像块，其中N为样本的数量，
Figure BDA0002377003010000033
为位于第p(1≤p≤n)个位置的图像块的集合，
Figure BDA0002377003010000034
表示第i个视图中第j张人脸图像的第p个位置的图像块向量，通过去除均值
Figure BDA0002377003010000035
对
Figure BDA0002377003010000036
进行中心化，利用PCA提取
Figure BDA0002377003010000037
的主成分特征：
Figure BDA0002377003010000038
其中
Figure BDA0002377003010000039
表示
Figure BDA00023770030100000310
中心化后的图像块集，
Figure BDA00023770030100000311
和
Figure BDA00023770030100000312
分别为PCA变换矩阵和第i个视图第p个位置的主成分特征；
(2)去除均值
Figure BDA00023770030100000313
得到中心化的
Figure BDA00023770030100000314
MCCA目的为寻找m个投影方向
Figure BDA00023770030100000315
来最大化
Figure BDA00023770030100000316
之间相关系数之和，可以表示为如下优化问题：
Figure BDA00023770030100000317
其中
Figure BDA00023770030100000318
为视图内的协方差矩阵，
Figure BDA00023770030100000319
为视图间的协方差矩阵，μ为正则化参数，I为单位矩阵，利用拉格朗日乘子法可以得到如下等式：
Figure BDA00023770030100000320
其中λ1,λ2,…,λm为多元特征值，利用Horst算法迭代求解该等式，可以得到前d个特征向量
Figure BDA0002377003010000041
并构成m个视图的投影矩阵
Figure BDA0002377003010000042
利用
Figure BDA0002377003010000043
可以将所有不同分辨率视图的高维特征投影到一致子空间：
Figure BDA0002377003010000044
作为本发明的进一步限定，步骤2中所述的测试阶段包括以下步骤：
(1)对于输入的低分辨率人脸图像xt，假设其位于第i个分辨率视图并且第h个分辨率视图为对应的高分辨率视图，首先将其分成n个重叠的图像块
Figure BDA0002377003010000045
对于每个图像块，计算它的主成分特征：
Figure BDA0002377003010000046
再将其投影到一致子空间：
Figure BDA0002377003010000047
(2)利用邻域重建策略恢复高分辨率特征
Figure BDA0002377003010000048
对于
Figure BDA0002377003010000049
从
Figure BDA00023770030100000410
中找到k个欧氏距离上的最近邻
Figure BDA00023770030100000411
最小化如下重建误差：
Figure BDA00023770030100000412
其中‖·‖为向量的二范数，设
Figure BDA00023770030100000413
通过
Figure BDA00023770030100000414
得到权重系数
Figure BDA00023770030100000415
将权重系数
Figure BDA00023770030100000416
应用到相应的高分辨率特征
Figure BDA00023770030100000417
上，得到
Figure BDA00023770030100000418
通过逆运算
Figure BDA00023770030100000419
计算高分辨率主成分特征，再通过
Figure BDA00023770030100000420
以及块合并得到高分辨率全局人脸图像
Figure BDA00023770030100000421
(3)针对在p位置上的人脸图像块，利用残差补偿恢复其人脸细节信息，利用上述步骤生成原始低分辨率视图人脸图像块
Figure BDA00023770030100000422
的高分辨率全局人脸
Figure BDA00023770030100000423
设
Figure BDA0002377003010000051
↓为将
Figure BDA0002377003010000052
经过下采样处理的人脸图像矩阵，高低分辨率残差人脸图像块可以通过如下方式得到：
Figure BDA0002377003010000053
和
Figure BDA0002377003010000054
↓，
对于上述重建出的全局人脸图像块
Figure BDA0002377003010000055
其低分辨率人脸图像块
Figure BDA0002377003010000056
的残差人脸图像为
Figure BDA0002377003010000057
↓，其中
Figure BDA0002377003010000058
↓为
Figure BDA0002377003010000059
经过下采样后的图像，利用上述(2)中的邻域重建策略，从
Figure BDA00023770030100000510
中寻找k个最近邻并获得权重系数Wp，将权重系数应用到对应的高分辨率残差块
Figure BDA00023770030100000511
中得到
Figure BDA00023770030100000512
利用块合并得到重建出的残差人脸图像
Figure BDA00023770030100000513
作为本发明的进一步限定，步骤3中所述的最终输出的超分辨率重建结果为
Figure BDA00023770030100000514
与现有技术相比，本发明的有益效果在于：本发明利用多集典型相关分析，可以同时为同源的各种低分辨率人脸视图学习多种特定分辨率的映射，将多视图人脸图像分成重叠的图像块，再利用多集典型相关分析提取图像块主成分嵌入的潜在相干特征，最后利用邻域重建出全局人脸图像，结合残差补偿输出最终重建结果。本发明具有一定的理论基础，在不同数据库下测试结果表明本发明具有较强的鲁棒性，具有一定的市场实施的可行性，解决了目前绝大多数现有算法无法处理的多视图超分辨率问题，具有较大的创新性与实用性。
附图说明
图1是本发明的实现流程图。
图2是七种方法在CAS-PEAL-R1数据库上的超分辨率重建结果对比图。
图3是七种方法在CelebA数据库上的超分辨率重建结果对比图。
具体实施方式
如图1所示的基于多集典型相关分析的人脸图像超分辨率重建识别方法，包括以下步骤：
步骤1在训练阶段利用训练集学习不同分辨率视图之间的相关关系，将不同分辨率对应的训练集中的每幅图像分成重叠的图像块，使用PCA对每块图像提取主成分特征，利用MCCA进行特征提取，计算MCCA投影矩阵，并将每个图像块的主成分特征投影到MCCA的一致相干子空间；
步骤1中的训练阶段包括以下步骤：
(1)给定多个分辨率视图人脸图像训练集为
Figure BDA0002377003010000061
其中m为分辨率视图的数量，将每幅图像
Figure BDA0002377003010000062
分成n个s×s大小的重叠o像素的图像块，其中N为样本的数量，
Figure BDA0002377003010000063
为位于第p(1≤p≤n)个位置的图像块的集合，
Figure BDA0002377003010000064
表示第i个视图中第j张人脸图像的第p个位置的图像块向量，通过去除均值
Figure BDA0002377003010000065
对
Figure BDA0002377003010000066
进行中心化，利用PCA提取
Figure BDA0002377003010000067
的主成分特征：
Figure BDA0002377003010000068
其中
Figure BDA0002377003010000069
表示
Figure BDA00023770030100000610
中心化后的图像块集，
Figure BDA00023770030100000611
和
Figure BDA00023770030100000612
分别为PCA变换矩阵和第i个视图第p个位置的主成分特征；
(2)去除均值
Figure BDA00023770030100000613
得到中心化的
Figure BDA00023770030100000614
MCCA目的为寻找m个投影方向
Figure BDA00023770030100000615
来最大化
Figure BDA00023770030100000616
之间相关系数之和，可以表示为如下优化问题：
Figure BDA00023770030100000617
其中
Figure BDA00023770030100000618
为视图内的协方差矩阵，
Figure BDA00023770030100000619
为视图间的协方差矩阵，μ为正则化参数，I为单位矩阵，利用拉格朗日乘子法可以得到如下等式：
Figure BDA0002377003010000071
其中λ1,λ2,…,λm为多元特征值，利用Horst算法迭代求解该等式，可以得到前d个特征向量
Figure BDA0002377003010000072
并构成m个视图的投影矩阵
Figure BDA0002377003010000073
利用
Figure BDA0002377003010000074
可以将所有不同分辨率视图的高维特征投影到一致子空间：
Figure BDA0002377003010000075
步骤2在测试阶段，将输入的低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率视图的PCA投影矩阵得到每个图像块的主成分特征，使用相应低分辨率视图的MCCA投影矩阵将主成分特征投影到MCCA子空间，利用邻域重建策略重建出全局人脸图像，再通过残差补偿对全局人脸图像补充细节；
步骤2中的测试阶段包括以下步骤：
(1)对于输入的低分辨率人脸图像xt，假设其位于第i个分辨率视图并且第h个分辨率视图为对应的高分辨率视图，首先将其分成n个重叠的图像块
Figure BDA0002377003010000076
对于每个图像块，计算它的主成分特征：
Figure BDA0002377003010000077
再将其投影到一致子空间：
Figure BDA0002377003010000078
(2)利用邻域重建策略恢复高分辨率特征
Figure BDA0002377003010000079
对于
Figure BDA00023770030100000710
从
Figure BDA00023770030100000711
中找到k个欧氏距离上的最近邻
Figure BDA00023770030100000712
最小化如下重建误差：
Figure BDA00023770030100000713
其中‖·‖为向量的二范数，设
Figure BDA00023770030100000714
通过
Figure BDA0002377003010000081
得到权重系数
Figure BDA0002377003010000082
将权重系数
Figure BDA0002377003010000083
应用到相应的高分辨率特征
Figure BDA0002377003010000084
上，得到
Figure BDA0002377003010000085
通过逆运算
Figure BDA0002377003010000086
计算高分辨率主成分特征，再通过
Figure BDA0002377003010000087
以及块合并得到高分辨率全局人脸图像
Figure BDA0002377003010000088
(3)针对在p位置上的人脸图像块，利用残差补偿恢复其人脸细节信息，利用上述步骤生成原始低分辨率视图人脸图像块
Figure BDA0002377003010000089
的高分辨率全局人脸
Figure BDA00023770030100000810
设
Figure BDA00023770030100000811
↓为将
Figure BDA00023770030100000812
经过下采样处理的人脸图像矩阵，高低分辨率残差人脸图像块可以通过如下方式得到：
Figure BDA00023770030100000813
和
Figure BDA00023770030100000814
↓，
对于上述重建出的全局人脸图像块
Figure BDA00023770030100000815
其低分辨率人脸图像块
Figure BDA00023770030100000816
的残差人脸图像为
Figure BDA00023770030100000817
↓，其中
Figure BDA00023770030100000818
↓为
Figure BDA00023770030100000819
经过下采样后的图像，利用上述(2)中的邻域重建策略，从
Figure BDA00023770030100000820
中寻找k个最近邻并获得权重系数Wp，将权重系数应用到对应的高分辨率残差块
Figure BDA00023770030100000821
中得到
Figure BDA00023770030100000822
利用块合并得到重建出的残差人脸图像
Figure BDA00023770030100000823
步骤3最终输出的超分辨率重建结果为全局人脸图像加上残差人脸图像为
Figure BDA00023770030100000824
本发明可通过以下实验进一步说明：
为了测试本发明的有效性，分别利用CAS-PEAL-R1数据库以及CelebA数据库与其他方法进行对比测试，并在PIE数据库上测试超分辨率重建图像的人脸识别效果。在CAS-PEAL-R1数据库中选择1040幅人脸图像，每人一张，高分辨率图像为96×96，其中1000张人脸作为训练图像，剩下的作为测试图像。所有的训练图像分别下采样2倍、4倍以及8倍，其分辨率分别为48×48、24×24以及12×12。在CelebA数据库中选取1000张人脸图像作为训练集，20张图像作为测试集，原始高分辨率为80×80。所有训练集和测试集图像分别下采样2倍、4倍以及8倍，对应低分辨率为40×40、20×20以及8×8。在CMU PIE数据库中共包含68人的不同光照、姿态下的人脸图像，每人16张人脸图像用于训练，每人剩下的8张用于测试。高分辨率人脸大小为64×64，下采样倍数分别为2倍、4倍以及8倍，对应的低分辨率大小分别为32×32，16×16以及8×8。在实验中，本发明PCA阶段保留98％以上的光谱能量，将图像分成边长为16、重叠8像素的方块，对于2倍、4倍、8倍低分辨率图像分别采用420、280以及160最近邻数目。
实验1基于CAS-PEAL-R1数据库的超分辨率重建对比实验
如图2所示是七种方法在CAS-PEAL-R1数据库上分别以2倍、4倍、8倍缩放倍数的超分辨率重建结果对比，图中从左到右每一列分别为高分辨率原图、低分辨率图像、本发明重建结果、CLLR-SR方法重建结果、LINE方法重建结果、VDSR方法重建结果、MPLS-FH方法重建结果、TLcR方法重建结果以及Bicubic方法重建结果，从上到下每一行分别表示2倍缩放倍数、4倍、8倍缩放倍数；表1为七种方法在三种分辨率视图下人脸重建结果的平均PSNR、SSIM指标得分，可以看出本发明在每种情况下都取得了最好的指标成绩。另外，本发明在重建的视觉效果上也更加出色，尤其是在更高的缩放倍数场景下。
表1七种方法全局脸的PSNR、SSIM指标得分
Figure BDA0002377003010000091
Figure BDA0002377003010000101
实验2基于CelebA数据库的超分辨率重建对比实验
在本实验中，本发明的参数与实验1参数保持一致。如图3所示的是七种方法在CelebA数据库上分别以2倍、4倍、8倍放大倍数的超分辨率重建结果对比，图中从左到右每一列分别为高分辨率原图、低分辨率图像、本发明重建结果、CLLR-SR方法重建结果、LINE方法重建结果、VDSR方法重建结果、MPLS-FH方法重建结果、TLcR方法重建结果以及Bicubic方法重建结果，从上到下每一行分别表示2倍缩放倍数、4倍、8倍缩放倍数；表2为七种方法在三种分辨率视图下人脸超分辨率结果的平均PSNR、SSIM指标得分。可以看出本发明无论从重建视觉效果还是从数据指标方面衡量都取得了最好的成绩。
表2七种方法超分辨率结果的PSNR、SSIM指标得分
Figure BDA0002377003010000102
实验3基于CMU PIE数据库的人脸识别对比实验
为了验证本发明超分辨率结果对人脸识别任务的效果，在CMU PIE数据库上与七种方法进行人脸识别对比实验。表3为七种方法在三种分辨率视图下对人脸超分辨率结果进行人脸识别任务的对比情况，可以看出本发明在三种分辨率视图下都保持着优秀的识别率。
表3七种方法超分辨率结果的人脸识别率(％)对比
倍数 本发明 CLLR-SR LINE VDSR MPLS-FH TLcR Bicubic
2× 91.91 88.79 91.91 90.81 91.73 91.73 89.52
4× 88.60 86.40 88.42 85.11 87.32 87.68 83.90
8× 83.09 74.26 73.90 65.26 77.76 80.15 57.90
综上所述，本发明利用多集典型相关分析，可以同时为同源的各种低分辨率人脸视图学习多种分辨率的映射，将多视图人脸图像分为多个重叠的图像块，再利用多集典型相关分析提取图像块主成分的潜在相干特征，最后利用邻域重建出全局人脸图像，结合残差补偿输出最终重建结果。实验结果表明，本发明的重建效果从主观视觉效果和客观指标评价上均有较好的性能，同时重建结果对人脸识别率有显著提升。
本发明并不局限于上述实施例，在本发明公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本发明的保护范围内。

Claims (4)

1.基于多集典型相关分析的人脸图像超分辨率重建识别方法，其特征在于，包括以下步骤：
步骤1在训练阶段利用训练集学习不同分辨率视图之间的相关关系，将不同分辨率对应的训练集中的每幅图像分成重叠的图像块，使用PCA对每块图像提取主成分特征，利用MCCA进行特征提取，计算MCCA投影矩阵，并将每个图像块的主成分特征投影到MCCA的一致相干子空间；
步骤2在测试阶段，将输入的低分辨率图像分成重叠的图像块，利用训练阶段得到的相应低分辨率视图的PCA投影矩阵得到每个图像块的主成分特征，使用相应低分辨率视图的MCCA投影矩阵将主成分特征投影到MCCA子空间，利用邻域重建策略重建出全局人脸图像，再通过残差补偿对全局人脸图像补充细节；
步骤3最终输出的超分辨率重建结果为全局人脸图像加上残差人脸图像。
2.根据权利要求1所述的基于多集典型相关分析的人脸图像超分辨率重建识别方法，其特征在于，步骤1中所述的训练阶段包括以下步骤：
(1)给定多个分辨率视图人脸图像训练集为
Figure FDA0002377001000000011
其中m为分辨率视图的数量，将每幅图像
Figure FDA0002377001000000012
分成n个s×s大小的重叠o像素的图像块，其中N为样本的数量，
Figure FDA0002377001000000013
为位于第p(1≤p≤n)个位置的图像块的集合，
Figure FDA0002377001000000014
表示第i个视图中第j张人脸图像的第p个位置的图像块向量，通过去除均值
Figure FDA0002377001000000015
对
Figure FDA0002377001000000016
进行中心化，利用PCA提取
Figure FDA0002377001000000017
的主成分特征：
Figure FDA0002377001000000018
其中
Figure FDA0002377001000000019
表示
Figure FDA00023770010000000110
中心化后的图像块集，
Figure FDA00023770010000000111
和
Figure FDA00023770010000000112
分别为PCA变换矩阵和第i个视图第p个位置的主成分特征；
(2)去除均值
Figure FDA0002377001000000021
得到中心化的
Figure FDA0002377001000000022
MCCA目的为寻找m个投影方向
Figure FDA0002377001000000023
来最大化
Figure FDA0002377001000000024
之间相关系数之和，可以表示为如下优化问题：
Figure FDA0002377001000000025
s.t.
Figure FDA0002377001000000026
i＝1,2…,m,
其中
Figure FDA0002377001000000027
为视图内的协方差矩阵，
Figure FDA0002377001000000028
为视图间的协方差矩阵，μ为正则化参数，I为单位矩阵，利用拉格朗日乘子法可以得到如下等式：
Figure FDA0002377001000000029
其中λ1,λ2,…,λm为多元特征值，利用Horst算法迭代求解该等式，可以得到前d个特征向量
Figure FDA00023770010000000210
并构成m个视图的投影矩阵
Figure FDA00023770010000000211
i＝1,2,…,m，利用
Figure FDA00023770010000000212
可以将所有不同分辨率视图的高维特征投影到一致子空间：
Figure FDA00023770010000000213
3.根据权利要求1所述的基于多集典型相关分析的人脸图像超分辨率重建识别方法，其特征在于，步骤2中所述的测试阶段包括以下步骤：
(1)对于输入的低分辨率人脸图像xt，假设其位于第i个分辨率视图并且第h个分辨率视图为对应的高分辨率视图，首先将其分成n个重叠的图像块
Figure FDA00023770010000000214
对于每个图像块，计算它的主成分特征：
Figure FDA00023770010000000215
再将其投影到一致子空间：
Figure FDA00023770010000000216
(2)利用邻域重建策略恢复高分辨率特征
Figure FDA00023770010000000217
对于
Figure FDA00023770010000000218
从
Figure FDA00023770010000000219
中找到k个欧氏距离上的最近邻
Figure FDA00023770010000000220
最小化如下重建误差：
Figure FDA0002377001000000031
其中‖·‖为向量的二范数，设
Figure FDA0002377001000000032
通过
Figure FDA0002377001000000033
得到权重系数
Figure FDA0002377001000000034
将权重系数
Figure FDA0002377001000000035
应用到相应的高分辨率特征
Figure FDA0002377001000000036
上，得到
Figure FDA0002377001000000037
通过逆运算
Figure FDA0002377001000000038
计算高分辨率主成分特征，再通过
Figure FDA0002377001000000039
以及块合并得到高分辨率全局人脸图像
Figure FDA00023770010000000310
(3)针对在p位置上的人脸图像块，利用残差补偿恢复其人脸细节信息，利用上述步骤生成原始低分辨率视图人脸图像块
Figure FDA00023770010000000311
的高分辨率全局人脸
Figure FDA00023770010000000312
设
Figure FDA00023770010000000313
为将
Figure FDA00023770010000000314
经过下采样处理的人脸图像矩阵，高低分辨率残差人脸图像块可以通过如下方式得到：
Figure FDA00023770010000000315
和
Figure FDA00023770010000000316
对于上述重建出的全局人脸图像块
Figure FDA00023770010000000317
其低分辨率人脸图像块
Figure FDA00023770010000000318
的残差人脸图像为
Figure FDA00023770010000000319
其中
Figure FDA00023770010000000320
为
Figure FDA00023770010000000321
经过下采样后的图像，利用上述(2)中的邻域重建策略，从
Figure FDA00023770010000000322
中寻找k个最近邻并获得权重系数Wp，将权重系数应用到对应的高分辨率残差块
Figure FDA00023770010000000323
中得到
Figure FDA00023770010000000324
利用块合并得到重建出的残差人脸图像
Figure FDA00023770010000000325
4.根据权利要求3所述的基于多集典型相关分析的人脸图像超分辨率重建识别方法，其特征在于，步骤3中所述的最终输出的超分辨率重建结果为
Figure FDA00023770010000000326
CN202010069717.7A 2020-01-21 2020-01-21 基于多集典型相关分析的人脸图像超分辨率重建识别方法 Active CN111275624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010069717.7A CN111275624B (zh) 2020-01-21 2020-01-21 基于多集典型相关分析的人脸图像超分辨率重建识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010069717.7A CN111275624B (zh) 2020-01-21 2020-01-21 基于多集典型相关分析的人脸图像超分辨率重建识别方法

Publications (2)

Publication Number Publication Date
CN111275624A true CN111275624A (zh) 2020-06-12
CN111275624B CN111275624B (zh) 2023-08-08

Family

ID=70998996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010069717.7A Active CN111275624B (zh) 2020-01-21 2020-01-21 基于多集典型相关分析的人脸图像超分辨率重建识别方法

Country Status (1)

Country Link
CN (1) CN111275624B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797919A (zh) * 2020-06-30 2020-10-20 三峡大学 一种基于主成分分析与卷积神经网络的动态安全评估方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697197A (zh) * 2009-10-20 2010-04-21 西安交通大学 一种基于典型相关分析空间超分辨率的人脸识别方法
CN106097250A (zh) * 2016-06-22 2016-11-09 江南大学 一种基于鉴别典型相关的超分辨率稀疏重构方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101697197A (zh) * 2009-10-20 2010-04-21 西安交通大学 一种基于典型相关分析空间超分辨率的人脸识别方法
CN106097250A (zh) * 2016-06-22 2016-11-09 江南大学 一种基于鉴别典型相关的超分辨率稀疏重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUN-HAO YUAN: "Learning Simultaneous face super-resolution using multiset partial least squares", 《IEEE》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797919A (zh) * 2020-06-30 2020-10-20 三峡大学 一种基于主成分分析与卷积神经网络的动态安全评估方法

Also Published As

Publication number Publication date
CN111275624B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN112750082B (zh) 基于融合注意力机制的人脸超分辨率方法及***
Kim et al. Iterative kernel principal component analysis for image modeling
US20120121142A1 (en) Ultra-low dimensional representation for face recognition under varying expressions
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、***和介质
CN106097278B (zh) 一种多维信号的稀疏模型、重建方法和字典训练方法
Ren et al. CT-SRCNN: cascade trained and trimmed deep convolutional neural networks for image super resolution
CN108830791B (zh) 基于自身样例和稀疏表示的图像超分辨率方法
CN113205449A (zh) 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN114943656B (zh) 一种人脸图像修复方法及***
Liu et al. Research on super-resolution reconstruction of remote sensing images: A comprehensive review
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-CNN structure for face super-resolution
CN111611962A (zh) 基于分数阶多集偏最小二乘的人脸图像超分辨率识别方法
CN115936983A (zh) 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质
Mastan et al. DeepCFL: Deep contextual features learning from a single image
CN115439325A (zh) 低分辨率高光谱图像处理方法、装置、计算机程序产品
CN109559278B (zh) 基于多特征学习的超分辨图像重建方法及***
Ribeiro et al. Exploring texture transfer learning via convolutional neural networks for iris super resolution
CN111292237B (zh) 基于二维多集偏最小二乘的人脸图像超分辨率重建方法
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
CN111275624A (zh) 基于多集典型相关分析的人脸图像超分辨率重建识别方法
CN114764754B (zh) 一种基于几何感知先验引导的遮挡人脸修复方法
CN111292238B (zh) 一种基于正交偏最小二乘的人脸图像超分辨率重建方法
Kim et al. Kernel hebbian algorithm for single-frame super-resolution
CN111242082B (zh) 基于分数阶正交偏最小二乘的人脸超分辨率重建识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant