CN101799919A - 一种基于pca对齐的正面人脸图像超分辨率重建方法 - Google Patents
一种基于pca对齐的正面人脸图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN101799919A CN101799919A CN 201010142093 CN201010142093A CN101799919A CN 101799919 A CN101799919 A CN 101799919A CN 201010142093 CN201010142093 CN 201010142093 CN 201010142093 A CN201010142093 A CN 201010142093A CN 101799919 A CN101799919 A CN 101799919A
- Authority
- CN
- China
- Prior art keywords
- pca
- resolution
- image
- low
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
一种基于PCA对齐的正面人脸图像超分辨率重建方法,采取近期较为流行的两步法对图像进行超分辨率重建。第一步重建出测试低分辨率图像的中低频信息(全局结构),首先分别对高低分辨率训练图像库进行PCA变换,并根据仿射变换建立高低分辨率图像的PCA系数间的映射矩阵,接着根据此映射矩阵重建出测试低分辨率图像对应的高分辨率图像的PCA系数,最后得到其对应的高分辨率全局脸图像;第二步重建高频信息(细节信息),根据基于LLE的邻域重构对第一步得到的测试图像的高分辨率全局脸图像进行残差补偿,最终得到测试图像对应的超分辨率重建图像。
Description
发明领域
本发明涉及一种人脸图像重建方法,特别涉及一种基于PCA对齐的正面人脸图像超分辨率重建方法。
背景技术
在大多数数字图像的应用中,都希望获得高分辨率的图像。低分辨率正面人脸图像的超分辨率重建,可得到带有很多细节信息的高像素正面人脸图像,便于在如监控等多个领域的应用。
正是由于高分辨率图像的广泛应用,近年来出现了各种方法来改善所得图像质量。早期的超分辨率重建方法有双三次插值,凸集投影法等。近年来基于学习的两步超分辨率重建方法比较流形,并且取得了很好的效果。即将人脸超分辨率问题分解为人脸全局信息与局部细节信息的重建两部分,将全局信息与局部细节相加得到最终的高分辨率人脸图像。两步法是一个很好的框架,众多人脸超分辨率的算法都基于此框架。
图像超分辨率的核心问题是如何建立低分辨率图像(特征)到高分辨率图像(特征)之间的对应关系。因为PCA既能大大降低数据的维数,同时又能很好重建出全局人脸,所以在两步法的框架下,现有的人脸超分辨率算法中均采用PCA系数作为全局人脸的特征表达。因此,重建全局脸的核心问题是如何建立低分辨率图像PCA系数到高分辨率图像PCA系数之间的对应关系。
发明内容
本发明的目的在于提供一种基于PCA对齐的正面人脸图像超分辨率重建方法。
为达到上述目的,本发明采用的技术方案是:
1)首先对高低分辨率训练图库分别进行PCA变换,得各自相应的平均脸μH、μL、由正交特征向量组成的本征脸空间PH、PL和高低分辨率训练图像在各自本征脸空间的投影系数矩阵XH和XL,并根据PL求得低分辨率测试图像的PCA系数xl;
2)根据正交Procrustes Analysis,学习得到高低分辨率训练图像的PCA系数间的仿射变换矩阵R,根据该仿射变换矩阵R将xl映射到高分辨率PCA系数空间,即得到测试图像所对应的高分辨率图像的PCA系数,最后得到测试图像对应的全局脸图像;
3)参考基于LLE的邻域重构对上步骤2)得到的全局脸图像进行残差补偿,得到测试低分辨率图像对应的超分辨率重建图像。
所说的高、低分辨率PCA系数之间有下式关系:
XH=XLR+E
其中,XH为高分辨率训练图像的PCA系数矩阵,XL为低分辨率训练图像的PCA系数矩阵,R为将要求解的仿射变换矩阵,E为误差。
所说的高低分辨率图像的PCA系数间的仿射变换矩阵R是由ProcrustesAnalysis根据下式求解得到的:
R=kQ
其中k=trace(QT(XL)TXH)/trace((XL)TXL),tr(.)表示矩阵的迹,对(XL)TXH进行SVD分解得到(XL)TXH=U∑VT,令Q=UVT;
根据得到的仿射变换矩阵R,则测试图像对应的高分辨率图像的PCA系数可根据下式求解得到:
xh=xlR
其中xl=(Il-μL)PL,Il为低分辨率测试图像,PL为低分辩PCA本征脸空间,μL为低分辨率平均脸,xh为重建出的测试图像对应的高分辨率图像的PCA系数。
本发明将正面人脸图像超分辨率重建的问题看作是一个未知响应的***,已知一些对应的输入和输出,对给定一个输入,估计对应的输出问题,并假设***为一线性***,根据训练数据求得***响应,从而获得低分辨率图像PCA系数到高分辨率图像PCA系数之间的映射关系。
当要获得一组对问题世界的观测数据时,如果不能或者没有必要对其建立严格物理模型,可以使用数学的方法,从这组数据推算问题世界的数学模型,这类模型一般没有对问题世界的物理解释,但是,在输入输出直接的关系上反映了问题世界的实际,这就是“黑箱”原理。
如果不考虑低分辨率人脸图像的成像原理,而单纯将高低分辨率人脸图像PCA系数作为一个未知***响应的对应的输出和输入数据,则在两步法框架下,全局脸重建的问题可转化为如何估计该***的响应问题。
对通常的超分辨率问题,直接通过黑箱原理建立低分辨率图像特征到高分辨率图像特征之间的映射是不现实的。但正面人脸图像超分辨率是一个特殊问题,人脸图像具有规则的结构特征,在预处理过程中进行了对准和归一化,使得在相同位置上的数据具有相似特征,使用PCA又大地降低了数据维数,这些都极大地压缩了解空间,使得估计该逆***的响应成为可能。
基于以上分析和认识,进一步假设该***为一线性***,则全局脸重建的问题即转化为如何建立高低分辨率训练集在PCA空间的投影系数XH、XL间的映射关系。
本发明第一步重建出测试低分辨率图像的中低频信息(全局结构),首先分别对高低分辨率训练图像库进行PCA变换,并根据仿射变换建立高低分辨率PCA系数间的映射矩阵,再根据此映射矩阵重建出测试低分辨率图像对应的高分辨率图像的PCA系数,最后得到其对应的高分辨率全局脸图像;第二步重建高频信息(细节信息),根据基于LLE的邻域重构法对全局脸图像进行残差补偿,最终得到测试图像对应的超分辨率重建图像。
附图说明
所包括的附图用于提供对本发明的进一步理解,并构成本申请的一部分,所属附图说明了本发明的实施例,与文字说明一起用来解释本发明。
图1(a),1(b),1(c),1(d),1(e)是效果图,它给出了采用CAS PEAL人脸数据库时,本发明与其它两种超分方法的第一步全局脸结果的对比。从上到下每行分别对应:图1(a)原始高分辨率图像,图1(b)低分辨率图像,图1(c)本发明的全局脸结果,图1(d)庄的方法的全局脸的结果,图1(e)刘的方法的全局脸结果。
图2(a),2(b),2(c),2(d),2(e),2(f)是效果图,它给出了采用CAS PEAL人脸数据库时,本发明与其它三种超分方法的超分辨率重建结果的对比。从上到下每行分别对应:图2(a)原始高分辨率图像,图2(b)低分辨率图像,图2(c)本发明的超分结果,图2(d)庄的方法的超分结果,图2(e)刘的方法的超分结果,图2(f)王的方法的超分结果。
图3是效果图,它给出了采用CAS_PEAL人脸数据库时,本发明与其它三种超分方法对40幅测试图像进行超分后各方法超分结果的PSNR值对比盒图。此盒图描述了每个方法的40个超分结果的PSNR值的四分位数、中位数、第三四分位数与最大值。
具体实施方式
下面将根据附图对本发明进行详细说明。
本发明主要分为四个步骤:
1)首先对高低分辨率训练图库分别进行PCA变换,得到各自相应的平均脸μH、μL、由正交特征向量组成的本征脸空间PH、PL和高低分辨率训练图像在各自本征脸空间的投影系数矩阵XH和XL。并求得低分辨率测试图像的PCA系数xl;
2)根据正交Procrustes Analysis,学习得到高低分辨率训练图像的PCA系数间的仿射变换矩阵R,根据R将xl映射到高分辨率PCA系数空间,即得到测试图像所对应的高分辨率图像的PCA系数,最后得到测试图像对应的全局脸图像;
3)参考LLE对上步骤2)得到的全局脸图像进行残差补偿,得到测试低分辨率对应的超分辨率重建图像。
本发明的第一步首先对高低分辨率图像训练库Ih、Il,利用PCA,得到各自相应的平均脸μH、μL,由正交特征向量组成的本征脸空间PH、PL,和高低分辨率训练图像在各自本征脸空间的投影系数 其中各投影系数可用下式求得:
[式1]
上式中Ii H为高分辨率训练库中第i幅图像,Ii L为低分辨率训练图像库中第i幅图像。xi H为第i幅高分辨率训练图像的PCA系数,xi L为第i幅低分辨率训练图像的PCA系数。
对于对应的高低分辨率图像的PCA系数,本发明提出下式:
[式2]
XH=XLR+E
上式中XH为高分辨率训练图像的PCA系数矩阵,XL为低分辨率训练图像的PCA系数矩阵,R为将要求解的仿射变换矩阵,E为误差;
R的求解参考Procrustes analysis,由下式求得:
[式3]
R=kQ
可通过下式求解k:
[式4]
k=trace(QT(XL)TXH)/trace((XL)TXL)
上式中tr(.)表示矩阵的迹。
可通过下式求解Q:
[式5]
Q=UVT
[式6]
(XL)TXH=U∑VT
首先通过下式先求得低分辨率测试图像的PCA系数:
[式7]
xl=(Il-μL)PL
上式中PL为低分辩PCA本征脸空间,μL为低分辨率平均脸,Il为低分辨率测试图像;
接着通过下式重建出低分辨率图像对应的高分辨率图像的PCA系数:
[式8]
xh=xlR
上式中xh表示低分辨率测试图像对应的高分辨率图像的PCA系数,R为从低分辨率图像的PCA系数到其对应的高分辨率图像的PCA系数间的仿射变换矩阵;
最后可根据下式求得测试低分辨率测试图像所对应的高分辨率全局脸:
[式9]
Ih=xh(PH)T+μH
上式中(PH)T表示高分辨率本征脸的转置,μH表示高分辨率平均脸,xh表示测试低分辨率图像所对应的高分辨率图像的PCA系数,Ih表示测试低分辨率图像所对应的高分辨率全局脸。
最后通过基于LLE的邻域重构对高分辨率全局脸图像Ih进行残差补偿,即可得到测试低分辨率对应的超分辨率重建图像。
图1(a),1(b),1(c),1(d),1(e)是效果图,它给出了采用CAS_PEAL人脸数据库时,本发明与其它两种超分方法的第一步全局脸结果的对比。图2(a),2(b),2(c),2(d),2(e),2(f)是效果图,它给出了采用CAS_PEAL人脸数据库时,本发明与其它三种超分方法的超分辨率重建结果的对比。图3是效果图,它给出了采用CAS_PEAL人脸数据库时,本发明与其它三种超分方法分别对40幅测试图像进行超分后,各方法得到的所有40幅超分图像的PSNR值对比。从视觉效果看,本发明的全局脸结果很好的得到了人脸的结构信息,较之其它方法实现简单,耗时短,效果明显。从图1和图2中的视觉和数值效果均可看出,本文方法细节信息恢复良好,振铃噪声均小于其它三种方法,结果较接近原始人物。
尽管已经参考附图对本发明进行了解释和描述,专业技术人员应该理解,在不脱离本发明精神和范围的情况下,可以在其中或对其进行各种其他改变,增删。
Claims (3)
1.一种基于PCA对齐的正面人脸图像超分辨率重建方法,包括以下步骤:
1)首先对高低分辨率训练图库分别进行PCA变换,得各自相应的平均脸μH、μL、由正交特征向量组成的本征脸空间PH、PL和高低分辨率训练图像在各自本征脸空间的投影系数矩阵XH和XL,并根据PL求得低分辨率测试图像的PCA系数xl;
2)根据正交Procrustes Analysis,学习得到高低分辨率训练图像的PCA系数间的仿射变换矩阵R,根据该仿射变换矩阵R将xl映射到高分辨率PCA系数空间,即得到测试图像所对应的高分辨率图像的PCA系数,最后得到测试图像对应的全局脸图像;
3)参考基于LLE的邻域重构对上步骤2)得到的全局脸图像进行残差补偿,得到测试低分辨率图像对应的超分辨率重建图像。
2.如权利要求1所述的基于PCA对齐的正面人脸图像超分辨率重建方法,其特征在于:所说的高、低分辨率PCA系数之间有下式关系:
XH=XLR+E
其中,XH为高分辨率训练图像的PCA系数矩阵,XL为低分辨率训练图像的PCA系数矩阵,R为将要求解的仿射变换矩阵,E为误差。
3.如权利要求1所述的基于PCA对齐的正面人脸图像超分辨率重建方法,其特征在于:所说的高低分辨率图像的PCA系数间的仿射变换矩阵R是由Procrustes Analysis根据下式求解得到的:
R=kQ
其中k=trace(QT(XL)TXH)/trace((XL)TXL),tr(.)表示矩阵的迹,对(XL)TXH进行SVD分解得到(XL)TXH=U∑VT,令Q=UVT;
根据得到的仿射变换矩阵R,则测试图像对应的高分辨率图像的PCA系数可根据下式求解得到:
xh=xlR
其中xl=(Il-μL)PL,Il为低分辨率测试图像,PL为低分辩PCA本征脸空间,μL为低分辨率平均脸,xh为重建出的测试图像对应的高分辨率图像的PCA系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010142093 CN101799919A (zh) | 2010-04-08 | 2010-04-08 | 一种基于pca对齐的正面人脸图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010142093 CN101799919A (zh) | 2010-04-08 | 2010-04-08 | 一种基于pca对齐的正面人脸图像超分辨率重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101799919A true CN101799919A (zh) | 2010-08-11 |
Family
ID=42595592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010142093 Pending CN101799919A (zh) | 2010-04-08 | 2010-04-08 | 一种基于pca对齐的正面人脸图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101799919A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102136144A (zh) * | 2011-04-11 | 2011-07-27 | 北京大学 | 图像配准可靠性模型和超分辨率图像的重构方法 |
CN102156875A (zh) * | 2011-03-25 | 2011-08-17 | 西安电子科技大学 | 基于多任务ksvd字典学习的图像超分辨率重构方法 |
CN102750686A (zh) * | 2012-06-12 | 2012-10-24 | 华东师范大学 | 一种基于学习的超分辨文档图像复原处理方法 |
CN107169413A (zh) * | 2017-04-12 | 2017-09-15 | 上海大学 | 一种基于特征块权重化的面部表情识别方法 |
CN110020578A (zh) * | 2018-01-10 | 2019-07-16 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN112102170A (zh) * | 2020-09-18 | 2020-12-18 | 重庆紫光华山智安科技有限公司 | 超分辨率重建网络训练、图像生成方法、***、终端及介质 |
WO2021168827A1 (zh) * | 2020-02-28 | 2021-09-02 | 华为技术有限公司 | 图像传输方法及装置 |
CN114881886A (zh) * | 2022-06-02 | 2022-08-09 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050019000A1 (en) * | 2003-06-27 | 2005-01-27 | In-Keon Lim | Method of restoring and reconstructing super-resolution image from low-resolution compressed image |
CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
CN101299235A (zh) * | 2008-06-18 | 2008-11-05 | 中山大学 | 一种基于核主成分分析的人脸超分辨率重构方法 |
CN101609503A (zh) * | 2009-07-16 | 2009-12-23 | 复旦大学 | 基于双流形对齐的人脸超分图像处理方法 |
CN101615290A (zh) * | 2009-07-29 | 2009-12-30 | 西安交通大学 | 一种基于典型相关分析的人脸图像超分辨率重建方法 |
-
2010
- 2010-04-08 CN CN 201010142093 patent/CN101799919A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050019000A1 (en) * | 2003-06-27 | 2005-01-27 | In-Keon Lim | Method of restoring and reconstructing super-resolution image from low-resolution compressed image |
CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
CN101299235A (zh) * | 2008-06-18 | 2008-11-05 | 中山大学 | 一种基于核主成分分析的人脸超分辨率重构方法 |
CN101609503A (zh) * | 2009-07-16 | 2009-12-23 | 复旦大学 | 基于双流形对齐的人脸超分图像处理方法 |
CN101615290A (zh) * | 2009-07-29 | 2009-12-30 | 西安交通大学 | 一种基于典型相关分析的人脸图像超分辨率重建方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102156875A (zh) * | 2011-03-25 | 2011-08-17 | 西安电子科技大学 | 基于多任务ksvd字典学习的图像超分辨率重构方法 |
CN102156875B (zh) * | 2011-03-25 | 2013-04-03 | 西安电子科技大学 | 基于多任务ksvd字典学习的图像超分辨率重构方法 |
CN102136144A (zh) * | 2011-04-11 | 2011-07-27 | 北京大学 | 图像配准可靠性模型和超分辨率图像的重构方法 |
CN102136144B (zh) * | 2011-04-11 | 2013-03-06 | 北京大学 | 图像配准可靠性模型和超分辨率图像的重构方法 |
CN102750686A (zh) * | 2012-06-12 | 2012-10-24 | 华东师范大学 | 一种基于学习的超分辨文档图像复原处理方法 |
CN102750686B (zh) * | 2012-06-12 | 2014-12-24 | 华东师范大学 | 一种基于学习的超分辨文档图像复原处理方法 |
CN107169413A (zh) * | 2017-04-12 | 2017-09-15 | 上海大学 | 一种基于特征块权重化的面部表情识别方法 |
CN110020578A (zh) * | 2018-01-10 | 2019-07-16 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
US11386699B2 (en) | 2018-01-10 | 2022-07-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method, apparatus, storage medium, and electronic device |
WO2021168827A1 (zh) * | 2020-02-28 | 2021-09-02 | 华为技术有限公司 | 图像传输方法及装置 |
CN112102170A (zh) * | 2020-09-18 | 2020-12-18 | 重庆紫光华山智安科技有限公司 | 超分辨率重建网络训练、图像生成方法、***、终端及介质 |
CN112102170B (zh) * | 2020-09-18 | 2021-05-18 | 重庆紫光华山智安科技有限公司 | 超分辨率重建网络训练、图像生成方法、***、终端及介质 |
CN114881886A (zh) * | 2022-06-02 | 2022-08-09 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101719266B (zh) | 一种基于仿射变换的正面人脸图像超分辨率重建方法 | |
Du et al. | Super-resolution reconstruction of single anisotropic 3D MR images using residual convolutional neural network | |
CN101799919A (zh) | 一种基于pca对齐的正面人脸图像超分辨率重建方法 | |
CN101615290B (zh) | 一种基于典型相关分析的人脸图像超分辨率重建方法 | |
Lefkimmiatis et al. | Hessian Schatten-norm regularization for linear inverse problems | |
CN105046672B (zh) | 一种图像超分辨率重建方法 | |
WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
CN101976435B (zh) | 基于对偶约束的联合学习超分辨方法 | |
CN102722875B (zh) | 一种基于视觉注意和质量可变的图像超分辨率重建方法 | |
CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
CN107464216A (zh) | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 | |
CN102629374B (zh) | 基于子空间投影和邻域嵌入的图像超分辨率重建方法 | |
CN101299235A (zh) | 一种基于核主成分分析的人脸超分辨率重构方法 | |
Bao et al. | Undersampled MR image reconstruction using an enhanced recursive residual network | |
CN103077505A (zh) | 基于字典学习和结构聚类的图像超分辨率重建方法 | |
CN106204440A (zh) | 一种多帧超分辨图像重建方法及*** | |
CN103679661B (zh) | 一种基于显著性分析的自适应遥感图像融合方法 | |
CN106157244A (zh) | 一种基于稀疏表示的QR Code图像超分辨重建方法 | |
CN104008539A (zh) | 基于多尺度几何分析的图像超分辨率重建方法 | |
CN106251320A (zh) | 基于联合稀疏与结构字典的遥感图像融合方法 | |
CN109785236A (zh) | 一种基于超像素和卷积神经网络的图像超分辨方法 | |
CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
Yue et al. | Unsupervised moiré pattern removal for recaptured screen images | |
Li et al. | Samscore: A semantic structural similarity metric for image translation evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20100811 |