CN102136065B - 基于凸优化的人脸超分辨率方法 - Google Patents
基于凸优化的人脸超分辨率方法 Download PDFInfo
- Publication number
- CN102136065B CN102136065B CN201110075606.8A CN201110075606A CN102136065B CN 102136065 B CN102136065 B CN 102136065B CN 201110075606 A CN201110075606 A CN 201110075606A CN 102136065 B CN102136065 B CN 102136065B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- facial image
- low
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于凸优化的人脸超分辨率方法,主要解决现有方法所获取的超分辨率人脸图像质量不高的问题。其实现步骤为:(1)将高、低分辨率人脸图像训练集和测试低分辨率人脸图像划分为图像块的形式;(2)对于每一个测试低分辨率人脸图像块,利用凸优化方法求解其在低分辨率人脸图像训练集对应位置上的图像块之间的重构系数;(3)利用低分辨率图像块的重构系数,重构超分辨率人脸图像块,最后合成整体的超分辨率人脸图像。本发明提高了超分辨率人脸图像的质量,降低了算法的复杂度,使其更具有通用性,可用于视频会议、公共安全和人脸识别。
Description
技术领域:
本发明属于图像处理技术领域,涉及人脸超分辨率方法,可用于视频会议、新闻广播、人脸识别和视频监控。
背景技术:
人脸被普遍认为是在图像处理领域中最有研究价值的物体,在现实社会有广泛的应用,如视频会议、新闻广播、人脸识别、视频监控等都主要以人脸为主。由于人脸是一种极为复杂的,多维的模式,容易受位置、方向、光照条件和面部表情等方面的影响,再加上人们对人脸的熟悉和敏感,因此对于人脸的研究相对比较困难。但是获取清晰、高分辨率的人脸图像是人脸处理***必不可少的一步,而视频设备中获取的人脸图像往往是非常小的,这种低分辨率的图像在工程中很难直接应用,从而成为人脸识别的最大障碍之一。
人脸超分辨率技术是一种从低分辨率人脸图像中获取对应的高分辨率人脸图像的技术。对于人脸图像,由于每个人的图像都是由眉毛、眼睛、鼻子等器官组成,各个面部器官都呈现出特定的纹理特征。而且,经过人脸对齐后,可以近似认为每张图片中的每个器官所处的位置是大致相同的。由于这种结构的特征,Baker和Kanade于2000年第一次提出了人脸超分辨率(HallucinatingFaces)的概念,使得人脸超分辨率重构从图像的超分辨率技术中分离出来,作为一个相对独立的研究领域,在Baker和Kanade提出的方法中,他们选择人脸图像的高斯金字塔的水平与垂直方向的导数和拉普拉斯金字塔,作为人脸图像的特征空间,但是得到的超分辨率人脸图像在有些部位存在较大的噪声。为了解决这一问题,主要有以下几种现有算法。
文献[1]:2002年W.T.Freeman等人提出了基于例子的图像超分辨率方法,(W.T.Freeman,T.R.Jones,and E.C.Pasztor.Example-basedsuper-resolution.IEEE Computer Graphics and Applications,Vol.22,lssue2,2002)该方法利用马尔可夫网络来学习训练库中与低分辨率图像不同区域相对应的高分辨率率图像的细节,再用学习得到的关系来预测输入低分辨率图像的细节信息,但这种马尔可夫网络的学习方法仍然丢失了很多图像信息。
文献[2]:2004年Hong Chang等人提出了邻域嵌入算法(H.Chang,D.-Y.Yeung,and Y.Xiong.Super-resolutionthrongh neighborembedding.CVPR,2004.),在该算法中,假设高、低分辨率图像具有相似的流行结构,将低分辨率率空间的权值运用于高分辨率空间,重构出高分辨率图像。但是,这种假设并不成立,算法具有不稳定性,获得的超分辨率人脸图像质量不够理想。
文献[3]:2010年,Xiang Ma等人提出了基于位置块的人脸超分辨率方法(X.Ma,J.Zhang,C.Qi,Hullucinating face by position-patch.PatternRecognition,2010),他利用凸最小二乘算法重构每一个图像块,重构精度不够高,获得的超分辨率人脸图像质量也不够理想。
发明内容
本发明的目的在于克服上述已有技术的不足,提出了一种基于凸优化的人脸超分辨率方法,以提高超分辨率人脸图像的质量。
为实现上述目的,本发明包括如下步骤:
(1)输入高分辨率人脸图像训练集{Hm},m=1,2,...,M,对高分辨率的人脸图像进行模糊和下采样,得到低分辨率的人脸图像训练集{Lm},m=1,2,...,M,然后将高、低分辨率的人脸图像训练集分别划分为相互重叠的图像块和m=1,2,...,M,M表示高、低分辨率的人脸图像训练集中人脸图像的个数,N表示划分的图像块的个数,(i,j)表示在人脸图像中位于第i行j列的图像块的位置信息;
(3)对于步骤(2)中测试低分辨率人脸图像的每一个图像块Ik(i,j),k=1,2,...,N,通过如下凸优化函数求解出其对于低分辨率人脸图像训练集中对应相同位置的图像块的重构系数xk:
min||xk||1 subject to Ik(i,j)=Akxk
其中Ik(i,j)表示测试低分辨率人脸图像第k个图像块,(i,j)表示第k个图像块在人脸图像中的位置,Ak表示一个矩阵,其每一列由低分辨率人脸图像训练集中对应相同位置的图像块Lmk(i,j)组成,m=1,2,...,M,k=1,2,...,N;
(5)将所有合成的超分辨率人脸图像块,按照其在人脸图像中的位置组成整体的人脸图像,得到超分辨率的人脸图像。
本发明由于使用了优化函数来求解每一个人脸图像块的重构系数,因而与现有方法相比具有以下优点:
1)节省了运算时间,降低了运算的复杂度;
2)提高了重构精度,提升了超分辨率图像的质量。
附图说明
图1是本发明的流程图;
图2是本发明与现有方法比较PSNR值的示意图;
图3是本发明与现有方法比较的视觉效果图。
具体实施方式
下面参照图1对本发明作详细说明:
步骤1:输入高、低分辨率人脸图像训练集,并表示成图像块的形式。
输入的人脸图像为CMU PIE人脸数据库的正面人脸图片,CMU PIE人脸数据库由1428张正面人脸组成,总共有68个不同的人,每个人有21张在不同的光照条件下获取的图片,其中每一张图片的尺寸均为100*100,且均经过标准化处理;
为了保证算法的有效性,本发明随机选择30个人的630张图片作为高分辨率人脸图像训练集{Hm},m=1,2,...,M,其余的作为测试图像,按照这种方法随机分成10组。对于高分辨率人脸图像训练集中的每张图片进行模糊和下采样,得到的图像集作为低分辨率人脸图像训练集{Lm},m=1,2,...,M,M表示高、低分辨率的人脸图像训练集中人脸图像的个数,在本实施例中M=630,但不限于630,低分辨率人脸图像的大小为25×25;
假设人脸图像的放大倍数为a,低分辨率人脸图像划分的图像块大小为n×n,对应的高分辨率人脸图像划分的图像块的大小为低分辨率人脸图像块的a倍的条件下,将低分辨率图像块重叠区域的大小设置为n/3,将高分辨率图像块重叠区域大小设置为an/3,在本实施例中n=3,a=4。
步骤2:输入测试低分辨率人脸图像,并表示成图像块的形式。
输入测试低分辨率人脸图像I,按照与步骤1所述的低分辨率人脸图像训练集中的图像相同的划分图像块方式进行划分图像块,并表示成相互重叠的图像块形式N表示划分的图像块的个数,(i,j)表示在人脸图像中位于第i行j列的图像块的位置信息。
步骤3:利用凸优化方法,求解每一个测试低分辨率人脸图像块的重构系数。
对于步骤(2)中测试低分辨率人脸图像的每一个图像块Ik(i,j),k=1,2,...,N,通过如下凸优化函数求解出其对于低分辨率人脸图像训练集中对应相同位置的图像块的重构系数xk(图像块以列向量形式表示):
min||xk||1 subject to
其中Ik(i,j)表示测试低分辨率人脸图像第k个图像块,Ak表示一个矩阵,该矩阵的每一列由低分辨率人脸图像训练集中对应相同位置的图像块Lmk(i,j)组成,m=1,2,...,M,k=1,2,...,N,ε表示容错参数,ε>0。在本实施例中采用基追踪算法求解此优化函数,但不限于该算法,例如正交匹配追踪算法、梯度投影算法和Lasso算法等;
步骤4:重构超分辨率人脸图像块。
步骤5:合成整体的超分辨率人脸图像。
将步骤4所得到的所有的超分辨率人脸图像块Sk,k=1,2,...,N,按照每一个图像块在人脸图像中的位置拼接在一起,并对于图像块的重叠部分通过求均值作为它的像素值,从而得到整体的超分辨率人脸图像。
本发明的效果通过以下仿真进一步说明:
1、仿真条件与内容:
使用CMU PIE人脸数据库进行人脸超分辨率实验,该数据库由1428张正面人脸组成,总共有68个不同的人,每个人包括21张图片,均在不同的时间,不同的光照条件拍摄获得,拍摄的人脸图有不同的面部表情,其中每一张图片的尺寸均为100*100,且均经过标准化处理。在实验中,本发明随机选取30个人的630张图片作为训练图片,其余的作为测试图片,按照这种方法随机分成10组。
软件平台为MATLAB7.1
2、仿真结果:
本发明在CMU PIE人脸数据库上进行实验,进行仿真比较,为了验证本发明的有效性,本实验对测试样本的PSNR值和SSIM值进行比较,PSNR表示峰值信噪比,其值越高图像质量越好,SSIM表示结构相似度,其值越高与真实图像越接近,对所有实验结果取平均值,实验结果如表1所示。
表1用本方法与现有方法在PIE人脸数据库的实验结果对比
方法 | Bicubic插值 | 文献[1] | 文献[2] | 文献[3] | 本发明方法 |
PSNR | 24.5388 | 26.0954 | 26.3785 | 28.1613 | 28.2437 |
SSIM | 0.7278 | 0.7544 | 0.7444 | 0.8146 | 0.8178 |
表1中的文献[1]是指W.T.Freeman,T.R.Jones,and E.C.Pasztor.Example-based super-resolution.IEEE Computer Graphics andApplications,Vol.22,lssue 2,2002;文献[2]是指H.Chang,D.-Y.Yeung,andY.Xiong.Super-resolutionthrongh neighbor embedding.CVPR,2004;文献[3]是指X.Ma,J.Zhang,C.Qi,Hullucinating face by position-patch.Pattern Recognition,2010。
从表1可以看出,本发明方法在总体上要优于文献[1]、[2]和[3]的结果。
对于该实验,统计CMU PIE数据库不同光照条件下的测试人脸图像的实验结果,比较本发明与现有方法的PSNR值,其结果如图2所示。从图2可以看出本发明对于不同光照条件下得到的超分辨率人脸图像效果都要优于现有方法。
对于该实验,选取一部分本发明与现有方法得到的超分辨率人脸图像,比较本发明与现有方法的视觉效果,其结果如图3所示,其中,图3(a)表示输入测试低分辨率图像(25×25);图3(b)表示bi-cubic插值结果(100×100);图3(c)表示文献[1]方法结果(100×100);图3(d)表示文献[2]方法结果(100×100);图3(e)表示文献[3]方法结果(100×100);图3(f)表示本发明结果(100×100);图3(g)表示真实图像(100×100)。从图3可以看出,本发明在视觉效果上优于现有方法。
Claims (2)
1.一种基于凸优化的人脸超分辨率方法,包括如下步骤:
(1)输入高分辨率人脸图像训练集{Hm},m=1,2,...,M,及其对应的低分辨率的人脸图像训练集{Lm},m=1,2,...,M,然后将高、低分辨率的人脸图像训练集分别划分为相互重叠的图像块和m=1,2,...,M,M表示高、低分辨率的人脸图像训练集中人脸图像的个数,N表示划分的图像块的个数,(i,j)表示在人脸图像中位于第i行j列的图像块的位置信息,低分辨率图像块的大小为p×p,对应的高分辨率图像块的大小为ap×ap,a为放大倍数;
(2)输入测试低分辨率人脸图像I,按照与低分辨率人脸图像训练集相同的划分块的方式,把测试低分辨率人脸图像I表示成相互重叠的图像块
(3)对于步骤(2)中测试低分辨率人脸图像的每一个图像块Ik(i,j),k=1,2,...,N,采用凸优化的方法来求解最稀疏的重构系数;
2.根据权利要求1所述的人脸超分辨率方法,其中步骤(3)所述的采用凸优化的方法来求解重构系数的过程为,对于测试低分辨率人脸图像的每一个图像块Ik(i,j),k=1,2,...,N,通过如下凸优化函数求解出其在对应的低分辨训练矩阵Ak上最稀疏的重构系数xk:
min||xk||1subjecttoIk(i,j)=Akxk
其中Ik(i,j)表示测试低分辨率人脸图像第k个图像块,(i,j)表示第k个图像块在人脸图像中的位置信息,Ak表示其对应的低分辨训练矩阵,m=1,2,...,M,k=1,2,...,N。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110075606.8A CN102136065B (zh) | 2011-03-28 | 2011-03-28 | 基于凸优化的人脸超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110075606.8A CN102136065B (zh) | 2011-03-28 | 2011-03-28 | 基于凸优化的人脸超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102136065A CN102136065A (zh) | 2011-07-27 |
CN102136065B true CN102136065B (zh) | 2014-04-02 |
Family
ID=44295847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110075606.8A Expired - Fee Related CN102136065B (zh) | 2011-03-28 | 2011-03-28 | 基于凸优化的人脸超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102136065B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065292B (zh) * | 2012-12-26 | 2015-07-15 | 武汉大学 | 一种基于主成份稀疏表达的人脸超分辨率重建方法 |
CN103093444B (zh) * | 2013-01-17 | 2015-05-20 | 西安电子科技大学 | 基于自相似性和结构信息约束的图像超分辨重建方法 |
CN103325104B (zh) * | 2013-06-09 | 2016-05-11 | 中山大学 | 基于迭代稀疏表达的人脸图像超分辨率重建方法 |
CN103312941B (zh) * | 2013-06-19 | 2016-12-07 | 清华大学 | 基于凸优化理论的视频联合去噪及超分辨率方法和*** |
CN105335930B (zh) * | 2015-10-28 | 2018-05-29 | 武汉大学 | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及*** |
CN105701515B (zh) * | 2016-01-18 | 2019-01-04 | 武汉大学 | 一种基于双层流形约束的人脸超分辨率处理方法及*** |
CN105701770B (zh) * | 2016-01-18 | 2018-12-14 | 武汉大学 | 一种基于上下文线性模型的人脸超分辨率处理方法及*** |
CN107680043B (zh) * | 2017-09-29 | 2020-09-22 | 杭州电子科技大学 | 基于图模型的单幅图像超分辨率输出方法 |
CN110738601A (zh) * | 2019-10-23 | 2020-01-31 | 智慧视通(杭州)科技发展有限公司 | 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101477684A (zh) * | 2008-12-11 | 2009-07-08 | 西安交通大学 | 一种利用位置图像块重建的人脸图像超分辨率方法 |
-
2011
- 2011-03-28 CN CN201110075606.8A patent/CN102136065B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101477684A (zh) * | 2008-12-11 | 2009-07-08 | 西安交通大学 | 一种利用位置图像块重建的人脸图像超分辨率方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102136065A (zh) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102136065B (zh) | 基于凸优化的人脸超分辨率方法 | |
Liang et al. | Details or artifacts: A locally discriminative learning approach to realistic image super-resolution | |
Cao et al. | Video super-resolution transformer | |
Kim et al. | Progressive face super-resolution via attention to facial landmark | |
CN101615290B (zh) | 一种基于典型相关分析的人脸图像超分辨率重建方法 | |
CN105741252B (zh) | 基于稀疏表示与字典学习的视频图像分级重建方法 | |
Cai et al. | FCSR-GAN: Joint face completion and super-resolution via multi-task learning | |
CN102902961A (zh) | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 | |
CN102243711B (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
Yang et al. | Reference-guided deep super-resolution via manifold localized external compensation | |
Wei et al. | Improving resolution of medical images with deep dense convolutional neural network | |
CN108280804A (zh) | 一种多帧图像超分辨率重建方法 | |
CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
Zhang et al. | Color-guided depth image recovery with adaptive data fidelity and transferred graph Laplacian regularization | |
CN103049340A (zh) | 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法 | |
Liu et al. | Infrared image super resolution using gan with infrared image prior | |
Li et al. | Frequency separation network for image super-resolution | |
CN103971354A (zh) | 低分辨率红外图像重建高分辨率红外图像的方法 | |
CN104504672A (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
CN103020940A (zh) | 一种基于局部特征转换的人脸超分辨率重建方法 | |
Zheng et al. | Guided cyclegan via semi-dual optimal transport for photo-realistic face super-resolution | |
Yu et al. | Scale-aware frequency attention network for super-resolution | |
Jia et al. | Dual-complementary convolution network for remote-sensing image denoising | |
CN111062274B (zh) | 上下文感知嵌入的人群计数方法、***、介质及电子设备 | |
Hua et al. | Image super resolution using fractal coding and residual network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140402 Termination date: 20200328 |