CN102136065B - 基于凸优化的人脸超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于凸优化的人脸超分辨率方法，主要解决现有方法所获取的超分辨率人脸图像质量不高的问题。其实现步骤为：(1)将高、低分辨率人脸图像训练集和测试低分辨率人脸图像划分为图像块的形式；(2)对于每一个测试低分辨率人脸图像块，利用凸优化方法求解其在低分辨率人脸图像训练集对应位置上的图像块之间的重构系数；(3)利用低分辨率图像块的重构系数，重构超分辨率人脸图像块，最后合成整体的超分辨率人脸图像。本发明提高了超分辨率人脸图像的质量，降低了算法的复杂度，使其更具有通用性，可用于视频会议、公共安全和人脸识别。

Description

基于凸优化的人脸超分辨率方法

技术领域：

本发明属于图像处理技术领域，涉及人脸超分辨率方法，可用于视频会议、新闻广播、人脸识别和视频监控。

背景技术：

人脸被普遍认为是在图像处理领域中最有研究价值的物体，在现实社会有广泛的应用，如视频会议、新闻广播、人脸识别、视频监控等都主要以人脸为主。由于人脸是一种极为复杂的，多维的模式，容易受位置、方向、光照条件和面部表情等方面的影响，再加上人们对人脸的熟悉和敏感，因此对于人脸的研究相对比较困难。但是获取清晰、高分辨率的人脸图像是人脸处理***必不可少的一步，而视频设备中获取的人脸图像往往是非常小的，这种低分辨率的图像在工程中很难直接应用，从而成为人脸识别的最大障碍之一。

人脸超分辨率技术是一种从低分辨率人脸图像中获取对应的高分辨率人脸图像的技术。对于人脸图像，由于每个人的图像都是由眉毛、眼睛、鼻子等器官组成，各个面部器官都呈现出特定的纹理特征。而且，经过人脸对齐后，可以近似认为每张图片中的每个器官所处的位置是大致相同的。由于这种结构的特征，Baker和Kanade于2000年第一次提出了人脸超分辨率(HallucinatingFaces)的概念，使得人脸超分辨率重构从图像的超分辨率技术中分离出来，作为一个相对独立的研究领域，在Baker和Kanade提出的方法中，他们选择人脸图像的高斯金字塔的水平与垂直方向的导数和拉普拉斯金字塔，作为人脸图像的特征空间，但是得到的超分辨率人脸图像在有些部位存在较大的噪声。为了解决这一问题，主要有以下几种现有算法。

文献[1]：2002年W.T.Freeman等人提出了基于例子的图像超分辨率方法，(W.T.Freeman，T.R.Jones，and E.C.Pasztor.Example-basedsuper-resolution.IEEE Computer Graphics and Applications，Vol.22，lssue2，2002)该方法利用马尔可夫网络来学习训练库中与低分辨率图像不同区域相对应的高分辨率率图像的细节，再用学习得到的关系来预测输入低分辨率图像的细节信息，但这种马尔可夫网络的学习方法仍然丢失了很多图像信息。

文献[2]：2004年Hong Chang等人提出了邻域嵌入算法(H.Chang，D.-Y.Yeung，and Y.Xiong.Super-resolutionthrongh neighborembedding.CVPR，2004.)，在该算法中，假设高、低分辨率图像具有相似的流行结构，将低分辨率率空间的权值运用于高分辨率空间，重构出高分辨率图像。但是，这种假设并不成立，算法具有不稳定性，获得的超分辨率人脸图像质量不够理想。

文献[3]：2010年，Xiang Ma等人提出了基于位置块的人脸超分辨率方法(X.Ma，J.Zhang，C.Qi，Hullucinating face by position-patch.PatternRecognition，2010)，他利用凸最小二乘算法重构每一个图像块，重构精度不够高，获得的超分辨率人脸图像质量也不够理想。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于凸优化的人脸超分辨率方法，以提高超分辨率人脸图像的质量。

为实现上述目的，本发明包括如下步骤：

(1)输入高分辨率人脸图像训练集{H^m}，m＝1，2，...，M，对高分辨率的人脸图像进行模糊和下采样，得到低分辨率的人脸图像训练集{L^m}，m＝1，2，...，M，然后将高、低分辨率的人脸图像训练集分别划分为相互重叠的图像块

和

m＝1，2，...，M，M表示高、低分辨率的人脸图像训练集中人脸图像的个数，N表示划分的图像块的个数，(i，j)表示在人脸图像中位于第i行j列的图像块的位置信息；

(2)输入测试低分辨率人脸图像I，按照与低分辨率人脸图像训练集相同的划分块的方式，把测试低分辨率人脸图像I表示成相互重叠的图像块

(3)对于步骤(2)中测试低分辨率人脸图像的每一个图像块I^k(i，j)，k＝1，2，...，N，通过如下凸优化函数求解出其对于低分辨率人脸图像训练集中对应相同位置的图像块的重构系数x^k：

min||x^k||₁ subject to I^k(i，j)＝A^kx^k

其中I^k(i，j)表示测试低分辨率人脸图像第k个图像块，(i，j)表示第k个图像块在人脸图像中的位置，A^k表示一个矩阵，其每一列由低分辨率人脸图像训练集中对应相同位置的图像块L^mk(i，j)组成，m＝1，2，...，M，k＝1，2，...，N；

(4)利用步骤(3)中求出的重构系数x^k，与高分辨率人脸图像训练集中对应相同位置的图像块H^mk(i，j)，m＝1，2，...，M加权合成超分辨率人脸图像块S^k：

k＝1，2，...，N；

(5)将所有合成的超分辨率人脸图像块，按照其在人脸图像中的位置组成整体的人脸图像，得到超分辨率的人脸图像。

本发明由于使用了优化函数来求解每一个人脸图像块的重构系数，因而与现有方法相比具有以下优点：

1)节省了运算时间，降低了运算的复杂度；

2)提高了重构精度，提升了超分辨率图像的质量。

附图说明

图1是本发明的流程图；

图2是本发明与现有方法比较PSNR值的示意图；

图3是本发明与现有方法比较的视觉效果图。

具体实施方式

下面参照图1对本发明作详细说明：

步骤1：输入高、低分辨率人脸图像训练集，并表示成图像块的形式。

输入的人脸图像为CMU PIE人脸数据库的正面人脸图片，CMU PIE人脸数据库由1428张正面人脸组成，总共有68个不同的人，每个人有21张在不同的光照条件下获取的图片，其中每一张图片的尺寸均为100*100，且均经过标准化处理；

为了保证算法的有效性，本发明随机选择30个人的630张图片作为高分辨率人脸图像训练集{H^m}，m＝1，2，...，M，其余的作为测试图像，按照这种方法随机分成10组。对于高分辨率人脸图像训练集中的每张图片进行模糊和下采样，得到的图像集作为低分辨率人脸图像训练集{L^m}，m＝1，2，...，M，M表示高、低分辨率的人脸图像训练集中人脸图像的个数，在本实施例中M＝630，但不限于630，低分辨率人脸图像的大小为25×25；

对于输入的高、低分辨率的人脸图像训练集通过以下方法分别划分为相互重叠的图像块

和

m＝1，2，...，M，N表示划分的图像块的个数，(i，j)表示在人脸图像中位于第i行第j列的图像块的位置信息：

假设人脸图像的放大倍数为a，低分辨率人脸图像划分的图像块大小为n×n，对应的高分辨率人脸图像划分的图像块的大小为低分辨率人脸图像块的a倍的条件下，将低分辨率图像块重叠区域的大小设置为n/3，将高分辨率图像块重叠区域大小设置为an/3，在本实施例中n＝3，a＝4。

步骤2：输入测试低分辨率人脸图像，并表示成图像块的形式。

输入测试低分辨率人脸图像I，按照与步骤1所述的低分辨率人脸图像训练集中的图像相同的划分图像块方式进行划分图像块，并表示成相互重叠的图像块形式

N表示划分的图像块的个数，(i，j)表示在人脸图像中位于第i行j列的图像块的位置信息。

步骤3：利用凸优化方法，求解每一个测试低分辨率人脸图像块的重构系数。

对于步骤(2)中测试低分辨率人脸图像的每一个图像块I^k(i，j)，k＝1，2，...，N，通过如下凸优化函数求解出其对于低分辨率人脸图像训练集中对应相同位置的图像块的重构系数x^k(图像块以列向量形式表示)：

min||x^k||₁ subject to ${\left|\right|I^k(i,j)-A^k{x}^k\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中I^k(i，j)表示测试低分辨率人脸图像第k个图像块，A^k表示一个矩阵，该矩阵的每一列由低分辨率人脸图像训练集中对应相同位置的图像块L^mk(i，j)组成，m＝1，2，...，M，k＝1，2，...，N，ε表示容错参数，ε＞0。在本实施例中采用基追踪算法求解此优化函数，但不限于该算法，例如正交匹配追踪算法、梯度投影算法和Lasso算法等；

步骤4：重构超分辨率人脸图像块。

利用步骤3中求出的重构系数x^k，与高分辨率人脸图像训练集中对应相同位置的图像块H^mk(i，j)加权合成超分辨率人脸图像块：

k＝1，2，...，N；m＝1，2，...，M。

步骤5：合成整体的超分辨率人脸图像。

将步骤4所得到的所有的超分辨率人脸图像块S^k，k＝1，2，...，N，按照每一个图像块在人脸图像中的位置拼接在一起，并对于图像块的重叠部分通过求均值作为它的像素值，从而得到整体的超分辨率人脸图像。

本发明的效果通过以下仿真进一步说明：

1、仿真条件与内容：

使用CMU PIE人脸数据库进行人脸超分辨率实验，该数据库由1428张正面人脸组成，总共有68个不同的人，每个人包括21张图片，均在不同的时间，不同的光照条件拍摄获得，拍摄的人脸图有不同的面部表情，其中每一张图片的尺寸均为100*100，且均经过标准化处理。在实验中，本发明随机选取30个人的630张图片作为训练图片，其余的作为测试图片，按照这种方法随机分成10组。

软件平台为MATLAB7.1

2、仿真结果：

本发明在CMU PIE人脸数据库上进行实验，进行仿真比较，为了验证本发明的有效性，本实验对测试样本的PSNR值和SSIM值进行比较，PSNR表示峰值信噪比，其值越高图像质量越好，SSIM表示结构相似度，其值越高与真实图像越接近，对所有实验结果取平均值，实验结果如表1所示。

表1用本方法与现有方法在PIE人脸数据库的实验结果对比

方法	Bicubic插值	文献[1]	文献[2]	文献[3]	本发明方法
						PSNR	24.5388	26.0954	26.3785	28.1613	28.2437
SSIM	0.7278	0.7544	0.7444	0.8146	0.8178

表1中的文献[1]是指W.T.Freeman，T.R.Jones，and E.C.Pasztor.Example-based super-resolution.IEEE Computer Graphics andApplications，Vol.22，lssue 2，2002；文献[2]是指H.Chang，D.-Y.Yeung，andY.Xiong.Super-resolutionthrongh neighbor embedding.CVPR，2004；文献[3]是指X.Ma，J.Zhang，C.Qi，Hullucinating face by position-patch.Pattern Recognition，2010。

从表1可以看出，本发明方法在总体上要优于文献[1]、[2]和[3]的结果。

对于该实验，统计CMU PIE数据库不同光照条件下的测试人脸图像的实验结果，比较本发明与现有方法的PSNR值，其结果如图2所示。从图2可以看出本发明对于不同光照条件下得到的超分辨率人脸图像效果都要优于现有方法。

对于该实验，选取一部分本发明与现有方法得到的超分辨率人脸图像，比较本发明与现有方法的视觉效果，其结果如图3所示，其中，图3(a)表示输入测试低分辨率图像(25×25)；图3(b)表示bi-cubic插值结果(100×100)；图3(c)表示文献[1]方法结果(100×100)；图3(d)表示文献[2]方法结果(100×100)；图3(e)表示文献[3]方法结果(100×100)；图3(f)表示本发明结果(100×100)；图3(g)表示真实图像(100×100)。从图3可以看出，本发明在视觉效果上优于现有方法。

Claims (2)

1.一种基于凸优化的人脸超分辨率方法，包括如下步骤：

（1）输入高分辨率人脸图像训练集{H^m},m＝1,2,...,M，及其对应的低分辨率的人脸图像训练集{L^m},m＝1,2,...,M，然后将高、低分辨率的人脸图像训练集分别划分为相互重叠的图像块和

m＝1,2,...,M，M表示高、低分辨率的人脸图像训练集中人脸图像的个数，N表示划分的图像块的个数，(i,j)表示在人脸图像中位于第i行j列的图像块的位置信息，低分辨率图像块的大小为p×p，对应的高分辨率图像块的大小为ap×ap，a为放大倍数；

（2）输入测试低分辨率人脸图像I，按照与低分辨率人脸图像训练集相同的划分块的方式，把测试低分辨率人脸图像I表示成相互重叠的图像块 $\{I^k(i,j){\}}_{k=1}^N;$

（3）对于步骤（2）中测试低分辨率人脸图像的每一个图像块I^k(i,j)，k＝1,2,...,N，采用凸优化的方法来求解最稀疏的重构系数；

（4）利用步骤（3）得到的重构系数，与高分辨率人脸图像训练集中对应相同位置的图像块

m＝1,2,...,M，加权合成超分辨率人脸图像块

k＝1,2,...,N，并合成测试低分辨人脸图像对应的超分辨人脸图像。

2.根据权利要求1所述的人脸超分辨率方法，其中步骤（3）所述的采用凸优化的方法来求解重构系数的过程为，对于测试低分辨率人脸图像的每一个图像块I^k(i,j)，k＝1,2,...,N，通过如下凸优化函数求解出其在对应的低分辨训练矩阵A^k上最稀疏的重构系数x^k：

min||x^k||₁subjecttoI^k(i,j)＝A^kx^k

其中I^k(i,j)表示测试低分辨率人脸图像第k个图像块，(i,j)表示第k个图像块在人脸图像中的位置信息，A^k表示其对应的低分辨训练矩阵，m＝1,2,...,M，k＝1,2,...,N。

Images