CN102354397B - 基于面部特征器官相似性的人脸图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于面部特征器官相似性的人脸图像超分辨率重建方法，包括如下步骤：步骤1根据给定理想高分辨率人脸图像，利用灰度投影法建立高分辨率正面人脸图像库和高分辨率特征器官图像库；步骤2对一幅低分辨率目标人脸图像提取低分辨率特征器官图像；步骤3对低分辨率目标人脸图像和低分辨率特征器官图像进行双三次插值，获取低分辨率图像的训练图像集；步骤4训练图像集构建各自所对应的特征空间，重建出对应的高分辨率整体人脸图像和高分辨率器官图像的投影向量；步骤5将高分辨率整体人脸图像和高分辨率特征器官图像融合为高分辨率目标人脸图像。该方法具有预处理时间少、训练图像检索精度高和获得人脸图像真实度高等特点。

Description

基于面部特征器官相似性的人脸图像超分辨率重建方法

技术领域

本发明涉及一种基于面部特征器官相似性的人脸图像超分辨率重建方法。

背景技术

图像超分辨率重建技术的目的在于将给定的低分辨率图像的分辨率通过数字图像处理技术进行有效的提升，从而得到高质量的高分辨率图像。人脸图像超分辨率重建(又称幻觉脸技术)即通过给定的低分辨率正面人脸图像重建出包含足够有效信息的高分辨率人脸图像，此技术目前广泛应用于视频监控、刑事侦查等安防领域，同时以上领域对该技术恢复出的高分辨率人脸图像的品质有很高的要求。当前普遍采用的图像超分辨率重建技术基本分为三类：基于插值、基于重构和基于学习。基于插值的方法根据待***点的K邻域内的原始像素和特定的插值公式完成待***点像素的估算。此方法的运算速度取决于邻域半径K的大小以及插值公式的复杂度。较其它方法而言，此方法运算速度最快，但是效果也最不理想，因此不适用于人脸图像。基于重构的方法利用退化后的图像与原始低分辨率图像间的相似度构造代价函数方程，同时利用图像特征先验信息构造方程的正则化项，最后采用迭代的方法求取该正则化方程最优解，得到最优的高分辨率图像，但是此方法的效果取决于所采用的图像特征先验信息，最终重建的高分辨率图像边缘效果较好，但是运算量较大且细节信息匮乏。基于学习的方法主要是借助一组高分辨率训练图像提供的细节信息弥补原始低分辨率图像所需细节信息，此方法得到的重建图像边缘效果一般，但图像细节丰富，具有较好的视觉效果，因此人脸图像超分辨率重建普遍采用基于学习的方法。

目前，研究人员和技术人员已经提出多种人脸图像超分辨率重建方法。方法一：基于多尺度和多方向特征的人脸图像超分辨率重建算法，采用可操控金字塔结构学习人脸图像的低层次局部特征的空间分布，结合金字塔式层次结构和局部最优匹配算法来预测最佳高低分辨率图像间的特征匹配。方法二：基于矢量量化的方法，训练高低分辨率人脸图像之间的栅格关系模型，然后通过该模型以及训练图像完成对高分辨率人脸图像的估计。方法三：基于马尔可夫随机场的方法，该方法认为图像块之间或图像像素之间满足一种非参数先验关系模型，该模型可利用马尔可夫随机场模型代替，借助此模型可以从训练图像中获取高频信息来补偿低分辨率目标人脸图像所需高频信息，但此方法运算量很大。方法四：基于张量的方法，利用分层特征张量表征人脸，通过训练得到全局特征张量，再结合局部特征张量共同完成人脸图像超分辨率重建。方法五：基于稀疏表达的方法，该方法认为高分辨率图像块可以采用一组标准信号元的稀疏表达来描述，在图像质量退化不严重的情况下，基于压缩感知的原理可以通过低分辨率图像顺利恢复出对应高分辨率图像的稀疏表达。方法六：基于特征子空间的方法，通过多元统计技术(MulitiVariate Statistical Technique)、主元分析(Principle Component Analysis，PCA)、多元线性分析(MultiLinearAnalysis)和非负矩阵分解(Non-negative Matrix Factorization，NMF)等方法将图像转换到特征子空间，低分辨率目标人脸图像可以通过低分辨率训练图像的线性组合来表达，保持组合系数并将低分辨率训练图像替换为对应的高分辨率训练图像，得到的输出即为高分辨率目标人脸图像，此方法适应性强，但需要将训练图像精确配准到目标图像。

基于学习的人脸图像超分辨率重建方法主要有以下两个缺陷：其一、需要复杂的预处理操作。以上所列的任一种方法均存在此缺陷，基于学习的人脸图像超分辨率重建过程主要依赖于训练图像的有效程度，即训练图像与目标图像的整体及局部相似度。预处理过程是指为一幅目标图像建立有效的图像训练集，一般需要多步骤复杂操作，包括图像检索、比例缩放、图像配准和亮度归一化等操作，简单预处理很难得到理想的效果，高精度的预处理方法又十分费时(如光流法等)。如果预处理不足，重建出的高分辨率目标图像的效果会受到很大影响，尤其以基于特征子空间的方法所受影响最大；其二、不适宜小目标图像超分辨率重建。除方法六外，以上所述方法中训练图像的作用均在于高频信息补偿，即在训练图像集中检索与目标图像相似的图像或局部图像块的高频信息，而训练图像集的中低频信息仅仅起到了帮助检索的作用，并未参与到实质的图像超分辨率重建过程中，造成了资源的浪费。当目标图像尺寸较小时，目标图像本身基本不包含有效的高频信息，仅依靠低频图像相似度检索得到的高频信息并不能起有效的补偿作用，有时甚至会导致相反的效果。

发明内容

本发明针对以上问题的提出，而研制一种基于面部特征器官相似性的人脸图像超分辨率重建方法。具体技术方案如下：

一种基于面部特征器官相似性的人脸图像超分辨率重建方法，其特征在于包括如下方法：

步骤1根据给定理想高分辨率人脸图像，利用灰度投影法快速定位人眼瞳孔位置，根据瞳孔距离缩放和切割所有的人脸图像，使所有图像之间的瞳孔位置和面部轮廓大小基本一致，配准后的图像组成了高分辨率正面人脸图像库；同时对高分辨率正面人脸图像库内所有图像再次利用灰度投影法定位面部特征器官的中心坐标，然后按照固定大小和中心坐标提取器官图像，建立高分辨率特征器官图像库；

步骤2对一幅待超分辨率重建的低分辨率目标人脸图像配准双眼瞳孔位置，根据图像超分辨率放大系数计算低分辨率目标人脸图像瞳孔坐标和特征器官图像的尺寸，而后根据灰度投影法定位面部特征器官并提取低分辨率特征器官图像；

步骤3首先对低分辨率目标人脸图像和低分辨率特征器官图像进行双三次插值，获得初始目标人脸图像和初始特征器官图像，将高分辨率正面人脸图像库内的所有图像作为针对初始目标人脸图像的候选训练图像；并多次通过主元分析的方法计算初始目标人脸图像和与其对应候选训练图像间的近似度，将相似度低的一部分候选训练图像剔除，剩余近似度高的候选训练图像组成针对低分辨率目标人脸图像的训练图像集，针对低分辨率特征器官图像的训练图像集构建方法与之相同；

步骤4针对低分辨率目标人脸图像和低分辨率特征器官图像的训练图像集构建各自所对应的特征空间，通过低分辨率目标人脸图像和低分辨率特征器官图像的投影向量，重建出对应的高分辨率整体人脸图像和高分辨率器官图像的投影向量，将在特征空间内重建的投影向量恢复到像素空间即得到了高分辨率整体人脸图像和高分辨率特征器官图像；

步骤5将步骤4得到的高分辨率整体人脸图像和高分辨率特征器官图像融合为最终的高分辨率目标人脸图像，在步骤2的低分辨率目标人脸图像预处理过程中已经定位了面部特征器官的中心坐标，最终高分辨率目标人脸图像在器官位置的像素值是重建后特征器官图像和整体人脸图像在该位置像素值的加权和；其中，特征器官图像中心到边界的权值服从高斯分布。

步骤3所述多次通过主元分析的方法计算初始目标图像和与其对应候选训练图像间的相似度，将相似度低的一部分图像剔除的具体步骤如下：①前一半次数的相似度测量在梯度域内进行，即首先计算所有图像的梯度图像，然后计算梯度图像间的相似度，从而保证了候选训练图像与初始目标图像间边缘轮廓的相似性；②后一半次数的相似度测量在灰度域内完成，即直接计算候选训练图像和初始目标图像间的灰度相似度。

步骤3所述的图像相似度测量方法具体步骤如下：①通过主元分析的方法构建所有候选训练图像对应的特征空间，计算所有候选训练图像和初始目标图像在该特征空间内的投影向量，②初始目标图像的投影向量和候选训练图像的投影向量之间的欧氏距离作为它们之间相似度的判断依据，将相似度小的候选训练图像剔除，剩余的候选者重新构造特征空间，并以相同的方法计算相似度，再次将相似度小的候选训练图像剔除，直至剩余候选训练图像的数目满足要求，最终获取训练图像集。

同现有技术相比本发明的优点是显而易见的，具体为：

1、图像预处理仅需根据瞳孔位置和面部轮廓简单缩放和切割图像，极大的节约了预处理时间，也避免了多比例配准和亮度处理导致的图像失真和质量退化；

2、通过梯度域与灰度域相结合的多步主元分析方法检索相似图像，构造训练图像集，既去除了照度变化的干扰，又保证了图像轮廓的相似性，最大限度的发挥了基于主元分析的图像检索方法的优势，进一步提高了检索结果的精度；

3、面部特征器官图像单独进行超分辨率重建，使得最终重建的人脸图像真实度更高，关键位置细节信息更丰富；

4、本发明更适用于小尺寸图像超分辨率重建，基于特征子空间的方法在小尺寸图像超分辨率重建时效果显著，而特征器官图像本身结构简单，图像间相似度高，因此进一步提高了基于特征子空间方法对小尺寸人脸图像的重建效果。

附图说明

图1为本发明所述方法的流程图；

图2为高分辨率正面人脸图像库及特征器官图像库的构建流程图；

图3为训练图像集构建流程图；

图4为基于主元分析的人脸图像超分辨率重建流程图；

图5为人脸图像超分辨率重建结果对比图。

具体实施方式

如图1至图4所示的基于面部特征器官相似性的人脸图像超分辨率重建方法的其基本思想是：利用对低分辨率整体人脸图像和面部特征器官分别利用基于特征子空间的方法进行超分辨率重建，将二者的重建结果进行融合得到最终的高分辨率图像。相比于先前的方法，在算法复杂度、运算量、图像效果和鲁棒性方面均有不同程度的改善，重建后的高分辨整体人脸图像保证了图像边缘轮廓信息与原始目标图像的一致性，而重建后的面部特征器官图像提升了人脸图像器官部位的视觉效果，同时降低了对训练图像配准精度的苛求，极大的减少了预处理时间。具体方法是首先建立高分辨率正面人脸图像库，利用灰度投影法快速定位人眼瞳孔位置，根据瞳孔距离缩放和切割所有的人脸图像，使所有图像之间的瞳孔位置和面部轮廓大小基本一致，配准后的图像组成了高分辨率正面人脸图像库。其次对图像库内所有图像再次利用灰度投影法定位左眼、右眼、左眉、右眉、鼻和嘴唇等六个面部特征器官的中心坐标，然后按照固定大小和中心坐标提取器官图像，建立高分辨率特征器官图像库。当给定一幅待超分辨率重建的低分辨率目标人脸图像时，首先对其进行简单配准并提取特征器官图像，然后分别在梯度域和灰度域利用多步主元分析的方法为其检索相似整体人脸图像和特征器官图像，检索结果作为整体人脸图像和特征器官图像训练图像集，对于目标人脸的整体图像和特征器官图像分别在其训练图像集的基础上采用基于特征子空间的方法进行超分辨率重建，得到整体人脸高分辨率图像和面部特征器官高分辨率图像，将二者按照先前的定位信息进行融合，即得到最终的高分辨率人脸图像。

现结合附图对本发明做进一步描述：

图1描述的是本发明所提出的基于面部特征器官相似性的人脸图像超分辨率重建算法的整体流程。

步骤1根据给定理想高分辨率人脸图像，利用灰度投影法快速定位人眼瞳孔位置，根据瞳孔距离缩放和切割所有的人脸图像，使所有图像之间的瞳孔位置和面部轮廓大小基本一致，配准后的图像组成了高分辨率正面人脸图像库；同时对高分辨率正面人脸图像库内所有图像再次利用灰度投影法定位面部特征器官的中心坐标，然后按照固定大小和中心坐标提取器官图像，建立高分辨率特征器官图像库；高分辨率正面人脸图像库是基于学***和垂直方向的灰度投影曲线，各曲线上的波谷即对应特征器官的中心点，如眉毛的位置，眼睛瞳孔位置，嘴唇的中心等。然后根据得到的特征器官中心坐标，分割出固定大小的器官图像。对高分辨率正面人脸图像库内图像提取面部特征器官，构造左眼、右眼、左眉、右眉、鼻、嘴唇器官库。

步骤2对一幅待超分辨率重建的低分辨率目标人脸图像，“低分辨率目标人脸图像”指的就是需要采用所述方法进行超分辨率重建的原始输入图像；配准双眼瞳孔位置，根据图像超分辨率放大系数计算低分辨率目标人脸图像瞳孔坐标和特征器官图像的尺寸，而后根据灰度投影法定位面部特征器官并提取低分辨率特征器官图像，“低分辨率特征器官图像”为从“低分辨率目标人脸图像”上提取的器官图像；

步骤3训练图像集的构造是在人脸图像库和器官图像库内检索目标人脸和特征器官的相似图像的过程。本发明提出了梯度域和灰度域相结合的多步主元分析方法检索相似图像，通过不断缩小构建特征空间的图像的数目，逐步提高图像相似度测量的可靠性。首先对低分辨率目标人脸图像和低分辨率特征器官图像进行双三次插值，获得初始目标人脸图像和初始特征器官图像，“初始目标人脸图像”和“初始特征器官图像”通过插值得到，为高分辨率，但清晰度差，将高分辨率正面人脸图像库内的所有图像作为针对初始目标人脸图像的候选训练图像；并多次(假定次数为K)通过主元分析的方法计算初始目标人脸图像和与其对应候选训练图像间的近似度，将相似度低的一部分候选训练图像剔除，剩余近似度高的候选训练图像组成针对低分辨率目标人脸图像的训练图像集，针对低分辨率特征器官图像的训练图像集构建方法与之相同；“低分辨率特征器官图像”和“低分辨率目标人脸图像”分别从“高分辨率器官图像库”和“高分辨率正面人脸图像库”中提取近似度高的图像作为各自的训练图像。所述多次通过主元分析的方法计算初始目标图像(初始目标图像指的是所述的初始目标人脸图像或初始特征器官图像)和与其对应候选训练图像间的相似度，将相似度低的一部分图像剔除的具体步骤如下：①前一半次数(前K/2次)的相似度测量在梯度域内进行，即首先计算所有图像的梯度图像，然后计算梯度图像间的相似度，从而保证了候选训练图像与初始目标图像间边缘轮廓的相似性；②后一半次数(后K/2次)的相似度测量在灰度域内完成，即直接计算候选训练图像和初始目标图像间的灰度相似度；其中图像相似度测量方法具体步骤如下：①通过主元分析的方法构建所有候选训练图像对应的特征空间，计算所有候选训练图像和初始目标图像(初始目标图像指的是该步骤所述的初始目标人脸图像或初始特征器官图像)在该特征空间内的投影向量，②初始目标图像的投影向量和候选训练图像的投影向量之间的欧氏距离作为它们之间相似度的判断依据，将相似度小的候选训练图像剔除，剩余的候选者重新构造特征空间，并以相同的方法计算相似度，再次将相似度小的候选训练图像剔除，直至剩余候选训练图像的数目满足要求，最终获取训练图像集。

步骤4基于特征子空间的方法是所有基于学习的超分辨率重建方法中对训练图像信息利用最为充分的，因此为本发明所引用。特征子空间方法虽实现方式较多，但都是建立在极大后验概率框架下的，因此本发明仅以基于主元分析的方法为例做简要介绍，针对低分辨率目标人脸图像和低分辨率特征器官图像的训练图像集构建各自所对应的特征空间，通过低分辨率目标人脸图像和低分辨率特征器官图像的投影向量，重建出对应的高分辨率整体人脸图像和高分辨率器官图像的投影向量，将在特征空间内重建的投影向量恢复到像素空间即得到了高分辨率整体人脸图像和高分辨率特征器官图像；

步骤5将步骤4得到的高分辨率整体人脸图像和高分辨率特征器官图像融合为最终的高分辨率目标人脸图像，在步骤2的低分辨率目标人脸图像预处理过程中已经定位了面部特征器官的中心坐标，最终高分辨率目标人脸图像在器官位置的像素值是重建后特征器官图像和整体人脸图像在该位置像素值的加权和；其中，特征器官图像中心到边界的权值服从高斯分布。

高分辨率正面人脸图像库和器官图像库的建立主要是基于灰度投影法的图像预处理过程。如图2所示，给定任意高分辨率人脸图像，首先利用灰度投影法定位双眼瞳孔位置，并根据瞳孔位置配准图像，然后根据面部轮廓按固定大小切割图像，所得结果存入高分辨率正面人脸图像库中；接下来再次利用灰度投影法定位左眉、右眉、鼻、嘴唇等器官中心位置，并按固定大小提取包括双眼在内的所有特征器官图像，所得结果存入相应的器官图像库中。

针对低分辨率目标人脸图像的训练图像集和针对低分辨率特征器官图像的训练图像集的构建原理基本相同，差别仅在于后者需要首先定位并提取出低分辨率目标人脸图像的面部特征器官。训练图像集的构建过程如图3所示，以整体人脸图像为例描述其特征：假定低分辨率目标人脸图像I_L以及高分辨率正面人脸图像库

其中i为库内图像的索引位置，如

为高分辨率正面人脸图像库内的第i幅图像；其中N为库内图像总数目。为低分辨率目标人脸图像选取m(m□N)幅图像作为整体人脸训练图像集，m为训练图像数目，一般根据实际情况确定m的具体数值。设定初始人脸训练图像集为

m′为当前候选训练图像数目，其初始值为高分辨率正面人脸图像库内图像总数目N，将目标图像I_L采用双三次插值重建到理想高分辨率得到初始目标图像I_I，然后计算I_I和

的梯度图像I_GI和首先在梯度域计算图像间的相似度，特征是：利用主元分析的方法构建(m≤m′≤N)对应的特征空间Ω_l(l＜m′)，其中l为特征空间的维度，一般取l小于m′，将向量化的I_GI及

内图像均投影到Ω_l，得到各自的投影向量X_GI及

计算X_GI与内所有投影向量的欧式距离：

$D_{\mathrm{GX}}^{\left(i\right)}=\sqrt{\underset{k\∈[1,l]}{\mathrm{\Σ}}{(X_{\mathrm{GI}}\left(k\right)-X_{\mathrm{GH}}^{\left(i\right)}\left(k\right))}^2}$

将较大

对应的候选训练图像从当前候选训练图像集中删除，删除图像的数目可以根据此过程重复的次数进行调整，从而得到新的候选训练集

其中m′的值根据删除的图像数目而做相应修改，多次重复上述过程，删除相似度低的图像。当m′小于预设阈值T时，一般将T设置为N/2，改在灰度域计算图像相似度，其特征是：利用主元分析的方法构建当前候选训练图像集

对应的特征空间Ω_l′(l′＜m′)，其中l′为特征空间的维度，将向量化的初始目标图像I_I及当前候选训练图像集

内图像均投影到Ω_l′，得到各自的投影向量X_I及

计算X_I与

内所有投影向量的欧式距离：

$D_X^{\left(i\right)}=\sqrt{\underset{k\∈[1,l]}{\mathrm{\Σ}}{(X_I\left(k\right)-X_G^{\left(i\right)}\left(k\right))}^2}$

同样将较大

对应的

及从训练图像集中删除，删除图像的数目根据此过程重复的次数进行调整，得到新的训练集

重复上述过程，直到m′＝m。至此即完成了整体人脸图像训练集

的构建，特征器官图像训练集的构建与之相同，不再赘述。

基于主元分析技术构造图像特征子空间的特征是：将训练图像集内所有图像向量化表达，因此可用一个m列的矩阵表达该训练图像集

其中m为训练图像数目，计算此矩阵的协方差矩阵，然后计算协方差矩阵的特征值

保留较大的l个特征值

其中i指的是元素在集合内的索引位置，如

指的是集合内的第i个元素(l＜m)及其对应的特征向量

由此特征向量构造特征空间Ω，那么所有训练图像及经过双三次插值得到的初始目标图像都可由其在Ω内的投影向量来表达，对于任一幅向量化的图像I_H，在特征空间Ω内的投影向量为X＝B^T(I_H-μ)，其中B＝[b₁，...，b_l]即为先前保留的特征向量矩阵

μ为训练图像集

内所有图像的像素平均值。

图4所示为基于主元分析的图像超分辨率重建方法的基本流程图。根据极大后验概率(MAP)理论的推导，假设低分辨率目标图像I_L，其在特征空间Ω内重建的高分辨率投影向量X^*为：

X^*＝(B^TA^TAB+λΛ^-1)^-1B^TA^T(I_L-Aμ)

A为下采样矩阵，可以理解为公认的函数形式，其功能为将向量化的高分辨率图像下采样到低分辨率目标图像的分辨率；λ为比例系数(取值在0.02-0.5之间)，

为由先前所述特征空间构造过程所保留的l个特征值所构成的对角矩阵。将重建的投影向量恢复到像素空间，恢复表达式为：

即得到了最终的高分辨率重建图像

图像融合的目的在于将重建的特征器官图像融合到重建的整体人脸图像中。在器官图像训练集的构造过程中，已经对低分辨率目标人脸图像进行了器官定位，根据该定位坐标和超分辨系数，可将特征器官图像准确融合到重建的整体人脸图像中。为了降低算法复杂度，本发明采用基于灰度加权的图像融合技术：

I^*(x，y)＝β(x，y)G(x，y)+(1-β(x，y))I(x，y)

其中G(x，y)为重建的高分辨率特征器官图像，I(x，y)为重建的整体人脸图像，I^*(x，y)为融合后人脸图像，β(x，y)为像素融合的权值系数，取值范围在0-1之间，为保证融合图像的视觉效果，β(x，y)服从以器官图像中心点处为最大值的高斯分布。

为了验证本发明提出的基于面部特征器官的人脸图像超分辨率重建方法的效果，并突出本发明所涉及方法的优势，我们采用小尺寸正面人脸图像作为低分辨率目标图像进行实验，图像大小为16×16，放大系数为4。实验环境为Intelcore2CPU，3GHz主频的Windows7***PC，采用matlab(R2010b)软件进行仿真。全部实验人脸图像来源于中科院亚洲人脸图像数据库CAS-PEAL-R1(文献1：Wen Gao，et al.The CAS-PEAL Large-Scale Chinese Face Database andBaseline Evaluations.IEEE Transactions on System Man，andCybernetics(Part A)，2008，(38)：149-161.)，共包含男士正面人脸图像600幅，女士正面人脸图像400幅，所有图像均为灰度图像，经过简单瞳孔配准后截取面部区域存入高分辨率正面人脸图像库，其分辨率为64×64。

根据以往实验结果可知，当把小尺寸低分辨率目标人脸图像重建到较高分辨率时，一般的重构方法已经无法胜任，而基于主元分析的两步法(文献2：C.Liu，H.Shum，and C.Zhang，A Two-Step Approach to Hallucinating Faces：Global Parametric Model and Local Nonparametric Model，in Proc.Of CRPR，2001，1：192-198.)在基于学习的人脸图像超分辨率重建技术中一直得到普遍认可，但是该方法对于目标图像与训练图像间的面部特征点配准度要求很高，同时要求训练图像与目标图像有很高的相似度，通常我们无法获得足够高的配准精度，也无法获取足够完美的训练图像，所以在图像个性特征较显著的区域，如器官、轮廓等处，会产生较多的模糊和退化效应。同时将本发明所涉及方法与基于双三次插值的方法和基于主元分析的两步法进行了对比，对比参数为图像的峰值信噪比，正面人脸图像的超分辨率重建后的峰值信噪比对比图如图5所示。采用本发明以及两种对比方法进行超分辨率重建后的图像峰值信噪比值对比盒图，盒图描述了采用每种方法对五幅男子图像和五幅女子图像进行超分辨率重建后的十个峰值信噪比的统计，从下到上依次为最小值、四分位值、中值、第三四分位值和最大值。

同时，实验发现在采用基于主元分析的两步法进行图像超分辨率重建时，第二步中局部特征人脸图像的计算过程十分耗时，当低分辨率目标图像尺寸较小时，该局部特征图像对改善最终的高分辨率目标图像质量并未做出所期待的贡献，而本发明所设计方法重建出的高分辨率人脸图像在细节方面效果显著。本发明所涉及方法的图像重建时间平均为30秒左右，而文献[2]涉及的方法重建相同图像则需400秒左右。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于面部特征器官相似性的人脸图像超分辨率重建方法，其特征在于包括如下方法：

步骤1根据给定理想高分辨率人脸图像，利用灰度投影法快速定位人眼瞳孔位置，根据瞳孔距离缩放和切割已获得的所有人脸图像，使所有图像之间的瞳孔位置和面部轮廓大小基本一致，配准后的图像组成了高分辨率正面人脸图像库；同时对高分辨率正面人脸图像库内所有图像再次利用灰度投影法定位面部特征器官的中心坐标，然后按照固定大小和中心坐标提取器官图像，建立高分辨率特征器官图像库；

步骤2对一幅待超分辨率重建的低分辨率目标人脸图像配准双眼瞳孔位置，根据图像超分辨率放大系数计算低分辨率目标人脸图像瞳孔坐标和特征器官图像的尺寸，而后根据灰度投影法定位面部特征器官并提取低分辨率特征器官图像；

步骤3首先对低分辨率目标人脸图像和低分辨率特征器官图像进行双三次插值，获得初始目标人脸图像和初始特征器官图像，将高分辨率正面人脸图像库内的所有图像作为针对初始目标人脸图像的候选训练图像；并多次通过主元分析的方法计算初始目标人脸图像和与其对应候选训练图像间的相似度，将相似度低的一部分候选训练图像剔除，剩余相似度高的候选训练图像组成针对低分辨率目标人脸图像的训练图像集，针对低分辨率特征器官图像的训练图像集构建方法与之相同；

步骤4针对低分辨率目标人脸图像和低分辨率特征器官图像的训练图像集构建各自所对应的特征空间，通过低分辨率目标人脸图像和低分辨率特征器官图像的投影向量，重建出对应的高分辨率整体人脸图像和高分辨率器官图像的投影向量，将在特征空间内重建的投影向量恢复到像素空间即得到了高分辨率整体人脸图像和高分辨率特征器官图像；

步骤5将步骤4得到的高分辨率整体人脸图像和高分辨率特征器官图像融合为最终的高分辨率目标人脸图像，在步骤2的低分辨率目标人脸图像预处理过程中已经定位了面部特征器官的中心坐标，最终高分辨率目标人脸图像在器官位置的像素值是重建后特征器官图像和整体人脸图像在该位置像素值的加权和；其中，特征器官图像中心到边界的权值服从高斯分布。

2.根据权利要求1所述的一种基于面部特征器官相似性的人脸图像超分辨率重建方法，其特征在于步骤3所述多次通过主元分析的方法计算初始目标人脸图像和与其对应候选训练图像间的相似度，将相似度低的一部分候选训练图像剔除的具体步骤如下：①前一半次数的相似度测量在梯度域内进行，即首先计算所有图像的梯度图像，然后计算梯度图像间的相似度，从而保证了候选训练图像与初始目标人脸图像间边缘轮廓的相似性；②后一半次数的相似度测量在灰度域内完成，即直接计算候选训练图像和初始目标人脸图像间的灰度相似度。

3.根据权利要求1或2所述的一种基于面部特征器官相似性的人脸图像超分辨率重建方法，其特征在于步骤3所述相似度的测量方法具体步骤如下：①通过主元分析的方法构建所有候选训练图像对应的特征空间，计算所有候选训练图像和初始目标人脸图像在该特征空间内的投影向量，②初始目标人脸图像的投影向量和候选训练图像的投影向量之间的欧氏距离作为它们之间相似度的判断依据，将相似度小的候选训练图像剔除，剩余的候选者重新构造特征空间，并以相同的方法计算相似度，再次将相似度小的候选训练图像剔除，直至剩余候选训练图像的数目满足要求，最终获取训练图像集。

Images