CN102968775A - 基于超分辨率重建技术的低分辨率人脸图像的重建方法 - Google Patents

Abstract

本发明涉及基于超分辨率重建技术的低分辨率人脸图像的重建方法，属于图像处理领域，本发明包括：对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像；再通过生成训练集，对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本，通过LLE学习得到最终重建出的高分辨率图像。本发明采用的人脸图像的归一化方法不仅准确，而且和训练集的归一化方法一致，提升了低分辨率人脸图像的准确性。再采用基于低频分量的超分辨率人脸图像的重建方法，制作出低分辨率人脸图像的大尺寸重建像，较好地解决了低分辨率人脸图像的重建难题。

Description

基于超分辨率重建技术的低分辨率人脸图像的重建方法

技术领域

本发明属于图像处理领域，特别涉及一种制作低分辨率人脸重建像的方法。

背景技术

当前，视频监控得到了迅速的发展，在安防工作中发挥了越来越重要的作用。在视频监控的图像中，记录了许多与案件有关的人像信息。但是，由于视频监控的涉案人脸图像往往很小，因此无法分辨涉案人，致使许多案件的办案工作陷入了困境。这种小人脸图像的本质问题是人脸分辨率低的问题。低分辨率人脸图像的重建技术是公安部门办案工作急需的关键技术。本发明所指人脸图像，限定为正面人脸图像（下同）。包括人的头顶之下、颏底线之上、左耳到右耳之间的部分（参见中华人民共和国公共安全行业标准GA/T893-2010“安防生物特征识别应用术语”）。

专利号为ZL 2005 1 0067692.X的专利公开一种人脸几何尺寸归一化的方法：即基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法。确定图像中人脸的左、右眼和颌下点的坐标，并按三点归一化方法生成标准的尺寸的归一化低分辨率人脸图像。

目前常用的超分辨率人脸图像重建的方法为：利用一个包含成对的高分辨率图像及其对应的低分辨率图像的数据集作为训练库。将待重建的含有低分辨率人脸的图像分为若干小块，对待重建的低分辨率图像中的每一个小块，通过LLE表示成训练库中所有低分辨率图像对应位置小块的线性组合，然后使用相同的线性组合权重对训练库中相应高分辨率图像对应位置的小块进行组合，得到重建后的超分辨图像对应位置的小块。将得到的重建后的超分辨图像对应位置的小块进行拼接，块与块之间有少量的重叠，重叠的部分取平均值。最后得到整个重建后的超分辨大图。该方法虽然能对超低分辨率图像进行重建，但是，其直接在时域中进行流形学习，局部几何结构相似度不高，流行学习效果较差。此外其重建过程中受光照及噪声影响较大，未对超低分辨率人脸图像进行配准，对实际场景中的超分辨率图像重建效果较差。

发明内容

本发明的目的是为克服已有技术的不足之处，提出了一种基于超分辨率重建技术的低分辨率人脸图像的重建方法，较好地解决了低分辨率人脸图像的重建难题。

一种基于超分辨率重建技术的低分辨率人脸图像的重建方法，其特征在于，包括以下步骤：

1）对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像，具体包括：

1.1）对含有低分辨率人脸图像的原始图像进行裁剪，裁剪出包含低分辨率人脸图像的矩形区域，得到低分辨率人脸图像；该区域左上、左下、右上、右下4个顶点在原始图像中坐标分别为：（m₁，n₁）、（m₁，n₂）、（m₂，n₁）、（m₂，n₂），m、n分别表示坐标系中的点的横坐标和纵坐标；

1.2）对1.1）中得到的低分辨率人脸图像进行等比放大，放大倍率为K×K，放大后图像的高度为L，L＝K×(n₂-n₁)，k满足：K≥150/(n₂-n₁)；

1.3）对放大后的低分辨率人脸图像采用基于人脸三点定位的归一化方法进行归一化，得到一幅待重建的标准尺寸的归一化人脸图像；

1.31）在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标（x₁₁,y₁₁）、右眼球上的一点B的坐标位置（x₂₁,y₂₁），通过A、B两点做直线L₁，并确定下颌点C₀坐标（x₀₁,y₀₁），按放大倍率K将三点的坐标对应至原裁剪图像坐标，分别为（x₁,y₁），（x₂,y₂），（x₀,y₀）；

1.32）对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法，得到尺寸为H×W的待重建的归一化人脸图像，其中H，W满足下式：

$H=\left\{\begin{array}{cc}64,& (n_2-n_1)\≥64\\ 32,& 64>(n_2-n_1)\≥32\\ 16,& 32>(n_2-n_1)\≥16\end{array}\right.,---\left(1\right)$

W=H×3/4，H₀=5×H/12,H₁=63×H/120，H₂=7×H/120；

2）对标准的待重建的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像：

2.1）生成训练集:

2.11）将不低于100幅的清晰正面人脸图像作为训练集的图像；

2.12）采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像；

2.13）对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24，64×48，128×96，256×192，512×384的五种清晰的分辨率样本，再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本；

2.14）对64×48，128×96，256×192，512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存，作为高分辨率图像小波系数样本；

2.15）对32×24，64×48，128×96，256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存，作为清晰的低分辨率图像小波系数样本，同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存，作为模糊的32×24低分辨率图像小波系数样本；

2.2）对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本：

2.21）对归一化后的待重建的32×24低分辨率图像进行去噪；步骤如下：

对待重建图像进行拉普拉斯金字塔分解，计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值，根据经典去噪算法以λσ为阈值进行去噪，λ为经验系数，取值范围为0.05＜λ＜0.3；

2.22）进行模糊程度估计，算出模糊程度系数：

$u=\frac{{\mathrm{\Σ}}_h}{{\mathrm{\Σ}}_i},---\left(2\right)$

∑_h为待重建的低分辨率图像的高频系数绝对值之和，∑_i为去噪后的待重建的32×24低分辨率图像像素值之和；

2.23）根据模糊程度系数u选取学习样本：

u＜0.05，时学习采用模糊的32×24样本，u≥0.05时采用清晰的32×24样本；

2.3）通过LLE学习得到最终重建出的高分辨率图像：

2.31）从32×24到64×48放大:

2.31.1）将于2.21）中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数；

2.31.2）对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.31.3）将去噪后的32×24低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.31.4）利用LLE学习得到2.31.3）中分割出的小块对应位置的64×48高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.31.2）中得到的高频系数组成的向量，x_LR(i)为第i个在2.23）确定的样本集中相应位置小块的高频系数组成的向量，在2.23）确定的样本集相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量；w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量；进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的64×48清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.31.5）重复2.31.4）得到所有2.31.3）中分割出的小块对应的64×48高分辨率小块的高频系数

2.31.6）将2.31.5）中学习得到的64×48高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到64×48高分辨率图像的高频系数；

2.31.7）将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像；

2.32）从64×48到128×96放大：

2.32.1）将从2.31）步得到的64×48高分辨率图像作为此步的64×48低分辨率图像，其像素值直接作为重建出的128×96高分辨率图像的低频系数；

2.32.2）对64×48低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.32.3）将64×48低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.32.4）利用LLE学习得到2.32.3）中分割出的小块对应位置的128×96高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.32.2）中得到的高频系数组成的向量，x_LR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量，在64×48清晰的分辨率样本集相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的128×96清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.32.5）重复2.32.4）得到所有2.32.3）中分割出的小块对应的128×96高分辨率小块的高频系数

2.32.6）将2.32.5）中学习得到的128×96高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到128×96高分辨率图像的高频系数；

2.32.7）将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像；

2.33）从128×96到256×192放大：

2.33.1）将从2.32）步得到的128×96高分辨率图像作为此步的128×96低分辨率图像，其像素值直接作为重建出的256×192高分辨率图像的低频系数；

2.33.2）对128×96低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.33.3）将128×96低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.33.4）利用LLE学习得到2.33.3）中分割出的小块对应位置的256×192高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.33.2）中得到的高频系数组成的向量，x_LR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量，在128×96清晰的分辨率样本相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的256×192清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.33.5）重复2.33.4）得到所有2.33.3）中分割出的小块对应的256×192高分辨率小块的高频系数

2.33.6）将2.33.5）中学习得到的256×192高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到256×192高分辨率图像的高频系数；

2.33.7）将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像；

2.34）从256×192到512×384放大：

2.34.1）将从2.33）步得到的256×192高分辨率图像作为此步的256×192低分辨率图像，其像素值直接作为重建出的512×384高分辨率图像的低频系数；

2.34.2）对256×192低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.34.3）将256×192低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.34.4）利用LLE学习得到2.34.3）中分割出的小块对应位置的512×384高分辨率小块的高频系数：

令y_LR为单个于2.34.3）中得到小块对应的于2.34.2）中得到的高频系数组成的向量，x_LR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量，在256×192清晰的分辨率样本相应位置小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的512×384清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.34.5）重复2.34.4）得到所有2.34.3）中分割出的小块对应的512×384高分辨率小块的高频系数

2.34.6）将2.34.5）中学习得到的512×384高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到512×384高分辨率图像的高频系数；

将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像。

本发明的特点及效果：

本发明首先采用低分辨率人脸图像的归一化方法，特别是采用了基于人脸三点定位归一化方法的低分辨率人脸图像的归一化方法（见发明专利：基于人脸几何尺寸归一化的人脸图像识别方法，发明专利号：ZL 2005 1 0067692.X，），这种人脸图像的归一化方法不仅准确，而且和训练集的归一化方法一致，提升了低分辨率人脸图像的准确性。获得归一化的低分辨率人脸图像后，再采用基于低频分量的超分辨率人脸图像的重建方法，制作出低分辨率人脸图像的大尺寸重建像，较好地解决了低分辨率人脸图像的重建难题。

附图说明

图1为本发明的低分辨率人脸实施例图像。

图2为本实施例裁剪的低分辨率人脸图像。

图3为本实施例的裁剪的低分辨率人脸的放大图像。

图4为本实施例的低分辨率人脸的放大图像的三点定位图像。

图5为本实施例的基于人脸三点定位的低分辨率人脸图像的归一化图像，图像尺寸为32×24。

图6为本实施例的低分辨率人脸图像的重建像。

图7为本实施例的低分辨率人脸对应的真实清晰人脸图像。

具体实施方式

本发明提出的基于超分辨率重建技术的低分辨率人脸图像的重建方法结合附图及实施例详细说明如下：

本发明提出的一种基于超分辨率重建技术的低分辨率人脸图像的重建方法，包括低分辨率人脸图像的归一化和基于低频分量的超分辨率重建；具体包括以下步骤：

1）对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像

1.1）对含有低分辨率人脸图像的原始图像进行裁剪，裁剪出包含低分辨率人脸图像的矩形图像区域，得到低分辨率人脸图像；该区域左上、左下、右上、右下4个顶点坐标分别为：（m₁，n₁）、（m₁，n₂）、（m₂，n₁）、（m₂，n₂），m、n分别表示坐标系中点的横坐标和纵坐标；

1.2）对1.1）得到的低分辨率人脸图像进行等比放大，放大倍率为K×K，放大后图像的高度为L，L＝K×(n₂-n₁)，k满足：K≥150/(n₂-n₁)；

1.3）对放大后的低分辨率人脸图像采用基于人脸三点定位的归一化方法进行归一化，得到一幅待重建的标准尺寸的人脸图像；

1.31）在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标（x₁₁,y₁₁）、右眼球上的一点B的坐标位置（x₂₁,y₂₁），通过A、B两点做直线L₁，并确定下颌点C₀坐标（x₀₁,y₀₁），，按放大倍率k将三点的坐标对应至原裁剪图像坐标，分别为（x₁,y₁），（x₂,y₂），（x₀,y₀）；

1.32）对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法，得到尺寸为H×W的待重建的归一化人脸图像，具体包括(属于已有技术):

1.32.1）计算直线L₁和水平线的夹角α；直线L1和水平线的夹角α由下式求得，其中(x₁,y₁)，(x₂,y₂)分别对应左右眼球坐标：

对该人脸图像a进行旋转角度为α的旋转处理，得到人脸图像b；旋转表达式如下：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\&alpha;}& \sin \mathrm{\&alpha;}\\ -\sin \mathrm{\&alpha;}& \cos \mathrm{\&alpha;}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$

式中，x、y为输入人脸图像的坐标，x、y为人脸图像b的坐标；

1.32.2）在人脸图像b上计算确定出左眼球上的一点C的坐标位置（x₃,y₃）、右眼球上的一点D的坐标位置（x₄,y₄），通过C、D两点做直线L₂，确定出旋转后的人脸图像的下颌点E的坐标位置（x₅,y₅）；

1.32.3）规定几何尺寸归一化的人脸图像的几何尺寸的数值，其中宽度的尺寸为W，高度的尺寸为H；规定颌下线上的任何一点到两眼连线的垂直距离的标准值为H₀，到图像下边框的垂直距离的标准值为H₁，两眼连线到图像上边框的垂直距离的标准值为H₂；H，W满足下式：

$H=\left\{\begin{array}{cc}64,& (n_2-n_1)\&GreaterEqual;64\\ 32,& 64>(n_2-n_1)\&GreaterEqual;32\\ 16,& 32>(n_2-n_1)\&GreaterEqual;16\end{array}\right.,---\left(1\right)$

W=H×3/4，H₀=5×H/12，H₁=63×H/120，H₂=7×H/120；

1.32.4）求出E点到直线L2的垂直距离h_y，并计算图像放缩系数K＝h_y/H₀；其中，E点到直线L2的垂直距离h_y为

$h_y=y_5-\frac{y_3+y_4}{2}$

1.32.5）对人脸图像b按照放缩系数K进行放大或缩小处理，得到满足标准距离H₀的人脸图像c；

1.32.6）在人脸图像c上确定出左眼球上的一点M的坐标位置（x₆,y₆）、右眼球上的一点N的坐标位置（x₇,y₇），以及下颌点P的纵坐标y₈位置；y₈＝MidPoint.y+H₀；

1.32.7）对人脸图像c进行裁减得到标准的待重建的归一化人脸图像d：裁去人脸图像c中x坐标小于(x₆+x₇)/2-W/2、大于(x₆+x₇)/2+W/2的部分，以及y坐标小于(y₇-H₂)、大于(y₈+H₁)的部分；若裁减后图像的宽度小于W或者高度小于H，则采用插值的方法，将宽度补到W或者高度补到H；

2）对标准的待重建的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像：

2.1）生成训练集:

2.11）将不低于100幅的清晰正面人脸图像作为训练集的图像；

2.12）采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像；

2.13）对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24，64×48，128×96，256×192，512×384的五种清晰的分辨率样本，再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本；

2.14）对64×48，128×96，256×192，512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存，作为高分辨率图像小波系数样本；

2.15）对32×24，64×48，128×96，256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存，作为清晰的低分辨率图像小波系数样本，同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存，作为模糊的32×24低分辨率图像小波系数样本

2.2）对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本：

2.21）对归一化后的待重建的32×24低分辨率图像进行去噪；步骤如下：

对待重建图像进行拉普拉斯金字塔分解，计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值，根据经典去噪算法以λσ为阈值进行去噪，λ为经验系数，取值范围为0.05＜λ＜0.3；

2.22）进行模糊程度估计，算出模糊程度系数：

$u=\frac{{\mathrm{\&Sigma;}}_h}{{\mathrm{\&Sigma;}}_i}---\left(2\right)$

∑_h为待重建的低分辨率图像的高频系数绝对值之和，∑_i为去噪后的待重建的32×24低分辨率图像像素值之和；

2.23）根据模糊程度系数u选取学习样本：

u＜0.05，时学习采用模糊的32×24样本，u≥0.05时采用清晰的32×24样本；

2.3）通过LLE学习得到氟化钙的高分辨率图像：

2.31）从32×24到64×48放大:

2.31.1）将于2.21）中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数；

2.31.2）对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.31.3）将32×24低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.31.4）利用LLE学习得到2.31.3）中分割出的小块对应位置的64×48高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.31.2）中得到的高频系数组成的向量，x_LR(i)为第i个在2.23）确定的样本集中相应位置小块的高频系数组成的向量，在2.23）确定的样本集相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量；w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量；进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的64×48清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.31.5）重复2.31.4）得到所有2.31.3）中分割出的小块对应的64×48高分辨率小块的高频系数

2.31.6）将2.31.5）中学习得到的64×48高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到64×48高分辨率图像的高频系数；

2.31.7）将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像；

2.32）从64×48到128×96放大：

2.32.1）将从2.31）步得到的64×48高分辨率图像作为此步的64×48低分辨率图像，其像素值直接作为重建出的128×96高分辨率图像的低频系数；

2.32.2）对64×48低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.32.3）将64×48低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.32.4）利用LLE学习得到2.32.3）中分割出的小块对应位置的128×96高分辨率小块的高频系数：

令y_LR为单个于2.3.1.3）中得到小块对应的于2.32.2）中得到的高频系数组成的向量，x_LR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量，在64×48清晰的分辨率样本集相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为W为w(i)组成的向量，进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的128×96清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.32.5）重复2.32.4）得到所有2.32.3）中分割出的小块对应的128×96高分辨率小块的高频系数

2.32.6）将2.32.5）中学习得到的128×96高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到128×96高分辨率图像的高频系数；

2.32.7）将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像；

2.33）从128×96到256×192放大：

2.33.1）将从2.32）步得到的128×96高分辨率图像作为此步的128×96低分辨率图像，其像素值直接作为重建出的256×192高分辨率图像的低频系数；

2.33.2）对128×96低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.33.3）将128×96低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.33.4）利用LLE学习得到2.33.3）中分割出的小块对应位置的256×192高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.33.2）中得到的高频系数组成的向量，x_LR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量，在128×96清晰的分辨率样本相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的256×192清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.33.5）重复2.33.4）得到所有2.33.3）中分割出的小块对应的256×192高分辨率小块的高频系数

2.33.6）将2.33.5）中学习得到的256×192高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到256×192高分辨率图像的高频系数；

2.33.7）将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像；

2.34）从256×192到512×384放大：

2.34.1）将从2.33）步得到的256×192高分辨率图像作为此步的256×192低分辨率图像，其像素值直接作为重建出的512×384高分辨率图像的低频系数；

2.34.2）对256×192低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.34.3）将256×192低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.34.4）利用LLE学习得到2.34.3）中分割出的小块对应位置的512×384高分辨率小块的高频系数：

令y_LR为单个于2.34.3）中得到小块对应的于2.34.2）中得到的高频系数组成的向量，x_LR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量，在256×192清晰的分辨率样本相应位置小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为W为w(i)组成的向量，进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的512×384清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.34.5）重复2.34.4）得到所有2.34.3）中分割出的小块对应的512×384高分辨率小块的高频系数

2.34.6）将2.34.5）中学习得到的512×384高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到512×384高分辨率图像的高频系数；

2.34.7）将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像；

实施例

1）对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像

1.1）对含有低分辨率人脸图像的原始图像进行裁剪，裁剪出包含低分辨率人脸图像的矩形图像区域，得到低分辨率人脸图像，如图2所示，该区域左上、左下、右上、右下4个顶点坐标分别为：（898，526）、（898，556）、（924，526）、（924，556）；

1.2）对1.1）得到的低分辨率人脸图像进行等比放大，放大倍率为6×6，放大后图像的高度为L=180，如图3所示；

1.3）对放大后的低分辨率人脸图像采用基于人脸三点定位归一化的方法进行归一化，得到一幅待重建的标准尺寸的人脸图像如图5所示；

1.31）在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标（63，104）、右眼球上的一点B的坐标位置（112，105），通过A、B两点做直线L₁，并确定下颌点C₀坐标（87，174），如图4所示，按放大倍率6将三点的坐标对应至原裁剪图像坐标，分别为（908，543），（916，543），（912，555）；

1.32）对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法，得到尺寸为32×24的待重建的归一化人脸图像，具体包括(属于已有技术)

1.32.1）计算直线L₁和水平线的夹角α；

直线L1和水平线的夹角α由下式求得，其中(x₁,y₁)，(x₂,y₂)分别对应左右眼球坐标：

$\mathrm{\&alpha;}=\arctan \left(\frac{y_2-y_1}{x_2-x_1}\right)$

1.32.2）对该人脸图像a进行旋转角度为α的旋转处理，得到人脸图像b；旋转表达式如下：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\&alpha;}& \sin \mathrm{\&alpha;}\\ -\sin \mathrm{\&alpha;}& \cos \mathrm{\&alpha;}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$

式中，x、y为输入人脸图像的坐标，x、y为人脸图像b的坐标；

1.32.3）在人脸图像b上计算确定出左眼球上的一点C的坐标位置（x₃,y₃）、右眼球上的一点D的坐标位置（x₄,y₄），通过C、D两点做直线L₂，确定出旋转后的人脸图像的下颌点E的坐标位置（x₅,y₅）；

1.32.4）规定几何尺寸归一化的人脸图像的几何尺寸的数值，其中宽度的尺寸为24，高度的尺寸为32；规定颌下线上的任何一点到两眼连线的垂直距离的标准值为H₀，到图像下边框的垂直距离的标准值为H₁，两眼连线到图像上边框的垂直距离的标准值为H₂；

1.32.5）求出E点到直线L2的垂直距离h_y，并计算图像放缩系数K＝h_y/H₀；其中，E点到直线L2的垂直距离h_y为

$h_y=y_5-\frac{y_3+y_4}{2}$

1.32.6）对人脸图像b按照放缩系数K进行放大或缩小处理，得到满足标准距离H₀的人脸图像c；

1.32.7）在人脸图像c上确定出左眼球上的一点M的坐标位置（10，17）、右眼球上的一点N的坐标e位置（18，17），以及下颌点P的纵坐标y₈位置；y₈＝29；

1.32.8）对人脸图像c进行裁减得到标准的待重建的归一化人脸图像d：裁去人脸图像c中x坐标小于(x₆+x₇)/2-W/2、大于(x₆+x₇)/2+W/2的部分，以及y坐标小于(y₇-H₂)、大于(y₈+H₁)的部分；若裁减后图像的宽度小于W或者高度小于H，则采用插值的方法，将宽度补到W或者高度补到H；

2）对标准的待重建的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像：

2.1）生成训练集:

2.11）用100幅的清晰正面人脸图像作为训练集的图像；

2.12）采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像；

2.13）对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24，64×48，128×96，256×192，512×384的五种清晰的分辨率样本，再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本；

2.14）对64×48，128×96，256×192，512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存，作为高分辨率图像小波系数样本；

2.15）对32×24，64×48，128×96，256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存，作为清晰的低分辨率图像小波系数样本，同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存，作为模糊的32×24低分辨率图像小波系数样本

2.2）对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本：

2.21）对归一化后的待重建的32×24低分辨率图像进行去噪；步骤如下：

对待重建图像进行拉普拉斯金字塔分解，计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值，根据经典去噪算法以λσ为阈值进行去噪，λ=0.15；

2.22）进行模糊程度估计，算出模糊程度系数：

$u=\frac{{\mathrm{\&Sigma;}}_h}{{\mathrm{\&Sigma;}}_i}=0.03,---\left(1\right)$

∑_h为待重建的低分辨率图像的高频系数绝对值之和，∑_i为去噪后的待重建的32×24低分辨率图像像素值之和；

2.23）根据模糊程度系数u选取学习样本：

因为u＝0.03＜0.05，学习采用模糊的32×24样本；

2.3）通过LLE学习得到最终重建的高分辨率图像：

2.31）从32×24到64×48放大:

2.31.1）将于2.2.1）中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数；

2.31.2）对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.31.3）将32×24低分辨率图像分割为大小为5×10的小块，相邻小块间有4×9的重叠；

2.31.4）利用LLE学习得到2.31.3）中分割出的小块对应位置的64×48高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.31.2）中得到的高频系数组成的向量，x_LR(i)为第i个在模糊的32×24样本集中相应位置小块的高频系数组成的向量，在模糊的32×24样本集相应位置的小块中取前k=6个与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量；w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量；进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的64×48清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.31.5）重复2.31.4）得到所有2.31.3）中分割出的小块对应的64×48高分辨率小块的高频系数

2.31.6）将2.31.5）中学习得到的64×48高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到64×48高分辨率图像的高频系数；

2.31.7）将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像；

2.32）从64×48到128×96放大：

2.32.1）将从2.31）步得到的64×48高分辨率图像作为此步的64×48低分辨率图像，其像素值直接作为重建出的128×96高分辨率图像的低频系数；

2.32.2）对64×48低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.32.3）将64×48低分辨率图像分割为大小为5×10的小块，相邻小块间有4×9的重叠；

2.32.4）利用LLE学习得到2.32.3）中分割出的小块对应位置的128×96高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.32.2）中得到的高频系数组成的向量，x_LR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量，在64×48清晰的分辨率样本集相应位置的小块中取前k=6个与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的128×96清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.32.5）重复2.32.4）得到所有2.32.3）中分割出的小块对应的128×96高分辨率小块的高频系数

2.32.6）将2.32.5）中学习得到的128×96高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到128×96高分辨率图像的高频系数；

2.32.7）将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像；

2.33）从128×96到256×192放大：

2.33.1）将从2.32）步得到的128×96高分辨率图像作为此步的128×96低分辨率图像，其像素值直接作为重建出的256×192高分辨率图像的低频系数；

2.33.2）对128×96低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.33.3）将128×96低分辨率图像分割为大小为5×10的小块，相邻小块间有4×9的重叠；

2.33.4）利用LLE学习得到2.33.3）中分割出的小块对应位置的256×192高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.33.2）中得到的高频系数组成的向量，x_LR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量，在128×96清晰的分辨率样本相应位置的小块中取前k=6个与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的256×192清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.33.5）重复2.33.4）得到所有2.33.3）中分割出的小块对应的256×192高分辨率小块的高频系数

2.33.6）将2.33.5）中学习得到的256×192高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到256×192高分辨率图像的高频系数；

2.33.7）将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像；

2.34）从256×192到512×384放大：

2.34.1）将从2.33）步得到的256×192高分辨率图像作为此步的256×192低分辨率图像，其像素值直接作为重建出的512×384高分辨率图像的低频系数；

2.34.2）对256×192低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.34.3）将256×192低分辨率图像分割为大小为5×10的小块，相邻小块间有4×9的重叠；

2.34.4）利用LLE学习得到2.34.3）中分割出的小块对应位置的512×384高分辨率小块的高频系数：

令y_LR为单个于2.34.3）中得到小块对应的于2.34.2）中得到的高频系数组成的向量，x_LR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量，在256×192清晰的分辨率样本相应位置小块中取前k=6个与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的512×384清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.34.5）重复2.34.4）得到所有2.34.3）中分割出的小块对应的512×384高分辨率小块的高频系数

2.34.6）将2.34.5）中学习得到的512×384高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到512×384高分辨率图像的高频系数；

2.34.7）将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像，如图6所示；

将将上述方法，按照低分辨率人脸图像的裁剪、低分辨率人脸图像的放大、三点定位归一化、重建、存储的步骤编制程序，实现超分辨率重建技术的低分辨率人脸图像的重建，得到最终重建结果如图6所示。低分辨率人脸对应的真实清晰人脸图像如图7所示。从图6、图7中可以看到，本发明效果明显。

Claims (1)

1.一种基于超分辨率重建技术的低分辨率人脸图像的重建方法，其特征在于，包括以下步骤：

1）对原始图像进行基于人脸三点定位的归一化，得到待重建的归一化人脸图像，具体包括：

1.1）对含有低分辨率人脸图像的原始图像进行裁剪，裁剪出包含低分辨率人脸图像的矩形区域，得到低分辨率人脸图像；该区域左上、左下、右上、右下4个顶点在原始图像中坐标分别为：（m₁，n₁）、（m₁，n₂）、（m₂，n₁）、（m₂，n₂），m、n分别表示坐标系中的点的横坐标和纵坐标；

1.2）对1.1）中得到的低分辨率人脸图像进行等比放大，放大倍率为K×K，放大后图像的高度为L，L＝K×(n₂-n₁)，k满足：K≥150/(n₂-n₁)；

1.3）对放大后的低分辨率人脸图像采用基于人脸三点定位的归一化方法进行归一化，得到一幅待重建的标准尺寸的归一化人脸图像；

1.31）在放大后的低分辨率人脸图像a上确定左眼球上的一点A的坐标（x₁₁,y₁₁）、右眼球上的一点B的坐标位置（x₂₁,y₂₁），通过A、B两点做直线L₁，并确定下颌点C₀坐标（x₀₁,y₀₁），按放大倍率K将三点的坐标对应至原裁剪图像坐标，分别为（x₁,y₁），（x₂,y₂），（x₀,y₀）；

1.32）对原始图像进行基于人脸几何尺寸归一化的人脸图像识别方法中的人脸三点归一化方法，得到尺寸为H×W的待重建的归一化人脸图像，其中H，W满足下式：

$H=\left\{\begin{array}{cc}64,& (n_2-n_1)\&GreaterEqual;64\\ 32,& 64>(n_2-n_1)\&GreaterEqual;32\\ 16,& 32>(n_2-n_1)\&GreaterEqual;16\end{array}\right.,---\left(1\right)$

W=Hx3/4；

2）对待重建的标准尺寸的归一化人脸图像进行基于低频分量的超分辨率人脸图像的重建得到512×384高分辨率图像：

2.1）生成训练集:

2.11）将不低于100幅的清晰正面人脸图像作为训练集的图像；

2.12）采用人脸三点定位归一化方法将训练集中的每一幅图像变为512×384的标准分辨率人脸图像；

2.13）对每一幅512×384的标准分辨率图像使用9-7滤波器下采样生成32×24，64×48，128×96，256×192，512×384的五种清晰的分辨率样本，再对每一幅512×384的标准分辨率图像使用高斯金字塔滤波器下采样生成32×24的模糊的分辨率样本；

2.14）对64×48，128×96，256×192，512×384的四种清晰的分辨率样本用9-7滤波器组进行拉普拉斯金字塔分解提取高频分量并保存，作为高分辨率图像小波系数样本；

2.15）对32×24，64×48，128×96，256×192四种清晰的分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取它们的高频分量并保存，作为清晰的低分辨率图像小波系数样本，同时对模糊的32×24分辨率样本进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取其高频分量并保存，作为模糊的32×24低分辨率图像小波系数样本；

2.2）对待重建的低分辨率图像进行去噪并通过模糊度估计确定学习样本：

2.21）对归一化后的待重建的32×24低分辨率图像进行去噪；步骤如下：

对待重建图像进行拉普拉斯金字塔分解，计算出其所有高频系数绝对值的中位数σ作为噪声标准差估计值，根据经典去噪算法以λσ为阈值进行去噪，λ为经验系数，取值范围为0.05＜λ＜0.3；

2.22）进行模糊程度估计，算出模糊程度系数：

$u=\frac{{\mathrm{\&Sigma;}}_h}{{\mathrm{\&Sigma;}}_i},---\left(2\right)$

∑_h为待重建的低分辨率图像的高频系数绝对值之和，∑_i为去噪后的待重建的32×24低分辨率图像像素值之和；

2.23）根据模糊程度系数u选取学习样本：

u＜0.05，时学习采用模糊的32×24样本，u≥0.05时采用清晰的32×24样本；

2.3）通过LLE学习得到最终重建出的高分辨率图像：

2.31）从32×24到64×48放大:

2.31.1）将于2.21）中得到的去噪后的32×24低分辨率图像的像素值直接作为重建出的64×48高分辨率图像的低频系数；

2.31.2）对去噪后的32×24低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.31.3）将去噪后的32×24低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.31.4）利用LLE学习得到2.31.3）中分割出的小块对应位置的64×48高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.31.2）中得到的高频系数组成的向量，x_LR(i)为第i个在2.23）确定的样本集中相应位置小块的高频系数组成的向量，在2.23）确定的样本集相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量；w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量；进而计算出学习得到的64×48高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的64×48清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、

（4）两式中ε=1；

2.31.5）重复2.31.4）得到所有2.31.3）中分割出的小块对应的64×48高分辨率小块的高频系数

2.31.6）将2.31.5）中学习得到的64×48高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到64×48高分辨率图像的高频系数；

2.31.7）将得到的64×48高分辨率图像的高、低频系数进行反变换便得到64×48高分辨率图像；

2.32）从64×48到128×96放大：

2.32.1）将从2.31）步得到的64×48高分辨率图像作为此步的64×48低分辨率图像，其像素值直接作为重建出的128×96高分辨率图像的低频系数；

2.32.2）对64×48低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解得到其高频系数；

2.32.3）将64×48低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.32.4）利用LLE学习得到2.32.3）中分割出的小块对应位置的128×96高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.32.2）中得到的高频系数组成的向量，x_LR(i)为第i个64×48清晰的分辨率样本集相应位置小块的高频系数组成的向量，在64×48清晰的分辨率样本集相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的128×96高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的128×96清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中若不进行光照处理，（3）、（4）两式中ε=1；

2.32.5）重复2.32.4）得到所有2.32.3）中分割出的小块对应的128×96高分辨率小块的高频系数

2.32.6）将2.32.5）中学习得到的128×96高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为结果，得到128×96高分辨率图像的高频系数；

2.32.7）将得到的128×96高分辨率图像的高、低频系数进行反变换便得出128×96高分辨率图像；

2.33）从128×96到256×192放大：

2.33.1）将从2.32）步得到的128×96高分辨率图像作为此步的128×96低分辨率图像，其像素值直接作为重建出的256×192高分辨率图像的低频系数；

2.33.2）对128×96低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.33.3）将128×96低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.33.4）利用LLE学习得到2.33.3）中分割出的小块对应位置的256×192高分辨率小块的高频系数：

令y_LR为单个于2.31.3）中得到小块对应的于2.33.2）中得到的高频系数组成的向量，x_LR(i)为第i个128×96清晰的分辨率样本相应位置小块的高频系数组成的向量，在128×96清晰的分辨率样本相应位置的小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的256×192高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的256×192清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.33.5）重复2.33.4）得到所有2.33.3）中分割出的小块对应的256×192高分辨率小块的高频系数

2.33.6）将2.33.5）中学习得到的256×192高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到256×192高分辨率图像的高频系数；

2.33.7）将得到的256×192高分辨率图像的高、低频系数进行反变换便得出256×192高分辨率图像；

2.34）从256×192到512×384放大：

2.34.1）将从2.33）步得到的256×192高分辨率图像作为此步的256×192低分辨率图像，其像素值直接作为重建出的512×384高分辨率图像的低频系数；

2.34.2）对256×192低分辨率图像进行最邻近插值与双三次线性插值，取两者平均，用9-7滤波器组进行拉普拉斯金字塔分解提取得到其高频系数；

2.34.3）将256×192低分辨率图像分割为大小为s×t的小块，s取值范围为4~8，t取值范围为8~12，相邻小块间有（s-1）×（t-1）的重叠；

2.34.4）利用LLE学习得到2.34.3）中分割出的小块对应位置的512×384高分辨率小块的高频系数：

令y_LR为单个于2.34.3）中得到小块对应的于2.34.2）中得到的高频系数组成的向量，x_LR(i)为第i个256×192清晰的分辨率样本相应位置小块的高频系数组成的向量，在256×192清晰的分辨率样本相应位置小块中取前k个（5<k<8）与y_LR均方误差最小的样本小块，计算如下极值问题：

$W=\underset{w\left(i\right)}{\arg \min }{\left|\right|\mathrm{\&epsiv;}{y}_{\mathrm{LR}}-\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{LR}}\left(i\right)\left|\right|}^2,$ $\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)=1---\left(3\right)$

令G＝(εy_LR1^T-X)^T(εy_LR1^T-X)，其中X的每列为x_LR(i)，共k列，1为元素皆为1的向量，w(i)为k个待求系数，此极值问题的解为

W为w(i)组成的向量，进而计算出学习得到的512×384高分辨率图像小块的高频系数向量为：

$y_{\mathrm{HR}}=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}w\left(i\right)x_{\mathrm{HR}}\left(i\right)}{\mathrm{\&epsiv;}}---\left(4\right)$

其中x_HR(i)为x_LR(i)对应的512×384清晰分辨率样本小块的高频系数向量；

若进行光照处理，（3）、（4）两式中

若不进行光照处理，（3）、（4）两式中ε=1；

2.34.5）重复2.34.4）得到所有2.34.3）中分割出的小块对应的512×384高分辨率小块的高频系数

2.34.6）将2.34.5）中学习得到的512×384高分辨率小块进行拼接，相邻小块间重叠部分取所有参与重叠的小块的均值作为最终结果，得到512×384高分辨率图像的高频系数；

2.34.7）将得到的512×384高分辨率图像的高、低频系数进行反变换便得到最终重建出的512×384高分辨率图像。

Images