CN108171124B - 一种相似样本特征拟合的人脸图像清晰化方法 - Google Patents

Abstract

本发明提供了一种相似样本特征拟合的人脸图像清晰化方法。首先有一组与待清晰的人脸图像尺寸和姿势一致的清晰人脸图像，并将这组人脸图片降质处理得到对应的相同尺寸的非清晰人脸图片组；每个像素位置对应的非清晰、清晰样本图像块投影到一个共同特征空间中；待清晰化人脸图像每个像素位置图像块在特征空间中找到最相似的若干个非清晰样本块；在特征空间中，利用最小均方误差准则，得到上述若干个非清晰和清晰的样本之间的非线性回归模型；将上述回归模型应用到待清晰图像块中，拟合出对应的清晰化图像块；所有像素位置上清晰化图像块在对应人脸位置上拼接得到清晰人脸图像。

Description

一种相似样本特征拟合的人脸图像清晰化方法

技术领域

本发明属于数字图像处理领域，特别涉及一种相似样本特征拟合的人脸图像清晰化方法。

背景技术

随着人工智能技术的发展，人脸检测，人脸识别，表情识别的技术已经在智能交通，移动支付等领域得到应用，这表明了计算机视觉技术已经充分融入到普通人的生活中。但是在真实的生活场景中，一般的监控设备由于受到拍摄设备自身硬件条件的影响，还会受到拍摄的环境等因素影响，譬如，拍摄的天气，拍摄的距离，拍摄的时间、光照等，因此拍摄到的人脸图像是模糊不清的。因此，当人们准备从视频监控中或者质量较差的图像中获得有用的人脸信息时，就会遇到一些问题，所以人脸图像清晰化技术的研究具有重要的实际意义。人脸清晰化技术是一种根据采集到的非清晰人脸图像，通过学习到的清晰化模型进行处理得到清晰人脸图像的方法。

发明内容

基于上述问题，本发明提出了一种相似样本特征拟合的人脸图像清晰化方法，提高了待清晰人脸图像的质量。

为解决上述技术问题，本发明采用如下的技术方案：

S1、将一组与待清晰人脸图像尺寸和姿势相同的清晰人脸图像通过降质得到一组对应的非清晰人脸图像，并把两组图像按照像素位置划分成对应的图像块，再将图像块按像素位置构建清晰和非清晰训练样本集；

S2、将每个像素位置的训练样本集中的图像块减去均值后，再进行特征提取；

S3、将待清晰人脸图像按照像素位置重叠取块得到待清晰人脸图像块，然后对每个图像块减去均值，再进行特征提取；

S4、在与待清晰人脸图像块像素位置对应的非清晰训练样本集中，找到与待清晰人脸图像块特征最相近的K个非清晰人脸图像块特征，并在清晰训练样本集中找到与之对应的K个清晰人脸图像块特征，将所找到的K个清晰和非清晰的人脸图像块特征构成训练样本对；

S5、利用训练样本对学习非清晰人脸图像块特征和清晰人脸图像块特征之间的非线性回归关系，利用学习到的回归关系求得待清晰人脸图像块特征对应的清晰人脸图像块特征；

S6、将求得的清晰人脸图像块特征经过反投影变换得到清晰人脸图像块；

S7、将逐个求得的清晰人脸图像块按照它在人脸图像上的位置拼接成最终的清晰人脸图像；

进一步，所述步骤S1，其具体为：

S11、从人脸样本库中选取一组与待清晰人脸图像尺寸和姿势一致的清晰人脸图像。对清晰人脸图像进行下采样，得到缩小的清晰人脸图像，然后采用双三次插值算法将缩小的清晰人脸图像放大至与原始清晰人脸图像相同的尺寸，通过对清晰人脸图像集中的每幅图像进行上述操作得到一组插值的非清晰人脸图像；

S12、采用大小固定的矩形窗口分别对清晰、非清晰人脸图像进行滑窗分块，并保证上下左右相邻位置块之间有重叠部分，且重叠的像素个数相同。

S13、分别将清晰和非清晰人脸图像中相同像素位置的图像块整合在一起，构成清晰和非清晰训练样本集。假设在位置p处的非清晰训练样本集定义为

清晰训练样本集定义为

其中J是样本集中图像块的维度，M是样本集中图像块的个数，x_p和y_p分别表示非清晰和清晰图像在位置p处的图像块。

进一步，所述步骤S2，其具体为：

S21、将S1中的每个像素位置的清晰和非清晰训练样本集中的图像块减去均值后进行特征提取，以位置p处为例，具体为：

根据投影矩阵U、V把S1的X、Y投影到特征空间中：

其中mean^X和mean^Y分别表示S1的X样本集和Y样本集中所有图像块的平均值，i＝1，2，...，M。投影后的样本集分别为

和

其中q小于等于样本集中图像块维度J，

和

分别表示x_p和y_p投影后的结果。

投影矩阵U、V的计算步骤如下：

分别将S1训练样本集X和Y中的图像块减去均值，再通过公式(3)计算它们之间的相关矩阵C：

C＝(Y-mean^Y)^T(X-mean^X) (3)

通过公式(4)的方法分解相关矩阵C：

C＝UΛV^T (4)

通过求解公式(5)即可得到U、

进一步，所述步骤S3，其具体为：

S31、采用与S1大小相同的矩形窗口对待清晰人脸图像进行滑窗分块，并保证上下左右相邻位置块之间有重叠部分，且重叠像素个数与S1中所述的重叠像素个数相同。

S32、在位置p处，根据公式(6)利用S2投影矩阵V将位置p处的待清晰人脸图像块L_p投影到特征空间中，得到待清晰人脸图像块特征

进一步，所述步骤S4，其具体为：

在位置p处，通过求解公式(7)，在S2的Z_X中找出与待清晰人脸图像块特征

欧氏距离最相近的K个非清晰人脸图像块特征：

其中，i＝1，2，...，M。并在Z_Y中找到与Z_X中的K个非清晰人脸图像块特征相对应的清晰人脸图像块特征，构成训练样本对。

进一步，所述步骤S5，其具体为：

在图像上每个位置处，根据最小均分误差准则求解公式(8)，可以得到清晰、非清晰训练样本集中对应图像块特征之间的非线性回归关系：

其中，矩阵A中的每一行代表一个图像块特征，C是正则化参数，I表示元素都为1的列向量，Φ表示Sigmoid函数即Φ(x)＝1/(1+e^-x)，β为隐藏参数，在输入数据时按照高斯分布随机生成，y代表输出，如果求得w和b，对于一个输入x′，对应的输出y′＝w^TΦ(β，x′)-b。

通过牛顿法求解上述模型可以得到w和b。w是权重矩阵，b是偏置向量；

通过将S4训练样本对中的非清晰图像块特征作为回归模型的输入，清晰图像块特征作为模型的输出，可以求得模型目标参数w和b。则对于S3输入

可以通过公式(10)求出

对应的清晰图像块特征

进一步，所述步骤S6，其具体为：

通过求解公式(11)，可以将S5清晰图像块特征

反投影到原始的图像空间中，得到清晰人脸图像块H_p：

进一步，所述步骤S7，其具体为：

根据待清晰人脸图像块依次求出对应的清晰人脸图像块，将清晰人脸图像块按像素位置拼接成清晰人脸图像，当遇到重叠像素时取重叠位置像素值的平均值作为重叠位置最终的像素值。

上述步骤中涉及有如下各模块：

样本生成模块：用于对S1所述清晰图像进行降质处理得到非清晰人脸图像。对清晰人脸图像进行下采样，得到缩小的清晰人脸图像，然后采用双三次插值算法将缩小的清晰人脸图像放大至与原始清晰人脸图像相同的尺寸得到非清晰人脸图像；

图像分块模块：用于对将所述的清晰和非清晰人脸样本图像划分成大小相同的图像块，并保证上下左右相邻图像块之间有重叠部分，且重叠的像素个数相同。

特征提取模块：用于将所述的图像块进行特征提取，投影到一个共同的特征空间。

样本对生成模块：用于在非清晰训练样本集中，找到与待清晰人脸图像块特征最相近的K个非清晰人脸图像块特征，并在清晰训练样本集中找到与之对应的K个清晰人脸图像块特征，将所找到的K个清晰和非清晰的人脸图像块特征构成训练样本对。

有益效果

和现有技术相比，本发明具有以下有益效果：

1、本发明在特征空间中查找与待清晰图像块特征最近邻的K个非清晰图像块特征用于清晰化处理，该方法能够更准确的获取待清晰图像块的近邻，从而带来更好的处理效果。

2、本发明通过利用清晰和非清晰样本之间的非线性回归关系对待清晰图像进行清晰化处理，实验表明，利用非线性回归能够得到更好的效果。

附图说明

图1是本发明的相似样本特征拟合的人脸图像清晰化方法流程示意图。

具体实施方案

下面结合附图和实施例对本发明作进一步说明。技术方案如下：

S1、将一组与待清晰人脸图像尺寸和姿势相同的清晰人脸图像通过降质得到一组对应的非清晰人脸图像，并把两组图像按照像素位置划分成对应的图像块，再将图像块按像素位置构建清晰和非清晰训练样本集；

S2、将每个像素位置的训练样本集中的图像块减去均值后，再进行特征提取；

S3、将待清晰人脸图像按照像素位置重叠取块得到待清晰人脸图像块，然后对每个图像块减去均值，再进行特征提取；

S4、在与待清晰人脸图像块像素位置对应的非清晰训练样本集中，找到与待清晰人脸图像块特征最相近的K个非清晰人脸图像块特征，并在清晰训练样本集中找到与之对应的K个清晰人脸图像块特征，将所找到的K个清晰和非清晰的人脸图像块特征构成训练样本对；

S5、利用训练样本对学习非清晰人脸图像块特征和清晰人脸图像块特征之间的非线性回归关系，利用学习到的回归关系求得待清晰人脸图像块特征对应的清晰人脸图像块特征；

S6、将求得的清晰人脸图像块特征经过反投影变换得到清晰人脸图像块；

S7、将逐个求得的清晰人脸图像块按照它在人脸图像上的位置拼接成最终的清晰人脸图像；

进一步，所述步骤S1，其具体为：

S11、在人脸样本库中选取尺寸为100x120的400幅正面清晰人脸图像，将每一幅清晰人脸图像边缘扩充两个像素，然后用大小为100x120的窗口从左至右、从上至下进行滑窗处理，这样每一幅图像都可以生成25幅图像。则400幅清晰人脸图像可以扩充到10000幅。

S12、将S11所述的10000幅清晰人脸图像每幅图像下采样4倍，得到对应的尺寸为20x25的缩小的清晰人脸图像，采用双三次插值算法再将缩小的清晰人脸图像放大4倍至原始尺寸即100x120，总共得到10000幅非清晰人脸图像；

S13、采用大小为8x8的矩形窗口分别对清晰和非清晰人脸图像从左至右、从上至下进行滑窗分块，并保证上下左右相邻位置块之间有4个像素的重叠部分，即每幅人脸图像可划分成696个图像块。

S14、分别将清晰和非清晰人脸图像中相同平面位置的图像块排列成尺寸为64x1的列向量，然后整合在一起，构成清晰和非清晰训练样本集。假设在位置p处的非清晰训练样本集为

清晰训练样本集为

其中J＝64，M＝10000，x_p和y_p分别表示非清晰和清晰图像在位置p处的图像块排列成的列向量。

进一步，所述步骤S2，其具体为：

S21、将S1中所述的每个位置的清晰和非清晰训练样本集中的图像块去均值处理后进行特征提取，以位置p处为例，具体为：

根据投影矩阵U、V把S1所述的X、Y投影到特征空间中：

其中mean^X和mean^Y分别表示S1所述的X样本集和Y样本集中图像块的平均值，i＝1，2，...，M。投影后的样本集分别为

和

并保证投影后的每个图像块特征为45x1的列向量，即q＝45，其中，

和

分别表示x_p和y_p投影后的结果。

投影矩阵U、V的计算步骤如下：

通过公式(3)计算S1所述的X和Y去均值之后的相关矩阵C：

C＝(Y-mean^Y)^T(X-mean^X) (3)

通过公式(4)的方法分解相关矩阵C：

C＝UΛV^T (4)

通过求解公式(5)即可得到U、

进一步，所述步骤S3，其具体为：

S31、采用大小为8x8的窗口对待清晰人脸图像从左至右、从上至下进行滑窗分块，并保证上下左右相邻位置块之间有4个像素的重叠部分，即将待清晰人脸图像划分成696个待清晰人脸图像块。

S32、在位置p处，将p处的8x8的待清晰人脸图像块排列成64x1的列向量定义成L_p，根据公式(6)利用S2所述的投影矩阵V将L_p投影到特征空间中，得到尺寸为45x1的待清晰人脸图像块特征

进一步，所述步骤S4，其具体为：

令K＝1200，在位置p处，通过求解公式(7)，在S2所述的Z_X中找出与待清晰人脸图像块特征

欧氏距离最相近的1200个非清晰人脸图像块特征：

其中，i＝1，2，...，M。并在Z_Y中找到与Z_X中的1200个非清晰人脸图像块特征相对应的清晰人脸图像块特征，构成训练样本对。

进一步，所述步骤S5，其具体为：

在图像上每个位置处，根据最小均分误差准则求解公式(8)，可以得到清晰、非清晰训练样本集中对应图像块特征之间的非线性回归关系：

其中，矩阵A中的每一行代表一个图像块特征，C是正则化参数，设为0.001，I表示元素都为1的列向量，Φ表示Sigmoid函数即Φ(x)＝1/(1+e^-x)，β为隐藏参数，在输入数据时按照高斯分布随机生成，y代表输出，如果求得w和b，对于一个输入x′，对应的输出y′＝w^TΦ(β，x′)-b。

将中间参数HN设为240，则通过拉格朗日法求解上述模型可以得到w和b：

其中，E＝[Φ(β，A)，-I]。

通过将S4所述训练样本对中的1200个非清晰图像块特征作为回归模型的输入，1200个清晰图像块特征作为模型的输出，可以求得模型目标参数w和b。则对于S3所述的输入

可以通过公式(10)求出

对应的尺寸为45x1的清晰图像块特征

进一步，所述步骤S6，其具体为：

通过求解公式(11)，可以将S5所述的清晰图像块特征

反投影到原始的图像空间中，得到清晰图像块H_p：

其中，H_p是尺寸为64x1的向量，将该向量的像素重新排列成8x8的矩阵即得到的清晰人脸图像块。

进一步，所述步骤S7，其具体为：

根据待清晰人脸图像块依次求出对应的清晰人脸图像块，将清晰人脸图像块按位置拼接成清晰人脸图像，当遇到重叠像素时取重叠位置像素值的平均值作为重叠位置最终的像素值。

Claims (1)

1.一种相似样本特征拟合的人脸图像清晰化方法，其步骤如下：

S1、将一组与待清晰人脸图像尺寸和姿势相同的清晰人脸图像通过降质得到一组对应的非清晰人脸图像，并把两组图像按照像素位置划分成对应的图像块，再将图像块按像素位置构建清晰和非清晰训练样本集；

S2、将每个像素位置的训练样本集中的图像块减去均值后，再进行特征提取；

S3、将待清晰人脸图像按照像素位置重叠取块得到待清晰人脸图像块，然后对每个图像块减去均值，再进行特征提取；

S4、在与待清晰人脸图像块像素位置对应的非清晰训练样本集中，找到与待清晰人脸图像块特征最相近的K个非清晰人脸图像块特征，并在清晰训练样本集中找到与之对应的K个清晰人脸图像块特征，将所找到的K个清晰和非清晰的人脸图像块特征构成训练样本对；

S5、利用训练样本对学习非清晰人脸图像块特征和清晰人脸图像块特征之间的非线性回归关系，利用学习到的回归关系求得待清晰人脸图像块特征对应的清晰人脸图像块特征；

S6、将求得的清晰人脸图像块特征经过反投影变换得到清晰人脸图像块；

S7、将逐个求得的清晰人脸图像块按照它在人脸图像上的位置拼接成最终的清晰人脸图像；

所述步骤S1，其具体为：

S11、从人脸样本库中选取一组与待清晰人脸图像尺寸和姿势一致的清晰人脸图像；对清晰人脸图像进行下采样，得到缩小的清晰人脸图像，然后采用双三次插值算法将缩小的清晰人脸图像放大至与原始清晰人脸图像相同的尺寸，通过对清晰人脸图像集中的每幅图像进行上述操作得到一组插值的非清晰人脸图像；

S12、采用大小固定的矩形窗口分别对清晰、非清晰人脸图像进行滑窗分块，并保证上下左右相邻位置块之间有重叠部分，且重叠的像素个数相同；

S13、分别将清晰和非清晰人脸图像中相同像素位置的图像块整合在一起，构成清晰和非清晰训练样本集；假设在位置p处的非清晰训练样本集定义为

清晰训练样本集定义为

其中J是样本集中图像块的维度，M是样本集中图像块的个数，x_p和y_p分别表示非清晰和清晰图像在位置p处的图像块；

所述步骤S2，其具体为：

S21、将S1中所述的每个像素位置的清晰和非清晰训练样本集中的图像块减去均值后进行特征提取，以位置p处为例，具体为：

根据投影矩阵U、V把S1所述的X、Y投影到特征空间中：

其中mean^X和mean^Y分别表示S1所述的X样本集和Y样本集中所有图像块的平均值，i＝1,2,…,M，投影后的样本集分别为

和

其中q小于等于样本集中图像块维度J，

和

分别表示x_p和y_p投影后的结果；

投影矩阵U、V的计算步骤如下：

分别将S1所述训练样本集X和Y中的图像块减去均值，再通过公式(3)计算它们之间的相关矩阵C：

C＝(Y-mean^Y)^T(X-mean^X) (3)

通过公式(4)的方法分解相关矩阵C:

C＝UΛV^T (4)

通过求解公式(5)即得到

所述步骤S3，其具体为：

S31、采用与S1所述的大小相同的矩形窗口对待清晰人脸图像进行滑窗分块，并保证上下左右相邻位置块之间有重叠部分，且重叠像素个数与S1中像素个数相同；

S32、在位置p处，根据公式(6)利用S2所述的投影矩阵V将位置p处的待清晰人脸图像块L_p投影到特征空间中，得到待清晰人脸图像块特征

所述步骤S4，其具体为：

在位置p处，通过求解公式(7)，在S2所述的Z_X中找出与待清晰人脸图像块特征

欧氏距离最相近的K个非清晰人脸图像块特征：

其中，i＝1,2,…,M，并在Z_Y中找到与Z_X中的K个非清晰人脸图像块特征相对应的清晰人脸图像块特征，构成训练样本对；

所述步骤S6，其具体为：

通过求解公式(11)，将S5所述的清晰图像块特征

反投影到原始的图像空间中，得到清晰人脸图像块H_p：

所述步骤S7，其具体为：

根据待清晰人脸图像块依次求出对应的清晰人脸图像块，将清晰人脸图像块按像素位置拼接成清晰人脸图像，当遇到重叠像素时取重叠位置像素值的平均值作为重叠位置最终的像素值；

其特征在于，所述步骤S5，其具体为：

在图像上每个位置处，根据最小均分误差准则求解公式(8)，得到清晰、非清晰训练样本集中对应图像块特征之间的非线性回归关系：

其中，矩阵A中的每一行代表一个图像块特征，C是正则化参数，I表示元素都为1的列向量，Φ表示Sigmoid函数即Φ(x)＝1/(1+e^-x)，β为隐藏参数，在输入数据时按照高斯分布随机生成，y代表输出，如果求得w和b，对于一个输入x′，对应的输出y′＝w^TΦ(β,x′)-b；

通过牛顿法求解得到w和b；

通过将S4所述训练样本对中的非清晰图像块特征作为回归模型的输入，清晰图像块特征作为回归模型的输出，求得回归模型目标参数w和b；则对于S3所述的输入

通过公式(10)求出

对应的清晰图像块特征

。

Images