CN106780364A - 基于可察觉特征的人脸图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于可察觉特征的人脸图像去模糊方法，包括字典训练；清晰特征和可觉察模糊特征识别；构建稀疏特征；对模糊处理前的1000幅图像中随机获取200幅图像，用取值不同的标准差的高斯核对获取的图像进行模糊处理，然后选取大于五百万的图像块，统计得出模糊强度和标准差关系的回归函数：利用回归函数对所选人脸图像库中的人脸图像进行模糊强度估计，根据估计结果手工提取每幅人脸图像的下颚、嘴、眼睛轮廓结构；使用导向滤波器优化所提取出的轮廓结构图像形成一图像库；将要去模糊的图像与图像库中的图像进行匹配，在获得图像的图像梯度后估计模糊核；最终使用非盲反卷积方法得到清晰图像。采用本发明方法可以处理复杂人脸图像。

Description

基于可察觉特征的人脸图像去模糊方法

技术领域

本发明属计算机图像处理领域，可用于人脸图像去模糊等相关领域。

背景技术

目前，在针对人脸图像去模糊过程中，模糊核估计结果对人脸图像去模糊效果发挥着至关重要的作用。目前已经证明，模糊核估计方法包括：对模糊核进行简单的参数假设，但不能处理复杂模糊核情形；基于稀疏表示方法，但当模糊图像含有的纹理较少时，去模糊效果较差；基于识别的方法，但该方法不适用复杂的人脸图像。

为了优化上述算法，Pan等人提出了基于人脸轮廓结构提取的去模糊方法(Jinshan Pan,Zhe Hu,Zhixun Su,Ming-Hsuan Yang.Deblurring face images withexemplars[C].ECCV,2014:47～62.)，所利用的数据源来自于事先建立的“pan人脸库数据库”，而该pan人脸库数据库中的数据是实拍的人脸图像，在提取人脸轮廓是过程中，只提取下颚、嘴、眼睛等人脸的轮廓，在获得清晰图像边缘梯度后，通过估计模糊核实现去模糊。但该方法并没有考虑人脸图像的不同轮廓处的模糊程度，则很容易造成轮廓提取失败，导致模糊核估计结果错误，最后得到较差的去模糊结果。

发明内容

针对目前人脸图像去模糊算法不能解决复杂模糊核及轮廓提取不准确的问题，在研究如何提取模糊核的基础上，基于人脸轮廓结构提取，提出了改进的人脸去模糊方法——基于可察觉特征的人脸图像去模糊方法。通过可察觉特征提取人脸轮廓，不仅能提升轮廓提取的准确性，还能解决现有方法不能有效处理人脸图像中有多于一个人脸的情形。仿真实验表明，基于可察觉特征的人脸去模糊方法不仅能获得好的去模糊结果，而且提升了运算速度。

为了解决上述技术问题，本发明提出的一种基于可察觉特征的人脸图像去模糊方法，包括以下步骤：

步骤1、字典训练：给定有n个图像信号的集合其中，每个图像信号y_i用稀疏的字典原子表示，利用下式学习一个过完备字典D，

式(1)中，D是过完备字典，捕获所有稀疏的字典原子信息；x_i是重构图像信号y_i的系数，k是一个用来限制x_i的稀疏性的常数，k的最大值设定为5；

用标准差σ＝2的高斯核对1000幅图像进行模糊处理，然后在模糊后的1000幅图像中随机选取超过100000个图像块对过完备字典D进行训练，每个图像块大小为8×8且随机分割；

步骤2、清晰特征和可觉察模糊特征识别：步骤1中选取的所有图像块中，每个图像块具有清晰特征或可察觉特征，对所有图像块的清晰特征或可察觉特征进行识别，包括：

用过完备字典D将图像信号y_i分解成字典原子

式(2)中，ε是常数，令_ε为0.07；

步骤3、构建稀疏特征f_α，用重构图像信号y_i的系数x_i中一系列非零元素表示

f_α＝||x_i||₀ (3)

步骤4、模糊强度估计：在步骤1模糊处理前的1000幅图像中随机获取200幅图像，用标准差σ取值为{0.3，0.4，0.5，…，1.9，2.0}的高斯核依次对所获取的200幅图像进行模糊处理，然后在模糊后的200幅图像中随机选取超过5000000个图像块，通过统计得出下列回归函数：

式(3)中，a,b,c,d均为常数，分别为39.49，4.535，-3.538,18.53；σ取值为{0.3，0.4，0.5，…，1.9，2.0}；

步骤5、构建图像库：首先，利用步骤4得到的回归函数对CMU PIE人脸图像库和HELEN人脸图像库中的每幅人脸图像进行模糊强度估计，根据估计结果手工提取每幅人脸图像的下颚、嘴、眼睛轮廓结构；然后，使用导向滤波器优化所提取出的每幅人脸图像中下颚、嘴、眼睛轮廓结构图像T，从而形成一图像库；

步骤6、将要去模糊的图像B与图像库中的图像T进行匹配：

模糊图像B的数学模型表示为

B＝K*I+n (4)

式(4)中，I为清晰图像，K是模糊核，n为随机加性噪声；

使用基于梯度的归一化互相关函数的最大响应确定最佳候选的轮廓结构图像T；

步骤7、模糊核估计：

在获得图像T的图像梯度后，通过交替求解以下两式估计模糊核K

式(5)和式(6)中，λ和γ是正则化参数，λ＝0.002，γ＝1；

步骤8、模糊核K确定后使用L_0.8范数的超拉普拉斯先验非盲反卷积方法得到清晰图像I。

与现有技术相比，本发明的有益效果是：

本发明背景技术中提及到的基于人脸轮廓结构提取的去模糊方法主要是采用输入模糊图像和清晰图像匹配，未考虑模糊图像的模糊强度，容易导致轮廓提取错误，本发明方法通过回归函数能更好估计模糊图像强度，能得到更加准确的轮廓结构；由于“pan人脸库数据库”中的图像多为正脸图像，而本发明采用带有非正脸、夸张表情的复杂人脸图像的CMU PIE人脸图像库和HELEN人脸图像库，因此能更好处理此类复杂人脸图像。

附图说明

图1(a)是本发明的待处理的实拍图像1；

图1(b)是采用Pan方法对图1(a)所示图像去模糊后的图像；

图1(c)是采用本发明方法对图1(a)所示图像去模糊后的图像；

图2(a)是本发明的待处理的实拍图像2；

图2(b)是采用Pan方法对图2(a)所示图像去模糊后的图像；

图2(c)是采用本发明方法对图2(a)所示图像去模糊后的图像；

图3(a)是本发明的待处理的实拍图像3；

图3(b)是采用Pan方法对图3(a)所示图像去模糊后的图像；

图3(c)是采用本发明方法对图3(a)所示图像去模糊后的图像；

图4(a)是本发明的待处理的实拍图像4；

图4(b)是采用Pan方法对图4(a)所示图像去模糊后的图像；

图4(c)是采用本发明方法对图4(a)所示图像去模糊后的图像。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明提出的一种基于可察觉特征的人脸图像去模糊方法，包括以下步骤：

步骤1、字典训练：给定有n个图像信号的集合其中，每个图像信号y_i用稀疏的字典原子表示，利用下式学习一个过完备字典D，

式(1)中，D是过完备字典，捕获所有稀疏的字典原子信息；x_i是重构图像信号y_i的系数，k是一个用来限制x_i的稀疏性的常数，k的最大值设定为5，与传统选择较大值不同，本发明中该k选择值较小，从而可以保证原始和重构块的平均峰值信噪比超过50。

用标准差σ＝2的高斯核对1000幅图像进行模糊处理，然后在模糊后的1000幅图像中随机选取超过100000个图像块对过完备字典D进行训练，每个图像块大小为8×8且随机分割；

步骤2、清晰特征和可觉察模糊特征识别：步骤1中选取的所有图像块中，每个图像块具有清晰特征或可察觉特征，对所有图像块的清晰特征或可察觉特征进行识别，包括：

用过完备字典D将图像信号y_i分解成字典原子

式(2)中，ε是常数，令ε为0.07；

步骤3、构建稀疏特征f_α，用重构图像信号y_i的系数x_i中一系列非零元素表示，字典原子和相应系数反映了输入是否模糊，模糊程度如何。

f_α＝||x_i||₀ (3)

步骤4、模糊强度估计：在步骤1模糊处理前的1000幅图像中随机获取200幅图像，用标准差σ取值为{0.3，0.4，0.5，…，1.9，2.0}的高斯核依次对所获取的200幅图像进行模糊处理，然后在模糊后的200幅图像中随机选取超过5000000个图像块，通过统计得出下列回归函数：

式(4)中，a,b,c,d均为常数，分别为39.49，4.535，-3.538,18.53；σ取值为{0.3，0.4，0.5，…，1.9，2.0}；随着字典原子的个数降低，模糊程度变强。

步骤5、构建图像库：首先，利用步骤4得到的回归函数对CMU PIE人脸图像库和HELEN人脸图像库(其中搜集有2435幅人脸图像，这些人脸图像取自不同身份，带有不同脸部表情和动作的人)中的每幅人脸图像进行模糊强度估计，根据估计结果手工提取每幅人脸图像的下颚、嘴、眼睛轮廓结构；然后，使用导向滤波器优化所提取出的每幅人脸图像中下颚、嘴、眼睛轮廓结构图像T，从而形成一图像库；

步骤6、将要去模糊的图像B与图像库中的图像T进行匹配：

模糊图像B的数学模型表示为

B＝K*I+n (5)

式(5)中，I为清晰图像，K是模糊核，n为随机加性噪声；

使用基于梯度的归一化互相关函数的最大响应确定最佳候选的轮廓结构图像T

式(6)中，v_i为响应值，i为索引，T_i(x)为第i个候选图像，是图像B的梯度，是图像T的图像梯度，t是和之间的转换关系，t∈[1，10]；如果和越相似，v_i越大，反之越小。

步骤7、模糊核估计，步骤如下：

在获得图像T的图像梯度后，通过交替求解以下两式估计模糊核K：

式(7)和式(8)中，λ和γ是正则化参数，λ＝0.002，γ＝1；L₀范数用于获得清晰图像I，同时能有效去除振铃效应。L₂范数目的是使问题快速收敛到稳定的解。

对于式(7)，应用半二次分解L₀最小化方法求解。引入辅助变量w＝(w_x,w_y)^T，将(7)式重写：

其中，β是标量且以2倍速度增加，初值为0.004。当β接近∞时，式(9)的解就是式(7)的解。式(9)可以通过分别求解I和w得到，通过下式求解I：

该式有近似解，如下式所示：

其中，和表示离散傅里叶变换(DFT)和离散傅里叶逆变换。和表示竖直和水平差分算子。表示复共轭算子。

求解得到I之后，式(9)中w的解可用下式表示：

式(8)的求解可以利用共轭梯度方法求解最小二乘问题得到。

步骤8、模糊核K一旦确定后，使用L_0.8范数的超拉普拉斯先验非盲反卷积方法得到清晰图像I。

为了验证本发明提出的方法的有效性，在实验平台为Intel Xeon CPU,8G RAM进行仿真实验。将本发明方法与背景技术中的基于人脸轮廓结构提取的去模糊方法进行比较。使用实拍图像进行实验，对比实验参数设置相同。为了验证本发明提出的基于可察觉特征的人脸去模糊方法的性能，分别从主观评测、客观评测及复杂人脸图像去模糊效果三个方面进行实验。

(1)主观评测：

使用如图1(a)和图2(a)所示的实拍图像1和实拍图像2，本发明方法和基于人脸轮廓结构提取的人脸去模糊方法(简称Pan的方法)对比，实验结果分别如图1(b)和图1(c)及图2(b)和图2(c)所示。从去模糊结果图中可以看出，Pan的方法和本发明方法都能得到很好的去模糊效果，但Pan的结果出现伪边缘，尤其是眼睛部分，伪边缘更加严重，而本发明方法去模糊结果更加自然。从图1(b)和图1(c)及图2(b)和图2(c)两组对比图均能看出，本发明方法去模糊效果更优。

(2)客观评测：

为了进一步对比运算复杂度，本发明将Pan方法的整个过程划分为两个阶段：突出边缘获取阶段(这里运算时间指人脸轮廓提取耗费时间)和盲反卷积阶段。对合成图像进行对比实验，每个图像对应边缘获取阶段的运算时间进行记录。取所有图像运行时间的平均值，实验结果如表1所示。

表1运算时间对比(单位：秒)。

很容易看出，和对比方法比较，本发明方法整个去模糊阶段运行时间更短，尤其在凸出边缘提取阶段。需要指出的是，这里使用的合成图像大小为240*320个像素，其尺寸较小。当采用较大尺寸图像时，本发明方法的优势更加明显。

(3)复杂人脸图像去模糊处理：

为了进一步比较处理复杂人脸图像的能力，从Helen人脸库精心挑选了若干有夸张表情、非正脸的人脸图像。对比实验参数设置相同，从中选取两幅实拍图像，如图3(a)和图4(a)所示，两组图像的去模糊结果，如图3(b)和图3(c)及图4(b)和图4(c)所示。由于得益于本发明引入可察觉特征，使得人脸轮廓的提取更加准确，图像去模糊效果更好。与此同时，本发明方法也能够更好处理复杂人脸图像的问题。从结果图中可以看出，Pan的方法伪边缘更加明显，而本发明去模糊效果更好，尤其在眼睛、嘴部等部位。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种基于可察觉特征的人脸图像去模糊方法，其特征在于，包括以下步骤：

步骤1、字典训练：给定有n个图像信号的集合其中，每个图像信号y_i用稀疏的字典原子表示，利用下式学习一个过完备字典D，

$\begin{array}{cc}\underset{x_i}{min}\left|\right|y_i-{\mathrm{Dx}}_i|{|}_2^2& s.t.\left|\right|x_i|{|}_0\≤k\end{array}---\left(1\right)$

式(1)中，D是过完备字典，捕获所有稀疏的字典原子信息；x_i是重构图像信号y_i的系数，k是一个用来限制x_i的稀疏性的常数，k的最大值设定为5；

用标准差σ＝2的高斯核对1000幅图像进行模糊处理，然后在模糊后的1000幅图像中随机选取超过100000个图像块对过完备字典D进行训练，每个图像块大小为8×8且随机分割；

步骤2、清晰特征和可觉察模糊特征识别：步骤1中选取的所有图像块中，每个图像块具有清晰特征或可察觉特征，对所有图像块的清晰特征或可察觉特征进行识别，包括：

用过完备字典D将图像信号y_i分解成字典原子

$\begin{array}{cc}\underset{x_i}{min}\left|\right|x_i|{|}_1& s.t.\left|\right|y_i-{\mathrm{Dx}}_i|{|}_2\≤\mathrm{\ϵ}\end{array}---\left(2\right)$

式(2)中，ε是常数，令ε为0.07；

步骤3、构建稀疏特征f_α，用重构图像信号y_i的系数x_i中一系列非零元素表示

f_α＝||x_i||₀ (3)

步骤4、模糊强度估计：在步骤1模糊处理前的1000幅图像中随机获取200幅图像，用标准差σ取值为{0.3，0.4，0.5，…，1.9，2.0}的高斯核依次对所获取的200幅图像进行模糊处理，然后在模糊后的200幅图像中随机选取超过5000000个图像块，通过统计得出下列回归函数：

$f_{\mathrm{\α}}=\frac{a}{1+\exp (b\mathrm{\σ}+c)}+d---\left(3\right)$

式(3)中，a,b,c,d均为常数，分别为39.49，4.535，-3.538,18.53；σ取值为{0.3，0.4，0.5，…，1.9，2.0}；

步骤5、构建图像库：首先，利用步骤4得到的回归函数对CMU PIE人脸图像库和Helen人脸图像库中的每幅人脸图像进行模糊强度估计，根据估计结果手工提取每幅人脸图像的下颚、嘴、眼睛轮廓结构；然后，使用导向滤波器优化所提取出的每幅人脸图像中下颚、嘴、眼睛轮廓结构图像T，从而形成一图像库；

步骤6、将要去模糊的图像B与图像库中的图像T进行匹配：

模糊图像B的数学模型表示为

B＝K*I+n (4)

式(4)中，I为清晰图像，K是模糊核，n为随机加性噪声；

使用基于梯度的归一化互相关函数的最大响应确定最佳候选的轮廓结构图像T；

步骤7、模糊核估计：

在获得图像T的图像梯度▽T后，通过交替求解以下两式估计模糊核K

$\underset{I}{\min }\left|\right|I*K-B|{|}_2^2+\mathrm{\λ}||\▿I|{|}_0---\left(5\right)$

$\underset{K}{min}\left|\right|\▿T*K-B|{|}_2^2+\mathrm{\γ}|\left|K\right|{|}_2^2---\left(6\right)$

式(5)和式(6)中，λ和γ是正则化参数，λ＝0.002，γ＝1；

步骤8、模糊核K确定后使用L_0.8范数的超拉普拉斯先验非盲反卷积方法得到清晰图像I。