CN102902966A - 一种基于深度信赖网络的超分辨率人脸识别方法 - Google Patents

Abstract

一种基于深度信赖网络的超分辨率人脸识别方法，涉及人脸识别技术领域。本发明从认知的角度出发，认为相互对应的高低分辨率人脸图像存在着内在本质的关联。而以往的研究表明，采用线性近似的方法来表达这种内在的关联效果受到线性近似地制约。因此认为这种内在的关联是非线性的。鉴于人工神经网络在非线性分类问题上的出色表现，本发明采用神经网络算法来捕获姿态变化下相互对应的高低分辨率人脸图像的非线性关联。理论研究和神经生理学的研究表明，要构建一个智能的处理***，需要构建深度的结构，如多层非线性处理单元构建的***。本发明利用深度信赖网络（deep belief networks）来挖掘相互对应的高低分辨率人脸图像存在的共有的非线性结构。

Description

一种基于深度信赖网络的超分辨率人脸识别方法

技术领域

本发明涉及人脸识别技术领域，涉及到一种基于深度信赖网络的超分辨率人脸识别方法。

背景技术

人脸识别是一种重要的生物认证技术，是计算视觉和模式识别最重要的问题之一。近几十年来，研究人员提出了大量的方法，并已广泛用于视频监控等安全保障***中。但是，由于距离和硬件条件等的限制，在大场景视频监控***中拍摄的感兴趣人脸图像分辨率往往比较低，从而降低了人脸识别的性能。如何在低分辨率条件下提高识别效果，是目前人脸识别需要解决的问题。

图像超分辨率(super-resolution,SR)是指利用某种算法从一幅或者一系列低分辨率(low resolution,LR)图像中获得一幅或者一系列高分辨率(high resolution,HR)图像的技术。因此，人脸图像超分辨率算法很自然地被作为提高低分辨率图像人脸识别效果的解决方案之一。申请号为：CN200810096054.7的专利：单帧图象超分辨方法，首先对图象进行分析，通过频率混叠参数判定是否采用单帧频域解混叠超分辨方法进行处理；然后通过傅立叶变换、频域解混叠算法及傅立叶反变换，丰富图象的纹理与细节，提高图象的清晰度、对比度和分辨率，并抑制振铃假象。此专利只适用于卫星遥感图象处理、医学图象和地震图象等图像的重建并非为了提高识别能力而设。这类方案将识别过程分解为人脸图像超分辨率重建和高分辨率人脸识别两步进行。然而人脸图像超分辨率重建的目标是尽可能地恢复高分辨率人脸图像的细节特征，以提高视觉效果，而影响人脸识别性能的特征可能既包括全局特征，又包括细节特征，两个步骤的目标不一致，导致最终的识别效果受到限制。基于以上原因，B.K.Gunturk和A.U.Batur在“Image Processing”（IEEE Trans.2003,vol.12,no.5,pp.597-606）发表的“Eigen-face-domainsuper-resolution for face recognition”等人提出了在特征域进行人脸超分辨率重建的方法，该方法超分辨率重建得到的特征可以直接用于人脸识别。该方法提供了一种很好的直接利用超分辨率算法进行人脸识别的框架，但计算复杂度较高，且该方法使用的概率模型对数据的一致性要求较高，当人脸姿态变化较大，算法的效果大幅度下降。B.Li,H.Chang,S.Shan and X.Chen在“Signal Processing Letters”（IEEE,2010,vol.17,no.1,pp.20-23）发表的“Low-resolution face recognition via coupled locality preservingmappings”提出了局部保持的耦合变换算法，利用局部保持对数据进行限定，耦合高低分辨率图像，从高低分辨率图像中抽取耦合特征。在姿态变化较大时，高低分辨率图像的局部保持性质差异较大，大大影响了其算法效果。专利申请号：CN200910207562.2的专利一种基于典型相关分析空间超分辨率的人脸识别方法，在典型相关分析变换得到的相关子空间内利用邻域重构获得测试低分辨率人脸图像对应的高分辨率人脸图像识别特征，最后利用此特征识别人脸。该方法在特征提取上仍然采用的是线性提取因子，其典型相关分析也是一种线性的变换方法，当存有较大姿态变化时，该方法性能大大降低。

发明内容

本发明克服上述现有技术的缺点，提出了一种基于深度信赖网络的超分辨率人脸识别方法。

为了达到上述目的，本发明采用的技术方案是：

本发明从认知的角度出发，认为相互对应的高低分辨率人脸图像存在着内在本质的关联。而以往的研究表明，采用线性近似的方法来表达这种内在的关联效果受到线性近似地制约。因此认为这种内在的关联是非线性的。鉴于人工神经网络在非线性分类问题上的出色表现，本发明采用神经网络算法来捕获姿态变化下相互对应的高低分辨率人脸图像的非线性关联。理论研究和神经生理学的研究表明，要构建一个智能的处理***，需要构建深度的结构，如多层非线性处理单元构建的***。对于构建深度网络，BP(back-propagation)算法是一种常用的神经网络算法。但是当网络的层数增加时，BP算法受到算法的局限，不能得到较好的结果。Hinton等人提出了快速地学习深度多层结构的概率模型的神经网络算法，将之命名为深度信赖网络（deep belief networks）。这种类型的神经网络不仅能作为分类器，而且可以表示非线性特征。基于此，本发明利用深度信赖网络（deep belief networks）来挖掘相互对应的高低分辨率人脸图像存在的共有的非线性结构。

附图说明

图1（a）是波尔兹曼机。

图1（b）是受限的波尔兹曼机。

图2（a）是贪婪算法求得的受限的玻尔兹曼机。

图2（b）是深度信赖网络。

图2（c）是受限的波尔兹曼机构成的深度信赖网络。

图3（a）是UMIST图库中训练高分辨率56*46的人脸图像。

图3（b）是训练低分辨率14*11的人脸图像。

图3（c）是测试低分辨率14*11的人脸图像。

图4是超分辨率人脸识别算法示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。

本发明提出了一种基于深度信赖网络的超分辨率人脸识别方法，该方法可以包括：

a.受限的波尔兹曼机。受限的波尔兹曼机是一种马尔科夫随机场或者一种双层图结构，一种特殊结构的波尔兹曼机。如图1所示，图（a）为一般的波尔兹曼机，波尔兹曼机为一种满秩的双层图结构，可将下层称为可视层，上层称为隐层。（b）为受限的波尔兹曼机，受限的波尔兹曼机与一般的波尔兹曼机相比，不允许可视层各点之间或者是隐层各点之间存在关联。

受限的波尔兹曼机是一种特殊的神经网络模型，具有对称的连接权系数。网络由可视单元v∈{0,1}^D和隐层单元h∈{0,1}^F构成。可视单元由输入、输出部分组成。每个单元节点只取1或0两种状态。1代表接通或接受，0表示断开或拒绝。当神经元的输入加权和发生变化时，神经元的状态随之更新。各单元之间状态的更新是异步的。可用概率来描述。状态{v,h}的能量方程可以定义为：

E(v,h;θ)=-v^TWh-b^Tv-a^Th                    （1）

其中θ={W,a,b}为参数，W可视层和隐层之间对称的连接权系数，a和b为基矩阵。可见向量与隐层向量的联合分布矩阵为：

$p(v,h;\mathrm{\θ})=\frac{1}{z\left(\mathrm{\θ}\right)}\exp (-E(v,h;\mathrm{\θ}))---\left(2\right)$

$z\left(\mathrm{\θ}\right)=\underset{v}{\mathrm{\Σ}}\underset{h}{\mathrm{\Σ}}\exp (-E(v,h;\mathrm{\θ}))---\left(3\right)$

模型分配可见向量的概率为：

$p(v,h;\mathrm{\θ})=\frac{1}{z\left(\mathrm{\θ}\right)}\underset{h}{\mathrm{\Σ}}\exp (-E(v,h;\mathrm{\θ}))---\left(4\right)$

可见向量和隐层向量的条件概率分布为：

$p(h_j=1|v)=g(\underset{i}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{v}_i+a_j)---\left(5\right)$

$p(v_i=1|h)=g(\underset{j}{\mathrm{\Σ}}{W}_{\mathrm{ij}}{h}_j+b_i)---\left(6\right)$

其中g(x)=1/(1+exp(-x))。对各参数求导可得其指数似然概率：

$\frac{\∂\log p(v;\mathrm{\θ})}{\∂W}=\mathrm{\α}\left(E_{\mathrm{date}}\right[{\mathrm{vh}}^T]-E_{\mathrm{mode}l}[{\mathrm{vh}}^T\left]\right)---\left(7\right)$

$\frac{\∂\log p(v;\mathrm{\θ})}{\∂a}=\mathrm{\α}\left(E_{\mathrm{date}}\right[h]-E_{\mathrm{mode}l}[h\left]\right)---\left(8\right)$

$\frac{\∂\log p(v;\mathrm{\θ})}{\∂b}=\mathrm{\α}\left(E_{\mathrm{date}}\right[v]-E_{\mathrm{mode}l}[v\left]\right)---\left(9\right)$

其中α为学习率。E_data[.]为数据完整分布p_data(v,h;θ)=p(h|v;θ)p_data(v)的期望，其中p_data(v)为数据的先验知识。E_model[.]为公式（2）代表的模型期望。数据期望和模型期望是很难获得的，可以采用吉布斯采样获得上述期望的近似值。在实际中，通过马尔科夫链估计模型期望，通过变分法估计数据期望。

深度信赖网络是一个有多层隐层的概率模型，每一层从前一层的隐含单元捕获高度相关的关联。图2为一个深度信赖网络的示意图。相邻两层可分解为一个单独的受限的波尔兹曼机。

b.训练深度信赖网络

深度信赖网络的全局优化比较困难。为了取得较好的训练效果，可以采取逐层贪婪算法，每次只训练相邻两层之间的参数和隐层数据，逐层计算获得最终的深度信赖网络。通过贪婪算法获得的深度信赖网络根据最终的感兴趣的判别准则进行微调就可以获得最终深度信赖网络。

（1）初始化

如图2所示，将深度信赖网络分解成由相邻两层构成的一系列受限的玻尔兹曼机，逐层训练参数，初始化深度信赖网络：

首先将经验数据v作为输入，训练第一层受限波尔兹曼机的权值系数矩阵W¹；接着将W¹固定，通过p(h¹|v)=p(h¹|v,W¹)，训练出第一层受限波尔兹曼机的隐层向量h¹；将h¹作为第二层受限波尔兹曼机的输入，训练第二层受限波尔兹曼机的权值系数矩阵W²；递归地计算出每一层的隐含单元向量和权值系数矩阵。

（2）微调

为达到分类目的，本发明最终的微调在最后一层网络再添加一层逻辑回归层，并采用梯度下降法，保证目标分类误差最小，训练整个网络。

本发明具体的实现步骤如下：

（1）首先，对低分辨率图像进行最近邻插值或者双线性插值，使得高低分辨率图像的维度一致；

（2）接着，如图3所示，将维度一致的带有姿态差异的高低分辨率人脸图像作为深度信赖网络的可视向量输入到网络中，深度信赖网络由受限的波尔兹曼机构成；

（3）然后，训练深度信赖网络。训练深度信赖网络主要包含初始化和微调两步。初始化时，通过相邻层之间的重建误差控制，采用贪婪算法逐层计算深度信赖网络参数。微调时，采用标准的BP（back-propagation）算法，保证分类误差最小，训练整个深度信赖网络；

（4）最后，将测试低分辨率图像最近邻插值或者双线性插值到高分辨率图像大小，输入到深度信赖网络，由深度信赖网络给出最终的识别结果。

图3为用于实验的UMIST图库中一个人物的人脸图像。其中图为（a）训练高分辨率人脸图像，图像大小为56*46，图（b）为训练低分辨率人脸图像，图像大小为14*11，图（c）为测试低分辨率人脸图像，图像大小为14*11。

图4为UMIST图库采用深度信赖网络进行超分辨率人脸识别的示意图。各个隐层所含单元数由实际效果决定。

从上述描述应该理解，在不脱离本发明精神的情况下，可以对本发明各实施方式进行修改和变更。本说明书中的描述仅仅是用于说明性的，而不应被认为是限制性的。

Claims (4)

1.一种基于深度信赖网络的超分辨率人脸识别方法，其特征在于包含以下步骤：

1）对低分辨率图像进行最近邻插值、双线性插值或者双三次插值，使得高低分辨率图像的维度一致；

2）将维度一致的带有姿态差异的高低分辨率人脸图像灰度归一到(0,1)之间，并作为深度信赖网络的可视向量v输入到网络中，深度信赖网络由多层的受限的波尔兹曼机构成；所述的受限的波尔兹曼机是一种特殊的神经网络模型，具有对称的连接权系数，网络由可视单元v∈{0,1}^D和隐层单元h∈{0,1}^F构成；

3）然后，训练深度信赖网络；

4）将经过最近邻插值、双线性插值或者双三次插值的测试低分辨率图像输入到深度信赖网络，由深度信赖网络给出最终的识别结果。

2.如权利要求1所述的超分辨率人脸识别方法，其特征在于：所述的步骤2）是指：带有姿态差异的高低分辨率人脸图像其分辨率为h×w，将其展开成为一行长度为h×w的向量，并将其灰度强度归一到（0，1）。

3.如权利要求1或2所述的超分辨率人脸识别方法，其特征在于：所述的步骤3）中的训练深度信赖网络包含以下步骤：

将深度信赖网络分解成由相邻两层构成的一系列受限的玻尔兹曼机，逐层训练参数；

1）初始化深度信赖网络：首先将经验数据v作为输入，训练第一层受限波尔兹曼机的权值系数矩阵W¹；接着将W¹固定，通过p(h¹|v)=p(h¹|v,W¹)，训练出第一层受限波尔兹曼机的隐层向量h¹；将h¹作为第二层受限波尔兹曼机的输入，训练第二层受限波尔兹曼机的权值系数矩阵W²；递归地计算出每一层的隐含单元向量和权值系数矩阵；

2）微调：为达到分类目的，在最后一层网络再添加一层逻辑回归层，并采用梯度下降法训练整个网络。

4.如权利要求3所述的超分辨率人脸识别方法，其特征在于：所述的初始化深度信赖网络，计算权值和隐层单元的包括以下特征：

通过经验数据估计模型参数或隐层单元状态：状态{v，h}的能量方程定义为：

E(v,h;θ)=-v^TWh-b^Tv-a^Th            （1）

其中θ={W,a,b}为参数，W可视层和隐层之间对称的连接权系数，a和b为基矩阵，可视向量与隐层向量的联合分布矩阵为：

$p(v,h;\mathrm{\θ})=\frac{1}{z\left(\mathrm{\θ}\right)}\exp (-E(v,h;\mathrm{\θ}))---\left(2\right)$

设E_data[.]为数据完整分布p_data(v,h;θ)=p(h|v;θ)p_data(v)的期望，其中p_data(v)为数据的先验知识，E_model[.]为公式（2）代表的模型期望，则由公式（3~5）求得最优的参数θ＝{W,a,b}或者相应的隐层状态向量h。

$\frac{\∂\log p(v;\mathrm{\θ})}{\∂W}=\mathrm{\α}\left(E_{\mathrm{date}}\right[{\mathrm{vh}}^T]-E_{\mathrm{mode}l}[{\mathrm{vh}}^T\left]\right)---\left(3\right)$

$\frac{\∂\log p(v;\mathrm{\θ})}{\∂a}=\mathrm{\α}\left(E_{\mathrm{date}}\right[h]-E_{\mathrm{mode}l}[h\left]\right)---\left(4\right)$

$\frac{\∂\log p(v;\mathrm{\θ})}{\∂b}=\mathrm{\α}\left(E_{\mathrm{date}}\right[v]-E_{\mathrm{mode}l}[v\left]\right)---\left(5\right)$

其中α为学习率。

Images