CN108052867A

CN108052867A - 一种基于词袋模型的单样本人脸识别方法

Info

Publication number: CN108052867A
Application number: CN201711155556.8A
Authority: CN
Inventors: 刘凡; 许峰
Original assignee: Hohai University HHU
Current assignee: Hohai University HHU
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2018-05-18
Anticipated expiration: 2037-11-20
Also published as: CN108052867B

Abstract

本发明公开了一种基于词袋模型的单样本人脸识别方法，利用词袋模型提取中层语义特征以缩小单样本情况下的“语义鸿沟”。该方法首先将人脸划分为多个子块，然后提取所有子块的SIFT特征，对所有子块的SIFT特征聚类，进而构造视觉单词字典；基于视觉单词字典提出多阶段k近邻协同表示编码方法，将各个子块的局部特征投影到语义空间；为了描述空间信息，同时减少特征维数，利用空间金字塔模型对编码后特征进行池化，生成基于视觉单词的直方图以描述人脸。最后将池化后的特征合并到一起，利用基于线性核的SVM分类器进行分类。本发明单样本人脸识别方法对表情、光照变化和遮挡等具有很好的鲁棒性，识别精度高。

Description

一种基于词袋模型的单样本人脸识别方法

技术领域

本发明涉及单样本人脸识别方法，具体涉及每个待识别对象仅有一幅训练图像的基于词袋模型的单样本人脸识别方法，属于人脸识别技术领域。

背景技术

经过近五十年的发展，人脸自动识别技术已经取得了长足的进展，可控条件下的人脸识别技术已经取得令人满意的性能。然而在非可控条件下，由于受光照、表情、姿态、噪声、遮挡等因素的影响，人脸识别技术的精度急剧下降，远远不能满足应用需求。解决这些问题的最直接方法就是增加训练样本，但在实际应用中如身份证识别、护照识别、司法确认、准入控制等诸多实际应用中，通常只有一个训练样本可被获取，这种情况下的人脸识别问题被称之为单样本人脸识别问题(single sample per person，SSPP)，其进一步加剧了非可控条件下人脸识别的难度。

单样本人脸识别的难点在于很难区分不同人脸之间本质变化和光照、表情、遮挡所导致的变化，也就是说人脸特征与其身份之间存在语义鸿沟。近年来词袋模型在图像分类任务中的优异性能引起了学者们的广泛研究兴趣，并且将这种模型引入到人脸识别研究领域。例如Li等人(Z.S.Li,J.I.Imai,and M.Kaneko,“Robust face recognition usingblock-based Bag of Words,”Proceedings of the 26th International Conference onPattern Recognition,pp.1285-1288)首先明确将词袋模型应用到人脸识别，提出一种基于分块词袋模型的鲁棒人脸识别算法；Xie等人(S.F.Xie,S.G.Shan,X.L.Chen,X.Meng andW.Gao,“Learned local Gabor pattern for face representation and recognition,”Signal Processing,vol.89,no.3,pp.2333-2344,2009)首先对图像进行多尺度多方向的Gabor变换，将每个通道的图像密集地分割为若干小块并构建视觉词典，使用最近邻法对图像小块进行编码，然后将每个通道中得到的单词发生频率直方图拼接起来表征图像。最近，Cui等人(Z.Cui,W.Li,D.Xu,S.G.Shan,and X.L.Chen,“Fusing robust face regiondescriptors via multiple metric learning for face recognition in the wild,”Proceedings of the 26th International Conference on Computer Vision andPattern Recognition,pp.3554-3561,2013)提出一种基于空间人脸区域描述算子(spatial face region descriptor，SFRD)的人脸识别算法，该算法同样使用灰度特征描述图像小块，但是使用非负编码方法对照离线训练好的词典对每个小块进行编码，然后将图像分割为若干子区域，使用度量学习算法融合每个子区域内的池化特征。

词袋模型可以认为是提取一种中层语义特征，某种程度上可以弱化高层语义和底层特征间的语义鸿沟。因此，理论上也可以用来提升单样本情况下的人脸识别性能，但是目前的词袋模型中经常使用的稀疏编码或非负稀疏编码计算复杂性太高。

发明内容

本发明所要解决的技术问题是：提供一种基于词袋模型的单样本人脸识别方法，采用更加鲁棒的、计算效率更高的编码方法解决单样本人脸识别问题。

本发明为解决上述技术问题采用以下技术方案：

一种基于词袋模型的单样本人脸识别方法，包括如下步骤：

步骤1，将每个训练人脸图像划分为一系列的子块，并对每个子块提取SIFT局部特征，获得所有训练人脸图像的SIFT局部特征集合X∈R^D×N，其中，D为SIFT局部特征的维数，N为所有训练人脸图像SIFT局部特征的总数；

步骤2，随机选择所有训练人脸图像的SIFT局部特征构成的集合X的子集Xs，对子集Xs做K均值聚类，获得一个视觉单词字典V＝[v₁,v₂,…,v_K]∈R^D×K；

步骤3，对任意一个人脸图像，按照步骤1中训练人脸图像的划分方式划分子块，并提取子块的SIFT局部特征，构成集合X_r＝{x₁,x₂,…,x_M}∈R^D×M，其中，M为一张人脸图像所有子块的个数；基于步骤2获得的视觉单词字典V，对该人脸图像的SIFT局部特征集合X_r中的SIFT局部特征x_m进行多阶段k近邻协同表示编码，获得其编码向量c_m，m＝1,2,…,M；

步骤4，利用空间金字塔模型将步骤3的人脸图像分割为2^l×2^l个不同尺度下的子块，l＝0,1,…,L，L为大于0的正整数；设定第l层的第H个子块中含有M_H个编码向量，对这些编码向量进行最大值池化操作，获得池化后的特征；对空间金字塔模型不同尺度下的所有子块含有的编码向量都进行最大值池化操作，将所有子块池化后的特征合并到一起，得到该人脸图像的人脸特征表示；

步骤5，对所有训练人脸图像和所有测试人脸图像都进行步骤3和步骤4的操作，得到所有训练人脸图像的人脸特征表示和所有测试人脸图像的人脸特征表示，利用所有训练人脸图像的人脸特征表示构建基于线性核函数的SVM分类器，采用构建好的SVM分类器对所有测试人脸图像进行识别。

作为本发明的一种优选方案，步骤3所述基于步骤2获得的视觉单词字典V，对该人脸图像的SIFT局部特征集合X_r中的SIFT局部特征x_m进行多阶段k近邻协同表示编码，获得其编码向量c_m，具体过程如下：

(1)从视觉单词字典V中寻找k个近邻V_k＝[v₁,v₂,…,v_k]∈R^D×k，其中，D为SIFT局部特征的维数，k为近邻个数；

(2)利用k个近邻V_k＝[v₁,v₂,…,v_k]∈R^D×k协同SIFT局部特征x_m，根据如下公式计算k个近邻的协同表示系数向量c_m ^*：

其中，λ为正则项系数，||·||₂为2范数；

(3)将k个近邻的协同表示系数向量c_m ^*转化为K×1的表示系数向量中对应的k个近邻的值即为其协同表示系数，其他值则为0；

(4)将k个近邻减少为k-1个近邻，按照(1)-(3)的步骤计算其协同表示系数直至k＝1；当k＝1时，中对应的近邻值为1，其他都为0；

(5)将从k到1的的k次计算的表示系数向量求和，得到多阶段k近邻协同表示编码向量c_m，公式如下：

作为本发明的一种优选方案，步骤4所述最大值池化操作，计算公式如下：

其中，B_lH为池化后的特征，c_h为第l层第H个子块中的第h个编码向量，M_H为第l层的第H个子块中含有编码向量的个数。

作为本发明的一种优选方案，步骤4所述将所有子块池化后的特征合并到一起，得到该人脸图像的人脸特征表示，公式如下：

B_i＝[B_i1；B_i2；…；B_iS]

其中，B_i为第i个训练人脸图像的人脸特征表示，2^l×2^l表示将人脸图像分割为2^l×2^l个不同尺度下的子块。

作为本发明的一种优选方案，步骤5所述SVM分类器的最优分类函数为：

其中，f(B_j)为最优分类函数，B_j为第j个测试人脸图像的人脸特征表示，B_i为第i个训练人脸图像的人脸特征表示，n为训练人脸图像的个数，y_i为第i个训练人脸图像的类别标签，α_i为拉格朗日系数，κ(·,·)为核函数，b^*为SVM分类器的阈值。

作为本发明的一种优选方案，步骤2所述K均值聚类中的K为大于1的正整数。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明由于引入了词袋模型提取具有中层语义的特征，一定程度上弱化单样本情况下的语义鸿沟问题，对表情、光照变化和遮挡等具有很好的鲁棒性，因而具有较高的识别精度。

2、本发明设计了更高效的多阶段k近邻协同表示编码方法，简单易行，计算效率更高。

附图说明

图1是本发明基于词袋模型的单样本人脸识别方法的流程图。

图2是本发明基于词袋模型的单样本人脸识别方法中多阶段k近邻协同表示编码方法工作原理图。

图3是本发明基于词袋模型的单样本人脸识别方法中空间金字塔模型示意图。

图4是本发明基于词袋模型的单样本人脸识别方法在LFW人脸库的实验结果图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

单样本人脸识别问题的难点在于解决人脸特征与身份间的语义鸿沟问题，因此在单样本人脸识别中充分考虑具有语义的人脸特征，可以弱化语义鸿沟，而词袋模型可以提取中层语义特征，理论上适合解决单样本人脸识别问题。基于这一想法，本发明提出一种基于词袋模型的单样本人脸识别方法。

如图1所示，本发明一种基于词袋模型的单样本人脸识别方法，包括以下步骤：

1、将每个训练人脸图像划分为一系列的子块，并对每个子块提取SIFT特征，获得所有训练人脸图像的局部特征集合X∈R^D×N，D是SIFT局部特征的维数，N是所有训练人脸图像子块局部特征的总数；

2、随机选择所有训练人脸图的所有子块的局部特征构成的集合X的子集Xs，对子集Xs做K均值聚类，获得一个视觉单词字典V＝[v₁,v₂,…,v_K]∈R^D×K；

3、对任意一个人脸图像，按照步骤1中训练人脸图像的划分方式划分子块并提取子块SIFT特征，构成集合X_r＝{x₁,x₂,…,x_M}∈R^D×M，其中M为一张人脸图像所有子块的个数。基于步骤2获得的视觉单词字典V，对人脸图像的局部特征集合X_r＝{x₁,x₂,…,x_M}∈R^D×M中的局部特征x_m进行多阶段k近邻协同表示编码，获得其编码c_m，具体过程如图2所示，具体如下：

(1)从视觉单词字典V＝[v₁,v₂,…,v_K]∈R^D×K中寻找k个近邻V_k＝[v₁,v₂,…,v_k]∈R^D×k；

(2)利用k个近邻V_k＝[v₁,v₂,…,v_k]∈R^D×k协同局部特征x_m，按照如下公式计算协同表示系数：

(3)按照(2)计算好k个近邻的协同表示系数向量c_m ^*之后，将其转化为k×1的向量中对应的k个近邻的值即为其协同表示系数，其他值则为0；

(4)将k个近邻减少为k-1个近邻，按照(1)-(3)的步骤计算其协同表示系数直到k＝1；当k＝1时，其最近邻的系数值为1，其他都为0；

(5)如下公式，将从k到1的k次计算的表示系数向量求和，形成最终的多阶段k近邻协同表示编码：

4、对步骤3中编码后的M个编码向量进行特征池化，利用如图3所示的空间金字塔模型将人脸图像分割为2^l×2^l个不同尺度下的子块，l＝0,1,…,L。假设在第l层的第H个子块中有M_H个编码向量，则对这些编码向量进行最大值池化操作，获得池化后的特征，计算公式如下：

对金字塔模型不同尺度下的所有子块都进行池化操作，将所有子块池化后的特征合并到一起，作为最终的人脸特征表示。

5、按照步骤4获得所有训练样本测试样本的人脸特征表示之后，利用训练样本构建基于线性核函数的SVM分类器，完成测试样本的分类。SVM分类器的最优分类函数为：

其中，B_j为第j个测试人脸图像的人脸特征表示，B_i为第i个训练人脸图像的人脸特征表示，n为训练人脸图像的个数，y_i为第i个训练人脸图像的类别标签，α_i为拉格朗日系数，κ(·,·)为核函数，b^*为SVM分类器的阈值。

本发明一种基于词袋模型的单样本人脸识别方法，可以提取中层语义特征，有效弱化单样本情况下的语义鸿沟问题，其多阶段k近邻协同表示编码方法相比于稀疏表示和非负稀疏表示计算效率更高，同时对光照、表情、遮挡、时间变化都具有很好的鲁棒性。如图4所示，在LFW数据库上相比于传统的单样本人脸识别方法取得了将近10％的提升，相比于非负稀疏编码方法NSC_BoF，其不仅效果更好而且计算效率更高。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims

1.一种基于词袋模型的单样本人脸识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述基于词袋模型的单样本人脸识别方法，其特征在于，步骤3所述基于步骤2获得的视觉单词字典V，对该人脸图像的SIFT局部特征集合X_r中的SIFT局部特征x_m进行多阶段k近邻协同表示编码，获得其编码向量c_m，具体过程如下：

(2)利用k个近邻V_k＝[v₁,v₂,…,v_k]∈R^D×k协同SIFT局部特征x_m，根据如下公式计算k个近邻的协同表示系数向量c_m*：

<mrow> <msup> <msub> <mi>c</mi> <mi>m</mi> </msub> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <mi> </mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>m</mi> </msub> <mo>-</mo> <msub> <mi>V</mi> <mi>k</mi> </msub> <msup> <msub> <mi>c</mi> <mi>m</mi> </msub> <mo>*</mo> </msup> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&lambda;</mi> <mo>|</mo> <mo>|</mo> <msup> <msub> <mi>c</mi> <mi>m</mi> </msub> <mo>*</mo> </msup> <mo>|</mo> <msub> <mo>|</mo> <mn>2</mn> </msub> </mrow>

其中，λ为正则项系数，||·||₂为2范数；

(3)将k个近邻的协同表示系数向量c_m*转化为K×1的表示系数向量中对应的k个近邻的值即为其协同表示系数，其他值则为0；

<mrow> <msub> <mi>c</mi> <mi>m</mi> </msub> <mo>=</mo> <msubsup> <mi>&Sigma;</mi> <mrow> <msup> <mi>k</mi> <mo>&prime;</mo> </msup> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </msubsup> <msubsup> <mi>c</mi> <mi>m</mi> <msup> <mi>k</mi> <mo>&prime;</mo> </msup> </msubsup> <mo>.</mo> </mrow>

3.根据权利要求1所述基于词袋模型的单样本人脸识别方法，其特征在于，步骤4所述最大值池化操作，计算公式如下：

4.根据权利要求1所述基于词袋模型的单样本人脸识别方法，其特征在于，步骤4所述将所有子块池化后的特征合并到一起，得到该人脸图像的人脸特征表示，公式如下：

B_i＝[B_i1；B_i2；…；B_iS]

其中，B_i是第i个训练人脸图像的人脸特征表示，2^l×2^l表示将人脸图像分割为2^l×2^l个不同尺度下的子块。

5.根据权利要求1所述基于词袋模型的单样本人脸识别方法，其特征在于，步骤5所述SVM分类器的最优分类函数为：

<mrow> <mi>f</mi> <mrow> <mo>(</mo> <msub> <mi>B</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>s</mi> <mi>g</mi> <mi>n</mi> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>y</mi> <mi>i</mi> </msub> <msub> <mi>&alpha;</mi> <mi>i</mi> </msub> <mi>&kappa;</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>B</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>B</mi> <mi>j</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>b</mi> <mo>*</mo> </msup> <mo>)</mo> </mrow> </mrow>

6.根据权利要求1所述基于词袋模型的单样本人脸识别方法，其特征在于，步骤2所述K均值聚类中的K为大于1的正整数。