CN106951819A - 基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，包括以下步骤：首先，对人脸图像进行块和子块两级划分，假设同一块内的不同子块是属于同一个类别的不同样本，从而解决许多子空间学习方法和稀疏表示方法在单样本情况下无法工作或性能下降的问题；然后对人脸图像的每个块进行识别，利用投票的方法获得该人脸的类别概率分布；接下来利用一个多阶段的类别筛选结构，通过熵最小化的思想迭代地剔除掉不相关类别，从而取得理想的人脸识别分类效果。本发明对表情、光照变化和遮挡等具有很好的鲁棒性，识别精度高，从而为单样本人脸识别问题提供了一种简单有效的解决方案。

Description

基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法

技术领域

本发明属于人脸识别领域，涉及一种采用全新有效的单样本人脸识别解决方案，具体涉及每个待识别对象仅有一幅训练图像的人脸自动识别***。

背景技术

作为一种非接触式生物特征鉴别技术，人脸识别一直是模式识别和计算机视觉领域最热门的研究课题之一，它被广泛应用于身份认证、安全监控、多媒体娱乐、智能人机交互等众多领域。一般来说，人脸识别主要是指在数字图像或视频图像中，通过人体面部视觉信息，进行人类身份鉴别的计算机技术。人脸识别和指纹识别、掌纹识别等其它生物特征识别技术相比，具有采样更加便捷、效果易于查验、应用更为广泛等突出特点。

在众多已有的人脸识别方法中，鉴别特征的提取是人脸识别的关键。过去几十年中，在众多的特征提取算法中子空间学习方法受到了广泛的关注。其基本思想是通过一定的准则函数寻找一组基向量，把原始的高维特征投影到这组基向量所张成的低维子空间中，从而使得数据分别更加紧凑更具有鉴别性，另外也可以降低计算量。子空间学习方法中最具代表性的当属主成分分析(M.A.Turk,A.P.Pentland,“Eigenfaces forrecognition,”Journal of cognitive neuroscience,1991,3(1):71-86)和线性鉴别分析(P.N.Belhumeur,J.P.Hespanha.Kriegman,D.J.“Eigenfaces vs.Fisherfaces:Recognition using class specific linear projection,”IEEE Transactions onPattern Analysis and Machine Intelligence,1997,19(7):711-720.)，其已经被广泛地应用于人脸识别中并取得了很好的识别结果。近年来J.Wright等人提出的基于稀疏表示的人脸识别方法(A.Yang,A.Ganesh,S.Sastry,and Y.Ma,“Robust Face Recognition viaSparse Representation,”IEEE Trans.Pattern Analysis and Machine Intelligence,vol.31,no.2,pp.210-227,2009)以其鲁棒的抗噪声、遮挡能力而受到备受关注，其基本原理是利用所有训练图像构造字典，再通过求解一个欠定方程组来求得测试图像的最稀疏线性组合系数，然后根据这些系数来对图像进行识别分类。由于该方法要求解l1-范数最小化问题，计算复杂度较高，张磊等人通过研究发现：是训练图像对测试图像的协同表示而不是l1-范数诱导的稀疏性更有助于提升人脸识别的准确性，他们由此提出了基于协同表示的人脸识别方法(L.Zhang,M.Yang,and X.Feng,“Sparse representation orcollaborative representation:which helps face recognition？”in ICCV 2011)，建议用l2-范数取代l1-范数作为正则项，可以获得有竞争力的识别效果的同时大大降低计算强度。

上述基于稀疏或协同表示的人脸识别方法或者传统的基于子空间学习的人脸识别方法都严重依赖于训练样本的多少，其中大部分方法在面临单样本人脸识别问题时识别性能下降的很厉害，甚至有些方法在单样本情况下根本无法工作，只有在每个类的训练样本数量较多时才能显示出较好的对于噪声、遮挡的鲁棒性。因此对于诸如身份证识别、海关护照核查、安全监控等许多现实应用中通常只存在单训练样本的情况下，这些方法的识别性能就会急剧下降甚至完全不可行。

发明内容

本发明的目的在于提供一种基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法。本发明通过图像分块并利用图像块中子块的高相似性来应对训练样本数量不足带来的挑战，为传统的子空间学习方法以及稀疏或协同表示应用于单样本人脸识别问题提供了一条切实可行的解决方案。

实现本发明目的的技术解决方案为：一种基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，首先通过图像分块并利用图像块中子块结构的高相似性，提出了该些子块作为同一类别的不同样本的假设。基于这一假设，就可以对图像的局部块应用传统的人脸识别方法进行分类：测试图像进行块和子块的划分，利用子块对每个块进行单独识别，求得该图像的列别概率分布。然后，根据熵最小化的原则，通过多阶段的分类和类别筛选，不断剔除小概率的类别，进而提高正确类别的概率，直到满足停止条件则终止迭代，最后输出图像的分类结果。本发明具体包括以下步骤：

1.对所有单训练样本和测试样本的图像先用固定大小的正方形块进行分块，块中心对应图像中的每一个像素点。接着在每一块内部以重叠的方式继续划分出不同的子块，提出人脸图像的每一个块内的不同子块可以看成是属于同一个类别的不同样本的合理假设；

2.基于上述假设，使用同一块内的不同子块作为样本，利用传统的学习方法，对图像的每一块单独进行分类，根据投票求出该图像的类别概率分布；

3.利用2得到的属于每类的概率分布,根据熵最小化原则进行类别筛选，剔除掉概率为0或较低的类别，完成一次筛选过程；

4.对测试图像迭代进行上述的类别分类和筛选过程，直到满足停止条件，从而输出该测试图像最终的分类结果；

本发明与现有技术相比，其显著优点为：(1)传统的人脸识别方法通常都有训练样本的数目有一定的要求。本发明已通过图像分块形成的子块作为同一类别的不同样本弥补了这一缺陷，使得许多传统方法都能够应用到单样本识别的场合(2)提出了一个多阶段的类别筛选框架来解决熵最小化的问题，融合全局与局部的优势提供更准确的分类依据，因而具有较好的鲁棒性和识别精度。(4)支持并行计算，计算效率高：本发明中判别图像块类别的工作是关键步骤，而各个图像块完全可以并行处理，大大节省计算时间，更能满足实时性要求较高的应用场合。

附图说明

图1为本发明基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法的算法流程图。

图2为本发明基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法的邻域像素示意图。

图3为本发明基于稀疏概率分布和多阶段类别筛选的单样本人脸识别的子块划分示意图。

图4为本发明基于稀疏概率分布和多阶段类别筛选的单样本人脸识别的块子块两级划分示意图。

图5为本发明基于稀疏概率分布和多阶段类别筛选的单样本人脸识别的获取最小熵的示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

结合图1，本发明基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，包括以下步骤：

1.1鉴于单张图像提供的信息有限，为从充分利用有限的信息进行分类，对图像进行分块，分别分析每一个块，最后合并每一块的分类结果。本发明提出一种分块方法，具体如下：

假设一张人脸图像共有个像素，我们分别以每个像素为中心，取R作为半径构建一个正方形区域作为该像素的邻域像素，邻域集中的每一个像素都对应以其为中心的，大小为S×S的小块(我们令S为不小于3的奇数)，我们将小块中的S²个像素按顺序连接起来表示成向量形式类似地，中心像素i所对应一个S×S的小块，表示成向量形式为通过这样的划分，我们就得到了一个图像的一个局部块，包扩了其中心像素及其邻域像素所对应的所有子块，大小为(S+2R)×(S+2R)。如图3所示。在上述的划分过程中，边缘部分会出现部分像素值缺失从而导致无法划分的问题。我们采取边缘像素镜像的方法来解决这个问题，具体实施上即是以边缘为对称轴，将边缘上的像素按对称的形式复制过去，来作为缺失像素值的填补，从而完成边缘部分图像块的正确划分。

对所有训练样本和测试样本的图像先用固定大小的正方形块进行分块，块中心依次取图像中的每一个像素点，每个块由图3所示的一个中心子块和周边的若干邻域子块组成。图4为图像的两级划分示意图，由于同一个块局限在人脸图像的较小区域，其内部的所有子块又相互重叠，因此这些子块具有较强的相似性，故可假设这些子块是属于同一类别的不同样本。因此，可以假设所有类的训练人脸图像的像素i处对应的块内的全部子块构成块训练集Bⁱ，测试人脸图像中像素i处对应的块内的中心子块则作为测试样本。

1.2基于上述假设，以协同表示的人脸识别方法为例进行说明，对于块训练集的协同表示可以写成如下形式：

具体操作如下：

1.2.1首先，对单样本人脸图像的每个人脸图像对应的列向量用2-范数进行归一化处理。

1.2.2然后，进行稀疏表示时，对划分出的每一正方形块进行如下处理：

求解l₁最小化问题：其中上标i表示当前正在处理第i块(i＝1,2…N，N为图像总像素数)，矩阵Bⁱ的列由所有训练样本第i块中的所有子块数据组成，以此作为局部字典去稀疏表示测试图像中第i块中的中心子块y₀ ⁱ，通过上述l₁最小化求解得到稀疏表示的系数。

1.2.3其次，利用每一类训练图像块进行重构测试图像并求两者残差，公式为：其中，为1.2.2求得的稀疏表示系数，函数用来取出表示系数中对应于第k类的那些分量。

1.2.4最后，将测试图像块分类到重构残差最小的那一类，完成一次基于稀疏协同表示的人脸识别过程。

1.3以LDA方法为例进行说明，对于块训练集其类内散度矩阵和类间散度矩阵可按如下计算：

1.3.1接下来我们通过最大化以下目标来保持类别可区分性的同时，减少类内的变化，诸如光照等引起的：

1.3.2我们通过一个矩阵U，它的列即为的特征向量(也成为Fisherfaces),来对人脸进行线性变换，从而完成人脸的识别。

1.4利用1.2或1.3得到的图像的每块的分类信息，求出该图像的类别概率分布，然后进行类别的筛选过程，具体步骤如下：

(1)按照上述方法对每一个图像块进行分类后，按照如下公式计算图像的类别概率分布β＝[p₁,p₂,...,p_K]：

其中，V_k是第k类获得的投票数，∑V_k为总投票数。

(2)求出图像的类别概率分布之后，产生了图像的类别集合 Ω₁＝{C₁,C₂,...C_N1},N₁＝K.然后去掉其中一系列0概率或者小概率的类别，类别筛选操作产生了一个新的类别集合Ω₂＝{C₁,C₂,...,C_N2},这个新产生的集合用于下一个阶段的分类。

1.5对测试图像迭代进行上述的类别分类和筛选过程，直到满足停止条件，从而输出该测试图像最终的分类结果，如图5所示。

Claims (7)

1.一种基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，其特征在于：

步骤1.首先用固定大小的正方形块对所有单训练样本和测试样本的图像进行分块，块中心对应图像中的每一个像素点；接着在每一块内部以重叠的方式继续划分出不同的子块，提出人脸图像的每一个块内的不同子块，看成是属于同一个类别的不同样本的合理假设；

步骤2.基于上述假设，使用同一块内的不同子块作为样本，利用传统的学习方法，对图像的每一块单独进行分类，根据投票结果求出该测试图像的类别概率分布；

步骤3.利用步骤2得到的属于每类的概率分布,根据熵最小化原则进行类别筛选，剔除掉概率为0或较低的类别，完成一次筛选过程；

步骤4.对测试图像迭代进行步骤2和步骤3所述的类别分类和筛选过程，直到满足停止条件，从而输出该测试图像最终的分类结果。

2.根据权利要求1所述的基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，其特征在于所述步骤1中块和子块两级划分按如下步骤操作：

假设图像有N个像素，以每个像素为中心、半径为R的正方形上的像素为该像素的邻域像素，则像素i的邻域像素集中的每个像素对应一个以其为中心的S×S小块，S取大于等于3的奇数，小块中的S²个像素表示成向量形式为 j＝1,...,P；同样地，中心像素i也对应一个S×S的小块，表示成向量形式为中心像素i及其邻域像素对应的所有小块形成一个以像素i为中心的局部块，大小为(S+2R)×(S+2R)；所有类的训练人脸图像的像素i处对应的块内的全部子块构成块训练集Bⁱ，测试人脸图像中像素i处对应的块内的中心子块则作为测试样本。

3.根据权利要求2所述的基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，其特征在于：所述划分过程中，采用边缘像素镜像的方法解决边缘部分出现部分像素值缺失从而导致无法划分的问题；具体实施方法为以边缘为对称轴，将边缘上的像素按对称的形式复制过去，来作为缺失像素值的填补，从而完成边缘部分图像块的正确划分。

4.根据权利要求1所述的基于稀疏概率分布和多阶段类别筛选的单样本人 脸识别方法，其特征在于：所述步骤1中，同一个块局限在人脸图像的较小区域，其内部的所有子块相互重叠，因此这些子块具有较强的相似性，故假设这些子块是属于同一类别的不同样本。

5.根据权利要求1所述的基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，其特征在于所述步骤2中求取图像的类别概率分布按以下步骤操作：

2.1对于块训练集其类内散度矩阵和类间散度矩阵按如下计算：

2.2采用稀疏表示方法分类每一个图像块，基于块训练集Bⁱ对测试的协同表示写成如下形式：

2.3按照上述方法对每一个图像块进行分类后，按照如下公式计算图像的类别概率分布β＝[p₁,p₂,...,p_K]：

其中，V_k是第k类获得的投票数，∑V_k为总投票数。

6.根据权利要求1所述的基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法，其特征在于所述步骤3中的类别筛选过程如下：

3.1对于已求得的类别概率分布，按照如下公式计算它的熵：

E(β)＝-∑pkln pk

3.2求出图像的类别概率分布之后，产生了图像的类别集合Ω₁＝{C₁,C₂,...C_N1},N₁＝K，然后去掉其中一系列0概率或者小概率的类别，类别筛选操作产生一个新的类别集合Ω₂＝{C₁,C₂,...,C_N2},这个新产生的集合用于下一个阶段的分类。

7.根据权利要求1所述的基于稀疏概率分布和多阶段类别筛选的单样本人 脸识别方法，其特征在于：所述步骤4中：

将步骤3.2中求得的新的类别集合进行下一阶段的分类，继而迭代地执行分类和筛选这两步操作直到满足停止条件，输出最终的图像的分类结果。