CN107451545B - 基于软标签下多通道判别非负矩阵分解的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于软标签下多通道判别非负矩阵分解的人脸识别方法，主要解决现有技术对连续遮挡人脸的识别率较低的问题。其技术方案是：1.构造训练集第k个通道的训练数据矩阵；2.由训练数据获得本地标签矩阵，并构造预测标签矩阵及辅助矩阵，通过引入预测标签矩阵的全局损失和中心损失函数，形成新的目标函数；3.对该目标函数优化求解，迭代更新得到基矩阵、辅助矩阵和预测标签矩阵；4.构造测试集第k个通道的测试数据矩阵，将其在基矩阵上投影得到投影系数矩阵；5.用局部分类器计算各通道的贡献度，并构建全局分类器得到测试图像的类别。本发明能够有效提高连续遮挡下的人脸识别率，可应用于身份验证和信息安全领域。

Description

基于软标签下多通道判别非负矩阵分解的人脸识别方法

技术领域

本发明属于图像处理技术领域，具体涉及到人脸识别方法，可应用于身份验证和信息安全领域。

背景技术

随着计算机科学和互联网技术的快速发展，数据正在以指数增长的形式迅速膨胀，虽然这些海量数据能为生活提供便利，但是也为个人的信息安全带来了威胁。因此，传统的身份验证方式，如密码和智能卡等已经不能满足人们的安全需求。而利用人体生物特征如指纹、虹膜、气味等进行验证的方法，具有特征唯一、不易伪造等优点。在所有的生物特征识别技术中，利用人脸特征进行身份验证是最直接、最便捷的手段。这些独特优势使得通过计算机提取人脸特征并根据这些特征进行身份验证的人脸识别成为一种重要的生物特征识别手段，在信息安全领域有着很多实际应用场景，诸如身份识别、监控认证、访问权限等。

通常情况下的人脸样本图像都具有较高的维数，同时样本的个数远远低于其维数值，这就使得高维空间中样本的分布非常稀疏，不利于分类和识别。且直接使用原始人脸图像进行身份鉴别，会使得人脸识别***的计算量巨大并最终影响的识别结果。为此，人们通常对高维图像进行降维处理，将其投影到低维子空间后再进行识别。传统降维方法有主成分分析、独立成分分析和线性判别分析等，但通过这些方法降维后的数据中通常含有负数值，而负值在很多实际应用中是没有物理意义的，就如人脸图像灰度值就具有非负性，因此需要将这一特性考虑在模型中。

非负矩阵分解NMF是一种要求被分解矩阵及分解后的矩阵都满足非负性的矩阵分解算法，该算法能够有效地降低数据特征的维数，且分解特性符合人体“局部构成整体”的心理学和生理学的认知原理，因此是具有智能特性的；另外，分解结果可解释性强，并具有明确的物理意义，目前已在图像分析、数据挖掘和语音处理等多领域获得了广泛应用。

目前已提出的非负矩阵分解方法主要有：

(1)Lee D D,Seung H S.Learning the parts of objects with nonnegativematrix factorization.Nature,1999,401(6755):788-791。文章提出一种新的矩阵分解方法—非负矩阵分解NMF。非负矩阵分解NMF直接将原始数据矩阵分解为基矩阵和系数矩阵，其中系数矩阵是原始数据矩阵在基矩阵上的投影系数。该方法要求基矩阵和系数矩阵的所有元素都是非负的，这表明非负矩阵分解NMF只存在加性组合，因此，非负矩阵分解NMF可以看作是一个基于部分表示的模型。非负矩阵分解NMF能够提供观测数据的局部结构，但有些情况下，NMF算法也会给出全局特征，导致分类性能受限。

(2)Cai D,He X,Han J,et al.Graph regularized nonnegative matrixfactorization for data representation.IEEE Transactions on Pattern Analysisand Machine Intelligence,2011,33(8):1548-1560。文章提出了一种图正则化的NMF算法(GNMF)来给数据空间的几何信息编码。GNMF设计一个最邻近的图来编码数据的局部流行结构。当标签信息可用，它就能够自然的合并为图结构。特别地，如果两个数据点共享同样的标签，一个大的权重可以被分配到边缘连接它们。如果两个数据点有不同的标签，相应的权重会被设置为0，以此形成了半监督GNMF方法。这个方法的最大缺陷是没有理论依据可以证明同类数据点将会一起映射到新的表示空间，并且目前依旧不清楚如何有原则的去选择权重。

(3)Liu H,Wu Z,Li X,et al.Constrained nonnegative matrix factorizationfor image representation[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2012,34(7):1299-1311。文章提出一种约束的非负矩阵分解CNMF，它将标签信息作为附加的硬性约束。这个方法的中心思想是同类数据点在新的表示空间中具有一致的坐标，在聚类中获得了比GNMF更好的性能。因此，获得的基于部分的表达就和原始的数据有相同的表达。但是该算法所添加的硬性标签矩阵并不能有效提高算法的判别性，因此不能很好的用于数据分类。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于软标签下多通道判别非负矩阵分解的人脸识别方法，以充分利用特定人脸区域的判别信息，提高连续遮挡下的人脸识别率。

为实现上述目的，本发明的技术方案包括如下：

(1)将训练集中的每幅图像等分为W个通道，并构成相应的W个矩阵B(k)，k∈[1,W]；

(2)由训练数据得到本地标签矩阵C；

(3)定义预测标签矩阵F的全局一致性函数J_{globle_consistency}，向该函数中添加标签矩阵F的l_2,1范数约束，得到的全局损失函数J_{globle_loss}：

其中，C_i,j和F_i,j分别为本地标签矩阵C和预测标签矩阵F的第i行第j列元素，c为样本所包含类的总数，n为训练样本总数，l为有标签的样本数，λ₁为稀疏正则化参数，||·||_2,1表示求取矩阵的l_2,1范数；

(4)定义预测标签矩阵F的中心损失函数J_{center_loss}：

其中，(F)⁽ⁱ⁾表示第i类样本的预测标签矩阵，表示(F)⁽ⁱ⁾的均值向量，n_i为第i类样本的总数，λ₂为类内正则化参数，λ₃为类间正则化参数；

(5)将第k个通道的全局损失函数J_{globle_loss}和中心损失函数J_{center_loss}作为约束项，引入到非负矩阵分解模型中，得到软标签下多通道判别非负矩阵分解MDNMF_SL的目标函数：

其中，B(k)为第k个通道的数据矩阵；Z(k)为第k个通道的基矩阵，m_k为每幅子图像的维数，f_k为分解维数；A(k)为第k个通道的辅助矩阵，F(k)为第k个通道的软约束矩阵，F_i,l(k)为F(k)第i行第l列元素，C_i,l(k)为第k个通道的本地标签矩阵C(k)的第i行第l列元素，(F(k))⁽ⁱ⁾表示第i类第k个通道的预测标签矩阵，表示(F(k))⁽ⁱ⁾的均值向量，

(6)对MDNMF_SL的目标函数进行优化求解，实现对第k个通道的数据矩阵B(k)的分解，得到基矩阵Z(k)、辅助矩阵A(k)和预测标签矩阵F(k)；

(7)选择g幅人脸图像构成测试集，对测试集中的每幅图像采用与步骤(1)相同的处理方式得到测试集中W个通道的测试图像矩阵V(k)；

(8)将第α个训练数据b_α(k)和第β个测试数据v_β(k)在基矩阵Z(k)上投影，得到b_α(k)和v_β(k)的投影系数向量和其中，α＝1,2,...,n，β＝1,2,...,g；

(9)构造W个最邻近分类器作为局部分类器；

(10)根据各个通道局部分类器的识别率构造全局分类器，并用其找出训练数据集中与第β个测试图像距离最小的图像，将该图像的类别作为第β个测试图像的类别，即完成对第β个测试人脸图像的识别。

本发明与现有技术相比具有以下优点：

1)本发明通过引入软标签矩阵，有效地利用了数据的类别信息，使得数据低维表示与原始数据空间尽可能保持一致；

2)本发明通过构造预测标签矩阵的全局一致性函数，提高标签的预测能力；通过对预测标签添加l_2,1范数，有效提高人脸识别的鲁棒性；通过构造预测标签矩阵的中心损失函数，进一步提高了特征判别性。

3)本发明采用多通道图像处理的方式进行非负矩阵分解，通过局部分类器和全局分类器，能够独立地学习图像各区域的判别性特征并充分利用各区域的相关性及信息的互补性，有效提高了有遮挡人脸图像的分类精度。

附图说明

图1是本发明的实现流程图。

具体实施方式

参照图1，本发明的实现步骤如下：

步骤1，对训练数据集中人脸图像进行预处理和多通道化处理，构造第k通道的训练数据矩阵B(k)。

(1.1)对人脸图像进行预处理，即将数据集中的各人脸图像调整为像素大小的图像，以减少内存消耗、提高效率；

(1.2)对人脸图像进行多通道化处理，即将像素大小的图像等分为k个通道，并构成相应的W个矩阵，对第i个图像的第k个矩阵转置后逐列排列，形成一个m_k维的列向量b_i(k)，k＝1,2,...,W，其中

(1.3)人脸图像多通道化矩阵构建，即将n个训练图像的第k个通道子图像向量按列顺序排列，得到第k个子图像的训练矩阵

步骤2，由训练数据得到本地标签矩阵C。

(2.1)定义指标矩阵L：

若数据集中包含n个样本{b₁,b₂,...,b_i,...,b_l,...,b_n}，其中，前l个样本b₁,b₂,...,b_i,...b_l为属于c个分类的有标签数据，剩余的n-l个样本为无标签数据，则定义指标矩阵在b_i属于第σ类时，L_σ,i＝1，否则L_σ,i＝0，σ＝1,2,...,c；

(2.2)构造本地标签矩阵C：

其中，I_n-l是一个(n-l)×(n-l)的单位矩阵。

步骤3，构造软标签下多通道判别非负矩阵分解MDNMF_SL的目标函数。

(3.1)构造预测标签矩阵F的全局一致性函数；

(3.1a)构造预测标签矩阵F的全局一致性函数J_{globle_consistency}：

其中，C_i,j和F_i,j分别为本地标签矩阵C和预测标签矩阵F的第i行第j列元素，c为样本所包含类的总数，n为样本总数，l为有标签的样本数；

(3.1b)向全局一致性函数J_{globle_consistency}中添加标签矩阵F的l_2,1范数约束，得到最终的全局中心损失函数J_{globle_loss}：

其中，λ₁为稀疏正则化参数，||·||_2,1表示求取矩阵的l_2,1范数；

(3.2)构造预测标签矩阵F的中心损失函数J_{center_loss}：

其中，(F)⁽ⁱ⁾表示第i类样本的预测标签矩阵，表示(F)⁽ⁱ⁾的均值向量，n_i为第i类样本的总数，λ₂为类内正则化参数，λ₃为类间正则化参数；

(3.3)将第k个通道的全局损失函数J_{globle_loss}和中心损失函数J_{center_loss}作为约束项，引入到非负矩阵分解模型中，得到软标签下多通道判别非负矩阵分解MDNMF_SL的目标函数：

其中，B(k)为第k个通道的数据矩阵，k∈[1,W]；Z(k)为第k个通道的基矩阵，m_k为每幅子图像的维数，f_k为分解维数；A(k)为第k个通道的辅助矩阵，F(k)为第k个通道的软约束矩阵，n为样本总数；F_i,l(k)为F(k)第i行第l列元素，C_i,l(k)为第k个通道的标签矩阵C(k)的第i行第l列元素，(F(k))⁽ⁱ⁾表示第i类第k个通道的预测标签矩阵，表示(F(k))⁽ⁱ⁾的均值向量，

步骤4，对MDNMF_SL的目标函数进行优化求解，实现对第k个通道的数据矩阵B(k)的分解，得到基矩阵Z(k)、辅助矩阵A(k)和预测标签矩阵F(k)。

(4.1)随机初始化基矩阵Z⁽⁰⁾(k)、辅助矩阵A⁽⁰⁾(k)和预测标签矩阵F⁽⁰⁾(k)，使得基矩阵Z⁽⁰⁾(k)中的任意元素满足辅助矩阵A⁽⁰⁾(k)中的任意元素满足预测标签矩阵F⁽⁰⁾(k)中的任意元素满足其中，是基矩阵Z⁽⁰⁾(k)中第i行ψ列元素，i∈[1,m_k]，ψ∈[1,f_k]，f_k表示分解维数，是系数矩阵A⁽⁰⁾(k)第ψ行u列的元素，u∈[1,c+n-l]，是预测标签矩阵F⁽⁰⁾(k)第u行r列的元素，γ∈[1,n]；

(4.2)对基矩阵Z(k)中的元素进行更新；

(4.2a)按照如下更新公式得到

其中，为迭代t-1次的基矩阵Z^(t-1)(k)的第i行ψ列元素，t∈[1,iter]，iter为预先定义的最大迭代次数；

(4.2b)对当前的更新结果进行归一化处理，得到基矩阵Z(k)中元素的最终更新结果

(4.3)按如下公式对辅助矩阵A(k)中的元素进行更新：

为本次对辅助矩阵A^(t)(k)中元素的迭代更新结果，为迭代t-1次的辅助矩阵A^(t-1)(k)的第ψ行u列的元素；

(4.4)根据步骤(4.2)和步骤(4.3)更新得到的基矩阵Z^(t)(k)和辅助矩阵A^(t)(k)，按如下公式对预测标签矩阵F^(t)(k)中的元素进行更新：

其中，为预测标签矩阵F^(t)(k)中元素的迭代更新结果，为迭代t-1次的预测标签矩阵F^(t-1)(k)的第u行γ列元素，表示第i类样本预测标签矩阵(F(k))⁽ⁱ⁾的均值向量，μ_u ⁽ⁱ⁾(k)表示μ⁽ⁱ⁾(k)的第u个元素，表示第r类第v个样本的标签向量的第k通道的第u个元素，且有u＝(r-1)N_r+v，N_r属于第r类的样本总数，C_u,γ(k)为本地标签矩阵C(k)的第u行γ列元素，D(k)为一个对角矩阵，D_i,i(k)＝1/||F_i(k)||₂，F_i(k)表示F(k)的第i行；

(4.5)采用预定义的最大迭代次数iter作为停止迭代条件，当迭代次数t达到iter次后，停止迭代，输出基矩阵Z^(iter)(k)、辅助矩阵A^(iter)(k)和预测标签矩阵F^(iter)(k)；否则，返回步骤(4.2)。

步骤5，对测试集中的每幅图像采用与步骤(1)相同的处理方式得到测试集中W个通道的测试子图像矩阵V(k)＝[v₁(k),v₂(k),...,v_g(k)]，其中，g为测试样本数。

步骤6，计算第k个通道所有测试数据的投影系数向量，并将所有测试数据的投影系数向量组成投影系数矩阵

(6.1)将第k个通道测试矩阵中第β个测试数据v_β(k)在更新得到的基矩阵Z(k)上进行投影，得到投影系数向量其中，表示矩阵的广义逆运算；

(6.2)用第k个通道所有测试数据的投影系数向量组成投影系数矩阵：

步骤7，通过对局部分类器的线性加权组合构建全局分类器，得到测试数据集中第β个测试样本的类别。

(7.1)构建W个最近邻分类器作为局部分类器，其中第k个局部分类器计算测试数据集中第β个测试样本v_β的系数向量和训练集中各图像的系数向量h_α(k)的之间的欧氏距离

(7.2)计算第k个局部分类器的线性权重系数α_k：

其中，n_k表示第k个局部分类器的识别率；

(7.3)在全局分类器中，考虑每个通道的特征在进行识别时的贡献度不同，计算测试样本v_β和训练样本b_α的加权欧氏距离d_βα：

(7.4)根据加权欧式距离d_βα组成集合{d_β1,d_β2,...,d_βξ,...,d_βn}，从该集合中选择出最小值d_βξ，ξ∈{1,2,…,n}；

(7.5)从训练数据集中找到最小值d_βξ对应的第ξ幅图像，并将第ξ幅图像的类别作为第β幅测试图像的类别。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何约束，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (9)

1.基于软标签下多通道判别非负矩阵分解的人脸识别方法，包括：

(1)将训练集中的每幅图像等分为W个通道，并构成相应的W个矩阵B(k)，k∈[1,W]；

(2)由训练数据得到本地标签矩阵C；

(3)定义预测标签矩阵F的全局一致性函数J_{globle_consistency}，向该函数中添加标签矩阵F的范数约束，得到的全局损失函数J_{globle_loss}：

其中，C_i,j和F_i,j分别为本地标签矩阵C和预测标签矩阵F的第i行第j列元素，c为样本所包含类的总数，n为训练样本总数，l为有标签的样本数，λ₁为稀疏正则化参数，||·||_2,1表示求取矩阵的范数；

(4)定义预测标签矩阵F的中心损失函数J_{center_loss}：

其中，(F)⁽ⁱ⁾表示第i类样本的预测标签矩阵，表示(F)⁽ⁱ⁾的均值向量，n_i为第i类样本的总数，λ₂为类内正则化参数，λ₃为类间正则化参数；

(5)将第k个通道的全局损失函数J_{globle_loss}和中心损失函数J_{center_loss}作为约束项，引入到非负矩阵分解模型中，得到软标签下多通道判别非负矩阵分解MDNMF_SL的目标函数：

其中，B(k)为第k个通道的数据矩阵；Z(k)为第k个通道的基矩阵，m_k为每幅子图像的维数，f_k为分解维数；A(k)为第k个通道的辅助矩阵，F(k)为第k个通道的软约束矩阵，F_i,j(k)为F(k)第i行第j列元素，C_i,j(k)为第k个通道的本地标签矩阵C(k)的第i行第j列元素，(F(k))⁽ⁱ⁾表示第i类第k个通道的预测标签矩阵，表示(F(k))⁽ⁱ⁾的均值向量，

(6)对MDNMF_SL的目标函数进行优化求解，实现对第k个通道的数据矩阵B(k)的分解，得到基矩阵Z(k)、辅助矩阵A(k)和预测标签矩阵F(k)；

(7)选择g幅人脸图像构成测试集，对测试集中的每幅图像采用与步骤(1)相同的处理方式得到测试集中W个通道的测试图像矩阵V(k)；

(8)将第α个训练数据b_α(k)和第β个测试数据v_β(k)在基矩阵Z(k)上投影，得到b_α(k)和v_β(k)的投影系数向量和其中，α＝1,2,...,n，β＝1,2,...,g；

(9)构造W个最邻近分类器作为局部分类器；

(10)根据各个通道局部分类器的识别率构造全局分类器，并用其找出训练数据集中与第β个测试图像距离最小的图像，将该图像的类别作为第β个测试图像的类别，即完成对第β个测试人脸图像的识别。

2.根据权利要求1所述方法，其中步骤(1)中将训练集中所有图像等分为W个通道，并构成相应的W个矩阵，按如下步骤进行：

1a)将训练集中的每幅图像重新调整大小，形成像素大小的图像，等分为W个通道后每幅子图像均包含个像素值；

1b)将训练集中第i个图像的第k个通道矩阵转置后逐列排列，形成一个m_k维的列向量b_i(k)；将n个训练图像的第k个通道向量按顺序排列，得到第k个通道的训练矩阵其中i＝1,2,...,n。

3.根据权利要求1所述方法，其中步骤(2)中由训练数据得到本地标签矩阵C，按如下步骤获得：

2a)定义指标矩阵L：

若数据集中包含n个样本{b₁,b₂,...,b_i,...,b_l,...,b_n}，其中，前l个样本b₁,b₂,...,b_i,...b_l为属于c个分类的有标签数据，剩余的n-l个样本为无标签数据，则定义指标矩阵在b_i属于第σ类时，L_σ,i＝1，否则L_σ,i＝0，σ＝1,2,...,c；

2b)构造本地标签矩阵C：

其中，I_n-l是一个(n-l)×(n-l)的单位矩阵。

4.根据权利要求1所述方法，其中步骤(6)中对MDNMF_SL目标函数进行优化求解，得到基矩阵Z(k)、辅助矩阵A(k)和软约束矩阵F(k)，按如下步骤进行：

6a)随机初始化基矩阵Z⁽⁰⁾(k)、辅助矩阵A⁽⁰⁾(k)和预测标签矩阵F⁽⁰⁾(k)，使得基矩阵Z⁽⁰⁾(k)中的任意元素满足辅助矩阵A⁽⁰⁾(k)中的任意元素满足预测标签矩阵F⁽⁰⁾(k)中的任意元素满足其中，是基矩阵Z⁽⁰⁾(k)中第i行ψ列元素，i∈[1,m_k]，ψ∈[1,f_k]，f_k表示分解维数，是辅助矩阵A⁽⁰⁾(k)第ψ行u列的元素，u∈[1,c+n-l]，是预测标签矩阵F⁽⁰⁾(k)第u行γ列的元素，γ∈[1,n]；

6b)对基矩阵Z(k)中的元素进行更新；

6c)对辅助矩阵A(k)中的元素进行更新；

6d)根据更新得到的基矩阵Z^(t)(k)和辅助矩阵A^(t)(k)，更新预测标签矩阵F^(t)(k)中的元素

6e)采用预定义的最大迭代次数iter作为停止迭代条件，当迭代次数t达到iter次后，停止迭代，输出基矩阵Z^(iter)(k)、辅助矩阵A^(iter)(k)和预测标签矩阵F^(iter)(k)；否则，返回步骤6b)。

5.根据权利要求4所述方法，其中6b)中更新基矩阵Z(k)中的元素具体实施步骤如下：

6b1)按照如下更新公式得到

其中，为迭代t-1次的基矩阵Z^(t-1)(k)的第i行ψ列元素，t∈[1,iter]，iter为预先定义的最大迭代次数；

6b2)对当前的更新结果进行归一化处理，得到基矩阵Z(k)中元素的最终更新结果

6.根据权利要求4所述的方法，按如下公式更新6c)中辅助矩阵A(k)中的元素

为本次对辅助矩阵A^(t)(k)中元素的迭代更新结果，为迭代t-1次的辅助矩阵A^(t-1)(k)的第ψ行u列的元素。

7.根据权利要求4所述方法，6d)中根据6b)和6c)更新得到的基矩阵Z^(t)(k)和辅助矩阵A^(t)(k)，按如下公式更新6d)中预测标签矩阵F^(t)(k)中的元素

其中，为预测标签矩阵F^(t)(k)中元素的迭代更新结果，为迭代t-1次的预测标签矩阵F^(t-1)(k)的第u行γ列元素，表示第i类样本预测标签矩阵(F(k))⁽ⁱ⁾的均值向量，μ_u ⁽ⁱ⁾(k)表示μ⁽ⁱ⁾(k)的第u个元素，表示第r类第v个样本的标签向量的第k通道的第u个元素，且有u＝(r-1)N_r+v，N_r属于第r类的样本总数，C_u,γ(k)为本地标签矩阵C(k)的第u行γ列元素，D(k)为一个对角矩阵，D_i,i(k)＝1/||F_i(k)||₂，F_i(k)表示F(k)的第i行。

8.根据权利要求1所述的方法，其中步骤(9)中构造W个最邻近分类器作为局部分类器，按如下步骤进行：

9a)计算测试集中第β个测试图像的第k个通道投影系数向量和训练集中各图像的第k个通道的系数向量h_α(k)的欧氏距离

9b)将作为度量准则，得到第k个通道的局部分类器。

9.根据权利要求1所述的方法，其中步骤(10)中根据各个通道局部分类器的识别率构建全局分类器，并用其找出训练数据集中与第β个测试图像距离最小的图像，并将该图像的类别作为第β个测试图像的类别，按如下步骤进行：

10a)计算第k个局部分类器的线性权重系数ω_k：

其中，n_k表示第k个局部分类器的识别率；

10b)构造全局分类器，即利用获得的权重系数计算得到第β个测试图像和训练集中各图像之间的加权欧氏距离d_βα：

10c)将加权欧氏距离d_βα组成集合，从集合{d_β1,d_β2,...,d_βξ,...,d_βn}中选择出最小值d_βξ，ξ∈{1,2,…,n}；

10d)从训练数据集中找到最小值d_βξ对应的第ξ幅图像，并将第ξ幅图像的类别作为第β幅测试图像的类别。