CN109284692A - 融合em算法和概率二维cca的人脸识别方法 - Google Patents

Abstract

本发明公开了一种融合EM算法和概率二维CCA的人脸识别方法，首先建立概率二维CCA模型，分别计算左概率模型和右概率模型的对数似然期望；然后应用EM算法使对数似然期望值最大化来估计模型参数，优化左右概率模型；最后应用获取的概率二维CCA投影矩阵将观测数据投影到隐藏空间，实现高维数据降维，在大大降低运算量的同时提高人脸识别的准确度；AR人脸数据库的大量测试识别，验证了本发明所提出方法在应对光照变化、表情变化和姿态变化人脸样本时的鲁棒性和优越性，解决现有人脸识别方法应对高维数据时的维数灾难和小样本问题。

Description

融合EM算法和概率二维CCA的人脸识别方法

技术领域：

本发明涉及一种人脸识别方法，特别是涉及一种融合EM算法和概率二维CCA的人脸识别方法。

背景技术：

最近，二维典型相关分析(2DCCA)已成功应用于图像特征提取。该方法不是将图像的列连接到一维矢量，而是直接与二维图像矩阵一起工作。虽然2DCCA在不同的识别任务中运作良好，但缺乏概率性解释。

在高维数据中可以处理许多实际应用程序，但是数据中最有信息的部分可以在低维空间中建模。而且，处理高维数据是一个耗时的过程，需要大量资源。为了解决这些问题，特征提取已经被用作查找紧凑有用的数据表示的工具。

对于单模源数据，进行一些子空间学习方法以学习更多的语义描述子空间。这些方法主要是主成分分析(PCA)和线性判别分析(LDA)。然而，对于共享一些相互信息的两个来源的观测，典型相关分析(CCA)是一种常用的降维方法。CCA寻求一个低维空间，其中两组变量在投影后最大程度地相关。这种技术被广泛应用于模式识别，计算机视觉，生物信息学等不同领域。在基于CCA的方法中，需要将2D图像矩阵矢量化。矢量化有三个主要缺点：(1)打破了图像数据的空间结构，这可能导致丢失列/行之间潜在有用的结构信息，(2)导致高维矢量空间和小样本大小问题，使得难以计算协方差矩阵，(3)使得协方差矩阵非常大，这反过来使得这种大矩阵的特征分解非常耗时。

为了克服这些缺点，Lee和Choi介绍了基于2D计算CCA图像矩阵的方法，即二维CCA(2DCCA)。所提出的2DCCA通过直接处理2D图像而不是将它们重新整合为1维向量来克服维数的困难并降低计算成本。

此外，还有一些概率模型提出了LDA。2005年，Bach和Jordan提出了对CCA的概率性解释，并使用最大似然和期望最大化来估计他们提出的模型的参数。最近，许多研究在一维CCA领域进行，包括基于内核，半参数和非参数方法，但在2DCCA领域，我们认为需要做更多的工作。在2011年，Safayani等人表明，参数的最大似然估计导致了两个三维典型相关方向。但是，他们没有为他们的模型提出基于EM的解决方案。EM不需要协方差矩阵的显式特征分解。此外，使用EM可以处理具有不完整数据的模型，如集群标签是缺失值的混合模型。

发明内容：

本发明所要解决的技术问题是：克服现有技术的不足，提供一种通过EM算法和概率二维CCA进行结合，解决现有人脸识别方法应对高维数据时的维数灾难和小样本问题的融合EM算法和概率二维CCA的人脸识别方法。

本发明的技术方案是：一种融合EM算法和概率二维CCA的人脸识别方法，其步骤为：A、建立概率二维CCA模型并分别计算左概率模型和右概率模型的对数似然期望；

B、应用EM算法使对数似然期望值最大化来估计模型参数，优化左右概率模型；

C、应用获取的概率二维CCA投影矩阵将观测数据投影到隐藏空间，实现高维数据降维；

D、在AR人脸数据库中选择进行归一化处理后的训练和测试样本进行学习和检测，完成人脸面部的识别。

进一步说明，所述步骤A中包括以下步骤：a、建立二维CCA模型；b、计算完整模型数据的对数似然函数，然后取相对于每个参数的预期对数似然的导数；c、建立左概率模型；d、建立右概率模型；e、建立解耦概率模型并分别使用交替优化程序获得投影矩阵。

进一步说明，所述二维CCA模型的建立包括以下步骤：(1)、建立CCA模型；(2)、由CCA引入的生成模型建立概率CCA模型；(3)、引入二维CCA解决CCA中数据向量化的问题并通过左变换和右变换来最大化投影数据之间的相关性。

进一步说明，所述步骤B中将EM算法应用于解耦概率模型，对于每个概率模型，在E步骤E(L^l _c)中计算对数似然函数的期望，最大化步骤(M-step)是通过最大化E(L^l _c)来完成，其优化左右概率模型包括以下步骤：a、优化左概率模型；b、优化右概率模型。

进一步说明，所述左概率模型的优化包括以下步骤：令为的j^th列向量。通过假设T^l的列彼此独立，T的分布定义为

将视为Z^l的j^th列向量，Z^l具有N(0，I)的正态分布，μ^l _i,j为μ^l _j的j^th列向量。基于等式(13)和考虑Z^l和Ξ^l _i的分布，可以得出结论

令左概率模型为

和其中是第i个观测数据集中的第n个图像的第j个左概率模型列向量，其中i∈{1,2}。因此，可以得到的分布函数如下：

其中∑^l＝UU^T+Ψ^l，假设∑^l>0。

将式(17)代入，可以得到：

将EM算法应用于解耦概率模型，对于每个概率模型，在E步骤E(L^l _c)中计算对数似然函数的期望，最大化步骤(M-step)是通过最大化E(L^l _c)来完成。模型参数的估计为：

其中M^l＝I+U^T(Ψ^l)^-1U，A_t表示迭代t中参数A的值，∑^l是左概率模型的观测数据的样本协方差矩阵，即

进一步说明，所述右概率模型的优化包括以下步骤：类似于左概率模型的优化的方式，得：

其中是的第j^th列向量。然后计算如下：

令右概率模型为 和其中指的是第i个观测数据集中的第n个图像的第j个右概率的模型列向量，然后获得和如下：

其中∑^r＝VV^T+Ψ^r>0，在E步骤中计算E(L^r _c)之后，通过最大化M步骤中的似然度来计算参数V和Ψ^r：

其中M^r＝I+V^T(Ψ^r)^-1V，∑^r的计算方法如下：

进一步说明，所述步骤C中包括以下步骤：a、将左概率模型投影到隐藏空间；b、将右概率模型投影到隐藏空间；c、进行高维数据的降维。

进一步说明，左右模型在隐藏空间上的投影及高维数据的降维通过以下具体步骤获得：使用概率二维CCA投影矩阵将观测数据投影到隐藏空间，即{U₁,U₂,V₁,V₂}。通过相应隐藏空间的分布E(Z|T_i)来表示每个投影观测矩阵T_i。

对于左概率模型，计算如下：

其中E(Z^l|T₁)和E(Z^l|T₂)分别通过在T₂和T₁上应用式(31)边缘化而获得：

将右概率模型投影到隐藏空间；

高维数据降维的过程由左右模型中的连续投影给出；

进一步说明，所述步骤D中训练和测试样本包括光照变化、表情变化和光照变化+局部遮挡三类样本。

本发明的有益效果是：

1、本发明通过融合EM算法和概率二维CCA相结合，解决现有人脸识别方法应对高维数据时的维数灾难和小样本问题，大大降低运算量的同时提高人脸识别的准确度。

2、本发明将EM算法应用于解耦概率模型，在E步骤中，分别计算左概率模型和右概率模型的对数似然函数的期望，然后，使对数似然期望值最大化来估计模型参数，优化左右概率模型。

3、本发明将EM算法应用于解耦概率模型，对于每个概率模型，在E步骤E(L^l _c)中计算对数似然函数的期望，最大化步骤(M-step)是通过最大化E(L^l _c)相对于V和Ψ^l来完成。

附图说明：

图1为本申请的人脸识别方法的识别过程图。

图2为概率CCA模型图形。

图3为采集AR数据库中的部分样本图像。

图4为迭代过程中左、右概率模型的训练和测试图像。

具体实施方式：

实施例：参见图1、图2、图3和图4。

本申请首先建立概率二维CCA模型，分别计算左概率模型和右概率模型的对数似然期望；然后应用EM算法使对数似然期望值最大化来估计模型参数，优化左右概率模型；最后应用获取的概率二维CCA投影矩阵将观测数据投影到隐藏空间，实现高维数据降维，在大大降低运算量的同时提高人脸识别的准确度，最后用AR人脸数据库中的样本进行训练和测试，完成人脸的识别。

下面对本申请进行详细说明。

融合EM算法和概率二维CCA的人脸识别方法，其步骤为：A、建立概率二维CCA模型并分别计算左概率模型和右概率模型的对数似然期望；

B、应用EM算法使对数似然期望值最大化来估计模型参数，优化左右概率模型；

C、应用获取的概率二维CCA投影矩阵将观测数据投影到隐藏空间，实现高维数据降维；

D、在AR人脸数据库中选择进行归一化处理后的训练和测试样本进行学习和检测，完成人脸面部的识别。

下面对上述步骤A、B、C、D进行详细说明。

进一步的，所述步骤A中包括以下步骤：a、建立二维CCA模型；(1)、建立CCA模型：两组对应的随机向量t₁和t₂，其中n∈1,2，...,N。CCA寻求变换向量和使得和之间具有最大化相关性，该相关性可以定义为：

其中i,j∈1,2是t₁和t₂的正交协方差矩阵，i＝{1,2}表示t_i的均值向量。

CCA的目标函数可以写为：

约束条件为：

对w₁和w₂进行优化，约束的最大化问题导致了以下广义特征值的问题：

通过求解方程(3)，w₁和w₂可以找到最大化相关性估计的数据；

进一步的，(2)、由CCA引入的生成模型建立概率CCA模型；由CCA引入的生成模型如下：

t_i＝W_iz+μ_i+∈_ii∈{1,2} (4)

在该模型中，是线性投影，将两组高维观测随机向量映射到一组低维隐藏向量z∈R^d，其中i∈{1,2}。μ_i是x_i的均值向量，∈_i是误差项，假设∈_i遵循Ψ_i的多元高斯分布,Ψ_i具有零均值的反协方差矩阵。投影矩阵的最大似然估计值由下式给出：

W_i＝∑_iiU_idM_i i∈{1,2} (5)

其中Σ_ii是样本协方差矩阵，U _id是前d个规范方向，M_i∈R^d×d是任意矩阵，i∈{1,2}，使得M₁M₂＝P_d，其中P_d是前d个规范相关的对角矩阵。

进一步的，(3)、引入二维CCA解决CCA中数据向量化的问题并通过左变换和右变换来最大化投影数据之间的相关性；对于每个随机矩阵T₁和T₂，引入左变换u_i和右变换v_i，其中i∈{1,2}。在投影之后的数据为u_i ^TT_iV_i，通过左变换和右变换来最大化投影数据之间的相关性。二维CCA的目标函数表示为：

约束条件var(u₁ ^TT₁v₁)＝1

var(u₂ ^TT₂v₂)＝1,

v₁和v₂具有固定的广义特征值，u₁和u₂可以通过求解v₁和v₂的广义特征值来获得：

同理，给定u₁和u₂，可以通过求解找到右变换v₁和v₂：

其中是T_i和T_j之间的互协方差矩阵，是T_i的自协方差矩阵，i,j∈{1,2}，分别定义如下：

其中T_i,n,n∈{1,…,N}通过随机矩阵T_i实现，是相对应的平均值矩阵。

通过式(7)和式(8)迭代至收敛，获得左变换(l_x和l_y)和右变换(r_x和r_y)。与式(7)中前d₁个最大特征值相关的特征向量确定左变换矩阵U₁和U₂，与式(8)中前d₂个最大特征值相关的特征向量确定右变换矩阵V₁和V₂。使用这些变换矩阵可以将数据从高维空间投影到新的低维特征空间，将观测数据建模为二维矩阵：

T_i＝U_iZV_i ^T+μ_i+Ξ_i i∈{1,2} (11)

其中Z∈R^m'×n',i∈{1,2}为观测矩阵；为隐藏矩阵；为投影矩阵；μ_i是观测数据的均值向量，Ξ_i是残差向量，模型的参数是和分布参数Ξ_i'。

进一步的，b、计算完整模型数据的对数似然函数，然后取相对于每个参数的预期对数似然的导数；设i∈{1,2}是包含N个观测数据矩阵的集合，是相应的隐藏变量集合。完整模型的数据是(T_1,n,T_2,n,Z_n)，其对数似然函数可以写为：

进一步的，c、建立左概率模型；首先假设一组投影矩阵，然后将观测数据投影到相应的隐藏空间。左概率模型定义为：

其中Z^l是左模型隐藏矩阵，μ_i ^l是左投影观测值Ψ_i ^l的值向量。是左概率模型的噪声源，其中噪声矩阵的列遵循具有零均值和协方差矩阵Ψ_i ^l的正态分布。左概率模型的参数集为其可以用期望最大化算法来估计。

进一步的，d、建立右概率模型；右概率模型与左概率模型平行，假设左投影矩阵是已知的。然后将观测数据投影到相应的隐藏空间上，右概率模型定义为：

T_i ^r＝V_iZ^r+Ξ_i ^r i＝1,2 (14)

其中Z^r，μ_i ^r和Ξ_i ^r定义为正确的模型，在该模型中噪声源具有N(0，Ψ^r _i)分布。右概率模型的参数集为

进一步的，e、建立解耦概率模型并分别使用交替优化程序获得投影矩阵；解耦预测概率密度p(T ₁,T ₂,Z)定义为：

p(T₁,T₂,Z)∝p(T₁ ^l,T₂ ^l,Z^l)p(T₁ ^r,T₂ ^r,Z^r) (15)

将式(15)的对数似然函数重写为：

进一步的，所述步骤B中将EM算法应用于解耦概率模型，对于每个概率模型，在E步骤E(L^l _c)中计算对数似然函数的期望，最大化步骤(M-step)是通过最大化E(L^l _c)来完成，其优化左右概率模型包括以下步骤：a、优化左概率模型；令为的j^th列向量。通过假设T^l的列彼此独立，T的分布定义为

将视为Z^l的j^th列向量，Z^l具有N(0，I)的正态分布，μ^l _i,j为μ^l _j的j^th列向量。基于等式(13)和考虑Z^l和Ξ^l _i的分布，可以得出结论

令左概率模型为

和其中是第i个观测数据集中的第n个图像的第j个左概率模型列向量，其中i∈{1,2}。因此，可以得到的分布函数如下：

其中∑^l＝UU^T+Ψ^l，假设∑^l>0。

将式(17)代入，可以得到：

将EM算法应用于解耦概率模型，对于每个概率模型，在E步骤E(L^l _c)中计算对数似然函数的期望，最大化步骤(M-step)是通过最大化E(L^l _c)来完成。模型参数的估计为：

其中M^l＝I+U^T(Ψ^l)^-1U，A_t表示迭代t中参数A的值，∑^l是左概率模型的观测数据的样本协方差矩阵，即

进一步的，b、优化右概率模型；类似于左概率模型的优化的方式，得：

其中是的第j^th列向量。然后计算如下：

令右概率模型为 和其中指的是第i个观测数据集中的第n个图像的第j个右概率的模型列向量，然后获得和如下：

其中∑^r＝VV^T+Ψ^r>0，在E步骤中计算E(L ^r _c)之后，通过最大化M步骤中的似然度来计算参数V和Ψ^r：

其中M^r＝I+V^T(Ψ^r)^-1V，∑^r的计算方法如下：

进一步的，所述步骤C中包括以下步骤：a、将左概率模型投影到隐藏空间；使用概率二维CCA投影矩阵将观测数据投影到隐藏空间，即{U₁,U₂,V₁,V₂}。通过相应隐藏空间的分布E(Z|T_i)来表示每个投影观测矩阵T_i。

对于左概率模型，计算如下：

其中E(Z^l|T₁)和E(Z^l|T₂)分别通过在T₂和T₁上应用式(31)边缘化而获得：

进一步的、b、将右概率模型投影到隐藏空间；

进一步的，c、实现高维数据的降维；降维的过程由左右模型中的连续投影给出

进一步的，所述步骤D中训练和测试样本包括光照变化、表情变化和光照变化+局部遮挡三类样本。

本发明实施例的实验仿真使用AR人脸数据库，选取了131人(72名男性和59名女性)共1310张人脸图像，每个人选取10张不同变化的图像：1张是中性表情且没有遮挡的图像作为参考图像，3张具有不同的光照条件，3张具有不同的表情，三张具有眼镜遮挡和光照变化，用于训练和测试的AR数据库三类数据集样本图像如图3(a)、(b)、(c)所示。所有的样本图像均归一化为50×50像素，执行本发明算法，迭代过程中左、右概率模型的训练和测试图像如图4所示。

同时本申请进行(a)光照变化(b)表情变化(c)光照变化+局部遮挡三类样本的识别，分别对比了本发明方法与PCA、LDA、CCA、PPCA、2DPCA和2DCCA等六种算法的识别性能，本发明方法获得了最佳的平均识别率，2DCCA方法次之，本发明方法在应对(a)光照变化和(c)光照变化+局部遮挡样本时的平均识别率比2DCCA方法提高了约10％，在应对(b)表情变化样本时的平均识别率比2DCCA方法提高了约3％。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种融合EM算法和概率二维CCA的人脸识别方法，其步骤为：A、建立概率二维CCA模型并分别计算左概率模型和右概率模型的对数似然期望；

B、应用EM算法使对数似然期望值最大化来估计模型参数，优化左右概率模型；

C、应用获取的概率二维CCA投影矩阵将观测数据投影到隐藏空间，实现高维数据降维；

D、在AR人脸数据库中选择进行归一化处理后的训练和测试样本进行学习和检测，完成人脸面部的识别。

2.根据权利要求1所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：所述步骤A中包括以下步骤：a、建立二维CCA模型；b、计算完整模型数据的对数似然函数，然后取相对于每个参数的预期对数似然的导数；c、建立左概率模型；d、建立右概率模型；e、建立解耦概率模型并分别使用交替优化程序获得投影矩阵。

3.根据权利要求2所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：所述二维CCA模型的建立包括以下步骤：(1)、建立CCA模型；(2)、由CCA引入的生成模型建立概率CCA模型；(3)、引入二维CCA解决CCA中数据向量化的问题并通过左变换和右变换来最大化投影数据之间的相关性。

4.根据权利要求1所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：所述步骤B中将EM算法应用于解耦概率模型，对于每个概率模型，在E步骤E(L^l _c)中计算对数似然函数的期望，最大化步骤(M-step)是通过最大化E(L^l _c)来完成，其优化左右概率模型包括以下步骤：a、优化左概率模型；b、优化右概率模型。

5.根据权利要求4所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：所述左概率模型的优化包括以下步骤：令为的j^th列向量。通过假设T^l的列彼此独立，T的分布定义为

将视为Z^l的j^th列向量，Z^l具有N(0，I)的正态分布，μ^l _i,j为μ^l _j的j^th列向量。基于等式(13)和考虑Z^l和Ξ^l _i的分布，可以得出结论

令左概率模型为 和其中是第i个观测数据集中的第n个图像的第j个左概率模型列向量，其中i∈{1,2}。因此，可以得到的分布函数如下：

其中∑^l＝UU^T+Ψ^l，假设∑^l>0。

将式(17)代入，可以得到：

将EM算法应用于解耦概率模型，对于每个概率模型，在E步骤E(L^l _c)中计算对数似然函数的期望，最大化步骤(M-step)是通过最大化E(L^l _c)来完成。模型参数的估计为：

其中M^l＝I+U^T(Ψ^l)^-1U，A_t表示迭代t中参数A的值，∑^l是左概率模型的观测数据的样本协方差矩阵，即

6.根据权利要求1所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：所述右概率模型的优化包括以下步骤：类似于左概率模型的优化的方式，得：

其中是的第j^th列向量。然后计算如下：

令右概率模型为 和其中指的是第i个观测数据集中的第n个图像的第j个右概率的模型列向量，然后获得和如下：

其中∑^r＝VV^T+Ψ^r>0，在E步骤中计算E(L^r _c)之后，通过最大化M步骤中的似然度来计算参数V和Ψ^r：

其中M^r＝I+V^T(Ψ^r)^-1V，∑^r的计算方法如下：

7.根据权利要求1所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：所述步骤C中包括以下步骤：a、将左概率模型投影到隐藏空间；b、将右概率模型投影到隐藏空间；c、进行高维数据的降维。

8.根据权利要求7所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：左右模型在隐藏空间上的投影及高维数据的降维通过以下具体步骤获得：使用概率二维CCA投影矩阵将观测数据投影到隐藏空间，即{U₁,U₂,V₁,V₂}。通过相应隐藏空间的分布E(Z|T_i)来表示每个投影观测矩阵T_i。

对于左概率模型，计算如下：

其中E(Z^l|T₁)和E(Z^l|T₂)分别通过在T₂和T₁上应用式(31)边缘化而获得：

E(Z^l|T_i)＝(M^r)^-1V_i ^T(Ψ_i ^r)^-1(T_i-μ_i)，i∈{1,2} (32)

将右概率模型投影到隐藏空间；

高维数据降维的过程由左右模型中的连续投影给出；

9.根据权利要求1所述的融合EM算法和概率二维CCA的人脸识别方法，其特征是：所述步骤D中训练和测试样本包括光照变化、表情变化和光照变化+局部遮挡三类样本。