CN105138973A - 人脸认证的方法和装置 - Google Patents

Abstract

本发明公开了一种人脸认证的方法和装置，属于生物识别领域，所述方法包括：对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量；将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量；将统一维度特征向量串联成联合特征向量；将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。与现有技术相比，本发明的人脸认证的方法抗干扰能强，可扩展性好，认证准确率高。

Description

人脸认证的方法和装置

技术领域

本发明涉及生物识别领域，特别是指一种人脸认证的方法和装置。

背景技术

人脸认证是生物识别的一种形式，通过有效的表征人脸，得到两幅人脸图片的特征，利用分类算法来判定这两张照片是否是同一个人。一般在人脸识别装置中预先存储有一幅人脸图像，作为人脸图像模板；在认证时，拍摄一幅人脸图像，作为待认证人脸图像，提取两幅图像的特征，利用分类算法来判定这两张照片是否是同一个人。

提取特征的方法为：人工设计出一个特征向量，通过各种算法取出规定的特征向量，如基于几何特征的人脸认证方法、基于子空间的人脸认证方法、基于信号处理的人脸认证方法等，但是这种方法极容易受到光照、表情等因素对结果的影响，抗干扰能力差，并且人工设计出的特征向量多是基于特定的情况下的，可扩展性差。

基于深度网络的人脸识别与认证技术可以自动学习并提取特征，但是一般的深度网络存在着梯度弥散问题，并且对各层级特征处理和理解不充分，仅利用高层特征不足以充分描述图像。

发明内容

本发明提供一种人脸认证的方法和装置，该方法抗干扰能力强，可扩展性好，认证准确率高。

为解决上述技术问题，本发明提供技术方案如下：

一种人脸认证的方法，包括：

对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量；

将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量；

将统一维度特征向量串联成联合特征向量；

将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

一种人脸认证的装置，包括：

第一提取模块，用于对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量；

第一映射模块，用于将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量；

第一串联模块，用于将统一维度特征向量串联成联合特征向量；

第二映射模块，用于将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

第一比对模块，用于通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

本发明具有以下有益效果：

本发明的人脸认证的方法中，首先使用预先经过多层分类网络联合训练的多层级深度卷积网络提取待认证人脸图像和人脸图像模板的多个层级的特征向量，然后将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量，再将统一维度特征向量串联成联合特征向量，并将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量，最后通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

与现有技术相比，本发明通过多层级深度卷积网络自动学习并提取特征，与现有技术中人工设计出一个特征向量相比，抗干扰能强，可扩展性好，认证准确率高。

本发明的多层级深度卷积网络通过多层分类网络进行联合训练得到，避免了梯度弥散问题，认证准确率高。

并且将多个层级的特征向量融合，增加图像特征丰富度，弥补了一般的深度网络对各层级特征处理不充分、仅利用高层特征不足以充分描述图像的缺陷；进一步提高了认证准确率。

发明人还发现，传统的比对认证方法，尤其是余弦相似度方法，忽略了向量的模长差异，从而造成差异描述不全面，降低了比对认证的准确率；本发明采用线性判别分析，对包括绝对值归一化余弦值在内的多个差异特征进行比对分析，进一步的提高了认证准确率。

故本发明的人脸认证的方法抗干扰能力强，可扩展性好，认证准确率高，并且避免了梯度弥散问题，弥补利用高层特征不足以充分描述图像的缺陷。

附图说明

图1为本发明的人脸认证的方法的流程图；

图2为本发明的人脸认证的装置的示意图；

图3为本发明中图像预处理的示意图；

图4为本发明中对多层级深度卷积网络以及分类网络进行训练的示意图；

图5为本发明中的基本卷积网络的结构示意图；

图6为本发明中的多层级深度卷积网络示意图；

图7为本发明中的分类网络示意图；

图8为本发明中的下采样操作示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明一种人脸认证的方法，如图1所示，包括：

步骤S101：对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量；

多层级深度卷积网络包括2个以上的卷积网络，每个卷积网络包括卷积、激活和下采样操作，这些操作的顺序以及数量不固定，根据实际情况决定；本发明的每个卷积网络均提取出一个特征向量，可以记为fea₁,fea₂,fea₃,…(这里只列出1组多个层级的特征向量，即待认证人脸图像或人脸图像模板的多个层级的特征向量，后文的公式也只写出一个图像的公式)，第一个卷积网络的输入为待认证人脸图像或人脸图像模板，后一个卷积网络的输入为前一个卷积网络操作后的特征图；

一般的深度网络存在着梯度弥散问题，本发明的多层级深度卷积网络通过多层分类网络进行联合训练得到，避免了上述问题。

步骤S102：将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量；统一维度线性映射矩阵是经过预先训练得到的，可以记为W₁,W₂,W₃,…，统一维度特征向量可以记为f₁,f₂,f₃,…。

步骤S103：将统一维度特征向量串联成联合特征向量；可以记为feature_merge。

步骤S104：将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；线性降维映射矩阵是经过预先训练得到的，可以记为W_T，综合特征向量可以记为f_T。

步骤S105：通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

本发明的人脸认证的方法中，首先使用预先经过多层分类网络联合训练的多层级深度卷积网络提取待认证人脸图像和人脸图像模板的多个层级的特征向量，然后将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量，再将统一维度特征向量串联成联合特征向量，并将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量，最后通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

与现有技术相比，本发明通过多层级深度卷积网络自动学习并提取特征，与现有技术中人工设计出一个特征向量相比，抗干扰能强，可扩展性好，认证准确率高。

本发明的多层级深度卷积网络通过多层分类网络进行联合训练得到，避免了梯度弥散问题，认证准确率高。

并且将多个层级的特征向量融合，增加图像特征丰富度，弥补了一般的深度网络对各层级特征处理不充分、仅利用高层特征不足以充分描述图像的缺陷；进一步提高了认证准确率。

发明人还发现，传统的比对认证方法，尤其是余弦相似度方法，忽略了向量的模长差异，从而造成差异描述不全面，降低了比对认证的准确率；本发明采用线性判别分析，对包括绝对值归一化余弦值在内的多个差异特征进行比对分析，进一步的提高了认证准确率。

故本发明的人脸认证的方法抗干扰能力强，可扩展性好，认证准确率高，并且避免了梯度弥散问题，弥补利用高层特征不足以充分描述图像的缺陷。

作为本发明的人脸认证的方法的一种改进，步骤S101之前还包括：

步骤S100：对待认证人脸图像和人脸图像模板进行预处理，预处理包括特征点定位、图像校正和归一化处理。事实上，人脸图像模板可能经事先过了预处理，可以不进行此步骤。

本发明采用基于级联Adaboost的人脸检测算法对图像进行人脸检测，然后利用基于SDM的人脸特征点定位算法对检测出来的人脸进行特征点定位，并通过图像缩放、旋转与平移对人脸进行矫正和归一化对齐，如图3所示。

本发明采用简单的灰度归一化预处理，灰度归一化的主要目的是便于网络处理连续数据而避免处理较大的离散灰度值，从而避免出现异常情况。

本发明对人脸图像进行预处理可以方便后续的认证过程，并且避免了异常像素点对认证结果的影响。

作为本发明的人脸认证的方法的另一种改进，每个卷积网络包括卷积操作、激活操作以及下采样操作，每个层级的特征向量通过如下步骤计算得到：

步骤S1011：使用卷积核对待认证人脸图像和人脸图像模板进行卷积操作，得到卷积特征图，卷积操作为same卷积操作；

本发明采用same形式的卷积操作，操作时对输入图像进行零填充。same形式的卷积操作所得到的特征图与输入图像原尺寸相同。

步骤S1012：使用激活函数对卷积特征图进行激活操作，得到激活特征图，激活函数为ReLU激活函数。

步骤S1013：使用采样函数对激活特征图进行下采样操作，得到采样特征图，下采样操作为最大值采样；

本发明采用最大值采样，最大值采样将采样块内元素值的最大值作为采样块的特征，在图像处理中，最大值采样能够提取图像的纹理信息，并且在一定程度上维持图像的某种不变性，如旋转、平移、缩放等；另外，根据统计学实验，相较平均采样而言，最大值采样对数据分布变化不敏感，特征提取相对稳定。

步骤S1014：对得到的采样特征图重复上述步骤，得到新的采样特征图，并如此重复执行若干次；

步骤S1015：将得到的所有采样特征图进行向量化，得到每个层级的特征向量，将每个步骤得到的所有采样特征图组成一个向量。

本发明能够提取出特征丰富并且稳定的的特征向量，能够充分的描述人脸图像，增加了认证准确率。

作为本发明的人脸认证的方法的再一种改进，多层级深度卷积网络通过softmax分类网络联合训练得到，包括：

训练时，首先要有人脸图像样本库，然后对人脸图像样本使用初始化的多层级深度卷积网络依次提取出多个层级的特征向量；与前述的步骤S101是一样的，只不过上面是认证过程，这里是训练过程，此时的多层级深度卷积网络中的各个参数取初值；

将多个层级的特征向量依次通过统一维度线性映射矩阵映射为相同维数的统一维度特征向量；

在softmax分类网络中使用线性映射矩阵分别对统一维度特征向量进行映射，得到映射向量；此时的线性映射矩阵取初值；

使用softmax函数对映射向量进行激活，得到网络输出值向量；

以网络输出值向量和人脸图像样本的标签数据为输入量，通过交叉熵损失函数计算出网络误差；

将各个统一维度特征向量串联成一个联合特征向量；

将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

为网络误差分配权重，并计算线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度；

利用线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度对线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核进行迭代更新；

判断网络误差和迭代次数是否符合要求，若是，结束，否则，转至对人脸图像样本使用初始化的多层级深度卷积网络依次提取出多个层级的特征向量。

网络误差符合要求是指网络误差取值最小(或者小到一定程度)，此时多层级深度卷积网络和softmax分类网络的各个参数(线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核)为训练后的多层级深度卷积网络和softmax分类网络；迭代次数符合要求是指迭代次数达到设定值。

本发明通过softmax分类网络进行联合训练，进一步避免了梯度弥散问题，并且可以进一步通过对分类网络误差加权增加网络学习的灵活度。

作为本发明的人脸认证的方法的再一种改进，步骤S105包括：

步骤S1051：以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行余弦相似度操作，得到余弦相似度；

步骤S1052：以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行绝对值归一化余弦操作，得到绝对值归一化余弦值；

步骤S1053：对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量进行求模操作，得到第一模长与第二模长；

步骤S1054：将余弦相似度、绝对值归一化余弦值、第一模长与第二模长组成一个四维的差异向量；

步骤S1055：使用差异向量映射矩阵将差异向量映射，得到一维向量，作为比对分值；

步骤S1056：将比对分值与比对阈值进行比对，若比对分值大于比对阈值，则人脸认证通过。

发明人发现，传统的比对认证方法，尤其是余弦相似度方法，忽略了向量的模长差异，从而造成差异描述不全面，降低了比对认证的准确率；绝对值归一化余弦值对比对向量的模长差异敏感，能够弥补余弦相似度忽略向量的模长差异而造成的差异描述不全面的问题。

故本发明将比对特征的余弦相似度、绝对值归一化余弦值以及两个特征模长组合为一个四维差异向量，进行线性判别分析，进一步的提高了认证准确率。

另一方面，本发明提供一种人脸认证的装置，如右图2所示，包括：

第一提取模块11，用于对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量；

第一映射模块12，用于将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量；

第一串联模块13，用于将统一维度特征向量串联成联合特征向量；

第二映射模块14，用于将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

第一比对模块15，用于通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

本发明的人脸认证的装置抗干扰能力强，可扩展性好，认证准确率高，并且避免了梯度弥散问题，弥补利用高层特征不足以充分描述图像的缺陷。

作为本发明的人脸认证的装置的一种改进，第一提取模块之前还包括：

预处理模块，用于对待认证人脸图像和人脸图像模板进行预处理，预处理包括特征点定位、图像校正和归一化处理。

本发明对人脸图像进行预处理可以方便后续的认证过程，并且避免了异常像素点对认证结果的影响。

作为本发明的人脸认证的装置的另一种改进，每个层级的特征向量通过如下单元计算得到：

卷积单元，用于使用卷积核对待认证人脸图像和人脸图像模板进行卷积操作，得到卷积特征图，卷积操作为same卷积操作；

激活单元，用于使用激活函数对卷积特征图进行激活操作，得到激活特征图，激活函数为ReLU激活函数；

采样单元，用于使用采样函数对激活特征图进行下采样操作，得到采样特征图，下采样操作为最大值采样；

循环单元，用于对得到的采样特征图重复上述步骤，得到新的采样特征图，并如此重复执行若干次；

第一向量化单元，用于将得到的所有采样特征图进行向量化，得到每个层级的特征向量。

本发明能够提取出特征丰富并且稳定的的特征向量，能够充分的描述人脸图像，增加了认证准确率。

作为本发明的人脸认证的装置的再一种改进，多层级深度卷积网络通过softmax分类网络联合训练得到，包括：

第二提取模块，用于对人脸图像样本使用初始化的多层级深度卷积网络依次提取出多个层级的特征向量；

第三映射模块，用于将多个层级的特征向量依次通过统一维度线性映射矩阵映射为相同维数的统一维度特征向量；

第四映射模块，用于在softmax分类网络中使用线性映射矩阵分别对统一维度特征向量进行映射，得到映射向量；

激活模块，用于使用softmax函数对映射向量进行激活，得到网络输出值向量；

第一计算模块，用于以网络输出值向量和人脸图像样本的标签数据为输入量，通过交叉熵损失函数计算出网络误差；

第二串联模块，用于将各个统一维度特征向量串联成一个联合特征向量；

第五映射模块，用于将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

第二计算模块，用于为网络误差分配权重，并计算线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度；

更新模块，用于利用线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度对线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核进行迭代更新；

判断模块，用于判断网络误差和迭代次数是否符合要求，若是，结束，否则，转至第二提取模块。

本发明通过softmax分类网络进行联合训练，进一步避免了梯度弥散问题，并且可以进一步通过对分类网络误差加权增加网络学习的灵活度。

作为本发明的人脸认证的装置的再一种改进，第一比对模块包括：

第一计算单元，用于以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行余弦相似度操作，得到余弦相似度；

第二计算单元，用于以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行绝对值归一化余弦操作，得到绝对值归一化余弦值；

第三计算单元，用于对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量进行求模操作，得到第一模长与第二模长；

第二向量化单元，用于将余弦相似度、绝对值归一化余弦值、第一模长与第二模长组成一个四维的差异向量；

映射单元，用于使用差异向量映射矩阵将差异向量映射，得到一维向量，作为比对分值；

比对单元，用于将比对分值与比对阈值进行比对，若比对分值大于比对阈值，则人脸认证通过。

本发明将比对特征的余弦相似度、绝对值归一化余弦值以及两个特征模长组合为一个四维差异向量，进行线性判别分析，进一步的提高了认证准确率。

下面以一个具体的实施例对本发明进行描述：

本本发明在认证之前需要进行训练，具体的流程如图4所示，训练过程如下：

本发明首先提出新的卷积网络提取图像特征向量，多层级特征融合的累积赋权深度卷积网络(多层级深度卷积网络)，然后利用softmax网络和图3所示的学习流程对图像进行特征学习。

网络学习过程主要包括网络的前向计算和网络误差的后向传播。

(A)卷积网络前向计算

基本的卷积网络(如图5所示，注意图5只是一个卷积网络的示例，不是本发明使用的卷积网络，本发明的卷积网络为：卷积、激活、下采样，…)中包括卷积操作、激活操作和下采样操作，为了后续计算方便，一般还需要进行向量化操作。在图6中，每一层的卷积网络都表示一个基本的卷积网络，其中包含的各种操作的顺序和次数均可以根据具体问题进行设定。

卷积操作有不同的方式，本发明采用same形式的卷积操作，操作时对输入图像进行零填充。same形式的卷积操作所得到的特征图与输入图像原尺寸相同。

根据卷积计算公式，可以得到，当输入数据为二维图像时，卷积特征图元素的计算公式，如式(2)：

$\begin{array}{c}{M}^{Ck}(m,n)=I{\left(neighborhood\right(m,n,s_c\left)\right)}_{same}^{*}{c}^k\\ =\underset{i=-\frac{s_c+1}{2}}{\overset{\frac{s_c+1}{2}-1}{\Σ}}\underset{j=-\frac{s_c+1}{2}}{\overset{\frac{s_c+1}{2}-1}{\Σ}}I(m+i,n+j)\·c^k(\frac{s_c+1}{2}-i,\frac{s_c+1}{2}-j).\end{array}---\left(2\right)$

其中，c^k表示卷积操作第k个卷积核，c^k(i,j)表示c^k的第i行、第j列的元素，s_c表示卷积核的边长，M^Ck表示输入图像I与c^k卷积得到的卷积特征图，M^Ck(m,n)表示M^Ck第m行、第n列的元素，neighborhood(m,n,s_c)表示以(m,n)为中心，边长为s_c的邻域，表示same形式的卷积操作符。

而当输入数据为经过若干操作得到的特征图时，卷积特征图元素的计算公式，如式(3)：

$M^{Ck}(i,j)=\underset{p=1}{\overset{cm}{\Σ}}\underset{x=-\frac{s_c+1}{2}+1}{\overset{\frac{s_c+1}{2}-1}{\Σ}}\underset{y=-\frac{s_c+1}{2}+1}{\overset{\frac{s_c+1}{2}-1}{\Σ}}{M}^p(i+x,j+y)\·c_p^k(\frac{s_c+1}{2}-x,\frac{s_c+1}{2}-y).---\left(3\right)$

对由卷积操作得到的卷积特征图M^Ck进行激活操作，是指将M^Ck的每个元素输入到激活函数f中进行映射，如式(4)：

M^Ak(m,n)＝f(M^Ck(m,n)).(4)

其中，M^Ak表示M^Ck经过激活函数得到的激活特征图，f表示激活函数。

本发明采用ReLU激活函数。

f(x)＝ReLU(x)＝max(0,x).(5)

对激活操作得到的激活特征图M^Ak做下采样操作，主要是通过采样的方式降低特征的维数，进一步压缩和抽象图像特征。

下采样操作首先将输入数据划分成无重合的s_s×s_s的小块，s_s表示采样核的边长，然后将每个子块的数据输入到采样函数中进行映射，映射输出即为子块对应的采样值，如式(6)：

M^Sk(m,n)＝s(M^Ak(s_s·(m-1)+1:s_s·m,s_s·(n-1)+1:s_s·n))(6)

其中，M^Sk表示M^Ak经过采样函数得到的采样特征图，M^Sk(m,n)表示M^Sk第m行、第n列的元素，s表示采样函数。图8展示了对大小为4×4的输入数据进行下采样操作的过程，其中s_s＝2。

本发明采用最大值采样。

最大值采样将采样块内元素值的最大值作为采样块的特征，如式(7)：

s(I)＝max(I)(7)

在图像处理中，最大值采样能够提取图像的纹理信息，并且在一定程度上维持图像的某种不变性，如旋转、平移、缩放等；另外，根据统计学实验，相较平均采样而言，最大值采样对数据分布变化不敏感，特征提取相对稳定。

当特征提取结束后，需要对得到的特征图进行向量化操作，得到特征向量fea，以便将特征输入到分类网络中，进而对网络参数进行学习。

向量化操作如式(8)：

$fea=\underset{k=\mathrm{1...}K}{concat}\left(v\right(M^{Sk}\left)\right).---\left(8\right)$

其中，v表示将非向量数据拉伸为一个列向量，concat表示将指示的向量串联成为一个高维向量，K表示特征图的总个数。

(B)统一维度线性映射

图像经过了卷积网络的若干次卷积、激活和下采样操作后会得到一系列特征图，本发明利用线性映射，将各个层级的特征都映射为相同维数的特征。如式(9)，式中n_f表示统一维度特征向量的维度，n_i表示fea_i的维度：

$f_i=W_i{\mathrm{fea}}_i,W_i\∈R^{n_f\×n_i}.---\left(9\right)$

(C)softmax分类网络

图7展示了softmax网络的基本结构，图示中，f_i表示输入特征向量f的第i个分量，N_C表示类别数量，W^id表示线性映射矩阵。

此处需要说明的是，利用网络形式实现线性映射时，一般都会采用带有偏差(bias)的线性映射。由于向量加法可以通过改写映射矩阵与映射向量乘法实现等价，因此，本发明为了书写方便，所涉及所有线性映射操作表达式均采用改写形式，并且直接利用原变量名称表示改写后的映射矩阵和映射向量，而不在表达式中体现bias，式中o表示线性映射后的输出，图中o_i表示o的第i个分量。

o＝W^id·f(10)

h_i表示o经过softmax函数激活后得到的网络输出值h的第i个分量：

h＝softmax(o).(11)

其中，softmax函数是softmax网络所采用的非线性激活函数，其表达式为：

$soft\max \left(x\right)=\frac{e^x}{\underset{i}{\Σ}{e}^{x_i}}---\left(12\right)$

由式(12)可以得出，softmax函数是“非负且和归一函数”，因此，可以将其函数输出值作为“输入数据属于对应类的概率”，即

h_i＝P(lable_i＝1)＝P(input∈CLASS_i).(13)

其中，为数据原始标签LABEL(表示数据集中的第LABEL个人)的二值向量，如式(14)；CLASS_i表示第i类数据集，在人脸识别中表示第i个人的所有图像：

class为网络根据网络输出h给出的分类决策：

$class=\arg \underset{c}{\max }\left(h_c\right).---\left(15\right)$

识别图像中的人脸身份为图像分类问题，本发明采用的分类算法是softmax分类网络，其采用的损失函数为交叉熵损失函数，如式(16)：

$loss(h,label)=-\underset{i=1}{\overset{N_C}{\Σ}}\left({\mathrm{label}}_i\log \right(h_i\left)\right).---\left(16\right)$

其中，h为分类网络中经过softmax函数的网络输出值向量，label为数据原始标签LABEL的二值向量。

由于网络的参数较多，很容易出现过拟合问题，因此采用正则化对网络参数进行限制，从而在一定程度上缓解过拟合现象，本发明采用二范数正则化。根据以上说明，网络的误差可以表示为式(17)：

J(θ)＝loss(h,label)+λΣ||θ||₂.(17)

其中，J(θ)表示网络误差，λ为正则项系数，θ为特征学习网络中所有可学习参数的集合，如式(18)，包括卷积网络的卷积核、分类网络的线性映射矩阵：

θ＝{θ_c，θ_id}，θ_c＝{c₁，c₂，...，c_K}，θ_id＝W^id(18)

网络的学习目标为求解最小化网络误差(17)的参数集θ_opt，如(19)所示：

${\mathrm{\θ}}_{opt}=\underset{\mathrm{\θ}}{\arg \min }J\left(\mathrm{\θ}\right)---\left(19\right)$

在图6中，J(Θ_i)表示第i层卷积网络计算的网络误差，其中，Θ_i表示由第1层到第i层卷积网络所有的网络参数与当前层统一维度线性映射矩阵W_i的集合，如式(20)：

${\mathrm{\Θ}}_i=\underset{k=\mathrm{1...}i}{\∪}{\mathrm{\θ}}_k\∪W_i.---\left(20\right)$

其中，θ_i表示第i层卷积网络的可学习参数集合，包括卷积操作、激活操作和下采样操作中涉及的所有可学习参数。

(D)多层级特征融合与降维

如图6所示，feature_merge表示由各层级统一维度特征向量f_i串联形成的联合特征向量，即

${\mathrm{feature}}_{merge}=\underset{i=1,\mathrm{...},4}{concat}\left(f_i\right).---\left(21\right)$

W_T表示对联合特征向量feature_merge进行线性降维映射的映射矩阵，f_T表示由feature_merge经过线性降维映射得到的综合特征向量，其包含了各层级网络的特征向量信息，如式(22)，式中n_T表示设定的f_T的维度：

$f_T=W_T{\mathrm{feature}}_{merge},W_T\∈R^{n_T\×\left(4n_f\right)}.---\left(22\right)$

J(Θ_T)表示分配给综合特征向量f_T的分类网络的网络误差；其中，Θ_T表示所有卷积网络参数、所有统一线性映射矩阵以及线性降维映射矩阵的集合，如式(23)：

${\mathrm{\Θ}}_T=\underset{k=\mathrm{1...4}}{\∪}{\mathrm{\θ}}_k\underset{q=\mathrm{1..4}}{\∪}{W}_q\∪W_T.---\left(23\right)$

(E)网络误差的反向传播

本发明利用BP算法对网络参数进行更新。

按照链式法则，网络误差是从后向前传播。

分类网络线性映射求导：

第i(i＝1…4,T)层的分类网络中的可学习参数为W^i,id，根据J(Θ_i)定义与链式求导法则可有：

$\▿W_{cj}^{i,id}=-{\mathrm{label}}_c\·(1-h_c)\·f_j+2\mathrm{\λ}\·W_{cj}^{i,id}.---\left(24\right)$

同时可以得到J(Θ_i)关于f的导数：

$\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂f_j}=\underset{c=1}{\overset{N_C}{\Σ}}\[-{\mathrm{label}}_c(1-h_c)\·W_{cj}^{i,id}\]---\left(25\right)$

统一维度线性映射求导：

每个统一维度线性映射矩阵W_i会对J(Θ_i)与J(Θ_T)两个网络误差产生作用，因此，利用BP算法对W_i进行更新时，W_i的更新梯度是由J(Θ_i)对W_i的导数与J(Θ_T)对W_i的导数联合形成，同时，在训练过程中，会赋予每个网络误差一个权重，综上，可以得到W_i的更新梯度，如式(26)：

$\▿W_i=w_i\·\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂W_i}+w_T\·\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂W_i}---\left(26\right)$

根据链式求导法则可有：

$\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂W_i}=\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂f_i}\·\frac{\∂f_i}{\∂W_i}=\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂f_i}\×{\mathrm{fea}}_i^T---\left(27\right)$

$\begin{array}{c}\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂W_i}=\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂f_T}\·\frac{\∂f}{\∂{\mathrm{feature}}_{merge}}\·\frac{\∂{\mathrm{feature}}_{merge}}{\∂f_i}\·\frac{\∂f_i}{\∂W_i}\\ ={\[W_T^T\×\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂f_T}\]}_{nf(i-1)+1:nf\·i}\×{\mathrm{fea}}_i^T.\end{array}---\left(28\right)$

因此，可有

$\▿W_i=w_i\·\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂f_i}\·{\mathrm{fea}}_i^T+w_T\·\[W_T^T\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂f_T}\]\left(n_f\right(i-1)+1:n_f\·i){\mathrm{fea}}_i^T---\left(29\right)$

综合特征层的线性降维映射求导：

综合特征层的线性降维映射矩阵W_T只对J(Θ_T)产生作用，按照链式求导法则容易得到：

$\begin{array}{c}\▿W_T=w_T\·\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂W_T}\\ =w_T\·\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂f_T}\·\frac{\∂f_T}{\∂W_T}\\ =w_T(\frac{\∂J\left({\mathrm{\Θ}}_T\right)}{\∂f_T}\×{\mathrm{feature}}_{merge}^T)\end{array}---\left(30\right)$

同时，可以计算得到各层级统一维度线性映射的输入特征向量的导数为：

$\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂{\mathrm{fea}}_i}=\frac{\∂J\left({\mathrm{\Θ}}_i\right)}{\∂f_i}\frac{\∂f_i}{\∂{\mathrm{fea}}_i}(i=1,2,3,4,T)---\left(31\right)$

卷积网络参数求导：

卷积网络中可学习的参数只有卷积操作中的卷积核，因此，需要计算J(Θ_i)关于各层级卷积核c的更新梯度。根据链式求导法则可有：

$\begin{array}{c}\▿c^k(i,j)=\frac{\∂J\left(\mathrm{\θ}\right)}{\∂c^k(i,j)}=\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^C}\·\frac{\∂M^C}{\∂c^k(i,j)}=\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^{Ck}}\·\frac{\∂M^{Ck}}{\∂c^k(i,j)}\\ =sum(\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^{Ck}}\·I(s_c-i+1:M_I+i-s_c,s_c-j+1:N_I+j-s_c)).\end{array}---\left(32\right)$

其中，

$\begin{array}{c}\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^C}=\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^A}\·\frac{\∂M^A}{\∂M^C}=\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^A}\·\frac{\∂\mathrm{Re}LU\left(M^C\right)}{\∂M^C}\\ =\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^A}\·(M^C>0).\end{array}---\left(33\right)$

$\begin{array}{c}\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^A}=upsample\left(\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^S}\right)\\ =kron(\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^S},E(s_s,s_s))\·location\left(M^S\right).\end{array}---\left(34\right)$

$E(m,n)={\left[\begin{array}{ccc}1& ...& 1\\ ...& ...& ...\\ 1& ...& 1\end{array}\right]}_{m\×n}.---\left(35\right)$

$kron(A,B)=\left[\begin{array}{cccc}{a}_{11}B& a_{12}B& ...& a_{1N}B\\ a_{21}B& a_{21}B& ...& a_{2N}B\\ ...& ...& ...& ...\\ a_{M1}B& a_{M1}B& ...& a_{\mathrm{MN}}B\end{array}\right],A\∈R^{M\×N}.---\left(36\right)$

location表示M^S的值在M^A中的位置的二值化矩阵，即：

$\frac{\∂J\left(\mathrm{\θ}\right)}{\∂M^S}=reshape(\frac{\∂J\left(\mathrm{\θ}\right)}{\∂fea},size(M^S)).---\left(38\right)$

上述为利用多层级特征融合的累积赋权深度卷积网络进行特征学习的过程的原理介绍，下面给出具体的算法，如表1所示：

表1为利用多层级特征融合的累积赋权深度卷积网络进行特征学习的过程。

下面就可以进行本发明的认证过程：

(一)图像预处理

本发明采用基于级联Adaboost的人脸检测算法对图像进行人脸检测，然后利用基于SDM的人脸特征点定位算法对检测出来的人脸进行特征点定位，并通过图像缩放、旋转与平移对人脸进行矫正和归一化对齐，最终得到尺寸为100*100的人脸图像，且在图像中，左眼的图像坐标为(30,30)，右眼的图像坐标为(30,70)，如图3所示。

本发明采用简单的灰度归一化预处理，如下式(1)，式中I(i,j)表示图像(i,j)的灰度值。灰度归一化的主要目的是便于网络处理连续数据而避免处理较大的离散灰度值，从而避免出现异常情况。

$I(i,j)=\frac{I(i,j)}{256}.---\left(1\right)$

(二)特征提取

利用训练完成的网络提取图像特征

完成对多层级特征融合的累积赋权深度卷积网络的训练后，就可以利用训练出的网络提取输入图像的特征，如表2所示：

(三)特征比对

(I)绝对值归一化余弦值

本发明提出的绝对值归一化余弦值(cosinenormalizedbyabsolutevalue，cos_AN)定义如式(39)：

${\cos }_{AN}(x,y)=cos(\hat{x},\hat{y})---\left(39\right)$

其中，

${\hat{x}}_i=\frac{x_i}{\left|x_i\right|+\left|y_y\right|},{\hat{y}}_i=\frac{y_i}{\left|x_i\right|+\left|y_i\right|}.---\left(40\right)$

实验表明，绝对值归一化余弦值对比对向量的模长差异敏感，能够弥补余弦相似度忽略向量的模长差异而造成的差异描述不全面的问题。

(II)基于LDA的多差异融合比对算法

本发明将比对特征的余弦相似度、绝对值归一化余弦值以及两个特征模长组合为一个四维差异向量，即

f_diff(f_T1,f_T2)＝[cos(f_T1,f_T2),cos_AN(f_T2,f_T2),|f_T2|,|f_T2|]^T(41)

然后利用LDA(线性判别分析)将四维差异向量融合为一维相似量，也就是，差异向量映射矩阵W_LDA需要将四维差异向量映射为一维向量。

sim(f_T1,f_T2)＝W_LDAf_diff(42)

其中W_LDA表示利用LDA得到的映射向量。

本发明实施例技术方案带来的有益效果：

本实施例利用多层级特征融合的累积加权深度卷积网络进行特征学习和特征提取，然后利用基于LDA的多差异融合比对算法对两幅人脸图像的特征进行比对，具有以下五个优势：一、本发明利用卷积网络自动学习和提取特征，避免了人工特征的不足；二、通过多层分类网络联合训练避免了梯度弥散问题；三、通过多层级特征融合，增加图像特征丰富度，弥补了一般的深度网络对各层级特征处理不充分、仅利用高层特征不足以充分描述图像的缺陷；四、通过对多层分类网络误差加权增加网络学习的灵活度；五、通过基于LDA的多差异融合比对算法解决了余弦相似度对特征向量差异刻画不完整的问题。在FERET数据库上测试，四个子库Fb，Fc，DupI，DupII上分别取得了99.9％，100％，98.8％，99.6％的认证率(错误判对率为0.1％)。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人脸认证的方法，其特征在于，包括：

对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量；

将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量；

将统一维度特征向量串联成联合特征向量；

将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

2.根据权利要求1所述的人脸认证的方法，其特征在于，所述对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量之前还包括：

对待认证人脸图像和人脸图像模板进行预处理，所述预处理包括特征点定位、图像校正和归一化处理。

3.根据权利要求1所述的人脸认证的方法，其特征在于，每个层级的特征向量通过如下步骤计算得到：

使用卷积核对待认证人脸图像和人脸图像模板进行卷积操作，得到卷积特征图，所述卷积操作为same卷积操作；

使用激活函数对所述卷积特征图进行激活操作，得到激活特征图，所述激活函数为ReLU激活函数；

使用采样函数对所述激活特征图进行下采样操作，得到采样特征图，所述下采样操作为最大值采样；

对得到的采样特征图重复上述步骤，得到新的采样特征图，并如此重复执行若干次；

将得到的所有采样特征图进行向量化，得到每个层级的特征向量。

4.根据权利要求1-3中任一所述的人脸认证的方法，其特征在于，所述多层级深度卷积网络通过softmax分类网络联合训练得到，训练步骤包括：

对人脸图像样本使用初始化的多层级深度卷积网络依次提取出多个层级的特征向量；

将多个层级的特征向量依次通过统一维度线性映射矩阵映射为相同维数的统一维度特征向量；

在softmax分类网络中使用线性映射矩阵分别对统一维度特征向量进行映射，得到映射向量；

使用softmax函数对映射向量进行激活，得到网络输出值向量；

以网络输出值向量和人脸图像样本的标签数据为输入量，通过交叉熵损失函数计算出网络误差；

将各个统一维度特征向量串联成一个联合特征向量；

将所述联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

为所述网络误差分配权重，并计算所述线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度；

利用所述线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度对所述线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核进行迭代更新；

判断网络误差和迭代次数是否符合要求，若是，结束，否则，转至所述对人脸图像样本使用初始化的多层级深度卷积网络依次提取出多个层级的特征向量。

5.根据权利要求1-3中任一所述的人脸认证的方法，其特征在于，所述通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证包括：

以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行余弦相似度操作，得到余弦相似度；

以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行绝对值归一化余弦操作，得到绝对值归一化余弦值；

对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量进行求模操作，得到第一模长与第二模长；

将所述余弦相似度、绝对值归一化余弦值、第一模长与第二模长组成一个四维的差异向量；

使用差异向量映射矩阵将所述差异向量映射，得到一维向量，作为比对分值；

将比对分值与比对阈值进行比对，若比对分值大于比对阈值，则人脸认证通过。

6.一种人脸认证的装置，其特征在于，包括：

第一提取模块，用于对待认证人脸图像和人脸图像模板使用预先经过多层分类网络联合训练的多层级深度卷积网络依次提取出多个层级的特征向量；

第一映射模块，用于将多个层级的特征向量依次通过统一维度线性映射矩阵映射为统一维度特征向量；

第一串联模块，用于将统一维度特征向量串联成联合特征向量；

第二映射模块，用于将联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

第一比对模块，用于通过线性判别分析，利用绝对值归一化余弦值，对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量的进行比对认证。

7.根据权利要求6所述的人脸认证的装置，其特征在于，所述第一提取模块之前还包括：

预处理模块，用于对待认证人脸图像和人脸图像模板进行预处理，所述预处理包括特征点定位、图像校正和归一化处理。

8.根据权利要求6所述的人脸认证的装置，其特征在于，每个层级的特征向量通过如下单元计算得到：

卷积单元，用于使用卷积核对待认证人脸图像和人脸图像模板进行卷积操作，得到卷积特征图，所述卷积操作为same卷积操作；

激活单元，用于使用激活函数对所述卷积特征图进行激活操作，得到激活特征图，所述激活函数为ReLU激活函数；

采样单元，用于使用采样函数对所述激活特征图进行下采样操作，得到采样特征图，所述下采样操作为最大值采样；

循环单元，用于对得到的采样特征图重复上述步骤，得到新的采样特征图，并如此重复执行若干次；

第一向量化单元，用于将得到的所有采样特征图进行向量化，得到每个层级的特征向量。

9.根据权利要求6-8中任一所述的人脸认证的装置，其特征在于，所述多层级深度卷积网络通过softmax分类网络联合训练得到，包括：

第二提取模块，用于对人脸图像样本使用初始化的多层级深度卷积网络依次提取出多个层级的特征向量；

第三映射模块，用于将多个层级的特征向量依次通过统一维度线性映射矩阵映射为相同维数的统一维度特征向量；

第四映射模块，用于在softmax分类网络中使用线性映射矩阵分别对统一维度特征向量进行映射，得到映射向量；

激活模块，用于使用softmax函数对映射向量进行激活，得到网络输出值向量；

第一计算模块，用于以网络输出值向量和人脸图像样本的标签数据为输入量，通过交叉熵损失函数计算出网络误差；

第二串联模块，用于将各个统一维度特征向量串联成一个联合特征向量；

第五映射模块，用于将所述联合特征向量通过线性降维映射矩阵进行降维映射得到综合特征向量；

第二计算模块，用于为所述网络误差分配权重，并计算所述线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度；

更新模块，用于利用所述线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核的更新梯度对所述线性映射矩阵、统一维度线性映射矩阵、线性降维映射矩阵和卷积核进行迭代更新；

判断模块，用于判断网络误差和迭代次数是否符合要求，若是，结束，否则，转至所述第二提取模块。

10.根据权利要求6-8中任一所述的人脸认证的装置，其特征在于，所述第一比对模块包括：

第一计算单元，用于以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行余弦相似度操作，得到余弦相似度；

第二计算单元，用于以得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量为输入量进行绝对值归一化余弦操作，得到绝对值归一化余弦值；

第三计算单元，用于对得到的待认证人脸图像的综合特征向量和人脸图像模板的综合特征向量进行求模操作，得到第一模长与第二模长；

第二向量化单元，用于将所述余弦相似度、绝对值归一化余弦值、第一模长与第二模长组成一个四维的差异向量；

映射单元，用于使用差异向量映射矩阵将所述差异向量映射，得到一维向量，作为比对分值；

比对单元，用于将比对分值与比对阈值进行比对，若比对分值大于比对阈值，则人脸认证通过。