CN107871107A - 人脸认证方法和装置 - Google Patents

Abstract

本发明实施例提供了一种人脸认证方法和装置，该方法包括：采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到多个待测人脸图像的多个人脸特征向量；采用主成分分析方法对多个人脸特征向量进行降维，得到降维后的多个人脸特征向量；采用联合贝叶斯分类器对降维后的多个人脸特征向量进行分类计算，确定多个待测人脸图像是否为同一人的人脸图像。本发明实施例通过分类损失和认证损失监督训练的卷积深层网络模型可以在对人脸认证时，在保证较好的分类能力的同时，还能确保同一个用户的人脸的相似度较高，并减少计算量。

Description

人脸认证方法和装置

技术领域

本发明涉及人脸识别技术领域，特别是涉及一种人脸认证方法和装置。

背景技术

人脸认证是通过两幅图像的有效表征来判断图像是否属于同一个人的方法。人脸认证作为生物特征识别方法的一种，与指纹识别，虹膜识别等方法相比具有非接触性、非强制性等优点。所以，人脸认证方法在金融、信息安全等领域得到了广泛的应用。但由于人脸图像的采集极易受到外界环境变化的影响(如光照等)，并且人脸又为非刚性对象，因此，现实场景下的人脸认证具有极大的挑战。

根据人脸表征方式的不同，现有的人脸认证方法包括基于几何特征的人脸认证方法。其中，基于几何特征的人脸认证方法是通过提取人脸部件(比如眼睛、嘴巴、鼻子等部分)的几何关系和纹理特征，以将人脸图像与图模型相联系的方式，将人脸匹配转化为一种图模型匹配的方法。但是，这种基于几何和/或纹理特征的方法，在几何特征点的选取上存在较大的主观性，而且特征点定位的准确度对该方法的精度影响很大，从而存在人脸认证错误率高的问题。

为了解决上述特征点选取所带来的主观性大而造成的人脸认证错误率高的问题，现有技术还提出了一种基于子空间的人脸认证方法。其中，该基于子空间的人脸认证方法采用的方案为：将人脸图像或是人脸图像的编码结果通过线性或非线性映射的方法投影到低维度的子空间中，并利用新的空间中的向量作为人脸图像的特征，最后通过相似度度量或是距离度量等度量方式来对特征进行分类，以此判断两个人脸图像是否为同一类，即同一个人。但是，基于子空间的方法需要较好的人脸表征算子，而单一的算子往往不能表达人脸的多重变化，所以，这种基于子空间的人脸认证方法对光照、姿态和表情变化的处理并不理想，从而存在对表情或是环境等因素不同的同一个人的认证错误的问题。

而为了保证人脸认证的准确率以及对同一个人的表情或是环境变化的分辨能力，现有技术中还提出了一种基于学习的人脸认证方法，该基于学习的人脸认证方法通过最小化损失函数的思想，从算法中自动提取表征人脸的特征，以此来实现人脸认证。其中，人工神经网络就是其中的一种基于学习的人脸认证方法，其主要通过最小化与目标相等价的损失函数，来学习得到人脸特征，进而用于人脸识别任务。另一种基于深度学习的方法与人工神经网络方法相类似，但是深度学习方法对人脑有更好的模拟，其获取的特征层次更高级，更抽象。而现有技术中基于深度卷积网络的方法在人脸识别上虽然可以取得较高的准确率，网络也可以自适应的从人脸图像中提取易于分类的特征。但是，由于随着网络深度的加深，其计算量也在快速的增长。并且，参数的增多也需要大量的标注数据进行训练，以防止出现过拟合等问题。此外，现有的由单一识别信号监督训练的网络虽然可以使得其具有较好的分类能力，但是其不能保证同一类的样本之间的高相似度。而且，现有技术所采用的triplet-loss方法在训练卷积网络时，算法的收敛性和效果也会过于依赖负样本对(非同一个人的人脸样本对)的选取，负样本对选取不理想极易导致算法不收敛。

由此可见，现有技术中深度卷积网络的人脸认证方案普遍存在着计算量大以及分类能力与同一类样本相似度高不能兼顾的问题。

发明内容

本发明实施例所要解决的技术问题是提供一种人脸认证方法和装置，以解决现有技术中的深度卷积网络的人脸认证方案所存在的计算量大以及分类能力与同一类相似度高不能兼顾的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种人脸认证方法，包括：

采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量；

采用主成分分析方法对所述多个人脸特征向量进行降维，得到降维后的 多个人脸特征向量；

采用联合贝叶斯分类器对降维后的所述多个人脸特征向量进行分类计算，确定所述多个待测人脸图像是否为同一人的人脸图像。

根据本发明的另一方面，本发明还公开了一种人脸认证装置，包括：

提取模块，用于采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量；

降维模块，用于采用主成分分析装置对所述多个人脸特征向量进行降维，得到降维后的多个人脸特征向量；

分类模块，用于采用联合贝叶斯分类器对降维后的所述多个人脸特征向量进行分类计算，确定所述多个待测人脸图像是否为同一人的人脸图像。

与现有技术相比，本发明实施例包括以下优点：

本发明实施例通过分类损失和认证损失监督训练的卷积深层网络模型可以在对人脸认证时，在保证较好的分类能力的同时，还能确保同一个用户的人脸的相似度较高，并减少计算量；以及通过主成分分析方法降维可以消除特征之间的冗余，提高图像的认证速度；并通过联合贝叶斯分类器对降维后的图像分类能够增强人脸特征的判别性，保证人脸认证的准确度。

附图说明

图1是本发明的一种人脸认证方法实施例的步骤流程图；

图2是本发明的一种利用分类损失和认证损失对卷积神经网络模型进行监督训练的方法实施例的步骤流程图；

图3是本发明实施例的一种采用回归方法构造的正样本对的示意图；

图4是本发明的一种人脸认证装置实施例的结构框图；

图5是本发明根据图4所示的另一种人脸认证装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

第一实施例

参照图1，示出了本发明的一种人脸认证方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量；

其中，本发明实施例采用由分类损失和认证损失监督训练的卷积神经网络模型来对待测人脸图像进行特征的提取，可以获得对光照、表情、姿态灯变化鲁棒的特征；并且，采用一次分块，即，对每个人脸图像直接提取一个特征，而无需将每个人脸图像分为多块，并对每块人脸区域分别提取特征后再组合得到一个特征，这样可以减少计算量。

并且，采用分类损失和认证损失监督训练的卷积神经网络模型能够在保证其具有较好的分类能力的同时，还能确保同一类样本的特征距离充分的靠近，即，保证同一个用户的人脸的相似度较高。

由于输入至卷积神经网络模型的图像可能不仅仅包含人脸部分，还包含毛发、背景等部分。因此，还需要对输入的图像进行人脸检测。可选地，在本申请的一个实施例中，在执行步骤101之前，根据本发明实施例的方法还可以包括：

首先，对多个待测图像分别进行人脸检测，确定所述多个待测图像的人脸区域；

具体而言，例如可以采用级联AdaBoost算法(一种迭代算法)对每个待测图像进行人脸检测，并以矩形框的形式在每个待测图像上标注确定的人脸区域。

然后，对多个所述人脸区域分别进行特征点定位，确定每个人脸特征的多个定位点；

具体而言，可以采用监督下降方法(Supervised Descent Method，SDM)对每个待测图像中的人脸区域分别进行特征点定位。例如为了确定人脸区域中的眉毛、眼睛、鼻子、嘴等特征(即人脸特征)，使用该方法可以对每一 个特征都确定多个定位点，从而对每个特征进行定位。

接着，在所述每个人脸特征的多个定位点中确定每个眼睛的中心定位点；

具体而言，对于一个人脸区域来说，其五官中的每个特征都包含了多个定位点，但是这里只需要确定每个眼睛的中心定位点。由于人眼是对称设置的，且人眼的中心更加能够清楚的限定这种对称关系，所以为了将一个人脸区域对齐到模板区域中，只需要确定两个眼睛的两个中心定位点即可。

然后，将所述人脸区域中所述每个眼睛的中心定位点分别对齐至预设的眼睛坐标位置；

具体而言，由于每个待测人脸的大小、比例均不相同，因此，为了实现本模型对各种尺寸、比例的人脸图像的认证，需要采用与卷积神经网络模型相匹配的一种尺寸和比例的人脸图像进行认证。所以，这里需要进行前述步骤确定眼睛的中心定位点，从而将每个待测图像的人脸区域的两个眼睛的两个中心定位点分别对齐到预设的眼睛坐标位置，例如(30，30)和(30，70)的坐标位置，这样就可以将整张人脸区域对齐到预设的一个模板坐标中，其中，该模板坐标包括两个眼睛的上述坐标。

采用这种通过眼睛的中心定位点来完成人脸对齐的方式，能够简化对齐步骤，提高人脸图像的预处理速度。

接着，对经过所述对齐处理后的所述人脸区域进行相似变换；对经过所述相似变换后的所述人脸区域进行归一化处理；

其中，归一化后的人脸区域的尺寸是与模板的标准相一致的，这里为100x100，这样，可以使待测的多个图像处理为相同尺寸的图像，利于后续的认证处理。

最后，将经过所述归一化处理后的所述人脸区域转换为灰度图像形成所述待测人脸图像。

其中，将彩色的人脸区域转换为灰度图像，可以避免由于图像颜色对图像认证所带来的干扰，提高图像认证的准确度。

步骤102，采用主成分分析方法对所述多个人脸特征向量进行降维，得到降维后的多个人脸特征向量；

其中，由于经过深度卷积网络得到的人脸特征向量之间具有一定的相关性和冗余，所以在进行分类之前，需要采用主成分分析方法对人脸特征向量进行降维。例如，经过深度卷积网络得到的特征向量的维度为2048维，主成分分析过程中取主成分的前95％，则可以得维度为404维的新的人脸特征向量。

即，通过主成分分析方法对每个人脸特征向量分别进行降维，可以消除特征的共线性和冗余，进而提高图像的认证速度。

步骤103，采用联合贝叶斯分类器对降维后的所述多个人脸特征向量进行分类计算，确定所述多个待测人脸图像是否为同一人的人脸图像。

其中，为了增强特征的判别性，在此可以对主成分分析降维后的人脸特征向量进行联合贝叶斯分类器分类。

联合贝叶斯算法如下：

输入特征训练集{(f_ij,l_ij)}(i＝1,2,…,m_i,j＝1,2,…,N)；其中，f_ij和l_ij分别表示降维后的人脸特征向量和第j个人第i幅人脸图像的标签。

初始化协方差矩阵S_μ和S_ε:

循环重复下述过程步骤a-步骤c，直到算法收敛：步骤a，计算矩阵F和G

F＝S_ε ^-1 (3)

G＝-(m_iS_μ+S_ε)^-1S_μS_ε ^-1 (4)

步骤b，计算μ_i和ε_ij:

步骤c，根据计算得到的μ_i和ε_ij更新协方差矩阵S_μ和S_ε:

当算法收敛时，即每一次循环中，输入至上述步骤a中S_μ与本次循环中步骤c输出的S_μ之间的差值的绝对值小于第一预设阈值，且该次循环中输入至上述步骤a中S_ε与本次循环中步骤c输出的S_ε之间的差值的绝对值小于第二预设阈值时，表示算法收敛，本发明实施例就会按照如下公式，根据算法收敛后输出的S_μ和S_ε分别计算矩阵F,G和A:

F＝S_ε ^-1 (9)

G＝-(2S_μ+S_ε)^-1S_μS_ε ^-1 (10)

A＝(S_μ+S_ε)^-1-(F+G) (11)

通过计算人脸图像特征的对数似然比r(x₁,x₂)来度量两幅人脸图像的相似度，最后输出:两幅人脸图像的得分r(x₁,x₂)

其中，f₁,f₂分别是人脸图像x₁和x₂经过PCA算法降维后的特征。

即，通过上述贝叶斯算法可以得到一对人脸图像x₁和x₂的得分r(x₁,x₂)。

然后，根据该得分进行人脸认证，具体而言，人脸认证过程是判对一对人脸图像x₁,x₂的得分r(x₁,x₂)是否大于给定的阈值T，如果得分r大于给定的阈值T，则说明x₁,x₂为同一个人的两幅人脸图像；反之，则说明x₁,x₂为不同人的两幅人脸图像。

需要注意的是，虽然这里以一对人脸图像为例进行的认证说明，但是，本发明实施例对于进行认证的人脸图像的数量并不作具体限定，由于多于两个人脸图像的认证方法与前述实例类似，因此，在此不再赘述。

即，采用联合贝叶斯分类器对降维后的人脸特征向量进行分类计算，可以增强人脸特征的判别性，从而保证人脸认证的准确度。

这样，本发明实施例通过分类损失和认证损失监督训练的卷积深层网络模型可以在对人脸认证时，在保证较好的分类能力的同时，还能确保同一个用户的人脸的相似度较高，并减少计算量；以及通过主成分分析方法降维可以提高图像的认证速度；并通过联合贝叶斯分类器对降维后的图像分类能够增强人脸特征的判别性，保证人脸认证的准确度。

第二实施例

参照图2，在上述实施例的基础上，本实施例进一步论述本发明的人脸认证方法。

在采用上述卷积神经网络模型对人脸进行特征提取之前，还需要采用分类损失和认证损失对该卷积神经网络模型进行监督训练，图2为本发明一个实施例的利用分类损失和认证损失对上述卷积神经网络模型进行监督训练的流程图。该监督训练流程具体可以包括如下步骤：

步骤201，对输入至所述卷积神经网络模型的训练样本对进行运算，得到所述训练样本对的人脸特征向量，其中，所述训练样本对为正样本对，且选自包含人脸标注的人脸数据集；

其中，该正样本对为同一个人的人脸样本对，人脸标注可以理解为一种用户的定义，例如人脸A表示用户A，人脸标注即为A。

其中，在对输入至所述卷积神经网络模型的训练样本对进行运算，得到 所述训练样本对的人脸特征向量时，根据本发明的一个实施例，可以通过以下子步骤来实现：

子步骤S11，对输入至所述卷积神经网络模型的所述正样本对分别进行卷积计算，得到卷积结果；

具体而言，假设当前层：第(l+1)层的输入为连接l层和第(l+1)层的权重和第(l+1)层的偏置分别为W^l+1和b^l+1，则第(l+1)层的卷积结果z^l+1如公式(13)所示。

子步骤S12，对所述正样本对的所述卷积结果分别进行激活，得到激活后的卷积结果；

具体而言，对上述卷积结果进行ReLU激活函数激活，则可以得到该层的输出x^l+1：

子步骤S13，对所述正样本对激活后的所述卷积结果进行下采样，得到所述正样本对的人脸特征向量。

具体而言，为了使卷积获得特征更加的抽象以及稀疏，对该层激活后的卷积结果最大池化(Max-Pooling)下采样，Max-Pooling算子定义如下：

其中，yⁱ表示对神经元xⁱ进行s×s大小不重叠局部区域下采样得到的结果。

可选地，为了防止网络的训练过程中出现梯度弥散等问题，在卷积结果激活之前本发明实施例还可以使用批次规范化(Batch Normalization)操作。

例如，该卷积神经网络模型包括q层，在每一层都要进行上述S11～S13运算，而上一层的输出结果会传递给下一层作为输入结果，继续进行上述计算，但是每层的卷积参数(这里包括上述权重W和偏置b)不同，最终的运算结果即为所述正样本对的人脸特征向量。

步骤202，采用双信号损失函数对所述人脸特征向量进行计算，得到训练损失，其中，所述双信号损失函数为分类损失函数和认证损失函数的加权 和；

其中，双信号损失函数定义为认证网络和分类网络输出损失的加权和，即

分类损失函数l₁:通过对模型监督训练可以使得模型网络具有较好的分类效果以及泛化性。

认证损失函数l₂:通过对模型监督训练可以使得同一个人的人脸样本距离变小，进而增强人脸认证的能力。

而为了平衡上述两种损失(即分类损失和认证损失)，本发明优选的权重λ＝0.005，这样可以有效的解决由于损失导致的算法不收敛或者收敛较慢的问题。

其中，x_i,x_j为同一个人的两幅人脸图像的特征向量。

这样，通过调节两种损失之间平衡的权重λ＝0.005，可以有效的解决由于损失导致的算法不收敛或是收敛较慢的问题。

其中，在采用双信号损失函数对所述人脸特征向量进行计算，得到训练损失时，根据本发明的一个实施例，可以通过以下子步骤来实现：

其中，在计算训练损失时，为了同时训练模型具有较好的识别分类能力(即训练模型认识该图像为用户A的人脸)以及认证能力(即训练模型能够认证图像1、图像2是否为同一个人的人脸)，下面将采用S21、S22和S23、S24分别进行识别分类能力以及认证能力的训练。

子步骤S21，计算所述训练样本对的人脸特征向量的多元回归概率值；

其中，该训练样本即为上述的正样本对，那么在训练识别能力时，可以对正样本对经过步骤201计算得到的任意一个人脸样本的人脸特征向量按照多元回归的定义(公式19)计算多元回归概率值。

子步骤S22，采用所述分类损失函数对所述多元回归概率值进行计算，得到分类损失；

其中，可以采用公式18计算分类损失。

需要注意的是，本发明对于子步骤S21和子步骤S23之间执行顺序不做限制。

子步骤S23，计算所述训练样本对的人脸特征向量的欧式距离；

其中，可以采用公式20计算正样本对的欧氏距离，这样就可以得到模型计算得到了两个样本之间的距离。

Euclid(x_i,x_j)＝||x_i-x_j||₂ (20)

其中，x_i,x_j为同一个人的两幅人脸图像特征，θ为多元回归的参数。

子步骤S24，采用所述认证损失函数对所述欧式距离进行计算，得到认证损失；

其中，可以采用公式18得到认证损失。

子步骤S25，根据所述双信号损失函数中所述分类损失函数和所述认证损失函数之间的权重，计算所述分类损失和所述认证损失的加权和，得到所述训练损失。

其中，可以根据公式16～18以及权重λ＝0.005来计算

步骤203，根据所述训练损失调整所述卷积神经网络模型的卷积参数，使所述训练损失收敛，得到由所述分类损失和认证损失监督训练的卷积神经网络模型。

其中，可以根据该训练损失来调整卷积神经网络模型中每一层的卷积参数(包括每一层的权重W和偏置b)。

表1示出了经过上述分类损失和认证损失监督训练的卷积神经网络模型的参数：

表1

可选地，在上述实施例的基础上，在利用所述分类损失和认证损失对上述卷积神经网络模型进行监督训练之前，需要构造人脸数据集，以及从人脸数据集中构造上述正样本对。

根据本发明的一个实施例，在构造所述人脸数据集时，可以包括数据清洗、数据扩充两个步骤。

对于数据清洗步骤可以包括如下步骤：

步骤一：子步骤S31，判断人脸数据库中的人脸样本是否存在人脸标注错误；子步骤S32，修改所述人脸数据库中存在人脸标注错误的人脸样本的人脸标注；

其中，由于构建的人脸数据库是由多个人脸数据库合并而成，这样就存在着同一个人在不同数据库中的标注不同，那么在合并后，就会存在本来应该使用同一个标注的多个人脸样本采用的却是不同的标注，用于表示两个不同的用户。因此，这里就需要本发明实施例的步骤一来判断同一个用户的人脸数据是否存在数据标注错误，那么如果发现合并后的人脸数据库中存在人 脸标注错误的人脸样本，就可以对其进行修改，以使同一个用户的人脸样本采用统一的标注。

步骤二：子步骤S33，计算所述人脸数据库中属于不同人的人脸样本的相似度；子步骤S34，若所述相似度大于预设阈值，则进行人工核查，那么在接收到用户对该相似度的确认信息时，将所述人脸数据库中属于不同人的人脸样本合并为属于同一人的人脸样本；

同样的，构建的人脸数据库中可能还存在由于人脸的表情、光照、姿态等不同而造成将两类人脸样本归为不同的用户。因此，这里就需要本发明实施例的步骤一来判断属于不同用户的人脸数据是否非常相似，那么如果发现非常相似的人脸数据则需要合并为属于同一人的人脸样本。

其中，可以采用分类器度量不同人之间的相似度，对于平均相似度大于80％的不同人的数据，可以判断二者为同一用户，则合并二者数据；

其中，第i类与第j类人脸样本的平均相似度S_ij定义如公式(21)所示。

其中，cosine(x,y)为x,y之间的余弦距离，和为第i类和第j类的人脸样本集合，和分别为两类包含人脸样本的个数。

对于经过上述数据清洗后的人脸样本数据可以进行数据扩充，以使在使用人脸数据集中的正样本对进行模型训练时，能够使模型识别和认证属于同一用户的更多样本。

数据扩充步骤可以包括如下子步骤：

子步骤S35，对所述人脸数据库中的属于同一个人的人脸样本进行角度旋转；

其中，可以在清洗后的人脸数据集上将人脸旋转±5，±10，±15和±20度。

子步骤S36，通过对经过所述角度旋转后的所述人脸样本进行相似变化，得到放大或缩小的多个人脸样本；

其中，可以将旋转后的人脸图像通过相似变化分别放大或缩小2倍和4 倍等，得到属于同一用户的多个人脸样本。

子步骤S37，将所述多个人脸样本补充至所述同一个人的人脸样本的人脸数据集以得到构造的人脸数据集。

可选地，在上述实施例的基础上，由于每个用户都包含一个样本集合，例如集合包括10个样本，那么如果按照现有技术的正样本对的构造方法，则需要构造210个正样本对，这显然会增加训练模型的运算量，降低训练速度。因此，根据本发明的一个实施例，可以对经过上述清洗和扩充步骤后的人脸数据集来构造正样本对，以用于卷积神经网络模型的训练。

在本申请的一个实施例中，在对所述人脸数据集构造所述正样本对时，可以首先确定该清洗和扩充后的人脸数据集中属于同一个人的多个人脸样本；将所述多个人脸样本排列成环结构；依次将所述环结构中相邻的两个人脸样本构造为一个正样本对。

具体而言，例如对清洗和扩充后的人脸数据集中某一类别的样本集合包括5个人脸样本，分别为f₁,f₂,…,f₅，那么对该类别的基于上述回环方法的正样本对构造如图3所示，可以依次连接环结构中相邻的两个人脸样本来构成一个正样本对，这样即形成正样本对：(f₁,f₂),(f₂,f₃),(f₃,f₄),(f₄,f₅)和(f₅,f₁)。这样，就可以使同一个人的样本之间建立直接或间接的联系，从而保证类内样本之间的相关性，并且，还能减少训练模型的运算量、提高模型训练速度。

借助于本发明上述实施例的技术方案，本发明实施例通过认证损失和分类损失监督深度卷积网络提取人脸图像特征，不仅能够获得对光照、表情、姿态等变化鲁棒的特征，而且还通过分类损失函数监督训练，可以使得网络有较好的分类能力；利用正样本对(同一人的人脸样本对)的欧氏损失函数监督训练，可以使得同一个人的人脸样本的特征距离充分的靠近；然后，通过主成分分析方法消除特征的共线性以及冗余，最后通过联合贝叶斯进一步增强特征的判别性，完成分类，避免了选取负样本不理想所导致的算法不收敛，并在保证了人脸认证的准确度的同时提高了计算速度。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述 的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与上述本发明实施例所提供的方法相对应，参照图4，示出了本发明一种人脸认证装置400实施例的结构框图，具体可以包括如下模块：

提取模块401，用于采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量；

降维模块402，用于采用主成分分析装置对所述多个人脸特征向量进行降维，得到降维后的多个人脸特征向量；

分类模块403，用于采用联合贝叶斯分类器对降维后的所述多个人脸特征向量进行分类计算，确定所述多个待测人脸图像是否为同一人的人脸图像。

参照图5，在本发明的一个可选实现方式中，在图4的基础上，所述装置400还包括：

运算模块404，用于对输入至所述卷积神经网络模型的训练样本对进行运算，得到所述训练样本对的人脸特征向量，其中，所述训练样本对为正样本对，且选自包含人脸标注的人脸数据集；

计算模块405，用于采用双信号损失函数对所述人脸特征向量进行计算，得到训练损失，其中，所述双信号损失函数为分类损失函数和认证损失函数的加权和；

调整模块406，用于根据所述训练损失调整所述卷积神经网络模型的卷积参数，使所述训练损失收敛，得到由所述分类损失和认证损失监督训练的卷积神经网络模型。

可选地，所述计算子模块405包括如下未示出的子模块：

计算多元回归子模块，用于计算所述训练样本对的人脸特征向量的多元回归概率值；

计算分类损失子模块，用于采用所述分类损失函数对所述多元回归概率值进行计算，得到分类损失；

计算欧式距离子模块，用于计算所述训练样本对的人脸特征向量的欧式距离；

计算认证损失子模块，用于采用所述认证损失函数对所述欧式距离进行计算，得到认证损失；

计算训练损失子模块，用于根据所述双信号损失函数中所述分类损失函数和所述认证损失函数之间的权重，计算所述分类损失和所述认证损失的加权和，得到所述训练损失。

可选地，所述运算模块404包括如下未示出的子模块：

卷积计算子模块，用于对输入至所述卷积神经网络模型的所述正样本对分别进行卷积计算，得到卷积结果；

激活子模块，用于对所述正样本对的所述卷积结果分别进行激活，得到激活后的卷积结果；

下采样子模块，用于对所述正样本对激活后的所述卷积结果进行下采样，得到所述正样本对的人脸特征向量。

可选地，所述装置400还包括如下未示出的模块：

确定人脸样本模块，用于确定所述人脸数据集中属于同一个人的多个人脸样本；

排列模块，用于将所述多个人脸样本排列成环结构；

构造模块，用于依次将所述环结构中相邻的两个人脸样本构造为一个正样本对，得到所述人脸数据集的正样本对。

可选地，所述装置400还包括如下未示出的模块：

计算相似度模块，用于计算所述人脸数据库中属于不同人的人脸样本的相似度；

合并模块，用于若所述相似度大于预设阈值、且接收到用户对所述相似度的确认信息，则将所述人脸数据库中属于不同人的人脸样本合并为属于同一人的人脸样本；

角度旋转模块，用于对所述人脸数据库中的属于同一个人的人脸样本进行角度旋转；

相似变化模块，用于通过对经过所述角度旋转后的所述人脸样本进行相似变化，得到放大或缩小的多个人脸样本；

补充模块，用于将所述多个人脸样本补充至所述同一个人的人脸样本的人脸数据集以得到构造的人脸数据集。

可选地，所述装置400还包括如下未示出模块：

人脸检测模块，用于对多个待测图像分别进行人脸检测，确定所述多个待测图像的人脸区域；

特征点定位模块，用于对多个所述人脸区域分别进行特征点定位，确定每个人脸特征的多个定位点；

确定中心定位点模块，用于在所述每个人脸特征的多个定位点中确定每个眼睛的中心定位点；

对齐模块，用于将所述人脸区域中所述每个眼睛的中心定位点分别对齐至预设的眼睛坐标位置；

相似变换模块，用于对经过所述对齐处理后的所述人脸区域进行相似变换；

归一化模块，用于对经过所述相似变换后的所述人脸区域进行归一化处理；

转换模块，用于将经过所述归一化处理后的所述人脸区域转换为灰度图像形成所述待测人脸图像。

借助于本发明上述实施例的技术方案，本发明实施例通过分类损失和认证损失监督深度卷积网络提取人脸图像特征，不仅能够获得对光照、表情、姿态等变化鲁棒的特征，而且还通过分类损失函数监督训练，可以使得网络有较好的分类能力；利用正样本对(同一人的人脸样本对)的欧氏损失函数监督训练，可以使得同一个人的人脸样本的特征距离充分的靠近；然后，通过主成分分析方法消除特征的共线性以及冗余，最后通过联合贝叶斯进一步增强特征的判别性，完成分类，避免了选取负样本不理想所导致的算法不收敛，并在保证了人脸认证的准确度的同时提高了计算速度。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦 得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种人脸认证方法和一种人脸认证装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种人脸认证方法，其特征在于，所述方法包括：

采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量；

采用主成分分析方法对所述多个人脸特征向量进行降维，得到降维后的多个人脸特征向量；

采用联合贝叶斯分类器对降维后的所述多个人脸特征向量进行分类计算，确定所述多个待测人脸图像是否为同一人的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量的步骤之前，所述方法还包括：

对输入至所述卷积神经网络模型的训练样本对进行运算，得到所述训练样本对的人脸特征向量，其中，所述训练样本对为正样本对，且选自包含人脸标注的人脸数据集；

采用双信号损失函数对所述人脸特征向量进行计算，得到训练损失，其中，所述双信号损失函数为分类损失函数和认证损失函数的加权和；

根据所述训练损失调整所述卷积神经网络模型的卷积参数，使所述训练损失收敛，得到由所述分类损失和认证损失监督训练的卷积神经网络模型。

3.根据权利要求2所述的方法，其特征在于，所述采用双信号损失函数对所述人脸特征向量进行计算，得到训练损失的步骤，包括：

计算所述训练样本对的人脸特征向量的多元回归概率值；

采用所述分类损失函数对所述多元回归概率值进行计算，得到分类损失；

计算所述训练样本对的人脸特征向量的欧式距离；

采用所述认证损失函数对所述欧式距离进行计算，得到认证损失；

根据所述双信号损失函数中所述分类损失函数和所述认证损失函数之间的权重，计算所述分类损失和所述认证损失的加权和，得到所述训练损失。

4.根据权利要求2所述的方法，其特征在于，所述对输入至所述卷积神经网络模型的训练样本对进行运算，得到所述训练样本对的人脸特征向量的步骤之前，所述方法还包括：

确定所述人脸数据集中属于同一个人的多个人脸样本；

将所述多个人脸样本排列成环结构；

依次将所述环结构中相邻的两个人脸样本构造为一个正样本对，得到所述人脸数据集的正样本对。

5.根据权利要求2所述的方法，其特征在于，所述对输入至所述卷积神经网络模型的训练样本对进行运算，得到所述训练样本对的人脸特征向量的步骤之前，所述方法还包括：

计算人脸数据库中属于不同人的人脸样本的相似度；

若所述相似度大于预设阈值、且接收到用户对所述相似度的确认信息，则将所述人脸数据库中属于不同人的人脸样本合并为属于同一人的人脸样本；

对所述人脸数据库中的属于同一个人的人脸样本进行角度旋转；

通过对经过所述角度旋转后的所述人脸样本进行相似变化，得到放大或缩小的多个人脸样本；

将所述多个人脸样本补充至所述同一个人的人脸样本的人脸数据集以得到构造的人脸数据集。

6.根据权利要求1所述的方法，其特征在于，所述采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量的步骤之前，所述方法还包括：

对多个待测图像分别进行人脸检测，确定所述多个待测图像的人脸区域；

对多个所述人脸区域分别进行特征点定位，确定每个人脸特征的多个定位点；

在所述每个人脸特征的多个定位点中确定每个眼睛的中心定位点；

将所述人脸区域中所述每个眼睛的中心定位点分别对齐至预设的眼睛坐标位置；

对经过所述对齐处理后的所述人脸区域进行相似变换；

对经过所述相似变换后的所述人脸区域进行归一化处理；

将经过所述归一化处理后的所述人脸区域转换为灰度图像形成所述待测人脸图像。

7.一种人脸认证装置，其特征在于，所述装置包括：

提取模块，用于采用预先由分类损失和认证损失监督训练的卷积神经网络模型对多个待测人脸图像提取特征，得到所述多个待测人脸图像的多个人脸特征向量；

降维模块，用于采用主成分分析装置对所述多个人脸特征向量进行降维，得到降维后的多个人脸特征向量；

分类模块，用于采用联合贝叶斯分类器对降维后的所述多个人脸特征向量进行分类计算，确定所述多个待测人脸图像是否为同一人的人脸图像。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

运算模块，用于对输入至所述卷积神经网络模型的训练样本对进行运算，得到所述训练样本对的人脸特征向量，其中，所述训练样本对为正样本对，且选自包含人脸标注的人脸数据集；

计算模块，用于采用双信号损失函数对所述人脸特征向量进行计算，得到训练损失，其中，所述双信号损失函数为分类损失函数和认证损失函数的加权和；

调整模块，用于根据所述训练损失调整所述卷积神经网络模型的卷积参数，使所述训练损失收敛，得到由所述分类损失和认证损失监督训练的卷积神经网络模型。

9.根据权利要求8所述的装置，其特征在于，所述计算模块包括：

计算多元回归子模块，用于计算所述训练样本对的人脸特征向量的多元回归概率值；

计算分类损失子模块，用于采用所述分类损失函数对所述多元回归概率值进行计算，得到分类损失；

计算欧式距离子模块，用于计算所述训练样本对的人脸特征向量的欧式距离；

计算认证损失子模块，用于采用所述认证损失函数对所述欧式距离进行计算，得到认证损失；

计算训练损失子模块，用于根据所述双信号损失函数中所述分类损失函数和所述认证损失函数之间的权重，计算所述分类损失和所述认证损失的加权和，得到所述训练损失。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

确定人脸样本模块，用于确定所述人脸数据集中属于同一个人的多个人脸样本；

排列模块，用于将所述多个人脸样本排列成环结构；

构造模块，用于依次将所述环结构中相邻的两个人脸样本构造为一个正样本对，得到所述人脸数据集的正样本对。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：

计算相似度模块，用于计算所述人脸数据库中属于不同人的人脸样本的相似度；

合并模块，用于若所述相似度大于预设阈值、且接收到用户对所述相似度的确认信息，则将所述人脸数据库中属于不同人的人脸样本合并为属于同一人的人脸样本；

角度旋转模块，用于对所述人脸数据库中的属于同一个人的人脸样本进行角度旋转；

相似变化模块，用于通过对经过所述角度旋转后的所述人脸样本进行相似变化，得到放大或缩小的多个人脸样本；

补充模块，用于将所述多个人脸样本补充至所述同一个人的人脸样本的人脸数据集以得到构造的人脸数据集。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

人脸检测模块，用于对多个待测图像分别进行人脸检测，确定所述多个待测图像的人脸区域；

特征点定位模块，用于对多个所述人脸区域分别进行特征点定位，确定每个人脸特征的多个定位点；

确定中心定位点模块，用于在所述每个人脸特征的多个定位点中确定每个眼睛的中心定位点；

对齐模块，用于将所述人脸区域中所述每个眼睛的中心定位点分别对齐至预设的眼睛坐标位置；

相似变换模块，用于对经过所述对齐处理后的所述人脸区域进行相似变换；

归一化模块，用于对经过所述相似变换后的所述人脸区域进行归一化处理；

转换模块，用于将经过所述归一化处理后的所述人脸区域转换为灰度图像形成所述待测人脸图像。