CN105426860B - 人脸识别的方法和装置 - Google Patents

Abstract

本发明公开了一种人脸识别的方法和装置，属于人脸识别领域，所述方法包括：使用预先训练的多个卷积神经网络分别对待识别人脸图像进行特征提取，得到待识别人脸图像的多个子特征向量，所述待识别人脸图像的多个子特征向量的维数相同；对所述待识别人脸图像的多个子特征向量进行归一化；将所述归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量；使用所述待识别人脸图像的联合特征向量进行人脸识别，或者/以及，使用所述待识别人脸图像的多个子特征向量进行人脸识别。本发明减少了卷积神经网络的训练时间，避免了卷积神经网络的过拟合，并且简单方便；识别方式更多样，准确率更高。

Description

人脸识别的方法和装置

技术领域

本发明属于人脸识别领域，特别是指一种人脸识别的方法和装置。

背景技术

随着深度学习的兴起，特别是深度卷积神经网络研究的深入，大量的基于卷积神经网络(Convolutional Neural Network,CNN)的网络模型被应用到图像处理和图像识别等方面，尤其是人脸识别方面，并且取得了令人瞩目的成绩。

卷积神经网络的独特之处在于可以通过学习的方式来自动得到特征表达，无需人工干预。然而所得到的特征可分性和解释能力依赖于网络的深度(网络的层数)。所以，深度卷积神经网络应运而生，深度卷积神经网络一般经过多次的卷积操作、激活操作和下采样操作，得到人脸图像的特征向量。不过，随着网络深度的增加，带来了如下问题：

1、训练时间长，深度卷积神经网络在使用前需要进行训练，由于其深度大，需要训练的参数多，因此训练时间长，并且深度卷积神经网络训练时使用的样本较多，进一步增加了训练时间；

2、容易出现过拟合，过拟合是指因过分强调对训练样本的效果导致过度拟合，使得对未知预测样本效果就会变差的一种情况，过拟合产生的原因一般有为：样本过少或网络参数过多。

由上可知，对于给定的深度卷积神经网络，为防止过拟合，需要增加训练样本，但是增加训练样本就会使得训练时间长，使得训练时间和过拟合问题不能兼顾。

发明内容

本发明提供一种人脸识别的方法和装置，本发明减少了卷积神经网络的训练时间，避免了卷积神经网络的过拟合，并且简单方便；识别方式更多样，准确率更高。

为解决上述技术问题，本发明提供技术方案如下：

一种人脸识别的方法，包括：

使用预先训练的多个卷积神经网络分别对待识别人脸图像进行特征提取，得到待识别人脸图像的多个子特征向量，所述待识别人脸图像的多个子特征向量的维数相同；

对所述待识别人脸图像的多个子特征向量进行归一化；

将所述归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量；

使用所述待识别人脸图像的联合特征向量进行人脸识别，或者/以及，使用所述待识别人脸图像的多个子特征向量进行人脸识别。

一种人脸识别的装置，包括：

子特征向量提取模块，用于使用预先训练的多个卷积神经网络分别对待识别人脸图像进行特征提取，得到待识别人脸图像的多个子特征向量，所述待识别人脸图像的多个子特征向量的维数相同；

归一化模块，用于对所述待识别人脸图像的多个子特征向量进行归一化；

计算模块，用于将所述归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量；

人脸识别模块，用于使用所述待识别人脸图像的联合特征向量进行人脸识别，或者/以及，使用所述待识别人脸图像的多个子特征向量进行人脸识别。

本发明具有以下有益效果：

本发明训练时间短。本发明的多个卷积神经网络可以并行同时训练，其深度比现有技术中的深度卷积神经网络小，要训练的参数少，训练时使用的样本也少，因此训练时间短。

本发明避免了过拟合。由背景技术可知，对于给定的深度卷积神经网络，为防止过拟合，需要增加训练样本，但是增加训练样本就会使得训练时间长，使得训练时间和过拟合问题不能兼顾。

现有技术中也存在避免过拟合的技术，如Dropout技术等。Dropout技术的实现方式如下：在一次训练中，随机的使深度卷积神经网络末端(即最后一层)的输出的一部分值保留，另一部分值清零。Dropout技术虽然能一定程度上避免过拟合，但是其实在深度卷积神经网络的网络末端进行操作，操作复杂，不易实现。

本发明将一个深度卷积神经网络“拆分”为并行的多个卷积神经网络，这些卷积神经网络的深度小于深度卷积神经网络，但是多个卷积神经网络联合使用，其总体复杂度(深度)也能达到深度卷积神经网络的深度。由于多个卷积神经网络的深度低，要训练的参数就少，因此即使使用较少的样本完成对多个卷积神经网络的训练，也不会产生过拟合。

并且，相比于Dropout技术在深度卷积神经网络的网络末端进行操作的方法，本发明使用多个卷积神经网络代替深度卷积神经网络，更简单易行。

另外，本发明可以使用一个联合特征向量和/或多个子特征向量进行人脸识别，使得识别方式更多样，准确率更高。

综上所述，本发明减少了卷积神经网络的训练时间，避免了卷积神经网络的过拟合，并且简单方便；识别方式更多样，准确率更高。

附图说明

图1为本发明的人脸识别的方法的一个实施例的流程图；

图2为本发明中的卷积神经网络的一个实施例的示意图；

图3为本发明的人脸识别的方法的一个实施例的示意图；

图4为本发明的人脸识别的装置的一个实施例的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一方面，本发明实施例提供一种人脸识别的方法，如图1所示，包括：

步骤101：使用预先训练的多个卷积神经网络分别对待识别人脸图像进行特征提取，得到待识别人脸图像的多个子特征向量，待识别人脸图像的多个子特征向量的维数相同。

本发明实施例中，需要预先训练出多个卷积神经网络，然后使用多个卷积神经网络分别对待识别人脸图像进行处理，得到多个维数相同的子特征向量；其中多个卷积神经网络的深度比现有技术中的深度卷积神经网络小。

步骤102：对待识别人脸图像的多个子特征向量进行归一化。为了后续处理的方便，需要对子特征向量进行归一化，优选为二范数归一化，二范数归一化的操作为：将子特征向量除以它自身的模长(二范数)。

步骤103：将归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量。

多个子特征向量均能够表征待识别人脸图像，进一步的，我们可以将多个子特征向量联合成一个联合特征向量，使用该联合特征向量表征待识别人脸图像。具体的，可以将多个子特征向量相加，然后乘以一个系数，该系数优选是子特征向量个数的倒数，即求多个子特征向量的平均值。

步骤104：使用待识别人脸图像的联合特征向量进行人脸识别，或者/以及，使用待识别人脸图像的多个子特征向量进行人脸识别。由于多个子特征向量和一个联合特征向量都能表征待识别人脸图像，因此可以单独使用一个联合特征向量进行人脸识别，也可以使用多个子特征向量进行人脸识别，并且还可以综合使用一个联合特征向量和多个子特征向量进行人脸识别。

本发明实施例使用预先设计并训练得到的多个卷积神经网络分别对待识别人脸图像进行处理，得到多个子特征向量；然后将归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量；最后使用待识别人脸图像的联合特征向量和/或者待识别人脸图像的多个子特征向量进行人脸识别。

本发明实施例具有以下有益效果：

本发明实施例训练时间短。本发明实施例的多个卷积神经网络可以并行同时训练，其深度比现有技术中的深度卷积神经网络小，要训练的参数少，训练时使用的样本也少，因此训练时间短。

本发明实施例避免了过拟合。由背景技术可知，对于给定的深度卷积神经网络，为防止过拟合，需要增加训练样本，但是增加训练样本就会使得训练时间长，使得训练时间和过拟合问题不能兼顾。

现有技术中也存在避免过拟合的技术，如Dropout技术等。Dropout技术的实现方式如下：在一次训练中，随机的使深度卷积神经网络末端(即最后一层)的输出的一部分值保留，另一部分值清零。Dropout技术虽然能一定程度上避免过拟合，但是其实在深度卷积神经网络的网络末端进行操作，操作复杂，不易实现。

本发明实施例将一个深度卷积神经网络“拆分”为并行的多个卷积神经网络，这些卷积神经网络的深度小于深度卷积神经网络，但是多个卷积神经网络联合使用，其总体复杂度(深度)也能达到深度卷积神经网络的深度。由于多个卷积神经网络的深度低，要训练的参数就少，因此即使使用较少的样本完成对多个卷积神经网络的训练，也不会产生过拟合。

并且，相比于Dropout技术在深度卷积神经网络的网络末端进行操作的方法，本发明实施例使用多个卷积神经网络代替深度卷积神经网络，更简单易行。

另外，本发明实施例可以使用一个联合特征向量和/或多个子特征向量进行人脸识别，使得识别方式更多样，准确率更高。

综上所述，本发明实施例减少了卷积神经网络的训练时间，避免了卷积神经网络的过拟合，并且简单方便；识别方式更多样，准确率更高。

本发明实施例中，可以使用上述的联合特征向量进行识别，具体的：

步骤104中，使用待识别人脸图像的联合特征向量进行人脸识别包括：

使用分类器(SVM分类器等)对待识别人脸图像的联合特征向量与预先存储的人脸图像模板的联合特征向量进行比对，判断待识别人脸图像和预先存储的人脸图像模板是否属于同一个人。

本实施例使用联合特征向量进行识别，将待识别人脸图像的联合特征向量与预先存储的人脸图像模板的联合特征向量进行比对，得到比对分值，若比对分值大于预先设定的比对阈值，则认为待识别人脸图像和预先存储的人脸图像模板属于同一个人，从而识别通过；而且还可以将待识别人脸图像和预先存储的多个人脸图像模板分别进行比对，判断待识别人脸图像属于哪一个人。

本实施例使用联合特征向量进行识别，计算简单，并且由于联合特征向量是经过多个子特征向量综合计算得到，更能够表征人脸图像，使得识别准确率高。

本发明实施例中，还可以使用上述的多个子特征向量进行识别，具体的：

步骤104中，使用待识别人脸图像的多个子特征向量进行人脸识别包括：

使用分类器对待识别人脸图像的多个子特征向量进行分类，得到多个分类结果。

统计得到多个分类结果的众数，作为最终分类结果。

通过最终分类结果与用户身份的对应关系，确定待识别人脸图像的用户身份。

对多个子特征向量进行分类，理论上来说，由于子特征向量都属于同一幅人脸图像，应当分到同一类；但实际上不可能全部分到同一类，因此以出现最多次的一类(众数)作为该人脸图像的类别，该类别对应的用户身份即为人脸图像的身份。

本实施例直接使用多个子特征向量进行人脸识别，无需进一步对子特征向量进行计算得到联合特征向量，简化操作过程，并且使用多个子特征向量进行人脸识别能够进一步提高识别准确率。

本发明实施例中，卷积神经网络可以通过各种方法训练得到，优选的，卷积神经网络通过如下方法训练得到：

对人脸图像样本集进行放回随机抽样，得到多个样本子集。训练时需要用到人脸图像样本集，本发明实施例需要对多个卷积神经网络分别进行训练，因此需要从人脸图像样本集中抽样得到多个样本子集。而且每个样本子集应当与人脸图像样本集具有相同的分布规律，因此采用放回随机抽样。放回随机抽样是指随机对人脸图像样本集进行抽样，但是抽到的样本不会从人脸图像样本集中删除，这样就能保证人脸图像样本集不变，从人脸图像样本集中抽取到的多个样本子集与人脸图像样本集相同的分布规律，通过多个样本子集训练得到的卷积神经网络具有相同的特性。

使用多个样本子集分别对多个卷积神经网络进行训练。抽样得到多个样本子集后，分别对预先设计的多个卷积神经网络进行训练。

本发明实施例保证了对多个卷积神经网络进行训练的多个样本子集具有相同的分布规律，训练得到的多个卷积神经网络具有相同的特性，保证了提取到的子特征向量的特征具有一致性，能够很好地表征人脸图像。

上述的每个卷积神经网络可以包括：

对待识别人脸图像进行卷积操作，得到卷积特征图。

对卷积特征图进行激活操作，得到激活特征图。

对激活特征图进行下采样操作，得到采样特征图。

以采样特征图作为输入，重复上述的卷积操作、激活操作和下采样操作若干次后，进行向量化操作，得到子特征向量，此时多个卷积神经网络得到的多个子特征向量的维数可能并不相同。

进行统一维度映射，得到子特征向量。对维数可能并不相同的子特征向量进行统一维度映射，得到维数相同的子特征向量。

本实施例通过多次的卷积操作、激活操作和下采样操作，并且经过统一维度映射得到多个子特征向量，使得特征更能表征图像，并且方便后续计算。

下面以一个优选的实施例对本发明进行阐述：

1、将经过预处理的人脸图像样本整理形成人脸图像样本集A，每个人脸图像样本有对应的唯一的标签ID。

2、通过对人脸图像样本集A进行放回随机抽样选取k个样本子集A1，A2…,Ak，即得到k个独立且与人脸图像样本集具有相同分布的样本子集。

3、设计k个卷积神经网络net_1,net_2,…,net_k，并且在对应的样本子集上面训练得到k个特征提取器。单个卷积神经网络如图2所示。

4、对于任意一张输入的待识别人脸图像，使其分别经过net_1,net_i,…,net_k得到了k个子特征向量f1,fi,…,fk，且每个子特征向量具有相同的维数，即dim(f1)＝dim(fi)＝…＝dim(fk)。如图3所示。

5、如果要使用联合特征向量进行人脸识别，则可以先对每个子特征进行二范数归一化，即i＝1,2,…,k。随后，令所有子特征向量相加再求平均值。即，为该待识别人脸图像的联合特征向量。可用于识别和认证。

6、如果要使用多个子特征向量进行人脸识别，则令分类器对每个子特征向量进行分类得到k个分类结果c1,c2,…,ck，随后基于投票法的思想，取分类结果中的出现最多的类别作为最终的分类结果c,即求取c1,c2,…,ck的众数，c＝Mode(c1,c2,…,ck)。通过c即可判断身份。

另一方面，本发明实施例提供一种人脸识别的装置，如图4所示，包括：

子特征向量提取模块11，用于使用预先训练的多个卷积神经网络分别对待识别人脸图像进行特征提取，得到待识别人脸图像的多个子特征向量，待识别人脸图像的多个子特征向量的维数相同；

归一化模块12，用于对待识别人脸图像的多个子特征向量进行归一化；

计算模块13，用于将归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量；

人脸识别模块14，用于使用待识别人脸图像的联合特征向量进行人脸识别，或者/以及，使用待识别人脸图像的多个子特征向量进行人脸识别。

本发明实施例减少了卷积神经网络的训练时间，避免了卷积神经网络的过拟合，并且使得识别方式更多样，准确率更高。

本发明实施例中，可以使用上述的联合特征向量进行识别，具体的：

人脸识别模块中，使用待识别人脸图像的联合特征向量进行人脸识别包括：

比对单元，用于使用分类器对待识别人脸图像的联合特征向量与预先存储的人脸图像模板的联合特征向量进行比对，判断待识别人脸图像和预先存储的人脸图像模板是否属于同一个人。

本实施例使用联合特征向量进行识别，计算简单，并且由于联合特征向量是经过多个子特征向量综合计算得到，更能够表征人脸图像，使得识别准确率高。

本发明实施例中，还可以使用上述的多个子特征向量进行识别，具体的：

人脸识别模块中，使用待识别人脸图像的多个子特征向量进行人脸识别包括：

分类单元，用于使用分类器对待识别人脸图像的多个子特征向量进行分类，得到多个分类结果；

统计单元，用于统计得到多个分类结果的众数，作为最终分类结果；

识别单元，用于通过最终分类结果与用户身份的对应关系，确定待识别人脸图像的用户身份。

本实施例直接使用多个子特征向量进行人脸识别，无需进一步对子特征向量进行计算得到联合特征向量，简化操作过程，并且使用多个子特征向量进行人脸识别能够进一步提高识别准确率。

本发明实施例中，卷积神经网络可以通过各种单元训练得到，优选的，卷积神经网络通过如下单元训练得到：

抽样单元，用于对人脸图像样本集进行放回随机抽样，得到多个样本子集；

训练单元，用于使用多个样本子集分别对多个卷积神经网络进行训练。

本发明实施例保证了对多个卷积神经网络进行训练的多个样本子集具有相同的分布规律，训练得到的多个卷积神经网络具有相同的特性，保证了提取到的子特征向量的特征具有一致性，能够很好地表征人脸图像。

上述的每个卷积神经网络可以包括：

卷积单元，用于对待识别人脸图像进行卷积操作，得到卷积特征图；

操作单元，用于对卷积特征图进行激活操作，得到激活特征图；

下采样单元，用于对激活特征图进行下采样操作，得到采样特征图；

向量化单元，用于重复上述卷积单元、操作单元和下采样单元若干次后，进行向量化操作；

统一维度映射单元，用于进行统一维度映射，得到子特征向量。

本实施例通过多次的卷积操作、激活操作和下采样操作，并且经过统一维度映射得到多个子特征向量，使得特征更能表征图像，并且方便后续计算。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种人脸识别的方法，其特征在于，包括：

使用预先训练的多个卷积神经网络分别对待识别人脸图像进行特征提取，得到待识别人脸图像的多个子特征向量，所述多个卷积神经网络的深度小于深度卷积神经网络，所述待识别人脸图像的多个子特征向量的维数相同；

对所述待识别人脸图像的多个子特征向量进行归一化；

将所述归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量；

使用所述待识别人脸图像的联合特征向量进行人脸识别，以及，使用所述待识别人脸图像的多个子特征向量进行人脸识别；

所述使用所述待识别人脸图像的多个子特征向量进行人脸识别包括：

使用分类器对所述待识别人脸图像的多个子特征向量进行分类，得到多个分类结果；

统计得到所述多个分类结果的众数，作为最终分类结果；

通过所述最终分类结果与用户身份的对应关系，确定所述待识别人脸图像的用户身份。

2.根据权利要求1所述的人脸识别的方法，其特征在于，所述使用所述待识别人脸图像的联合特征向量进行人脸识别包括：

使用分类器对所述待识别人脸图像的联合特征向量与预先存储的人脸图像模板的联合特征向量进行比对，判断待识别人脸图像和预先存储的人脸图像模板是否属于同一个人。

3.根据权利要求1或2所述的人脸识别的方法，其特征在于，所述卷积神经网络通过如下方法训练得到：

对人脸图像样本集进行放回随机抽样，得到多个样本子集；

使用多个样本子集分别对多个卷积神经网络进行训练。

4.根据权利要求3所述的人脸识别的方法，其特征在于，每个卷积神经网络包括：

对待识别人脸图像进行卷积操作，得到卷积特征图；

对所述卷积特征图进行激活操作，得到激活特征图；

对所述激活特征图进行下采样操作，得到采样特征图；

重复上述卷积操作、激活操作和下采样操作若干次后，进行向量化操作；

进行统一维度映射，得到子特征向量。

5.一种人脸识别的装置，其特征在于，包括：

子特征向量提取模块，用于使用预先训练的多个卷积神经网络分别对待识别人脸图像进行特征提取，得到待识别人脸图像的多个子特征向量，所述多个卷积神经网络的深度小于深度卷积神经网络，所述待识别人脸图像的多个子特征向量的维数相同；

归一化模块，用于对所述待识别人脸图像的多个子特征向量进行归一化；

计算模块，用于将所述归一化后的待识别人脸图像的多个子特征向量相加后乘以一个系数，得到待识别人脸图像的联合特征向量；

人脸识别模块，用于使用所述待识别人脸图像的联合特征向量进行人脸识别，以及，使用所述待识别人脸图像的多个子特征向量进行人脸识别；

所述人脸识别模块中，所述使用所述待识别人脸图像的多个子特征向量进行人脸识别包括：

分类单元，用于使用分类器对所述待识别人脸图像的多个子特征向量进行分类，得到多个分类结果；

统计单元，用于统计得到所述多个分类结果的众数，作为最终分类结果；

识别单元，用于通过所述最终分类结果与用户身份的对应关系，确定所述待识别人脸图像的用户身份。

6.根据权利要求5所述的人脸识别的装置，其特征在于，所述人脸识别模块中，所述使用所述待识别人脸图像的联合特征向量进行人脸识别包括：

比对单元，用于使用分类器对所述待识别人脸图像的联合特征向量与预先存储的人脸图像模板的联合特征向量进行比对，判断待识别人脸图像和预先存储的人脸图像模板是否属于同一个人。

7.根据权利要求5或6所述的人脸识别的装置，其特征在于，所述卷积神经网络通过如下单元训练得到：

抽样单元，用于对人脸图像样本集进行放回随机抽样，得到多个样本子集；

训练单元，用于使用多个样本子集分别对多个卷积神经网络进行训练。

8.根据权利要求7所述的人脸识别的装置，其特征在于，每个卷积神经网络包括：

卷积单元，用于对待识别人脸图像进行卷积操作，得到卷积特征图；

操作单元，用于对所述卷积特征图进行激活操作，得到激活特征图；

下采样单元，用于对所述激活特征图进行下采样操作，得到采样特征图；

向量化单元，用于重复上述卷积单元、操作单元和下采样单元若干次后，进行向量化操作；

统一维度映射单元，用于进行统一维度映射，得到子特征向量。