CN110490028A - 基于深度学习的人脸识别网络训练方法、设备及存储介质 - Google Patents

Abstract

本发明涉及人脸识别领域，针对现有技术存在的问题，提供一种基于深度学习的人脸识别网络训练方法、设备及存储介质。本文提出一种既增大类间距离又缩小类内距离卷积神经网络优化算法，即在普通的卷积神网络模型上增加一种误差约束，在网络模型训练时控制使不同类别人脸间距离增大，使相同类别人脸间的距离缩小，使训练好的网络更好的提取人脸特征，从而提升算法的性能。本发明中对代价函数通过类内相似度、类间相似度进行参数修正，得到总误差函数；通过代价函数的残差值、类内相似度的残差值、类间相似度的残差值实现网络中权值的更新，实现神经网络训练，当参数修正Js满足收敛条件，则完成卷积神经网络训练。

Description

基于深度学习的人脸识别网络训练方法、设备及存储介质

技术领域

本发明涉及人脸识别领域，尤其是一种基于深度学习的人脸识别网络训练方法、设备及存储介质。

背景技术

如今，人脸识别算法更加多样化，技术也越来越成熟，人脸识别在工业上已经得到了广泛使用。人脸作为身份证明之一，可以应用到很多地方，如人脸验证(驾照、签证、身份证、护照、投票选举等)、安防(反恐报警、街道监控、电网监控、计算机安全、网络安全等)、以及人机交互多媒体管理等，这些场景的应用在保证公众人身安全的同时也大大方便了公众的出行。

从最初的人脸几何特征算法到现在自动提取人脸特征的深度学习(DeepLearning)算法，人脸识别技术已经取得了一个质的飞跃。目前不管是工业界还是学术界，研究应用最多的还是以深度学习为代表的人脸识别算法，而深度学习算法中应用最多的还是深度卷积神经网络(Deep Convolution Neural Network，DCNN)，比较有名的卷积神经网络模型有FaceNet、DeepFace、DeepIDs、SeetaFace等，这些网络模型在当时以及现在在人脸识别领域都取得了非常好的效果。即使目前在人脸识别领域有了长足的发展，但是算法还有很多的提升空间，人脸识别的困难在于人脸图片较大的类内变化和较小的类间差异，由于人脸的角度、光照、表情、年龄、化妆、遮挡、图片质量等等变化，同一个人的不同人脸图片具有很大差异。同时，随着待识别的人数的增加、出现长得比较像的人的概率增加等情况逐渐增多，如何让计算机在较大的类内变化的干扰下依然能够辨识到可能比较微弱的类间变化，是人脸识别的主要挑战。

发明内容

本发明所要解决的技术问题是：针对上述存在的问题，提供一种基于深度学习的人脸识别网络训练方法、设备及存储介质。本文提出一种既增大类间距离又缩小类内距离卷积神经网络优化算法，即在普通的卷积神网络模型上增加一种误差约束，在网络模型训练时控制使不同类别人脸间距离增大，使相同类别人脸间的距离缩小，使训练好的卷积神经网络更好的提取人脸特征，从而提升算法的性能。

本发明采用的技术方案如下：一种基于深度学习的人脸识别网络训练方法包括：

将所有图像做人脸对齐操作，制作训练数据；

根据训练数据进行卷积神经网络训练，得到卷积神经网络的代价函数J；

对上述代价函数J通过类内相似度J₁、类间相似度J₂进行参数修正，得到总误差函数Js＝J+γJ₁-θJ₂；

通过代价函数J的残差值、类内相似度J₁的残差值和类间相似度J₂的残差值求偏导后反向传播，卷积神经网络中每一层的权值参数的得到更新，然后正向传播过程中，分别对应卷积神经网络中代价函数J、类内相似度J₁、类间相似度J₂的更新收敛；当总误差函数Js满足收敛条件，则完成卷积神经网络训练。

进一步的，所述类内相似度J₁的残差值计算过程为：

其中设m样本组成的样本集为{(x⁽¹⁾，y⁽¹⁾)，...，(x^(m)，y^(m))}，m为所有待输入样本的数量，它们分属于n个类别每个类别对应的相同数量的样本，即每个类别有m/n个样本；h_W，b(x^(k，a))是从属于α类的第k个样本计算得到的卷积神经网络最后一层的输出，M^(a)为第α类样本的均值，α属于n，k范围1到m/n。

进一步的，所述类间相似度J₂的残差值计算过程：

其中，h_W，b(x^(k，β))是从属于β类的第k个样本计算得到的卷积神经网络最后一层的输出，M^(β)分别为第β类样本的均值，β属于n。

进一步的，所述代价函数J的残差值

基于所述训练方法的人脸识别方法还包括：

待识别图像输入到训练好的卷积神经网络进行人脸图像识别。

一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行所述的网络训练方法的步骤。

一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行上述的人脸识别方法的步骤。

一种基于深度学习的人脸识别网络训练设备包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述任意一项所述的网络训练方法。

一种人脸识别设备包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述任意一项所述的人脸识别方法。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本文提出的人脸识别算法能有效地优化卷积神经网络模型的训练，是训练好的卷积神经网络模型(参数)提取的人脸特征效果更加。此外本方法针对小量的数据集也有更加明显的效果，一般的CNN神经网络模型在训练数据较少时容易发生过拟合，模型训练较差；但是本方法在训练数据较少时训练出的卷积神经网络模型对人脸特征的提取也有很好的效果，主要是因为J₁、J₂约束函数使类间距离更大，类内距离更小的结果。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是卷积核卷积过程示例。

图2是深度卷积神经网络示意图。

图3是DeepID网络模型结构图，其中c代表卷积层，p代表池化层，f代表全连接层。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

一、本发明相关说明：

1、深度卷积神经网络

CNN是首先成功训练多层网络结构的学习算法.以输入、输出的重构误差为能量函数，通过前向、后向传播过程优化调整网络的连接权值使能量函数达到最小。其中前向传播中采用权值共享原则减少了训练的权值个数，降低了复杂度。后向传播过程以标签值和预测值误差最小为代价函数，进行权值微调。

卷积核卷积过程如图1所示，卷积过程先用一系列可训练的滤波器(卷积核)W_x对输入图像进行卷积运算，再经过加入偏置b_x，最后通过一个激活函数得到卷积层C_x，一般选择ReLU激活函数；子采样过程先用每邻域4个像素求平均合并为一个像素或者是取其4个像素中最大的一个像素，产生缩小为1/4的映射图像P_x+1，子采样层一般不使用权值和偏置。卷积过程目的是不同的卷积核可提取到不同的特征，而且通过权值共享降低了运算复杂程度。下采样过程相当于模糊滤波，起到二次特征提取的作用，降低维度的同时可增加对图像特征提取的鲁棒性。

组合多个上述卷积和下采样过程，就构成了深度卷积神经网络。典型的深度卷积神经网络结构示意图如图2所示，其中F表示全连接层。

CNN的3个核心思想是：局部感受野、权值共享以及空间下采样。下采样的目的是为了使信号获得某种程度的位移、尺度、形变不变性，同时又能使训练出来的权值更有利于分类。而非仅仅考虑重构误差。本文在BP反向传播调整权值的算法中，提出了加入能量约束函数，使权值学习过程中，得到更有利于分类的特征，同时在迭代求解权值的搜索空间受到判别条件约束影响，从全局搜索缩小到更有利于分类的空间。

2、卷积神经网络代价函数及BP算法思想

设m样本组成的样本集为{(x⁽¹⁾，y⁽¹⁾)，...，(x^(m)，y^(m))}，它们分属于n个类别，y^(k)是样本x^(k)对应的类别标签，一般来说，每个类别对应的相同数量的样本，即每个类别有m/n个样本。卷积神经网络最基本的代价函数为

(1)式中W为各层单元之间的连接参数即权值；b为偏置项；h_W，b(x^(k))为神经网络最后一层的输出即预测值。训练网络的目标是针对参数W和b来求其代价函数J(W，b)的最小值。使用梯度下降法对公式(1)的代价函数进行优化，迭代公式为下述两个公式(2)(3)：

公式(2)、(3)中中ξ是学习速率，是求偏导数的符号，l是卷积神经网络的层数，在第l层神经网络共有ψ(1)个连接单元，i和j属于ψ(1)。是第l层网络的第i个单元和第1+1层网络第j个单元之间的连接参数，是第1层网络第i个单元和第1+1层网络所有单元的偏置项。公式(2)、(3)中偏导数使用BP算法，BP算法是计算偏导数的一种有效方法。运用反向传播算法时，首先进行前向传播，计算出网络最后的输出值h_W，b(x^(k))。之后计算出网络的输出值与实际标签直接的差距，这个差距定义为(nl表示输出层)。然后通过最终输出层的残差计算得到每层的残差，从而计算出式(2)(3)的偏导数。

传统神经网络最后一层的残差计算公式为：

公式(4)中为第l层第i个单元输入加权和；为最后一层第i个单元输入加权和。

网络模型结构为所有样本共享且结构固定不变，网络结构共有1层，将不同的训练样本x^(k)输入该1层神经网络后可以得到对应的输出值h_W，b(x^(k))与y^(k)的差距，对所有样本做平均后，用于反向传播更新1层模型的参数和3、人脸识别改进算法

卷积神经网络需要大量的训练样本进行训练得到网络模型参数。在某些场景下，特别是训练的样本较少的情况下，存在不同人脸之间的特征区分度较小，而且相同人脸的特征差异较大的问题。目前主流的解决方案是通过增加训练样本数据或者增加神经网络模型的层数来提高识别精度。增加训练样本数据的方法成本较高，比如对于特定的场景在训练阶段无法拍摄到需要的人脸数据。增加神经网络模型的层数意味着模型的复杂程度的增加，对于***的计算复杂度和实时性提出了挑战。为了使算法更有利于分类，同时尽量不增加算法复杂度的情况下，提出了基于类内和类间距离的能量函数。J₁为类内相似度度量函数，定义为所有样本与其类别均值的距离之和；J₂为类间相似度度量函数，定义为所有样本类别均值的距离之和。

其中h_W，b(x^(k，a))是从属于α类的第k个样本计算得到的神经网络最后一层的输出，M^(a)和M^(β)分别为第a类样本的均值和第β类样本的均值，M^(a)计算方法为公式(7)，M^(β)同理：

当使用J₁作为代价函数进行梯度算法计算时，每一步迭代，使得样本预测值到样本所属类别的平均预测值更小。当使用J₂作为代价函数进行梯度算法计算时，每一步迭代，使得不同类别间的距离更大。

二、本发明技术方案：

步骤1：将所有图像做人脸对齐操作，制作训练数据；

具体是：将所有图像做人脸对齐操作指的是设置所有图像像素大小一致，图像中心店重合。

例如：将所有数据做人脸对齐操作，并将训练样本归一化到100*100的RGB图像。训练网络时的Batch大小为100，则将数据库分为100个样本为一组，每组有10个类，每类10张人脸图，即上面公式中m＝100，n＝10，此外m，n均可以改变取其他的值；

步骤2：根据训练数据进行神经网络训练，得到神经网络的代价函数J；对上述代价函数J通过类内相似度J₁、类间相似度J₂进行参数修正，得到总误差函数：

例如：将一个Batch的样本输入网络进行训练，样本从网络Input层输入，从F₂层输出得到h_W，b，再用h_W，b和每个图片对应的标签做差求出误差J(公式1可知)；100个样本输入就会得到100输出h_W，b，分别求出Batch中每类的均值向量M，从而可以分别求出J₁、J₂，最后得到总的误差函数(目标函数)Js，

m是Batch大小，n是一个Batch中的类别数，Batch中某一类的样本数为m/n；W是权值，b是偏置，x^(k)是第k张输入图片，x^(k，α)是属于样本α的第k张输入图片，h_W，b(x^(k))是网络的第k张输入图片对应的输出值，h_W，b(x^(k，α))是属于样本α的第k张输入图片对应的输出值，y^(k)是第k张图片对应的标签，M^(α)和M^(β)是第α类和第β类的样本均值向量；γ、θ是系数，取值范围均在0-3之间，在本实验中均取值为1.5；

步骤3：通过代价函数J的残差值、类内相似度J₁的残差值和类间相似度J₂的残差值求偏导后反向传播，卷积神经网络中每一层的权值参数的得到更新；然后正向传播过程中，分别对应卷积神经网络中代价函数J、类内相似度J₁、类间相似度J₂的更新收敛；当总误差函数Js满足收敛条件，则完成卷积神经网络训练。

具体为：卷积神经网络就是在这种前向和反向传播中不断地迭代更新卷机神经网络权值，实现卷积神经网络模型的训练，训练直到卷积神经网络收敛为止，卷积神经网络收敛条件有两种：

1)根据实验经验自定义一个很小的阈值loss，当Js小于这个阈值loss时则停止卷积神经网络的训练；

2)设定卷积神经网络训练的最大迭代次数，直到达到卷积神经网络训练的最大迭代次数则停止卷积神经网络训练。

其中，对于类内约束目标函数J₁，其输出层最后一个输出单元的残差计算公式为：

对于类间约束目标函数J₂，其输出层每个输出单元的残差计算公式为：

其中(h_W，b(x^(k，α)))′、(M^(α))′和(M^(β))′分别表示的是h_W，b(x^(k，α))、M^(α)和M^(β)的转置，在模型中，每项子函数求得最后一层的残差以后，就可通过BP算法进行迭代并求得全部权值。通过改进算法得到的卷积神经网络用做人脸的分类可以达到更高的精度和识别率。

具体实施例：

使用本文方法在两种公开的数据库上进行测试，并对比普通CNN网络的结果。

ORL数据库由剑桥大学AT&T实验室创建,包含40人，每人10张照片，共400张面部图像，图像包括了姿态、表情和面部饰物的变化。

因为ORL数据库的样本数量较少，经实验发现,必须经过大量的迭代训练(至少几百次以上)才能达到较满意的效果。对基于ORL库进行的实验，仅对图像做了简单的归一化处理，没有做其他任何处理、对齐或标定，图像大小为100*100像素。

表1ORL库中迭代次数不同时普通CNN和本文CNN的识别率

实验次数	训练次数	方法	错误率	提高/％
					1	500	普CNN	0.2250
2	500	本专利的CNN	0.1125	11.25
					3	2000	普CNN	0.2125
4	2000	本专利的CNN	0.1125	10.00
					5	5000	普CNN	0.1250
6	5000	本专利的CNN	0.1000	2.50

对于ORL人脸数据库，当样本较少时，实验表明，本文方法的错误率较小。尤其是每个类别训练样本越少，本文方法优势越明显。因为当用BP算法进行权值更新时，加入类别约束项以后搜索空间变小，梯度下降方向更有利于分类，最终虽然卷积神经网络的实际输出值和标签值误差相对稍大，但判别信息相对增加。因此，在训练样本较少的情况下，加入类内类间约束的模型能具有更好的分类性能。

AR人脸图像库实验由Purdue大学建立，包含126人的彩色照片，每类人有光照、尺度和表情变化，共2600张图片。从中选出120人，每人14张图像进行试验。实验中，从每类人的14张图片中分别取4、7和10张进行训练，其他图像进行测试。实验结果见表2。

表2AR人脸图像库中训练样本不同时不同方法的误差率

对于AR人脸数据库，当从每类人的14张图片中取10张图像进行训练，其余图像进行测试时，大多数方法的识别错误率在10％左右。但当每类人的训练图像减少时，本文提出的改进CNN算法相对其他方法，识别率更高一些。换言之，当带标签的训练数据较少时，应用本文方法更为有效。所得到的结论和在ORL人脸数据库中一致。

图3中Input是图片数据输入层，C是卷积层，P是下采样层，F是全连接层；卷积神经网络模型的人脸图片输入尺寸大小为100*100，输出尺寸大小为160维长度的一维向量。然后使用下面这个误差函数Js(W,b)来实现卷积神经网络模型的训练：

m是Batch大小，n是一个Batch中的类别数，Batch中某一类的样本数为m/n；W是权值，b是偏置，x^(k)是第k张输入图片，x^(k，α)是属于样本α的第k张输入图片，h_W，b(x^(k))是卷积神经网络的第k张输入图片对应的输出值，h_W，b(x^(k，α))是属于样本α的第k张输入图片对应的输出值，y^(k)是第k张图片对应的标签，M^(α)和M^(β)是第α类和第β类的样本均值向量；γ、θ是系数，取值范围均在0-1之间。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (9)

1.一种基于深度学习的人脸识别网络训练方法，其特征在于包括：

将所有图像做人脸对齐操作，制作训练数据；

根据训练数据进行卷积神经网络训练，得到卷积神经网络的代价函数J；

对上述代价函数J通过类内相似度J₁、类间相似度J₂进行参数修正，得到总误差函数Js＝J+γJ₁-θJ₂；

通过代价函数J的残差值、类内相似度J₁的残差值和类间相似度J₂的残差值求偏导后反向传播，卷积神经网络中每一层的权值参数的得到更新；然后正向传播过程中，分别对应卷积神经网络中代价函数J、类内相似度J₁、类间相似度J₂的更新收敛；当总误差函数Js满足收敛条件，则完成卷积神经网络训练。

2.根据权利要求1所述的网络训练方法，其特征在于所述类内相似度J₁的残差值计算过程为：

其中设m样本组成的样本集为{(x⁽¹⁾,y⁽¹⁾),…,(x^(m),y^(m))}，m为所有待输入样本的数量，它们分属于n个类别每个类别对应的相同数量的样本，即每个类别有m/n个样本；h_W,b(x^(k,a))是从属于α类的第k个样本计算得到的卷积神经网络最后一层的输出，M^(a)为第α类样本的均值，α属于n，k范围1到m/n。

3.根据权利要求1所述的网络训练方法，其特征在于所述类间相似度J₂的残差值计算过程：

其中，h_W,b(x^(k,β))是从属于β类的第k个样本计算得到的卷积神经网络最后一层的输出，M^(β)分别为第β类样本的均值，β属于n。

4.根据权利要求1所述的网络训练方法，其特征在于所述代价函数J的残差值

5.基于权利要求1至4之一所述训练方法的人脸识别方法，其特征在于还包括：

待识别图像输入到训练好的卷积神经网络进行人脸图像识别。

6.一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1至4任意一项所述的网络训练方法的步骤。

7.一种存储介质，其中存储有多条指令，所述指令适用于由处理器加载并执行如权利要求5述的人脸识别方法的步骤。

8.一种基于深度学习的人脸识别网络训练设备，其特征在于包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述权利要求1至4任意一项所述的网络训练方法。

9.一种人脸识别设备，其特征在于包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行上述权利要求5任意一项所述的人脸识别方法。