CN104778448B - 一种基于结构自适应卷积神经网络的人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于结构自适应卷积神经网络的人脸识别的方法，属于身份识别领域。此方法继承了传统CNN直接从二维图像中抽取特征进行识别的优势，同时，自适应的构建网络结构避免了传统神经网络过度依赖人为经验的弊端。基于结构自适应卷积神经网络的人脸识别方法根据网络需要扩展网络，实现了网络结构的可控性、可调性，同时避免了无效的训练，降低人脸识别的训练难度的同时得到一个最佳人脸识别网络结构。利用网络自适应扩展的优势，可以达到在保留前期识别结果的基础上，对新增人脸样本再学习，减少了再训练的开销，完成增量学习。本发明提供了一种大数据情况下，训练难度低、准确性高的自动智能人脸识别方法。

Description

一种基于结构自适应卷积神经网络的人脸识别方法

技术领域

本发明涉及一种人脸识别的方法，属于身份识别领域。

背景技术

人脸作为重要的人类生物特征，在智能身份识别中具有重要应用价值。因人脸识别具有直接、友好、方便、操作隐蔽、非侵犯性、可交互性强等特点，一直受到学术界和工业界的广泛关注。基于机器学习方法的人脸识别在众多人脸识别方法中备受关注，其中以支持向量机和Boosting算法为代表的浅层学习策略使得人脸识别性能得到较大提高。

近年来，随着深度学***移、旋转和局部变形的不变性取得了非常理想的识别结果(S.Lawrence,C.L.Giles,A.C.Tsoi and A.D.Back,Facerecognition:a convolutional neural-network approach,IEEE Transactions onNeural Networks,1997,8(1)98-113)。2012年，Hinton教授等使用并行化的手段实现了更深层次的CNN，在ImageNet竞赛上取得了前所未有的成功，实现了CNN对自然图像的识别(AKrizhevsky,I.Sutskever and G.E.Hinton,ImageNet classification with deepconvolutional neural networks,in:proc.26th Annual Conference on NeuralInformation Processing Systems,Lake Tahoe,NV,United states,2012,2,pp.1097-1105)。

传统CNN的网络构建严重依赖于经验知识，且对参数的设置没有可依据的理论知识，因此在确定CNN的最优结构时，需要经过不同参数设置、不同结构CNN的性能比较，然后采取最佳性能的CNN结构作为最终的网络结构，这带来了巨大的时间消耗，阻碍了CNN在大数据下的进一步发展。针对上述情况，许多CNN结构的改进方法被提出，其中大部分都是以传统CNN结构为基础构建网络，除此之外，也有学者提出采用由简单到复杂的生长式方法构建网络，但这种方法最终仍然需要通过不同网络结构的性能比较来确定最终网络结构，识别训练难度大，训练时间不可控制，无法实现自动化的智能识别。如何自适应的构建CNN网络进行人脸识别变得越来越重要。

发明内容

本发明的目的在于提供一种大数据情况下，训练难度低、准确性高的基于自适应卷积神经网络的自动智能人脸识别方法。

本发明采用以下技术方案：

一种基于结构自适应卷积神经网络的人脸识别算法，包括以下步骤：

(1)读取训练样本图像和测试样本图像；

(2)对所有图像做大小、姿态和光照的归一化处理；

(3)随机选取处理后的训练图像加权平均产生新的训练样本，使样本扩增；

(4)初始化卷积神经网络的网络结构，并设定两个控制网络增长的指标值：***平均误差和训练样本的识别率；

(5)将处理后的训练样本送入初始网络中，在规定的训练次数内，判断初始网络是否有收敛趋势，若网络不收敛，则在初始网络基础上添加一条全局支路，固定原有网络结构，只训练新增支路，若新增支路仍不收敛，再添加新支路，以此类推，直到添加某条支路时满足收敛条件，此时训练整个网络直到***平均误差达到期望值，完成全局网络的扩展；若初始网络已经有收敛趋势，则不展开全局扩展，一直训练初始网络直到***平均误差达到期望值；

(6)全局网络学习结束后，若训练样本的识别率未达到期望值，则展开局部扩展，即添加一条局部支路，固定原有全局网络结构，只训练新增局部支路，直到训练样本的识别率达到期望值，结束全局网络的学习；若全局网络学习结束后，训练样本的识别率达到期望值，则不展开局部扩展，此时全局网络即为最终网络。

(7)整个网络学习结束后，当新增训练样本时，在原学习好的网络的基础上，添加新的全局支路，按照全局扩展的方法训练新网络，即可完成增量学习。

针对本发明的上述方法，对图像做大小、姿态和光照的归一化处理使图像符合CNN对输入图像的要求，在一定程度上减少了因图像不规则引起的干扰，计算量降低，速度提高；扩增训练样本使卷积神经网络可以学到较优的特征，也体现了卷积神经网络处理大数据的优势；设置初始化网络和控制网络增长的指标值，网络通过指标自适应的扩展网络，实现人脸识别的自动化，并且一次性的找到给定样本条件下的最佳网络结构，相比于传统网络通过比较不同结构CNN的性能来确定最终网络结构，大大减少了人为干预，并且在缩短了训练时间的同时确定了最优结构。

在进一步改进的方案中，上述结构自适应卷积神经网络的人脸识别方法，步骤(2)中处理图像时，首先旋转图像至其与人眼在一条水平线上，然后以人眼水平线为基准，裁剪图片为64*64像素，最后做直方图均衡化。

上述结构自适应卷积神经网络的人脸识别方法，步骤(4)中初始的CNN结构为1-1-1-1，即除输入输出层外，隐层共4层，每层各有一个特征图。

卷积层计算：

其中，表示在l层(卷积层)的第j个特征图，f(ο)表示激活函数，M_j代表输入图的集合，*是卷积操作，是l层第j个输出图与上一层第i个输入图之间的卷积核，是l层的第j个特征图的附加偏差。

采样层计算：

其中，f(ο)表示激活函数_，S(ο)表示降采样函数，这个函数会对输入图中每一个不同的n×n区域求和使得输出图比输入图在不同维度都小n倍，本发明中n为2。与是每个输出图的乘子偏差和附加偏差。

输出层计算：y_i＝f(Q_i)

Q＝[Q₁,...,Q_i,...,Q_m]′

y＝[y₁,...,y_i,...,y_m]′

其中，y_i表示输出层的第i个神经元，N表示输出层前一层包含N个特征图，M表示每个特征图上包含M个神经元，ω为权值，b_i为偏置，f(ο)表示激活函数，m表示类别数。Q表示输出层激活函数的作用值。当输入一幅图像时，Q与y均为m×1的矩阵。

上述结构自适应卷积神经网络的人脸识别方法，步骤(4)中***平均误差err计算公式为：

其中，a为每批训练的样本总数，m为类别数，y为网络最终由激励函数输出的一个m×1的矩阵，y_label为训练样本的标签，是一个m×1的0、1二值矩阵。

上述结构自适应卷积神经网络的人脸识别方法，步骤(4)中根据工程中常用经验值设定***平均误差的期望值为0.2，设定训练样本的识别率的期望值时，为达到最优网络将其设置为100％。

上述结构自适应卷积神经网络的人脸识别方法，步骤(5)中判断收敛趋势的公式为：

r＝err_初始-err_当前

其中，err_初始表示初始***平均误差，err_当前表示当前的***平均误差。

判断收敛趋势的阈值为0.1，即r≥0.1时判定网络收敛，否则网络不收敛。

上述结构自适应卷积神经网络的人脸识别方法，步骤(5)中新增全局支路的结构为1-1-1-1，新增支路的训练方法为误差反向传播法，且其输出为(新增一条支路为例)：

y＝f(Q_原+Q_新)

Q_原为原支路的Q值，Q_新为新增支路的Q值。

上述结构自适应卷积神经网络的人脸识别方法，步骤(6)中新增局部支路结构为1-1，且局部支路输入层为全局各支路采样层一层特征图的融合，融合公式为(以两条全局支路为例)：

Input_局部＝f(S1_A*k_A+S1_B*k_B)

其中S1_A、S1_B分别为全局支路A、B在S1层的特征图，k_A、k_B为卷积核。

局部支路的训练方法为误差反向传播法，且其输出为(以两条全局支路为例)：

y＝f(Q_全局+Q_局部)

Q_全局＝Q_A+Q_B

特殊情况下，当全局网络仅包含一条支路时，无法实现特征图的融合，此时只取全局支路采样层S1的特征图为输入，但是采用不同的卷积核实现局部支路的扩展。

有益效果

基于结构自适应卷积神经网络的人脸识别方法继承了传统CNN可以直接从二维图像中抽取特征，在大数据情况下进行人脸识别的优势，同时，自适应的构建网络结构提供了一种自动化的智能人脸识别方法，避免了传统神经网络过度依赖人为经验的弊端。基于结构自适应卷积神经网络的人脸识别方法根据网络需要扩展网络，实现了网络结构的可控性、可调性，并且方法有针对性，避免了无效的训练，降低人脸识别的训练难度的同时得到一个最佳人脸识别网络结构。利用网络自适应扩展的优势，可以达到在保留前期识别结果的基础上，对新增人脸样本再学习，减少了再训练的开销。

附图说明

图1为ORL人脸库中第一个人的原始图像。

图2为图1中图像经过大小、姿态和光照归一化处理后的图像。

图3为扩增的样本图像。

图4为基于结构自适应卷积神经网络的人脸识别方法的流程图。

图5为初始网络结构图。

图6为全局扩展网络结构图。

图7为全局网路含多条支路的局部扩展图。

图8为全局网路仅含一条支路的局部扩展图。

图9为增量学习的网络结构图。

具体实施方式

下面结合附图对发明作进一步描述：

依据本发明，提供一种人脸识别方法，首先读取训练样本图像和测试样本图像，并对所有图像做大小、姿态和光照的归一化处理，再扩增样本数；其次初始化CNN网络结构，并设定两个控制网络增长的指标值：***平均误差和训练样本的识别率；然后将处理后的训练样本送入初始网络中，在规定的训练次数内，判断网络是否有收敛趋势。若网络收敛则不展开扩展，一直训练到***平均误差达到期望值后结束全局网络的学习，否则展开全局扩展；全局网络学习结束后，若训练样本的识别率达到期望值则不展开局部扩展，否则展开局部扩展直到训练样本识别率达到期望值后结束整个网络的学习；最后整个网络学习结束后，当新增人脸样本时，在原学习好的网络的基础上，添加新的全局支路，按照全局扩展的方法训练新网络，实现增量学习。

依据本发明的人脸识别方法主要包括以下步骤：

(1)读取训练样本图像和测试样本图像；

(2)对所有图像做大小、姿态和光照的归一化处理；

(3)随机选取处理后的训练图像加权平均产生新的训练样本，使样本扩增；

(4)初始化卷积神经网络的网络结构，并设定两个控制网络增长的指标值：***平均误差和训练样本的识别率；

(5)将处理后的训练样本送入初始网络中，在规定的训练次数内，判断初始网络是否有收敛趋势，若网络不收敛，则在初始网络基础上添加一条全局支路，固定原有网络结构，只训练新增支路。若新增支路仍不收敛，再添加新支路，以此类推，直到添加某条支路时满足收敛条件，此时训练整个网络直到***平均误差达到期望值，完成全局网络的扩展；若初始网络已经有收敛趋势，则不展开全局扩展，一直训练初始网络直到***平均误差达到期望值；

(6)全局网络学习结束后，若训练样本的识别率未达到期望值，则展开局部扩展，即添加一条局部支路，固定原有全局网络结构，只训练新增局部支路，直到训练样本的识别率达到期望值，结束全局网络的学习；若全局网络学习结束后，训练样本的识别率达到期望值，则不展开局部扩展，此时全局网络即为最终网络。

(7)整个网络学习结束后，当新增训练样本时，在原学习好的网络的基础上，添加新的全局支路，按照全局扩展的方法训练新网络，即可完成增量学习。

下面对上述步骤进行详述：

1.读取训练样本图像和测试样本图像。

采用ORL库人脸图像，包含40人，每人10幅图像。每人采用7幅作为训练样本，剩下3幅作为测试样本。图1展示了ORL库中第一个人的10幅图像。

2.对所有图像做大小、姿态和光照的归一化处理。

对图像做大小、姿态和光照的归一化处理使图像符合CNN对输入图像的要求，在一定程度上减少了因图像不规则引起的干扰，计算量降低，速度提高。首先旋转图像至人眼在一条水平线上，然后以人眼水平线为基准，裁剪图片为64*64像素，最后做直方图均衡化。图2给出了实验效果图，是ORL库中第一个人10幅图像的处理后的效果图。

3.随机选取处理后的训练图像加权平均产生新的训练样本，使样本扩增。

样本扩增可以使卷积神经网络学到较优的特征，同时也体现了卷积神经网络处理大数据的优势。此处样本扩增方法为：随机从基础的7幅训练样本中选取3幅人脸，通过加权求平均方式构造了8幅新图像，此8幅即为每个人的扩增样本。图3给出了第一个人对应的8幅新图像的实验效果图。产生的8幅新图像和7幅基础训练样本一起作为训练样本。最后，所得训练样本集包含600幅人脸，测试样本集包含120幅人脸。

4.初始化CNN网络结构，并设定两个控制网络增长的指标值：***平均误差和训练样本的识别率。

图5为初始化的CNN网络结构图。结构为1-1-1-1，即除输入输出层外，隐层共4层，每层各有一个特征图。

卷积层计算：

其中，表示在l层(卷积层)的第j个特征图，f(ο)表示激活函数，M_j代表输入图的集合，*是卷积操作，是l层第j个输出图与上一层第i个输入图之间的卷积核，每个输出图都有自己的附加偏差b。

采样层计算：

其中，f(ο)表示激活函数，S(ο)表示降采样函数，这个函数会对输入图中每一个不同的n×n区域求和使得输出图比输入图在不同维度都小n倍，此处选取n为2。每个输出图都有自己的乘子偏差δ以及附加偏差b。

输出层计算：y_i＝f(Q_i)

Q＝[Q₁,...,Q_i,...,Q_m]′

y＝[y₁,...,y_i,...,y_m]′

其中，y_i表示输出层的第i个神经元，N表示输出层前一层包含N个特征图，M表示每个特征图上包含M个神经元，ω为权值，b_i为偏置，f(ο)表示激活函数，m表示类别数。Q表示输出层激活函数的作用值。当输入一幅图像时，Q与y均为m×1的矩阵。

确定初始网络后，设定两个控制网络增长的指标值：***平均误差和训练样本识别率，使网络以自动化的方式增长，直到满足指标要求得到最佳网络。根据工程中常用最优值，***平均误差的期望值设定为0.2；为得到最佳网络，训练样本识别率的期望值设定为100％。这两个指标的期望值均可根据情况适当调整。

5.将处理后的训练样本送入初始网络中，在规定的训练次数内，判断初始网络是否有收敛趋势，若网络不收敛，则在初始网络基础上添加一条全局支路，固定原有网络结构，只训练新增支路。若新增支路仍不收敛，再添加新支路，以此类推，直到添加某条支路时满足收敛条件，此时训练整个网络直到***平均误差达到期望值，完成全局网络的扩展；若初始网络已经有收敛趋势，则不展开全局扩展，一直训练初始网络直到***平均误差达到期望值。

收敛趋势的判断公式为：

r＝err_初始-err_当前

其中，err_初始表示初始***平均误差，err_当前表示当前的***平均误差。

判断收敛趋势的阈值为0.1，即r≥0.1时判定网络收敛，否则网络不收敛。

在初始支路A的基础上全局扩展一条支路B，如图6所示。在扩展支路之前，分别保留训练样本和测试样本在原支路A输出层的Q_A值，在训练B支路时将其叠加到B支路的输出层，最后由激励函数输出结果，如下式：

y＝f(Q_A+Q_B)

A支路的网络结构固定，通过BP算法只更新B支路的权值。判断B支路的收敛速度是否达到期望阈值，若仍未达到，再添加新支路，以此类推，直到有新支路达到期望的收敛速度后，一直训练到整个网络的***平均误差达到期望值，完成全局网络的学习。

6.全局网络学习结束后，若训练样本的识别率未达到期望值，则展开局部扩展，即添加一条局部支路，固定原有全局网络结构，只训练新增局部支路，直到训练样本的识别率达到期望值，结束全局网络的学习；若全局网络学习结束后，训练样本的识别率达到期望值，则不展开局部扩展，此时全局网络即为最终网络。

经全局扩展后，网络***平均误差已低于期望值，若此时训练样本的识别率未达到期望阈值，说明网络全局扩展已不能再改善训练样本的识别率。此时需要对已有的扩展线路进行必要的融合，形成新的局部支路，即局部扩展，从而继续提高CNN的精度，网络结构如图7所示。

全局扩展后，保存训练样本和测试样本在全局扩展各支路的特征图以及输出层的Q_全局值，在训练局部支路时，将全局支路的采样层S₁的特征图作为输入，进行特征融合，融合后的结果作为局部支路的输入，融合公式如下：

Input_局部＝f(S1_A*k_A+S1_B*k_B)

其中S1_A、S1_B分别为全局支路A、B在S1层的特征图，k_A、k_B为卷积核。

然后，将全局的Q_全局值叠加到局部支路的输出层上，最后通过激励函数f(ο)输出，公式如下：

Q_全局＝Q_A+Q_B

y＝f(Q_全局+Q_局部)

全局各支路网络结构固定，在BP算法中只更新局部支路的权值，直到训练样本识别率达到期望值后停止学习，此时整个网络实现了最高的网络精确度。

特殊情况，当网络中仅包含一条全局支路时，此时无法实现特征图的融合，本文提出只取全局支路采样层S1的特征图为输入，但是采用不同的卷积核实现局部支路的扩展，网络结构如图8所示。

7.整个网络学习结束后，当新增样本时，在原学习好的网络的基础上，添加新的全局支路，按照全局扩展的方法训练新网络。

图9为增量学***均误差达到期望值为训练结束的标志。最终，网络总的输出计算如下：

y＝f(Q₁+Q₂+Q₃+Q₄)。

Claims (9)

1.一种基于结构自适应卷积神经网络的人脸识别方法，其特征在于，包括以下步骤：

(1)读取训练样本图像和测试样本图像；

(2)对所有图像做大小、姿态和光照的归一化处理；

(3)随机选取处理后的训练图像加权平均产生新的训练样本，使样本扩增；

(4)初始化卷积神经网络的网络结构，并设定两个控制网络增长的指标值：***平均误差和训练样本的识别率；

(5)将处理后的训练样本送入初始网络中，在规定的训练次数内，判断初始网络是否有收敛趋势，若网络不收敛，则在初始网络基础上添加一条全局支路，固定原有网络结构，只训练新增支路；若新增支路仍不收敛，再添加新支路，以此类推，直到添加某条支路时满足收敛条件，此时训练整个网络直到***平均误差达到期望值，完成全局网络的扩展；若初始网络已经有收敛趋势，则不展开全局扩展，一直训练初始网络直到***平均误差达到期望值；

(6)全局网络学习结束后，若训练样本的识别率未达到期望值，则展开局部扩展，即添加一条局部支路，固定原有全局网络结构，只训练新增局部支路，直到训练样本的识别率达到期望值，结束全局网络的学习；若全局网络学习结束后，训练样本的识别率达到期望值，则不展开局部扩展，此时全局网络即为整个网络；

(7)整个网络学习结束后，当新增训练样本时，在原学习好的网络的基础上，添加新的全局支路，按照全局扩展的方法训练新网络，即可完成增量学习。

2.根据权利要求1所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，步骤(2)中处理图像时，首先旋转图像使得人眼在一条水平线上，然后以人眼水平线为基准，裁剪图片为64*64像素，最后做直方图均衡化。

3.根据权利要求1所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，步骤(4)中初始的CNN结构为1-1-1-1，即除输入输出层外，隐层共4层，每层各有一个特征图；

卷积层计算：

其中，表示在第l层卷积层的第j个特征图，表示激活函数，M_j代表输入图的集合，*是卷积操作，是l层第j个输出图与上一层第i个输入图之间的卷积核，是l层的第j个特征图的附加偏差；

采样层计算：

其中，表示激活函数，表示降采样函数，这个函数会对输入图中每一个不同的n×n区域求和使得输出图比输入图在不同维度都小n倍，此处选取n为2，与是每个输出图的乘子偏差和附加偏差；

输出层计算：

其中，y_i表示输出层的第i个神经元，N表示输出层前一层包含N个特征图，M表示每个特征图上包含M个神经元，ω为权值，b_i为偏置，表示激活函数，m表示类别数，Q表示输出层激活函数的作用值，当输入一幅图像时，Q与y均为m×1的矩阵。

4.根据权利要求1所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，步骤(4)中***平均误差err计算公式为：

<mrow> <mi>e</mi> <mi>r</mi> <mi>r</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>a</mi> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>y</mi> <mrow> <mi>l</mi> <mi>a</mi> <mi>b</mi> <mi>e</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mi>n</mi> </mfrac> </mrow>

其中，a为每批训练的样本总数，m为类别数，y为网络最终由激励函数输出的一个m×1的矩阵，y_label为训练样本的标签，是一个m×1的0、1二值矩阵，步骤(4)中设定的***平均误差的期望值为0.2，训练样本识别率的期望值为100％。

5.根据权利要求1所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，步骤(5)中判断收敛趋势的公式为：

r＝err_初始-err_当前

其中，err_初始表示初始***平均误差，err_当前表示当前的***平均误差，且判断收敛趋势的阈值为0.1，即r≥0.1时网络收敛，否则网络不收敛。

6.根据权利要求1中所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，步骤(5)中新增全局支路的结构为1-1-1-1，即除输入输出层外，隐层共4层，每层各有一个特征图，新增支路的训练方法为误差反向传播法，其输出为：

y＝f(Q_原+Q_新)

Q_原为原支路的Q值，Q_新为新增支路的Q值，Q表示输出层激活函数的作用值。

7.根据权利要求1所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，步骤(6)中新增局部支路结构为1-1，且局部支路输入层为全局各支路采样层一层特征图的融合，当有两条全局支路时，融合公式为：

Input_局部＝f(S1_A*k_A+S1_B*k_B)

其中S1_A、S1_B分别为全局支路A、B在S1层的特征图，k_A、k_B为卷积核。

8.根据权利要求1中所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，步骤(6)局部支路的训练方法为误差反向传播法，当有两条全局支路时，局部支路输出为：

y＝f(Q_全局+Q_局部)

Q_全局＝Q_A+Q_B

Q_A是全局支路A的的Q值，Q_B是全局支路B的Q值，Q表示输出层激活函数的作用值。

9.根据权利要求7中所述的基于结构自适应卷积神经网络的人脸识别方法，其特征在于，特殊情况下，当全局网络仅包含一条支路时，无法实现特征图的融合，此时只取全局支路采样层S1的特征图为输入，但是采用不同的卷积核实现局部支路的扩展。