CN109753931A - 卷积神经网络训练方法、***及人脸特征点检测方法 - Google Patents

Abstract

本发明公开了一种卷积神经网络训练方法，包括：获取若干个待训练人脸框信息；其中，所述待训练人脸框信息中包含预设的若干个特征点；获取所述特征点的坐标，对所述特征点的坐标进行归一化处理；将归一化处理后的数据作为标准值输入到单个卷积神经网络中，并采用SmoothL1损失函数训练所述卷积神经网络；判断所述SmoothL1损失函数中的Loss值是否收敛至预设值；若是，则输出训练后的卷积神经网络作为训练模型；若否，则调整预设参数直至所述Loss值收敛至预设值。本发明还公开了一种卷积神经网络训练***和一种人脸特征点检测方法。采用本发明实施例，在单一卷积神经网络下训练保证特征点检测的精度，且网络结构较简单，训练容易。

Description

卷积神经网络训练方法、***及人脸特征点检测方法

技术领域

本发明涉及人脸识别领域，尤其涉及一种卷积神经网络训练方法、***及人脸特征点检测方法。

背景技术

近年来,深度学习卷积神经网络方法在图像处理领域，取得了长足的进步，慢慢的取代了传统图像处理的方法，深度学习卷积神经网络(Convolutional Neural Networks,CNN)具有自主学习图像特征的优点，广泛用于人脸识别领域，目前在人脸识别领域基于卷积神经网络(CNN)的方法主要有基于级联卷积神经网络的人脸特征点定位方法。

基于级联卷积神经网络的人脸特征点定位方法包括：先使用常用的人脸检测算法，检测出人脸，将检测出的人脸作为输入，输入到一级卷积神经网络中，采用L2损失函数进行训练，得到粗定位的特征点坐标，根据特征点坐标，再截取更小的人脸框，输入到多个二级卷积神经网络，每个特征点使用一个神经网络，从而得到人脸特征点坐标位置，重复上述步骤，再将人脸框作为输入，输入到多个三级卷积神经网络，得到最终的人脸特征点坐标定位。

但是上述方法的网络结构较复杂，例如典型的基于级联卷积神经网络的人脸特征点定位，该方法定位5个人脸的特征点，需要训练10多个卷积神经网络，若定位15、21或68个特征点，需要训练几十个甚至上百个卷积神经网络,计算量大，训练比较困难，且在性能较弱的设备上运行速度缓慢，实际场景中使用体验差。且采用L2损失函数进行训练，其对离群点、异常值(outlier)较敏感，鲁棒性较差，训练时容易不收敛，导致精度不够。

发明内容

本发明实施例的目的是提供一种卷积神经网络训练方法、***及人脸特征点检测方法，在单一卷积神经网络下训练保证特征点检测的精度，且网络结构较简单，训练容易。

为实现上述目的，本发明实施例提供了一种卷积神经网络训练方法，包括：

获取若干个待训练人脸框信息；其中，所述待训练人脸框信息中包含预设的若干个特征点；

获取所述特征点的坐标，对所述特征点的坐标进行归一化处理；

将归一化处理后的数据作为标准值输入到单个卷积神经网络中，并采用SmoothL1损失函数训练所述卷积神经网络；

判断所述SmoothL1损失函数中的Loss值是否收敛至预设值；

若是，则输出训练后的卷积神经网络作为训练模型；若否，则调整预设参数直至所述Loss值收敛至预设值。

与现有技术相比，本发明公开的卷积神经网络训练方法，首先，对特征点的坐标进行归一化处理，从而得到归一化处理后的数据；然后，将归一化处理后的数据输入到单个卷积神经网络中，采用SmoothL1损失函数训练卷积神经网络；最后，在训练过程中当Loss值收敛时，即可输出训练后的卷积神经网络作为训练模型。采用SmoothL1损失函数训练单个卷积神经网络，解决了现有技术中需要多个卷积神经网络训练人脸特征点而造成计算量大和结构复杂、采用L2损失函数进行训练导致精度不足的问题，在单一卷积神经网络下训练保证特征点检测的精度，且网络结构较简单，训练容易。

作为上述方案的改进，所述SmoothL1损失函数满足：

Loss＝∑_i∈(1…N)smooth_L1(v_i-t_i) 公式(1)；

其中，v_i为所述标准值；t_i为所述卷积神经网络的预测值；N为所述标准值的个数。

作为上述方案的改进，所述对所述特征点的坐标进行归一化处理，具体包括：

获取所述人脸框信息中的顶点坐标；其中，所述顶点坐标为所述人脸框信息中人脸框的左上角坐标、左下角坐标、右上角坐标或右下角坐标；

用所述特征点的坐标与所述顶点坐标的差值除以所述人脸框的长度值或宽度值进行归一化处理。

作为上述方案的改进，采用BP算法训练所述卷积神经网络，并根据Adam优化算法对所述卷积神经网络进行训练优化。

作为上述方案的改进，所述预设参数包括所述卷积神经网络的参数和所述Adam优化算法的参数

本发明实施例还提供了一种卷积神经网络训练***，包括：

待训练人脸框信息获取单元，用于获取若干个待训练人脸框信息；其中，所述待训练人脸框信息中包含预设的若干个特征点；

归一化处理单元，用于获取所述特征点的坐标，对所述特征点的坐标进行归一化处理；

训练单元，用于将归一化处理后的数据作为标准值输入到单个卷积神经网络中，并采用SmoothL1损失函数训练所述卷积神经网络；

判断单元，用于判断所述SmoothL1损失函数中的Loss值是否收敛至预设值；若是，则输出训练后的卷积神经网络作为训练模型；若否，则调整预设参数直至所述Loss值收敛至预设值。

作为上述方案的改进，所述SmoothL1损失函数满足：

Loss＝∑_i∈(1…N)smooth_L1(v_i-t_i) 公式(1)；

其中，v_i为所述标准值；t_i为所述卷积神经网络的预测值；N为所述标准值的个数。

作为上述方案的改进，所述归一化处理单元具体用于：

获取所述人脸框信息中的顶点坐标；其中，所述顶点坐标为所述人脸框信息中人脸框的左上角坐标、左下角坐标、右上角坐标或右下角坐标；

用所述特征点的坐标与所述顶点坐标的差值除以所述人脸框的长度值或宽度值进行归一化处理。

作为上述方案的改进，所述训练单元采用BP算法训练所述卷积神经网络，并根据Adam优化算法对所述卷积神经网络进行训练优化。

本发明实施例还提供了一种人脸特征点检测方法，包括：

获取原始图像中的待检测人脸框；

将所述待检测人脸框输入预先训练好的训练模型；其中，所述训练模型的训练方法为如上述任一实施例所述的卷积神经网络训练方法；

获取所述训练模型的输出数据作为所述待检测人脸框的特征点坐标。

附图说明

图1是本发明提供的一种卷积神经网络训练方法的流程图；

图2是本发明提供的一种卷积神经网络训练方法中特征点位置示意图；

图3是本发明提供的一种卷积神经网络训练方法中卷积神经网络的结构图；

图4是本发明提供的一种卷积神经网络训练方法的另一流程图；

图5是本发明提供的一种卷积神经网络训练***的结构框图；

图6是本发明提供的一种人脸特征点检测方法的流程图；

图7是本发明提供的一种人脸特征点检测方法的另一流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

参见图1，图1是本发明提供的一种卷积神经网络训练方法的流程图；包括：

S11、获取若干个待训练人脸框信息；其中，所述待训练人脸框信息中包含预设的若干个特征点；

S12、获取所述特征点的坐标，对所述特征点的坐标进行归一化处理；

S13、将归一化处理后的数据作为标准值输入到单个卷积神经网络中，并采用SmoothL1损失函数训练所述卷积神经网络；

S14、判断所述SmoothL1损失函数中的Loss值是否收敛至预设值；

S15、若是，则输出训练后的卷积神经网络作为训练模型；若否，则调整预设参数直至所述Loss值收敛至预设值。

具体的，在步骤S11中，通过人脸检测器，检测出人脸，并通过手工标注其人脸框；其中，所述人脸框为包括了人脸耳朵轮廓以内的人脸框。然后，通过手工标记出人脸中特征点。其中，标记的特征点请参考图2，一共标记大约10万份特征点数据用于深度学习的卷积神经网络训练，所述特征点可以根据人脸的角度(全脸或侧脸)、微笑程度(露齿或不露齿)进行标记，本发明对此不作具体限定。

具体的，在步骤S12中，所述对所述特征点的坐标进行归一化处理，具体包括：获取所述人脸框信息中的顶点坐标；其中，所述顶点坐标为所述人脸框信息中人脸框的左上角坐标、左下角坐标、右上角坐标或右下角坐标；用所述特征点的坐标与所述顶点坐标的差值除以所述人脸框的长度值或宽度值进行归一化处理。对所述特征点的坐标进行归一化处理能够使得所述卷积神经网络的梯度更加均匀，在本发明实施例中，采用所述特征点的坐标与所述左上角坐标的差值除以所述人脸框的长度值或宽度值进行归一化处理，但在其他实施例中，可以任选一顶点坐标进行归一化处理，都在本发明的保护范围内。

具体的，所述人脸框的长度值为所述人脸框中竖直中心线最上端的坐标至最下端的坐标之间的距离值；所述人脸框的宽度值为所述人脸框中水平中心线最左端的坐标至最右端的坐标之间的距离值。

具体的，在步骤S3中，所述卷积神经网络的结构请参考图3，所述卷积神经网络包括7层结构；其中，第一层是输入层，包括一个尺寸为39*39像素的卷积层，在特征点检测时用于输入灰度图像；第二层包括三个尺寸为18*18*20像素的卷积层，先采用卷积，然后使用relu激活函数进行激活，再使用maxpooling方法进行池化；第三层包括四个尺寸为8*8*40像素的卷积层，同样先采用卷积，然后使用relu激活函数进行激活，再使用maxpooling方法进行池化；第四层包括六个尺寸为3*3*60像素的卷积层，同样先采用卷积，然后使用relu激活函数进行激活，再使用maxpooling方法进行池化；第五层分两部分，一部分进行卷积和relu激活，一部分采用flatten(平滑)，然后再将这两部分进行concat(合并)操作；第六层为全连接层；第七层为输出层。

值得说明的是，以上卷积层的尺寸和数量为本发明实施例中提出的一种较为优选的方案，但在其他实施例中也可选用其他尺寸和数量，都在本发明的保护范围内。

优选的，所述SmoothL1损失函数满足：

Loss＝∑_i∈(1…N)smooth_L1(v_i-t_i) 公式(1)；

其中，v_i为所述标准值；t_i为所述卷积神经网络的预测值，所述预测值为经过归一化处理后的数值(即在训练过程中还输入有未标记特征点的人脸框，从而通过所述卷积神经网络预测出特征点坐标，并对预测出的特征点坐标进行归一化处理，在归一化处理过程中，所述卷积神经网络同样是选用自行检测出的所述人脸框的顶点坐标来进行归一化处理，从而与所述标准值对应)；N为所述标准值的个数。

在现有技术中，在训练深度神经网络时通常会采用L2损失函数，在使用L2损失函数时，当预测值与标准值相差很大时，梯度容易***，且训练不容易收敛，因此在采用单个卷积神经网络进行检测特征点坐标时，不能保证精度要求。

为了克服这一缺点，本发明实施例采用了SmoothL1损失函数用于深度卷积神经网络的训练，当预测值与标准值相差太大时，原先L2梯度里的预测值与标准值的差值被SmoothL1的梯度替换成了1或-1(SmoothL1会对预测值与标准值的差值求导，使其保证差值为1或-1)，这样就避免了梯度***，从而训练更容易收敛，更具有鲁棒性，同时使得采用单一的卷积神经网络检测人脸特征点，也能让人脸特征点定位有较高的精度。

优选的，在训练过程中采用BP算法训练所述卷积神经网络，并根据Adam优化算法对所述卷积神经网络进行训练优化。其中，Adam优化算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam优化算法有以下优点：直截了当地实现；高效的计算；所需内存少；梯度对角缩放的不变性；适合解决含大规模数据和参数的优化问题；适用于非稳态(non-stationary)目标；适用于解决包含很高噪声或稀疏梯度的问题；超参数可以很直观地解释，基本上只需极少量的调参。

具体的，在步骤S14～S15中，判断Loss值是否收敛至预设值，其中，所述预设值为0.01。若所述Loss值收敛至0.01，则此时所述标准值和所述预测值的数据很接近，所述预测值足以表明所述观测值，即训练后的所述卷积神经网络能够用于检测特征点；若所述Loss值不能收敛，或收敛的值较0.01大，则调整预设参数重新输入数据进行训练。其中，所述预设参数包括所述卷积神经网络的参数(即卷积层的尺寸、个数等参数)和所述Adam优化算法的参数。

进一步的，步骤S11～S15的过程可以参考图4中的流程图。

具体实施时，首先，对特征点的坐标进行归一化处理，从而得到归一化处理后的数据；然后，将归一化处理后的数据输入到单个卷积神经网络中，采用SmoothL1损失函数训练卷积神经网络；最后，在训练过程中当Loss值收敛时，即可输出训练后的卷积神经网络作为训练模型。

与现有技术相比，本发明公开的卷积神经网络训练方法，采用SmoothL1损失函数训练单个卷积神经网络，解决了现有技术中需要多个卷积神经网络训练人脸特征点而造成计算量大和结构复杂、采用L2损失函数进行训练导致精度不足的问题，在保证有较高精度的条件下，使用了较精炼的单个卷积神经网络，无论是在训练阶段，还是在检测阶段，速度都比较快，能够在实际的场景中使用，而且有较高的精度，且网络结构较简单，训练容易。

实施例二

参见图5，图5是本发明提供的一种卷积神经网络训练***的结构框图；包括：

待训练人脸框信息获取单元11，用于获取若干个待训练人脸框信息；其中，所述待训练人脸框信息中包含预设的若干个特征点；

归一化处理单元12，用于获取所述特征点的坐标，对所述特征点的坐标进行归一化处理；

训练单元13，用于将归一化处理后的数据作为标准值输入到单个卷积神经网络中，并采用SmoothL1损失函数训练所述卷积神经网络；

判断单元14，用于判断所述SmoothL1损失函数中的Loss值是否收敛至预设值；若是，则输出训练后的卷积神经网络作为训练模型；若否，则调整预设参数直至所述Loss值收敛至预设值。其中，所述预设参数包括所述卷积神经网络的参数(即卷积层的尺寸、个数等参数)和所述Adam优化算法的参数。

优选的，所述SmoothL1损失函数满足：

Loss＝∑_i∈(1…N)smooth_L1(v_i-t_i) 公式(1)；

其中，v_i为所述标准值；t_i为所述卷积神经网络的预测值，所述预测值为经过归一化处理后的数值，从而与所述标准值对应；N为所述标准值的个数。

所述归一化处理单元12具体用于：获取所述人脸框中的顶点坐标；其中，所述顶点坐标为所述人脸框中的左上角坐标、左下角坐标、右上角坐标或右下角坐标；用所述特征点的坐标与所述顶点坐标的差值除以所述人脸框的长度值或宽度值进行归一化处理。

所述训练单元13采用BP算法训练所述卷积神经网络，并根据Adam优化算法对所述卷积神经网络进行训练优化。

具体的所述卷积神经网络训练***中各个单元的工作过程请参考上述实施例一所述的卷积神经网络训练方法的工作过程，在此不再赘述。

与现有技术相比，本发明公开的卷积神经网络训练***，在保证有较高精度的条件下，使用了较精炼的单个卷积神经网络，无论是在训练阶段，还是在检测阶段，速度都比较快，能够在实际的场景中使用，而且有较高的精度，且网络结构较简单，训练容易。

实施例三

参见图6，图6是本发明提供的一种人脸特征点检测方法的流程图；包括：

S21、获取原始图像中的待检测人脸框；

S22、将所述待检测人脸框输入预先训练好的训练模型；其中，所述训练模型的训练方法为如上述实施例一所述的卷积神经网络训练方法；

S23、获取所述训练模型的输出数据作为所述待检测人脸框的特征点坐标。

具体的，在步骤S21中在输入所述原始图像时，首先检测是否包含人脸，在检测到包含人脸的情况下获取所述待检测人脸框。步骤S21～S23的过程请参考图7中的流程图。

进一步的，特征点检测的作用一般用于人脸校正，通过特征点的坐标变换让人脸校正，然后用校正后的人脸进行特征提取和特征模板匹配，超过一定阈值，则识别成功，从而可以基于特征点进行人脸识别。

本发明实施例所述的人脸特征点检测方法采用了实施例一所述卷积神经网络训练方法中训练后的卷积神经网络作为所述训练模型，在保证有较高精度的条件下，使用了较精炼的单个卷积神经网络，在检测阶段，速度较快，能够在实际的场景中使用，而且有较高的精度，且网络结构较简单。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种卷积神经网络训练方法，其特征在于，包括：

获取若干个待训练人脸框信息；其中，所述待训练人脸框信息中包含预设的若干个特征点；

获取所述特征点的坐标，对所述特征点的坐标进行归一化处理；

将归一化处理后的数据作为标准值输入到单个卷积神经网络中，并采用SmoothL1损失函数训练所述卷积神经网络；

判断所述SmoothL1损失函数中的Loss值是否收敛至预设值；

若是，则输出训练后的卷积神经网络作为训练模型；若否，则调整预设参数直至所述Loss值收敛至预设值。

2.如权利要求1所述的卷积神经网络训练方法，其特征在于，所述SmoothL1损失函数满足：

Loss＝∑_i∈(1…N)smooth_L1(v_i-t_i) 公式(1)；

其中，v_i为所述标准值；t_i为所述卷积神经网络的预测值；N为所述标准值的个数。

3.如权利要求1所述的卷积神经网络训练方法，其特征在于，所述对所述特征点的坐标进行归一化处理，具体包括：

获取所述人脸框信息中的顶点坐标；其中，所述顶点坐标为所述人脸框信息中人脸框的左上角坐标、左下角坐标、右上角坐标或右下角坐标；

用所述特征点的坐标与所述顶点坐标的差值除以所述人脸框的长度值或宽度值进行归一化处理。

4.如权利要求1所述的卷积神经网络训练方法，其特征在于，采用BP算法训练所述卷积神经网络，并根据Adam优化算法对所述卷积神经网络进行训练优化。

5.如权利要求4所述的卷积神经网络训练方法，其特征在于，所述预设参数包括所述卷积神经网络的参数和所述Adam优化算法的参数。

6.一种卷积神经网络训练***，其特征在于，包括：

待训练人脸框信息获取单元，用于获取若干个待训练人脸框信息；其中，所述待训练人脸框信息中包含预设的若干个特征点；

归一化处理单元，用于获取所述特征点的坐标，对所述特征点的坐标进行归一化处理；

训练单元，用于将归一化处理后的数据作为标准值输入到单个卷积神经网络中，并采用SmoothL1损失函数训练所述卷积神经网络；

判断单元，用于判断所述SmoothL1损失函数中的Loss值是否收敛至预设值；若是，则输出训练后的卷积神经网络作为训练模型；若否，则调整预设参数直至所述Loss值收敛至预设值。

7.如权利要求6所述的卷积神经网络训练***，其特征在于，所述SmoothL1损失函数满足：

Loss＝∑_i∈(1…N)smooth_L1(v_i-t_i) 公式(1)；

其中，v_i为所述标准值；t_i为所述卷积神经网络的预测值；N为所述标准值的个数。

8.如权利要求6所述的卷积神经网络训练***，其特征在于，所述归一化处理单元具体用于：

获取所述人脸框信息中的顶点坐标；其中，所述顶点坐标为所述人脸框信息中人脸框的左上角坐标、左下角坐标、右上角坐标或右下角坐标；

用所述特征点的坐标与所述顶点坐标的差值除以所述人脸框的长度值或宽度值进行归一化处理。

9.如权利要求6所述的卷积神经网络训练***，其特征在于，所述训练单元采用BP算法训练所述卷积神经网络，并根据Adam优化算法对所述卷积神经网络进行训练优化。

10.一种人脸特征点检测方法，其特征在于，包括：

获取原始图像中的待检测人脸框；

将所述待检测人脸框输入预先训练好的训练模型；其中，所述训练模型的训练方法为如权利要求1～5中任一项所述的卷积神经网络训练方法；

获取所述训练模型的输出数据作为所述待检测人脸框的特征点坐标。