CN110532880A

CN110532880A - 样本筛选及表情识别方法、神经网络、设备及存储介质

Info

Publication number: CN110532880A
Application number: CN201910690684.5A
Authority: CN
Inventors: 解为成; 田怡; 沈琳琳
Original assignee: Shenzhen University
Current assignee: Shenzhen University
Priority date: 2019-07-29
Filing date: 2019-07-29
Publication date: 2019-12-03
Anticipated expiration: 2039-07-29
Also published as: CN110532880B

Abstract

本发明适用计算机技术领域，提供了一种样本筛选及表情识别方法、神经网络、设备及存储介质，其中，利用多元组样本，进行神经网络的训练，在每一迭代步，确定锚样本与正样本之间的第一样本距离以及锚样本与负样本之间的第二样本距离，根据样本距离的分布统计特性，构建用于对多元组样本进行筛选的边界条件，利用该边界条件对多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练，这样，可在神经网络的训练过程中，对异常多元组样本进行筛除，避免了异常多元组样本对神经网络训练结果的影响，从而提高了表情分类识别准确度。

Description

样本筛选及表情识别方法、神经网络、设备及存储介质

技术领域

本发明属于计算机技术领域，尤其涉及一种样本筛选及表情识别方法、神经网络、设备及存储介质。

背景技术

随着人机交互的发展，面部表情识别已经成为近几十年来热门课题。如今，深度学习神经网络采用复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象，并应用于端对端的图像识别与分析。基于深度学习的表情识别已经在各种表情数据库上超越了传统方法，并且通过各种网络设计以及数据增强、度量学习与网络复合等算法对训练特征进行有效性提升以改善其泛化识别能力。

在基于深度学习的面部表情识别算法中，三元组损失函数是深度学习中的一种损失函数，用于训练差异性较小的样本。其训练数据包括锚(Anchor)样本、正(Positive)样本、负(Negative)样本。该损失函数通过学习使锚样本与正样本之间的距离小于锚样本与负样本之间的距离，实现样本的相似性计算。但是，传统的利用三元组损失函数所训练得到的神经网络，通常会受到异常三元组样本的影响，这些异常三元组样本表现为：在不同的表情标签(分类)下有相似的表情，或者相同表情标签下表情差距很大，如果神经网络学习了这些异常三元组样本，会在一定程度上影响神经网络的训练结果，从而使得表情分类识别准确度得不到提高。

发明内容

本发明的目的在于提供一种样本筛选及表情识别方法、神经网络、设备及存储介质，旨在解决现有技术所存在的、表情识别准确度无法得到有效提高的问题。

一方面，本发明提供了一种样本筛选方法，包括：

获得多元组样本，所述多元组样本包括：锚样本、正样本及负样本；

利用所述多元组样本，进行神经网络的训练，在训练的每一迭代步，利用所述神经网络对多元组样本进行处理，得到所述锚样本的第一特征表达向量、所述正样本的第二特征表达向量及所述负样本的第二特征表达向量；根据所述第一特征表达向量及所述第二特征表达向量确定所述锚样本与所述正样本之间的第一样本距离，根据所述第一特征表达向量与所述第三特征表达向量确定所述锚样本与所述负样本之间的第二样本距离；根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件；利用所述边界条件对所述多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练。

进一步的，所述第一样本距离与所述第二样本距离为随机样本距离并且服从正态分布，根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件，具体包括：

利用所述多元组样本在所述神经网络中全连接层的模，以及所述多元组样本在所述全连接层的特征维度，确定正态分布的均值和标准方差；

利用所述均值、所述标准方差、所述正样本对应的第一显著性水平以及所述负样本对应的第二显著性水平，构建用于筛选所述正样本的第一子边界条件以及用于筛选所述负样本的第二子边界条件。

进一步的，所述神经网络利用基于所述第一样本距离、所述第二样本距离以及损失函数参数所构建的多元组损失函数。

进一步的，所述多元组损失函数为三元组损失函数或四元组损失函数。

另一方面，本发明提供了一种表情识别方法，包括：利用如上述的样本筛选方法训练所得的所述神经网络，对待识别图像进行处理，得到表情识别结果。

进一步的，所述表情识别方法还包括：

对所述多元组样本进行侧脸筛选。

进一步的，所述表情识别方法还包括：

对所述多元组样本进行遮挡筛选。

另一方面，本发明还提供了一种神经网络，所述神经网络通过如上述的样本筛选方法训练得到。

另一方面，本发明还提供了一种计算设备，包括存储器及处理器，所述处理器执行所述存储器中存储的计算机程序时实现如上述方法中的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。

本发明利用多元组样本，进行神经网络的训练，在每一迭代步，确定锚样本与正样本之间的第一样本距离以及锚样本与负样本之间的第二样本距离，根据样本距离的分布统计特性，构建用于对多元组样本进行筛选的边界条件，利用该边界条件对多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练，这样，可在神经网络的训练过程中，对异常多元组样本进行筛除，避免了异常多元组样本对神经网络训练结果的影响，从而提高了表情分类识别准确度。

附图说明

图1是本发明实施例一提供的样本筛选方法的实现流程图；

图2是本发明实施例二提供的样本筛选方法的实现流程图；

图3是本发明实施例五提供的计算设备的结构示意图；

图4是本发明具体应用例的样本筛选方法的实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的样本筛选方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，获得多元组样本，所述多元组样本包括：锚样本、正样本及负样本。

本实施例中，多元组样本可以是三元组样本、四元组样本等。以三元组样本为例，三元组样本包括：锚样本(也称固定样本或基准样本)、与锚样本相似的正样本，以及与锚样本不相似的负样本。以四元组样本为例，四元组样本包括：锚样本、与锚样本相似的正样本、与锚样本不相似的第一负样本，以及与锚样本不相似的第二负样本。

样本一般为图像样本，从而可用于图像识别。多元组样本可经过相应的预处理，例如：灰度化处理、去噪点处理、去网格处理、去阴影处理等。经过相应的预处理，可优化处理效果。当然，在其他实施例中，样本类型还可以为其他样本，例如：音频样本、文本样本等，从而可用于音频或文本等的识别、搜索。

在步骤S102中，利用所述多元组样本，进行神经网络的训练，在训练的每一迭代步，利用所述神经网络对多元组样本进行处理，得到所述锚样本的第一特征表达向量、所述正样本的第二特征表达向量及所述负样本的第二特征表达向量；根据所述第一特征表达向量及所述第二特征表达向量确定所述锚样本与所述正样本之间的第一样本距离，根据所述第一特征表达向量与所述第三特征表达向量确定所述锚样本与所述负样本之间的第二样本距离；根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件；利用所述边界条件对所述多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练。

本实施例中，神经网络可以是卷积神经网络、循环神经网络、深度神经网络、长短期记忆神经网络等。神经网络中还可以根据实际需求引入注意力机制。

神经网络中，构建了基于第一样本距离、第二样本距离以及损失函数参数的多元组损失函数，多元组损失函数为三元组损失函数或四元组损失函数等。

神经网络对多元组样本进行处理过程中，都会对多元组样本进行特征提取，从而得到样本的特征表达向量。利用不同样本的特征表达向量，即可进一步确定样本之间的距离，例如：欧氏距离。由于随机样本之间的距离大致服从正态分布，那么，即可利用不同样本之间的随机样本距离进行判断，当随机样本距离满足由分布统计特性确定的边界条件要求时，保留相应的多元组样本，不满足时，则筛除相应的多元组样本，所筛除的多元组样本即是异常多元组样本。

实施本实施例，利用多元组样本，进行神经网络的训练，在每一迭代步，确定锚样本与正样本之间的第一样本距离以及锚样本与负样本之间的第二样本距离，根据样本距离的分布统计特性，构建用于对多元组样本进行筛选的边界条件，利用该边界条件对多元组样本进行筛选，筛选所得保留结果进入下一迭代步的训练，这样，可在神经网络的训练过程中，对异常多元组样本进行筛除，避免了异常多元组样本对神经网络训练结果的影响，从而提高了表情分类识别准确度。

实施例二：

本实施例在实施例一基础上，进一步提供了如下内容：

本实施例中，所述第一样本距离与所述第二样本距离为随机样本距离并且服从正态分布，根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件，具体包括如图2所示的流程：

在步骤S201中，利用所述多元组样本在所述神经网络中全连接层的模，以及所述多元组样本在所述全连接层的特征维度，确定正态分布的均值和标准方差；

在步骤S202中，利用所述均值、所述标准方差、所述正样本对应的第一显著性水平以及所述负样本对应的第二显著性水平，构建用于筛选所述正样本的第一子边界条件以及用于筛选所述负样本的第二子边界条件。

本实施例中，根据现有研究表明，随机样本距离大致服从正态分布，那么，根据随机样本距离的正态分布统计特性值(均值和标准方差)，来确定用于判断正负样本是否为异常样本的边界条件。

利用多元组样本在全连接层的参数(模和特征维度)，来确定正态分布的均值和标准方差，是因为在全连接层后即进行分类，全连接层参数的可参考性更高，能进一步提高计算处理的准确度。

引入正负样本的显著性水平来构建边界条件，是因为显著性水平是假设检验中的一个概念，其是指当原假设为正确时人们却把它拒绝了的概率或风险。这个值通常取0.05或0.01。

实施例三：

本实施例提供了一种表情识别方法，包括：

利用如上述各实施例的样本筛选方法训练所得的所述神经网络，对待识别图像进行处理，得到表情识别结果。

为进一步提高计算处理的准确度，在其他实施例中，所述表情识别方法还包括：对所述多元组样本进行侧脸筛选，和/或，对所述多元组样本进行遮挡筛选。通过侧脸筛选和/或遮挡筛选，筛选所得的保留结果可进一步进行上述的样本筛选方法的处理。

实施例四：

本实施例提供了一种神经网络，所述神经网络通过如上述的样本筛选方法训练得到。

在本发明实施例中，神经网络可由相应的硬件或软件单元实现，各神经网络中各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例五：

图3示出了本发明实施例五提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的计算设备包括处理器301及存储器302，处理器301执行存储器302中存储的计算机程序303时实现上述各个方法实施例中的步骤，例如图1所示的步骤S101至S102。

本发明实施例的计算设备可以为处理芯片、芯片组、单计算机或计算机组网等。该计算设备中处理器301执行计算机程序303时实现上述各方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例六：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤，例如，图1所示的步骤S101至S102。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

下面通过一个具体应用例对上述各实施例进行示例性说明。

具体应用例：

本方案提出了基于样本距离分布的异常三元组筛选方法，使得表情分类更准确。

本方案首先对图片样本进行筛选。如图4所示，本方案采用步骤S401与步骤S402判断他们是否为侧脸和遮挡的异常样本。当样本不符合这两个判断步骤的判断要求时，认为此样本为易混淆的图片，把它从训练集中剔除掉。在筛选之后进行含三元组损失函数的神经网络训练，训练过程中利用三元组损失函数，在一个批次(batch)中挑选出三元组，通过本方案步骤S403提出的筛选办法将不满足距离条件的全部样本剔除。通过这个方法即可提高训练模型的识别的准确率。详述如下：

在步骤S401中，本方案首先准备了Head Pose数据集。该数据集包含2790张含有不同角度的中性表情，而且包含图中人脸的关键点坐标。设Head Pose数据集中的特征点训练集为X，测试集为Y，X、Y中包含了样本图片的角度标签。设样本的人脸关键点矩阵为test，则设它们符合线性回归条件：

预测角度为：

Y_pred＝XW,

计算出预测图片与真实图片的误差dis，并将误差保存起来得到：

dis＝||test-Y_pred||，

对于每一个test，得到误差最小的dis对应的Y_pred的角度就是test的人脸角度。通过这种筛选方式，我们丢弃掉人脸选择大于45°的样本，剩余样本送到步骤S402的原训练集。

在步骤S402中，被步骤S401筛选的样本图片放入已有的判断遮挡脸的网络做训练。其中面部关键点有左眼，右眼，鼻子，左嘴角和右嘴角五个坐标点。关键点矩阵为5×2的矩阵。当经过训练后的关键点矩阵中不为零的矩阵的秩小于2时，判断该图片为遮挡脸图片，即关键点个数小于2，筛除该些样本，留存样本送到步骤S403进行处理。

在步骤S403中，本方案选择Resnet18网络，带有三元组损失函数的网络与表情数据集进行训练。其中，三元组损失函数的原理如下：

其中x_a是锚样本，x_p是正样本，与x_a是相同类别(x_p≠x_a)，x_n是负样本，与x_a是不同类别，α是损失函数的参数，各样本是随机选择的。L指三元组损失函数，α是损失函数的参数。当α值越小时，L也就较容易的趋近于0，于是锚样本与正样本都不需要拉的太近，锚样本与负样本不需要拉的太远，就能使得L很快的趋近于0。这样训练得到的结果，不能够很好的区分相似的图像。当锚样本越大时，就需要使得网络参数要拼命地拉近锚样本、正样本之间的距离，拉远锚样本、负样本之间的距离。如果α值设置的太大，很可能最后L保持一个较大的值，难以趋近于0。因此，设置一个合理的α值很关键，这是衡量相似度的重要指标。d(f(x_n)，f(x_a))＝||f(x_n)-f(x_a)||₂，是锚样本与正样本的欧式距离。f(x_a)是x_a在全连接层的特征表达向量，通过他们可以确定反向传播的梯度方向。[·]₊是max(·，0)函数。因此可得在此损失函数中，最难以区分的样本可以用以下公式计算：

这些样本意味着在三元组中，在不同的表情标签(分类)下有相似的表情，或者相同表情标签表情差距很大。如果神经网络学习了这些样本，这些异常样本会在一定程度上影响网络的训练结果。所以本方案根据特征距离分布检测异常三元组并提前丢弃它们。根据现有论文研究表明，随机变量特征距离d大致服从以下正态分布：

其中γ是样本在神经网络FC层的模，n是样本在FC层特征维度。和是该正态分布的均值和标准方差。本方案提出统计假设，选择一个正常的x_p，显著性水平为τ_p，当欧式距离d(f(x_a)，f(x_p))落在正常区域原假设H₀成立，否则对立假设H₁成立：

其中是随机变量d(f(x_a)，f(x_p))的平均值。所以当一堆三元组对立假设成立时，即可认为他们是异常样本并且被丢弃。

通过这个假设我们可以计算得到筛选的边界值：

其中，F^-1(1-τ_p)是是等式(3)中正态分布的累积概率分布的倒数，概率为1-τ_p，即P_F{d≤F^-1(1-τ_p)}＝1-τ_p，τ_p，τ_n分别是正负样本的显著性水平。F分布有着广泛的应用，如在方差分析、回归方程的显著性检验中都有着重要的地位。

通过这个筛选条件我们可以获得不满足条件的全部样本。

收集上几个步骤中都没有被放回原数据中的样本。这些样本被认为是易混淆点，将他们从训练集中删除，直到训练结束。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种样本筛选方法，其特征在于，包括：

2.如权利要求1所述的样本筛选方法，其特征在于，所述第一样本距离与所述第二样本距离为随机样本距离并且服从正态分布，根据所述第一样本距离与所述第二样本距离的分布统计特性，构建用于对所述多元组样本进行筛选的边界条件，具体包括：

3.如权利要求1所述的样本筛选方法，其特征在于，所述神经网络利用基于所述第一样本距离、所述第二样本距离以及损失函数参数所构建的多元组损失函数。

4.如权利要求3所述的样本筛选方法，其特征在于，所述多元组损失函数为三元组损失函数或四元组损失函数。

5.一种表情识别方法，其特征在于，包括：利用如权利要求1至4任一项所述的样本筛选方法训练所得的所述神经网络，对待识别图像进行处理，得到表情识别结果。

6.如权利要求5所述的表情识别方法，其特征在于，所述表情识别方法还包括：

对所述多元组样本进行侧脸筛选。

7.如权利要求5所述的表情识别方法，其特征在于，所述表情识别方法还包括：

对所述多元组样本进行遮挡筛选。

8.一种神经网络，其特征在于，所述神经网络通过如权利要求1至4任一项所述的样本筛选方法训练得到。

9.一种计算设备，包括存储器及处理器，其特征在于，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述方法中的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法中的步骤。