CN112241715A - 模型训练方法、表情识别方法、装置、设备及存储介质 - Google Patents
模型训练方法、表情识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112241715A CN112241715A CN202011146349.8A CN202011146349A CN112241715A CN 112241715 A CN112241715 A CN 112241715A CN 202011146349 A CN202011146349 A CN 202011146349A CN 112241715 A CN112241715 A CN 112241715A
- Authority
- CN
- China
- Prior art keywords
- sample
- expression
- training
- sample images
- expression recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 159
- 238000012549 training Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000005070 sampling Methods 0.000 claims abstract description 60
- 230000001815 facial effect Effects 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 230000008921 facial expression Effects 0.000 description 10
- 206010063659 Aversion Diseases 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000007935 neutral effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了模型训练方法、表情识别方法、装置、设备及存储介质，涉及人工智能领域。具体实现方案为：获取多个样本图像，其中，所述样本图像中包含有面部区域；确定所述样本图像所包含面部区域的表情特征，并基于所述表情特征对所述多个样本图像进行分类，得到至少两个样本集，其中，不同所述样本集中样本图像的表情特征不同；至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率；基于所述采样概率从所述样本集中抽取样本图像作为训练样本，并至少利用所述训练样本对表情识别模型进行训练。如此，来解决现有样本不均衡的问题，进而为提升表情识别模型的识别率奠定基础。
Description
技术领域
本申请涉及数据处理领域，尤其涉及人工智能领域，具体涉及计算机视觉和深度学习技术领域。
背景技术
现实场景中人脸表情数据非常有限，特别是如恐惧、厌恶等表情更加难以获得，而平静和高兴相对容易获得，这样，导致样本不均匀，在对表情识别模型进行训练时，必然由于样本不均衡而导致表情识别模型的识别率下降。
发明内容
本申请提供了一种模型训练方法、表情识别方法、装置、设备及存储介质。
根据本申请的一方面，提供了一种模型训练方法，包括：
获取多个样本图像，其中，所述样本图像中包含有面部区域；
确定所述样本图像所包含面部区域的表情特征，并基于所述表情特征对所述多个样本图像进行分类，得到至少两个样本集，其中，不同所述样本集中样本图像的表情特征不同；
至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率；
基于所述采样概率从所述样本集中抽取样本图像作为训练样本，并至少利用所述训练样本对表情识别模型进行训练。
根据本申请的另一方面，提供了一种表情识别方法，包括：
获取待进行表情识别的面部图像；
将所述面部图像输入至表情识别模型后，输出与所述面部图像相匹配的表情特征；其中，所述表情识别模型为以上所述的模型训练方法训练后所得到的。
根据本申请的再一方面，提供了一种模型训练装置，包括：
样本图像获取单元，用于获取多个样本图像，其中，所述样本图像中包含有面部区域；
分类处理单元，用于确定所述样本图像所包含面部区域的表情特征，并基于所述表情特征对所述多个样本图像进行分类，得到至少两个样本集，其中，不同所述样本集中样本图像的表情特征不同；
采样概率确定单元，用于至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率；
模型训练单元，用于基于所述采样概率从所述样本集中抽取样本图像作为训练样本，并至少利用所述训练样本对表情识别模型进行训练。
根据本申请的再一方面，提供了一种表情识别装置，包括：
待处理图像确定单元，用于获取待进行表情识别的面部图像；
表情识别单元，用于将所述面部图像输入至表情识别模型后，输出与所述面部图像相匹配的表情特征；其中，所述表情识别模型为以上所述的模型训练方法训练后所得到的。
根据本申请的再一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的模型训练方法；或者，执行以上所述的表情识别方法。
根据本申请的再一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行以上所述的模型训练方法；执行以上所述的表情识别方法。
根据本申请的技术解决了现有样本不均衡的问题，进而为提升表情识别模型的识别率奠定基础。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例模型训练方法的实现流程示意图；
图2是根据本申请实施例模型训练方法在一具体示例中的实现流程示意图；
图3是根据本申请实施例表情识别方法的实现流程示意图；
图4是根据本申请实施例模型训练装置的结构示意图；
图5是根据本申请实施例表情识别方法的结构示意图；
图6是用来实现本申请实施例的模型训练方法或表情识别方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请方案提供了一种模型训练方法，具体地，图1是根据本申请实施例模型训练方法的实现流程示意图，如图1所示，该方法包括：
步骤S101：获取多个样本图像，其中，所述样本图像中包含有面部区域。
步骤S102：确定所述样本图像所包含面部区域的表情特征，并基于所述表情特征对所述多个样本图像进行分类，得到至少两个样本集，其中，不同所述样本集中样本图像的表情特征不同。
步骤S103：至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率。
步骤S104：基于所述采样概率从所述样本集中抽取样本图像作为训练样本，并至少利用所述训练样本对表情识别模型进行训练。
这样，由于本申请方案能够基于样本集中样本图像的数量，来确定样本集的采样概率，如此，来从采样维度解决了样本不均衡的问题，为后续提升表情识别模型的识别率奠定了基础。
本申请方案中，由于不同样本集中样本图像的数量不同，所以，不同样本集所对应的采样概率可以不同，如此，来从采样维度解决样本不均衡的问题。
在一示例中，面部区域可以具体为人脸区域，此时，表情特征可以具体为人脸的表情，如生气(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happiness)、悲伤(Sadness)、惊讶(Surprise)和中性(Neutral)等，如此，基于表情特征来对样本图像进行分类处理，将相同表情的图像划分到同一样本集中，将不同表情的图像划分为不同的样本集中，不同所述样本集中样本图像的表情特征不同，得到多个样本集，每个样本集中包含有至少一个样本图像。
值得注意的是，面部区域还可以为其他生物体的面部图像，比如动物等，本申请方案并非限制于人脸表情识别，只需基于不同的识别物体采集不同的样本图像即可。
在本申请方案的一具体示例中，在所述表情识别模型的全连接层之后设置有第一损失函数，用于确定所述全连接层输出的特征信息的损失值；所述第一损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。如此，从损失函数维度来解决样本不均衡的问题，进而为进一步提升表情识别模型的识别率奠定基础。
实际应用中，所述第一损失函数可以具体为焦点损失focal loss函数，该focalloss函数设置于所述表情识别模型的全连接层之后，用于对该全连接层输出的特征信息进行损失值的计算，而且，该focal loss函数中对应于表情特征的参数的权重与采样概率相关，比如，focal loss函数中表情特征的参数的权重等于该表情特征对应的样本集的采样概率，进而为增加训练集中样本量较小的loss权重，进而来实现样本均衡，为进一步提升表情识别模型的识别率奠定基础。
在本申请方案的一具体示例中，所述表情识别模型的最后一层卷积层之后设置有第二损失函数，用于确定所述最后一层卷积层输出的特征信息的损失值。如此，从损失函数维度来解决样本不均衡的问题，进而为进一步提升表情识别模型的识别率奠定基础。
实际应用中，所述第二损失函数可以具体为中心损失center loss函数，该centerloss函数为每一个类别(也即样本集)提供一个类别中心，进而最小化类内数据(即样本集内部)中样本图像与该类别中心的距离，以达到缩小类内距离的目的，进而增大类别之间的特征差异。具体地，该center loss函数设置在表情识别模型的最后一层卷积层之后，用于对该最后一层卷积层输出的特征信息进行损失值的计算。进而，来为实现样本均衡，为进一步提升表情识别模型的识别率奠定基础。
需要说明的是，实际训练过程中，上述两个损失函数可以择一而使用，即仅使用第一损失函数，或者仅使用第二损失函数；或者，还可以两者均使用，即使用第一损失函数和第二损失函数，此时，将两个损失函数的损失值相加来作为最后的损失值即可，如此，基于相加后得到的损失值来进行模型训练直至模型收敛。
在本申请方案的一具体示例中，所述第二损失函数中表征各类表情特征的参数对应设置有权重，所述第二损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。也就是说，类似于第一损失函数，该第二损失函数中也可以为表情特征的参数设置权重，举例来说，为center loss函数中设置表情特征的参数的权重，此时，该center loss函数中对应于表情特征的参数的权重与采样概率相关，比如等于该类表情特征对应的样本集的采样概率。如此，从损失函数维度来解决样本不均衡的问题，进而为进一步提升表情识别模型的识别率奠定基础。
需要说明的是，实际训练过程中，无论单独使用第二损失函数，还是共同使用第一损失函数和第二损失函数的场景中，均可以使用本示例方式来为第二损失函数设置权重。
在本申请方案的一具体示例中，上述步骤S103中至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率，可以具体包括：
基于所述样本集中样本图像的数量与所有所述样本图像的总数量之比，得到所述样本集占所有样本图像的比值；基于所述比值来确定针对所述样本集的采样概率。如此，来解决样本不均衡的问题，提升训练过程中的样本均衡率，进而为提升表情识别模型的识别率奠定基础。
基于本示例方案可以对样本数量较少的样本集设置更大的权重，也即进行数据增强(data augmentation)，如此，来缓解样本不均衡的问题；举例来说，以人脸表情为例，可以根据人脸肌肉的变化分为7类基本表情，生气(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happiness)、悲伤(Sadness)、惊讶(Surprise)和中性(Neutral)，基于此，根据该7类表情，对获取的样本图像进行分类，得到七个样本集。假设，该7个样本集中样本图像的数量分别为n1、n2、n3、n4、n5、n6、n7，总体样本数(所有样本图像的数量)为n，此时，对每个样本集进行随机数据增强处理的概率(也即采样概率)则可以分别为
进而根据随机数据增强处理的概率来进行样本随机抽取，此时，若某个样本集中样本数占比小，则该样本集在训练过程中随机采样的概率会较大，反之较小，如此，来扩充样本占比较少类别的数量，实现样本均衡。举例来说，恐惧、厌恶等表情的样本图像较少，此时，由于设置了随机数据增强处理的概率，且针对于恐惧、厌恶等表情的样本概率较大，即采样概率较大，所以，该恐惧、厌恶等表情的样本被抽取的概率较大，如此，来提升mini-batch随机采样过程中，该恐惧、厌恶等表情的样本图像作为训练图像的概率，进而实现样本均衡。
在本申请方案的一具体示例中，上述步骤S104中至少利用所述训练样本对表情识别模型进行训练，可以具体包括：对所述训练样本的表情特征进行标注；至少将标注处理后的所述训练样本输入至所述表情识别模型，以进行模型训练。如此，来完成对表情识别模型的训练，进而得到训练完成后的表情识别模型，此时，该表情识别模型即能够对面部表情进行识别，而且，识别率高、准确率高，能够丰富实用场景的同时，提升用户体验。
这样，由于本申请方案能够基于样本集中样本图像的数量，来确定样本集的采样概率，如此，来从采样维度解决了样本不均衡的问题，为后续提升表情识别模型的识别率奠定了基础。
以下结合具体示例对本申请方案做进一步详细说明，具体地，本示例为解决现实场景面部表情(比如，人脸表情等，以下以人脸表情识别为例进行介绍)样本分布不均衡导致的表情识别准确率低的问题，提出了一种样本均衡的卷进神经网络训练方法，在训练过程中通过平衡mini-batch里每类(本示例，可基于表情特征进行分类，每类的表情特征不同，即此处的类对应于以上所述的样本集)样本的数量，并对训练集中样本较少的类别设置更大的权重，也即进行数据增强(data augmentation)，如此，来缓解训练集中样本不均衡的问题；同时，在训练过程中引入焦点损失focal loss函数(也即第一损失函数)，和中心损失center loss函数(也即第二损失函数)，一方面，利用focal loss来增加训练集中难样本(本示例样本较少的类别可称之为难样本)的loss权重，另一方面，利用center loss来缩小类内距离，以增大类之间的距离，即从两个维度来缓解样本不均衡问题，这样，不仅可以使表情识别模型更容易学习表情信息，以及更容易收敛，而且还可以大大提高复杂环境下表情识别模型的准确率和鲁棒性。
实际应用中，表情识别模型精度的提高还有利于提高诸多应用的服务质量，例如在媒体信息投放方面，有利于辅助推荐更符合用户需求的搜索结果，实现精准投放；在远程教育方面，有利于识别学生的情绪来改善教学内容，提高远程教育质量；在驾驶员监控场景中，有利于识别驾驶员的情绪，对驾驶员进行相应提示，以保证驾驶员的安全。
这里，本示例中所述表情识别模型可以具体采用卷积神经网络。具体地，图2是根据本申请实施例模型训练方法在一具体示例中的实现流程示意图；如图2所示，该方法的步骤如下：
获取一系列包含人脸表情的图像(也即样本图像)，其中，在一示例中，人脸表情可以根据人脸肌肉的变化分为7类基本表情，生气(Angry)、厌恶(Disgust)、恐惧(Fear)、高兴(Happiness)、悲伤(Sadness)、惊讶(Surprise)和中性(Neutral)，根据该7类表情，对获取的图像进行分类。同时定义人脸包含的72个关键点，并分别记为(x1,y1)，……，(x72,y72)。
对每张图像进行图像预处理，具体地，首先，通过检测模型对图像中人脸区域进行检测，得到人脸所在的大致位置区域，下述将该人脸所在的大致位置区域对应的图像称为目标人脸图像；这里，检测模型可以采用为已有人脸检测模型，以检测到人脸位置。其次，通过人脸关键点检测模型对目标人脸图像的人脸关键点进行检测，得到人脸的关键点坐标值；这里，人脸关键点检测模型为已有模型，调用已有的人脸关键点检测模型，输入目标人脸图像，即可得到72个人脸关键点坐标，即得到(x1,y1)，……，(x72,y72)。然后根据人脸的关键点坐标值进行人脸对齐，并调整到预设尺寸，比如，调整到128x128，得到新的坐标值。最后，将得到的新的72个人脸关键点坐标进行归一化处理。这里，所述归一化处理指将目标人脸图像中的每一个像素点依次进行归一化处理，归一化处理的方法包括：将每个像素点的像素值减128再除以256，使每个像素的像素值在[-0.5，0.5]之间；需要注意的是，实际应用中，还可以其他归一化处理方式，本申请方案对此不作限制。
将归一化处理后的目标人脸图像进行数据增强处理，具体地，根据每类样本在整个样本中的占比设定随机数据增强的强度，比如，在所有图像中，该7类表情的样本数分别为n1、n2、n3、n4、n5、n6、n7，总体样本数为n，则对每一类进行随机数据增强处理的概率(也即采样概率)分别为
进而根据随机数据增强处理的概率来进行样本随机抽取，此时，若某类样本数占比小，则该类样本在训练过程中随机采样的概率会较大，反之较小，如此，来扩充样本占比较少类别的数量，实现样本均衡。举例来说，恐惧、厌恶等表情的样本图像较少，此时，由于设置了随机数据增强处理的概率，且针对于恐惧、厌恶等表情的样本概率较大，即采样概率较大，所以，该恐惧、厌恶等表情的样本被抽取的概率较大，如此，来提升mini-batch随机采样过程中，该恐惧、厌恶等表情的样本图像作为训练图像的概率，进而实现样本均衡。
基于数据增强处理后的图像对卷积神经网络进行训练。这里，本示例在训练过程中，可以使用VGG11结构作为本示例中卷积神经网络的特征提取网络，此时，在最后一层全连接层后面进行focal loss监督，来增加训练数据中的难样本的loss权重，如此，大大提升模型对数量较少的样本(也即难样本)的识别能力。
本示例为进一步实现样本均衡，还使用了center loss函数，即在focal loss函数的基础上增加了center loss函数，这里，center loss函数为每一个类别提供一个类别中心，进而最小化类内数据中样本与该类别中心的距离，以达到缩小类内距离的目的，进而增大类别之间的特征差异。这里，center loss公式如下所示，其中，cyi表示第yi个类别的特征中心，xi表示全连接层之前的特征信息，也即全连接层输出的特征信息，m表示mini-batch的大小。
本示例中，center loss函数设置在表情识别模型的最后一层卷积层之后，用于对该最后一层卷积层输出的特征信息进行损失值的计算。所述focal loss函数设置于表情识别模型的全连接层之后，用于对该全连接层输出的特征信息进行损失值的计算。进而将两个损失值相加来作为最后的损失值，如此，基于损失值来进行模型训练直至模型收敛。
值得注意的是，第一，focal loss函数中对应于表情的参数的权重与采样概率相关，比如，focal loss函数中表情的参数的权重等于该类表情的采样概率。第二，上述center loss函数公式中未涉及有表情的参数的权重，实际应用中，也可以类似于focalloss，设置表情的参数的权重，此时，该center loss函数中对应于表情的参数的权重与采样概率相关，比如，center loss函数中表情的参数的权重等于该类表情的采样概率。
这样，与现有不考虑样本数量不均衡的训练结果相比，本申请方案能够在人工增加样本图像的情况下，实现样本均衡的目的，进而提升了表情识别模型的识别精确度。
本申请方案还提供了一种表情识别方法，如图3所示，该方法包括：
步骤S301：获取待进行表情识别的面部图像。
步骤S302：将所述面部图像输入至表情识别模型后，输出与所述面部图像相匹配的表情特征；其中，所述表情识别模型为权利要求1至6任一项所述的方法训练后所得到的。
这样，由于表情识别模型为样本均衡处理后得到的模型，所以，利用该表情识别模型识别得到的表情特征更精准，进而为后续丰富表情识别模型的使用场景，提升用户体验奠定了基础。
需要说明的是，本申请方案还可以应用在视觉交互、智能控制、辅助驾驶、远程教育、广告精准投放等领域。
本申请方案还提供了一种模型训练装置，如图4所示，包括：
样本图像获取单元401，用于获取多个样本图像，其中，所述样本图像中包含有面部区域；
分类处理单元402，用于确定所述样本图像所包含面部区域的表情特征，并基于所述表情特征对所述多个样本图像进行分类，得到至少两个样本集，其中，不同所述样本集中样本图像的表情特征不同；
采样概率确定单元403，用于至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率；
模型训练单元404，用于基于所述采样概率从所述样本集中抽取样本图像作为训练样本，并至少利用所述训练样本对表情识别模型进行训练。
在本申请方案的一具体示例中，在所述表情识别模型的全连接层之后设置有第一损失函数，用于确定所述全连接层输出的特征信息的损失值；所述第一损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。
在本申请方案的一具体示例中，所述表情识别模型的最后一层卷积层之后设置有第二损失函数，用于确定所述最后一层卷积层输出的特征信息的损失值。
在本申请方案的一具体示例中，所述第二损失函数中表征各类表情特征的参数对应设置有权重，所述第二损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。
在本申请方案的一具体示例中，所述采样概率确定单元，包括：
计算子单元，用于基于所述样本集中样本图像的数量与所有所述样本图像的总数量之比，得到所述样本集占所有样本图像的比值；
确定子单元，用于基于所述比值来确定针对所述样本集的采样概率。
在本申请方案的一具体示例中，所述模型训练单元，包括：
标注子单元，用于对所述训练样本的表情特征进行标注；
模型训练子单元，用于至少将标注处理后的所述训练样本输入至所述表情识别模型，以进行模型训练。
本申请方案还提供了一种表情识别装置，如图5所示，包括：
待处理图像确定单元501，用于获取待进行表情识别的面部图像；
表情识别单元502，用于将所述面部图像输入至表情识别模型后，输出与所述面部图像相匹配的表情特征；其中，所述表情识别模型为以上所述的模型训练方法训练后所得到的。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。需要说明的是，实际应用中，应用于模型训练方法的电子设备和应用于表情识别方法的电子设备结构可以类似，同理，可读存储介质的结构可以类似，所以，为避免重复，不分别对应用于两种方法的电子设备或可读存储介质进行介绍，即以下所述的电子设备和可读存储介质可以应用于模型训练方法或表情识别方法。
如图6所示，是根据本申请实施例的模型训练方法或表情识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的模型训练方法或表情识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的模型训练方法或表情识别方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的模型训练方法或表情识别方法对应的程序指令/模块(例如，附图4所示的样本图像获取单元401、分类处理单元402、采样概率确定单元403和模型训练单元404，或者，附图5所示的待处理图像确定单元501和表情识别单元502)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的模型训练方法或表情识别方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据模型训练方法或表情识别方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至模型训练方法或表情识别方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
模型训练方法或表情识别方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与模型训练方法或表情识别方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。
根据本申请实施例的技术方案，由于本申请方案能够基于样本集中样本图像的数量，来确定样本集的采样概率，如此，来从采样维度解决了样本不均衡的问题，为后续提升表情识别模型的识别率奠定了基础。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (16)
1.一种模型训练方法，包括：
获取多个样本图像，其中，所述样本图像中包含有面部区域；
确定所述样本图像所包含面部区域的表情特征，并基于所述表情特征对所述多个样本图像进行分类，得到至少两个样本集，其中，不同所述样本集中样本图像的表情特征不同；
至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率；
基于所述采样概率从所述样本集中抽取样本图像作为训练样本，并至少利用所述训练样本对表情识别模型进行训练。
2.根据权利要求1所述的方法，其中，在所述表情识别模型的全连接层之后设置有第一损失函数，用于确定所述全连接层输出的特征信息的损失值；所述第一损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。
3.根据权利要求1或2所述的方法，其中，所述表情识别模型的最后一层卷积层之后设置有第二损失函数，用于确定所述最后一层卷积层输出的特征信息的损失值。
4.根据权利要求3所述的方法，其中，所述第二损失函数中表征各类表情特征的参数对应设置有权重，所述第二损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。
5.根据权利要求1所述的方法，其中，所述至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率，包括：
基于所述样本集中样本图像的数量与所有所述样本图像的总数量之比，得到所述样本集占所有样本图像的比值；
基于所述比值来确定针对所述样本集的采样概率。
6.根据权利要求1所述的方法，其中，所述至少利用所述训练样本对表情识别模型进行训练，包括：
对所述训练样本的表情特征进行标注；
至少将标注处理后的所述训练样本输入至所述表情识别模型，以进行模型训练。
7.一种表情识别方法，包括：
获取待进行表情识别的面部图像；
将所述面部图像输入至表情识别模型后，输出与所述面部图像相匹配的表情特征；其中，所述表情识别模型为权利要求1至6任一项所述的方法训练后所得到的。
8.一种模型训练装置，包括：
样本图像获取单元，用于获取多个样本图像，其中，所述样本图像中包含有面部区域；
分类处理单元，用于确定所述样本图像所包含面部区域的表情特征，并基于所述表情特征对所述多个样本图像进行分类，得到至少两个样本集，其中，不同所述样本集中样本图像的表情特征不同；
采样概率确定单元，用于至少基于所述样本集中样本图像的数量，确定针对所述样本集的采样概率；
模型训练单元，用于基于所述采样概率从所述样本集中抽取样本图像作为训练样本，并至少利用所述训练样本对表情识别模型进行训练。
9.根据权利要求8所述的装置，其中，在所述表情识别模型的全连接层之后设置有第一损失函数，用于确定所述全连接层输出的特征信息的损失值；所述第一损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。
10.根据权利要求8或9所述的装置，其中，所述表情识别模型的最后一层卷积层之后设置有第二损失函数，用于确定所述最后一层卷积层输出的特征信息的损失值。
11.根据权利要求10所述的装置，其中，所述第二损失函数中表征各类表情特征的参数对应设置有权重，所述第二损失函数中表征各类表情特征的参数的权重与所述采样概率相关联。
12.根据权利要求8所述的装置，其中，所述采样概率确定单元，包括：
计算子单元，用于基于所述样本集中样本图像的数量与所有所述样本图像的总数量之比，得到所述样本集占所有样本图像的比值；
确定子单元，用于基于所述比值来确定针对所述样本集的采样概率。
13.根据权利要求8所述的装置，其中，所述模型训练单元，包括：
标注子单元，用于对所述训练样本的表情特征进行标注；
模型训练子单元，用于至少将标注处理后的所述训练样本输入至所述表情识别模型，以进行模型训练。
14.一种表情识别装置，包括：
待处理图像确定单元，用于获取待进行表情识别的面部图像；
表情识别单元，用于将所述面部图像输入至表情识别模型后，输出与所述面部图像相匹配的表情特征；其中，所述表情识别模型为权利要求1至6任一项所述的方法训练后所得到的。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法；或者，执行权利要求7所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法；或者，执行权利要求7所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011146349.8A CN112241715A (zh) | 2020-10-23 | 2020-10-23 | 模型训练方法、表情识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011146349.8A CN112241715A (zh) | 2020-10-23 | 2020-10-23 | 模型训练方法、表情识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112241715A true CN112241715A (zh) | 2021-01-19 |
Family
ID=74169388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011146349.8A Pending CN112241715A (zh) | 2020-10-23 | 2020-10-23 | 模型训练方法、表情识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112241715A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128588A (zh) * | 2021-04-16 | 2021-07-16 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
| CN113159101A (zh) * | 2021-02-23 | 2021-07-23 | 北京三快在线科技有限公司 | 模型获取方法、用户处理方法、装置及电子设备 |
| CN113269678A (zh) * | 2021-06-25 | 2021-08-17 | 石家庄铁道大学 | 接触网输电线路的故障点定位方法 |
| CN113420792A (zh) * | 2021-06-03 | 2021-09-21 | 阿波罗智联(北京)科技有限公司 | 图像模型的训练方法、电子设备、路侧设备及云控平台 |
| CN113887325A (zh) * | 2021-09-10 | 2022-01-04 | 北京三快在线科技有限公司 | 一种模型训练方法、表情识别方法以及装置 |
| CN114724226A (zh) * | 2022-04-25 | 2022-07-08 | 中国平安人寿保险股份有限公司 | 表情识别模型训练方法、电子设备、存储介质 |
| CN116912920A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法及装置 |
| CN117079256A (zh) * | 2023-10-18 | 2023-11-17 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800807A (zh) * | 2019-01-18 | 2019-05-24 | 北京市商汤科技开发有限公司 | 分类网络的训练方法及分类方法和装置、电子设备 |
| CN109902660A (zh) * | 2019-03-18 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 一种表情识别方法及装置 |
| CN110852396A (zh) * | 2019-11-15 | 2020-02-28 | 苏州中科华影健康科技有限公司 | 一种宫颈图像的样本数据处理方法 |
-
2020
- 2020-10-23 CN CN202011146349.8A patent/CN112241715A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800807A (zh) * | 2019-01-18 | 2019-05-24 | 北京市商汤科技开发有限公司 | 分类网络的训练方法及分类方法和装置、电子设备 |
| CN109902660A (zh) * | 2019-03-18 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 一种表情识别方法及装置 |
| CN110852396A (zh) * | 2019-11-15 | 2020-02-28 | 苏州中科华影健康科技有限公司 | 一种宫颈图像的样本数据处理方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113159101A (zh) * | 2021-02-23 | 2021-07-23 | 北京三快在线科技有限公司 | 模型获取方法、用户处理方法、装置及电子设备 |
| CN113128588A (zh) * | 2021-04-16 | 2021-07-16 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
| CN113128588B (zh) * | 2021-04-16 | 2024-03-26 | 深圳市腾讯网域计算机网络有限公司 | 模型训练方法、装置、计算机设备及计算机存储介质 |
| CN113420792A (zh) * | 2021-06-03 | 2021-09-21 | 阿波罗智联(北京)科技有限公司 | 图像模型的训练方法、电子设备、路侧设备及云控平台 |
| CN113269678A (zh) * | 2021-06-25 | 2021-08-17 | 石家庄铁道大学 | 接触网输电线路的故障点定位方法 |
| CN113887325A (zh) * | 2021-09-10 | 2022-01-04 | 北京三快在线科技有限公司 | 一种模型训练方法、表情识别方法以及装置 |
| CN114724226A (zh) * | 2022-04-25 | 2022-07-08 | 中国平安人寿保险股份有限公司 | 表情识别模型训练方法、电子设备、存储介质 |
| CN114724226B (zh) * | 2022-04-25 | 2024-05-21 | 中国平安人寿保险股份有限公司 | 表情识别模型训练方法、电子设备、存储介质 |
| CN116912920A (zh) * | 2023-09-12 | 2023-10-20 | 深圳须弥云图空间科技有限公司 | 表情识别方法及装置 |
| CN116912920B (zh) * | 2023-09-12 | 2024-01-05 | 深圳须弥云图空间科技有限公司 | 表情识别方法及装置 |
| CN117079256A (zh) * | 2023-10-18 | 2023-11-17 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
| CN117079256B (zh) * | 2023-10-18 | 2024-01-05 | 南昌航空大学 | 基于目标检测及关键帧快速定位的疲劳驾驶检测算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112241715A (zh) | 模型训练方法、表情识别方法、装置、设备及存储介质 | |
| CN110795569B (zh) | 知识图谱的向量表示生成方法、装置及设备 | |
| CN111414482A (zh) | 一种事件论元抽取方法、装置以及电子设备 | |
| CN111860362A (zh) | 生成人脸图像校正模型及校正人脸图像的方法和装置 | |
| CN111259671A (zh) | 文本实体的语义描述处理方法、装置及设备 | |
| CN111553428A (zh) | 用于训练判别模型的方法、装置、设备及可读存储介质 | |
| CN112507090B (zh) | 用于输出信息的方法、装置、设备和存储介质 | |
| CN112560505A (zh) | 一种对话意图的识别方法、装置、电子设备及存储介质 | |
| JP7267379B2 (ja) | 画像処理方法、事前トレーニングモデルのトレーニング方法、装置及び電子機器 | |
| CN110418163B (zh) | 视频帧采样方法、装置、电子设备及存储介质 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| CN112561056A (zh) | 神经网络模型的训练方法、装置、电子设备和存储介质 | |
| CN112529180A (zh) | 模型蒸馏的方法和装置 | |
| CN111862031A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| CN113157829A (zh) | 一种兴趣点名称比对方法、装置、电子设备和存储介质 | |
| CN111523467A (zh) | 人脸跟踪方法和装置 | |
| CN111768005A (zh) | 轻量级检测模型的训练方法、装置、电子设备及存储介质 | |
| CN112559715B (zh) | 态度的识别方法、装置、设备及存储介质 | |
| CN109933793A (zh) | 文本极性识别方法、装置、设备及可读存储介质 | |
| CN110738261B (zh) | 图像分类和模型训练方法、装置、电子设备及存储介质 | |
| CN112529181A (zh) | 用于模型蒸馏的方法和装置 | |
| CN112910761A (zh) | 即时通讯方法、装置、设备、存储介质以及程序产品 | |
| CN112328776A (zh) | 对话生成方法、装置、电子设备和存储介质 | |
| CN111862030A (zh) | 一种人脸合成图检测方法、装置、电子设备及存储介质 | |
| CN111767990A (zh) | 神经网络的处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |