CN110598587B - 结合弱监督的表情识别网络训练方法、***、介质及终端 - Google Patents

结合弱监督的表情识别网络训练方法、***、介质及终端 Download PDF

Info

Publication number
CN110598587B
CN110598587B CN201910795777.4A CN201910795777A CN110598587B CN 110598587 B CN110598587 B CN 110598587B CN 201910795777 A CN201910795777 A CN 201910795777A CN 110598587 B CN110598587 B CN 110598587B
Authority
CN
China
Prior art keywords
network
feature map
expression
classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910795777.4A
Other languages
English (en)
Other versions
CN110598587A (zh
Inventor
袁德胜
游浩泉
王作辉
王海涛
姚磊
杨进参
张宏俊
吴贺丰
余明静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winner Technology Co ltd
Original Assignee
Winner Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winner Technology Co ltd filed Critical Winner Technology Co ltd
Priority to CN201910795777.4A priority Critical patent/CN110598587B/zh
Publication of CN110598587A publication Critical patent/CN110598587A/zh
Application granted granted Critical
Publication of CN110598587B publication Critical patent/CN110598587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种结合弱监督的表情识别网络训练方法、***、介质及终端。所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络；所述方法包括以下步骤：对所述特征图提取网络进行训练；对所述特征图匹配子网络和所述分类子网络进行训练。本发明通过引入人脸表情特征图进行弱监督学习，大大提高了人脸表情识别分类的精确度与鲁棒性，使本发明能够适应不同角度、失真与否、遮挡与否等各种场景下的人脸图像的表情识别，达到了对表情识别网络进行多任务学习的目的，提高了人脸表情识别的准确度；从而通过对人脸表情进行识别，可以对顾客满意度进行分析、对驾驶员进行疲劳检测或者用于心理治疗。

Description

结合弱监督的表情识别网络训练方法、***、介质及终端
技术领域
本发明属于人脸表情识别技术领域，特别是涉及一种结合弱监督的表情识别网络训练方法、***、介质及终端。
背景技术
人脸表情是表达情感和信息交流的重要方式，人脸表情识别(Facial ExpressionRecognition)在许多人机交互***中具有重要意义，比如社交机器人，驾驶员疲劳检测，顾客满意度检测，医疗等。1971年，心理学家Ekman与Friesen的研究最早提出人类有六种主要情感，每种情感以唯一的表情来反映人的一种独特的心理活动，这六种情感被称为基本情感，分别是愤怒(anger)、高兴(happiness)、悲伤(sadness)、惊讶(surprise)、厌恶(disgust)、和恐惧(fear)，与其它计算机视觉问题一样，人脸表情识别也面临许多挑战，如头部姿态偏斜，遮挡，表情图像所属类别的粒度更为精细，类间差异细微。
现有人脸表情识别的方法主要分为以下几种：
1)基于外观特征的表情识别：外观特征是基于使用整个面部图像的像素属性的特征，常用的外观特征包括Gabor texture、LBP(Local Binary Pattern)、HOG(Histogram ofOriented Gradients)。外观特征可以捕获人脸的纹理信息特征。
2)基于几何特征的表情识别：几何特征一般表示人脸结构的变化，从人脸区域检测出人脸标定点，根据标定点之间的几何联系，来提取人脸特征和表情特征。
3)基于CNN(Convolutional Neural Networks，卷积神经网络)的表情识别：CNN对人脸位置变化和尺度变化具有很强的鲁棒性。Bargal等人将不同的CNN中学习到的特征进行级联，组成一个特征向量来描述输入图像；Zhang等人提出多模型MSCNN，同时训练人脸表情识别和人脸验证任务。
上述现有人脸表情识别的方法存在以下缺点：
基于外观特征的方法，当人脸发生角度变化，以及姿态改变时，就无法高效的捕捉人脸的特征。
基于几何特征的方法，对人脸标定点的错误检测可能会降低模型对人脸表情识别的精度。
基于CNN的方法相比传统方法在效果上有了很大提升，它比人工特征拥有更强大的描述能力，能够有效捕捉人脸表情得特征，但是由于表情之间的区分度较小，现有的方法对于表情的辨别能力还有待提高，从而无法实现准确分类。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种结合弱监督的表情识别网络训练方法、***、介质及终端，通过引入对人脸表情信息进行提取获得的特征图，能够实现准确识别人脸表情，捕捉表情类别之间微小的局部差异，达到了准确分类的目的。
为实现上述目的及其它相关目的，本发明提供一种结合弱监督的表情识别网络训练方法，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络；所述方法包括以下步骤：对所述特征图提取网络进行训练；所述训练的步骤包括：利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度；对所述特征图匹配子网络和所述分类子网络进行训练；所述训练的步骤包括：将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
于本发明的一实施例中，所述输入的人脸表情图像包括人工区分的指定表情的表情图像和非指定表情的表情图像；对所述特征图提取网络进行训练，所述训练的步骤包括：通过所述特征图提取网络获取所述指定表情和所述非指定表情的分类预测概率；将所述指定表情、所述非指定表情的分类预测概率与人工区分的指定表情和非指定表情的分类真实概率进行差异计算，以获取所述特征图提取网络的损失度；循环执行步骤，直至所述特征图提取网络的损失度不再下降，停止训练，选取损失度最小值对应的特征图提取网络为最优特征图提取网络。
于本发明的一实施例中，所述特征图提取网络的损失度采用交叉熵损失函数计算，计算公式为：
L((Qa,Qb)(Pa,Pb))＝-(Qa logPa+Qb logPb)
其中，L((Qa,Qb)(Pa,Pb))是损失度，Qa、Qb分别是指定表情和非指定表情的分类真实概率，Pa、Pb分别是指定表情、非指定表情的分类预测概率。
于本发明的一实施例中，对所述特征图匹配子网络进行训练，所述训练的步骤包括：将所述低层空间特征和所述指定表情的表情特征图输入至所述特征图匹配子网络；利用所述特征图匹配子网络使所述表情特征图对所述低层空间特征进行学习，以获取经过所述特征图匹配子网络匹配训练后的特征图；将所述匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；循环执行上述步骤，直至所述特征图匹配子网络的损失度不再下降，停止训练，选取损失度最小值对应的特征图匹配子网络为最优特征图匹配子网络。
于本发明的一实施例中，所述特征图匹配子网络的损失度的计算公式为：
Figure BDA0002180918700000031
其中，L(Θ)是损失度，F(Xi；Θ)是第i个匹配训练后的特征图的像素，Xi是第i个人脸表情图像，Fi是第i个表情特征图的像素，i的值取1至N，N指采集的人脸表情图像的预设个数。
于本发明的一实施例中，对所述分类子网络进行训练，所述训练的步骤包括：将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络；利用所述分类子网络使所述预先分类的结果对所述低层空间特征进行学习，以获取经过所述分类子网络分类训练后的分类结果；将所述分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度；循环执行上述步骤，直至所述分类子网络的损失度不再下降，停止训练，选取损失度最小值对应的分类子网络为最优分类子网络。
于本发明的一实施例中，在进行所述差异计算之前，分别对所述分类训练后的分类结果和所述预先分类的结果进行回归处理，将所述分类训练后的分类结果和所述预先分类的结果分别转换为预测概率、真实概率，以基于所述预测概率和所述真实概率进行差异计算，获取所述分类子网络的损失度，所述损失度采用交叉熵损失函数计算，计算公式为：
L(M,N)＝-MlogN
其中，L(M,N)是损失度，M是真实概率，N是预测概率。
本发明提供一种结合弱监督的表情识别网络训练***，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络；所述***包括：第一训练模块和第二训练模块；所述第一训练模块用于对所述特征图提取网络进行训练；所述训练的步骤包括利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度；所述第二训练模块用于对所述特征图匹配子网络和所述分类子网络进行训练；所述训练的步骤包括将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的结合弱监督的表情识别网络训练方法。
本发明提供一种终端，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的结合弱监督的表情识别网络训练方法。
如上所述，本发明所述的结合弱监督的表情识别网络训练方法、***、介质及终端，具有以下有益效果：
(1)通过融合人脸表情特征图进行弱监督学习，能够捕捉每一类表情与其他类别表情具有判别力以及区分性的特征，使用特征图表达每一类表情，使提取的特征具有较细的粒度，大大提高了人脸表情识别分类的精确度与鲁棒性。
(2)能够适应不同角度、失真与否、遮挡与否等各种场景下的人脸图像的表情识别。
(3)通过采用特征图匹配子网络对特征图进行匹配训练，采用分类子网络对采集的人脸表情进行预测分类，将这两个网络融合在一起，达到了对表情识别网络进行多任务学习的目的，提高了人脸表情识别的准确度。
(4)通过对人脸表情进行识别，可以对顾客满意度进行分析、对驾驶员进行疲劳检测或者用于心理治疗。
附图说明
图1显示为本发明的结合弱监督的表情识别网络训练方法于一实施例中的流程图。
图2显示为本发明的对特征图提取网络进行训练于一实施例中的流程图。
图3显示为本发明的对特征图匹配子网络进行训练于一实施例中的流程图。
图4显示为本发明的对分类子网络网络进行训练于一实施例中的流程图。
图5显示为本发明的结合弱监督的表情识别网络训练***于一实施例中的结构示意图。
图6显示为本发明的终端于一实施例中的结构示意图。
元件标号说明
51 第一训练模块
52 第二训练模块
61 处理器
62 存储器
S1～S2 训练表情识别网络步骤
S201～S203 训练特征图提取网络步骤
S301～S304 训练特征图匹配子网络步骤
S401～S404 训练分类子网络网络步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的结合弱监督的表情识别网络训练方法、***、介质及终端，通过融合人脸表情特征图进行弱监督学习，能够捕捉每一类表情与其他类别表情具有判别力以及区分性的特征，使用特征图表达每一类表情，使提取的特征具有较细的粒度，大大提高了人脸表情识别分类的精确度与鲁棒性；能够适应不同角度、失真与否、遮挡与否等各种场景下的人脸图像的表情识别；通过采用特征图匹配子网络对特征图进行匹配训练，采用分类子网络对采集的人脸表情进行预测分类，将这两个网络融合在一起，达到了对表情识别网络进行多任务学习的目的，提高了人脸表情识别的准确度；通过对人脸表情进行识别，可以对顾客满意度进行分析、对驾驶员进行疲劳检测或者用于心理治疗。
实施例一
本实施例提供一种结合弱监督的表情识别网络训练方法，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络；所述方法包括以下步骤：
对所述特征图提取网络进行训练；所述训练的步骤包括：
利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；
根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度。
对所述特征图匹配子网络和所述分类子网络进行训练；所述训练的步骤包括：
将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；
将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；
将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；
同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；
将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
以下将结合图1至图4对本实施例所提供的结合弱监督的表情识别网络训练方法进行详细描述。
于本实施例中，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络。
具体地，通过对特征图提取网络和特征图匹配子网络的训练，在人脸表情识别过程中引入特征图，再结合特征提取子网络和分类子网络实现对人脸表情的分类识别。
在本实施中，还可向该所述的表情识别网络加入人脸特征点检测、人脸验证等信息，以帮助表情识别网络的学习。
请参阅图1，显示为本发明的结合弱监督的表情识别网络训练方法于一实施例中的流程图。如图1所示，本发明的结合弱监督的表情识别网络训练方法包括以下步骤：
S1、对所述特征图提取网络进行训练。所述训练的步骤包括利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度。
进一步地，所述人脸表情图像的获取包括以下步骤：
(11)采集人体图片。
(12)从所述人体图片中提取人脸区域图像，并对所述人脸区域图像进行人脸矫正处理。
需要说明的是，从所述人体图片中提取所述人脸区域图像采用dlib工具，所述dlib工具能够检测人体图片中的人脸信息，并将人脸区域裁剪出来。
(13)对矫正处理后的所述人脸区域图像进行图像预处理，形成所述人脸表情图像。
需要说明的是，图像预处理操作包括：将所述人脸区域图像缩放成预设尺寸H*W(H表示图像长度，W表示图像宽度)；对所述人脸区域图像进行标准化或归一化处理(将人脸区域图像减去均值并除以方差)。
图像标准化是将数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果。图像归一化最常见的就是最大最小值归一化方法，归一化不会改变图像本身的信息存储，但是会将图像的像素值由之前的取值范围0～255转化为0～1之间，这对于网络处理有很大好处。对图像进行预处理操作时，一般来说只选择其中的一种，即标准化处理或归一化处理，不会同时使用两种。
在本实施中，所述输入的人脸表情图像包括人工区分的指定表情的表情图像和非指定表情的表情图像。
具体地，通过人工对采集的人脸表情图像进行分类，分为两类，一类是对应指定表情的表情图像，一类是对应非指定表情的表情图像，然后将分类后的这两类表情图像输入至所述特征图提取网络中。
需要说明的是，所述指定表情是愤怒、高兴、悲伤、惊讶、厌恶和恐惧等表情中的任何一种，在进行特征图提取网络的训练时，以某一种表情作为指定表情，将其对应的人脸表情图像输入至特征图提取网络中，其它的均作为非指定表情，也将其对应的人脸表情图像输入至特征图提取网络中，使特征图提取网络对该指定表情进行训练，以获取对应指定表情的表情特征图，想要获取某种表情的特征图，就将其作为指定表情，其它的作为非指定表情即可，在此就不一一赘述。
进一步地，所述非指定表情可替换成无表情的人脸图像，通过所述特征图提取网络同样能够获取指定表情区分于无表情的特征信息，减少了人脸无关信息对提取表情特征的干扰。
在本实施中，对所述特征图提取网络进行训练。
所述特征图提取网络用于对输入至所述特征图提取网络的人脸表情图像中的指定表情和非指定表情进行区分，以生成对应指定表情、非指定表情的表情特征图及对应指定表情、非指定表情的分类预测概率。
请参阅图2，显示为本发明的对特征图提取网络进行训练于一实施例中的流程图。如图2所示，所述S1具体包括以下步骤：
S201、通过所述特征图提取网络获取所述指定表情和所述非指定表情的分类预测概率。
需要说明的是，所述特征图提取网络的结构如下：
VGG-16
Conv-2-1
Global Average Pooling
其中，Conv-2-1代表使用通道数为2，卷积核大小为1的卷积层，用于输出指定表情的表情特征图和非指定表情的表情特征图；Global Average Pooling代表全局平均池化(对全局数据进行平均化)操作，用于输出对应指定表情和非指定表情的分类置信度。分类置信度表示所述特征图提取网络对指定表情的表情图像、非指定表情的表情图像进行训练后产生的分类预测概率。
S202、将所述指定表情、所述非指定表情的分类预测概率与人工区分的指定表情和非指定表情的分类真实概率进行差异计算，以获取所述特征图提取网络的损失度。
需要说明的是，分类真实概率是对采集人脸表情图像进行人工分类为指定表情的表情图像和非指定表情的表情图像所产生的概率。
具体地，通过对分类预测概率和分类真实概率进行差异计算，根据差异计算的结果获取特征图提取网络的损失度。
在本实施中，所述特征图提取网络的损失度采用交叉熵损失函数计算，计算公式为：
L((Qa,Qb)(Pa,Pb))＝-(Qa logPa+Qb logPb)
其中，L((Qa,Qb)(Pa,Pb))是损失度，Qa、Qb分别是指定表情和非指定表情的分类真实概率，Pa、Pb分别是指定表情、非指定表情的分类预测概率。
S203、循环执行上述步骤，直至所述特征图提取网络的损失度不再下降，停止训练，选取损失度最小值对应的特征图提取网络为最优特征图提取网络。
需要说明的是，特征图提取网络的优化器采用Adam，每次梯度回传都会使特征图提取网络的损失度下降，直至损失度不再下降为止，训练停止。
利用所述最优特征图提取网络对采集的人脸表情图像进行表情特征提取，得到对应所述人脸表情图像的指定表情的表情特征图。
进一步地，可通过最优特征图提取网络对采集的预设个均为指定表情的人脸表情图像进行表情特征提取，得到预设个指定表情的表情特征图，对预设个的表情特征图取平均值，得到该指定表情的最终特征图，计算公式为：
Figure BDA0002180918700000091
其中，N是指采集的人脸表情图像的预设个数，
Figure BDA0002180918700000092
是第i个人脸表情图像对应的表情特征图，FA是代表指定表情的最终特征图。
S2、对所述特征图匹配子网络和所述分类子网络进行训练。所述训练的步骤包括将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
具体地，在S2中采用多任务网络，通过特征图匹配子网络来进行特征图匹配，通过分类子网络来预测人脸表情，将两个网络有机的融合。
需要说明的是，所述低层空间特征是指图像中的边缘信息、角点信息及纹理信息。
在本实施中，所述特征图匹配子网络采用如下结构：
Figure BDA0002180918700000093
Figure BDA0002180918700000101
所述分类子网络采用如下结构：
Conv-256-1
Conv-128-1
Conv-64-1
FC-2048
FC-512
FC-6
在这里，为简洁地描述网络结构，所有的卷积层表示为Conv-通道数量-卷积核大小，所有卷积层使用填充方法来保持网络输入输出的大小一致，全连接层表示为FC-节点数量。
在本实施中，对所述特征图匹配子网络进行训练。
所述特征图匹配子网络用于对经所述特征图提取网络训练获取的特征图进行匹配学习，以使经过特征图匹配子网络训练产生的特征图与经所述特征图提取网络训练获取的特征图尽可能相似，减小经特征图提取网络训练产生的特征图与经特征图匹配子网络训练产生的特征图之间的差异。
需要说明的是，通过对特征图的弱监督学习，能够捕捉每一类表情与其他类别表情具有判别力以及区分性的特征，使用特征图表达每一类表情，使提取的特征具有较细的粒度，大大提高了人脸表情识别分类的精确度与鲁棒性。
弱监督学习是指数据集的标签是不可靠的，如(x，y)，y对于x的标记是不可靠的，这里的不可靠是指标记不正确、多种标记、标记不充分、局部标记等。针对监督信息不完整或不明确对象的学习问题统称为弱监督学习。
请参阅图3，显示为本发明的对特征图匹配子网络进行训练于一实施例中的流程图。如图3所示，所述训练的步骤包括：
S301、将所述低层空间特征和所述指定表情的表情特征图输入至所述特征图匹配子网络。
具体地，将所述的表情特征图作为所述指定表情的一种监督信息，与所述低层空间特征一起输入至特征图匹配子网络。表情特征图是为了捕获细粒度信息，对人脸表情图像进行高层语义的提取，增加特征图作为监督信息，较好的完成了表情识别的任务。
S302、利用所述特征图匹配子网络使所述表情特征图对所述低层空间特征进行学习，以获取经过所述特征图匹配子网络匹配训练后的特征图。
S303、将所述匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度。
需要说明的是，所述特征图匹配子网络的损失度用于表征所述匹配训练后的特征图与所述表情特征图之间的差异，差异越小，即表明两个特征图越相似。
在本实施中，所述特征图匹配子网络的损失度的计算公式为：
Figure BDA0002180918700000111
其中，L(Θ)是损失度，F(Xi；Θ)是第i个匹配训练后的特征图的像素，Xi是第i个人脸表情图像，Fi是第i个表情特征图的像素，i的值取1至N，N指采集的人脸表情图像的预设个数。
具体地，根据n维空间下欧氏距离的计算方法
Figure BDA0002180918700000112
可知，公式
Figure BDA0002180918700000113
的具体计算方法是：逐个将匹配训练后的特征图的像素与表情特征图的像素相减，并将所有差值平方后相加。因此，公式
Figure BDA0002180918700000114
可等同：
Figure BDA0002180918700000115
需要说明的是，特征图匹配子网络采用所述匹配训练后的特征图与所述表情特征图之间的欧氏距离来度量特征图匹配子网络的损失度。欧氏距离是一个通常采用的距离定义，指在n维空间中两个点之间的真实距离，或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧式距离就是两点之间的实际距离。
S304、循环执行上述步骤，直至所述特征图匹配子网络的损失度不再下降，停止训练，选取损失度最小值对应的特征图匹配子网络为最优特征图匹配子网络。
在本实施中，对所述分类子网络进行训练。
所述分类子网络用于对输入至分类子网络的人脸表情图像进行识别分类，通过将预先对人脸表情图像分类的结果向所述低层空间特征学习，以产生经所述分类子网络分类训练后的分类结果，使经所述分类子网络分类训练后的分类结果与预先对人脸表情图像分类的结果差异最小，以此表明所述分类子网络对人脸表情图像中的表情的识别分类能力好。
需要说明的是，在实际场景应用中，只需要将人脸表情图像输入至所述分类子网络中，即可实现对人脸表情图像中表情的识别分类。
请参阅图4，显示为本发明的对分类子网络网络进行训练于一实施例中的流程图。如图4所示，所述训练的步骤包括：
S401、将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络。
具体地，在训练分类子网络之前，对所述人脸表情图像进行预先分类，然后再将所述预先分类的结果作为对应每一类表情的另一种监督信息，与所述低层空间特征一起输入至所述分类子网络中。
需要说明的是，所述预先分类的结果是指对人脸表情图像进行预先分类后产生的结果，可能是通过对所述人脸表情图像进行编码，将产生的编码类标作为预先分类的结果，输入至分类子网络中；也可能是对所述人脸表情图像进行编码后，将一一对应的编码类标和人脸表情图像作为预先分类的结果，输入至分类子网络中；当然也可能采用其它能够将所述人脸表情图像区分开来的其它分类方式。因此，对所述人脸表情图像进行预先分类的方式及产生的何种分类结果作为所述预先分类的结果不作为限制本发明的条件。
S402、利用所述分类子网络使所述预先分类的结果对所述低层空间特征进行学习，以获取经过所述分类子网络分类训练后的分类结果。
S403、将所述分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
在本实施中，采用one-hot编码方式对人脸表情图像进行预先分类，将经one-hot编码产生的类标作为真实值；将真实值和低层空间特征输入到分类子网络中；通过分类子网络使真实值对低层空间特征进行学习，获取经分类子网络分类训练后的分类结果，作为预测值；对真实值和预测值进行差异计算，获取分类子网络的损失度。例如，有6类表情，愤怒、高兴、悲伤、惊讶、厌恶和恐惧，那么对应的one-hot编码可以是：愤怒：[1,0,0,0,0,0]；高兴：[0,1,0,0,0,0]；悲伤：[0,0,1,0,0,0]；惊讶：[0,0,0,1,0,0]；厌恶：[0,0,0,0,1,0]；恐惧：[0,0,0,0,0,1]。上述编码仅仅是one-hot编码的例子，本发明还可以采用其它的编码形式。
在本实施中，在进行所述差异计算之前，分别对所述分类训练后的分类结果和所述预先分类的结果进行回归处理，将所述分类训练后的分类结果和所述预先分类的结果分别转换为预测概率、真实概率，以基于所述预测概率和所述真实概率进行差异计算，获取所述分类子网络的损失度，所述损失度采用交叉熵损失函数计算，计算公式为：
L(M,N)＝-MlogN
其中，L(M,N)是损失度，M是真实概率，N是预测概率。
需要说明的是，因为交叉熵损失函数刻画的是两个概率分布之间的距离，然而该所述的分类子网络的输出不一定是一个概率分布，可能是实数，所以需要经过回归处理，将其输出转化为概率，以实现通过交叉熵来计算所述分类子网络的损失度。
在本实施中，回归处理可采用Softmax回归处理。
S404、循环执行上述步骤，直至所述分类子网络的损失度不再下降，停止训练，选取损失度最小值对应的分类子网络为最优分类子网络。
进一步地，停止训练，选取所述最优分类子网络之前，通过采集人脸表情图像对损失度最小值对应的分类子网络进行评估，根据所述分类子网络对采集的人脸表情图像的表情识别准确率来最终选取所述最优分类子网络。
在本实施中，特征提取子网络可替换成其它网络结构，诸如MobileNet(轻量级模型)、Res-Net(预训练模型)；特征图提取网络和特征图匹配子网络都可更改，只要保证特征图匹配子网络产生的特征图与特征图提取网络产生的特征图大小一致可以进行比较即可。
需要说明的是，ResNet的基本思想是：通过将网络各模块的输出与对应输入相加，保证了信息在网络中的传递，并且降低了神经网络的学习难度，行人纹理图得到的图像作为模型主输入的话会因为部分坏数据降低网络效果，因此对网络结构进行创新，降低无用信息的影响。
进一步地，特征图提取网络、特征图匹配子网络和分类子网络中的卷积层可替换为可变形卷积或膨胀卷积，扩大了卷积的感受，利用网络结构的鲁棒性和健壮性。
进一步地，将Center Loss(Center Loss来自ECCV2016的一篇论文：ADiscriminative Feature Learning Approach for Deep Face Recognition)、对比损失(Contrastive Loss)等在网络训练时具有良好表现的损失函数加入网络中，可以小幅度提高网络的准确度。
进一步地，在训练特征图提取网络、特征图匹配子网络和分类子网络之前，还需要对这些网络结构进行初始化。
具体地，所述初始化包括预设权重的设置及对网络结构中的全连接层和卷积层，采用正态分布进行初始化，标准差为0.01，期望值为0。
本发明的结合弱监督的表情识别网络训练方法针对实际场景中的人脸表情的多样性，不易区分性，提取了一种结合弱监督的表情识别网络，能够有效地解决背景噪声、人头角度、光照分布不均、表情细节难以区分等问题；特征图是为了捕获细粒度信息，对人脸表情图像进行高层语义的提取；表情识别网络增加特征图作为监督信息，较好的完成表情识别的任务。
本发明的结合弱监督的表情识别网络训练方法可以作为一个模块供商场客流分析***调用，客流分析***输入一张顾客图像，返回该顾客的表情状态，也可结合跟踪模块，综合该顾客历史信息，进行时间序列上的采样，进一步提高精度，分析顾客心理行为状态。
需要说明的是，本发明所述的结合弱监督的表情识别网络训练方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的结合弱监督的表情识别网络训练方法。所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤。
实施例二
本实施例提供一种结合弱监督的表情识别网络训练***，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络；所述***包括：第一训练模块和第二训练模块；
所述第一训练模块用于对所述特征图提取网络进行训练；所述训练的步骤包括利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度；
所述第二训练模块用于对所述特征图匹配子网络和所述分类子网络进行训练；所述训练的步骤包括将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
于本实施例中，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络。
请参阅图5，显示为本发明的结合弱监督的表情识别网络训练***于一实施例中的结构示意图。如图5所示，本发明的结合弱监督的表情识别网络训练***包括：第一训练模块51和第二训练模块52。
所述第一训练模块51用于对所述特征图提取网络进行训练；所述训练的步骤包括利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度。
所述第二训练模块52用于对所述特征图匹配子网络和所述分类子网络进行训练；所述训练的步骤包括将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个数字信号处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的结合弱监督的表情识别网络训练方法。
请参阅图6，显示为本发明的终端于一实施例中的结构示意图。如图6所示，本发明的终端，包括处理器61及存储器62。
所述存储器62用于存储计算机程序。优选地，所述存储器62包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器61与所述存储器62相连，用于执行所述存储器62存储的计算机程序，以使所述终端执行上述的结合弱监督的表情识别网络训练方法。
优选地，所述处理器61可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明的结合弱监督的表情识别网络训练***可以实现本发明的结合弱监督的表情识别网络训练方法，但本发明的结合弱监督的表情识别网络训练方法的实现装置包括但不限于本实施例列举的结合弱监督的表情识别网络训练***的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明的结合弱监督的表情识别网络训练方法、***、介质及终端，通过融合人脸表情特征图进行弱监督学习，能够捕捉每一类表情与其他类别表情具有判别力以及区分性的特征，使用特征图表达每一类表情，使提取的特征具有较细的粒度，大大提高了人脸表情识别分类的精确度与鲁棒性；能够适应不同角度、失真与否、遮挡与否等各种场景下的人脸图像的表情识别；通过采用特征图匹配子网络对特征图进行匹配训练，采用分类子网络对采集的人脸表情进行预测分类，将这两个网络融合在一起，达到了对表情识别网络进行多任务学习的目的，提高了人脸表情识别的准确度；通过对人脸表情进行识别，可以对顾客满意度进行分析、对驾驶员进行疲劳检测或者用于心理治疗。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种结合弱监督的表情识别网络训练方法，其特征在于，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络；所述方法包括以下步骤：
对所述特征图提取网络进行训练；所述训练的步骤包括：
利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；
根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度；对所述特征图匹配子网络和所述分类子网络进行训练；所述训练的步骤包括：
将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；
将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；
同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
2.根据权利要求1所述的结合弱监督的表情识别网络训练方法，其特征在于，所述输入的人脸表情图像包括人工区分的指定表情的表情图像和非指定表情的表情图像；对所述特征图提取网络进行训练，所述训练的步骤包括：
通过所述特征图提取网络获取所述指定表情和所述非指定表情的分类预测概率；
将所述指定表情、所述非指定表情的分类预测概率与人工区分的指定表情和非指定表情的分类真实概率进行差异计算，以获取所述特征图提取网络的损失度；
循环执行步骤，直至所述特征图提取网络的损失度不再下降，停止训练，选取损失度最小值对应的特征图提取网络为最优特征图提取网络。
3.根据权利要求2所述的结合弱监督的表情识别网络训练方法，其特征在于，所述特征图提取网络的损失度采用交叉熵损失函数计算，计算公式为：
L((Qa,Qb)(Pa,Pb))＝-(Qa logPa+Qb logPb)
其中，L((Qa,Qb)(Pa,Pb))是损失度，Qa、Qb分别是指定表情和非指定表情的分类真实概率，Pa、Pb分别是指定表情、非指定表情的分类预测概率。
4.根据权利要求1所述的结合弱监督的表情识别网络训练方法，其特征在于，对所述特征图匹配子网络进行训练，所述训练的步骤包括：
将所述低层空间特征和所述指定表情的表情特征图输入至所述特征图匹配子网络；
利用所述特征图匹配子网络使所述表情特征图对所述低层空间特征进行学习，以获取经过所述特征图匹配子网络匹配训练后的特征图；
将所述匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；
循环执行上述步骤，直至所述特征图匹配子网络的损失度不再下降，停止训练，选取损失度最小值对应的特征图匹配子网络为最优特征图匹配子网络。
5.根据权利要求4所述的结合弱监督的表情识别网络训练方法，其特征在于，所述特征图匹配子网络的损失度的计算公式为：
Figure FDA0002180918690000021
其中，L(Θ)是损失度，F(Xi；Θ)是第i个匹配训练后的特征图的像素，Xi是第i个人脸表情图像，Fi是第i个表情特征图的像素，i的值取1至N，N指采集的人脸表情图像的预设个数。
6.根据权利要求1所述的结合弱监督的表情识别网络训练方法，其特征在于，对所述分类子网络进行训练，所述训练的步骤包括：
将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络；
利用所述分类子网络使所述预先分类的结果对所述低层空间特征进行学习，以获取经过所述分类子网络分类训练后的分类结果；
将所述分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度；
循环执行上述步骤，直至所述分类子网络的损失度不再下降，停止训练，选取损失度最小值对应的分类子网络为最优分类子网络。
7.根据权利要求6所述的结合弱监督的表情识别网络训练方法，其特征在于，在进行所述差异计算之前，分别对所述分类训练后的分类结果和所述预先分类的结果进行回归处理，将所述分类训练后的分类结果和所述预先分类的结果分别转换为预测概率、真实概率，以基于所述预测概率和所述真实概率进行差异计算，获取所述分类子网络的损失度，所述损失度采用交叉熵损失函数计算，计算公式为：
L(M,N)＝-MlogN
其中，L(M,N)是损失度，M是真实概率，N是预测概率。
8.一种结合弱监督的表情识别网络训练***，其特征在于，所述表情识别网络包括特征图提取网络、特征提取子网络、特征图匹配子网络和分类子网络；所述***包括：第一训练模块和第二训练模块；
所述第一训练模块用于对所述特征图提取网络进行训练；所述训练的步骤包括利用所述特征图提取网络对输入的人脸表情图像进行训练，以形成指定表情的表情特征图和非指定表情的表情特征图及分别对应所述指定表情、所述非指定表情的分类预测概率；根据所述指定表情和所述非指定表情的分类预测概率，进行损失计算，以获取所述特征图提取网络的损失度；
所述第二训练模块用于对所述特征图匹配子网络和所述分类子网络进行训练；所述训练的步骤包括将所述人脸表情图像输入至所述特征提取子网络，以获取用于表示图像属性的低层空间特征；将所述低层空间特征和指定表情的表情特征图输入至所述特征图匹配子网络，以获取经过所述特征图匹配子网络匹配训练后的特征图；将匹配训练后的特征图与所述表情特征图进行差异计算，以获取所述特征图匹配子网络的损失度；同时将所述低层空间特征和对所述人脸表情图像进行预先分类的结果输入至所述分类子网络，以获取经过所述分类子网络分类训练后的分类结果；将分类训练后的分类结果与所述预先分类的结果进行差异计算，以获取所述分类子网络的损失度。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的结合弱监督的表情识别网络训练方法。
10.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至7中任一项所述的结合弱监督的表情识别网络训练方法。
CN201910795777.4A 2019-08-27 2019-08-27 结合弱监督的表情识别网络训练方法、***、介质及终端 Active CN110598587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910795777.4A CN110598587B (zh) 2019-08-27 2019-08-27 结合弱监督的表情识别网络训练方法、***、介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910795777.4A CN110598587B (zh) 2019-08-27 2019-08-27 结合弱监督的表情识别网络训练方法、***、介质及终端

Publications (2)

Publication Number Publication Date
CN110598587A CN110598587A (zh) 2019-12-20
CN110598587B true CN110598587B (zh) 2022-05-13

Family

ID=68855796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910795777.4A Active CN110598587B (zh) 2019-08-27 2019-08-27 结合弱监督的表情识别网络训练方法、***、介质及终端

Country Status (1)

Country Link
CN (1) CN110598587B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652079B (zh) * 2020-05-12 2023-04-07 五邑大学 应用于流动人群的表情识别方法、***及存储介质
CN111814603B (zh) * 2020-06-23 2023-09-05 汇纳科技股份有限公司 一种人脸识别方法、介质及电子设备
CN112287802A (zh) * 2020-10-26 2021-01-29 汇纳科技股份有限公司 人脸图像检测方法、***、存储介质及设备
CN112580617B (zh) * 2021-03-01 2021-06-18 中国科学院自动化研究所 自然场景下的表情识别方法和装置
CN113257280A (zh) * 2021-06-07 2021-08-13 苏州大学 基于wav2vec的语音情感识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096557A (zh) * 2016-06-15 2016-11-09 浙江大学 一种基于模糊训练样本的半监督学习人脸表情识别方法
WO2017000300A1 (en) * 2015-07-02 2017-01-05 Xiaoou Tang Methods and systems for social relation identification
CN108764207A (zh) * 2018-06-07 2018-11-06 厦门大学 一种基于多任务卷积神经网络的人脸表情识别方法
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、***及电子设备
CN109902660A (zh) * 2019-03-18 2019-06-18 腾讯科技（深圳）有限公司 一种表情识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017000300A1 (en) * 2015-07-02 2017-01-05 Xiaoou Tang Methods and systems for social relation identification
CN106096557A (zh) * 2016-06-15 2016-11-09 浙江大学 一种基于模糊训练样本的半监督学习人脸表情识别方法
CN108764207A (zh) * 2018-06-07 2018-11-06 厦门大学 一种基于多任务卷积神经网络的人脸表情识别方法
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、***及电子设备
CN109902660A (zh) * 2019-03-18 2019-06-18 腾讯科技（深圳）有限公司 一种表情识别方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CNN expression recognition based on feature graph;Xu Lin-Lin 等;《2017 Chinese Automation Congress》;20171022;全文 *
Facial expression recognition based on Gabor feature and neural network;Pang Lei 等;《2018 International Conference on Security, Pattern Analysis, and Cybernetics》;20181217;全文 *
基于卷积神经网络的表情识别研究;陈航;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215;全文 *
基于改进卷积神经网络的多视角人脸表情识别;钱勇生 等;《计算机工程与应用》;20181231;全文 *

Also Published As

Publication number Publication date
CN110598587A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110598587B (zh) 结合弱监督的表情识别网络训练方法、***、介质及终端
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
Mery et al. Modern computer vision techniques for x-ray testing in baggage inspection
Zafar et al. Face recognition with Bayesian convolutional networks for robust surveillance systems
CN109948526B (zh) 图像处理方法及装置、检测设备及存储介质
Pisharady et al. Attention based detection and recognition of hand postures against complex backgrounds
CN111191526B (zh) 行人属性识别网络训练方法、***、介质及终端
CN111178251B (zh) 一种行人属性识别方法及***、存储介质及终端
Lei et al. A skin segmentation algorithm based on stacked autoencoders
CN113255630B (zh) 一种运动目标识别训练方法、运动目标识别方法及装置
CN109241890B (zh) 面部图像校正方法、装置及存储介质
CN110309692B (zh) 人脸识别方法、装置及***、模型训练方法及装置
WO2021063476A1 (en) Method for training a generative adversarial network, modified image generation module and system for detecting features in an image
CN113947702A (zh) 一种基于情境感知的多模态情感识别方法和***
CN105893941B (zh) 一种基于区域图像的人脸表情识别方法
Zahid et al. Pedestrian identification using motion-controlled deep neural network in real-time visual surveillance
CN115862120A (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
Gu et al. 3-d facial expression recognition via attention-based multichannel data fusion network
Alsaggaf et al. A smart surveillance system for uncooperative gait recognition using cycle consistent generative adversarial networks (CCGANs)
Nasir et al. Recognition of human emotion transition from video sequence using triangulation induced various centre pairs distance signatures
Nguyen et al. Real-time Human Detection under Omni-dir ectional Camera based on CNN with Unified Detection and AGMM for Visual Surveillance
Tarek et al. Eye Detection-Based Deep Belief Neural Networks and Speeded-Up Robust Feature Algorithm.
de Souza et al. Efficient width-extended convolutional neural network for robust face spoofing detection
Meena et al. Hybrid neural network architecture for multi-label object recognition using feature fusion
CN111553202A (zh) 进行活体检测的神经网络的训练方法、检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201203 No. 6, Lane 55, Chuanhe Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Winner Technology Co.,Ltd.

Address before: 201505 Room 216, 333 Tingfeng Highway, Tinglin Town, Jinshan District, Shanghai

Applicant before: Winner Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant