CN109508654B - 融合多任务和多尺度卷积神经网络的人脸分析方法及*** - Google Patents

融合多任务和多尺度卷积神经网络的人脸分析方法及*** Download PDF

Info

Publication number
CN109508654B
CN109508654B CN201811260674.XA CN201811260674A CN109508654B CN 109508654 B CN109508654 B CN 109508654B CN 201811260674 A CN201811260674 A CN 201811260674A CN 109508654 B CN109508654 B CN 109508654B
Authority
CN
China
Prior art keywords
face
loss
fusing
task
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811260674.XA
Other languages
English (en)
Other versions
CN109508654A (zh
Inventor
刘袁缘
周顺平
张香兰
方芳
郭明强
姚尧
彭济耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201811260674.XA priority Critical patent/CN109508654B/zh
Publication of CN109508654A publication Critical patent/CN109508654A/zh
Application granted granted Critical
Publication of CN109508654B publication Critical patent/CN109508654B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合多任务联合多尺度卷积神经网络的人脸分析方法及***，先对一张尺寸大小为N×N的待学习的图片，采用关键区域搜索算法从所述图片中提取出K个不同尺度的人脸感兴趣区域，将其作为多尺度CNN三个通道的输入；然后采用CNN分别对K个所述人脸感兴趣区域进行特征提取，得到不同尺度的人脸特征，采用级联的方式将提取到的不同尺度的人脸特征进行融合，得到融合后的特征表达；再将多个任务的损失函数进行融合得到联合损失函数，以所述特征表达作为学习输入，得到关于所述联合损失函数的最优解，从而得到所述多个任务的处理结果。本发明利用任务间的相关性互相促进来，提高了单个任务的预测准确率。

Description

融合多任务和多尺度卷积神经网络的人脸分析方法及***
技术领域
本发明涉及人脸属性领域，更具体地说，涉及一种融合多任务和多尺度卷积神经网络的人脸分析方法及***。
背景技术
近年来，随着互联网的发展以及人工智能相关技术在实际应用中取得了一定成果，人工智能领域吸引了越来越多的科研工作者的关注，人工智能技术的应用范围也越来越广。在计算机视觉领域，人脸检测与分析一直是研究的热门方向。虽然最近基于深度卷积神经网络(Convolutional Neural network，CNN)的研究取得了显著的成果，并被广泛地应用于人脸识别、人脸跟踪、人脸检测等领域，但对于人脸检测任务，仍然难以从包含极端姿态、光照和分辨率变化的人脸图像中获取面部关键点、头部姿态、性别和表情信息。人脸检测、关键点定位、姿态估计、性别分类和表情识别的任务通常被作为单独的问题解决。近来，研究表明同时学习多个相关的任务可以提高单个任务的性能。
发明内容
本发明要解决的技术问题在于，对人脸相关的属性进行多任务(Multi-TaskLearning，MTL)学习，更深入地挖掘属性之间的相关性，并通过多个通道的多任务卷积神经网络学习同一张图片多种分辨率的情况以此来丰富人脸属性特征的提取，从而将部分属性的识别精度提升。
本发明解决其技术问题所采用的技术方案是：构造一种融合多任务联合多尺度卷积神经网络的人脸分析方法，包含如下步骤：
(1)多尺度人脸注意力区域提取步骤：
对一张尺寸大小为N×N的待学习的图片，采用关键区域搜索算法从所述图片中提取出K个不同尺度的人脸感兴趣区域，将其作为多尺度CNN三个通道的输入；其中，N表示像素大小，K≥2且为整数；
(2)融合多尺度学习步骤，包括特征提取子步骤和特征融合子步骤；
特征提取子步骤：采用CNN分别对K个所述人脸感兴趣区域进行特征提取，得到不同尺度的人脸特征；
特征融合子步骤：采用级联的方式将特征提取子步骤提取到的不同尺度的人脸特征进行融合，得到融合后的特征表达；
(3)多任务人脸分析步骤：
将多个任务的损失函数进行融合得到联合损失函数，以步骤(3)得到的所述特征表达作为学习输入，得到关于所述联合损失函数的最优解，从而得到所述多个任务的处理结果。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，在步骤(1)中，在提取人脸感兴趣区域时，采用“注意力”机制来帮助定位3个尺度的人脸感兴趣区域。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，在步骤(2)的特征提取子步骤中具体包括：构建K个通道的特征通道，每个特征通道分别对一个尺度的人脸感兴趣区域独立进行特征提取，共提取出K个不同尺度的人脸特征。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，在步骤(3)中，所述多个任务并行训练并共享相关任务之间的特征表达。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，其特征在于，K＝3。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，步骤(3)中，所述将多个任务的损失函数进行融合得到联合损失函数具体是指：将所述多个任务的损失函数进行加权。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，所述多个任务是指：人脸检测、姿态估计、关键点定位、性别识别和表情识别五个任务。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，
(a)人脸检测任务用于检测并定位图片中的人脸，返回人脸框坐标，损失函数为：
lossD＝-(1-l)·log(l-pD)-l·log(pD)，
其中l＝1时，为人脸；l＝0，为非人脸；pD为人脸关键区域是人脸的概率；
(b)性别识别任务用于识别人脸图片的性别，损失函数为：
lossG＝-(1-g)·log(1-pg0)-g·log(pg1)，
其中，男性g＝0，女性g＝1，(pg0，pg1)人脸图片为男女的概率；
(c)人脸关键点定位任务用于人脸对齐的脸部特征点定位，是在人脸检测的基础上进行的，对人脸上的特征点定位；用(x,y,w,h)来描述人脸关键区域，其中，(x,y)是人脸区域中心点的坐标，(w,h)分别是该区域的宽度和高度，每个可见的关键点是相对于区域中心点(x,y)移位，并按照(w,h)归一化的公式如下：
Figure BDA0001843811130000041
其中，NL是人脸关键点个数，(ai,bi)为训练时的标签，(xi,yi)是真实值，人脸关键点定位的损失函数为：
Figure BDA0001843811130000042
Figure BDA0001843811130000043
是第i个人脸关键点的预测结果，vi为第i个人脸关键点的可见因子，关键点可见，vi＝1，否则vi＝0；
可见因子用于表征人脸关键点是否可见，是辅助关键点定位的，损失函数为：
Figure BDA0001843811130000044
(d)头部姿态估计任务用于对人脸图片头部在roll(p1)，pitch(p2)和yaw(p3)三个方向上的预测，损失函数为：
Figure BDA0001843811130000045
其中，
Figure BDA0001843811130000046
是所述三个方向上头部姿态的角度的估计结果，(p1,p2,p3)是所述三个方向上头部姿态的角度的训练标签；
(e)表情识别任务用于从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，损失函数为：
Figure BDA0001843811130000047
其中，M为表情的种类个数，M大于或者等于2，
Figure BDA0001843811130000048
表示表情的类别的训练标签，(pe1，pe2,...，peM)表示表情的类别的估计结果。
联合损失函数为：lossfull＝λDlossD+λLlossL+λVlossV+λPlossP+λGlossG+λElossE；其中式中λ表示权重，λ大于0。
进一步地，在本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法中，(e)中，
Figure BDA0001843811130000051
其中表情的种类共有6种，分别代表6种基本表情：生气、厌恶、害怕、快乐、悲伤、惊讶。
本发明为解决其技术问题，还提供了一种在本发明的融合多任务联合多尺度卷积神经网络的人脸分析***，该***使用上述任一项的融合多任务联合多尺度卷积神经网络的人脸分析方法进行人脸分析。
实施本发明的融合多任务联合多尺度卷积神经网络的人脸分析方法及***，具有以下有益效果：本发明采用端对端训练方式，同时用于多个任务，多个任务并行训练并共享相关任务之间的表征促使多个任务共同学习，利用任务间的相关性互相促进来，提高了单个任务的预测准确率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为融合多任务联合多尺度卷积神经网络的人脸分析方法任务定义图；
图2为研究结果示例图；
图3为融合多任务联合多尺度卷积神经网络的人脸分析方法网络结构图；
图4为迭代区域搜素的示例图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1-图3，本实施例的融合多任务联合多尺度卷积神经网络的人脸分析方法具体包含如下步骤。
(1)多尺度人脸注意力区域提取步骤：
对一张尺寸大小为N×N的待检测的图片，采用注意力检测网络提取三个尺度的人脸感兴趣区域，尺寸大小分别为227×227，147×147，59×59，将其作为多尺度CNN三个通道的输入；其中，N表示像素大小
(2)融合多尺度学习步骤，构建三个通道的融合多任务Triple网络学习模型，包括特征提取子步骤和特征融合子步骤；
特征提取子步骤：分别将上述步骤(1)提取到的三个尺度的人脸关键区域做为输入，它们分别对应表1的三个子网络：
表1网络详细参数表
Figure BDA0001843811130000061
子网络一的输入尺度为227×227，使用了8个卷积层、3个池化层，1个全连接层。由于CNN提取的特征信息是分层分布的，低卷积层包含较多的边角信息，适合学习人脸关键点定位和头部姿态评估任务，而高卷积层则适合学习人脸检测、性别分类和表情识别等，因而本专利在通过多尺度特征融合来促进关键点定位和头部状态评估的性能。本发明融合了池化层pool1层(27×27×96)、卷积层conv3层(13×13×384)、池化层pool5层(6×6×256)。进一步地，由于他们维度不一致，不能直接连接，所以对pool1层和conv3层做了卷积conv1a和卷积conv3a，然后对结果降维得到6×6×192维的向量，最后经过全连接层Fc6得到2048维的输出向量。
子网络二的输入尺度147×147，使用了4个卷积层、3个池化层和2个全连接层，经过全连接层Fc61得到512维输出向量。
子网络三的输入尺度为59×59，使用了2个卷积层、2个池化层和2个全连接层，经过全连接层Fc42得到512维输出向量。
特征融合子步骤：采用级联的方式将特征提取子步骤提取到的不同尺度的人脸特征进行融合，得到融合后的特征表达。将三个子网络层融合得到3072维输出向量。最后将得到3072维向量根据任务分为6个独立的分支：分别是人脸检测、关键点定位、可见性检测、表情识别、姿态估计、性别识别。其中可见性检测是辅助面部关键点定位的。他们分别对应Fc_detection、Fc_landmarks、Fc_visibility、Fc_pose、Fc_gender、Fc_expression六个全连接层，每个分支再分别进行一次全连接得到每个任务的识别结果，网络参数表详见表1。
(3)多任务人脸分析步骤：
多任务学习给出多个监督信息(标签)，利用任务之间的相关性互相促进，而多任务的一个特点是单个张量输入(X)，多个输出(任务_1,任务_2...)，在本发明中如人脸检测、表情识别等，因此需要有多个损失函数用于分别计算每个任务的损失。本发明同时识别五个任务，而为了辅助关键点定位任务，提出了关键点可见性，因此有六个损失函数：
(1)人脸检测即检测并定位图片中的人脸，返回高精度的人脸框坐标，当预测的人脸框与真实人脸范围的交集比上预测的人脸框与真实人脸范围的并集(IOU)大于0.5时为正例(l＝1)，小于0.35的作为负例(l＝0)，其损失函数如下：
lossD＝-(1-l)·log(l-pD)-l·log(pD)
其中pD为该人脸关键区域是人脸的概率，从上述Fc_detection获取得到。
(2)性别识别即识别图片上人脸的性别，IOU大于0.5的作为正例，其损失函数如下：
lossG＝-(1-g)·log(1-pg0)-g·log(pg1)
其中男性g＝0，女性则g＝1，(pg0，pg1)是人脸图片为男女的概率；
(3)人脸关键点定位，即用于人脸对齐的脸部特征点定位，是在人脸检测的基础上进行的，对人脸上的特征点例如嘴角、眼角等进行定位，当IOU大于0.35的作为正例被采用，所有关键点坐标被归一化，采用相对值，映射函数如下：
Figure BDA0001843811130000081
(xi，yi)为关键点坐标，(x,y)为人脸中心的坐标，w,h为人脸宽和高，对于不可见的关键点，设置为(0,0)。使用欧式距离计算损失函数，如下：
Figure BDA0001843811130000082
Figure BDA0001843811130000083
为预测的归一化后的相对坐标值，N是关键点数量，AFLW数据集包含21个关键点信息，即N＝21，vi为1时表示该关键点在此区域可见，否则为0，也就是说，对于那些不可见点，不参与运算。
(4)头部姿态估计是对人脸图片头部在pitch、yaw和roll三个方向上的预测，使用欧氏距离损失函数训练roll(p1),pitch(p2),yaw(p3)，IOU大于0.5的为正例，损失函数公式如下：
Figure BDA0001843811130000091
其中
Figure BDA0001843811130000092
为所述三个方向上头部姿态的角度的预测值，(p1,p2,p3)是所述三个方向上头部姿态的角度的训练标签。
(5)表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态,从而确定被识别对象的心理情绪，同样地，当IOU大于0.5的作为正例，损失函数公式如下：
Figure BDA0001843811130000093
其中pej为表情的类别的预测值，
Figure BDA0001843811130000094
为表情的类别的训练标签，j为0、1、2、3、5，分别代表6种基本表情：生气、厌恶、害怕、快乐、悲伤、惊讶等。
进一步地，联合损失函数是五个任务损失函数的加权求和，公式为：
lossfull＝λDlossD+λLlossL+λVlossV+λPlossP+λGlossG+λElossE
其中λ是根据每个任务在总任务的重要程度所决定，λ大于0。本专利的权重设置为：
λD＝1,λL＝5,λE＝2,λP＝5,λG＝2
(4)后处理过程
本发明的人脸检测算法面临两个挑战：第一，网络不一定能捕捉到较小的人脸；第二，预测得到的人脸框不能准确定位人脸区域。因为本发明将置信度评分大于0.5的候选区视为包含人脸，小于0.35的视为非人脸，所以这两个挑战将导致人脸检测率的降低，同时影响其他任务的识别结果。因此，本发明通过后处理过程来提升人脸定位的准确性。
本发明摒弃了传统的边界框回归算法，而是提出了适用于本任务的迭代区域搜索和基于关键点的非极大值抑制算法。迭代区域搜索通过使用预测的面部特征点信息产生更多的人脸候选区来提高召回率。基于关键点的非极大值抑制则通过使用已预测的面部标记点信息重新调整检测的边界框来提升定位的准确性，再使用非极大值抑制算法出去冗余边框。这两种方法并不需要任何训练过程。
(1)迭代区域搜索：当关键点正确人脸检测得分低时，根据已预测的面部特征点信息使用FaceRectCalculator来产生新的候选区，并且将其在模型中进行前向传播。这个新产生的候选区会在人脸检测这项任务上得到更高的分数，从而提高召回率，其实现过程如图4。
(2)基于关键点的非极大值抑制：跟其他非极大值抑制算法的不同。基于关键点的非极大值抑制算法不以人脸框坐标作为参数，而是以关键点中的最小四个角坐标作为参数，这样可以紧凑人脸，避免相邻脸被合并或漏检等情况。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种融合多任务联合多尺度卷积神经网络的人脸分析方法，其特征在于，包含如下步骤：
(1)多尺度人脸注意力区域提取步骤：
对一张尺寸大小为N×N的待学习的图片，采用基于注意力网络的关键区域搜索算法从所述图片中提取出3个不同尺度不同位置的人脸感兴趣区域，并将其作为多尺度CNN三个通道的输入；其中，N表示图片的像素大小；
(2)融合多尺度学习步骤，包括特征提取子步骤和特征融合子步骤；
特征提取子步骤：采用CNN分别对3个所述人脸感兴趣区域进行特征提取，得到不同尺度的人脸特征；
特征融合子步骤：采用级联的方式将特征提取子步骤提取到的不同尺度的人脸特征进行融合，得到融合后的特征表达；
(3)多任务人脸分析步骤：
将多个任务的损失函数进行融合得到联合损失函数，以步骤(2)得到的所述特征表达作为学习输入，得到关于所述联合损失函数的最优解，从而得到所述多个任务的处理结果；
所述多个任务是指：人脸检测、姿态估计、关键点定位、性别识别和表情识别五个任务；其中，人脸检测时，检测并定位图片中的人脸，然后采用迭代区域搜索和基于关键点的非极大值抑制的方式进行人脸检测；
迭代区域搜索是指：当关键点正确且人脸检测得分低时，根据已预测的面部特征点信息使用FaceRectCalculator来产生新的候选区，并且将其进行前向传播，这个新产生的候选区会在人脸检测这项任务上得到更高的分数，从而提高召回率；
基于关键点的非极大值抑制是指：跟其他非极大值抑制算法的不同，基于关键点的非极大值抑制算法不以人脸框坐标作为参数，而是以关键点中的最小四个角坐标作为参数，这样可以紧凑人脸，避免相邻脸被合并或漏检情况。
2.根据权利要求1所述的融合多任务联合多尺度卷积神经网络的人脸分析方法，其特征在于，在步骤(1)中，在提取人脸感兴趣区域时，采用“注意力”机制来帮助定位3个尺度的人脸感兴趣区域。
3.根据权利要求1所述的融合多任务联合多尺度卷积神经网络的人脸分析方法，其特征在于，在步骤(2)的特征提取子步骤中具体包括：构建3个通道的特征通道，每个特征通道分别对一个尺度的人脸感兴趣区域独立进行特征提取，共提取出3个不同尺度的人脸特征。
4.根据权利要求1所述的融合多任务联合多尺度卷积神经网络的人脸分析方法，其特征在于，在步骤(3)中，所述多个任务并行训练并共享相关任务之间的特征表达。
5.根据权利要求1所述的融合多任务联合多尺度卷积神经网络的人脸分析方法，步骤(3)中，所述将多个任务的损失函数进行融合得到联合损失函数具体是指：将所述多个任务的损失函数进行加权。
6.根据权利要求1所述的融合多任务联合多尺度卷积神经网络的人脸分析方法，其特征在于，
(a)人脸检测任务用于检测并定位图片中的人脸，返回人脸框坐标，损失函数为：
lossD＝-(1-l)·log(l-pD)-l·log(pD)，
其中l＝1时，为人脸；l＝0，为非人脸；pD为人脸关键区域是人脸的概率；
(b)性别识别任务用于识别人脸图片的性别，损失函数为：
lossG＝-(1-g)·log(1-pg0)-g·log(pg1)，
其中，男性g＝0，女性g＝1，pg0和pg1分别表示人脸图片为男和为女的概率；
(c)人脸关键点定位任务用于人脸对齐的脸部特征点定位，是在人脸检测的基础上进行的，对人脸上的特征点定位；用(x,y,w,h)来描述人脸关键区域，其中，(x,y)是人脸区域中心点的坐标，(w,h)分别是该区域的宽度和高度，每个可见的关键点是相对于区域中心点(x,y)移位，并按照(w,h)归一化的公式如下：
Figure FDA0002801140750000031
其中，NL是人脸关键点个数，(ai,bi)为训练时的标签，(xi,yi)是真实值，人脸关键点定位的损失函数为：
Figure FDA0002801140750000032
Figure FDA0002801140750000033
是第i个人脸关键点的预测结果，vi为第i个人脸关键点的可见因子，关键点可见，vi＝1，否则vi＝0；
可见因子用于表征人脸关键点是否可见，是辅助关键点定位的，损失函数为：
Figure FDA0002801140750000034
Figure FDA0002801140750000035
表示vi的估计结果；
(d)头部姿态估计任务用于对人脸图片头部在roll(p1)，pitch(p2)和yaw(p3)三个方向上的预测，损失函数为：
Figure FDA0002801140750000036
其中，
Figure FDA0002801140750000037
是所述三个方向上头部姿态的角度的估计结果，(p1,p2,p3)是所述三个方向上头部姿态的角度的训练标签；
(e)表情识别任务用于从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，损失函数为：
Figure FDA0002801140750000041
其中，M为表情的种类个数，M大于或者等于2，
Figure FDA0002801140750000042
表示表情的类别的训练标签，(pe1，pe2,...，peM)表示表情的类别的估计结果；
联合损失函数为：lossfull＝λDlossD+λLlossL+λVlossV+λPlossP+λGlossG+λElossE；其中式中λ表示权重，λ大于0。
7.根据权利要求6所述的融合多任务联合多尺度卷积神经网络的人脸分析方法，其特征在于，(e)中，
Figure FDA0002801140750000043
其中表情的种类共有6种，分别代表6种基本表情：生气、厌恶、害怕、快乐、悲伤、惊讶。
8.一种融合多任务联合多尺度卷积神经网络的人脸分析***，其特征在于，使用如权利要求1-7任一项所述的融合多任务联合多尺度卷积神经网络的人脸分析方法进行人脸分析。
CN201811260674.XA 2018-10-26 2018-10-26 融合多任务和多尺度卷积神经网络的人脸分析方法及*** Expired - Fee Related CN109508654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811260674.XA CN109508654B (zh) 2018-10-26 2018-10-26 融合多任务和多尺度卷积神经网络的人脸分析方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811260674.XA CN109508654B (zh) 2018-10-26 2018-10-26 融合多任务和多尺度卷积神经网络的人脸分析方法及***

Publications (2)

Publication Number Publication Date
CN109508654A CN109508654A (zh) 2019-03-22
CN109508654B true CN109508654B (zh) 2021-01-05

Family

ID=65746931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811260674.XA Expired - Fee Related CN109508654B (zh) 2018-10-26 2018-10-26 融合多任务和多尺度卷积神经网络的人脸分析方法及***

Country Status (1)

Country Link
CN (1) CN109508654B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110082822B (zh) * 2019-04-09 2020-07-28 中国科学技术大学 利用卷积神经网络进行地震检测的方法
CN110135251B (zh) * 2019-04-09 2023-08-08 上海电力学院 一种基于注意力机制和混合网络的群体图像情绪识别方法
CN110188615B (zh) * 2019-04-30 2021-08-06 中国科学院计算技术研究所 一种人脸表情识别方法、装置、介质及***
CN110135373A (zh) * 2019-05-20 2019-08-16 北京探境科技有限公司 一种多尺度面部识别方法、***及电子设备
CN110457572B (zh) * 2019-05-23 2022-05-24 北京邮电大学 基于图网络的商品信息推荐方法及电子设备
CN110232652A (zh) * 2019-05-27 2019-09-13 珠海格力电器股份有限公司 图像处理引擎处理方法、用于终端的图像处理方法、终端
CN110287846B (zh) * 2019-06-19 2023-08-04 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
GB2588747B (en) * 2019-06-28 2021-12-08 Huawei Tech Co Ltd Facial behaviour analysis
CN110298325A (zh) * 2019-07-02 2019-10-01 四川长虹电器股份有限公司 基于视频表情识别的表达障碍患者辅助护理***
CN110348416A (zh) * 2019-07-17 2019-10-18 北方工业大学 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法
CN110633624B (zh) * 2019-07-26 2022-11-22 北京工业大学 一种基于多特征融合的机器视觉人体异常行为识别方法
CN110263774B (zh) * 2019-08-19 2019-11-22 珠海亿智电子科技有限公司 一种人脸检测方法
CN110705563B (zh) * 2019-09-07 2020-12-29 创新奇智(重庆)科技有限公司 一种基于深度学习的工业零件关键点检测方法
CN110866466B (zh) * 2019-10-30 2023-12-26 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器
CN111062269B (zh) * 2019-11-25 2021-09-07 珠海格力电器股份有限公司 一种用户状态识别方法、装置、存储介质及空调
CN111178183B (zh) * 2019-12-16 2023-05-23 深圳市华尊科技股份有限公司 人脸检测方法及相关装置
CN111325108B (zh) * 2020-01-22 2023-05-26 中能国际高新科技研究院有限公司 一种多任务网络模型及使用方法、装置、和存储介质
CN111291670B (zh) * 2020-01-23 2023-04-07 天津大学 基于注意力机制和网络集成的小目标人脸表情识别方法
CN111507248B (zh) * 2020-04-16 2023-05-26 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其***
CN111814706B (zh) * 2020-07-14 2022-06-24 电子科技大学 基于多任务卷积神经网络的人脸识别及属性分类方法
CN111914758A (zh) * 2020-08-04 2020-11-10 成都奥快科技有限公司 一种基于卷积神经网络的人脸活体检测方法及装置
CN112036260B (zh) * 2020-08-10 2023-03-24 武汉星未来教育科技有限公司 一种自然环境下多尺度子块聚合的表情识别方法及***
CN112036339B (zh) * 2020-09-03 2024-04-09 福建库克智能科技有限公司 人脸检测的方法、装置和电子设备
CN112085540A (zh) * 2020-09-27 2020-12-15 湖北科技学院 基于人工智能技术的广告智能推送***及方法
CN113537115A (zh) * 2021-07-26 2021-10-22 东软睿驰汽车技术（沈阳）有限公司 驾驶员的驾驶状态获取方法、装置及电子设备
CN114067411A (zh) * 2021-11-19 2022-02-18 厦门市美亚柏科信息股份有限公司 一种人脸检测对齐网络知识蒸馏方法及装置
CN115410250A (zh) * 2022-08-01 2022-11-29 五邑大学 阵列式人脸美丽预测方法、设备及存储介质
CN117275069B (zh) * 2023-09-26 2024-06-04 华中科技大学 基于可学习向量与注意力机制的端到端头部姿态估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654049B (zh) * 2015-12-29 2019-08-16 中国科学院深圳先进技术研究院 人脸表情识别的方法及装置
US10032067B2 (en) * 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN106529402B (zh) * 2016-09-27 2019-05-28 中国科学院自动化研究所 基于多任务学习的卷积神经网络的人脸属性分析方法
CN106599883B (zh) * 2017-03-08 2020-03-17 王华锋 一种基于cnn的多层次图像语义的人脸识别方法
CN107423690B (zh) * 2017-06-26 2020-11-13 广东工业大学 一种人脸识别方法及装置

Also Published As

Publication number Publication date
CN109508654A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN109508654B (zh) 融合多任务和多尺度卷积神经网络的人脸分析方法及***
CN107832672B (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
Qi et al. Review of multi-view 3D object recognition methods based on deep learning
Li et al. A unified framework for multi-view multi-class object pose estimation
CN109948526B (zh) 图像处理方法及装置、检测设备及存储介质
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及***
Jiang et al. Sign language recognition via skeleton-aware multi-model ensemble
CN109086659B (zh) 一种基于多模道特征融合的人体行为识别方法和装置
CN110674741A (zh) 一种基于双通道特征融合的机器视觉中手势识别方法
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
CN114265498A (zh) 一种多模态手势识别和视觉反馈机制结合的方法
Kumar et al. 3D sign language recognition using spatio temporal graph kernels
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
Fei et al. Flow-pose Net: An effective two-stream network for fall detection
CN112330718A (zh) 一种基于cnn的三级信息融合视觉目标跟踪方法
Zhu et al. A review of 6d object pose estimation
Chen et al. Improving registration of augmented reality by incorporating DCNNS into visual SLAM
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
Zhang et al. Cascaded hierarchical CNN for 2D hand pose estimation from a single color image
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
Jiang et al. Triangulate geometric constraint combined with visual-flow fusion network for accurate 6DoF pose estimation
CN114066844A (zh) 一种基于注意力叠加与特征融合的肺炎x光片图像分析模型及分析方法
CN111626417B (zh) 一种基于无监督深度学习的闭环检测方法
CN113076905A (zh) 一种基于上下文交互关系的情绪识别方法
CN116311518A (zh) 一种基于人体交互意图信息的层级人物交互检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210105

Termination date: 20211026