CN108764207B - 一种基于多任务卷积神经网络的人脸表情识别方法 - Google Patents
一种基于多任务卷积神经网络的人脸表情识别方法 Download PDFInfo
- Publication number
- CN108764207B CN108764207B CN201810582457.6A CN201810582457A CN108764207B CN 108764207 B CN108764207 B CN 108764207B CN 201810582457 A CN201810582457 A CN 201810582457A CN 108764207 B CN108764207 B CN 108764207B
- Authority
- CN
- China
- Prior art keywords
- expression
- loss
- class
- network
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 22
- 230000014509 gene expression Effects 0.000 claims abstract description 82
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 241001128148 Pelagostrobilidium liui Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000020069 metaxa Nutrition 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于多任务卷积神经网络的人脸表情识别方法,首先设计多任务卷积神经网络结构,在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征;然后采用多任务学***衡网络的损失;最后根据训练好的网络模型,从模型最后的柔性最大分类层得到最终的人脸表情识别结果。将特征提取与表情分类放在一个端到端的框架中进行学习,从输入图片中提取出判别性特征,对输入图片做出可靠地表情识别。通过实验分析可知,本算法性能卓越,可有效地区分复杂的人脸表情,在多个公开的数据集上都取得了良好的识别性能。
Description
技术领域
本发明涉及计算机视觉技术,尤其是涉及一种基于多任务卷积神经网络的人脸表情识别方法。
背景技术
在过去的几十年时间里,人脸表情自动识别已经吸引了越来越多计算机视觉的专家和学者广泛的关注。人脸表情识别的目标是,对给定的人脸表情图片,设计一种***,能够自动预测其所属的人脸表情类别。人脸表情自动识别技术有着广泛的应用场景,如人机交互,安全驾驶和医疗保健等。尽管这些年来这项技术已经取得了不小的成功,但是在不可控的环境条件下进行可靠的人脸表情自动识别仍然是一个巨大的挑战。
一个人脸表情识别***包括三个模块:人脸检测、特征提取和人脸表情分类。其中,人脸检测技术已经发展得相当成熟,目前的人脸表情识别方法主要集中解决特征提取和人脸表情分类这两个模块。通常来说,这些技术可大致分为两类:基于手工设计特征的方法和基于卷积神经网络特征的方法。Zhong等人(L.Zhong,Q.Liu,P.Yang,J.Huang,D.N.Metaxas,“Learning active facial patches for expression analysis”,in IEEEConference on Computer Vision and Pattern Recognition(CVPR),2012,pp.2562–2569.)提出了一种多任务稀疏学习方法,该方法使用多任务学习从人脸表情图片中提取通用人脸区域和特定人脸区域,其中,通用人脸区域对所有表情的识别都有作用,特定人脸区域只对特定一种表情的识别有作用。然而,这种方法所提取出的通用人脸区域和特定人脸区域可能会有重合,为了解决这个问题,Liu等人(P.Liu,J.T.Zhou,W.H.Tsang,Z.Meng,S.Han,Y.Tong,“Feature disentangling machine-a novel approach of featureselection and disentangling in facial expression analysis”,in EuropeanConference on Computer Vision(ECCV),2014,pp.151–166.)提出了一种人脸表情特征分解的方法,该方法将稀疏SVM和多任务学习结合到一个框架中,从人脸表情图片中直接提取两种没有重合的特征:通用特征和特定特征,通用特征被所有表情所共享,而特定特征用于识别特定的一种表情。然而,这些基于手工设计特征的方法将特征学习和分类器训练分开进行,可能会导致比较差的泛化性能。最近,卷积神经网络在计算机视觉领域取得了重大的突破。借助卷积神经网络,许多计算视觉领域的工作取得了非常不错的结果。多数的卷积神经网络模型是通过在交叉熵损失监督下训练得到的。虽然利用交叉熵损失学习到的特征是可分的,但是只用交叉熵损失来训练网络可能无法得到令人满意的判别性的特征分布。最近Wen等人(Y.Wen,K.Zhang,Z.Li,Y.Qiao,“A discriminative feature learning ap-620proach for deep face recognition”,in European Conference on ComputerVision(ECCV),2016,pp.499–515.)提出一种类内损失作为卷积神经网络的辅助监督信号。类内损失可以有效地减小特征的类内差异性,然而,类内损失并没有显式地扩大特征的类间差异性。
发明内容
本发明的目的在于提供一种基于多任务卷积神经网络的人脸表情识别方法。
本发明包括以下步骤:
1)准备训练样本集i=1,...,N,j=1,...c,其中,N为样本的数目,c表示训练样本集包含的类别数,N和c为自然数;Pi表示第i个训练样本对应的固定大小的图像;表示第i个训练样本对于第j类表情的类别标签:
2)设计多任务卷积神经网络结构,网络由两部分组成,第一部分用于提取图片的低层语义特征,第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别;
3)在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务,并使用一种联合损失来监督每个单表情判别任务,用于学习对某种表情具有判别性的特征;
4)使用大的人脸识别数据集,利用反向传播算法进行预训练;
5)使用给定的人脸表情训练样本集进行微调,得到训练好的模型;
6)利用训练好的模型进行人脸表情识别。
在步骤2)中,所述设计多任务卷积神经网络结构的具体方法可为:
(1)网络的第一部分为全卷积网络,用于提取输入图像的中被所有表情所共享的低层语义特征,对于网络的第一部分,采用预激活残差单元结构(K.He,X.Zhang,S.Ren,J.Sun,“Identity Mappings in Deep Residual Networks”,arXiv:1603.05027,2016.)堆叠多个卷积层;
(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大(softmax)分类层组成,多个并行的全连接层的个数与训练样本集包含的类别数一致,每个并行的全连接层接收网络的第一部分所输出的特征作为输入,获得所有并行的全连接层的输出之后,将这些输出串联起来,作为柔性最大分类层的输入。
在步骤3)中,所述在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法可为:
(1)每个单表情判别性特征学习任务,用于学习对特定一个表情具有判别性的特征,第j个任务对应所有并行的全连接层中的第j个全连接层,每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心,表示第j类表情特征的类中心,表示除第j类表情之外,其他类表情特征的类中心,计算样本特征到每个类中心的距离,具体计算公式如下所示:
其中,表示输入训练样本Pi在第j个全连接层得到的特征。为标签,表示属于第j类表情,表示不属于第j类表情,||.||2表示欧式距离,是正距离,表示样本特征到所属类中心的欧氏距离的平方,是负距离,表示样本特征到另一个类中心的欧氏距离的平方;
(5)将所有单任务学习到的特征串联起来,输入到柔性最大分类层进行分类,对柔性最大分类层计算交叉熵损失:
(6)联合损失和交叉熵损失构成网络的总损失:
Ltotal=LJ+Lcls。 (12)
整个网络通过反向传播算法进行优化。
本发明首先设计多任务卷积神经网络结构,在网络中依次提取所有表情共享的低层语义特征和多个单表情判别性特征;然后采用多任务学***衡网络的损失;最后根据训练好的网络模型,从模型最后的柔性最大分类层得到最终的人脸表情识别结果。
本发明使用多任务学***衡网络的损失,使得网络在训练过程中可以很好地聚焦到难以分类的样本与难以分类的表情。本发明将特征学习与表情分类放在一个网络中执行,优化了人脸表情识别的结果,达到了端到端的训练。
附图说明
图1为本发明实施例的框架图。
图2为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征交叉熵损失可视化图。
图3为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征交叉熵损失和类内损失可视化图。
图4为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征交叉熵损失、类内损失和类间损失可视化图。
具体实施方式
下面结合附图和实施例对本发明的方法作详细说明。
参见图1,本发明实施例的实施方式包括以下步骤:
1.设计多任务卷积神经网络。对输入的图像,使用网络的第一部分提取图像的低层语义特征,在所提取的低层语义特征基础上,使用多个并行的全连接层进一步提取网络的高层语义特征。
2.在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务,并使用一种联合损失来监督每个单表情判别任务,用于学习对某种表情具有判别性的特征。
B1.每个单表情判别性特征学习任务,用于学习对特定一个表情具有判别性的特征。第j个任务对应所有并行的全连接层中的第j个全连接层。每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心。表示第j类表情特征的类中心,表示除第j类表情之外,其他类表情特征的类中心。计算样本特征到每个类中心的距离,具体计算公式如下所示:
其中,表示输入训练样本Pi在第j个全连接层得到的特征。为标签,表示属于第j类表情,表示不属于第j类表情,||.||2表示欧式距离,是正距离,表示样本特征到所属类中心的欧氏距离的平方,是负距离,表示样本特征到另一个类中心的欧氏距离的平方。
B5.将所有单任务学习到的特征串联起来,输入到柔性最大分类层进行分类。对柔性最大分类层计算交叉熵损失:
B6.联合损失和交叉熵损失构成网络的总损失:
Ltotal=LJ+Lcls。 (12)
整个网络通过反向传播算法进行优化。
3.使用大的人脸识别数据集,利用反向传播算法进行预训练。
4.使用给定的人脸表情训练样本集进行微调,得到训练好的模型。
5.利用训练好的模型而已进行人脸表情识别。
图2~4为在CK+数据集上,本发明提出的方法在不同设置下学习到的特征可视化图。
表1
表1为在CK+,Oulu-CASIA和MMI数据集上,本发明提出的方法与其他方法的人脸表情结果对比。其中
LBP-TOP对应G.Zhao等人提出的方法(G.Zhao,M.Pietikainen,“Dynamic texturerecognition using local binary patterns with an application to facialexpressions”,in IEEE Transactions on Pattern Analysis and MachineIntelligence 29(6)(2007)915–928.);
STM-ExpLet对应M.Liu等人提出的方法(M.Liu,S.Shan,R.Wang,X.Chen,“Learning expressionlets on spatiotemporal manifold for dynamic facialexpression recognition”,in IEEE Conference on Computer Vision andPatternRecognition(CVPR),2014,pp.1749–1756);
DTAGN对应H.Jung等人提出的方法(H.Jung,S.Lee,J.Yim,S.Park,“Joint fine-tuning in deep neural networks for facial expression recognition”,in IEEEInternational Conference on ComputerVision(ICCV),2015,pp.2983–2991);
PHRNN-MSCNN对应K.Zhang等人提出的方法(K.Zhang,Y.Huang,Y.Du,L.Wang,“Facial expression recognitionbased on deep evolutional spatial-temporalnetworks”,in IEEE Transactions on Image Processing 26(9)(2017)4193–4203)。
本发明将特征提取与表情分类放在一个端到端的框架中进行学习,可以有效地从输入图片中提取出判别性特征,并且对输入图片做出可靠地表情识别。通过实验分析可知,本算法性能卓越,可以有效地区分复杂的人脸表情,在多个公开的数据集上都取得了良好的识别性能。
Claims (2)
1.一种基于多任务卷积神经网络的人脸表情识别方法,其特征在于包括以下步骤:
2)设计多任务卷积神经网络结构,网络由两部分组成,第一部分用于提取图片的低层语义特征,第二部分用于提取图片的高层语义特征以及预测输入人脸图片所属的表情类别;
3)在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务,并使用一种联合损失来监督每个单表情判别任务,用于学习对某种表情具有判别性的特征;
4)使用大的人脸识别数据集,利用反向传播算法进行预训练;
5)使用给定的人脸表情训练样本集进行微调,得到训练好的模型;
6)利用训练好的模型进行人脸表情识别;
在步骤3)中,所述在设计好的多任务卷积神经网络里,采用多任务学习,同时执行多个单表情判别性特征学习任务以及多表情识别任务的具体方法为:
(1)每个单表情判别性特征学习任务,用于学习对特定一个表情具有判别性的特征,第j个任务对应所有并行的全连接层中的第j个全连接层,每个单表情判别性特征学习任务需要学习两个向量和作为两种样本的类中心,表示第j类表情特征的类中心,表示除第j类表情之外,其他类表情特征的类中心,计算样本特征到每个类中心的距离,具体计算公式如下所示:
其中,表示输入训练样本Pi在第j个全连接层得到的特征,为标签,表示属于第j类表情,表示不属于第j类表情,||.||2表示欧式距离,是正距离,表示样本特征到所属类中心的欧氏距离的平方,是负距离,表示样本特征到另一个类中心的欧氏距离的平方;
(5)将所有单任务学习到的特征串联起来,输入到柔性最大分类层进行分类,对柔性最大分类层计算交叉熵损失:
(6)联合损失和交叉熵损失构成网络的总损失:
Ltotal=LJ+Lcls
整个网络通过反向传播算法进行优化。
2.如权利要求1所述一种基于多任务卷积神经网络的人脸表情识别方法,其特征在于在步骤2)中,所述设计多任务卷积神经网络结构的具体方法为:
(1)网络的第一部分为全卷积网络,用于提取输入图像的中被所有表情所共享的低层语义特征,对于网络的第一部分,采用预激活残差单元结构堆叠多个卷积层;
(2)网络的第二部分由多个并行的全连接层和一个用于多表情分类的柔性最大分类层组成,多个并行的全连接层的个数与训练样本集包含的类别数一致,每个并行的全连接层接收网络的第一部分所输出的特征作为输入,获得所有并行的全连接层的输出之后,将这些输出串联起来,作为柔性最大分类层的输入。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810582457.6A CN108764207B (zh) | 2018-06-07 | 2018-06-07 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810582457.6A CN108764207B (zh) | 2018-06-07 | 2018-06-07 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108764207A CN108764207A (zh) | 2018-11-06 |
CN108764207B true CN108764207B (zh) | 2021-10-19 |
Family
ID=64000526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810582457.6A Active CN108764207B (zh) | 2018-06-07 | 2018-06-07 | 一种基于多任务卷积神经网络的人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764207B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508669B (zh) * | 2018-11-09 | 2021-07-23 | 厦门大学 | 一种基于生成式对抗网络的人脸表情识别方法 |
CN109583431A (zh) * | 2019-01-02 | 2019-04-05 | 上海极链网络科技有限公司 | 一种人脸情绪识别模型、方法及其电子装置 |
CN109993100B (zh) * | 2019-03-27 | 2022-09-20 | 南京邮电大学 | 基于深层特征聚类的人脸表情识别的实现方法 |
CN110188615B (zh) * | 2019-04-30 | 2021-08-06 | 中国科学院计算技术研究所 | 一种人脸表情识别方法、装置、介质及*** |
CN110309854A (zh) * | 2019-05-21 | 2019-10-08 | 北京邮电大学 | 一种信号调制方式识别方法及装置 |
CN110363204A (zh) * | 2019-06-24 | 2019-10-22 | 杭州电子科技大学 | 一种基于多任务特征学习的对象表示方法 |
CN110490057B (zh) * | 2019-07-08 | 2020-10-27 | 光控特斯联(上海)信息科技有限公司 | 一种基于人脸大数据人工智能聚类的自适应识别方法与*** |
CN110348416A (zh) * | 2019-07-17 | 2019-10-18 | 北方工业大学 | 一种基于多尺度特征融合卷积神经网络的多任务人脸识别方法 |
CN110414611A (zh) * | 2019-07-31 | 2019-11-05 | 北京市商汤科技开发有限公司 | 图像分类方法及装置、特征提取网络训练方法及装置 |
CN110532900B (zh) * | 2019-08-09 | 2021-07-27 | 西安电子科技大学 | 基于U-Net和LS-CNN的人脸表情识别方法 |
CN110598587B (zh) * | 2019-08-27 | 2022-05-13 | 汇纳科技股份有限公司 | 结合弱监督的表情识别网络训练方法、***、介质及终端 |
CN112825119A (zh) * | 2019-11-20 | 2021-05-21 | 北京眼神智能科技有限公司 | 人脸属性判断方法、装置、计算机可读存储介质及设备 |
CN110929099B (zh) * | 2019-11-28 | 2023-07-21 | 杭州小影创新科技股份有限公司 | 一种基于多任务学习的短视频帧语义提取方法及*** |
CN111160189B (zh) * | 2019-12-21 | 2023-05-26 | 华南理工大学 | 一种基于动态目标训练的深度神经网络人脸表情识别方法 |
CN111325256A (zh) * | 2020-02-13 | 2020-06-23 | 上海眼控科技股份有限公司 | 车辆外观检测方法、装置、计算机设备和存储介质 |
CN111626115A (zh) * | 2020-04-20 | 2020-09-04 | 北京市西城区培智中心学校 | 一种人脸属性识别方法和装置 |
CN111476200B (zh) * | 2020-04-27 | 2022-04-19 | 华东师范大学 | 基于生成对抗网络的人脸去识别化生成方法 |
CN111652293B (zh) * | 2020-05-20 | 2022-04-26 | 西安交通大学苏州研究院 | 一种多任务联合判别学习的车辆重识别方法 |
CN111767842B (zh) * | 2020-06-29 | 2024-02-06 | 杭州电子科技大学 | 基于迁移学习和自编码器数据增强的微表情种类判别方法 |
CN112766134B (zh) * | 2021-01-14 | 2024-05-31 | 江南大学 | 一种强化类间区分的表情识别方法 |
CN112766145B (zh) * | 2021-01-15 | 2021-11-26 | 深圳信息职业技术学院 | 人工神经网络的人脸动态表情识别方法及装置 |
CN113159066B (zh) * | 2021-04-12 | 2022-08-30 | 南京理工大学 | 基于类间相似度的分布式标签的细粒度图像识别算法 |
CN113936317A (zh) * | 2021-10-15 | 2022-01-14 | 南京大学 | 一种基于先验知识的人脸表情识别方法 |
CN114333027B (zh) * | 2021-12-31 | 2024-05-14 | 之江实验室 | 基于联合和交替学习框架的跨域新类人脸表情识别方法 |
CN115410265B (zh) * | 2022-11-01 | 2023-01-31 | 合肥的卢深视科技有限公司 | 模型训练方法、人脸识别方法、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013042992A1 (ko) * | 2011-09-23 | 2013-03-28 | (주)어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
CN104408440A (zh) * | 2014-12-10 | 2015-03-11 | 重庆邮电大学 | 一种基于两步降维和并行特征融合的人脸表情识别方法 |
CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
CN107657204A (zh) * | 2016-07-25 | 2018-02-02 | 中国科学院声学研究所 | 深层网络模型的构建方法及人脸表情识别方法和*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9552510B2 (en) * | 2015-03-18 | 2017-01-24 | Adobe Systems Incorporated | Facial expression capture for character animation |
US20170236057A1 (en) * | 2016-02-16 | 2017-08-17 | Carnegie Mellon University, A Pennsylvania Non-Profit Corporation | System and Method for Face Detection and Landmark Localization |
-
2018
- 2018-06-07 CN CN201810582457.6A patent/CN108764207B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013042992A1 (ko) * | 2011-09-23 | 2013-03-28 | (주)어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
CN104408440A (zh) * | 2014-12-10 | 2015-03-11 | 重庆邮电大学 | 一种基于两步降维和并行特征融合的人脸表情识别方法 |
CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
CN105404877A (zh) * | 2015-12-08 | 2016-03-16 | 商汤集团有限公司 | 基于深度学习和多任务学习的人脸属性预测方法及装置 |
CN107657204A (zh) * | 2016-07-25 | 2018-02-02 | 中国科学院声学研究所 | 深层网络模型的构建方法及人脸表情识别方法和*** |
CN106203395A (zh) * | 2016-07-26 | 2016-12-07 | 厦门大学 | 基于多任务深度学习的人脸属性识别方法 |
CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
CN106570474A (zh) * | 2016-10-27 | 2017-04-19 | 南京邮电大学 | 一种基于3d卷积神经网络的微表情识别方法 |
CN107358169A (zh) * | 2017-06-21 | 2017-11-17 | 厦门中控智慧信息技术有限公司 | 一种人脸表情识别方法及人脸表情识别装置 |
Non-Patent Citations (3)
Title |
---|
Multi-Task Convolutional Neural Network for Pose-Invariant Face Recognition;Xi Yin etc;《IEEE》;20180228;全文 * |
Multi-task Learning of Cascaded CNN for Facial Attribute Classification;Ni Zhang,etc.;《arXiv》;20180503;摘要,第2-4页 * |
基于深度学习的人脸检测算法研究;董德轩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108764207A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764207B (zh) | 一种基于多任务卷积神经网络的人脸表情识别方法 | |
Ranganathan et al. | Deep active learning for image classification | |
CN109063565B (zh) | 一种低分辨率人脸识别方法及装置 | |
CN108874782B (zh) | 一种层次注意力lstm和知识图谱的多轮对话管理方法 | |
CN111639544B (zh) | 基于多分支跨连接卷积神经网络的表情识别方法 | |
CN111325155A (zh) | 基于残差式3d cnn和多模态特征融合策略的视频动作识别方法 | |
CN110188343A (zh) | 基于融合注意力网络的多模态情感识别方法 | |
CN109359608B (zh) | 一种基于深度学习模型的人脸识别方法 | |
Wu et al. | MTCNN and FACENET based access control system for face detection and recognition | |
Wang et al. | Facial expression recognition using iterative fusion of MO-HOG and deep features | |
CN109344856B (zh) | 一种基于多层判别式特征学习的脱机签名鉴别方法 | |
CN111985581A (zh) | 一种基于样本级注意力网络的少样本学习方法 | |
WO2020143253A1 (zh) | 一种基于Sparse Autoencoder的电力***运行方式聚类方法 | |
CN113723238B (zh) | 一种人脸轻量网络模型构建方法和人脸识别方法 | |
CN106611156B (zh) | 一种自适应深度空间特征的行人识别方法和*** | |
CN110633689B (zh) | 基于半监督注意力网络的人脸识别模型 | |
CN107832753B (zh) | 一种基于四值权重与多重分类的人脸特征提取方法 | |
CN115062727A (zh) | 一种基于多阶超图卷积网络的图节点分类方法及*** | |
CN112766134B (zh) | 一种强化类间区分的表情识别方法 | |
CN111933123A (zh) | 一种基于门控循环单元的声学建模方法 | |
CN110378356A (zh) | 基于多目标拉格朗日正则的细粒度图像识别方法 | |
CN115830652A (zh) | 一种深度掌纹识别装置及方法 | |
Lin et al. | A small sample face recognition method based on deep learning | |
Jamshidnezhad et al. | Bee royalty offspring algorithm for improvement of facial expressions classification model | |
Zihao et al. | A time series classification method based on 1DCNN-FNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |