CN106778444B - 一种基于多视图卷积神经网络的表情识别方法 - Google Patents
一种基于多视图卷积神经网络的表情识别方法 Download PDFInfo
- Publication number
- CN106778444B CN106778444B CN201510807938.9A CN201510807938A CN106778444B CN 106778444 B CN106778444 B CN 106778444B CN 201510807938 A CN201510807938 A CN 201510807938A CN 106778444 B CN106778444 B CN 106778444B
- Authority
- CN
- China
- Prior art keywords
- view
- feature
- training
- dimensional
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多视图卷积神经网络的表情识别方法,包括步骤:根据表情类别构造多个视图;采用每个视图的训练样本集训练卷积神经网络,获得视图特征抽取模型。根据视图抽取模型抽取测试样本的特征向量,将测试样本在所有视图下的特征向量串接成一个高维稀疏特征向量,然后进行特征选择,获得低维特征向量;采用表情分类模型对低维特征向量分类,获得表情类别。本发明的效果是提高了表情识别的准确率,每个视图特征抽取模型可并行计算,能提高识别速度。
Description
技术领域
本发明涉及一种基于多视图卷积神经网络的表情识别方法,属于医疗健康和模式识别技术领域。
背景技术
情感状态体现了心理的健康状态,目前很多人都面临心理压力,或多或少会出现一些心理情感问题,表现为烦躁,焦虑,抑郁等,需要及时引导,但是这些表现出来的信号,对于心理学知识缺乏的人一般很难觉察,因此借助信息技术,自动监测并提醒是很重要的。人脸表情包含了丰富的情感信息,是我们理解情感的重要途径,因此通过人脸表情分析就可以实现人类的情感状态判别,进而判断人类的情感健康情况。
发明内容
本发明要解决的技术问题是:目前表情识别的准确率不高。
本发明涉及一种基于多视图卷积神经网络的表情识别方法,其特征在于该方法包括以下步骤:
[1]根据每个视图特征抽取模型抽取测试样本(输入人脸图像)在该视图下的特征向量;
[2]将测试样本在所有视图下的特征向量串接成一个高维稀疏特征向量;
[3]根据特征选择模型对高维稀疏特征向量进行特征选择,获得低维特征向量;
[4]采用表情分类模型对低维特征向量分类,获得测试样本的表情类别。
步骤[1] 根据每个视图特征抽取模型抽取测试样本在该视图下的特征向量,其包括视图定义和视图特征抽取模型的实现。
视图定义为表情类别的任意组合,每个组合就是一个视图。
视图特征抽取模型的实现是在训练阶段完成的,包括以下步骤:
(a)构造每个视图的训练样本集,其由该视图所包含的所有类的训练样本构成
(b)利用每个视图的训练样本集训练卷积神经网络,获得该视图的视图特征抽取模型,它由训练好的卷积神经网络中的特征提取部分组成。
然后用训练好的视图特征抽取模型抽取测试样本在该视图下的特征向量。
步骤[2] 将测试样本在所有视图下的特征向量串接成一个高维稀疏特征向量。
步骤[3] 根据特征选择模型对高维稀疏特征向量进行特征选择,获得低维特征向量,其中特征选择模型是在训练阶段完成的,包括以下步骤:
(a)构造每个视图的训练样本集
(b)利用每个视图抽取模型抽取每个训练样本的特征向量
(c)将每个训练样本在所有视图下的特征向量串接成一个高维稀疏特征向量
(d)采用特征选择方法对所有训练样本的高维特征向量进行特征选择,获得低维特征向量和特征选择模型。
采用特征选择方法对所有训练样本的稀疏特征向量进行特征选择时,需要预先训练,获得特征选择模型。
步骤[4] 采用表情分类模型对低维特征向量分类,获得测试样本的表情类别。
分类模型是通过大量的训练样本训练机器学习算法获得,而每个训练样本则由人脸图像和其对应的表情类别构成。训练样本的特征向量是经过步骤[3]特征选择后的特征向量。
有益效果
与现有技术相比,本发明的一种基于多视图卷积神经网络的表情识别方法具有以下优点:
[1]提高了表情识别的准确率
[2]视图特征抽取模型、特征选择模型和表情分类模型都是在训练阶段完成的,不影响测试过程
[3]多个视图特征抽取模型可以并行运行,具有提高识别速度的潜在能力。
附图说明
图1 基于多视图卷积神经网络的表情识别方法的流程图;
图2 视图的示意图。
具体实施方式
本发明提出的一种基于多视图卷积神经网络的表情识别方法,结合附图和实施例说明如下。如图1 所示,为一种基于多视图卷积神经网络的表情识别方法的流程图,该方法包括以下步骤:
[1]根据每个视图特征抽取模型抽取测试样本(输入人脸图像)在该视图下的特征向量;
[2]将测试样本在所有视图下的特征向量串接成一个高维稀疏特征向量;
[3]根据特征选择模型对高维稀疏特征向量进行特征选择,获得低维特征向量;
[4]采用表情分类模型对低维特征向量分类,获得测试样本的表情类别。
步骤[1] 根据每个视图特征抽取模型抽取测试样本的在该视图下的特征向量,其包括视图的定义和视图特征抽取模型的实现。
视图定义为表情类别的任意组合,每个组合就是一个视图。如图2所示,情感类别为高兴C1,悲伤C2,和平静C3, 则视图有:
视图V1={C1}={高兴}
视图V2={C2}={悲伤}
视图V3={C3}={平静}
视图V4={C1,C2}={高兴,悲伤}
视图V5={C1,C3}={高兴,平静}
视图V6={C2,C3}={悲伤,平静}
视图特征抽取模型的实现包括以下步骤:(a)构造每个视图的训练样本集,其由该视图所包含的所有类的训练样本组成。如图2中的视图V6={C2,C3}={悲伤,平静},其训练样本集则由类别C2的训练样本和类别C3的训练样本构成。(b)采用每个视图的训练样本集训练卷积神经网络,获得该视图的视图特征抽取模型,它由训练好的卷积神经网络中的特征提取部分组成。
然后用训练好的视图特征抽取模型抽取测试样本在该视图下的特征向量。
视图特征抽取模型采用卷积神经网络(Convolutional Neural Networks-简称CNN)实现。CNN是近年发展起来,并引起广泛重视的一种高效识别方法。由于CNN的特征检测层通过训练样本进行自动学习,避免了显示特征抽取,因而得到了更为广泛的应用。
本实施案例采用2010年Alex Krizhevsky发表的CNN结构, 其为2-GPU并行结构,基本参数如下:
输入:224×224大小的图片,3通道。
第一层卷积:5×5大小的卷积核96个,每个GPU上48个。
第一层max-pooling:2×2的核。
第二层卷积:3×3卷积核256个,每个GPU上128个。
第二层max-pooling:2×2的核。
第三层卷积:与上一层是全连接,3*3的卷积核384个。分到两个GPU上个192个。
第四层卷积:3×3的卷积核384个,两个GPU各192个。该层与上一层连接没有经过pooling层。
第五层卷积:3×3的卷积核256个,两个GPU上个128个。
第五层max-pooling:2×2的核。
第一层全连接:4096维,将第五层max-pooling的输出连接成为一个一维向量,作为该层的输入。
第二层全连接:4096维
Softmax层:输出为1000,输出的每一维都是图片属于该类别的概率
因此此CNN网络的特征提取4096维,分类器采用Softmax。
即每个视图特征抽取模型最终提取的特征维是4096维。
步骤[2] 将测试样本在所有视图下的特征向量串接成一个高维稀疏特征向量。如图2所示,共有6个视图,因此串接的高维稀疏特征向量为4096*6=24576维,这是一个典型的高维稀疏向量,需要通过特征选择方法来降维。
步骤[3] 根据特征选择模型对测试样本的高维稀疏特征向量进行特征选择,获得低维特征向量,其中特征选择模型是在训练阶段完成的,包括以下步骤:
(a)构造每个视图的训练样本集
(b)利用每个视图抽取模型抽取每个训练样本的特征向量
(c)将每个训练样本在所有视图下的特征向量串接成一个高维稀疏特征向量
(d)采用特征选择方法对所有训练样本的高维特征向量进行特征选择,获得低维特征向量和特征选择模型
采用特征选择方法对所有训练样本的稀疏特征向量进行特征选择时,需要预先训练,获得特征选择模型。
如图2所示,共有6个视图,那么根据以上步骤(a)~(c)就能将每个训练样本转为24576维的高维稀疏特征向量,然后本实施案例采用一种非常有效的多聚类特征选择(Multi-cluster Feature Selection, MCFS)方法(Deng Cai, et al. UnsupervisedFeature Selection for Multi-cluster Data, KDD 2010)在这些高维训练样本集上实现特征选择模型。
MCFS训练后的特征选择模型就是选择的d个特征的索引,其中MFCS中涉及的参数如d都是预先指定的参数,可以通过实验获取较好的值。假定选择比较好的d=5000,即每个训练样本转化为5000维的特征向量。
同样用第5步获得的特征选择模型将测试样本转为5000维的特征向量。
步骤[4] 采用表情分类模型对测试样本的低维特征向量分类,获得测试样本的表情类别。
分类模型是通过大量的训练样本训练机器学习算法获得,而每个训练数据则由人脸图像和其对应的表情类别构成。训练样本的特征向量是经过步骤[3]特征选择后的低维特征向量。
目前有很多分类器,包括支持向量机(Support Vector Machine, SVM),SOFTMAX。本实施案例采用SVM作为分类器。SVM基于结构风险最小化原则,具有良好的泛化能力。SVM算法实现直接采用LibSVM库函数
(http://www.csie.ntu.edu.tw/~cjlin/libsvm/),其由多种编程语言实现。SVM选择径向基函数作为核函数,以预测性能为准则,以10倍交叉验证方式选择SVM的合适参数,进而获得对应的支持向量机分类模型。
实验结果表明所提方法是有效的,优于现有的方法。
本领域的普通技术人员应当理解,本发明的技术方案可以进行修改,变形或等同变换,而不脱离本发明技术方案的本质和范围,均覆盖在本发明的权利要求范围之中。
Claims (2)
1.一种基于多视图卷积神经网络的表情识别方法,其特征在于该方法包括以下步骤:
[1]根据每个视图特征抽取模型抽取测试样本在该视图下的特征向量;其中,视图定义为表情类别的任意组合,每个组合就是一个视图;测试样本包括输入人脸图像;
[2]将测试样本在所有视图下的特征向量串接成一个高维稀疏特征向量;
[3]根据特征选择模型对高维稀疏特征向量进行特征选择,获得低维特征向量;
[4]采用表情分类模型对低维特征向量分类,获得测试样本的表情类别;
步骤[1]中视图特征抽取模型的获得是在训练阶段完成的,包括以下步骤:
①构造每个视图的训练样本集,其由该视图所包含的所有类的训练样本构成;
②利用每个视图的训练样本集训练卷积神经网络,获得该视图特征抽取模型;
步骤[3]中特征选择模型的获得是在训练阶段完成的,包括以下步骤:
(1)构造每个视图的训练样本集;
(2)利用每个视图抽取模型抽取每个训练样本的特征向量;
(3)将每个训练样本在所有视图下的特征向量串接成一个高维稀疏特征向量;
(4)采用特征选择方法对所有训练样本的高维特征向量进行特征选择,获得低维特征向量和特征选择模型。
2.根据权利要求1所述的一种基于多视图卷积神经网络的表情识别方法,其特征在于采用卷积神经网络实现每个视图的特征抽取模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510807938.9A CN106778444B (zh) | 2015-11-23 | 2015-11-23 | 一种基于多视图卷积神经网络的表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510807938.9A CN106778444B (zh) | 2015-11-23 | 2015-11-23 | 一种基于多视图卷积神经网络的表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106778444A CN106778444A (zh) | 2017-05-31 |
CN106778444B true CN106778444B (zh) | 2022-02-15 |
Family
ID=58885687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510807938.9A Active CN106778444B (zh) | 2015-11-23 | 2015-11-23 | 一种基于多视图卷积神经网络的表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106778444B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506722A (zh) * | 2017-08-18 | 2017-12-22 | 中国地质大学(武汉) | 一种基于深度稀疏卷积神经网络人脸情感识别方法 |
CN107609587B (zh) * | 2017-09-11 | 2020-08-18 | 浙江工业大学 | 一种基于深度卷积生成对抗网络的多类别多视图数据生成方法 |
CN107977634A (zh) * | 2017-12-06 | 2018-05-01 | 北京飞搜科技有限公司 | 一种针对视频的表情识别方法、装置及设备 |
CN107958230B (zh) * | 2017-12-22 | 2020-06-23 | 中国科学院深圳先进技术研究院 | 人脸表情识别方法及装置 |
CN108921061B (zh) * | 2018-06-20 | 2022-08-26 | 腾讯科技(深圳)有限公司 | 一种表情识别方法、装置和设备 |
CN110110672A (zh) * | 2019-05-10 | 2019-08-09 | 广东工业大学 | 一种人脸表情识别方法、装置及设备 |
CN110287773A (zh) * | 2019-05-14 | 2019-09-27 | 杭州电子科技大学 | 基于自主学习的交通枢纽安检图像识别方法 |
CN111310670B (zh) * | 2020-02-19 | 2024-02-06 | 江苏理工学院 | 一种基于预定义和随机视点的多视图三维形状识别方法 |
CN112036288B (zh) * | 2020-08-27 | 2022-03-15 | 华中师范大学 | 基于跨连接多特征融合卷积神经网络的面部表情识别方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104636711A (zh) * | 2013-11-15 | 2015-05-20 | 广州华久信息科技有限公司 | 一种基于局部稀疏表示分类器的人脸情感识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5913940B2 (ja) * | 2011-12-01 | 2016-05-11 | キヤノン株式会社 | 画像認識装置、画像認識装置の制御方法、およびプログラム |
-
2015
- 2015-11-23 CN CN201510807938.9A patent/CN106778444B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104636711A (zh) * | 2013-11-15 | 2015-05-20 | 广州华久信息科技有限公司 | 一种基于局部稀疏表示分类器的人脸情感识别方法 |
Non-Patent Citations (1)
Title |
---|
《基于改进的卷积神经网络的负面表情识别方法》;唐浩 等;《华中科技大学学报(自然科学版)》;20151016;457-460 * |
Also Published As
Publication number | Publication date |
---|---|
CN106778444A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106778444B (zh) | 一种基于多视图卷积神经网络的表情识别方法 | |
Fei et al. | Deep convolution network based emotion analysis towards mental health care | |
Tian et al. | Prior guided feature enrichment network for few-shot segmentation | |
CN109409222B (zh) | 一种基于移动端的多视角人脸表情识别方法 | |
Wen et al. | Ensemble of deep neural networks with probability-based fusion for facial expression recognition | |
CN112818861B (zh) | 一种基于多模态上下文语义特征的情感分类方法及*** | |
Zhou et al. | A lightweight convolutional neural network for real-time facial expression detection | |
CN110287389A (zh) | 基于文本、语音和视频融合的多模态情感分类方法 | |
KR20190094315A (ko) | 스타일을 고려하여 텍스트와 음성을 상호 변환하는 인공 지능 장치 및 그 방법 | |
CN109117952B (zh) | 一种基于深度学习的机器人情感认知的方法 | |
CN110135461B (zh) | 基于分层注意感知深度度量学习的情感图像检索的方法 | |
Jumani et al. | Facial expression recognition with histogram of oriented gradients using CNN | |
CN106845329A (zh) | 一种基于深度卷积特征多通道金字塔池化的动作识别方法 | |
Bursic et al. | Improving the accuracy of automatic facial expression recognition in speaking subjects with deep learning | |
Desai et al. | Image processing model with deep learning approach for fish species classification | |
CN114724224A (zh) | 一种用于医疗护理机器人的多模态情感识别方法 | |
Avula et al. | CNN based recognition of emotion and speech from gestures and facial expressions | |
Hua et al. | Convolutional network with densely backward attention for facial expression recognition | |
Dweik et al. | Read my lips: Artificial intelligence word-level arabic lipreading system | |
Su et al. | Nesterov accelerated gradient descent-based convolution neural network with dropout for facial expression recognition | |
Li et al. | End-to-end training for compound expression recognition | |
Rane et al. | Human Facial Emotion Recognition using Deep Learning Techniques | |
Francis et al. | Live detection of text in the natural environment using convolutional neural network | |
Shanthamallu et al. | Machine and Deep Learning Applications | |
de Souza et al. | Building semantic understanding beyond deep learning from sound and vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230410 Address after: 511458 room 901, No. 2, Chenghui street, Nansha street, Nansha District, Guangzhou City, Guangdong Province Patentee after: GUANGZHOU HUAJIAN INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 510000 Room 820, Engineering Building, Guangzhou University of Traditional Chinese Medicine, 232 East Ring Road, Xiaoguwei Street, Panyu District, Guangzhou, Guangdong Province Patentee before: GUANGZHOU HUAJIU INFORMATION TECHNOLOGY Co.,Ltd. |