CN109635712A - 基于同构网络的自发微表情种类判别方法 - Google Patents
基于同构网络的自发微表情种类判别方法 Download PDFInfo
- Publication number
- CN109635712A CN109635712A CN201811492660.0A CN201811492660A CN109635712A CN 109635712 A CN109635712 A CN 109635712A CN 201811492660 A CN201811492660 A CN 201811492660A CN 109635712 A CN109635712 A CN 109635712A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- network
- expression
- spontaneous micro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于同构网络的自发微表情种类判别方法。本发明首先进行样本制作,包括RGB样本与光流差值样本的制作。然后将将不同样本分别置入网络中进行训练,训练方式为微调。最后将经过不同训练样本训练后的网络,同构合成所述的同构网络,利用同构网络产生判别结果。本发明中的光流差值样本既包含自发微表情变化的形变信息,又通过求差值去除了非自发微表情变化的环境干扰。结合样本的空间信息与时序变化的时间信息,组成具有时空特征的光流差值样本。对于本发明中的RGB样本以及光流差值样本,利用经过微调的网络对其提取特征,不仅充分结合颜色信息与时空信息,得到的特征更能表示当前样本类别,而且解决自发微表情数据样本少的难题。
Description
技术领域
本发明属于计算机图像处理技术领域,涉及自发微表情的种类判别方法。
背景技术
国家安全、精神医疗等与人们的日常生活息息相关,随着科学技术的发展,人们发现自发微表情的特殊性质有助于确认身份、检测谎言、认知状态等。自发微表情相较于普通表情的最大区别是其发生时不受人控制,因此其能表示人的真实情感。而自发微表情由于机制抑制的特点,发生时面部肌肉运动模块可能只包含部分的普通表情全部肌肉模块,因此其幅度弱、不同类别易混淆,导致很多时候肉眼无法观察到自发微表情的发生。正因为自发微表情发生幅度小、持续时间短,现有的基于自发微表情种类判别的方法正确率不高。
近年来,基于自发微表情特征提取并实现其分类的方法主要是两方面。一方面,基于传统的分类方法——支持向量机,对自发微表情特征进行分类,该方法分类精度低,对特征质量要求高,难以解决自发微表情强度弱的难题。另一方面,通过构建单个网络直接对样本进行训练得到网络模型,这种方法未充分利用样本中包含的信息,而且单个网络输出也不具备多个网络输出特征融合的容错能力。同时,因自发微表情数据库样本少,更适用于迁移学习进行种类判别。
发明内容
本发明主要针对当前自发微表情种类判别正确率不高,特征提取不完全等问题,提出了高正确率的自发微表情种类判别方法。
本发明的同构网络包含样本制作的技术与网络训练、网络生成的方法。
1)样本制作包括RGB样本与光流差值样本的制作。
本发明的样本制作过程如下:
步骤S1:输入带有标签的图像序列,随机选取一张图像作为基准图像。
步骤S2:将S1中除基准图像外的其他图像与基准图像做差值,得到差值图像后将其灰度化。
步骤S3:将S1中除基准图像外其他图像与基准图像计算光流位移,得到两张基于X轴、Y轴的灰度图像。
步骤S4:将步骤S2与步骤S3的图像合成三维图像,即构成光流差值样本。
步骤S5:与步骤S4中光流差值样本一一对应的图像,即为RGB样本。
具体地,带有标签的图像序列是指图像序列取自于自发微表情数据库,而数据库中的自发微表情已经通过标签标记其正确的类别。
具体地,随机选取是指从自发微表情序列的起始图像到终点图像随便选取一张图像作为基准。
具体地,光流位移为其他图像与基准图像的所有像素点用光流法进行比较,在X方向、Y方向上分别得到的偏移量,这些偏移量分别构成两张一维的灰度图像。
2)网络训练为将不同样本分别置入网络中进行训练。
具体地,网络为Inception-Resnet-V2网络,训练方式为微调。Inception-Resnet-V2网络训练时收敛快,其中Inception结构中引入了残差模块。Inception结构使用小卷积核代替大的卷积核,同时利用1×n与n×1的卷积核替代n×n的卷积核,如此不仅保证了感受野,而且减少了参数规模。残差模块解决了网络过深而导致梯度消失、难以收敛的问题,并重用低层特征,使得网络具有更高的参数使用效率。
在Inception-Resnet-V2网络中,多核的卷积与残差模块提取得到的特征映射,其反应了某些特殊的空间结构,学习到一些与空间结构有关的信息用于识别,即不同重叠程度的人脸肌肉单元。通过学习与比对找出那些发生改变的肌肉单元从而记住自发微表情的人脸肌肉运动模式,包含同一类自发微表情的多种肌肉运动模式。
这里不再赘述网络是如何训练的,需要注意的是,只对最后一层输入神经元个数进行修改并只训练最后一层参数,即其他层完全不做改变也不参与任何训练。更改网络最后一层神经元的个数使其对应于自发微表情种类数,使其能直接通过与标签进行比较得到分类结果。同时,其他层的个数不进行更改可以充分利用该网络已训练最优的性能,即输出的特征适用于自发微表情种类判别。训练用的GPU是NVIDIA公司提供的TITAN Xp显卡。
3)将经过不同训练样本训练后的网络,同构合成本发明的同构网络。
具体地,分别将测试用的RGB样本、光流差值样本放入对应的网络中,可以得到两组输出值,即两组输出特征。采用简单的特征融合方式将两组特征融合成一组特征,即求取对应特征的最大值,如式F=Max(F1,F2)所示,其中F、F1、F2分别表示融合后的特征、输入样本为RGB样本时的输出特征、输入样本为光流差值样本时的输出特征。Max为求取对应输出矩阵的最大值。求取融合后特征的最大值对应的表情种类,并与标签(数据库中自发微表情的正确类别)进行比较,确定输出结果是否与标签相符合,若相符则代表判断正确。
本发明的有益效果:光流差值样本既包含自发微表情变化的形变信息,又通过求差值去除了非自发微表情变化的环境干扰。结合样本的空间信息与时序变化的时间信息,组成具有时空特征的光流差值样本。对于本发明中的RGB样本以及光流差值样本,利用经过微调的Inception-Resnet-V2网络对其提取特征,不仅充分结合颜色信息与时空信息,得到的特征更能表示当前样本类别,而且解决自发微表情数据样本少的难题。
附图说明
图1表示本发明同构网络的网络结构图。
图2表示本发明光流差值样本生成示意图。
图3表示测试实验结果的混淆矩阵。
具体实施方式
下面将结合附图对本发明加以详细说明,应指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
下面将参考附图详细介绍本发明的实施例。
图1是网络结构示意图,展示了整个网络框架以及对应的输入输出。
1.图1中的RGB样本
具体技术方案是:取视频中某一片段的自发微表情图像,随机选取一张图像作为基准图像,该基准图像只用于比较而不参与后续的训练与测试。剩下的图像即为RGB样本,这些样本都表示同一类自发微表情,具有同样的标签。
2.图1中的光流差值样本
如图2所示,光流差值样本是由三个灰度图像拼接而成,分别为X轴的光流灰度图像、Y轴的光流灰度图像、差值灰度图像。
具体技术方案是:取与方案1中一样的图像作为基准图像,将剩下图像与基准图像分别完成光流法比较以及差值灰度化的计算。将得到的相同大小的三张图像叠加,即将三张一维的灰度图像拼成一张三维的样本,该样本即为光流差值样本。
光流法比较的具体流程如下:
光流法假设前提:目标物体的灰度值不变。
其中,如式I(x1,y1,t1)=I(x1+Δx,y1+Δy,t1+Δt)所示。I(x,y,t)表示目标在时间为t、坐标为[x,y]的像素值,[x1,y1]表示目标在t1时刻的位置。Δx、Δy则分别表示目标在X轴、Y轴方向上的位移,Δt表示目标运动的时间。该式表示在Δt时间内目标的像素灰度值不发生改变,通过不同的光流计算方法——基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法——可以求出Δx与Δy。计算整张图像各个像素点的Δx与Δy,并分别替代该像素点的灰度值,即可得关于Δx与Δy的两张光流灰度图像。
将剩下图像分别与基准图像做差值,得到差值RGB图像,再通过合并颜色通道的方式将其转变为灰度图像,即得到差值灰度图像。
合并颜色方式如式Gray=R*0.299+G*0.587+B*0.114,其中R、G、B分别为图像中三个通道(红色通道、绿色通道、蓝色通道)的像素值,Gray表示转化后的灰度像素值。
3.图1中所示的样本训练框架(虚线框)
将Inception-Resnet-V2网络的最后一层神经元数量改为需要预测的自发微表情种类数,例如自发微表情种类有7种,则最后一层神经元数量为7。固定除了最后一层的其余所有层神经元的参数,使其无论如何都不会改变,并开放最后一层的参数参与训练。
输入网络中的样本大小应为299*299*3,若不满足条件,需用双线性插值法对其进行缩放处理。分别将RGB样本与光流差值样本置入网络中训练,直至参数不再发生变化,即得到训练好的两个网络,如图1所示对应放置训练好的网络。
4.图1中所示的最大结果值(图1整体)
测试时,根据图1,随机选取未经过训练的自发微表情RGB样本与其对应的光流差值样本置入网络,可得两组输出结果。取两组输出结果的最大值作为最终输出值,标定其位置,对应位置的表情种类即为该自发微表情种类。例如,最大值为该层神经元从上往下数的第四位,而对应的自发微表情种类从上往下数的第四位为“高兴”,则该自发微表情种类为“高兴”。
5.实验结果
为表明本发明方法具有更高的准确率,特将本发明与其他方法进行比较,比较结果如图3和下表所示。([1]Takalkar M A,Xu M.Image based facial micro-expressionrecognition using deep learning on small datasets[C]//InternationalConference on Digital Image Computing:Techniques and Applications.IEEE,2017.[2]Peng X,Xia Z,Li L,et al.Towards facial expression recognition in the wild:a new database and deep recognition system[C]//Computer Vision and PatternRecognition Workshops.IEEE,2016:1544-1550.[3]He K,Zhang X,Ren S,et al.Deepresidual learning for image recognition[C]//IEEE Conference on ComputerVision and Pattern Recognition.IEEE Computer Society,2016:770-778.[4]XianlinPeng,Lei Li,Xiaoyi Feng,et al.Spontaneous facial expression recognition byheterogeneous convolutional networks[C]//International Conference on theFrontiers and Advances in Data Science.IEEE,2017.)
从图3中可以清楚得观察到本发明对不同自发微表情的分类准确率以及被误判的自发微表情种类和误判率。对易误判的自发微表情进行观察,可以发现相似自发微表情被误判的概率很高。例如图3中的“恐惧”有31%被误判成“生气”。但是,本发明除了“恐惧”之外其余所有的自发微表情识别率都很高,85%以上的各类准确率以及96%的平均分类准确率充分说明本发明对自发微表情种类判别取得良好成效。
前面已经具体描述了本发明的实施方案,应当理解,对于一个具有本技术领域的普通技能的人,不在背离本发明的范围的情况下,在上述的和在附加的权利要求中特别提出的本发明的范围内进行变化和调整能同样达到本发明的目的。
Claims (4)
1.基于同构网络的自发微表情种类判别方法,其特征在于该方法具体是:
1)样本制作,包括RGB样本与光流差值样本的制作;
步骤S1:输入带有标签的图像序列,随机选取一张图像作为基准图像;
步骤S2:将S1中除基准图像外的其他图像与基准图像做差值,得到差值图像后将其灰度化;
步骤S3:将S1中除基准图像外其他图像与基准图像计算光流位移,得到两张基于X轴、Y轴的灰度图像;
步骤S4:将步骤S2与步骤S3的图像合成三维图像,即构成光流差值样本;
步骤S5:与步骤S4中光流差值样本一一对应的图像,即为RGB样本;
2)将不同样本分别置入网络中进行训练;
所述网络为Inception-Resnet-V2网络,训练方式为微调,其中网络中的最后一层输入神经元个数进行了修改,修改后的个数对应于自发微表情种类数,并只训练最后一层参数,即其他层完全不做改变也不参与任何训练;
3)将经过不同训练样本训练后的网络,同构合成所述的同构网络,利用同构网络产生判别结果,具体是:
分别将测试用的RGB样本、光流差值样本放入对应的网络中,得到两组输出值,即两组输出特征;采用特征融合方式将两组特征融合成一组特征,即求取对应特征的最大值;
求取融合后特征的最大值对应的表情种类,并与标签进行比较,确定输出结果是否与标签相符合,若相符则代表判断正确。
2.根据权利要求1所述的基于同构网络的自发微表情种类判别方法,其特征在于,步骤S1中带有标签的图像序列是指图像序列取自于自发微表情数据库,而数据库中的自发微表情已经通过标签标记其正确的类别。
3.根据权利要求1所述的基于同构网络的自发微表情种类判别方法,其特征在于,步骤S1中随机选取是指从自发微表情序列的起始图像到终点图像随便选取一张图像作为基准。
4.根据权利要求1所述的基于同构网络的自发微表情种类判别方法,其特征在于,步骤S3中光流位移为其他图像与基准图像的所有像素点用光流法进行比较,在X方向、Y方向上分别得到的偏移量,这些偏移量分别构成两张一维的灰度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811492660.0A CN109635712B (zh) | 2018-12-07 | 2018-12-07 | 基于同构网络的自发微表情种类判别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811492660.0A CN109635712B (zh) | 2018-12-07 | 2018-12-07 | 基于同构网络的自发微表情种类判别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109635712A true CN109635712A (zh) | 2019-04-16 |
CN109635712B CN109635712B (zh) | 2021-02-05 |
Family
ID=66071911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811492660.0A Expired - Fee Related CN109635712B (zh) | 2018-12-07 | 2018-12-07 | 基于同构网络的自发微表情种类判别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109635712B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263863A (zh) * | 2019-06-24 | 2019-09-20 | 南京农业大学 | 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法 |
CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
CN111626179A (zh) * | 2020-05-24 | 2020-09-04 | 中国科学院心理研究所 | 一种基于光流叠加的微表情检测方法 |
CN111767842A (zh) * | 2020-06-29 | 2020-10-13 | 杭州电子科技大学 | 基于迁移学习和自编码器数据增强的微表情种类判别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106650670A (zh) * | 2016-12-27 | 2017-05-10 | 北京邮电大学 | 活体人脸视频的检测方法及装置 |
CN107316015A (zh) * | 2017-06-19 | 2017-11-03 | 南京邮电大学 | 一种基于深度时空特征的高精度面部表情识别方法 |
CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
CN108647625A (zh) * | 2018-05-04 | 2018-10-12 | 北京邮电大学 | 一种表情识别方法及装置 |
CN108830222A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于信息性和代表性主动学习的微表情识别方法 |
US20180342068A1 (en) * | 2015-12-04 | 2018-11-29 | Clarion Co., Ltd. | Tracking device |
-
2018
- 2018-12-07 CN CN201811492660.0A patent/CN109635712B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180342068A1 (en) * | 2015-12-04 | 2018-11-29 | Clarion Co., Ltd. | Tracking device |
CN106650670A (zh) * | 2016-12-27 | 2017-05-10 | 北京邮电大学 | 活体人脸视频的检测方法及装置 |
CN107316015A (zh) * | 2017-06-19 | 2017-11-03 | 南京邮电大学 | 一种基于深度时空特征的高精度面部表情识别方法 |
CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
CN108647625A (zh) * | 2018-05-04 | 2018-10-12 | 北京邮电大学 | 一种表情识别方法及装置 |
CN108830222A (zh) * | 2018-06-19 | 2018-11-16 | 山东大学 | 一种基于信息性和代表性主动学习的微表情识别方法 |
Non-Patent Citations (2)
Title |
---|
JIAWEI CHEN等: ""Semi-Coupled Two-Stream Fusion ConvNets for Action Recognition at Extremely Low Resolutions"", 《2017 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 * |
王昕培: ""基于双流CNN的异常行为分类算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263863A (zh) * | 2019-06-24 | 2019-09-20 | 南京农业大学 | 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法 |
CN110263863B (zh) * | 2019-06-24 | 2021-09-10 | 南京农业大学 | 基于迁移学习与双线性InceptionResNetV2的细粒度菌类表型识别方法 |
CN110516571A (zh) * | 2019-08-16 | 2019-11-29 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
CN110516571B (zh) * | 2019-08-16 | 2022-02-11 | 东南大学 | 基于光流注意力神经网络的跨库微表情识别方法及装置 |
CN111626179A (zh) * | 2020-05-24 | 2020-09-04 | 中国科学院心理研究所 | 一种基于光流叠加的微表情检测方法 |
CN111626179B (zh) * | 2020-05-24 | 2023-04-28 | 中国科学院心理研究所 | 一种基于光流叠加的微表情检测方法 |
CN111767842A (zh) * | 2020-06-29 | 2020-10-13 | 杭州电子科技大学 | 基于迁移学习和自编码器数据增强的微表情种类判别方法 |
CN111767842B (zh) * | 2020-06-29 | 2024-02-06 | 杭州电子科技大学 | 基于迁移学习和自编码器数据增强的微表情种类判别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109635712B (zh) | 2021-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109635712A (zh) | 基于同构网络的自发微表情种类判别方法 | |
Lian et al. | Deep-learning-based small surface defect detection via an exaggerated local variation-based generative adversarial network | |
CN108520535B (zh) | 基于深度恢复信息的物体分类方法 | |
CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
CN105469041B (zh) | 基于多任务正则化与逐层监督神经网络的人脸点检测*** | |
CN108596041B (zh) | 一种基于视频的人脸活体检测方法 | |
CN100357988C (zh) | 基于三路并行人工神经网络的移动号牌识别方法 | |
CN101980242B (zh) | 人脸面相判别方法、***及公共安全*** | |
CN110263681A (zh) | 面部表情的识别方法和装置、存储介质、电子装置 | |
CN106415594A (zh) | 用于面部验证的方法和*** | |
CN110457511B (zh) | 基于注意力机制和生成对抗网络的图像分类方法及*** | |
CN109902667A (zh) | 基于光流引导特征块和卷积gru的人脸活体检测方法 | |
CN106529494A (zh) | 一种基于多摄像头机型的人脸识别方法 | |
CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
CN110348320A (zh) | 一种基于多损失深度融合的人脸防伪方法 | |
CN109934204A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
CN110543848A (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
CN109033978A (zh) | 一种基于纠错策略的cnn-svm混合模型手势识别方法 | |
CN112364801A (zh) | 一种动态阈值人脸识别方法 | |
CN109101925A (zh) | 活体检测方法 | |
CN109977882A (zh) | 一种半耦合字典对学习的行人重识别方法及*** | |
CN111666845A (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
CN114187664B (zh) | 一种基于人工智能的跳绳计数*** | |
Ashwinkumar et al. | Deep learning based approach for facilitating online proctoring using transfer learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210205 Termination date: 20211207 |
|
CF01 | Termination of patent right due to non-payment of annual fee |