CN111695427B - 一种基于稀疏共享迁移回归模型的跨库微表情识别方法 - Google Patents
一种基于稀疏共享迁移回归模型的跨库微表情识别方法 Download PDFInfo
- Publication number
- CN111695427B CN111695427B CN202010383157.2A CN202010383157A CN111695427B CN 111695427 B CN111695427 B CN 111695427B CN 202010383157 A CN202010383157 A CN 202010383157A CN 111695427 B CN111695427 B CN 111695427B
- Authority
- CN
- China
- Prior art keywords
- micro
- expression
- sparse
- label
- target domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于稀疏共享迁移回归模型的跨库微表情识别架构,架构主要包括基于源域和目标域微表情数据库的特征提取、学习优化一种更加共享的迁移回归模型和针对目标域微表情数据库样本的识别。本发明从均值和协方差矩阵角度来减小源域和目标域的分布差异,将标签的源域和未标签的目标域映射到公共的特征空间,再通过优化稀疏回归系数矩阵对三个时空描述符进行大量的实验。在与其他7种领域自适应的方法进行比较的过程中,证明了所提出发明确实优于另外7种方法。
Description
技术领域
本发明涉及模式识别、情感计算,尤其涉及一种基于领域自适应的微表情跨库识别方法。
背景技术
微表情是一种情绪表达,微表情不仅简短轻微,仅能持续0.04~0.2s,但更重要的是,它是不自觉和自发情况下产生的。一般来说,对于没有经验的人来说是很难识别的,甚至是经过专业训练后。近年来,微表情识别得到了广泛的应用,因为它可广泛应用于大部分心理及临床诊断场景,警用讯问、国家与公安安全、欺骗分析等。Zhao等人提出了一种三维空间上扩展的动态纹理LBP-TOP(Local Binary Pattern on Three Orthogonal Planes)的识别方法,通过结合XY、XT和YT这三个平面的局部二进制模型。为了减少LBP-TOP描述符的冗余,Wang等人提出的六交点局部二进制模型LBP-SIP(LBP with Six IntersectionPoints)以提高计算的效率。受LBP-TOP的启发,Li等人提出了二维时空的HOG和HIGO的三维时空版本HOG-TOP(Histograms of Oriented Gradients-TOP)和HIGO(Histogram ofImage Gradient-TOP)。
在上述的各种微表情识别的方法中,绝大多数是基于的一个常见的假设是训练和测试数据来自于相同的数据库,即训练和测试数据在一定程度上遵循相同的特征空间和概率分布。然而,训练数据和测试数据之间涉及到的跨数据库问题其实是广泛的存在于实际场景中,如面部表情识别、活动识别、言语情感识别。在跨数据库问题中,研究人员一般将训练数据库视为源域,将测试数据库视为目标域。跨数据库的微表情识CDMER(Cross-database micro-expression recognition)也是一种迁移学习,为了处理CDMER,Zong等人首先提出了一种方法称为TSRG,该方法是从目标域微表情数据库中重新生成样本数据库且与源域样本共享相似的特征空间。为了提高识别性能,Zong等人随后提出了在标签空间的领域再生成的DRLS方法,充分利用域再生标签空间作为预定义的子空间。
发明内容
发明目的:本发明针对现有技术存在的问题,提供一种领域自适应的微表情跨库识别方法,该方法识别表现的更好。
技术方案:本发明所述的基于领域自适应的微表情跨库识别方法包括:
(1)获取两个采用环境完全不同的微表情数据库,分别作为源域和目标域,并针对标签类别不一致的情况下对微表情数据库样本进行标签再定义;
(2)采用分层划分的方案,结合1×1、2×2、3×3和4×4这四种网格,最终将人脸划分为85个面部块,然后对源域和目标域的微表情数据库分别提取LBP-TOP、LBP-SIP和HOG-TOP这三种时空描述符特征;
(3)建立稀疏共享迁移回归模型,将标签的源域和未标签的目标域特征空间通过稀疏回归系数矩阵映射到共享的特征空间上,且通过均值和协方差矩阵迭代优化该矩阵以减小两域特征空间的分布差异;
(4)预测目标域微表情数据库样本的标签,将可能性最大的作为该样本的预测标签类别。从准确率和mean F1-score两个角度来分析该模型的识别表现,并在上述三种时空描述符上与其他七种领域自适应的方法进行实验对比和分析;
进一步的,步骤(1)所述的微表情数据库样本标签再定义为:
由于采用的是SMIC和CASME II这两个微表情数据库,因此需要对CASME II的微表情的标签类别进行重新定义,使得其与SMIC的微表情数据库类别保持一致。具体措施是将CASME II中的快乐标签重新定义为正性标签、反感和压抑标签重新定义为负性标签,而惊讶标签保持不变。
进一步的,步骤(3)所述的通过均值和协方差矩阵减小两域特征空间的分布差异的稀疏共享迁移回归模型具体表达式为:
进一步的,步骤(4)所述的预测目标域微表情数据库样本的标签表达式为:
式中Lt是目标域标签,Lt(k)是目标域微表情样本的第k个标签。
进一步的,步骤(3)所述的关于稀疏回归稀疏矩阵的优化问题的解可以引入两个协助矩阵Q和P使得问题转化为约束问题,其拉格朗日函数为:
式中T1和T2是拉格朗日乘子矩阵,κ>0是正则化参数。
根据迭代收敛的原理,优化的过程如下:
其结果为:
其结果为:
κk+1=min(ρκk,κmax)
e.检验是否收敛
||Uk-Qk||∞<ε,||Uk-Pk||∞<ε,或者迭代次数k<maxIter
式中ε表示机器的最小值。
进一步的,步骤(4)所述的准确率和mean F1-score来衡量模型的表现,其表达式为:
式中的T和N预测目标域样本的正确个数和目标域样本的总数,pi和ri为第i个微表情样本的精度和查全率,c为微表情样本的数量。
有益效果:本发明专利与现有技术相比,其显著优点是:在CDMER问题中提出应用特征表征迁移方法,发明发现了一个更好的共享的回归模型来预测目标域标签的样本通过均值和协方差矩阵最小化源域和目标域的边际概率分布差异。事实证明,将该模型视为回归问题和减少其误差可以帮助我们解决CDMER问题。此外,还进行了大量的实验和细致的分析证明了该发明提出的SSTR方法可以发现一个更好共享的特征空间优于其他解决方案的CDMER问题。总的来说,我们的模型的平均性能最好,mean-F1 score为0.6111,准确率为62.60%。同时,给出的算法的完整性证明了该模型应用于其他跨数据库问题的可行性。
附图说明
图1是本发明提供的基于稀疏共享迁移回归模型的跨库微表情识别方法的流程示意图。
图2是SMIC和重新标签分类过后的CASME II微表情数据库的统计图。
图3是本发明在提取微表情特征前通过结合1×1、2×2、3×3和4×4这四种网格将人脸划分为85个面部块的具体示意图。
具体实施方式
本实例提供了一种基于稀疏共享迁移回归模型的跨库微表情识别方法实施例,如图1所示,包括以下步骤:
(1)获取两个采用环境完全不同的微表情数据库,分别作为源域和目标域,并针对标签类别不一致的情况下对微表情数据库样本进行标签再定义。由于采用的是SMIC和CASME II这两个微表情数据库,因此需要对CASME II的微表情的标签类别进行重新定义,使得其与SMIC的微表情数据库类别保持一致。具体措施是将CASME II中的快乐标签重新定义为正性标签、反感和压抑标签重新定义为负性标签,而惊讶标签保持不变。划分后数据库的统计如图2所示。
(2)采用分层划分的方案,结合1×1、2×2、3×3和4×4这四种网格,最终将人脸划分为85个面部块,具体划分办法如图3所示。然后对源域和目标域的微表情数据库分别提取LBP-TOP、LBP-SIP和HOG-TOP这三种时空描述符特征;
(3)建立稀疏共享迁移回归模型,将标签的源域和未标签的目标域特征空间通过稀疏回归系数矩阵映射到共享的特征空间上,且通过均值和协方差矩阵迭代优化该矩阵以减小两域特征空间的分布差异,稀疏共享迁移回归模型具体表达式为:
关于稀疏回归稀疏矩阵的优化问题的解可以引入两个协助矩阵Q和P使得问题转化为约束问题,其拉格朗日函数为:
式中T1和T2是拉格朗日乘子矩阵,κ>0是正则化参数。
根据迭代收敛的原理,优化的过程如下:
其结果为
其结果为
κk+1=min(ρκk,κmax)
d.检验是否收敛
||Uk-Qk||∞<ε,||Uk-Pk||∞<ε,或者迭代次数k<maxIter
式中ε表示机器的最小值。
(4)预测目标域微表情数据库样本的标签,将可能性最大的作为该样本的预测标签类别。预测目标域微表情数据库样本的标签表达式为:
式中Lt是目标域标签,Lt(k)是目标域微表情样本的第k个标签。
(5)从准确率和mean F1-score两个角度来分析该模型的识别表现,并在上述三种时空描述符上与其他七种领域自适应的方法进行实验对比和分析,验证结果如表1所示:
表1
其中,SVM是传统的机器学习方法,TCA、GFK、TKL和SA是常见的领域自适应的方法,TSRG和DRLS是跨库微表情识别的方法,SSTR是本发明基于稀疏共享迁移回归模型的跨库微表情识别方法。
实验结果表明,基于稀疏共享迁移回归模型的跨库微表情识别方法取得了最好的跨库微表情识别的结果。作为一个更好共享的功能空间在表示方法上,本发明的SSTR模型具有明显的优势相比TSRG和DRLS,即本发明的SSRT的自适应能力最好方法解决CDMER问题。最终,本发明的模型在平均性能mean F1-score达到0.6111,准确率达到62.60%,本发明成功的提高了各项评价指标。以上所揭露的仅为本发明一种较佳实施例而已,不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (6)
1.一种基于稀疏共享迁移回归模型的跨库微表情识别方法,其特征在于,该方法包括:
(1)获取两个采用环境完全不同的微表情数据库,分别作为源域和目标域,并针对标签类别不一致的情况下对微表情数据库样本进行标签再定义;
(2)采用分层划分的方案,结合1×1、2×2、3×3和4×4这四种网格,最终将人脸划分为85个面部块,然后对源域和目标域的微表情数据库分别提取LBP-TOP、LBP-SIP和HOG-TOP这三种时空描述符特征;
(3)建立稀疏共享迁移回归模型,将标签的源域和未标签的目标域特征空间通过稀疏回归系数矩阵映射到共享的特征空间上,且通过均值和协方差矩阵迭代优化该矩阵以减小两域特征空间的分布差异;
(4)预测目标域微表情数据库样本的标签,将可能性最大的作为该样本的预测标签类别, 从准确率和mean F1-score两个角度来分析该模型的识别表现,并在上述三种时空描述符上与其他七种领域自适应的方法进行实验对比和分析。
2.根据权利要求1所述的基于稀疏共享迁移回归模型的跨库微表情识别方法,其特征在于,步骤(1)中,对微表情数据库样本进行标签再定义,具体措施是:
由于采用的是SMIC和CASME II这两个微表情数据库,因此需要对CASME II的微表情的标签类别进行重新定义,使得其与SMIC的微表情数据库类别保持一致;具体措施是:将CASME II中的快乐标签重新定义为正性标签、反感和压抑标签重新定义为负性标签,而惊讶标签保持不变。
5.根据权利要求1所述的基于稀疏共享迁移回归模型的跨库微表情识别方法,其特征在于,步骤(3)所述的关于稀疏回归稀疏矩阵的优化问题的解可以引入两个协助矩阵Q和P使得问题转化为约束问题,其拉格朗日函数为:
式中T1和T2是拉格朗日乘子矩阵,κ>0是正则化参数;
根据迭代收敛的原理,优化的过程如下:
其结果为
其结果为
κk+1=min(ρκk,κmax)
d.检验是否收敛
||Uk-Qk||∞<ε,||Uk-Pk||∞<ε,或者迭代次数k<maxIter
式中ε表示机器的最小值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383157.2A CN111695427B (zh) | 2020-05-08 | 2020-05-08 | 一种基于稀疏共享迁移回归模型的跨库微表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010383157.2A CN111695427B (zh) | 2020-05-08 | 2020-05-08 | 一种基于稀疏共享迁移回归模型的跨库微表情识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111695427A CN111695427A (zh) | 2020-09-22 |
CN111695427B true CN111695427B (zh) | 2022-11-15 |
Family
ID=72477341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010383157.2A Active CN111695427B (zh) | 2020-05-08 | 2020-05-08 | 一种基于稀疏共享迁移回归模型的跨库微表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111695427B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647628B (zh) * | 2018-05-07 | 2021-10-26 | 山东大学 | 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法 |
CN110427881B (zh) * | 2019-08-01 | 2021-11-26 | 东南大学 | 基于人脸局部区域特征学习的跨库微表情识别方法及装置 |
CN111048117B (zh) * | 2019-12-05 | 2022-06-17 | 南京信息工程大学 | 一种基于目标适应子空间学习的跨库语音情感识别方法 |
-
2020
- 2020-05-08 CN CN202010383157.2A patent/CN111695427B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111695427A (zh) | 2020-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Han et al. | Autoencoder inspired unsupervised feature selection | |
CN110532900B (zh) | 基于U-Net和LS-CNN的人脸表情识别方法 | |
CN106934042B (zh) | 一种知识图谱表示***及其实施方法 | |
CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
CN108182260B (zh) | 一种基于语义选择的多变量时间序列分类方法 | |
CN111126263B (zh) | 一种基于双半球差异性模型的脑电情感识别方法及装置 | |
CN111461176A (zh) | 基于归一化互信息的多模态融合方法、装置、介质及设备 | |
CN106991355B (zh) | 基于拓扑保持的解析型字典学习模型的人脸识别方法 | |
CN107957946B (zh) | 基于邻域嵌入保护算法支持向量机的软件缺陷预测方法 | |
CN109492750B (zh) | 基于卷积神经网络和因素空间的零样本图像分类方法 | |
CN114038037B (zh) | 基于可分离残差注意力网络的表情标签修正和识别方法 | |
CN109447098B (zh) | 一种基于深度语义嵌入的图像聚类算法 | |
CN110516557A (zh) | 基于低秩张量分解的多样本人脸表情识别方法 | |
CN113723238B (zh) | 一种人脸轻量网络模型构建方法和人脸识别方法 | |
CN116612335B (zh) | 一种基于对比学习的少样本细粒度图像分类方法 | |
CN110348287A (zh) | 一种基于字典和样本相似图的无监督特征选择方法和装置 | |
Yao et al. | Interpretation of electrocardiogram heartbeat by CNN and GRU | |
CN114708903A (zh) | 一种基于自注意力机制的蛋白质残基间距离预测方法 | |
CN114202792A (zh) | 一种基于端到端卷积神经网络的人脸动态表情识别方法 | |
CN116884067B (zh) | 一种基于改进的隐式语义数据增强的微表情识别方法 | |
CN111695427B (zh) | 一种基于稀疏共享迁移回归模型的跨库微表情识别方法 | |
CN117237685A (zh) | 一种基于多模态深度聚类的机械设备故障诊断方法 | |
CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
CN115471876A (zh) | 一种指纹检索方法及装置 | |
CN114841214A (zh) | 基于半监督判别投影的脉搏数据分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |