CN111259759B - 基于域选择迁移回归的跨数据库微表情识别方法及装置 - Google Patents

基于域选择迁移回归的跨数据库微表情识别方法及装置 Download PDF

Info

Publication number
CN111259759B
CN111259759B CN202010030236.5A CN202010030236A CN111259759B CN 111259759 B CN111259759 B CN 111259759B CN 202010030236 A CN202010030236 A CN 202010030236A CN 111259759 B CN111259759 B CN 111259759B
Authority
CN
China
Prior art keywords
micro
expression
formula
database
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010030236.5A
Other languages
English (en)
Other versions
CN111259759A (zh
Inventor
宗源
江星洵
郑文明
李阳
路成
唐传高
李溯南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010030236.5A priority Critical patent/CN111259759B/zh
Publication of CN111259759A publication Critical patent/CN111259759A/zh
Application granted granted Critical
Publication of CN111259759B publication Critical patent/CN111259759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于域选择迁移回归的跨数据库微表情识别方法及装置，包括：(1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表***和对应的微表情类别标签；(2)将训练数据库和测试数据库中的微表***转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征；(3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵；(4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。本发明准确率更高。

Description

基于域选择迁移回归的跨数据库微表情识别方法及装置
技术领域
本发明涉及图像处理，尤其涉及一种基于域选择迁移回归的跨数据库微表情识别方法及装置。
背景技术
微表情是人类试图隐藏或抑制内心真实情绪时，不经意间露出的面部表情，不受人主观意识的控制。微表情是检测人类隐藏情绪时重要的非语言信号，通常能够有效揭示一个人的真实心理状态，被认为是识别谎言的关键线索，对更好地理解人类情感，有着重要作用。因此，微表情的有效运用，对社会生产生活有着重要作用。在刑侦方面，经过一定微表情识别能力训练的审讯员，可以更好地识别犯罪嫌疑人的谎言；在社会治安方面，通过观察微表情可以判断潜伏在日常生活中的危险分子，防恐防暴；在临床医疗方面，通过微表情，医生更好地了解患者的真实想法，例如隐藏病情等等，从而更加有效地与患者交流，更加准确地分析病情，改进治疗方案。但是，人工识别微表情培训成本较高，难以大规模推广。因此近年来，利用计算机视觉技术和人工智能方法，进行微表情识别地需求日益增加。
传统的微表情识别往往在单个微表情数据库上进行训练与测试，而在实际生活中，训练数据库与测试数据库，往往具有较大差异，例如微表情样本在类别上不平衡、样本来自不同人种等等，因而识别结果不精确。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种基于域选择迁移回归的跨数据库微表情识别方法及装置，识别准确率更高。
技术方案：本发明所述的基于域选择迁移回归的跨数据库微表情识别方法包括：
(1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表***和对应的微表情类别标签；
(2)将训练数据库和测试数据库中的微表***转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征；
(3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵；其中，所述域选择迁移回归模型具体为：
Figure BDA0002364047210000021
式中，
Figure BDA0002364047210000022
为训练数据库的微表情类别标签，c为微表情类别数目，Ns、Nt分贝是训练数据库Xs、测试数据库Xt的微表***数目；
Figure BDA0002364047210000023
分别为训练数据库、测试数据库分块操作后第i分块的人脸局部区域特征，K是分块的块数，d是各分块的特征维数；wi是第i分块的选择权重，w＝[wi|i＝1,...,K]是权重向量；||·||1是向量的1-范数；
Figure BDA0002364047210000024
为第i分块人脸局部区域特征与微表情类别标签Ls之间的关系矩阵；
Figure BDA0002364047210000025
为Ci的转置；λ、μ和γ分别是对应约束项系数；
Figure BDA0002364047210000026
和
Figure BDA0002364047210000027
为元素为1的矩阵，形如
Figure BDA0002364047210000028
表示*行·列的实数矩阵；ψ(·)表示核映射操作；
(4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。
进一步的，步骤(2)具体包括：
(2-1)将训练数据库和测试数据库中的每个微表***转换为微表情图像序列；
(2-2)将所述微表情图像序列进行灰度化处理；
(2-3)从灰度化处理的微表情图像序列中裁剪出矩形人脸图像并进行缩放；
(2-4)利用插值和关键帧挑选算法对将所有缩放的人脸图像进行处理，得到每个微表***对应的相同帧数人脸图像；
(2-5)将步骤(2-4)处理后的人脸图像进行分块，并提取各分块中的特征，作为人脸局部区域特征。
进一步的，步骤(2-5)中对人脸图像进行分块时，将每个人脸图像进行多次分块，每次分块时得到的分块大小不同。
进一步的，对所述域选择迁移回归模型进行学习的方法包括：
(3-1)将所述域选择迁移回归模型转换为：
Figure BDA0002364047210000029
式中,
Figure BDA00023640472100000210
为连接人脸局部区域特征与微表情类别标签Ls之间的稀疏投影矩阵，C＝[Ci|i＝1,...,K]，P满足式(3)：
ψ(C)＝[ψ(Xs),ψ(Xt)]P   式(3)
Figure BDA0002364047210000031
与||P||1如式(4)(5)(6)(7)，其中Pi是P的第i列
Figure BDA0002364047210000032
Figure BDA0002364047210000033
Figure BDA0002364047210000034
P＝[P1 … Pc]   式(7)
(3-2)对转换后的域选择迁移回归模型进行求解，得到投影矩阵估计值
Figure BDA00023640472100000311
和权重估计值
Figure BDA0002364047210000035
进一步的，步骤(3-2)具体包括：
(3-2-1)保持w不变，更新P：
A、将式(2)转换为式(8)
Figure BDA0002364047210000036
其拉格朗日函数如式(9)：
Figure BDA0002364047210000037
其中，
Figure BDA0002364047210000038
表示朗格朗日乘子矩阵，κ表示稀疏约束项系数，
Figure BDA0002364047210000039
tr[·]表示矩阵·的迹，
Figure BDA00023640472100000310
B、对式(9)拉格朗日函数进行求解，具体包括以下步骤：
I、保持P、T、κ不变，更新Q：
将式(8)转化为下式(10)
Figure BDA0002364047210000041
式(9)有闭式解如式(11)
Figure BDA0002364047210000042
其中,I是单位矩阵；
II、保持Q、T、κ不变，更新P：
式(8)转化为式(12)
Figure BDA0002364047210000043
式(12)的最优解如式(13)
Figure BDA0002364047210000044
III、更新T和κ：
按式(14)(15)更新T和κ
T＝T+κ(P-Q)   式(14)
κ＝min(ρκ,κmax)   式(15)
其中，κmax是预设的κ的最大值，ρ是缩放系数，ρ>1；
IV、检查是否收敛：
检查式(16)是否收敛，若不满足，则返回执行步骤I，若满足或迭代次数大于设置值，则输出此时的矩阵P、Q、T和κ，
||P-Q||∞<ε   式(16)
其中，||·||∞是求数据中的最大元素，ε表示收敛阈值；
(3-2-2)保持P不变，更新w：
A、将式(9)转化为式(17)
Figure BDA0002364047210000051
其中，
Figure BDA0002364047210000052
分别是
Figure BDA0002364047210000053
和
Figure BDA0002364047210000054
各列顺序堆积的形成的向量，
Figure BDA0002364047210000055
表示Ls的第i列，
Figure BDA0002364047210000056
B、采用SLEP算法计算求解式(17)，输出w；
(3-2-3)检查收敛
当到达预设的最大迭代步骤，或目标函数(18)的值小于预设值时，将此时的矩阵P和w的值作为投影矩阵估计值
Figure BDA0002364047210000057
和权重估计值
Figure BDA0002364047210000058
输出；否则返回执行步骤(3-2-1)，
Figure BDA0002364047210000059
进一步的，步骤(4)具体包括：
根据学习到的稀疏投影矩阵
Figure BDA00023640472100000510
和权重
Figure BDA00023640472100000511
由式(19)预测得到待识别微表情的情感类别：
Figure BDA00023640472100000512
其中，
Figure BDA00023640472100000513
由式(20)确定，xte是待识别微表情的人脸局部区域特征，lte是对待识别微表情预测的情感分类结果，wi是w的第i个元素；
Figure BDA00023640472100000514
本发明所述的基于域选择迁移回归的跨数据库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
有益效果：本发明识别准确率更高。
附图说明
图1是本发明提供的基于域选择迁移回归的跨数据库微表情识别方法的一个实施例的流程示意图；
图2是序列图像分块的示意图。
具体实施方式
本实施例提供了一种基于域选择迁移回归的跨数据库微表情识别方法，如图1所示，包括以下步骤：
(1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表***和对应的微表情类别标签。
(2)将训练数据库和测试数据库中的微表***转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征。
该步骤具体包括：
(2-1)将训练数据库和测试数据库中的每个微表***转换为微表情图像序列；
(2-2)将所述微表情图像序列进行灰度化处理；灰度化处理采用openCV的COLOR_BGR2GRAY函数实现；
(2-3)从灰度化处理的微表情图像序列中裁剪出矩形人脸图像并进行缩放；其中，裁剪前先进行人脸检测，采用face_recognition的face_landmarks函数实现，对视频进行人脸图像裁剪时，所有帧按照视频第一帧检测出的人脸位置进行定位，横纵轴最小最大值分别为xmin＝x左脸颊-10，xmax＝x右脸颊+10，ymin＝x眉毛最高点-30，ymax＝y下巴,人脸图像缩放为112x112像素；
(2-4)利用插值和关键帧挑选算法对将所有缩放的人脸图像进行处理，得到每个微表***对应的相同帧数人脸图像；其中，插值利用洪晓鹏在2014在TPAMI《A CompactRepresentation of Visual Speech Data Using Latent Variables.》上提出的TIM时间插值方法，对每个视频选出16张人脸图像；
(2-5)将步骤(2-4)处理后的人脸图像进行分块，并提取各分块中的特征，作为人脸局部区域特征。分块时，将每个人脸图像进行多次分块，每次分块时得到的分块大小不同，具体如图2所示，可以分别划分为1x1块、2x2块、4x4块、8x8块，共85块。对每个块，即人脸的各个局部区域，提取特征，特征类型不作限定，可以是任意特征，例如LBP-TOP、LPQ-TOP、LBP-SIP等。
(3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵。
其中，所述域选择迁移回归模型具体为：
Figure BDA0002364047210000071
式中，
Figure BDA0002364047210000072
为训练数据库的微表情类别标签，c为微表情类别数目，Ns、Nt分贝是训练数据库Xs、测试数据库Xt的微表***数目；
Figure BDA0002364047210000073
分别为训练数据库、测试数据库分块操作后第i分块的人脸局部区域特征，K是分块的块数，d是各分块的特征维数；wi是第i分块的选择权重，w＝[wi|i＝1,...,K]是权重向量；||·||1是向量的1-范数；
Figure BDA0002364047210000074
为第i分块人脸局部区域特征与微表情类别标签Ls之间的关系矩阵；
Figure BDA0002364047210000075
为Ci的转置；λ、μ和γ分别是对应约束项系数；
Figure BDA0002364047210000076
和
Figure BDA0002364047210000077
为元素为1的矩阵，形如
Figure BDA0002364047210000078
表示*行·列的实数矩阵；ψ(·)表示核映射操作。
对所述域选择迁移回归模型进行学习的方法具体包括：
(3-1)将所述域选择迁移回归模型转换为：
Figure BDA0002364047210000079
式中,
Figure BDA00023640472100000710
为连接人脸局部区域特征与微表情类别标签Ls之间的稀疏投影矩阵，C＝[Ci|i＝1,...,K]，P满足式(3)：
ψ(C)＝[ψ(Xs),ψ(Xt)]P   式(3)
Figure BDA00023640472100000711
与||P||1如式(4)(5)(6)(7)，其中Pi是P的第i列
Figure BDA00023640472100000712
Figure BDA00023640472100000713
Figure BDA0002364047210000081
P＝[P1 … Pc]   式(7)
(3-2)对转换后的域选择迁移回归模型进行求解，得到投影矩阵估计值
Figure BDA0002364047210000082
和权重估计值
Figure BDA0002364047210000083
求解方法为ADM(选择方向法)，具体包括：
(3-2-1)保持w不变，更新P：
A、将式(2)可以重写为：
Figure BDA0002364047210000084
上式可以进一步写成式(8)
Figure BDA0002364047210000085
其拉格朗日函数如式(9)：
Figure BDA0002364047210000086
其中，
Figure BDA0002364047210000087
表示朗格朗日乘子矩阵，κ表示稀疏约束项系数，
Figure BDA0002364047210000088
tr[·]表示矩阵·的迹，
Figure BDA0002364047210000089
B、对式(9)拉格朗日函数进行求解，具体包括以下步骤：
I、保持P、T、κ不变，更新Q：
将式(8)转化为下式(10)
Figure BDA00023640472100000810
式(9)有闭式解如式(11)
Figure BDA00023640472100000811
其中,I是单位矩阵；
II、保持Q、T、κ不变，更新P：
式(8)转化为式(12)
Figure BDA0002364047210000091
式(12)的最优解如式(13)
Figure BDA0002364047210000092
III、更新T和κ：
按式(14)(15)更新T和κ
T＝T+κ(P-Q)   式(14)
κ＝min(ρκ,κmax)   式(15)
其中，κmax是预设的κ的最大值，ρ是缩放系数，ρ>1；这里，κmax设为10-8，ρ设为1.1。
IV、检查是否收敛：
检查式(16)是否收敛，若不满足，则返回执行步骤I，若满足或迭代次数大于设置值，则输出此时的矩阵P、Q、T和κ，此处最大迭代次数设为106，
||P-Q||∞<ε   式(16)
其中，||·||∞是求数据中的最大元素，ε表示收敛阈值；
(3-2-2)保持P不变，更新w：
A、将式(9)转化为式(17)
Figure BDA0002364047210000093
其中，
Figure BDA0002364047210000094
分别是
Figure BDA0002364047210000095
和
Figure BDA0002364047210000096
各列顺序堆积的形成的向量，
Figure BDA0002364047210000101
表示Ls的第i列，
Figure BDA0002364047210000102
B、采用SLEP算法计算求解式(17)，输出w；
(3-2-3)检查收敛
当到达预设的最大迭代步骤，或目标函数(18)的值小于预设值时，将此时的矩阵P和w的值作为投影矩阵估计值
Figure BDA0002364047210000103
和权重估计值
Figure BDA0002364047210000104
输出；否则返回执行步骤(3-2-1)，
Figure BDA0002364047210000105
这里，最大迭代次数设为10，目标函数值设为10-7。
(4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签。具体为：
根据学习到的稀疏投影矩阵
Figure BDA0002364047210000106
和权重
Figure BDA0002364047210000107
由式(19)预测得到待识别微表情的情感类别：
Figure BDA0002364047210000108
其中，
Figure BDA0002364047210000109
由式(20)确定，xte是待识别微表情的人脸局部区域特征，lte是对待识别微表情预测的情感分类结果，wi是w的第i个元素；
Figure BDA00023640472100001010
本实施例还提供了一种基于域选择迁移回归的跨数据库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
为验证本发明的有效性，在CAME2微表情数据库和SMIC数据库的HS子数据库、VIS子数据库、NIR子数据库之间做了跨数据微表情识别，验证结果如表1所示：
表1
训练数据库 测试数据库 评价指标(meanF1/Acc)
SMIC_HS SMIC_VIS 0.8721/87.32
SMIC_VIS SMIC_HS 0.6401/64.02
SMIC_HS SMIC_NIR 0.7466/74.65
SMIC_NIR SMIC_HS 0.5765/57.32
SMIC_VIS SMIC_NIR 0.7506/76.06
SMIC_NIR SMIC_VIS 0.8428/84.51
CASME II SMIC_HS 0.5297/54.27
SMIC_HS CASME II 0.5622/60.77
CASME II SMIC_VIS 0.5882/59.15
SMIC_VIS CASME II 0.7021/70.77
CASME II SMIC_NIR 0.5009/50.70
SMIC_NIR CASME II 0.4693/50.77
其中，对CASME2数据库的表情做如下处理：将happy类别的表情归为positive，将sadness、disgust、fear类别的表情归为negative，将surprise类别的标签归为surprise。SMIC数据库本身类别为positive、negative、surprise。
实验结果表明，基于本发明提出的微表情识别方法，取得了较高的跨数据库微表情识别率。

Claims (4)

1.一种基于域选择迁移回归的跨数据库微表情识别方法，其特征在于该方法包括以下步骤：
(1)获取两个微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包含有若干微表***和对应的微表情类别标签；
(2)将训练数据库和测试数据库中的微表***转换为微表情图像序列，并从中提取出灰度人脸图像，再经过分块后提取人脸局部区域特征；
(3)建立域选择迁移回归模型，并采用人脸局部区域特征对其进行学习，得到一个连接人脸局部区域特征与微表情类别标签之间的稀疏投影矩阵；其中，所述域选择迁移回归模型具体为：
s.tw≥0
式中，为训练数据库的微表情类别标签，c为微表情类别数目，Ns、Nt分别是训练数据库Xs、测试数据库Xt的微表***数目；分别为训练数据库、测试数据库分块操作后第i分块的人脸局部区域特征，K是分块的块数，d是各分块的特征维数；wi是第i分块的选择权重，w＝[wi|i＝1,...,K]是权重向量；||·||1是向量的1-范数；为第i分块人脸局部区域特征与微表情类别标签Ls之间的关系矩阵；为Ci的转置；λ、μ和γ分别是对应约束项系数；和为元素为1的矩阵，形如表示*行·列的实数矩阵；ψ(·)表示核映射操作；
其中，对所述域选择迁移回归模型进行学习的方法包括：
(3-1)将所述域选择迁移回归模型转换为：
s.tw≥0
式中,为连接人脸局部区域特征与微表情类别标签Ls之间的稀疏投影矩阵，C＝[Ci|i＝1,...,K]，P满足式(3)：
ψ(C)＝[ψ(Xs),ψ(Xt)]P 式(3)
与||P||1如式(4)(5)(6)(7)，其中Pi是P的第i列
P＝[P1 ... Pc]                           式(7)
(3-2)对转换后的域选择迁移回归模型进行求解，得到投影矩阵估计值和权重估计值具体包括：
(3-2-1)保持w不变，更新P：
A、将式(2)转换为式(8)
s.t.P＝Q
其拉格朗日函数如式(9)：
其中，表示朗格朗日乘子矩阵，κ表示稀疏约束项系数，tr[·]表示矩阵·的迹，
B、对式(9)拉格朗日函数进行求解，具体包括以下步骤：
I、保持P、T、κ不变，更新Q：
将式(8)转化为下式(10)
式(9)有闭式解如式(11)
其中,I是单位矩阵；
II、保持Q、T、κ不变，更新P：
式(8)转化为式(12)
式(12)的最优解如式(13)
III、更新T和κ：
按式(14)(15)更新T和κ
T＝T+κ(P-Q)                            式(14)
κ＝min(ρκ,κmax)                          式(15)
其中，κmax是预设的κ的最大值，ρ是缩放系数，ρ＞1；
IV、检查是否收敛：
检查式(16)是否收敛，若不满足，则返回执行步骤I，若满足或迭代次数大于设置值，则输出此时的矩阵P、Q、T和κ，
||P-Q||∞<ε   式(16)
其中，||·||∞是求数据中的最大元素，ε表示收敛阈值；
(3-2-2)保持P不变，更新w：
A、将式(9)转化为式(17)
s.t.w≥0
其中，分别是和各列顺序堆积的形成的向量， 表示Ls的第i列，
B、采用SLEP算法计算求解式(17)，输出w；
(3-2-3)检查收敛
当到达预设的最大迭代步骤，或目标函数(18)的值小于预设值时，将此时的矩阵P和w的值作为投影矩阵估计值和权重估计值输出；否则返回执行步骤(3-2-1)，
s.t.P＝Q
(4)对于待识别的微表情，按照步骤(2)得到人脸局部区域特征，并采用学习到的稀疏投影矩阵，得到对应的微表情类别标签；具体包括：
根据学习到的稀疏投影矩阵和权重由式(19)预测得到待识别微表情的情感类别：
s.t.lte≥0,1Tlte＝1
其中，由式(20)确定，xte是待识别微表情的人脸局部区域特征，lte是对待识别微表情预测的情感分类结果，wi是w的第i个元素；
2.根据权利要求1所述的基于域选择迁移回归的跨数据库微表情识别方法，其特征在于：步骤(2)具体包括：
(2-1)将训练数据库和测试数据库中的每个微表***转换为微表情图像序列；
(2-2)将所述微表情图像序列进行灰度化处理；
(2-3)从灰度化处理的微表情图像序列中裁剪出矩形人脸图像并进行缩放；
(2-4)利用插值和关键帧挑选算法对将所有缩放的人脸图像进行处理，得到每个微表***对应的相同帧数人脸图像；
(2-5)将(2-4)处理后的人脸图像进行分块，并提取各分块中的特征，作为人脸局部区域特征。
3.根据权利要求1所述的基于域选择迁移回归的跨数据库微表情识别方法，其特征在于：(2-5)中对人脸图像进行分块时，将每个人脸图像进行多次分块，每次分块时得到的分块大小不同。
4.一种基于域选择迁移回归的跨数据库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-3中任意一项所述的方法。
CN202010030236.5A 2020-01-13 2020-01-13 基于域选择迁移回归的跨数据库微表情识别方法及装置 Active CN111259759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030236.5A CN111259759B (zh) 2020-01-13 2020-01-13 基于域选择迁移回归的跨数据库微表情识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030236.5A CN111259759B (zh) 2020-01-13 2020-01-13 基于域选择迁移回归的跨数据库微表情识别方法及装置

Publications (2)

Publication Number Publication Date
CN111259759A CN111259759A (zh) 2020-06-09
CN111259759B true CN111259759B (zh) 2023-04-28

Family

ID=70948688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030236.5A Active CN111259759B (zh) 2020-01-13 2020-01-13 基于域选择迁移回归的跨数据库微表情识别方法及装置

Country Status (1)

Country Link
CN (1) CN111259759B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832426B (zh) * 2020-06-23 2022-11-08 东南大学 基于双稀疏迁移学习的跨库微表情识别方法及装置
CN112307923A (zh) * 2020-10-30 2021-02-02 北京中科深智科技有限公司 一种分区域的表情迁移方法和***
CN112800951B (zh) * 2021-01-27 2023-08-08 华南理工大学 基于局部基特征的微表情识别方法、***、装置及介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647628B (zh) * 2018-05-07 2021-10-26 山东大学 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法
CN110427881B (zh) * 2019-08-01 2021-11-26 东南大学 基于人脸局部区域特征学习的跨库微表情识别方法及装置

Also Published As

Publication number Publication date
CN111259759A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及***
CN111259759B (zh) 基于域选择迁移回归的跨数据库微表情识别方法及装置
CN112464808B (zh) 一种基于计算机视觉的跳绳姿态及个数识别方法
CN107403142B (zh) 一种微表情的检测方法
CN110427881B (zh) 基于人脸局部区域特征学习的跨库微表情识别方法及装置
CN110909651A (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN110464367B (zh) 基于多通道协同的心理异常检测方法和***
Kantarcı et al. Thermal to visible face recognition using deep autoencoders
CN111862990B (zh) 说话者身份验证方法及***
KR20210066697A (ko) 비디오 프레임의 공간 정보와 동적 정보를 다층 bi-lstm을 통해 분석하여 인간 우울증 수준을 예측하는 장치 및 방법
Wu et al. VP-NIQE: An opinion-unaware visual perception natural image quality evaluator
CN110705428B (zh) 一种基于脉冲神经网络的脸部年龄识别***及方法
CN112861718A (zh) 一种轻量级特征融合人群计数方法及***
KR20190128933A (ko) 시공간 주의 기반 감정 인식 장치 및 방법
CN114511912A (zh) 基于双流卷积神经网络的跨库微表情识别方法及装置
CN103714340B (zh) 基于图像分块的自适应特征提取方法
Matkowski et al. Giant panda face recognition using small dataset
CN116434311A (zh) 一种基于混合域一致性约束的面部表情识别方法及***
Saealal et al. Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance
CN116665310B (zh) 基于弱监督学习的抽动障碍识别和分类方法及***
Sun et al. Using backpropagation neural network for face recognition with 2D+ 3D hybrid information
Liu et al. Palm-dorsa vein recognition based on independent principle component analysis
CN113591797B (zh) 一种深度视频行为识别方法
CN116311472A (zh) 基于多层次图卷积网络的微表情识别方法及装置
CN116386117A (zh) 人脸识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant