CN109409287A - 一种由宏表情到微表情的迁移学习方法 - Google Patents

Abstract

本发明涉及一种由宏表情到微表情的迁移学习方法，在训练过程中该模型采用子空间投影的方式，将微表情特征矩阵和宏表情特征矩阵投影到公共子空间中，并用宏表情特征矩阵重构微表情特征矩阵，通过施加约束的方式使得公共子空间内宏表情和微表情特征和结构差别最小化，使得子空间内宏表情和微表情关联最大化，迭代优化目标投影矩阵，最后将测试集数据利用求得的目标投影矩阵投影到公共子空间并采用KNN进行分类。实现了将已有的宏表情域样本的有用信息迁移到微表情域，相当于扩充已标记微表情的样本数目，克服了微表情样本少标记困难的弊端。该方法不仅减少了标记的人力浪费，而且大大的提高了识别性能，提供了微表情识别的另一种策略。

Description

一种由宏表情到微表情的迁移学习方法

技术领域

本发明属于计算机视觉和模式识别领域，涉及一种由宏表情到微表情的迁移学习方法，尤其涉及一种采用非负矩阵分解(NMF)进行初始化和可保持投影前后两域公共潜在特性并推进两域距离的子空间投影的由宏表情到微表情迁移学习方法。

技术背景

早在1966年，Haggard等人就发现了微表情的存在,参见Haggard E A,Isaacs KS.Micromomentary facial expressions as indicators of ego mechanisms inpsychotherapy[M]//Methods of research in psychotherapy.Springer,Boston,MA,1966:154-165.他们认为微表情是人体自我保护机制体现方式的一种,可以表现出人们心中压抑不愿被人发现的想法或者情感。但令人遗憾的是他们的研究并没有在当时的社会引起多大的反响。之后Ekman和Friesen等人于1969年一个偶然的机遇下捕捉到一种极为快速被人试图压制的表情，他们通过对一段抑郁症病人的录像进行逐帧检查与分析，在过程中发现并正式定义了微表情。参见Ekman P,and Erika L R.What the face reveals:basicand applied studies of spontaneous expression using the facial action codingsystem(FACS)[M].Oxford University Press,1997.

近年来，随着社会和科技的不断进步，微表情的研究热度更是不断上升。迄今为止，在国外对于微表情研究已经有几十年历史。Ekman等人更是微表情研究领域的一股中坚力量，他们进行了大量的研究,其中著名的有：短期表情识别测验(Brief AffectRecognition Test,BART)(参见：Ekman P,Friesen W V.Nonverbal behavior andpsychopathology[J].1974.)、“日本人与高加索人短暂表情识别测验”(Japanese andCaucasian Brief Affect Recognition Test,JACBART)(参见：Matsumoto D,Leroux J,Wilson Cohn C,et al.A new test to measure emotionrecognition ability:Matsumoto and Ekman's Japanese and Caucasian Brief Affect Recognition Test(JACBERT)[J].Journal of Nonverbal Behavior,2000,24(3):179-209.)等。在研究中他们发现微表情可为测谎刑侦方面提供极大地帮助。同时Ekman等人(参见：Ekman P,O'Sullivan M.Who can catch a liar？[J].American Psychologist,1991,46(46):913-920.)也提出,被实验的人在微表情识别检测中的表现与他们在谎言测验中的得分是息息相关的。到了21世纪，Ekman等人(参见：WU Q,SHENG X B,FU X L.Micro-expression andits applications[J].Advances in Psychological Science,2010,18(09):1359-1368.)于2002年首先研究出微表情识别训练工具(Micro Expression Training Tool,METT)，用于提高微表情识别率。应用他们的训练工具可以在一定时间内显著提高微表情样本的识别率,相应的训练性能因此能同时得以提高(参见：梁静,颜文靖,吴奇,等.微表情研究的进展与展望[J].中国科学基金,2013,27(2):75-78.)。国内也有很多心理学家和科学家对于微表情进行研究。傅小兰教授最先涉足这一领域，进行了针对于自动谎言识别的微表情识别研究工作，被誉为中国微表情研究第一人。2010年，吴奇等人(参见：吴奇,申寻兵,傅小兰.微表情研究及其应用[J].心理科学进展,2010,18(9):1359-1368.)开始研究微表情与心理的关系，并且他们总结了以往的微表情识别的实验和微表情训练工具，对微表情在不同领域的应用进行了分析。2011年吴冉(参见：吴冉,任衍具.微表情的启动效应研究[J].应用心理学,2011,17(3):241-248.)也是从心理学角度出发，总结并提出了微表情的启动效应。2013年Yan等人(参见：Yan W J,Wu Q,Liu Y J,et al.CASME Database:a dataset ofspontaneous micro-expressions collected from neutralized faces[C].10th IEEEConference on Automatic Face and Gesture Recognition.Shanghai:IEEE,2013.)对于微表情持续时间进行了研究，同年梁静等人(参见：梁静,颜文靖,吴奇,等.微表情研究的进展与展望[J].中国科学基金,2013,27(2):75-78.)总结了已有的微表情库和识别方法。迄今为止，很多研究人员运用心理学的研究方法结合计算机视觉、机器学习等科学,进行有关微表情自动识别的各项工作，并有了一定的进展。

现有的微表情识别方法大致可以分为两类：特征表示方法(参见：Wu Q,Shen X,FuX.The machine knows what you are hiding:an automatic micro-expressionrecognition system[M]//Affective Computing and IntelligentInteraction.Springer,Berlin,Heidelberg,2011:152-162.及Polikovsky S,Kameda Y,Ohta Y.Facial micro-expressions recognition using high speed camera and 3D-gradient descriptor[J].2009.以及Pfister T,Li X,Zhao G,et al.Recognisingspontaneous facial micro-expressions[C]//Computer Vision(ICCV),2011IEEEInternational Conference on.IEEE,2011:1449-1456.)和线性子空间学习方法(参见：Wang S J,Chen H L,Yan W J,et al.Face recognition and micro-expressionrecognition based on discriminant tensor subspace analysis plus extremelearning machine[J].Neural processing letters,2014,39(1):25-43.及Wang S J,SunM F,Chen Y H,et al.STPCA:sparse tensor principal component analysis forfeature extraction[C]//Pattern Recognition(ICPR),201221st InternationalConference on.IEEE,2012:2278-2281.)。微表情的持续时间仅有0.04s-0.2s,强度极其微弱，受到照明，噪音等因素的影响，导致微表情特征表示的方法识别效果仍然不够理想。目前的线性子空间学习方法通过稀疏约束使得微表情识别已经具有了更好的分类能力，但这种约束力是有限的，仍然在很大程度上受到人类面部特征以及光线、噪音影响，因此对微表情的特征表示和提取造成困难。同时，目前还存在着微表情数据库样本数量有限，样本数据采集和标记困难的限制。

发明内容

针对现有技术的不足，本发明提供了一种由宏表情到微表情的迁移学习方法；

本发明将宏表情和微表情投影到公共子空间，使得公共子空间内宏表情和微表情特征分布趋近一致，保持投影前后两者公共潜在结构特性，使得公共子空间内宏表情和微表情距离最小化，能够克服微表情数据库样本数目受限的弊端，从而有效地提高识别率。

发明概述：

首先将微表情特征矩阵和宏表情特征矩阵投影到P张成的子空间中，因宏表情和微表情含有某些潜在公共部分，因此在这个子空间中微表情特征矩阵可通过宏表情特征矩阵进行线性重构。同时，线性重构矩阵也相当于对于宏表情特征矩阵的二次投影矩阵，在公共子空间中经过二次投影宏表情特征矩阵与经过一次投影的微表情特征矩阵距离进一步拉近。通过对线性系数矩阵和投影矩阵施加约束，进行选择性重构，并在投影过程中保持宏表情和微表情公共潜在特性并使得投影后微表情特征矩阵和宏表情特征矩阵在特征分布趋于一致，从而使得两者在公共子空间内距离最小化。

术语解释：

1、LBP特征：LBP指局部二值模式，英文全称：Local Binary Pattern，是一种用来描述图像局部特征的算子，LBP特征具有灰度不变性和旋转不变性等显著优点。它是由T.Ojala,M.和D.Harwood[1][2]在1994年提出。

2、LBP-TOP特征，是LBP从二维空间到三维空间的拓展，LBP-TOP的全称为:localbinary patterns from three orthogonal planes，这里的three orthogonal planes指的就是三个正交平面。

3、张成子空间，设x1,x2,...,xr(r>0)是V的r个向量，他们所有可能的线性组合所成的集是V的一个子空间，称为x1,x2,...,xr张成的子空间。

4、矩阵A的范数正则化约束：公式中n为行数，t为列数。即为行向量的2范数之和。

5、矩阵A的范数正则化约束：公式中m为行数，为列和范数，即所有矩阵列向量绝对值之和的最大值。

6、NMF，是指非负矩阵分解；

7、KNN，是指K-近邻分类算法。

本发明的技术方案为：

一种由宏表情到微表情的迁移学习方法，包括以下步骤：

(1)分别提取宏表情特征和微表情特征：宏表情提取LBP特征形成宏表情特征表示矩阵，微表情提取LBP-TOP特征形成微表情特征表示矩阵，并将LBP-TOP特征三个正交平面统一取均值，原本LBP-TOP特征是在XY,XT,YT三个正交平面提取的LBP特征，形成3*59维的特征，此处为了两者维度统一，将三个正交平面上的LBP特征进行累加取均值，形成59维LBP-TOP特征，形成与宏表情维度统一的微表情表示特征；

(2)通过构建宏表情到微表情迁移学习方法目标函数的形式，将微表情特征矩阵和宏表情特征矩阵投影到P张成的子空间；

(3)通过NMF的方式提取获得初始化投影矩阵P，并通过求解目标函数迭代优化目标投影矩阵，满足收敛条件时输出目标投影矩阵P¹；

(4)采取步骤(1)相同的方式，分别对测试集数据提取宏表情特征和微表情特征，分别形成测试集宏表情特征矩阵X_a ^te和测试集微表情特征矩阵X_b ^te，通过训练所得的目标投影矩阵P¹对微表情特征矩阵进行投影Z_b ^te＝P^1TX_b ^te，通过训练所得的目标投影矩阵P¹对宏表情特征矩阵进行投影Z_a ^te＝P^1TX_a ^te，并比对距离，将投影后距离最近的K个宏表情数据样本的标签赋给微表情数据样本作为标签，即采用KNN进行分类；

(5)将测试集微表情预测标签和真实标签比对，正确数目占总数目的比率即为识别率。

根据本发明优选的，所述步骤(2)中，所述目标函数如式(Ⅰ)所示：

式(Ⅰ)中，α，β，γ均为平衡系数，α>0，β>0，γ>0；

X_a是宏表情特征矩阵,n_a代表宏表情样本数目，d代表特征维数；

X_b是微表情特征矩阵，n_b代表维表情样本数目，d代表特征维数；

P∈R^d×np，P是投影矩阵，np是指子空间维度；

V是重构系数矩阵(相当于二次投影矩阵)；

E是误差矩阵，存放宏表情和微表情中各自的特性成分，特性成分包括各自独特的特征和结构；

Ω(P)为联合正则化项，用于投影过程中保持宏表情和微表情公共潜在特性，公共潜在特性包括特征和结构特性，使投影后宏表情和微表情特征分布趋于一致，并进一步推进子空间宏表情和微表情距离。

根据本发明优选的，所述步骤(2)，包括以下步骤：

A、将宏表情特征矩阵X_a和微表情特征矩阵X_b通过投影矩阵P投影到一个子空间中，因为宏表情和微表情含有潜在公有因素，投影后的宏表情特征矩阵X_a通过重构系数矩阵V对微表情特征矩阵X_b进行重构，表示为P^TX_b≈P^TX_aV；V也可以看作对投影后的宏表情进行二次投影，进一步推进子空间中微表情特征矩阵和宏表情特征矩阵距离。对重构系数矩阵V施加范数正则化约束，使重构系数矩阵V稀疏，此正则化项的作用为：使V每一行的l2范数最小，行内出现最多的0元素，0元素与投影后宏表情矩阵相乘去除冗余信息，完成对投影后宏表情的特征选择。

根据本发明优选的，所述步骤A中的初始化投影矩阵P的获取方法为：通过NMF的方式在宏表情特征矩阵X_a中提取获得初始化投影矩阵P，即对宏表情特征矩阵X_a进行NMF分解X_a＝WH，W为基矩阵，H为系数矩阵；提取基矩阵W作为初始化投影矩阵P。

B、P^TX_b≈P^TX_aV是一个近似的关系，因此，存在一个误差矩阵E，使公共子空间内宏表情和微表情完全相等，即：P^TX_b＝P^TX_aV+E；可以理解为误差矩阵E内存储有微表情和宏表情各自的特性部分，同时，此处误差矩阵具有减少噪声和消除过拟合的作用。对误差矩阵E施加范数约束，使得误差矩阵E稀疏。

C、对投影矩阵P进行约束，从而进行特征选择，保持投影后宏表情和微表情的潜在公有特性并推进公共子空间内宏表情和微表情距离，F范数约束希望投影矩阵稀疏，进行特征选择的作用；用Ω(P)表示由流形约束和MMD约束组成的联合正则化约束，Ω(P)＝Ω1(P)+Ω2(P)，用于投影过程中保持宏表情和微表情公共潜在特性推进两者距离，流形约束Ω1(P)的定义如式(Ⅱ)所示：

式(Ⅱ)中，η>0，是流形正则化惩罚因子，P^TX_b,t是一次投影后微表情特征矩阵第t个样本，P^TX_b,k是一次投影后微表情特征矩阵第k个样本，P^TX_aV_t是二次投影后宏表情特征矩阵第t个样本，P^TX_aV_k是二次投影后宏表情特征矩阵第k个样本，W_tk是矩阵W中第t行、第k列的元素；W为投影后的微表情数据流形结构图的权重矩阵，反映了投影后微表情数据样本间的邻接关系；L＝D-W为图拉普拉斯矩阵，D为对角矩阵，其对角元素为当P^TX_b,i∈knn(P^TX_b,j)时，否则，W_ij＝0，P^TX_b,i为一次投影后的微表情第i个数据样本，P^TX_b,j为一次投影后的微表情第j个数据样本，σ为高斯核带宽，此处为常数，I为单位矩阵；回顾我们的目标为采用投影后的宏表情数据线性重构投影后的微表情数据，P^TX_aV为P^TX_b的另一种特征表示形式，因此宏表情结构信息可用微表情的代替进行进一步简化，流形正则化约束用于保持投影后宏表情和微表情的潜在公共结构特性；

MMD约束Ω2(P)的定义如式(Ⅲ)所示：

式(Ⅲ)中，λ>0，是MMD正则化惩罚因子，X_a,i为宏表情第i个数据样本，n_a为宏表情样本数目，X_b,j为微表情第j个数据样本，n_b为微表情样本数目，MMD约束希望投影后公共子空间内微表情特征矩阵和宏表情特征矩阵特征数据距离最小，即两者投影后的特征空间趋向于一致，即投影后边缘概率分布距离最近P(P^TX_b)≈P(P^TX_a)。因此，联合正则化项定义如式(Ⅳ)所示：

Ω(P)＝Ω1(P)+Ω2(P)

＝ηtr(P^TX_bLX_b ^TP)+λtr(P^TMP) (Ⅳ)

s.t.P^TX_bDX_b ^TP＝I

式(Ⅳ)中，I是单位矩阵；

因此，完整的约束项定义如式(Ⅴ)所示：

根据本发明优选的，所述步骤(3)中，通过NMF的方式初始化投影矩阵P，并通过求解目标函数迭代优化目标投影矩阵，满足收敛条件时输出目标投影矩阵P¹，包括步骤如下：

E、将目标函数转化为近似的形式进行求解：

所述目标函数如式(Ⅵ)所示：

考虑到各项约束，目标函数是非凸的，将目标函数转化为近似的形式，如式(VII)所示：

式(VII)中，Y是由WY＝ΛDY问题求解的特征向量作为行向量构成的矩阵，Λ是由对应的特征值作为对角元素构成对角矩阵；

F、通过增广拉格朗日(ALM)方式进行求解：

将目标函数改写为增广拉格朗日函数的形式，如式(Ⅷ)所示：

式(Ⅷ)中，U是拉格朗日乘子，μ是惩罚因子，μ>0。

我们不能同时直接求解所有变量，所以我们采用ADMM的方式求解。

固定其他变量，以迭代的形式依次求解；包括：

a、固定其他变量，对式(Ⅷ)求导置零，求解V，如式(Ⅸ)所示：

式(Ⅸ)中，G为对角矩阵，G_ii为对角元素，当vⁱ＝0时，G_ii＝0；否则，

b、固定其他变量，求解E，如式(Ⅹ)所示：

c、固定其他变量，通过对式(VII)求导置零，求解P，如式(Ⅺ)所示：

式(Ⅺ)中，

G、判断是否满足停止条件||P^TX_b-P^TX_aV-E||<ε，0＜ε＜＜0.1，ε为停止阈值，是的话，停止迭代并输出目标投影矩阵P¹，否则，返回步骤a。

本发明的有益效果为：

在宏表情和微表情进行迁移的过程中，对微表情特征矩阵和宏表情特征矩阵创造一个公共投影空间，在公共投影子空间中用宏表情数据对微表情数据进行选择性重构，并通过误差项存放宏表情和微表情特性部分减少了噪声，添加联合正则化约束项保持宏表情和微表情潜在公共特性，使投影后特征空间和几何结构都趋向于一致，从而使得公共子空间内两者距离最小，从而充分提取宏表情有用信息利于微表情识别。

附图说明

图1为本发明一种由宏表情到微表情的迁移学习方法总流程图；

图2为本发明目标函数求解示意图；

图3为本发明平衡参数影响示意图；

图4为本发明子空间维度影响示意图；

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种由宏表情到微表情的迁移学习方法，如图1所示，包括以下步骤：

(1)分别提取宏表情特征和微表情特征：宏表情提取LBP特征形成宏表情特征表示矩阵X_a，微表情提取LBP-TOP特征形成微表情特征表示矩阵X_b，并将LBP-TOP特征三个正交平面统一取均值，原本LBP-TOP特征是在XY,XT,YT三个正交平面提取的LBP特征，形成3*59维的特征，此处为了两者维度统一，将三个正交平面上的LBP特征进行累加取均值，形成59维LBP-TOP特征，形成与宏表情维度统一的微表情表示特征；

(2)通过构建宏表情到微表情迁移学习方法目标函数的形式，将微表情特征矩阵和宏表情特征矩阵投影到P张成的子空间；

(3)通过NMF的方式提取获得初始化投影矩阵P，并通过求解目标函数迭代优化目标投影矩阵，满足收敛条件时输出目标投影矩阵P¹；

(4)采取步骤(1)相同的方式，分别对测试集数据提取宏表情特征和微表情特征，分别形成测试集宏表情特征矩阵X_a ^te和测试集微表情特征矩阵X_b ^te，通过训练所得的目标投影矩阵P¹对微表情特征矩阵进行投影Z_b ^te＝P^1TX_b ^te，通过训练所得的目标投影矩阵P¹对宏表情特征矩阵进行投影Z_a ^te＝P^1TX_a ^te，并比对距离，将投影后距离最近的K个宏表情数据样本的标签赋给微表情数据样本作为标签，即采用KNN进行分类；

(5)将测试集微表情预测标签和真实标签比对，正确数目占总数目的比率即为识别率。

实施例2

根据实施例1所述的一种由宏表情到微表情的迁移学习方法，其区别在于，

步骤(2)中，所述目标函数如式(Ⅰ)所示：

式(Ⅰ)中，α，β，γ均为平衡系数，α>0，β>0，γ>0；

X_a是宏表情特征矩阵,n_a代表宏表情样本数目，d代表特征维数；

X_b是微表情特征矩阵，n_b代表维表情样本数目，d代表特征维数；

P∈R^d×np，P是投影矩阵，np是指子空间维度；

V是重构系数矩阵(相当于二次投影矩阵)；

E是误差矩阵，存放宏表情和微表情中各自的特性成分，特性成分包括各自独特的特征和结构；

Ω(P)为联合正则化项，用于投影过程中保持宏表情和微表情公共潜在特性，公共潜在特性包括特征和结构特性，使投影后宏表情和微表情特征分布趋于一致，并进一步推进子空间宏表情和微表情距离。

步骤(2)，包括以下步骤：

A、将宏表情特征矩阵X_a和微表情特征矩阵X_b通过投影矩阵P投影到一个子空间中，因为宏表情和微表情含有潜在公有因素，投影后的宏表情特征矩阵X_a通过重构系数矩阵V对微表情特征矩阵X_b进行重构，表示为P^TX_b≈P^TX_aV；V也可以看作对投影后的宏表情进行二次投影，进一步推进子空间中微表情特征矩阵和宏表情特征矩阵距离。通过对重构系数矩阵V施加范数正则化约束，使重构系数矩阵V结构化稀疏，此正则化项的作用为：使V每一行的l2范数最小，行内出现最多的0元素，0元素与投影后宏表情矩阵相乘去除冗余信息，完成对投影后宏表情的特征选择；

步骤A中的投影矩阵P的获取方法为：通过NMF的方式在宏表情特征矩阵X_a中提取获得初始化投影矩阵P，即对宏表情特征矩阵X_a进行NMF分解X_a＝WH，W为基矩阵，H为系数矩阵；提取基矩阵W作为初始化投影矩阵P。

B、P^TX_b≈P^TX_aV是一个近似的关系，因此，存在一个误差矩阵E，使公共子空间内宏表情和微表情完全相等，即：P^TX_b＝P^TX_aV+E；可以理解为误差矩阵E内存储有微表情和宏表情各自的特性部分，同时，此处误差矩阵具有减少噪声和消除过拟合的作用。对误差矩阵E施加范数约束，使得误差矩阵E稀疏。

C、对投影矩阵P进行约束，从而进行特征选择，保持投影后宏表情和微表情的潜在公有特性并推进公共子空间内宏表情和微表情距离，F范数约束希望投影矩阵稀疏，进行特征选择的作用；用Ω(P)表示由流形约束和MMD约束组成的联合正则化约束，Ω(P)＝Ω1(P)+Ω2(P)，用于投影过程中保持宏表情和微表情公共潜在特性推进两者距离，对于投影矩阵P施加F范数进行约束，通过最小化||P||² _F使其稀疏，以便提取两个被投影矩阵中的有用信息；对投影矩阵P施加联合正则化项Ω(P)＝Ω1(P)+Ω2(P)，包含流形正则化Ω1(P)和MMD正则化Ω2(P)，在投影过程中保持宏表情和微表情公共潜在特性。

流形约束Ω1(P)的定义如式(Ⅱ)所示：

式(Ⅱ)中，η>0，是流形正则化惩罚因子，P^TX_b,t是一次投影后微表情特征矩阵第t个样本，P^TX_b,k是一次投影后微表情特征矩阵第k个样本，P^TX_aV_t是二次投影后宏表情特征矩阵第t个样本，P^TX_aV_k是二次投影后宏表情特征矩阵第k个样本，W_tk是矩阵W中第t行、第k列的元素；W为投影后的微表情数据流形结构图的权重矩阵，反映了投影后微表情数据样本间的邻接关系；L＝D-W为图拉普拉斯矩阵，D为对角矩阵，其对角元素为当P^TX_b,i∈knn(P^TX_b,j)时，否则，W_ij＝0，P^TX_b,i为一次投影后的微表情第i个数据样本，P^TX_b,j为一次投影后的微表情第j个数据样本，σ为高斯核带宽，此处为常数，I为单位矩阵；

回顾我们的目标为采用投影后的宏表情数据线性重构投影后的微表情数据，P^TX_aV为P^TX_b的另一种特征表示形式，因此宏表情结构信息可用微表情的代替进行进一步简化，流形正则化约束用于保持投影后宏表情和微表情的潜在公共结构特性；P^TXDX^TP＝I是为了防止出现P的平凡解。

MMD约束Ω2(P)的定义如式(Ⅲ)所示：

式(Ⅲ)中，λ>0，是MMD正则化惩罚因子，X_a,i为宏表情第i个数据样本，n_a为宏表情样本数目，X_b,j为微表情第j个数据样本，n_b为微表情样本数目，MMD约束希望投影后公共子空间内微表情特征矩阵和宏表情特征矩阵特征数据距离最小，即两者投影后的特征空间趋向于一致，即投影后边缘概率分布距离最近P(P^TX_b)≈P(P^TX_a)。因此，联合正则化项定义如式(Ⅳ)所示：

式(Ⅳ)中，I是单位矩阵；

完整的约束项定义如式(Ⅴ)所示：

实施例3

根据实施例1或2所述的一种由宏表情到微表情的迁移学习方法，其区别在于，

步骤(3)中，通过NMF的方式初始化投影矩阵P，并通过求解目标函数迭代优化目标投影矩阵，满足收敛条件时输出目标投影矩阵P¹，包括步骤如下：

E、将目标函数转化为近似的形式进行求解：如图2所述；

所述目标函数如式(Ⅵ)所示：

考虑到各项约束，目标函数是非凸的，将目标函数转化为近似的形式，如式(VII)所示：

式(VII)中，Y是由WY＝ΛDY问题求解的特征向量作为行向量构成的矩阵，Λ是由对应的特征值作为对角元素构成对角矩阵；

F、通过增广拉格朗日(ALM)方式进行求解：

将目标函数改写为增广拉格朗日函数的形式，如式(Ⅷ)所示：

式(Ⅷ)中，U是拉格朗日乘子，μ是惩罚因子，μ>0，

我们不能同时直接求解所有变量，所以我们采用ADMM的方式求解。

固定其他变量，以迭代的形式依次求解；包括：

a、固定其他变量，对式(Ⅷ)求导置零，求解V，如式(Ⅸ)所示：

式(Ⅸ)中，G为对角矩阵，G_ii为对角元素，当vⁱ＝0时，G_ii＝0；否则，

b、固定其他变量，求解E，如式(Ⅹ)所示：

c、固定其他变量，通过对式(VII)求导置零，求解P，如式(Ⅺ)所示：

式(Ⅺ)中，

G、判断是否满足停止条件||P^TX_b-P^TX_aV-E||<ε，0＜ε＜＜0.1，ε为停止阈值，是的话，停止迭代并输出目标投影矩阵P¹，否则，返回步骤a。

为了更好地说明本发明的技术效果，发明人还进行了以下实验：

在发明中，应用了两个比较流行的数据库进行迁移，即扩展Cohn-Kanade(CK+)表情数据库和CASME2微表情数据库。

首先，探究了迭代次数对于实验的影响，结果如表1所示。

表1

迭代次数	10	20	30	40	50	60	70
								识别率	0.579	0.592	0.603	0.612	0.667	0.667	0.667

在50次迭代以后，识别率不再变化，因此，后续实验最大迭代次数设为50。

本实验选取子空间维度为300，探究了参数对于识别率的影响，结果如图3所示。说明每个平衡参数都会起到一定作用。

其次，固定参数为α＝0.01，β＝0.01，γ＝0.1，η＝0.01，λ＝0.01时探究了选取子空间维度(即NMF的秩)对于识别率的影响结果，如图4所示。

为了评估提出的宏表情到微表情的迁移学习方法性能，本发明与在CASME2微表情数据库上其他最先进的微表情识别方法(如判别检测子空间分析法(DTSA)，面部动力学图(FDM)和LBP-TOP等方法)进行比较。表3列出了四种方法识别率。从表2可以看出，本发明提出的模型表现优于另外几种最先进的方法。

表2

本发明方法	FDM	LBP-top	DTSA
				0.667	0.426	0.418	0.361

如表2所示，本发明所提出方法微表情识别率最高，达到0.667，DTSA则显示最低为0.361。微表情样本的有限大大降低了微表达识别和分类精度。然而，所提出的模型利用表情数据库训练阶段的样本，并利用迁移学习的思想，可以解决微表情样本受限的问题。

Claims (5)

1.一种由宏表情到微表情的迁移学习方法，其特征在于，包括以下步骤：

(1)分别提取宏表情特征和微表情特征：宏表情提取LBP特征形成宏表情特征表示矩阵，微表情提取LBP-TOP特征形成微表情特征表示矩阵，并将LBP-TOP特征三个正交平面统一取均值，形成与宏表情维度统一的微表情表示特征；

(2)通过构建宏表情到微表情迁移学习方法目标函数的形式，将微表情特征矩阵和宏表情特征矩阵投影到P张成的子空间；

(3)通过NMF的方式提取获得初始化投影矩阵P，并通过求解目标函数迭代优化目标投影矩阵，满足收敛条件时输出目标投影矩阵P¹；

(4)采取步骤(1)相同的方式，分别对测试集数据提取宏表情特征和微表情特征，分别形成测试集宏表情特征矩阵X_a ^te和测试集微表情特征矩阵X_b ^te，通过训练所得的目标投影矩阵P¹对微表情特征矩阵进行投影Z_b ^te＝P^1TX_b ^te，通过训练所得的目标投影矩阵P¹对宏表情特征矩阵进行投影Z_a ^te＝P^1TX_a ^te，并比对距离，将投影后距离最近的K个宏表情数据样本的标签赋给微表情数据样本作为标签，采用KNN进行分类；

(5)将测试集微表情预测标签和真实标签比对，正确数目占总数目的比率即为识别率。

2.根据权利要求1所述的一种由宏表情到微表情的迁移学习方法，其特征在于，所述步骤(2)中，所述目标函数如式(Ⅰ)所示：

式(Ⅰ)中，α，β，γ均为平衡系数，α>0，β>0，γ>0；

X_a是宏表情特征矩阵,n_a代表宏表情样本数目，d代表特征维数；

X_b是微表情特征矩阵，n_b代表维表情样本数目，d代表特征维数；

P∈R^d×np，P是投影矩阵，np是指子空间维度；

V是重构系数矩阵；

E是误差矩阵，存放宏表情和微表情中各自的特性成分，特性成分包括各自独特的特征和结构；

Ω(P)为联合正则化项，用于投影过程中保持宏表情和微表情公共潜在特性，公共潜在特性包括特征和结构特性，使投影后宏表情和微表情结构和特征分布趋于一致，并进一步推进子空间宏表情和微表情距离。

3.根据权利要求2所述的一种由宏表情到微表情的迁移学习方法，其特征在于，所述步骤(2)，包括以下步骤：

A、将宏表情特征矩阵X_a和微表情特征矩阵X_b通过投影矩阵P投影到一个子空间中，投影后的宏表情特征矩阵X_a通过重构系数矩阵V对微表情特征矩阵X_b进行重构，表示为P^TX_b≈P^TX_aV，对重构系数矩阵V施加l₂₁范数约束，使重构系数矩阵V结构化稀疏，使V每一行的l2范数最小，行内出现最多的0元素，0元素与投影后宏表情矩阵相乘去除冗余信息，完成对投影后宏表情的特征选择；

B、存在一个误差矩阵E，使公共子空间内宏表情和微表情完全相等，即：P^TX_b＝P^TX_aV+E，对误差矩阵E施加l₁范数约束，使得误差矩阵E稀疏；

C、对投影矩阵P进行约束，从而进行特征选择，保持投影后宏表情和微表情的潜在公有特性并推进公共子空间内宏表情和微表情距离，F范数约束希望投影矩阵稀疏，进行特征选择的作用；用Ω(P)表示由流形约束和MMD约束组成的联合正则化约束，Ω(P)＝Ω1(P)+Ω2(P)，用于投影过程中保持宏表情和微表情公共潜在特性推进两者距离，流形约束Ω1(P)的定义如式(Ⅱ)所示：

式(Ⅱ)中，η>0，是流形正则化惩罚因子，P^TX_b,t是一次投影后微表情特征矩阵第t个样本，P^TX_b,k是一次投影后微表情特征矩阵第k个样本，P^TX_aV_t是二次投影后宏表情特征矩阵第t个样本，P^TX_aV_k是二次投影后宏表情特征矩阵第k个样本，W_tk是矩阵W中第t行、第k列的元素；W为投影后的微表情数据流形结构图的权重矩阵，反映了投影后微表情数据样本间的邻接关系；L＝D-W为图拉普拉斯矩阵，D为对角矩阵，其对角元素为当P^TX_b,i∈knn(P^TX_b,j)时，否则，W_ij＝0，P^TX_b,i为一次投影后的微表情第i个数据样本，P^TX_b,j为一次投影后的微表情第j个数据样本，σ为高斯核带宽，此处为常数，I为单位矩阵；

MMD约束Ω2(P)的定义如式(Ⅲ)所示：

式(Ⅲ)中，λ>0，是MMD正则化惩罚因子，，X_a,i为宏表情第i个数据样本，n_a为宏表情样本数目，X_b,j为微表情第j个数据样本，n_b为微表情样本数目，MMD约束希望投影后公共子空间内微表情特征矩阵和宏表情特征矩阵特征数据距离最小，即两者投影后的特征空间趋向于一致，即投影后边缘概率分布距离最近P(P^TX_b)≈P(P^TX_a)，联合正则化项定义如式(Ⅳ)所示：

式(Ⅳ)中，I是单位矩阵；

因此，完整的约束项定义如式(Ⅴ)所示：

4.根据权利要求3所述的一种由宏表情到微表情的迁移学习方法，其特征在于，所述步骤A中的初始化投影矩阵P的获取方法为：通过NMF的方式在宏表情特征矩阵X_a中提取获得初始化投影矩阵P，即对宏表情特征矩阵X_a进行NMF分解X_a＝WH，W为基矩阵，H为系数矩阵；提取基矩阵W作为初始化投影矩阵P。

5.根据权利要求3或4所述的一种由宏表情到微表情的迁移学习方法，其特征在于，所述步骤(3)中，通过NMF的方式初始化投影矩阵P，并通过求解目标函数迭代优化目标投影矩阵，满足收敛条件时输出目标投影矩阵P¹，包括步骤如下：

E、将目标函数转化为近似的形式进行求解：

所述目标函数如式(Ⅵ)所示：

将目标函数转化为近似的形式，如式(VII)所示：

式(VII)中，Y是由WY＝ΛDY问题求解的特征向量作为行向量构成的矩阵，Λ是由对应的特征值作为对角元素构成对角矩阵；

F、通过增广拉格朗日方式进行求解：

将目标函数改写为增广拉格朗日函数的形式，如式(Ⅷ)所示：

式(Ⅷ)中，U是拉格朗日乘子，μ是惩罚因子，μ>0，

固定其他变量，以迭代的形式依次求解；包括：

a、固定其他变量，对式(Ⅷ)求导置零，求解V，如式(Ⅸ)所示：

式(Ⅸ)中，G为对角矩阵，G_ii为对角元素，当vⁱ＝0时，G_ii＝0；否则，

b、固定其他变量，求解E，如式(Ⅹ)所示：

c、固定其他变量，通过对式(VII)求导置零，求解P，如式(Ⅺ)所示：

式(Ⅺ)中，

G、判断是否满足停止条件||P^TX_b-P^TX_aV-E||<ε，0＜ε＜＜0.1，ε为停止阈值，是的话，停止迭代并输出目标投影矩阵P¹，否则，返回步骤a。