CN113095270B - 一种非监督跨库的微表情识别方法 - Google Patents

Abstract

本发明涉及一种非监督跨库的微表情识别方法，包括：首先，将源域的宏、微表情数据进行对齐重组，重组后的联合数据矩阵通过源域选择模型，选择出一个与目标域联系更为紧密的最优的子集作为辅助集。然后，通过自适应分布对齐模型，动态地匹配源域和目标域的条件分布和边缘分布。最后，利用L_2,1范数进行辅助集样本的重加权，减少异常值的影响，实现微表情识别。本发明采用迁移学习方式，借助与微表情具有极大相似性的宏表情样本作为辅助，通过有标签的宏表情数据库和一种微表情数据库，对另一种没有任何标签的微表情数据库进行非监督的跨库微表情识别，减少目标域微表情数据库耗时费力的人工标注工作，提升微表情识别效果。

Description

一种非监督跨库的微表情识别方法

技术领域

本发明涉及一种非监督跨库的微表情识别方法，属于模式识别和机器学习技术领域。

背景技术

作为一种典型的非语言交流方式，面部表情在人类情感分析中起着重要的作用。当人们试图抑制真实的面部表情时，微表情会随之产生。微表情是持续时间在0.065秒到0.5秒、无意识的、快速的面部表情变化，不能像宏表情一样被自由控制，通常可以揭示人想要隐藏的真实情感。因此，微表情识别在犯罪侦查、测谎等领域有极大的应用价值和发展前景。

目前，微表情识别通常包括三种方法：基于人工特征的方法、基于深度学习的方法和基于迁移学习的方法。在基于人工特征的微表情识别算法中，人工特征主要分为三种类型：基于局部二值模式的特征、基于频域的特征和基于光流的特征。基于局部二值模式的特征复杂度较低，拥有灰度不变性和旋转不变性。基于频域的特征通过Gabor变换或者傅里叶变换等形式得到微表情相位、振幅等一系列频谱信息，并通过这些信息表示微表情的频域特征。基于光流的特征捕捉面部的微小运动，提取光流场中微表情的运动特性。不同于基于人工提取的特征描述子，深度学习方法可以自动推断出最优的特征表示，近些年也获得了较为先进的识别结果，如运动单元辅助的图注意力卷积网络AU-GACN、双时间尺度卷积神经网络DTSCN等。然而，深度学习需要大量的训练样本，而现有的微表情数据集都很小，标注数据又是一项枯燥无味且花费巨大的任务，因此，数据不足的现状限制了深度学习模型的训练效果。为了解决数据集有限的问题，使用来自其他相关领域的迁移学习方法也开始得到重视。迁移学习是把一个领域(即源域)的知识，迁移到另外一个领域(即目标域)，使得目标领域能够取得更好的学习效果的方法，在微表情识别中，常见的相关领域为宏表情样本、语音信息等。

现有的微表情识别方法通常仅针对源域和目标域的微表情样本来自同一个微表情数据库的情况。但是在实际应用中，微表情识别面临着诸多复杂的场景(类似于源域训练集和目标域测试集来自不同的微表情数据库的情况)，例如，源域和目标域的样本是从不同的光照背景(自然光和室内灯光)、摄影机类型(高清摄像机和近红外摄像机)和时间(白天和夜晚)下拍摄得到的。这种在跨库的情况下，源域和目标域的特征差异较大，直接将源域的样本放入分类器中训练，对目标域样本的识别效果非常有限。

发明内容

针对目标域微表情数据库没有标签的情况，本发明提出了一种非监督的跨库微表情识别算法，减少目标域微表情数据库耗时费力的人工标注工作，提升微表情识别效果。

发明概述：

一种非监督跨库的微表情识别方法，包括：特征提取和处理、源域选择模型和自适应分布对齐模型。

本发明采用迁移学习方式，借助与微表情具有极大相似性的宏表情样本作为辅助，通过有标签的宏表情数据库和一种微表情数据库，对另一种没有任何标签的微表情数据库进行非监督的跨库微表情识别，减少目标域微表情数据库耗时费力的人工标注工作，提升微表情识别效果。

本发明包括源域选择模型和自适应分布对齐模型两个部分。首先，将源域的宏、微表情数据进行对齐重组，重组后的联合数据矩阵通过源域选择模型，选择出一个与目标域联系更为紧密的最优的子集作为辅助集，提升迁移效果。然后，通过自适应分布对齐模型，动态地匹配源域和目标域的条件分布和边缘分布。同时，利用L_2,1范数进行辅助集样本的重加权，减少异常值的影响，实现微表情识别。

术语解释：

1、LBP特征，指局部二值模式，英文全称为Local Binary Pattern，是一种纹理特征算子，具有灰度不变性和旋转不变性等显著优点。

2、LBP-TOP特征，指三正交平面局部二值模式，英文全称为Local BinaryPatterns on Three Orthogonal Planes，由XY、XT和YT三个正交平面上的LBP特征组成。

3、多尺度LBP-TOP特征，指对于微表***序列，将面部区域划分成1×1、2×2、4×4和8×8这四个网格类型，共85个局部子区域。与单一尺度的或简单的分块LBP-TOP特征相比，多尺度LBP-TOP特征能够更好地捕捉与微表情情感识别有关的情感信息。

4、MDMO特征，指主方向均值光流特征，英文全称为Main Directional MeanOptical Flow，是一种光流算子特征，通过划分36个人脸感兴趣区域，描述像素的运动情况。MDMO特征对于细小面部变化有很好的效果。

5、特征选择，也叫特征子集选择(FSS,Feature Subset Selection)。是指从已有的M个特征(Feature)中选择N个特征使得***的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程，是提高学习算法性能的一个重要手段，也是模式识别中关键的数据预处理步骤。对于一个学习算法来说，好的学习样本是训练模型的关键。

6、数据标准化，是指为了消除不同样本间的量纲差异，统一对每个样本的特征向量进行归一化处理，通过线性变换将原始特征的数值映射到[0,1]之间的方法。线性变换的转换公式为

其中，x_max为特征向量x的最大数值，x_min为特征向量x的最小数值；

7、数据对齐，是指通过特征选择和数据标准化后得到具有统一的特征维度和量纲的新特征，即完成了数据对齐；

8、主成分分析法，英文全称为Principal Component Analysis，简称PCA，是一种常用的特征选择方式。PCA通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，并根据需要，从中选择更少的维度来尽可能多地反映变量信息。

9、再生核希尔伯特空间，英文全称为Reproduced Kernel Hilbert Space，简称RKHS，是具有再生性的希尔伯特空间。希尔伯特空间指一个完备的内积空间，“完备”意味着里面的数列取极限是收敛的。再生性指存在一个对称正定的核函数K可以再生两个函数的内积，使得我们可以不去直接计算高维特征空间中的内积，降低计算量。

10、最大均值差异，英文全称为Maximum Mean Discrepancy，简称MMD，是一种用来估计两组数据集的分布差异的度量准则，被广泛应用于现有的迁移学习方法中。如果两个数据集在其RKHS空间中的MMD距离已经尽可能小，那么这两个数据集存在相同或相似的分布。本质上来讲，MMD就是用来度量核映射Φ(.)将数据映射到再生核希尔伯特空间后，源域和目标域的均值之差。

11、矩阵A的L_2,1范数正则化约束：

公式中n为行数，t为列数。矩阵A的L_2,1范数即为矩阵A每一个行向量的2范数之和。

本发明的技术方案如下：

一种非监督跨库的微表情识别方法，包括：

1)准备训练样本，训练样本包括来自一种宏表情数据库的宏表情样本和来自一个微表情数据库的微表情样本；获取宏表情样本，对宏表情提取特征形成宏表情数据矩阵

其中，d₁代表宏表情特征维度，N₁代表宏表情样本个数；获取微表情样本，对微表情提取特征形成微表情数据矩阵

其中，d₂代表微表情特征维度，N₂代表微表情样本个数；

2)通过特征选择和数据标准化将宏表情数据矩阵和微表情数据矩阵进行数据对齐后，宏表情数据矩阵和微表情数据矩阵重组为原始联合数据矩阵

其中，N为源域样本数，N＝N₁+N₂；

3)基于源域选择模型，从原始联合数据矩阵中选择出与目标域的特征分布差异最小的一组样本组成辅助集；

4)基于自适应分布对齐模型，定量地考量每个任务中，边缘分布和条件分布的相对重要性，自适应地调整迁移过程中边缘分布和条件分布的权值，并通过L_2,1范数的行稀疏特性，完成辅助集样本的重加权，削弱异常值的影响；通过基于欧氏距离的最近邻分类器对目标域无标签的微表情数据库样本进行分类识别。

根据本发明优选的，步骤1)中，对宏表情提取的特征为LBP特征，提取宏表情的LBP特征时，宏表情的面部分块方式采用多尺度LBP-TOP特征的分块方式对微表情提取的特征为多尺度LBP-TOP特征和MDMO特征。

根据本发明优选的，步骤2)中，通过主成分分析法(PCA)分别对宏表情数据矩阵、微表情数据矩阵进行特征选择，将宏表情数据矩阵、微表情数据矩阵统一为相同维度d,d≤d₁且d≤d₂；分别将宏表情数据矩阵、微表情数据矩阵通过数据标准化归一化到[0,1]之间，完成数据对齐。

根据本发明优选的，步骤2)中，宏表情的LBP特征维度为5015维，微表情的多尺度LBP-TOP特征维度为15045维，微表情的MDMO特征维度为72维，采用主成分分析法将宏表情的LBP特征、微表情的多尺度LBP-TOP特征及微表情的MDMO特征统一为相同维度。微表情特征为多尺度LBP-TOP特征时，对齐后的原始联合数据矩阵的维度d＝5015；微表情特征为MDMO特征时，对齐后的原始联合数据矩阵的维度d＝72。

根据本发明优选的，步骤3)中，基于源域选择模型，从原始联合数据矩阵中选择一个与目标域联系更为紧密的最优子集作为辅助集样本，实现步骤如下：

所述基于源域选择模型的数学描述如式(Ⅰ)所示：

式(Ⅰ)中，

表示源域的N个样本，

表示目标域的m个样本；

为再生核希尔伯特空间，Φ(.)为核映射算子，将源域和目标域数据映射到再生核希尔伯特空间；α_i为源域选择模型的二值选择因子，α_i＝1表示源域中的样本i被选入辅助集，α_i＝0表示源域中的样本i未被选入辅助集；

引入一个选择参数β_i，

对式(Ⅰ)进行简化，式(Ⅰ)转化为式(Ⅱ)：

借助核函数技巧将式(Ⅱ)展开，得到式(Ⅲ)：

式(Ⅲ)中，K_o,o＝Φ(x_o)^TΦ(x_o)，K_o,t＝Φ(x_o)^TΦ(x_t)，1_o和1_t为全1的列向量；由于源域中必有一部分样本不满足构成辅助集的条件，这部分样本对应的选择因子α_i为0，因此，选择参数β理论上具有稀疏性。稀疏的β通过最小化其L₁范数||β||₁＝1^Tβ得到，λ为惩罚参数，那么，式(Ⅲ)整理后得到式(Ⅳ)：

对β来说，该最小化问题是一个标准的二次规划问题，可以通过多种有效方法求解。获得β后恢复α的值，通过预设的阈值或比例根据α从源域中挑选样本形成辅助集。

进一步优选的，λ取1。

进一步优选的，具体来说，由于α_i＝1表示源域中的样本i被选入辅助集，α_i＝0表示源域中的样本i未被选入辅助集，在本发明中，对于所得到的α，将其按数值从大到小排序后，选择出前70％的α_i所对应的第i个源域样本，形成辅助集。完成源域选择算法。

根据本发明优选的，步骤4)中，所述基于自适应分布对齐模型

的数学描述如式(Ⅴ)所示：

式(Ⅴ)中，

为辅助集，

为目标域测试集；

为通过步骤3)的源域选择算法之后，形成的辅助集的数据矩阵，n为源域的N个样本经过源域选择算法后，形成的辅助集的样本数；

为无标签的目标域数据集，m为目标域样本数；c∈{1,2,...,C}是不同的微表情标签类别；

和

分别表示辅助集和目标域测试集中，属于c类的样本，

是x_s的真实标签，

是x_t的伪标签；

和

分别表示

和

样本数；

式(Ⅴ)的第一项

是边缘分布距离，第二项

是条件分布距离，μ为边缘分布、条件分布的自适应参数，μ∈[0,1]；当μ→1时，源域

和目标域

数据集相似，条件分布更需要调整；当μ→0时，源域

和目标域

数据集本身具有更大的差距，边缘分布更需要调整。因此，自适应参数μ可以自适应地调整每个分布的重要性，从而得到更好结果。

将RKHS用映射矩阵A近似，式(Ⅴ)转化为式(Ⅵ)：

利用矩阵技巧和正则化，式(Ⅵ)经验地估计为(Ⅶ)：

式(Ⅶ)中，X为x_s和x_t组成的联合数据矩阵，X＝[x_s x_t]；||.||_F为F范数，λ是F范数的正则化参数；

为单位矩阵，H为中心矩阵，

项用来在保留原始特征结构的基础上，降低自适应分布对齐模型的复杂度；式(Ⅶ)涉及两个约束：第一个约束用于确保转换后的数据A^TX维持原始数据的数据结构，也就是维持数据散度，对于矩阵X，它的散度矩阵就是XHX^T；第二个约束为自适应参数μ的范围；M₀和M_c为MMD矩阵，构造方式分别如式(Ⅷ)、式(IX)所示：

进一步优选的，步骤4)中，自适应参数μ的值利用域的全局和局部结构，采用

距离确定；

距离为用以区分两个域的二分类线性分类器(如支持向量机、逻辑回归模型等)的误差，其定义如式(Ⅹ)所示：

式(Ⅹ)中，ε(h)为区分

和

的线性分类器h的平均误差；因此，边缘分布d_M的

距离可以直接计算。对于条件分布的

距离，用d_c代表第c类的值，

分别表示在

和

中的第c类的样本；综上，μ被估计为式(Ⅺ)：

自适应参数μ必须在自适应分布对齐的每次迭代中重新计算，因为预测标签y_s在每次迭代后都可能发生改变，因此d_c会在每次迭代中变化，这种特征的变化分布会导致μ也发生改变。

进一步优选的，步骤4)中，由于源域为经过源域选择模型后形成的辅助集，包含多个数据库的数据信息，因此，引入L_2,1范数衡量辅助集中每个样本的具体贡献，降低异常值的影响；

L_2,1范数为行向量的L₂范数之和，最小化矩阵的L_2,1范数就是使矩阵每一行的L₂范数尽可能小，行内出现尽可能多的0元素，也就是尽可能行稀疏。由于转移矩阵A的每一行对应一个样本实例，因此本质上来讲，行稀疏性控制映射矩阵对于辅助集样本的特征选择程度，促进样本的自适应重加权。最终，所述自适应分布对齐模型的目标函数如式(Ⅻ)所示：

根据本发明优选的，步骤4)中，自适应分布对齐模型的目标函数式(Ⅺ)是带有约束的矩阵分解问题，因此可以采用基于拉格朗日乘子的方法优化自适应分布对齐模型的目标函数式(Ⅺ)，包括如下：

首先，对目标函数进行变换得到式(XIII)：

式(XIII)中，U为拉格朗日乘子；因此，增广拉格朗日方程如式(XIV)所示：

需要注意的是，μ也在每次迭代时更新，因此，在迭代中，代入的μ是经过式(Ⅺ)更新过的μ^(k)；第(k+1)次迭代时，变量更新过程如式(XV)所示：

式(XV)中，Z^(k)＝Diag(z^(k))，

i为矩阵z的第i个元素，

为一个极小值，避免以上公式在更新过程中分母为0的情况(计算中，我们使用Matlab中的极小正数eps,eps＝2.2204e^-16)，

代表A^(k)的第i行；本发明设定迭代次数为18次，通常15次迭代后目标函数收敛了，为了保险起见本发明设定18次。

对A求导置零，式(XV)的优化问题转化为下式特征分解的求解问题，如式(XVI)所示：

解式(XVI)，获得构成映射矩阵A的最小K个特征值对应的特征向量。

根据本发明优选的，步骤4)中，通过基于欧氏距离的最近邻分类器对目标域无标签的微表情数据库样本进行分类识别，具体实现步骤如下：

通过解决目标函数的线性优化问题，得到训练好的映射矩阵A，采用映射矩阵A将辅助集和测试集数据投影进公共子空间，并通过最近邻的方式对公共子空间中的数据表示进行比对识别，即：

求得投影矩阵，并令

表示公共子空间中全部训练数据，

为通过源域选择算法之后得到的辅助集特征及其对应标签，

为无标签的目标域数据集，A_s和A_t对应映射矩阵A的前n行和后m行；

对于给定的目标域微表情数据集，将投影后的任意一个测试样本

采用基于欧式距离的最近邻对比

是指第i个源域辅助集样本

的微表情类别标签，将距离最近的训练样本的微表情类别标签赋给测试样本，完成微表情识别。

本发明的有益效果在于：

本发明提供的是一种非监督跨库的微表情识别方法。本发明借助与微表情具有极大相似性的宏表情样本，通过源域选择模型和自适应分布对齐模型两个部分，在目标域无标签的情况下，通过一种宏表情数据库和另一种微表情数据库，完成对目标域微表情数据库的微表情识别任务，减少人工标注工作，切实提升了其微表情识别的准确率。

附图说明

图1为本发明一种非监督跨库的微表情识别方法的流程示意图；

图2a1为本发明中CK+数据库积极表情样本示意图；

图2a2为本发明中CK+数据库消极表情样本示意图；

图2a3为本发明中CK+数据库惊讶表情样本示意图；

图2b1为本发明中MMEW宏表情数据库积极表情样本示意图；

图2b2为本发明中MMEW宏表情数据库消极表情样本示意图；

图2b3为本发明中MMEW宏表情数据库惊讶表情样本示意图；

图2c1为本发明中MMEW微表情数据库积极表情样本示意图；

图2c2为本发明中MMEW微表情数据库消极表情样本示意图；

图2c3为本发明中MMEW微表情数据库惊讶表情样本示意图；

图2d1为本发明中CASMEII数据库积极表情样本示意图；

图2d2为本发明中CASMEII数据库消极表情样本示意图；

图2d3为本发明中CASMEII数据库惊讶表情样本示意图；

图2e1为本发明中SAMM数据库积极表情样本示意图；

图2e2为本发明中SAMM数据库消极表情样本示意图；

图2e3为本发明中SAMM数据库惊讶表情样本示意图；

图3a为本发明中MMEW微表情数据库采用多尺度LBP-TOP特征的最高识别率混淆矩阵示意图；

图3b为本发明中MMEW微表情数据库采用MDMO特征的最高识别率混淆矩阵示意图；

图3c为本发明中CASMEII数据库采用多尺度LBP-TOP特征的最高识别率混淆矩阵示意图；

图3d为本发明中CASMEII数据库采用MDMO特征的最高识别率混淆矩阵示意图；

图3e为本发明中SAMM数据库采用多尺度LBP-TOP特征的最高识别率混淆矩阵示意图；

图3f为本发明中SAMM数据库采用MDMO特征的最高识别率混淆矩阵示意图；

图4a为本发明中所述识别方法使用多尺度LBP-TOP特征、训练集为CK+数据库和MMEW微表情数据库时，SAMM数据库上正则化参数λ的参数敏感性示意图；

图4b为本发明中所述识别方法使用MDMO特征、训练集为CK+数据库和MMEW微表情数据库时，SAMM数据库上正则化参数λ的参数敏感性示意图；

图4c为本发明中所述识别方法使用多尺度LBP-TOP特征、训练集为CK+数据库和MMEW微表情数据库时，SAMM数据库上子空间维度K的参数敏感性示意图；

图4d为本发明中所述识别方法使用MDMO特征、训练集为CK+数据库和MMEW微表情数据库时，SAMM数据库上子空间维度K的参数敏感性示意图。

具体实施方式

下面通过实施例并结合附图对本发明做进一步说明，但不限于此。

实施例1

一种非监督跨库的微表情识别方法，如图1所示，包括：

1)准备训练样本，训练样本包括来自一种宏表情数据库的宏表情样本和来自一个微表情数据库的微表情样本；获取宏表情样本，对宏表情提取特征形成宏表情数据矩阵

其中，d₁代表宏表情特征维度，N₁代表宏表情样本个数；获取微表情样本，对微表情提取特征形成微表情数据矩阵

其中，d₂代表微表情特征维度，N₂代表微表情样本个数；

2)通过特征选择和数据标准化将宏表情数据矩阵和微表情数据矩阵进行数据对齐后，宏表情数据矩阵和微表情数据矩阵重组为原始联合数据矩阵

其中，N为源域样本数，N＝N₁+N₂；

3)基于源域选择模型，从原始联合数据矩阵中选择出与目标域的特征分布差异最小的一组样本组成辅助集；作为后续的跨库微表情识别的训练集；源域选择模型充分利用MMD准则，通过最小化辅助集与源域之间的MMD以及辅助集与目标域之间的MMD，使得辅助集不仅可以代表源域的宏、微表情样本的特征分布，而且能够与目标域样本有更为紧密的联系；辅助集用以后续的跨库微表情识别；

4)基于自适应分布对齐模型，定量地考量每个任务中，边缘分布和条件分布的相对重要性，自适应地调整迁移过程中边缘分布和条件分布的权值，并通过L_2,1范数的行稀疏特性，完成辅助集样本的重加权，削弱异常值的影响；通过基于欧氏距离的最近邻分类器对目标域无标签的微表情数据库样本进行分类识别。

实施例2

根据实施例1所述的一种非监督跨库的微表情识别方法，其区别在于：

步骤1)中，对宏表情提取的特征为LBP特征，提取宏表情的LBP特征时，宏表情的面部分块方式采用多尺度LBP-TOP特征的分块方式对微表情提取的特征为多尺度LBP-TOP特征和MDMO特征。多尺度LBP-TOP特征的分块方式，将面部区域划分成1×1、2×2、4×4和8×8这四个网格类型，共85个局部子区域，对每一个面部子区域进行LBP特征提取并级联起来。

步骤2)中，通过主成分分析法(PCA)分别对宏表情数据矩阵、微表情数据矩阵进行特征选择，将宏表情数据矩阵、微表情数据矩阵统一为相同维度d,d≤d₁且d≤d₂；分别将宏表情数据矩阵、微表情数据矩阵通过数据标准化归一化到[0,1]之间，完成数据对齐。

步骤2)中，宏表情的LBP特征维度为5015维，微表情的多尺度LBP-TOP特征维度为15045维，微表情的MDMO特征维度为72维，采用主成分分析法将宏表情的LBP特征、微表情的多尺度LBP-TOP特征及微表情的MDMO特征统一为相同维度。微表情特征为多尺度LBP-TOP特征时，对齐后的原始联合数据矩阵的维度d＝5015；微表情特征为MDMO特征时，对齐后的原始联合数据矩阵的维度d＝72。

步骤3)中，基于源域选择模型，从原始联合数据矩阵中选择一个与目标域联系更为紧密的最优子集作为辅助集样本，实现步骤如下：

基于源域选择模型的数学描述如式(Ⅰ)所示：

式(Ⅰ)中，

表示源域的N个样本，

表示目标域的m个样本；

为再生核希尔伯特空间，Φ(.)为核映射算子，将源域和目标域数据映射到再生核希尔伯特空间；α_i为源域选择模型的二值选择因子，α_i＝1表示源域中的样本i被选入辅助集，α_i＝0表示源域中的样本i未被选入辅助集；通过α_i，使源域经过选择后的样本和目标域微表情样本在再生核希尔伯特空间中的MMD尽可能小，并且使源域经过选择后的样本和目标域微表情样本在再生核希尔伯特空间中的MMD尽可能小，因此，辅助集不仅更适用于目标域微表情样本的训练，同时，能够代表源域的宏、微表情特征，避免不太理想的样本的影响，减少负迁移现象，提升迁移效果。

由于式(Ⅰ)不可直接计算，没有闭式解，通过引入一个选择参数β_i，

对式(Ⅰ)进行简化，式(Ⅰ)转化为式(Ⅱ)：

借助核函数技巧将式(Ⅱ)展开，得到式(Ⅲ)：

式(Ⅲ)中，K_o,o＝Φ(x_o)^TΦ(x_o)，K_o,t＝Φ(x_o)^TΦ(x_t)，1_o和1_t为全1的列向量；由于源域中必有一部分样本不满足构成辅助集的条件，这部分样本对应的选择因子α_i为0，因此，选择参数β理论上具有稀疏性。稀疏的β通过最小化其L₁范数||β||₁＝1^Tβ得到，λ为惩罚参数，λ取1，那么，式(Ⅲ)整理后得到式(Ⅳ)：

对β来说，该最小化问题是一个标准的二次规划问题，可以通过多种有效方法求解。获得β后恢复α的值，通过预设的阈值或比例根据α从源域中挑选样本形成辅助集。具体来说，由于α_i＝1表示源域中的样本i被选入辅助集，α_i＝0表示源域中的样本i未被选入辅助集，在本发明中，对于所得到的α，将其按数值从大到小排序后，选择出前70％的α_i所对应的第i个源域样本，形成辅助集。完成源域选择算法。

步骤4)中，基于自适应分布对齐模型

的数学描述如式(Ⅴ)所示：

式(Ⅴ)中，

为辅助集，

为目标域测试集；

为通过步骤3)的源域选择算法之后，形成的辅助集的数据矩阵，n为源域的N个样本经过源域选择算法后，形成的辅助集的样本数；

为无标签的目标域数据集，m为目标域样本数；c∈{1,2,...,C}是不同的微表情标签类别；

和

分别表示辅助集和目标域测试集中，属于c类的样本，

是x_s的真实标签，

是x_t的伪标签；

和

分别表示

和

样本数；

式(Ⅴ)的第一项

是边缘分布距离，第二项

是条件分布距离，μ为边缘分布、条件分布的自适应参数，μ∈[0,1]；当μ→1时，源域

和目标域

数据集相似，条件分布更需要调整；当μ→0时，源域

和目标域

数据集本身具有更大的差距，边缘分布更需要调整。因此，自适应参数μ可以自适应地调整每个分布的重要性，从而得到更好结果。

将RKHS用映射矩阵A近似，式(Ⅴ)转化为式(Ⅵ)：

利用矩阵技巧和正则化，式(Ⅵ)经验地估计为(Ⅶ)：

式(Ⅶ)中，X为x_s和x_t组成的联合数据矩阵，X＝[x_s x_t]；||.||_F为F范数，λ是F范数的正则化参数；

为单位矩阵，H为中心矩阵，

项用来在保留原始特征结构的基础上，降低自适应分布对齐模型的复杂度；式(Ⅶ)涉及两个约束：第一个约束用于确保转换后的数据A^TX维持原始数据的数据结构，也就是维持数据散度，对于矩阵X，它的散度矩阵就是XHX^T；第二个约束为自适应参数μ的范围；M₀和M_c为MMD矩阵，构造方式分别如式(Ⅷ)、式(IX)所示：

步骤4)中，自适应参数μ的值利用域的全局和局部结构，采用

距离确定；

距离为用以区分两个域的二分类线性分类器(如支持向量机、逻辑回归模型等)的误差，其定义如式(Ⅹ)所示：

式(Ⅹ)中，ε(h)为区分

和

的线性分类器h的平均误差；因此，边缘分布d_M的

距离可以直接计算。对于条件分布的

距离，用d_c代表第c类的值，

分别表示在

和

中的第c类的样本；综上，μ被估计为式(Ⅺ)：

自适应参数μ必须在自适应分布对齐的每次迭代中重新计算，因为预测标签y_s在每次迭代后都可能发生改变，因此d_c会在每次迭代中变化，这种特征的变化分布会导致μ也发生改变。

步骤4)中，由于源域为经过源域选择模型后形成的辅助集，包含多个数据库的数据信息，因此，引入L_2,1范数衡量辅助集中每个样本的具体贡献，降低异常值的影响；L_2,1范数为行向量的L₂范数之和，最小化矩阵的L_2,1范数就是使矩阵每一行的L₂范数尽可能小，行内出现尽可能多的0元素，也就是尽可能行稀疏。由于转移矩阵A的每一行对应一个样本实例，因此本质上来讲，行稀疏性控制映射矩阵对于辅助集样本的特征选择程度，促进样本的自适应重加权。最终，自适应分布对齐模型的目标函数如式(Ⅻ)所示：

步骤4)中，自适应分布对齐模型的目标函数式(Ⅺ)是带有约束的矩阵分解问题，因此可以采用基于拉格朗日乘子的方法优化自适应分布对齐模型的目标函数式(Ⅺ)，包括如下：

首先，对目标函数进行变换得到式(XIII)：

式(XIII)中，U为拉格朗日乘子；因此，增广拉格朗日方程如式(XIV)所示：

需要注意的是，μ也在每次迭代时更新，因此，在迭代中，代入的μ是经过式(Ⅺ)更新过的μ^(k)；第(k+1)次迭代时，变量更新过程如式(XV)所示：

式(XV)中，Z^(k)＝Diag(z^(k))，

i为矩阵z的第i个元素，

为一个极小值，避免以上公式在更新过程中分母为0的情况(计算中，我们使用Matlab中的极小正数eps,eps＝2.2204e^-16)，A_i ^(k)代表A^(k)的第i行；本发明设定迭代次数为18次，通常15次迭代后目标函数收敛了，为了保险起见本发明设定18次。

对A求导置零，式(XV)的优化问题转化为下式特征分解的求解问题，如式(XVI)所示：

解式(XVI)，获得构成映射矩阵A的最小K个特征值对应的特征向量。

步骤4)中，通过基于欧氏距离的最近邻分类器对目标域无标签的微表情数据库样本进行分类识别，具体实现步骤如下：

通过解决目标函数的线性优化问题，得到训练好的映射矩阵A，采用映射矩阵A将辅助集和测试集数据投影进公共子空间，并通过最近邻的方式对公共子空间中的数据表示进行比对识别，即：

求得投影矩阵，并令

表示公共子空间中全部训练数据，

为通过源域选择算法之后得到的辅助集特征及其对应标签，

为无标签的目标域数据集，A_s和A_t对应映射矩阵A的前n行和后m行；

对于给定的目标域微表情数据集，将投影后的任意一个测试样本

采用基于欧式距离的最近邻对比

是指第i个源域辅助集样本

的微表情类别标签，将距离最近的训练样本的微表情类别标签赋给测试样本，完成微表情识别。

本实施例涉及到两个宏表情数据库CK+数据库和MMEW宏表情数据库(简称MMEW宏)，三个微表情数据库MMEW微表情数据库(简称MMEW微)、CASMEII数据库以及SAMM数据库。由于宏、微表情数据库的情绪类型不统一，同时，有些类的微表情样本数过少，为了将所有的数据库类别进行统一，将实验所涉及的宏、微表情重新组合划分成三类：积极、消极、惊讶。积极反映带有快乐等积极的情绪色彩的情感表达；消极反映带有恐惧、悲伤和厌恶等负面情绪的情感表达；通常，惊讶这种情绪的产生不属于积极或消极类型，因此，把惊讶归为一个独立的类别。图2a1为CK+数据库积极表情样本示意图；图2a2为CK+数据库消极表情样本示意图；图2a3为CK+数据库惊讶表情样本示意图；图2b1为MMEW宏表情数据库积极表情样本示意图；图2b2为MMEW宏表情数据库消极表情样本示意图；图2b3为MMEW宏表情数据库惊讶表情样本示意图；图2c1为MMEW微表情数据库积极表情样本示意图；图2c2为MMEW微表情数据库消极表情样本示意图；图2c3为MMEW微表情数据库惊讶表情样本示意图；图2d1为CASMEII数据库积极表情样本示意图；图2d2为CASMEII数据库消极表情样本示意图；图2d3为CASMEII数据库惊讶表情样本示意图；图2e1为SAMM数据库积极表情样本示意图；图2e2为SAMM数据库消极表情样本示意图；图2e3为SAMM数据库惊讶表情样本示意图。各数据库重新划分后样本数目如表1所示。

表1

对于宏表情样本，仅采用其高潮帧作为宏表情的一个数据样本，其LBP特征的半径R＝1，相邻点P＝8。对于所用的微表***序列，首先将其切分为微表情图片序列，通过图像裁剪和人脸对齐后，将其统一插值为60帧，其多尺度LBP-TOP的相邻点P＝8，半径R_xy＝4，R_xt＝1，R_yt＝1。本实施例中所采用的宏表情图片以及微表情图片序列统一裁剪为231×231像素。实验中，涉及到的核函数均使用线性核函数。

根据测试集的微表情数据库的不同，本发明将实验分为三组，分别为MMEW微表情数据库的实验、CASME II数据库的实验和SAMM数据库的实验。表2、表3和表4分别给出了测试集为MMEW微表情数据库、CASME II数据库和SAMM数据库时，多尺度LBP-TOP特征和MDMO特征的实验结果及其对应的正则化参数λ和子空间维度K的值。需要特别注意的是，使用单一的微表情数据库进行迁移时，依然需要通过源域选择模型和自适应分布对齐模型，此时，源域形成的辅助集样本仅为微表情样本。

表2

表3

表4

从表2-表4可以看出，本发明所提出的一种非监督跨库的微表情识别方法在三种数据库上都取得了不错的识别效果，最高识别率达到了70.5％，说明本发明方法在非监督微表情识别中具有良好的识别效果。整体上来说，MDMO特征比多尺度LBP-TOP特征的识别效果好，这是因为MDMO特征从光流的角度出发，通过划分感兴趣区域进行特征提取，比起从纹理角度进行特征描述的多尺度LBP-TOP特征，MDMO更具判别性，更有针对性地捕捉微表情的细微信息。同时，使用单一微表情数据库进行迁移的识别率远低于使用宏、微表情数据库一起迁移的结果，因此，引入样本信息丰富、和微表情具有一定共性的宏表情作为辅助，是一种行之有效地提高微表情识别率的方式。

针对以上得到的识别结果，本发明对应地给出每一个微表情数据库上，每种特征最好结果的混淆矩阵，即表2、表3和表4的加粗部分。图3a和图3b分别对应展示了MMEW微表情数据库采用多尺度LBP-TOP特征和MDMO特征的混淆矩阵，图3c、图3d分别对应展示了CASME II数据库多尺度LBP-TOP和MDMO特征的表现，图3e和图3f分别对应展示了SAMM数据库两种特征的识别效果。

通过对混淆矩阵的观察，MMEW微表情数据库和CASMEII数据库中，消极的识别效果略高于积极和惊讶，同时，积极和惊讶的识别效果较为接近。这是由于这两种数据库对应的训练集中，消极的样本数目较多，尽管使用源域选择算法进行过辅助集的挑选，但是，消极的样本数目相较于积极和惊讶依然有差距，因此，消极类别的识别结果相对最好。同时，积极和惊讶两类的样本数目差距不大，识别结果较为相似。而在SAMM数据库中，消极和惊讶的样本较多且样本数目比较接近，因此在SAMM数据库的混淆矩阵上，消极和惊讶的识别效果较好，积极的识别效果略低。除此之外，MDMO特征在三种情绪类别中的识别率比多尺度LBP-TOP特征更均匀，这说明MDMO特征在面对样本不均衡情况下，拥有更好的类别稳定性。

该方法存在正则化参数λ和子空间维度K会影响微表情的识别效果，因此，对于实验所采用的两种不同类型的微表情特征，本发明在每种数据库上，对每个参数进行了大量的实验，最优识别率对应的参数值如表2至表4所示。此处，选取测试集为SAMM数据库，训练集为CK+数据库和MMEW微表情数据库这一组讨论参数敏感性。在评估某个参数时，仅让被评估的参数在一定范围内变化，其他参数则根据经验选定固定值，即固定多尺度LBP-TOP特征的子空间维度为300，MDMO特征的子空间维度为50，探究正则化参数λ对于识别率的影响；固定正则化参数λ为0.01，探究选取子空间维度对于识别率的影响。参数敏感性的实验结果如图4a、图4b、图4c、图4d所示。

为了评估提出的非监督跨库微表情识别的性能，本发明在MMEW微表情数据库、CASME II数据库和SAMM数据库上，与其他最先进的跨库方法进行比较，如迁移成分分析TCA(Transfer Componet Analysis)、联合分布适应(Joint Distribution Adaptation,JDA)、基于奇异值分解的宏-微迁移模型(SVD)、联合直推式迁移回归和辅助集选择模型(TTRM+ASSM)和深度学习方法Transfer Learning等。表5、表6和表7分别列出了这三个数据库上所有方法的微表情识别率。从表中可以看出，无论训练集是单一的微表情数据库还是宏、微表情数据库相结合，总体上来说，本发明提出的模型表现优于另外几种最先进的方法。

表5

表6

表7

Claims (10)

1.一种非监督跨库的微表情识别方法，其特征在于，包括：

1)准备训练样本，训练样本包括宏表情样本和微表情样本；获取宏表情样本，对宏表情提取特征形成宏表情数据矩阵

其中，d₁代表宏表情特征维度，N₁代表宏表情样本个数；获取微表情样本，对微表情提取特征形成微表情数据矩阵

其中，d₂代表微表情特征维度，N₂代表微表情样本个数；

2)通过特征选择和数据标准化将宏表情数据矩阵和微表情数据矩阵进行数据对齐后，宏表情数据矩阵和微表情数据矩阵重组为原始联合数据矩阵

其中，N为源域样本数，N＝N₁+N₂；

3)基于源域选择模型，从原始联合数据矩阵中选择出与目标域的特征分布差异最小的一组样本组成辅助集；

所述基于源域选择模型的数学描述如式(Ⅰ)所示：

s.t.α_i∈{0,1}

式(Ⅰ)中，

表示源域的N个样本，

表示目标域的m个样本；

为再生核希尔伯特空间，Φ(.)为核映射算子，将源域和目标域数据映射到再生核希尔伯特空间；α_i为源域选择模型的二值选择因子，α_i＝1表示源域中的样本i被选入辅助集，α_i＝0表示源域中的样本i未被选入辅助集；

4)基于自适应分布对齐模型，定量地考量每个任务中，边缘分布和条件分布的相对重要性，自适应地调整迁移过程中边缘分布和条件分布的权值，并通过L_2,1范数的行稀疏特性，完成辅助集样本的重加权，削弱异常值的影响；通过基于欧氏距离的最近邻分类器对目标域无标签的微表情数据库样本进行分类识别；

步骤4)中，所述基于自适应分布对齐模型

的数学描述如式(Ⅴ)所示：

式(Ⅴ)中，

为辅助集，

为目标域测试集；

为辅助集的数据矩阵，n为源域的N个样本经过源域选择算法后，形成的辅助集的样本数；

为无标签的目标域数据集，m为目标域样本数；c∈{1,2,...,C}是不同的微表情标签类别；

和

分别表示辅助集和目标域测试集中，属于c类的样本，

是x_s的真实标签，

是x_t的伪标签；

和

分别表示

和

样本数；

式(Ⅴ)的第一项

是边缘分布距离，第二项

是条件分布距离，μ为边缘分布、条件分布的自适应参数，μ∈[0,1]。

2.根据权利要求1所述的一种非监督跨库的微表情识别方法，其特征在于，步骤1)中，对宏表情提取的特征为LBP特征，提取宏表情的LBP特征时，宏表情的面部分块方式采用多尺度LBP-TOP特征的分块方式；对微表情提取的特征为多尺度LBP-TOP特征和MDMO特征。

3.根据权利要求1所述的一种非监督跨库的微表情识别方法，其特征在于，

步骤2)中，通过主成分分析法分别对宏表情数据矩阵、微表情数据矩阵进行特征选择，将宏表情数据矩阵、微表情数据矩阵统一为相同维度d,d≤d₁且d≤d₂；分别将宏表情数据矩阵、微表情数据矩阵通过数据标准化归一化到[0,1]之间，完成数据对齐；

步骤2)中，宏表情的LBP特征维度为5015维，微表情的多尺度LBP-TOP特征维度为15045维，微表情的MDMO特征维度为72维，采用主成分分析法将宏表情的LBP特征、微表情的多尺度LBP-TOP特征及微表情的MDMO特征统一为相同维度，微表情特征为多尺度LBP-TOP特征时，对齐后的原始联合数据矩阵的维度d＝5015；微表情特征为MDMO特征时，对齐后的原始联合数据矩阵的维度d＝72。

4.根据权利要求1所述的一种非监督跨库的微表情识别方法，其特征在于，步骤3)中，基于源域选择模型，从原始联合数据矩阵中选择一个与目标域联系更为紧密的最优子集作为辅助集样本，实现步骤如下：

引入一个选择参数β_i，

对式(Ⅰ)进行简化，式(Ⅰ)转化为式(Ⅱ)：

借助核函数技巧将式(Ⅱ)展开，得到式(III)：

式(III)中，K_o,o＝Φ(x_o)^TΦ(x_o)，K_o,t＝Φ(x_o)^TΦ(x_t)，1_o和1_t为全1的列向量；稀疏的β通过最小化其L₁范数||β||₁＝1^Tβ得到，λ为惩罚参数，那么，式(III)整理后得到式(Ⅳ)：

获得β后恢复α的值，通过预设的阈值或比例根据α从源域中挑选样本形成辅助集。

5.根据权利要求4所述的一种非监督跨库的微表情识别方法，其特征在于，λ取1；

对于所得到的α，将其按数值从大到小排序后，选择出前70％的α_i所对应的第i个源域样本，形成辅助集。

6.根据权利要求1所述的一种非监督跨库的微表情识别方法，其特征在于，

将RKHS用映射矩阵A近似，式(Ⅴ)转化为式(VI)：

利用矩阵技巧和正则化，式(VI)经验地估计为(Ⅶ)：

式(Ⅶ)中，X为x_s和x_t组成的联合数据矩阵，X＝[x_s x_t]；||.||_F为F范数，λ是F范数的正则化参数；

为单位矩阵，H为中心矩阵，

项用来在保留原始特征结构的基础上，降低自适应分布对齐模型的复杂度；式(Ⅶ)涉及两个约束：第一个约束用于确保转换后的数据A^TX维持原始数据的数据结构，也就是维持数据散度，对于矩阵X，它的散度矩阵就是XHX^T；第二个约束为自适应参数μ的范围；M₀和M_c为MMD矩阵，构造方式分别如式(Ⅷ)、式(Ⅸ)所示：

7.根据权利要求1所述的一种非监督跨库的微表情识别方法，其特征在于，步骤4)中，自适应参数μ的值利用域的全局和局部结构，采用A距离确定；A距离为用以区分两个域的二分类线性分类器的误差，其定义如式(Ⅹ)所示：

式(Ⅹ)中，ε(h)为区分

和

的线性分类器h的平均误差；对于条件分布的

距离，用d_c代表第c类的值，

分别表示在

和

中的第c类的样本；综上，μ被估计为式(Ⅺ)：

8.根据权利要求6所述的一种非监督跨库的微表情识别方法，其特征在于，步骤4)中，引入L_2,1范数衡量辅助集中每个样本的具体贡献，降低异常值的影响；

所述自适应分布对齐模型的目标函数如式(Ⅻ)所示：

9.根据权利要求8所述的一种非监督跨库的微表情识别方法，其特征在于，步骤4)中，采用基于拉格朗日乘子的方法优化自适应分布对齐模型的目标函数式(Ⅻ)，包括如下：

首先，对目标函数进行变换得到式(XIII)：

式(XIII)中，U为拉格朗日乘子；因此，增广拉格朗日方程如式(XIV)所示：

μ也在每次迭代时更新，因此，在迭代中，代入的μ是经过式(Ⅺ)更新过的μ^(k)；第(k+1)次迭代时，变量更新过程如式(XV)所示：

式(XV)中，Z^(k)＝Diag(z^(k))，

i为矩阵z的第i个元素，θ为一个极小值，

代表A^(k)的第i行；对A求导置零，式(XV)的优化问题转化为下式特征分解的求解问题，如式(XVI)所示：

解式(XVI)，获得构成映射矩阵A的最小K个特征值对应的特征向量。

10.根据权利要求6所述的一种非监督跨库的微表情识别方法，其特征在于，步骤4)中，通过基于欧氏距离的最近邻分类器对目标域无标签的微表情数据库样本进行分类识别，具体实现步骤如下：

通过解决目标函数的线性优化问题，得到训练好的映射矩阵A，采用映射矩阵A将辅助集和测试集数据投影进公共子空间，并通过最近邻的方式对公共子空间中的数据表示进行比对识别，即：

求得投影矩阵，并令

表示公共子空间中全部训练数据，

为通过源域选择算法之后得到的辅助集特征及其对应标签，

为无标签的目标域数据集，A_s和A_t对应映射矩阵A的前n行和后m行；

对于给定的目标域微表情数据集，将投影后的任意一个测试样本

采用基于欧式距离的最近邻对比

是指第i个源域辅助集样本

的微表情类别标签，将距离最近的训练样本的微表情类别标签赋给测试样本，完成微表情识别。

Images