CN103186774A - 一种基于半监督学习的多姿态人脸表情识别方法 - Google Patents

Abstract

本发明涉及一种基于半监督学习的多姿态人脸表情识别算法，包括采集n个人的n张正面表情图像和n张侧面表情图像，构成训练集X和测试集S，分割出正面和侧面表情图像的人脸区域，并采用直方图均衡化方法对人脸区域进行光照补偿。然后采用线性判别分析方法提取图像的表情特征，接下来对S中的样本进行表情识别。首先，采用欧式距离最近邻法，利用X中的已标记样本对X中每个未标记样本进行标记。然后，采用循环方式，对X进行重复抽样，得到新的训练集X_r。调用基本分类器利用X_r计算第t次循环时X中每个样本的标记h_t，同时利用X_r计算第t次循环时S中每个样本的标记f_t。最后，计算基本分类器对训练集中侧面样本的分类错误率ε_t，并更新X中所有训练样本的权重，直到达到循环结束条件。

Description

一种基于半监督学习的多姿态人脸表情识别方法

技术领域

本发明涉及一种基于半监督学习的多姿态条件下的人脸表情识别方法。

背景技术

人脸表情识别是人机交互与情感计算研究的重要组成部分。在表情识别中，标记图像的数量是非常重要的。因为表情模型的期望误差的可靠性依赖于图像样本集合的大小，大样本才能更好地反映样本的真实分布，从而获得好的推广误差。但是表情图像的标记过程不但耗时耗力，而且极易标记错误。针对这一问题，半监督学***滑假设、聚类假设和流形假设条件的半监督学习算法，并实现了人脸表情识别。

半监督学习假设未标记样本与标记样本具有相同的特征分布。传统的半监督人脸表情识别算法处理的都是人脸正面图像，客观上满足了假设条件。但是在实际生活中，人脸不可能一直处于正面姿态，头部偏转情况经常发生。这种姿态变化引起了人脸部位的拉伸和压缩，造成了部分人脸区域的遮挡，破环了表情的完整性。如果参与训练的未标记样本和原样本中的人脸姿态发生了变化，即使二者的表情相同，特征分布也有所不同。在这种情况下，现有的半监督学习算法可能无法有效地运用未标记样本的信息，构造出可靠的分类模型。因此多姿态条件下的半监督人脸表情识别迫切需要新的理论方法来摆脱现有的困境。

针对多姿态样本识别问题，现有算法多关注监督学习问题，通过特征提取算法的改进，提高样本识别的效果。例如：2011年华侨大学的Li等人采用了张量脸结合流形学习的方法解决多姿态条件下的人脸识别问题。2012年香港理工大学的Wang等人提出了基于正交鉴别向量的算法来克服人脸姿态变化对识别造成的干扰。中国科学院计算技术研究所的Li等人认为基于子空间的人脸表征是一个回归问题，因此采用了岭回归和线性回归的方法处理人脸的姿态变化问题。国立台湾大学的Lee等人使用嵌入式马尔科夫模型方法处理人脸不同姿态，获得了比传统的基于构件的分类器更好的识别率。但是在半监督学习方面，还缺乏一种有效的多姿态表情识别算法。

针对研究现状，迁移学习（Transfer Learning）为我们提供了可借鉴的思路，该类方法是依靠知识迁移的方式解决特征分布不同的问题。其中Dai等人提出的迁移学习自适应提升Transfer Learning Adaptive Boosting算法（简称TrAdaBoost算法）就是迁移学习中一种具有代表性的算法。一方面，TrAdaBoost算法借鉴了AdaBoost的优点，通过将多个基本分类器学习的结果以某种方式集成，来提高分类的准确度。另一方面，TrAdaBoost算法采用了知识迁移方法，按照特征分布是否一致，将训练样本分为：“与测试样本特征分布一致的样本集合”，以及“与测试样本特征分布不一致的样本集合”两部分。前者仍采用AdaBoost算法进行分类。后者通过基本分类器，判断样本是否得到正确分类。其中分类错误的样本被认为是不利于分类的部分，于是采用权重调整机制，过滤掉不利于分类的部分，提高分类模型的可靠度。最终解决了样本分类中存在的特征分布不一致的问题。

发明内容

本发明的目的在于，针对半监督学习算法缺乏对多姿态表情识别进行研究的现状，以及多姿态条件下，表情特征分布不一致造成的识别率下降、算法鲁棒性差的问题。提出了一种新的基于半监督学习的多姿态人脸表情识别算法，以实现较高的识别率和鲁棒性。

本发明是在计算机中按以下步骤仿真实现的：

步骤（1），采集样本

分别采集n个人的n张正面表情图像和n张侧面表情图像，所有表情图像及每张图像对应的样本标记构成实验样本，所述的样本标记指每个图像对应的表情类别，令n个正面图像和m个侧面图像构成训练集X，余下的n-m个侧面图像组成测试集S，其中训练集X中的部分图像有样本标记，样本标记用符号c表示，测试集S中的所有图像均有样本标记，且样本标记用符号l表示，不过测试集的样本标记，只在最后验证算法对测试集样本分类结果是否正确时使用；

步骤（2），样本预处理

处理对象是X和S内的所有图像，分为两步：

步骤（2.1），采用人工切分的方法，获取图像的人脸部分；

步骤（2.2），采用直方图均衡化方法降低光照因素对图像的干扰；

预处理后的图像进行尺度归一化处理；

步骤（3），特征提取

采用线性判别分析Linear Discriminant Analysis算法（简称LDA算法）对预处理后的X进行计算，得到一个投影矩阵。将投影矩阵与X中每一个图像矩阵相乘，得到X的表情特征，同样，采用LDA算法对预处理后的S进行计算，得到一个投影矩阵，将该投影矩阵与S中每一个图像矩阵相乘，得到S的表情特征；特征提取后，训练集X和测试集S的每个样本都被其自身的表情特征所替代，为了便于描述，训练集和测试集的符号不变，仍为X和S，并将X和S中的个体即每个图像的表情特征称为样本；

步骤（4），样本分类

输入：由侧面样本组成的测试集S，训练集X中前n个正面样本的集合X_d，后m个侧面样本的集合X_s，训练集X中已标记样本的标记、以及测试集S中所有样本的标记；一个基本分类器Learner和算法最大循环次数N；

输出：测试集S的人脸表情识别结果；

步骤（4）的具体内容如下：

步骤（4.1）初始化

步骤（4.1.1）设X的样本权重向量

其中权重上标1表示算法的第1次循环，下标表示权重对应的训练样本，具体大小如下：

步骤（4.1.2）设置参数

其中n为正面样本数量，N为最大循环次数；

步骤（4.1.3）计算X中未标记样本的标记

采用欧式距离最近邻法，求解X中每个未标记样本的标记，求解结果即为与该未标记样本距离最近的已标记样本的标记；

步骤（4.2）算法的循环过程

令t表示第t次循环，t的取值范围是[1,N]，N为最大循环次数；

开始循环：

步骤（4.2.1）每次循环时，都要对步骤（4.1.3）中对未标记样本进行标记后的X进行重复抽样，得到新的训练集X_r，X_r的个数与X一致，且X_r中的所有样本都有标记信息；

步骤（4.2.2）调用基本分类器Learner，利用X_r对X中每个样本重新标记，记为h_t，利用X_r对测试集S中每个样本重新标记，记为f_t；

步骤（4.2.3）计算步骤（4.2.2）中基本分类器对训练集中侧面样本的分类错误率ε_t，计算公式如下：

${\mathrm{\ϵ}}_t=\underset{i=n+1}{\overset{n+m}{\mathrm{\Σ}}}\frac{w_i^{t}A}{{\mathrm{\Σ}}_{i=n+1}^{n+m}{w}_i^t},$ $A=\left\{\begin{array}{cc}1,& h_t\left(x_i\right)\≠c_t\left(x_i\right)\\ 0,& h_t\left(x_i\right)=c_t\left(x_i\right)\end{array}\right.---\left(2\right)$

其中

表示第t次循环时X中的第i个样本x_i对应的权重，h_t(x_i)是上一步计算得到的X中的样本x_i的标记，c_t(x_i)对应样本x_i的真实标记，所述的真实标记由X中已标记样本的标记，以及步骤（4.1.3）计算出的未标记样本的标记构成；

从样本标记的角度考虑，训练集由已标记样本和未标记样本组成。我们不知道未标记样本的标记是什么，所以用伪标记代替了真实标记，作为训练集中未标记样本的类别标记。

步骤（4.2.4）构建分类器参数β_t=ε_t/(1-ε_t)；

步骤（4.2.5）更新训练集中所有训练样本的权重；

$w_i^{t+1}=\left\{\begin{array}{cc}{w}_i^t{\mathrm{\β}}^A,& i=1,...,n\\ w_i^t{\mathrm{\β}}_t^{-A},& i=n+1,...,n+m\end{array}\right.---\left(3\right)$

β见步骤（4.1.2），A见步骤（4.2.3），前一个表达式为前n个正面样本的权重表达式，后一个表达式为后m个侧面样本的权重表达式。

后m个侧面样本的集合X_s与测试集S同为侧面样本集合，二者特征分布一致，因此采用AdaBoost算法的方式计算。而前n个正面样本的集合X_d与测试集S相比，表情姿态发生了变化。当X_d中的一个样本被错误分类时，就认为该样本可能和测试样本是矛盾的。通过降低样本权重的方式，抑制了错分类样本对训练的干扰。反之，如果X_d中的一个样本被正确分类，则认为该样本包含了利于识别的表情特征。因此不会降低该样本的权重，于是该样本就可以参与分类器的构建。在训练集中侧面样本较少的情况下，将利于分类的正面样本迁移过来，与侧面样本一起构建出更准确的分类模型；

如果循环次数达到N或分类错误率不小于0.5，循环结束，执行步骤（4.3）；否则，跳转到步骤（4.2.1）继续循环；

步骤（4.3），计算测试集S中第i个样本的样本标记h_f(x_i)，i大于0小于等于n-m，计算公式如下：

$h_f\left(x_i\right)=\arg \max \underset{t=1}{\overset{N}{\mathrm{\Σ}}}\left(\log \frac{1}{{\mathrm{\β}}_t}\right)C,$ $C=\left\{\begin{array}{cc}1,& f_t\left(x_i\right)=l\left(x_i\right)\\ 0,& f_t\left(x_i\right)\≠l\left(x_i\right)\end{array}\right.---\left(4\right)$

其中l(x_i)是测试集S中样本x_i对应的标记，f_t(x_i)表示步骤（4.2）的第t次循环时基本分类器Learner对测试集S中样本x_i的识别结果，β_t表示步骤（4.2）的第t次循环时得到的分类器参数。即实现了对测试集S中待识别图像的表情识别。

鉴于TrAdaBoost算法具有结构简单、可移植性强的优点，本发明在保留TrAdaBoost算法的知识迁移能力的同时，对TrAdaBoost算法进行了两方面的修改：

一方面，TrAdaBoost算法属于监督学习算法，算法需要训练样本的标记信息，而本发明是一个半监督学习算法。按照半监督学习的要求，训练集是由已标记样本和未标记样本组成的。因此，选取一定比例的训练样本为未标记样本，余下的为标记样本。这种做法的原因在于：如果提供了全部的样本标记，就失去了半监督学习的能力，从而转化为单纯的迁移学习或监督学习方法。如果不提供任何样本的标记信息，由于未标记样本存在信息缺失，那么算法的正确率就会下降，最终将影响知识迁移的效果。所以，本发明采用折衷的方式，选取一定比例的训练样本为未标记样本，余下的为标记样本，从而兼顾了半监督学习的要求和算法的分类性能。为了进一步消除未标记样本对分类的不利因素，这里还借鉴了SemiBoost和ASSEMBLE等算法的处理方式：采用欧式距离最近邻法，求解训练集中每个未标记样本的标记，求解结果即为与该未标记样本距离最近的已标记样本的标记。

另一方面，TrAdaBoost算法针对的是二类分类问题，而人脸表情识别却需要完成多种表情的识别任务。于是本发明扩展了TrAdaBoost的分类能力，针对TrAdaBoost进行了四处修改：1）确保基本分类器可完成多分类任务；2）修改了错误率ε_t的计算公式；3）修改了更新权重的公式；4）修改了基本分类器集成后的计算公式。实现了样本的多类识别。

有益效果

本发明提出了一种新的基于半监督学习的多姿态人脸表情识别算法。该算法将迁移学习思想引入到半监督学习中，在一定程度上克服了多姿态条件下的特征分布不一致的问题。与传统的基于半监督学习的人脸表情识别算法相比，本发明在RaFD数据库与BHU数据库上都取得了最高识别率，识别率分别为82.68%和87.71%。算法流程如图1所示。

附图说明

图1是算法流程图。

具体实施方式

本发明采取的技术方案为：

一种基于半监督学习的多姿态人脸表情识别算法。该方法首先通过手工切分的方法分割出表情图像的人脸区域，并采用直方图均衡化方法对人脸区域进行光照补偿；然后采用LDA算法提取图像的表情特征作为样本。令训练集包含了全部正面图像和少量侧面图像的样本，测试集包含了大量侧面图像的样本。因为训练样本中的正面图像相对于测试集图像而言，人脸发生了偏转，所以算法就通过调整权重的方式，在降低误分类样本权重的同时保证正确分类样本的权重不变，最终达到了抑制误分类样本，提高人脸表情识别效果的目的。实验结果表明，与传统的基于半监督学习的人脸表情识别算法相比，该方法在RaFD数据库和BHU数据库上分别获得了82.68%与87.71%的最高识别率。

本发明具体步骤如下：

步骤（1），采集样本

本发明选择了RaFD数据库和BHU数据库为实验对象，前者选取了57个人的6种基本表情、3个水平旋转角度（正面，即水平偏转90度、水平偏转135度、水平偏转180度）的人脸图像。每个角度的图像数量为342幅。后者选取了8个人的两种表情（生气、高兴）、2个水平旋转角度（正面、水平偏转30°）的人脸图像。每个角度的图像数量为160幅。每种表情的图像数量相同。

对RaFD数据库而言，共进行两组实验。第一组实验，选择全部的342幅正面图像和一定比例（10%～50%）的侧面（水平偏转135度）图像组成训练集，余下的侧面（水平偏转135度）图像组成测试集。第二组实验只是将侧面图像换成水平偏转180度的图像，其余完全相同。

对BHU数据库而言，选择全部的160幅正面图像和一定比例（10%～50%）的侧面图像组成训练集，余下的侧面图像组成测试集。

本发明的目的是识别测试集中的图像对应的表情类别，按照识别的正确与否，得到本发明的人脸表情识别率。

步骤（2），样本预处理

步骤（2.1），图像分割

为了避免头发、背景噪声对表情识别的干扰，实验依靠图像处理软件，通过手工分割的方法获得图像中的人脸部分。分割得到的人脸图像大小归一化为64×64；

步骤（2.2），直方图均衡化

数据库图像在采集过程中，很难保证光照强度的一致与均衡，而光照的不同会造成数字图像矩阵元素的差异，不利于表情特征的提取。在数字图像处理中，直方图的作用是描述图像中各个灰度级的像素个数，反映图像的灰度分布。因此，通过直方图均衡化，把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，能够有效地降低光照因素对图像的影响；

步骤（3），特征提取

调用现有的LDA算法程序，输入训练集X中的所有图像，即可输出训练集X中的所有图像的表情特征，输入测试集S中的所有图像，即可输出测试集S中的所有图像的表情特征。

步骤（4），对测试集中的样本进行表情识别，输出样本对应表情特征

输入：由侧面样本组成的测试集S，训练集X中前n个正面样本的集合X_d，后m个侧面样本的集合X_s，训练集X中已标记样本的标记、以及测试集S中所有样本的标记；一个基本分类器Learner和算法最大循环次数N；

输出：测试集S的人脸表情识别结果；

步骤（4.1）初始化

步骤（4.1.1）设X的样本权重向量

其中权重上标1表示算法的第1次循环，下标表示权重对应的训练样本，具体大小如下：

步骤（4.1.2）设置参数

其中n为正面样本数量，N为最大循环次数；

步骤（4.1.3）计算X中未标记样本的标记

采用欧式距离最近邻法，通过X中的标记样本对未标记样本进行标记，标记结果为与该未标记样本距离最近的已标记样本的标记，欧式距离通过标记样本和未标记样本的表情特征进行计算；

步骤（4.2）算法的循环过程

令t表示第t次循环，t的取值范围是[1,N]，N为最大循环次数；

开始循环：

步骤（4.2.1）每次循环时，都要对步骤（4.1.3）中对未标记样本进行标记后的X进行重复抽样，得到新的训练集X_r，X_r的个数与X一致，且X_r中的所有样本都有标记信息；

步骤（4.2.2）调用基本分类器Learner，利用X_r对X中每个样本重新标记，记为h_t，利用X_r对测试集S中每个样本重新标记，记为f_t；

其中基本分类器Learner是k近邻法分类器，或神经网络分类器。

当采用k近邻法分类器时，将X_r和X输入k近邻法分类器，输出即为利用X_r对X中每个样本重新标记的结果；同样将X_r和S输入k近邻法分类器，输出即为利用X_r对S中每个样本重新标记的结果。

当采用神经网络分类器时，本发明采用了三层BP神经网络，即后向传播神经网络。其中隐层节点数为10，学习步长为0.3，动量项系数为0.95，最大训练次数为100次。输入X_r、X_r的样本标记（标记按照0、1进行组合）以及X，输出X中每个样本的标记h_t；若输入X_r、X_r的样本标记（标记按照0、1进行组合）以及S，则输出S中每个样本的标记f_t。

步骤（4.2.3）计算训练集中侧面样本的分类错误率，

${\mathrm{\ϵ}}_t=\underset{i=n+1}{\overset{n+m}{\mathrm{\Σ}}}\frac{w_i^{t}A}{{\mathrm{\Σ}}_{i=n+1}^{n+m}{w}_i^t},$ $A=\left\{\begin{array}{cc}1,& h_t\left(x_i\right)\≠c_t\left(x_i\right)\\ 0,& h_t\left(x_i\right)=c_t\left(x_i\right)\end{array}\right.$

其中

表示第t次循环时X中的第i个样本x_i对应的权重，h_t(x_i)是上一步计算得到的X中的样本x_i的标记，c_t(x_i)对应样本x_i的真实标记，所述的真实标记由X中已标记样本的标记，以及步骤（4.1.3）计算出的未标记样本的标记构成；

步骤（4.2.4）设置分类器参数β_t=ε_t/(1-ε_t)；

步骤（4.2.5）更新样本权重，其中β大小见步骤（4.1.2）；

$w_i^{t+1}=\left\{\begin{array}{cc}{w}_i^t{\mathrm{\β}}^A,& i=1,...,n\\ w_i^t{\mathrm{\β}}_t^{-A},& i=n+1,...,n+m\end{array}\right.$

如果循环次数达到N或分类错误率不小于0.5，循环结束，执行步骤（4.3）；否则，跳转到步骤（4.2.1）继续循环；

步骤（4.3），计算测试集S中第i个样本的样本标记h_f(x_i)，i大于0小于等于n-m，计算公式如下：

$h_f\left(x_i\right)=\arg \max \underset{t=1}{\overset{N}{\mathrm{\Σ}}}\left(\log \frac{1}{{\mathrm{\β}}_t}\right)C,C=\left\{\begin{array}{cc}1,& f_t\left(x_i\right)=l\left(x_i\right)\\ 0,& f_t\left(x_i\right)\≠l\left(x_i\right)\end{array}\right.$

其中l(x_i)是测试集S中样本x_i对应的标记，f_t(x_i)表示步骤（4.2）的第t次循环时基本分类器Learner对测试集S中样本x_i的识别结果，β_t表示步骤（4.2）的第t次循环时得到的分类器参数。

因为人脸表情识别通常以测试集的人脸表情识别率为识别结果（即测试集中正确分类的样本占测试集中样本总数的比例），因此本发明在得到了测试集样本对应的标记后，将其与测试集样本的真实标记相比较，从而得到了测试集样本的人脸表情识别率。

为了检验本发明所提出的方法的性能，分别在RaFD数据库和BHU数据库上进行了实验。其中选取RaFD数据库中正面和侧面图像各342幅，以正面图像和一定比例（每类正面图像数量的10%～50%）的侧面图像为训练集，余下的侧面图像为测试集。每个比例各生成10组样本，取10次实验得到的人脸表情识别率的平均值作为算法识别率。表情类别为：生气、厌恶、悲伤、高兴、恐惧和惊奇。基本分类器采用k近邻或神经网络分类器。基线算法采用标号传递算法（简称LP算法）、AdaBoost.M1算法、ASSEMBLE算法以及RegBoost算法。LP算法是经典的半监督学习算法，ASSEMBLE和RegBoost算法都是近年出现的半监督学习算法，其中ASSEMBLE算法还获得了NIPS半监督学习算法竞赛第一名的优异成绩。实验结果如表1和表2所示。

表1人脸偏转135度时算法在RaFD数据库上平均识别率

表2人脸偏转180度时算法在RaFD数据库上平均识别率

表1是对135°图像的测试结果。采用k近邻分类器作为基本分类器，k为3。表2是对180°图像的测试结果。采用BP神经网络分类器作为基本分类器。实验表明了两部分内容：

一方面，算法识别率随着侧面图像在训练集中比例的增加而提高。既说明特征分布相同的样本在分类中起到了很大作用，也说明了在样本特征分布不同的情况下，基线算法的识别率受到了很大限制。而本发明依靠知识迁移，有效地运用了正面图像的表情特征，克服了样本特征分布差异对半监督学习造成的干扰。在大部分比例下取得了比基线算法更高的识别率。

另一方面，侧面图像中存在的人脸偏转造成了人脸器官的遮挡以及大量表情信息的缺失，严重影响了算法的识别效果。基线算法在信息缺失与噪声干扰的情况下，仅依靠少量侧面图像的表情特征是不能更好地完成半监督学习任务的。本发明通过知识迁移，将正面图像的表情特征迁移到侧面图像的分类器构建之中，降低了信息缺失造成的干扰。在多姿态条件下，本发明具有较好的鲁棒性。

表1和表2的对比结果还表明，与k近邻分类器相比，BP神经网络分类器得到的识别率增长幅度较高。原因在于实验算法的每次循环中，BP神经网络分类器的最大循环次数达到了100次，而k近邻分类器仅为一次运算的结果。所以BP神经网络分类器的不断运算尽可能地减少了分类误差，使得本发明算法的提升幅度得到了很大的提高。但是循环次数的多少与识别率的大小并没有必然联系，关键还在于分类器是否适应实验样本。

再以BHU数据库为实验对象，选取BHU数据库中正面和侧面图像各480幅，以正面图像和一定比例（每类正面图像数量的10%～50%）的侧面图像为训练集，余下的侧面图像为测试集。每个比例各生成10组样本，取10次实验的平均结果作为算法识别率。表情类别为：生气、厌恶、悲伤、高兴、恐惧和惊奇。基本分类器采用k近邻或神经网络分类器。基线算法采用LP算法、AdaBoost.M1算法、ASSEMBLE算法以及RegBoost算法。实验结果如表3所示：

表3人脸偏转30度时算法在BHU数据库上平均识别率

表3结果表明，在BHU数据库上，本发明依然在识别率上保持了很大的优势。在BHU数据库上的实验结果证明了算法的鲁棒性。

Claims (2)

1.一种基于半监督学习的多姿态人脸表情识别方法，包括以下步骤：

步骤（1），采集样本

分别采集n个人的n张正面表情图像和n张侧面表情图像，所有表情图像及每张图像对应的样本标记构成实验样本，所述的样本标记指每个图像对应的表情类别，令n个正面图像和m个侧面图像构成训练集X，

余下的n-m个侧面图像组成测试集S，其中训练集X中的部分图像有样本标记，样本标记用符号c表示，测试集S中的所有图像均有样本标记，且样本标记用符号l表示；

步骤（2），样本预处理

处理对象是X和S内的所有图像，分为两步：

步骤（2.1），采用人工切分的方法，获取图像的人脸部分；

步骤（2.2），采用直方图均衡化方法降低光照因素对图像的干扰；

预处理后的图像进行尺度归一化处理；

步骤（3），特征提取

采用线性判别分析LDA算法对预处理后的X进行计算，得到一个投影矩阵，将投影矩阵与X中每一个图像矩阵相乘，得到X的表情特征，同样，采用LDA算法对预处理后的S进行计算，得到一个投影矩阵，将该投影矩阵与S中每一个图像矩阵相乘，得到S的表情特征；特征提取后，训练集X和测试集S的每个样本都被其自身的表情特征所替代，为了便于描述，训练集和测试集的符号不变，仍为X和S，并将X和S中的个体即每个图像的表情特征称为样本；

步骤（4），对测试集中的样本进行表情识别，输出样本对应表情特征，具体内容如下：

步骤（4.1）初始化

步骤（4.1.1）设X的样本权重向量

其中权重上标1表示算法的

第1次循环，下标表示权重对应的训练样本，具体大小如下：

步骤（4.1.2）设置其中n为正面样本数量，N为最大循环次数；

步骤（4.1.3）利用表情特征计算欧式距离，采用欧式距离最近邻法，利用X中的已标记样本对X中每个未标记样本进行标记，求解结果即为与该未标记样本距离最近的已标记样本的标记；

步骤（4.2）算法的循环过程

令t表示第t次循环，t的取值范围是[1,N]，N为最大循环次数；

开始循环：

步骤（4.2.1）每次循环时，都要对步骤（4.1.3）中对未标记样本进行标记后的X进行重复抽样，得到新的训练集X_r，X_r的个数与X一致，且X_r中的所有样本都有标记信息；

步骤（4.2.2）调用基本分类器Learner，利用X_r对X中每个样本重新标记，记为h_t，利用X_r对测试集S中每个样本重新标记，记为f_t；

步骤（4.2.3）计算步骤（4.2.2）中基本分类器对训练集中侧面样本的分类错误率ε_t，计算公式如下：

${\mathrm{\ϵ}}_t=\underset{i=n+1}{\overset{n+m}{\mathrm{\Σ}}}\frac{w_i^{t}A}{{\mathrm{\Σ}}_{i=n+1}^{n+m}{w}_i^t},$ $A=\left\{\begin{array}{cc}1,& h_t\left(x_i\right)\≠c_t\left(x_i\right)\\ 0,& h_t\left(x_i\right)=c_t\left(x_i\right)\end{array}\right.,$ 其中

表示第t次循环时X中的第i个样本x_i对应的权重，h_t(x_i)是上一步计算得到的X中的样本x_i的标记，c_t(x_i)对应样本x_i的真实标记，所述的真实标记由X中已标记样本的标记，以及步骤（4.1.3）计算出的未标记样本的标记构成；

步骤（4.2.4）设置分类器参数β_t=ε_t/(1-ε_t)；

步骤（4.2.5）更新训练集中所有训练样本的权重，更新公式如下，β见步骤（4.1.2），A见步骤（4.2.3）；

$w_i^{t+1}=\left\{\begin{array}{cc}{w}_i^t{\mathrm{\β}}^A,& i=1,...,n\\ w_i^t{\mathrm{\β}}_t^{-A},& i=n+1,...,n+m\end{array}\right.$

其中前一个表达式为前n个正面样本的权重表达式，后一个表达式为后m个侧面样本的权重表达式；

如果循环次数达到N或分类错误率不小于0.5，循环结束，执行步骤（4.3）；否则，跳转到步骤（4.2.1）继续循环；

步骤（4.3），计算测试集S中第i个样本的样本标记h_f(x_i)，i大于0小于等于n-m，计算公式如下：

$h_f\left(x_i\right)=\arg \max \underset{t=1}{\overset{N}{\mathrm{\Σ}}}\left(\log \frac{1}{{\mathrm{\β}}_t}\right)C,C=\left\{\begin{array}{cc}1,& f_t\left(x_i\right)=l\left(x_i\right)\\ 0,& f_t\left(x_i\right)\≠l\left(x_i\right)\end{array}\right.$

其中l(x_i)是测试集S中样本x_i对应的标记，f_t(x_i)表示步骤4.2的第t次循环时基本分类器Learner对测试集S中样本x_i的识别结果，β_t表示步骤4.2的第t次循环时得到的分类器参数。

2.根据权利要求1所述的一种基于半监督学习的多姿态人脸表情识别方法，其特征在于：所述的基本分类器Learner是k近邻法分类器，或神经网络分类器。

Images