CN103996029B - 表情相似度度量方法及装置 - Google Patents

Abstract

本发明公开一种基于几何特征的表情相似度度量方法及装置，用于提升刻画表情细微变化和局部细节的能力，寻找到最相似的表情。该表情相似度度量方法包括：利用链码编码获取目标面部区域内的特征点的形状信息；度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息；对两个目标面部区域内的所述形状信息和所述形变信息进行自适应加权，得到所述两个目标面部区域的表情相似距离；以及根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果。采用本发明的表情相似度度量方法，对不同类型、不同强度的表情描述具有较好的鲁棒性，尤其是对嘴型、嘴张闭幅度等相似性的度量更具有优势。

Description

表情相似度度量方法及装置

技术领域

本发明涉及人机交互技术领域，更具体的，涉及一种表情相似度度量方法及装置。

背景技术

随着人机交互的深入和快速发展，面部表情分析成为情感计算当前研究的热点。随着表演驱动在游戏、电影等中广泛应用，近些年研究者们探索各种寻找相似表情的方法以合成高度逼真和自然的表情动画。Ira Kemelmacher-Shlizerman等采用LBP提取与表情密切相关的眼睛、嘴巴区域的纹理特征，并用卡方距离衡量相似度以实现不同人间表情映射，能够较好的提取局部特征但在刻画微小变化的表情细节时具有瑕疵。Abhina等引入结构相似性理论并将结构相似度(Structural SIMilarity，SSIM)指数作为表情距离度量方式，通过最近邻(Nearest Neighbor，NN)方法寻找最相似图像，该方法较好的保持了各种表情的形变信息，但其局部细节的描述能力弱，在寻找复杂细节的表情图像时表现欠佳。

因此，现有技术中存在着刻画表情细微变化和局部细节能力弱的问题。

发明内容

本发明公开一种表情相似度度量方法及装置，用于解决现有技术中存在的刻画表情细微变化和局部细节能力弱的问题。

为实现上述目的，根据本发明的第一方面，提供一种表情相似度度量方法，并采用如下技术方案：

表情相似度度量方法，包括：利用链码编码获取目标面部区域内的特征点的形状信息；度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息；对两个目标面部区域内的所述形状信息和所述形变信息进行加权处理，得到所述两个目标面部区域的表情相似距离；以及根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果。

进一步地，所述利用链码编码获取目标面部区域内的特征点的形状信息包括：用顺序连接的具有指定长度和方向的线段描述所述目标面部区域内的区域形状；计算所述线段的每一条线段与水平方向的夹角；根据所述夹角及单位角度对所述区域形状中的特征点进行链码编码，得到链码编码值；对所述链码编码值进行一次差分和非负处理，得到一处理结果；根据所述处理结果组成链码编码向量，得到所述形状信息。

进一步地，所述度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息包括：确定第一预设值个需要进行获取的形变信息的数量；根据所述目标面部区域中的表情区域的开合幅度、收缩程度以及不同表情区域间的几何信息计算形变信息。

进一步地，所述对两个目标面部区域内的所述形状信息和所述形变信息进行加权处理，得到所述两个目标面部区域的表情相似距离包括：

获取表情图像I和表情图像T的几何特征为

I＝(L^I，D^I)，T＝(L^T，D^T)；

L代表图像的形状信息，D代表图像的形变信息，和为所述表情图像I和所述表情图像T的所述形状信息，和为所述表情图像I和所述表情图像T的所述形变信息，p表示表情区域数目，q表示需要度量的形变信息数目。

采用卡方距离公式计算所述表情图像I和所述表情图像T的所述表情相似距离

其中， α，β分别为所述表情相似距离中所述形状信息和所述形变信息的加权因子，满足α+β＝1；

对所述表情图像I和所述表情图像T的特征点加入权重系数w_i，则将式(1)修改为：

其中，

式(2)统一简化为

其中，S(I，T)为所述表情图像I和所述表情图像T的所述表情相似距离。为第i个特征的相似距离，w_i(1≤i≤p+q)为第i个特征的权重系数。

进一步地，确定所述权重系数w_i包括：

筛选第二预设值组数N的相似表情图像(I_n，T_n)作为训练集，所述权重系数w_i的求解过程转化为最小化式(3)目标函数J_w：

记则由于其与具有相同的极值点，因此利用拉格朗日条件极值法可得式(5)：

对式(5)中的w_i和λ分别求偏导数，并令这两个偏导数等于0，可得

求解式(6)方程组可得所述权重系数w_i的值：

其中，w_i(1≤i≤p+q)为第i个特征的权重系数，表示训练集中第n组样本关于第i个特征的相似距离。N为训练集中的样本数目，(I_n，T_n)(1≤n≤N)表示训练集待计算相似距离的一组样本。

进一步地，所述根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果包括：给定一幅表情图像和第四预设值个样本；通过式(3)计算每个所述样本与所述表情图像的所述表情相似距离；得到最小的表情相似距离S(I)，作为所述表情相似度度量结果：

其中，I为给定一幅表情图像，T_i为M幅待比较的表情图像中与I最相似的图像。M为待比较的图像数目，w_i(1≤i≤p+q)为通过训练集计算的第i个特征的权重系数。

根据本发明的另外一个方面，提供一种表情相似度度量装置，并采用如下技术方案：

表情相似度度量装置，包括：第一获取模块，用来利用链码编码获取目标面部区域内的特征点的形状信息；度量模块，用来度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息；第一计算模块，用来对两个目标面部区域内的所述形状信息和所述形变信息进行加权处理，得到所述两个目标面部区域的表情相似距离；以及第二获取模块，用来根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果。

进一步地，所述第一获取模块包括：第一描述模块，用于用顺序连接的具有指定长度和方向的线段描述所述目标面部区域内的区域形状；第二计算模块，用于计算所述线段的每一条线段与水平方向的夹角；根据所述夹角及单位角度对所述区域形状中的特征点进行链码编码，得到链码编码值；第三计算模块，用于对所述链码编码值进行一次差分和非负处理，得到一处理结果；以及第二描述模块，用于根据所述处理结果组成链码编码向量，得到所述形状信息。

进一步地，所述度量模块包括：第一控制模块，用于预设需要进行获取的形变信息的数量；第四计算模块，用于根据所述目标面部区域中的表情区域的开合幅度、收缩程度以及不同表情区域间的几何信息计算形变信息。

进一步地，所述第一计算模块包括：第三获取模块，用于获取表情图像I和表情图像T的所述几何特征；第一计算子模块，用于采用卡方距离公式计算所述表情图像I和所述表情图像T的所述表情相似距离；以及第二计算子模块，用于对所述表情图像I和所述表情图像T的特征点加入所述权重系数w_i，修改所述卡方距离公式，计算所述表情图像I和所述表情图像T加入所述权重系数w_i后的所述表情相似距离。

本发明结合链码编码表示的形状信息以及几何度量的形变信息，提取出有利于表情相似性度量的几何特征，同时考虑不同特征的作用提出属性权重计算方法，使得不同数量级的特征在相同尺度下进行度量，不仅抑制幅度大的特征对幅度小特征的淹没作用，而且突出了重要特征的贡献，对不同类型、不同强度的表情描述具有较好的鲁棒性。

附图说明

附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1表示本发明实施例所述的表情相似度度量方法流程图；

图2表示本发明实施例所述的表情相似度度量方法示意图；

图3表示本发明实施例所述的表情相似度度量方法中8向链码方向编号及循环链码编码表示图；

图4表示某测试者6类表情4种强度的二维图像；

图5表示不同特征度量下表情类型对正确率影响；

图6表示不同特征度量下表情强度对正确率影响；

图7表示本发明实施例所述的表情相似度度量装置结构图；

图8表示不同方法下表情类型对正确性的影响；

图9表示不同表情强度对不同算法的正确性的影响；

图10表示本发明实施例所述的表情相似度度量方法与BJM、SSIM方法寻找的最相似表情对比图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

图1表示本发明实施例所述的表情相似度度量方法流程图。

参见图1所示，表情相似度度量方法包括：

S101：利用链码编码获取目标面部区域内的特征点的形状信息；

S103：度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息；

S105：对两个目标面部区域内的所述形状信息和所述形变信息进行加权处理，得到所述两个目标面部区域的表情相似距离；

S107：根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果。

在本实施例中，步骤S101中，参见图2中的(b)，本实施例采用丹麦技术大学提供的动态链接库(AAM-API)定位与表情相关的48个特征点及编号。48个特征点位置集合构成形状向量S＝(x₁，y₁，…，x_i，y_i，…，x₄₈，y₄₈)，其中，(x_i，y_i)为第i个特征点的坐标。由于不同表情的人脸区域(包括眉、眼、鼻和嘴)具有明显的形状差异，因此，人们可以通过表情区域形状来判断不同表情。链码编码可以用来描述表情区域的形状信息。对于任意线段，可以计算出其与水平方向的夹角并进行链码编码。图3为8向链码方向编号及边界线段A-＞B-＞C-＞D-＞E-＞F循环链码编码表示(107543)，而其一次差分的循环链码编码为112112。由于8向(单位角度为450)不足以度量面部区域在不同表情人脸中的形状差别，本文采用36向循环链码编码提取区域形状特征，其单位角度φ＝2π/36。表情区域上的任意一特征点(x_i，y_i)的链码编码值k_i：

上式中(x_i+1，y_i+1)为与特征点(x_i，y_i)构成线段的另一特征点，θ为其线段与水平线的夹角。若表情区域上的特征点的个数为m，则可根据上式计算出m个特征点的链码编码k₁，k₂，…，k_m，其一次差分l_i为：

对l_i做非负处理，则有

因此，包含m个特征点的表情区域，其形状特征可以用链码编码向量l＝(l₁，l₂，…，l_m)表示。通过链码编码描述的8个表情区域的形状特征如图2(c)所示。

步骤S103中，在获取表情区域的形状信息之后，本发明实施例还要度量表情区域的形变信息，如嘴角拉伸和收缩程度、眼睛和嘴巴开合的大小、眉毛上扬下压幅度等。同时，表情是各个表情区域相关协作所呈现出的整体面部特征，还需要考虑表情区域间的关联信息。参见图2(d)，本发明实施例关注目标面部区域内同一区域内的不相邻的特征点以及不同区域间特征点的几何信息，需要度量15个形变信息如下：

左眉幅度d₁＝|y₁₅-(y₁₃+y₁₇)/2|，

右眉幅度d₂＝|y₂₀-(y₁₈+y₂₀)/2|，

左眼幅度d₃＝y₂₅-y₂₉，左眼大小d₄＝x₂₇-x₂₃，

右眼幅度d₅＝y₂₃-y₃₇，右眼大小d₆＝x₃₅-x₃₁，

嘴幅度d₇＝y₄₀-y₄₃，嘴收缩d₈＝x₅-x₄，

左嘴角上提

右嘴角上提

左脸颊上提d₁₁＝(y₂₃+y₂₇)/2-y₄₆，

右脸颊上提d₁₂＝(y₃₁+y₃₅)/2-y₄₈，

下巴幅度d₁₃＝|y₁₂-(y₆+y₇)/2|，

下巴前伸

鼻尖到上唇距离d₁₅＝|y₃-y₄₀|

步骤S105中，提取了目标面部区域表情图像的形状信息和形变信息后，为了突出不同几何区域的特征对表情相似距离的影响以及克服运动幅度大的特征对幅度小特征的淹没作用，采用表情区域特征加权的方法来度量表情相似距离。一般而言，眉毛、眼睛、嘴巴这些区域对表情的表达效果比较显著，脸颊下巴次之，而鼻子往往不能体现表情变化；同时各个区域的形变幅度也不尽相同，嘴部区域的形变幅度大于眼睛区域、眉毛区域的形变幅度也不及嘴巴和脸颊。因此，本实施例采用公式

来计算表情相似距离。其中，w_i为第i个特征的权重。

为了确定w_i的值，需要筛选多组相似表情作为训练集。表情相似不仅要求类别相同，还要求强度相当。由宾厄姆顿大学提供的BU-3DFE库除中性表情外还为其它6类基本表情分别提供了4级不同的强度如图4所显示。

步骤107中，获取表情相似度度量结果也就是在测试样本中分别计算每一个样本与给定的一副表情图像的表情相似距离，找出表情相似距离最小的那个样本，也就是找到了与给定的表情图像最为相似的表情。参见图2(e)。如果给定表情图像与找到的最相似表情图像属于同类型同强度，则认为寻找正确；否则认为错误。在实验中发现，强度越高，表情越易于用形状及形变等几何特征进行描述，选择相似表情的正确率也就越高；相比之下，强度弱的表情由于几何特征不明显，且易跟其它类型的弱强度表情相混淆，因此正确性较低。

采用本发明的技术方案，提取形状信息和形变信息进行表情相似度度量并对特征点进行加权处理是非常有效的。图5显示了不同特征度量下表情类型对正确率影响。总体来说链码表示的形状特征(SF)、形变特征(DF)、两种组合的几何特征(SF+DF)非属性加权及两种组合的几何特征(SF+DF)属性加权四种特征度量方法对惊讶、高兴等表情保持较高的正确率，而对伤心表情相对较低。SF特征只考虑了链码编码表示的形状信息，没能表达表情形变信息，因此正确率相对较低。而DF特征通过计算面部15个表情形变幅度，正确率略高于SF特征，但它对脸部形变不剧烈的伤心表情正确率不及SF方法。SF+DF特征有效结SF特征描述的形状信息以及DF特征度量的形变信息，进一步提高了正确率，特别是伤心表情。在SF+DF特征基础上，采用属性加权方式赋予不同区域、不同类型的特征不同的权重，一方面能够进一步提高了寻找相似表情的正确率；另一方面也使算法对各类表情保持较好鲁棒性。图6显示了不同特征度量下表情强度对正确率影响。从图6可以看出，随着表情强度的增强，四种特征度量的正确率均呈上升趋势。相比其它三种特征方法，本发明的技术方案在不同强度下均具有最高正确率。

与现有的BJM方法和SSIM方法相比，图8显示了不同方法下表情类型对正确性的影响。可以看出，本发明的技术方案对各类表情均保持较高准确率并具有较好鲁棒性；图9反映了不同方法下表情强度对正确性的影响。图9曲线表明，随着表情强度的增强，本发明的技术方案和SSIM方法保持相似的变化趋势，而BJM方法变化不明显。但在强度1时，这两者方法不及BJM方法。这与本发明的技术方案和SSIM方法采用几何特征而BJM方法采用LBP纹理特征有关，即对于强度低、运动不剧烈的表情几何特征不及纹理特征更具有区分性。但随着表情强度增强，本发明的技术方案和SSIM方法正确率显著提高。图10为三种方法寻找的最相似表情对比，在未知三幅寻找结果来源于何种方法的前提下统计10个人30幅表情图像的平均得分，BJM、SSIM和本发明的技术方案平均得分分别为83.4％，84.7％，86.1％。10个人评分结果表明本发明的技术方案寻找的相似图像更符合人主观视觉判断。

图10表示本发明实施例所述的表情相似度度量装置结构图。

参见图10所示，表情相似度度量装置，包括：第一获取模块1001，用来利用链码编码获取目标面部区域内的特征点的形状信息；度量模块1003，用来度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息；第一计算模块1005，用来对两个目标面部区域内的所述形状信息和所述形变信息进行加权处理，得到所述两个目标面部区域的表情相似距离；以及第二获取模块1007，用来根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果。

进一步地，所述第一获取模块包括：第一描述模块(图中未示)，用于用顺序连接的具有指定长度和方向的线段描述所述目标面部区域内的区域形状；第二计算模块(图中未示)，用于计算所述线段的每一条线段与水平方向的夹角；根据所述夹角及单位角度对所述区域形状中的特征点进行链码编码，得到链码编码值；第三计算模块(图中未示)，用于对所述链码编码值进行一次差分和非负处理，得到一处理结果；以及第二描述模块(图中未示)，用于根据所述处理结果组成链码编码向量，得到所述形状信息。

进一步地，所述度量模块包括：第一控制模块(图中未示)，用于预设需要进行获取的形变信息的数量；第四计算模块(图中未示)，用于根据所述目标面部区域中的表情区域的开合幅度、收缩程度以及不同表情区域间的几何信息计算形变信息。

进一步地，所述第一计算模块包括：第三获取模块(图中未示)，用于获取表情图像I和表情图像T的所述几何特征；第一计算子模块(图中未示)，用于采用卡方距离公式计算所述表情图像I和所述表情图像T的所述表情相似距离；以及第二计算子模块(图中未示)，用于对所述表情图像I和所述表情图像T的特征点加入所述权重系数w_i，修改所述卡方距离公式，计算所述表情图像I和所述表情图像T加入所述权重系数w_i后的所述表情相似距离。

本发明的技术方案融合刻画细节的形状特征和描述整体拓扑结构的形变特征，根据不同表情区域特征作用的不同，采用特征加权的相似性度量方法，以克服运动幅度大的特征对幅度小特征的淹没作用，寻找到的最相似表情相比现有的技术方案更具有优势。

Claims (5)

1.一种表情相似度度量方法，其特征在于，包括：

利用链码编码获取目标面部区域内的特征点的形状信息；

度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息；

对两个目标面部区域内的所述形状信息和所述形变信息进行加权处理，得到所述两个目标面部区域的表情相似距离；

根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果；

其中，所述对两个目标面部区域内的所述形状信息和所述形变信息进行加权处理，得到所述两个目标面部区域的表情相似距离包括：

获取表情图像I和表情图像T的几何特征为

I＝(L^I，D^I)，T＝(L^T，D^T)；

L代表图像的形状信息，D代表图像的形变信息，和为所述表情图像I和所述表情图像T的所述形状信息，和为所述表情图像I和所述表情图像T的所述形变信息，p表示表情区域数目，q表示需要度量的形变信息数目；

采用卡方距离公式计算所述表情图像I和所述表情图像T的所述表情相似距离

其中，α，β分别为所述表情相似距离中所述形状信息和所述形变信息的加权因子，满足α+β＝1；

对所述表情图像I和所述表情图像T的特征点加入权重系数w_i，则将式(1)修改为：

其中，

式(2)统一简化为

其中，S(I，T)为所述表情图像I和所述表情图像T的所述表情相似距离；为第i个特征的相似距离，w_i ， 1≤i≤p+q为第i个特征的权重系数。

2.如权利要求1所述的度量方法，其特征在于，所述利用链码编码获取目标面部区域内的特征点的形状信息包括：

用顺序连接的具有指定长度和方向的线段描述所述目标面部区域内的区域形状；

计算所述线段的每一条线段与水平方向的夹角；

根据所述夹角及单位角度对所述区域形状中的特征点进行链码编码，得到链码编码值；

对所述链码编码值进行一次差分和非负处理，得到一处理结果；

根据所述处理结果组成链码编码向量，得到所述形状信息。

3.如权利要求1所述的度量方法，其特征在于，所述度量所述目标面部区域内同一区域内的不相邻的特征点以及所述目标面部区域内的不同区域间特征点获取形变信息包括：

确定第一预设值个需要进行获取的形变信息的数量；

根据所述目标面部区域中的表情区域的开合幅度、收缩程度以及不同表情区域间的几何信息计算形变信息。

4.如权利要求1所述的度量方法，其特征在于，确定所述权重系数w_i包括：

筛选第二预设值组数N的相似表情图像(I_n，T_n)作为训练集，所述权重系数w_i的求解过程转化为最小化式(4)目标函数J_w：

记则由于其与具有相同的极值点，因此利用拉格朗日条件极值法可得式(5)：

对式(5)中的w_i和λ分别求偏导数，并令这两个偏导数等于0，可得

求解式(6)方程组可得所述权重系数w_i的值：

其中，w_i ， 1≤i≤p+q为第i个特征的权重系数，表示训练集中第n组样本关于第i个特征的相似距离；N为训练集中的样本数目，(I_n，T_n)， 1≤n≤N表示训练集待计算相似距离的一组样本。

5.如权利要求1所述的度量方法，其特征在于，所述根据所述表情相似距离获取所述两个目标面部区域的表情相似度度量结果包括：

给定一幅表情图像和第三预设值个样本；

通过式(3)计算每个所述样本与所述表情图像的所述表情相似距离；

得到最小的表情相似距离S(I)，作为所述表情相似度度量结果：

其中，I为给定一幅表情图像，T_i为M幅待比较的表情图像中与I最相似的图像；M为待比较的图像数目，w_i ， 1≤i≤p+q为通过训练集计算的第i个特征的权重系数。