CN107423685A - 表情情绪识别方法 - Google Patents

Abstract

本发明公开了一种表情情绪识别方法，该方法包括以下步骤：S1，将预处理图片处理成目标图片；S2，将目标图片进行灰度化处理；S3，框定人脸区域；S4，比较宽高比与阈值范围大小；S5，将人脸图片形成矩阵S6，将单张人脸图片规整为k₂×k₂，将人脸图片形成矩阵S7，构成数组D[k][b]；S8，对原始数据矩阵X_k×b进行标准化处理；S9，计算相关系数矩阵的特征值和对应的特征向量；S10，计算主成分得分，认为结果是主成分得分最接近的表情类型。本发明能够精确快速的对空巢老人的表情进行情绪识别，有利于及时了解空巢老人的情绪。

Description

表情情绪识别方法

技术领域

本发明涉及一种情绪分析，特别是涉及一种表情情绪识别方法。

背景技术

随着我国经济的发展，老龄化问题日益突出，空巢家庭已经成为中国家庭的主要形式。有相关研究表明在2030年以后，中国空巢老年人家庭将占据老年人家庭的百分之九十，到那个时候中国老年人家庭将全面“空巢化”。到2050年时我国临终无子女的老年人将达到7900万左右，独居和空巢老年人将占54％以上，解决空巢老人的养老、健康以及心理问题显得愈发重要。

由于空巢老人越来越多，以及漂泊在外的子女们工作忙碌，没有足够的时间陪伴远在家乡的父母，同时老人们也不善于向子女表达自己的心意，造成两代人的隔膜，这一社会矛盾难以解决。现目前亟待对空巢老人的表情进行情绪识别，有利于及时了解空巢老人的情绪并传达给子女，督促子女关心老人，增强交流的时效性与准确性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种表情情绪识别方法。

为了实现本发明的上述目的，本发明提供了一种表情情绪识别方法，该方法包括以下步骤：

S1，获取预处理图片，将预处理图片规整为M×N，获得目标图片，M、N分别为宽和高对应的像素；

S2，将目标图片进行灰度化处理，获得每一个像素点的灰度值；

S3，通过对相邻像素点两两作差的方式寻找出波动最大的m个像素点，m为不小于3且不大于M*N的正整数，框定人脸区域；

S4，计算图片的宽高比若处于阈值范围内，阈值范围为0.75～1.3，则执行步骤S5；

否则进行canny边缘检测，将边缘检测的结果进行聚类分析，将单独的人脸提取出来；执行步骤S6；

S5，将人脸图片划分k个方形区域，每个方形区域均具有k₁*k₁个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵k和k₁均为正整数，k′为不大于k的正整数；k*k₁ ²为不大于M*N；执行步骤S7；

S6，对提取出的单张人脸图片规整为k₂×k₂，将人脸图片划分k²个方形区域，每个方形区域均具有k₁*k₁个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵其中，k₂＝k₁*k，k、k₁和k₂均为正整数，k′为不大于k²的正整数；

S7，计算矩阵中每行的和，获得数组d_行[k][k₁]；

再计算矩阵中每列的和，获得数组d_列[k][k₁]；

将矩阵分为个矩阵，形成矩阵和均为正整数；k₃为不大于的正整数；计算的行列式值，获得数组

最后构成数组D[k][b]，

S8，将数组D[k][b]形成原始数据矩阵X_k×b，对原始数据矩阵X_k×b进行标准化处理，得到矩阵X_k×b′；

S9，计算矩阵X_k×b′的样本相关系数矩阵,并计算相关系数矩阵的特征值和对应的特征向量；

S10，计算各主成分的累计贡献率，计算主成分得分，认为结果是主成分得分最接近的表情类型。

在本发明的一种优选实施方式中，在步骤S1中，图片规整计算的方法为：

设目标图片中的点(x,y)对应于预处理图片中的点(x₀,y₀)，根据(x₀,y₀)所在位置旁边的四个点与(x₀,y₀)距离的关系，计算目标图片中(x,y)一点的像素值：首先计算预处理图片与目标图片宽和高像素的比例：即与其中，w和h分别为预处理图片宽和高的像素，针对目标图片的一个点(x,y),按照比例计算在预处理图片中的对应坐标(x₁,y₁),(x₁,y₂),(x₁,y₂),(x₂,y₂)，求周围四个点所占的权重比值s₁，s₂，s₃，s₄：

fx₁＝x₀-x₁

fx₂＝1.0-fx₁

x₀＝x*f_w fy₁＝y₀-y₁

y₀＝y*f_h fy₂＝1.0-fy₁

x₁＝int(x₀) s₁＝fx₁*fy₁

x₂＝x₁+1 s₂＝fx₂*fy₁

y₁＝int(y₀) s₃＝fx₂*fy₂

y₂＝y₁+1 s₄＝fx₁*fy₂

int()表示取整，即舍去小数部分，只保留整数部分；

最后将处理后的像素点填充回目标图片。

在本发明的一种优选实施方式中，在步骤S2中，图片进行灰度化处理的计算方法为：

Gray＝0.11B+0.59G+0.3R，

其中，R,G,B三个色彩分量。

在本发明的一种优选实施方式中，在步骤S8中，进行标准化处理的计算方法为：

针对矩阵X_n×p：

对矩阵X_n×p进行计算：

其中，

x_ij是矩阵X_n×p中的第i行第j列的元素值，n为矩阵X_n×p的总行数，p为矩阵X_n×p的总列数，为对矩阵X_n×p进行标准化处理后新矩阵的元素值。

在本发明的一种优选实施方式中，在步骤S9中，样本相关系数矩阵的计算方法为：

r_ij＝cov(x_i,x_j)，

cov()为协方差运算，x_i表示矩阵X_n×p中的第i行的元素值，x_j表示矩阵X_n×p中的第j列的元素值，r_ij为样本相关系数矩阵中的第i行第j列的元素值；

然后按照线性代数中的定义计算相关系数矩阵的特征值和特征向量；

特征值：λ₁，λ₂，…，λ_p；

特征向量：a_i＝(a_i1,a_i2,...,a_ip)，i＝1,2,...,p。

在本发明的一种优选实施方式中，在步骤S10中，主成分得分的计算方法为：

累计贡献率G_u：

u为不大于p的正整数；

主成分得分:

a_i是样本相关系数矩阵的特征向量，x_ii′是矩阵X_k×b′中的元素值，

首先计算累积贡献率不小于0.9时，u的取值；再计算F_u的值。

综上所述，由于采用了上述技术方案，本发明的有益效果是：本发明能够精确快速的对空巢老人的表情进行情绪识别，有利于及时了解空巢老人的情绪。

附图说明

图1是本发明流程示意图。

图2是图片规整示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了一种表情情绪识别方法，如图1所示，该方法包括以下步骤：

第一步，获取预处理图片，将预处理图片规整为M×N，即为获得目标图片，M、N分别为宽和高对应的像素或者尺寸大小。在本实施方式中，图片规整的计算方法为：如图2所示，设目标图片中的点(x,y)对应于预处理图片中的点(x₀,y₀)，根据(x₀,y₀)所在位置旁边的四个点与(x₀,y₀)距离的关系，计算目标图片中(x,y)一点的像素值：首先计算预处理图片与目标图片宽和高像素的比例：即与其中，w和h分别为预处理图片宽和高的像素，针对目标图片的一个点(x,y),按照比例计算在预处理图片中的对应坐标(x₁,y₁),(x₁,y₂),(x₁,y₂),(x₂,y₂)，求周围四个点所占的权重比值s₁，s2，s₃，s₄：

fx₁＝x₀-x₁

fx₂＝1.0-fx₁

x₀＝x*f_w fy₁＝y₀-y₁

y₀＝y*f_h fy₂＝1.0-fy₁

x₁＝int(x₀) s₁＝fx₁*fy₁

x₂＝x₁+1 s₂＝fx₂*fy₁

y₁＝int(y₀) s₃＝fx₂*fy₂

y₂＝y₁+1 s₄＝fx₁*fy₂

int()表示取整，即舍去小数部分，只保留整数部分；

最后将处理后的像素点填充回目标图片。

第二步，将目标图片进行灰度化处理，获得每一个像素点的灰度值。在本实施方式中，图片进行灰度化处理的计算方法为：

Gray＝0.11B+0.59G+0.3R，其中，R,G,B三个色彩分量。

第三步，通过对相邻像素点两两作差的方式寻找出波动最大的m个像素点，m为不小于3且不大于M*N的正整数，框定人脸区域。

第四步，计算图片的宽高比若处于阈值范围内，阈值范围为0.75～1.3，则执行第五步。；

如果图片宽高比不在阈值范围内，即认为有多张人脸，则进行canny边缘检测，将边缘检测的结果进行聚类分析，将单独的人脸提取出来；执行第六步。在本实施方式中，canny边缘检测、聚类分析为现有技术，实现将单独的人脸提取出来，调用了OPENCV的库函数，在此不做赘述。

第五步，将人脸图片划分k个方形区域，每个方形区域均具有k₁*k₁个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵k和k₁均为正整数，k′为不大于k的正整数；k*k₁ ²为不大于M*N；执行第七步。

第六步，对提取出的单张人脸图片规整为k₂×k₂，将人脸图片划分k²个方形区域，每个方形区域均具有k₁*k₁个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵其中，k₂＝k₁*k，k、k₁和k₂均为正整数，k′为不大于k²的正整数。在本实施方式中，或者对提取出的单张人脸图片规整为k₂×k₂，作为目标图片，执行第二步。

第七步，计算矩阵中每行的和，获得数组d_行[k][k₁]；

再计算矩阵中每列的和，获得数组d_列[k][k₁]；

将矩阵分为个矩阵，形成矩阵和均为正整数；k₃为不大于的正整数；计算的行列式值，获得数组

最后构成数组D[k][b]，

第八步，将数组D[k][b]形成原始数据矩阵X_k×b，对原始数据矩阵X_k×b进行标准化处理，得到矩阵X_k×b′。在本实施方式中，进行标准化处理的计算方法为：针对矩阵X_n×p：

对矩阵X_n×p进行计算：其中，其中，x_ij是矩阵X_n×p中的第i行第j列的元素值，n为矩阵X_n×p的总行数，p为矩阵X_n×p的总列数，为对矩阵X_n×p进行标准化处理后新矩阵的元素值。

第九步，计算矩阵X_k×b′的样本相关系数矩阵,并计算相关系数矩阵的特征值和对应的特征向量。在本实施方式中，样本相关系数矩阵的计算方法为：r_ij＝cov(x_i,x_j)，其中，cov()为协方差运算，x_i表示矩阵X_n×p中的第i行的元素值，x_j表示矩阵X_n×p中的第j列的元素值，r_ij为样本相关系数矩阵中的第i行第j列的元素值；然后按照线性代数中的定义计算相关系数矩阵的特征值和特征向量；特征值：λ₁，λ₂，…，λ_p；特征向量：a_i＝(a_i1,a_i2,...,a_ip)，i＝1,2,...,p。

第十步，计算各主成分的累计贡献率，计算主成分得分，认为结果是主成分得分最接近的表情类型。在本实施方式中，主成分得分的计算方法为：累计贡献率G_u：u为不大于p的正整数；主成分得分:a_u是样本相关系数矩阵的特征向量，x_uu′是矩阵X_k×b′中的元素值，首先计算累积贡献率不小于0.9时，u的取值；再计算F_u的值。

先给出一个具体的实施例：

一种表情情绪识别方法，该方法具体包括以下步骤：

S1，获取预处理图片，将预处理图片规整为490×640，获得目标图片；

S2，将目标图片进行灰度化处理，获得每一个像素点的灰度值；

S3，通过对相邻像素点两两作差的方式寻找出波动最大的3个像素点，框定人脸区域；

S4，计算图片的宽高比若处于阈值范围内，阈值范围为0.75～1.3，则执行步骤S5；

否则进行canny边缘检测，将边缘检测的结果进行聚类分析，将单独的人脸提取出来；执行步骤S6；

S5，将人脸图片划分256个方形区域，每个方形区域均具有8*8个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵k′为不大于256的正整数；执行步骤S7；

S6，对提取出的单张人脸图片规整为128*128，将人脸图片划分256个方形区域，每个方形区域均具有8*8个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵k′为不大于256的正整数；

S7，计算矩阵中每行的和，获得数组d_行[256][8]；

再计算矩阵中每列的和，获得数组d_列[256][8]；

将矩阵分为4个矩阵，形成矩阵k₃为不大于4的正整数；计算的行列式值，获得数组d_行列[256][4]；

最后构成数组D[256][20]；

S8，将数组D[256][20]形成原始数据矩阵X_256×20，对原始数据矩阵X_256×20进行标准化处理，得到矩阵X_256×20′；

S9，计算矩阵X_256×20′的样本相关系数矩阵,并计算相关系数矩阵的特征值和对应的特征向量；

S10，计算各主成分的累计贡献率，计算主成分得分，认为结果是主成分得分最接近的表情类型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种表情情绪识别方法，其特征在于，包括以下步骤：

S1，获取预处理图片，将预处理图片规整为M×N，获得目标图片，M、N分别为宽和高对应的像素；

S2，将目标图片进行灰度化处理，获得每一个像素点的灰度值；

S3，通过对相邻像素点两两作差的方式寻找出波动最大的m个像素点，m为不小于3且不大于M*N的正整数，框定人脸区域；

S4，计算图片的宽高比若处于阈值范围内，阈值范围为0.75～1.3，则执行步骤S5；

否则进行canny边缘检测，将边缘检测的结果进行聚类分析，将单独的人脸提取出来；执行步骤S6；

S5，将人脸图片划分k个方形区域，每个方形区域均具有k₁*k₁个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵k和k₁均为正整数，k′为不大于k的正整数；k*k₁ ²为不大于M*N；执行步骤S7；

S6，对提取出的单张人脸图片规整为k₂×k₂，将人脸图片划分k²个方形区域，每个方形区域均具有k₁*k₁个像素点，将像素点的灰度值作为矩阵的元素值，形成矩阵其中，k₂＝k₁*k，k、k₁和k₂均为正整数，k′为不大于k²的正整数；

S7，计算矩阵中每行的和，获得数组d_行[k][k₁]；

再计算矩阵中每列的和，获得数组d_列[k][k₁]；

将矩阵分为个矩阵，形成矩阵 和均为正整数；k₃为不大于的正整数；计算的行列式值，获得数组

最后构成数组D[k][b]，

S8，将数组D[k][b]形成原始数据矩阵X_k×b，对原始数据矩阵X_k×b进行标准化处理，得到矩阵X_k×b′；

S9，计算矩阵X_k×b′的样本相关系数矩阵,并计算相关系数矩阵的特征值和对应的特征向量；

S10，计算各主成分的累计贡献率，计算主成分得分，认为结果是主成分得分最接近的表情类型。

2.根据权利要求1所述的表情情绪识别方法，其特征在于，在步骤S1中，图片规整的计算方法为：

设目标图片中的点(x,y)对应于预处理图片中的点(x₀,y₀)，根据(x₀,y₀)所在位置旁边的四个点与(x₀,y₀)距离的关系，计算目标图片中(x,y)一点的像素值：首先计算预处理图片与目标图片宽和高像素的比例：即与其中，w和h分别为预处理图片宽和高的像素，针对目标图片的一个点(x,y),按照比例计算在预处理图片中的对应坐标(x₁,y₁),(x₁,y₂),(x₁,y₂),(x₂,y₂)，求周围四个点所占的权重比值s₁，s₂，s₃，s₄：

fx₁＝x₀-x₁

fx₂＝1.0-fx₁

x₀＝x*f_w fy₁＝y₀-y₁

y₀＝y*f_h fy₂＝1.0-fy₁

x₁＝int(x₀) s₁＝fx₁*fy₁

x₂＝x₁+1 s₂＝fx₂*fy₁

y₁＝int(y₀) s₃＝fx₂*fy₂

y₂＝y₁+1 s₄＝fx₁*fy₂

int()表示取整，即舍去小数部分，只保留整数部分；

最后将处理后的像素点填充回目标图片。

3.根据权利要求1所述的表情情绪识别方法，其特征在于，在步骤S2中，图片进行灰度化处理的计算方法为：

Gray＝0.11B+0.59G+0.3R，

其中，R,G,B三个色彩分量。

4.根据权利要求1所述的表情情绪识别方法，其特征在于，在步骤S8中，进行标准化处理的计算方法为：

针对矩阵X_n×p：

对矩阵X_n×p进行计算：

<mrow> <msubsup> <mi>x</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> <mo>*</mo> </msubsup> <mo>=</mo> <mfrac> <mrow> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>-</mo> <mover> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;OverBar;</mo> </mover> </mrow> <msqrt> <mrow> <mi>V</mi> <mi>a</mi> <mi>r</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </msqrt> </mfrac> <mo>,</mo> </mrow>

其中，

x_ij是矩阵X_n×p中的第i行第j列的元素值，n为矩阵X_n×p的总行数，p为矩阵X_n×p的总列数，为对矩阵X_n×p进行标准化处理后新矩阵的元素值。

5.根据权利要求1所述的表情情绪识别方法，其特征在于，在步骤S9中，样本相关系数矩阵的计算方法为：

r_ij＝cov(x_i,x_j)，

cov()为协方差运算，x_i表示矩阵X_n×p中的第i行的元素值，x_j表示矩阵X_n×p中的第j列的元素值，r_ij为样本相关系数矩阵中的第i行第j列的元素值；

然后按照线性代数中的定义计算相关系数矩阵的特征值和特征向量；

特征值：λ₁，λ₂，…，λ_p；

特征向量：a_i＝(a_i1,a_i2,...,a_ip)，i＝1,2,...,p。

6.根据权利要求1所述的表情情绪识别方法，其特征在于，在步骤S10中，主成分得分的计算方法为：

累计贡献率G_u：

u为不大于p的正整数；

主成分得分:

<mrow> <msub> <mi>F</mi> <mi>u</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>u</mi> </munderover> <msub> <mi>a</mi> <mi>i</mi> </msub> <mo>*</mo> <msup> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>i</mi> </mrow> </msub> <mo>&amp;prime;</mo> </msup> <mo>,</mo> </mrow>

a_i是样本相关系数矩阵的特征向量，x_ii′是矩阵X_k×b′中的元素值，

首先计算累积贡献率不小于0.9时，u的取值；再计算F_u的值。