CN115331292B - 基于面部图像的情绪识别方法、装置及计算机储存介质 - Google Patents

Abstract

本发明提出了一种基于面部图像的情绪识别方法，包括以下步骤：S1，获取用户面部无表情状态的第一特征图像；用户开始陈述事件或对话，表情随时间发生变化；S2，获取该视频图像中人脸面部特征无表情至变化过程中人脸面部特征变化的第二特征图像；S3，根据所述第一特征图像、第二特征图像中的人脸面部器官中特征点的位移参数，所述位移参数至少包括特征点的位移量以及位移方向；将特征点的位移参数转移至无表情模板人脸图像上对应位置的特征点，进行相应的位移处理，根据处理得到的测试样本图像进行识别表情类型。本发明基于同一模板人脸进行表情变化的转移，最终只需要对模板人脸图像的面部特征进行识别，减少识别的误差，提高表情识别的准确性。

Description

基于面部图像的情绪识别方法、装置及计算机储存介质

技术领域

本发明涉及图像识别技术领域，更具体地说是涉及一种基于面部图像的情绪识别方法、装置及计算机储存介质。

背景技术

人工智能和行为大数据测试是利用视频智能设备，通过对被测人员在特定环境下的生态化行为记录，对采集数据进行心理语义的特征学习，基于行为大数据利用机器学习训练得到的心理特征预测模型，实现对相关人员心理状况的非接触式测量，做到对服务人员心理健康状况的及时跟踪、分析和预警，这对人们的心理健康服务起到很关键的作用。目前，人们在进行心理健康诊断时，一般是通过用户陈述最近的经历事件、与用户对话等方式，观察人体面部表情的微弱变化来感受用户的心理状态。

目前智能终端识别面部表情时需要训练及其庞大的不同表情状态的图片，以保证针对不同的用户在识别表情时的准确性；而基于不同的用户，面部本身就存在千差万别，因此，在获取这些训练图像时，会对后续的表情识别造成一定的误差，使得服务人员不能准确的获取用户的面部表情，对心理健康的判定造成一定影响。

发明内容

为了解决上述问题，本发明提出了一种基于面部图像的情绪识别方法、装置及计算机储存介质，针对不同的用户人群表情的变化，基于同一模板人脸进行表情变化的转移，最终只需要对模板人脸图像进行变化处理的测试样本图像的面部特征进行分析识别，减少识别的误差，提高表情识别的准确性。

本发明的技术方案是这样实现的：

一种基于面部图像的情绪识别方法，包括以下步骤：

S1，获取用户面部无表情状态的第一特征图像；用户开始陈述事件或对话，表情随时间发生变化；

S2，获取该视频图像中人脸面部特征无表情至变化过程中人脸面部特征变化的第二特征图像；

S3，根据所述第一特征图像、第二特征图像中的人脸面部器官中特征点的位移参数，所述位移参数至少包括特征点的位移量以及位移方向；将特征点的位移参数转移至无表情模板人脸图像上对应位置的特征点，进行相应的位移处理，根据处理得到的测试样本图像进行识别表情类型。

优选地，步骤S1前还包括：步骤S0，人脸纠正提醒，其包括以下步骤：

S01，确定当前状态人脸图像中眉间点到鼻根点的线l₁与鼻根点到鼻尖连线l₂夹角α、眉间点到鼻根点的线l₁与从眉间点向下引出的纵向法线l的夹角β，

S02，根据l₁、l₂、l的位置和夹角关系提醒用户调整面部位置至l₁、l₂、l三线重合，即调整至正面的人脸图像，调整方法包括：

若l₂处于l₁的右侧，则判定面部朝右偏转，提醒用户朝左转动角度α；

此时，若l₁处于l的右侧，则判定面部处于抬头状态，提醒用户朝下低头角度β；若l₁处于l的左侧，则判定面部处于低头状态，提醒用户朝上抬头角度β；

反之，

若干l₂处于l₁的左侧，则判定面部朝左偏转，提醒用户朝右转动角度α；

此时，若l₁处于l的左侧，则判定面部处于抬头状态，提醒用户朝下低头角度β；若l₁处于l的右侧，则判定面部处于低头状态，提醒用户朝上抬头角度β。

优选地，步骤S2中，视频图像中人脸面部特征变化根据人面中面部器官的特征点的坐标变化是否大于阈值来判定：某一帧的面部器官的特征点坐标较第一特征图像的特征点相比，坐标位移量小于阈值时，判定为面部表情未变化；当大于阈值时，判定面部表情变化。

优选地，步骤S3包括以下步骤：

S31，创建无表情模板人脸图像，该模板人脸图像上的标准位置设置标准的人脸面部器官特征点，并根据模板人脸图像构造不同情绪下表情的信息特征的分类模型；

S32，将待测的第一特征图像、第二特征图像进行归一化处理，最终获得与模板人脸图像相同的大小；

S33，根据提取的第二特征图像中有位移值变化的面部器官，获取该面部器官的特征点的位移参数，根据某特征点在模板人脸图像中对应的点进行对应位移参数的位移变化；

S34，完成面部特征的所有位移的特征点的位移后，将处理得到的测试样本图像根据表情分类模型进行面部表情的自动识别。

优选地，步骤S33中，根据某位移的特征点在第一特征图像中处于面部器官中的比例位置，适应性在模板人脸图像的对应面部器官中找到该比例位置对应的待位移特征点；将该待位移特征点进行相同位移方向上进行相应位移。

优选地，步骤S31中，根据模板人脸图像构造的不同表情分类下，记录各面部器官的各特征点的位移参数变化量。

优选地，步骤S34中，根据得到的测试样本图像中面部器官的特征点的位移参数，与步骤S31中不同表情分类下各面部器官的特征点的位移参数进行匹配，以识别面部表情。

优选地，还包括：

S35，在显示面板上显示第一特征图像和第二特征图像、测试样本图像、以及上述各图像分别对应的表情，便于直观的获取人脸情绪的变化状态，并可以根据上述图像和表情状态进行校准。

一种基于面部图像的情绪识别装置，所述装置包括：

视觉相机，用于获取用户人脸面部特征图像；

语音输入设备，用于获取用户的语音数据；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面部图像的情绪识别程序，所述面部图像的情绪识别程序被所述处理器执行时实现上述的方法的步骤；

显示面板，用于显示获取的图像以及处理器处理后的图像和表情状态。

一种计算机储存介质，其上储存有计算机程序，该程序被处理器执行时实现上述的方法。

本发明产生的有效果为：

(1)为了避免获取的人脸面部特征形成非正姿态造成的侧脸角度过大，人脸面部特征数据的损失多，造成识别的不准确性大的问题。通过特定的识别方式，确定当前状态图像中眉间点到鼻根点的线l₁与鼻根点到鼻尖连线l₂夹角α、眉间点到鼻根点的线l₁与从鼻根向下引出的纵向法线l的夹角β之间的位置关系，提醒用户面部移动的具体方向，进而保证最终获取的面部图像为正面或者大致正面姿态的特征图像，利于获取的面部特征更加准确，提高表情识别的准确度。

(2)获取待测面部特征的数据，根据表情变化前和变化中的节点特征图像，只需要提取具体发生位移的某个或某些面部器官的特征点，根据这些特征点上的位移参数(位移方位和位移值等)，等比例的转换至模板人脸图像对应面部特征点上，并通过位移参数的变化量直接进行组合匹配以识别表情，可以在同一条件下更新获取更加精准的表情类型。因此，可以避免不同图像不同的人物训练造成的差异影响表情识别的结果问题。

(3)设计正面的模板人脸图像分类不同的表情类型，可以根据模板人脸图像上面部特征的位移点的位移参数变化关系来快速的确定不同的分类表情，无需进行网络训练模型或其他复杂的方法，进一步在后续显示第一特征图像和第二特征图像、测试样本图像、以及上述各图像分别对应的表情，可以人工读取识别、校对表情识别的结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的识别流程示意图。

图2为一种实施例下l₁、l₂、l、α、β的位置关系示意图。

具体实施方式

下面将结合本发明实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示一种基于面部图像的情绪识别方法，包括以下步骤：

步骤S0，人脸纠正提醒，其包括以下步骤：

S01，确定当前状态人脸图像中眉间点到鼻根点的线l₁与鼻根点到鼻尖连线l₂夹角α、眉间点到鼻根点的线l₁与从眉间点向下引出的纵向法线l的夹角β，具***置关系如图2所示。

S02，根据l₁、l₂、l的位置和夹角关系提醒用户调整面部位置至l₁、l₂、l三线重合，即调整至正面的人脸图像，调整方法包括：

若l₂处于l₁的右侧，则判定面部朝右偏转，提醒用户朝左转动角度α；

此时，若l₁处于l的右侧，则判定面部处于抬头状态，提醒用户朝下低头角度β；若l₁处于l的左侧，则判定面部处于低头状态，提醒用户朝上抬头角度β；

反之，

若干l₂处于l₁的左侧，则判定面部朝左偏转，提醒用户朝右转动角度α；

此时，若l₁处于l的左侧，则判定面部处于抬头状态，提醒用户朝下低头角度β；若l₁处于l的右侧，则判定面部处于低头状态，提醒用户朝上抬头角度β。

当然，在实际处理的过程中经过纠正处理的人脸图像并非完全处于正面状态，当α、β检测不为0°时处于一个设定的阈值时可以认定为正面图像进而下一步操作。为了确保检测的精准程度，可以对于获取的节点图像进行仿射变换，将非正面姿态特征图像变换成正面的特征图像，这是一个比较熟知成熟技术，这里不做详细阐述。

S1，获取用户面部无表情状态的第一特征图像；用户开始陈述事件或对话，表情随时间发生变化。

S2，获取该视频图像中人脸面部特征无表情至变化过程中人脸面部特征变化的第二特征图像；

其中，视频图像中人脸面部特征变化根据人面中面部器官的特征点的坐标变化是否大于阈值来判定：某一帧的面部器官的特征点坐标较第一特征图像的特征点相比，坐标位移量小于阈值时，判定为面部表情未变化；当大于阈值时，判定面部表情变化。而且根据实际的需要，所述的第一特征图像、第二特征图像至少包括一幅，尤其作为判定表情依据的第二特征图像，可以随机或间隔的选取多幅，以更精准的识别用户的变化情况。

S3，在识别表情类型时，我们可以采取常规的训练模型进行表情识别，但是这收集采集过多的样本图像，耗费极大的内存资源。这里我们采用一种全新思路的表情识别方式：

根据所述第一特征图像、第二特征图像中的人脸面部器官中特征点的位移参数，所述位移参数至少包括特征点的位移量以及位移方向；将特征点的位移参数转移至无表情模板人脸图像上对应位置的特征点，进行相应的位移处理，根据处理得到的测试样本图像进行识别表情类型。

具体包括以下步骤：

S31，创建无表情模板人脸图像，该模板人脸图像上的标准位置设置标准的人脸面部器官特征点，并根据模板人脸图像构造不同情绪下表情的信息特征的分类模型，同时记录下各种表情下面部器官的各特征点的位移参数变化量。

S32，将待测的第一特征图像、第二特征图像进行归一化处理，最终获得与模板人脸图像相同的大小，以便于获取的特征图像与模板人脸图像具有相同大小，在转移匹配特征点后的测试样本图像更加精准的对应于实际特征图像，避免由于转移误差造成的表情识别差异过大的问题。

S33，根据提取的第二特征图像中有位移值变化的面部器官，获取该面部器官的特征点的位移参数，根据某特征点在模板人脸图像中对应的点进行对应位移参数的位移变化。

根据某位移的特征点在第一特征图像中处于面部器官中的比例位置，适应性在模板人脸图像的对应面部器官中找到该比例位置对应的待位移特征点；只需要将产生位移的特征点对应在模板人脸图像上的待位移特征点进行相应的位移即可，保证待位移特征点朝向相同的位移方向进行位移。

由于在步骤S32中已经对特征图像和模板人脸图像进行归一化处理，因此各面部特征的差异已经很小，一般状态下将该待位移特征点进行相同位移方向上进行相同位移量。但是，由于每个人的器官大小有一定的差异，为了确保位移的精准程度，可以根据该器官特征在第一特征图像上的长度与模板人脸图像上的长度的比例进行调整。如第二特征图像相比于第一特征提箱，嘴角上某特征点朝上位移量为10mm，而第一特征图像上嘴巴长5cm，模板人脸图像上嘴巴长6cm，则对于嘴巴来说第一特征图像与模板人脸图像的比例为1:1.2，即在模板人脸图像的对应嘴角的特征点朝上位移12mm。

S34，完成面部特征的所有位移的特征点的位移后，将处理得到的测试样本图像根据表情分类模型进行面部表情的自动识别。

识别的过程中，由于模板人脸图像的表情都是人为构造，根据构造的表情，可以直截了当的获取个面部器官的各特征点的位移参数，即每种表情下，哪些器官发生了位移，位移的特征点以及位移参数都是清楚的。根据测试样本图像中发生了位移的特征点以及位移参数与构造的表情分类下的各特征点和位移参数进行比对，以获取测试样本图像此时的表情状态。

S35，在显示面板上显示第一特征图像和第二特征图像、测试样本图像、以及上述各图像分别对应的表情，便于直观的获取人脸情绪的变化状态，并可以根据上述图像和表情状态进行校准。

本发明还提供了一种基于面部图像的情绪识别装置，所述装置包括：

视觉相机，用于获取用户人脸面部特征图像；

语音输入设备，用于获取用户的语音数据；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面部图像的情绪识别程序，所述面部图像的情绪识别程序被所述处理器执行时实现上述的方法的步骤；

显示面板，用于显示获取的图像以及处理器处理后的图像和表情状态。

本发明还提供了一种计算机储存介质，其上储存有计算机程序，该程序被处理器执行时实现上述的方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于面部图像的情绪识别方法，其特征在于，包括以下步骤：

步骤S0，人脸纠正提醒，其包括以下步骤：

S01，确定当前状态人脸图像中眉间点到鼻根点的线l₁与鼻根点到鼻尖连线l₂夹角α、眉间点到鼻根点的线l₁与从眉间点向下引出的纵向法线l的夹角β，

S02，根据l₁、l₂、l的位置和夹角关系提醒用户调整面部位置至l₁、l₂、l三线重合，即调整至正面的人脸图像，调整方法包括：

若l₂处于l₁的右侧，则判定面部朝右偏转，提醒用户朝左转动角度α；

此时，若l₁处于l的右侧，则判定面部处于抬头状态，提醒用户朝下低头角度β；若l₁处于l的左侧，则判定面部处于低头状态，提醒用户朝上抬头角度β；

反之，

若l₂处于l₁的左侧，则判定面部朝左偏转，提醒用户朝右转动角度α；

此时，若l₁处于l的左侧，则判定面部处于抬头状态，提醒用户朝下低头角度β；若l₁处于l的右侧，则判定面部处于低头状态，提醒用户朝上抬头角度β；

S1，获取用户面部无表情状态的第一特征图像；用户开始陈述事件或对话，表情随时间发生变化；

S2，获取视频图像中人脸面部特征无表情至变化过程中人脸面部特征变化的第二特征图像；

S3，根据所述第一特征图像、第二特征图像中的人脸面部器官中特征点的位移参数，所述位移参数至少包括特征点的位移量以及位移方向；将特征点的位移参数转移至无表情模板人脸图像上对应位置的特征点，进行相应的位移处理，根据处理得到的测试样本图像进行识别表情类型。

2.如权利要求1所述的基于面部图像的情绪识别方法，其特征在于，步骤S2中，视频图像中人脸面部特征变化根据人脸中面部器官的特征点的坐标变化是否大于阈值来判定：某一帧的面部器官的特征点坐标较第一特征图像的特征点相比，坐标位移量小于阈值时，判定为面部表情未变化；当大于阈值时，判定面部表情变化。

3.如权利要求1所述的基于面部图像的情绪识别方法，其特征在于，步骤S3包括以下步骤：

S31，创建无表情模板人脸图像，该模板人脸图像上的标准位置设置标准的人脸面部器官特征点，并根据模板人脸图像构造不同情绪下表情的信息特征的分类模型；

S32，将待测的第一特征图像、第二特征图像进行归一化处理，最终获得与模板人脸图像相同的大小；

S33，根据提取的第二特征图像中有位移值变化的面部器官，获取该面部器官的特征点的位移参数，根据某特征点在模板人脸图像中对应的点进行对应位移参数的位移变化；

S34，完成面部特征的所有位移的特征点的位移后，将处理得到的测试样本图像根据表情分类模型进行面部表情的自动识别。

4.如权利要求3所述的基于面部图像的情绪识别方法，其特征在于，步骤S33中，根据某位移的特征点在第一特征图像中处于面部器官中的比例位置，适应性在模板人脸图像的对应面部器官中找到该比例位置对应的待位移特征点；将该待位移特征点进行相同位移方向上进行相应位移。

5.如权利要求3所述的基于面部图像的情绪识别方法，其特征在于，步骤S31中，根据模板人脸图像构造的不同表情分类下，记录各面部器官的各特征点的位移参数变化量。

6.如权利要求5所述的基于面部图像的情绪识别方法，其特征在于，步骤S34中，根据得到的测试样本图像中面部器官的特征点的位移参数，与步骤S31中不同表情分类下各面部器官的特征点的位移参数进行匹配，以识别面部表情。

7.如权利要求3所述的基于面部图像的情绪识别方法，其特征在于，还包括：

S35，在显示面板上显示第一特征图像和第二特征图像、测试样本图像、以及上述各图像分别对应的表情，便于直观的获取人脸情绪的变化状态，并可以根据上述图像和表情状态进行校准。

8.一种基于面部图像的情绪识别装置，其特征在于，所述装置包括：

视觉相机，用于获取用户人脸面部特征图像；

语音输入设备，用于获取用户的语音数据；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面部图像的情绪识别程序，所述面部图像的情绪识别程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法的步骤；

显示面板，用于显示获取的图像以及处理器处理后的图像和表情状态。

9.一种计算机储存介质，其上储存有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的方法。

Images