CN105354527A - 一种消极表情识别鼓励*** - Google Patents

Abstract

一种消极表情识别鼓励***，属于图像处理和人工智能技术领域。本发明的技术要点是用电脑摄像头拍摄分析使用者表情，帮助消除消极情绪，***预先采集使用者基本表情样本作为特征模板，定时自动启动视频，定时采集用户人脸画面，对人脸图像进行预处理，识别、分析图像，将实时采集的面部图像与表情特征模板匹配关键特征处的欧式距离差值、几何形状、曲率和角度的变化，对比相似度，据以判断用户表情为生气、焦虑、倦怠还是高兴，用统计形状分析及其它统计方法，分析、判断在一定阶段内用户情绪是否为消极，对消极情绪自动给予友好提醒，经提示后，若用户表情转晴，给予赞赏和鼓励。其优点是：可鼓励员工多微笑、工作时心平气和、丢弃烦恼、保持乐观向上的心态和良好的仪容。

Description

一种消极表情识别鼓励***

技术领域

本发明属于图像处理方法和人工智能领域，运用人脸表情采集、分析、识别技术对消极的情绪给予提醒、帮助和鼓励，涉及人脸图像采集及检测、人脸图像预处理、人脸图像特征提取、人脸图像匹配与识别、综合形状统计分析、人工智能和网络互动等技术。

背景技术

现在职工的工作、生活压力大，常不自觉地生出愁眉不展、紧张焦虑、不高兴、倦怠等消极的表情，长时间这种表情会导致坏心情，这种负能量危害健康、影响工作生活质量，需要通过外在帮助，及时给予提醒，解除焦虑，打断坏心情的恶性循环。目前人脸识别技术主要应用于安检、身份辨认及表情分析，人脸的表情识别与分析用于促进心理健康、保健、虚拟情感互动中较少。

发明内容

本发明的目的是：用电脑摄像头采集、检测人脸表情的图像，对检测到的人脸进行一系列相关技术处理、分析和判断，进而提供提醒员工放松，并给予其情感上的给养。

本发明所采用的技术方案是：包括图像摄取、人脸定位、图像预处理、表情检测、表情识别、统计分析和判断、互动提醒，采用的心理战术为微笑营销。用电脑摄像头拍摄分析使用者表情，帮助消除消极情绪，***预先采集使用者基本表情样本作为特征模板，定时自动启动视频，定时采集用户人脸画面，对人脸图像进行预处理，识别、分析图像，将实时采集的面部图像与表情特征模板匹配关键特征处的欧式距离差值、几何形状、曲率和角度的变化，对比相似度，据以判断用户表情为生气、焦虑、倦怠还是高兴，用统计形状分析及其它统计方法，分析、判断在一定阶段内用户情绪是否为消极，对消极情绪自动给予友好提醒，经提示后，若用户表情转晴，给予赞赏和鼓励。

本发明在首次运行时会要求建立使用者面部档案：通过电脑的摄像装置先采集并存档使用者的几种表情：高兴、平静、生气、焦虑和倦怠，作为今后与实时采集的表情作对比的样本。每天开机时，该程序自动启动，在员工工作时，每隔几分钟采集一次面对电脑的员工表情图像，加以图像预处理。可以根据灰阶影像、人脸边缘检测结果及人脸与背景分割结果输出人脸轮廓，决定脸上表情的关键特征可以通过向量来表示，将多个特征部位的特征组合起来，与人脸轮廓一起输出表情特征，与几种预先拍摄的用户典型表情样本中相对应的表情关键特征对比，判断捕捉到的表情关键特征处的欧式距离与典型表情样本中关键特征处的欧式距离差值、几何形状、曲率和角度的变化，经过统计分析，判断员工情绪是否为消极，如果员工在半小时里持续有生气、焦虑或倦怠的表情，每隔半小时，计算机就及时发出友好提醒，提醒包括：请员工微笑一下的文字提示，或弹出其快乐表情与当时消极表情的两张对比照片，或跳出一段幽默的笑话。

本发明的有益效果是：鼓励员工多微笑、工作时心平气和、丢弃烦恼、保持乐观向上的心态和良好的仪容，这样既能改善职员工作时的心情，把微笑和快乐带进员工的工作中，美容保健，员工的工作和生活质量会有所改善，又能提高工作效率，增强企业效益。

附图说明

图1为一种消极表情识别鼓励***的实施流程图。

具体实施方式

本发明按以下技术方案和步骤实现。

在***使用前，员工可预先选择是否使用这套消极表情识别鼓励***。

基本表情样本的采集

首先登记使用人，然后拍摄使用人面部图像，给每一个员工拍摄并存档包含下面几种基本表情的照片：高兴、平静、生气、焦虑和倦怠，作为以后与工作中产生的表情进行对比的参照物，用户确认图像，形成使用人表情特征模板，保存模板，***对图像中代表用户表情特征的关键部位进行均方归一化的操作后，使用欧式距离、曲率和角度进行度量，将特征数据存入数据库。

开机自动启动视频

如果员工选择使用消极表情识别鼓励***，开机时自动运行作为背景程序的消极表情识别鼓励***，定时开启电脑自带的或所配的摄像头，***在后台默默地运行，不会影响用户的工作，用户如果不想继续使用这套***，可选择关闭***。

表情实时采集

人脸以50～100cm距离正对摄像机，利用常规工作光源照明；光源亮度与方向在采集时要基本一致，人脸检测先在图像中准确标定出人脸的位置和大小，方法包括：使用有人脸自动对焦技术功能的电脑摄像头，根据人的头部部位进行判定，以人脸为焦点进行自动对焦，首先确定头部，然后判断眼睛、两眉毛间距、嘴巴、面颊等头部特征，通过特征库模板的对比，确认是曾登陆的用户的脸，完成面部捕捉。

每隔固定时段拍摄一次面部表情图像。

人脸表情检测

人脸图像中包含的模式特征十分丰富，如直方图特征、颜色特征、模板特征、结构特征及Haar特征等，把这其中有用的信息挑出来，并利用这些特征实现人面部表情的检测。

首先提取与表情变化有密切关系的脸部器官的外部轮廓，可以根据灰阶影像、人脸边缘检测结果及人脸与背景分割结果输出人脸轮廓，然后对眼睛、两眉毛间距、鼻子、嘴巴、下巴、面颊等部位形状、大小、光亮度和相对位置的各种变化进行几何描述，作为人脸表情识别的重要特征。

准确的人脸识别***，提供了良好的图像数据技术，人脸识别算法则进一步对图像进行处理，以消除距离远近和头部姿态所带来的负面影响，表情检测过程中可使用基于Adaboost算法的人脸检测器检测人脸图像，Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器，再将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，有效地提高分类器的检测速度。

人脸表情图像预处理

输入图像由于图像采集环境的不同，如光照明暗程度以及设备性能的优劣等，往往存在有噪声、对比度不够等缺点，另外，距离远近，焦距大小等又使得人脸在整幅图像中间的大小和位置不确定，为了保证人脸图像中人脸大小、位置以及人脸图像质量的一致性，在对人脸表情特征提取之前，必须对图像进行人脸扶正、图像增强、图像归一化及图像复原等预处理，包括人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。

为提取确定表情的人脸关键部位的特征，可使用几何归一化和灰度归一化对图像进行处理。

几何归一化：同一种人脸检测算法由于受检时头部不稳定性，如旋转、位置、扭曲等，检测的人脸区域大小不尽相同，为了后续的人脸特征提取的完善性，有必要对人脸的大小、长宽比及人脸的端正性做归一化处理，使检测的人脸更适合进行特征提取，保证特征提取的有效性。

灰度归一化：不同时间的图像往往灰度不在同一个范围，这主要是由于光线不均匀性导致的，为了让不同灰度的人脸图像便于统一处理，有必要规定人脸图像的灰度级在某一个特定的范围，光线过暗或则过亮多将被归一化到这个灰度级内，即光线补偿，具体如下式:

式中M。和VARa是理想的均值和方差，通常可取城Mo=100,VARa=10,M。和VARa

是根据输入图像实际估计的均值和方差，灰度归一化的目的是减少光线不均匀性对人脸特征影响以致影响后面的表情识别率。

人脸表情图像识别、分析、判断

在图像增强，图像分割等一系列图像处理操作基础上，针对人脸的视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征，进行特征建模，提取人脸表情特征，包含使用基于知识的表征方法（包括基于几何特征的方法和模板匹配法），或基于代数特征或统计学习的表征方法来进行图像分析。

人在焦虑或生气时的表情通常为：眉头紧缩、嘴下弯、眼下弯、脸颊灰暗，人在倦怠时，眼睛会较长时间的闭上，人高兴时，眉头舒展、嘴上弯，眼上弯，容光焕发，根据这些人脸器官的形状描述以及他们之间的距离特性，可获得有助于人脸表情分类的特征数据，如特征点间的欧氏距离、曲率和角度等，决定脸上表情的特征可以通过向量来表示，将多个特征部位的特征组合起来，输出表情特征数据，与数据库中存储的用户典型表情特征模板进行搜索匹配，判断捕捉到的表情关键特征处的欧式距离与样本中典型表情特征处的欧式距离差值、几何形状的变化，当相似度超过设定的判断消极表情的阈值时，将匹配得到的结果输出，对当时的表情做出判断，从而对情绪做出评分，每次情绪评分存储于数据库中，存储捕捉的图像。

利用包含加权平均法、极大似然估计法等统计方法，对一段时间内人脸表情进行分析，得出这段时间里的表情分析结果，进而判断用户情绪是否为消极。

阶段性表情归结、友情提醒

这套***在使用前可设置每隔多少时间采集一份用户表情，如5分钟及每隔多长时间，如每隔半小时统计这个阶段内用户的表情，如果这个阶段内用户的表情经统计分析后，情绪被判断为消极，或在某个时刻采集到的表情经过分析后判定为特别生气、焦虑或倦怠，***会保存一张捕捉到的用户生气、焦虑或倦怠的图像，到了这半个小时或在那一刻，***读取预设提醒类型，按类型进入友情提醒，希望用户放松心情、调整精神状态，对用户的提示包含有：请用户保持良好心情的文字，或同时弹出采集到的一张用户生气、焦虑或倦怠的表情图片及预先采集的用户高兴时的表情图片，还可以跳出一个幽默段子，让用户笑一笑，经提示后，如果下个阶段内使用者表情被判定为平静或高兴，***可弹出包含赞赏、祝贺、鼓励的文字、图片等提示，提醒和鼓励话语及笑话内容保存在数据库里，根据表情分析结果，输出到用户界面，每隔一定时间段，如每天删除***保存的当天用户生气、焦虑或倦怠的表情图像。

这套***不仅适用于长时间使用电脑的员工，也适用于销售、服务行业员工，促进其微笑地面对客户或让客户能从电话或话语中感觉到销售、服务人员在微笑，有助于提高销售业绩，提高服务质量。

综上所述，本***的发明通过电脑摄像头采集人脸的表情图像，经过图像处理后，与预先拍摄的高兴、平静、生气、焦虑或倦怠的表情图像进行识别、对比、分析，判断用户表情是否为消极，在用户表情消极时给予友好提醒、情感帮助和鼓励。

Claims (8)

1.一种消极表情识别鼓励***，其特征在于：该***包含至少一台带有对着使用者的摄像头的电脑，并安装有一套消极表情识别鼓励程序，该程序包含至少如下步骤：

1）基本表情样本的采集；

2）定时自动启动视频；

3）人脸画面实时采集；

4）人脸表情图像预处理；

5）人脸表情图像识别、分析、判断；

6）阶段性表情归结、

7）根据表情归结结果给出友情提醒。

2.如权利要求1所述的一种消极表情识别鼓励***，其特征在于：所述的基本表情样本采集：登记使用人，拍摄使用人愉快、平静、生气、焦虑、倦怠的面部图像，确认图像，形成特征模板，并将特征数据存入数据库；其中的特征数据是根据对表情样本图像中代表表情特征的关键部位进行均方归一化的操作后使用欧式距离、曲率和角度进行度量获取的。

3.如权利要求1所述的一种消极表情识别鼓励***，其特征在于：如果员工选择使用消极表情识别鼓励***，开机时，将自动让电脑自带的或所配的摄像头开启，并启动消极表情识别鼓励***；用户如果不想继续使用这套***，可选择关闭***。

4.如权利要求1所述的一种消极表情识别鼓励***，其特征在于：人脸检测先在图像中准确标定出人脸的位置和大小，方法包括使用有人脸自动对焦技术功能的电脑摄像头，根据人的头部部位进行判定，以人脸为焦点进行自动对焦，首先确定头部，然后判断眼睛、两眉毛间距、嘴巴、面颊等头部特征，通过与特征库模板的比对，确认是曾登陆的使用者的脸，完成面部捕捉，每隔固定时段拍摄一次面部表情图像。

5.如权利要求1所述的一种消极表情识别鼓励***，其特征在于：提取人脸图像中包含的模式特征，对其进行几何描述，作为人脸表情识别的重要特征；首先提取与表情变化有密切关系的脸部器官的外部轮廓，可以根据灰阶影像、人脸边缘检测结果及人脸与背景分割结果输出人脸轮廓，然后使用基于Adaboost算法的人脸检测器检测人脸图像，进一步对图像进行处理。

6.如权利要求1所述的一种消极表情识别鼓励***，其特征在于：在对人脸表情特征提取之前，对图像进行人脸扶正、图像增强、图像归一化及图像复原等预处理，使用几何归一化和灰度归一化对图像进行处理以提取确定表情的人脸关键部位的特征。

7.如权利要求1所述的一种消极表情识别鼓励***，其特征在于：

1）针对人脸的视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征，进行特征建模，提取人脸表情特征，可用包含基于知识的表征方法（包括基于几何特征的方法和模板匹配法），或基于代数特征或统计学习的表征方法来进行图像分析；

2）人在焦虑或生气时的表情通常为：眉头紧缩、嘴下弯、眼下弯、脸颊灰暗，人在倦怠时，眼睛会较长时间的闭上，人高兴时，眉头舒展、嘴上弯，眼上弯，容光焕发，根据这些人脸器官的形状描述以及它们之间的距离特性，可获得有助于人脸表情分类的特征数据，如特征点间的欧氏距离、曲率和角度变化等，决定脸上表情的特征可以通过向量来表示，将多个特征部位的特征组合起来，输出表情特征数据；

3）将捕捉到的表情特征与表情特征模板进行比较，当相似度超过设定的判断消极表情的阈值时，将匹配得到的结果输出，对当时的表情做出判断，从而对情绪做出评分，每次情绪评分存储于数据库中，存储捕捉的图像；

4）利用包含加权平均法、极大似然估计法等统计方法，对一段时间内人脸表情进行分析，得出这段时间里的表情分析结果，进而判断用户情绪是否为消极。

8.如权利要求1所述的一种消极表情识别鼓励***，其特征在于：每隔半小时统计这个阶段内用户的情绪评分，如果这个阶段内用户的情绪经统计分析后，判断为消极，或在某个时刻采集到的表情经分析后，判断为特别生气、焦虑和倦怠，***会保存一张捕捉到的用户生气、焦虑和倦怠的图像，到了这半个小时或在那一刻，***读取预设提醒类型，按类型进入友好提示，提示包含：弹出友好的文字提醒,弹出用户高兴时和焦虑时的照片作对比或播放幽默段子，提醒用户放松心情，经提示后，如果下个阶段内使用者表情被判定为平静或高兴，***可弹出包含赞赏、祝贺、鼓励的文字、图片等提示，每天删除一天中存档的捕捉到的用户消极的表情图像。