CN108427916A - 一种用于客服坐席情绪的监控***及监控方法 - Google Patents

Abstract

本发明涉及信号处理的技术领域，公开了一种用于客服坐席情绪的监控***，包括与处理器相连的面部情绪监控模块、语音情绪监控模块、逻辑比较模块、输入模块，逻辑比较模块还与报警模块相连，输入模块用于输入一种或者多种待监控情绪类型的语音情绪值和面部情绪值，面部情绪监控模块用于通过对客服坐席的面部视频进行分析，输出客服坐席的不同类型的面部情绪值，语音情绪监控模块用于通过对客服坐席的语音进行分析，输出客服坐席的不同类型的语音情绪值，逻辑比较模块用于识别客服坐席与多种不同类型的面部情绪值、语音情绪值的对应关系，通过与待监控情绪类型的语音情绪值和面部情绪值做比较，输出报警信息，报警模块用于接收报警信息，发出报警。

Description

一种用于客服坐席情绪的监控***及监控方法

技术领域

本发明涉及信号处理的技术领域，具体涉及一种用于客服坐席情绪的监控***及监控方法。

背景技术

对人员情绪状态的评价具有很高的应用价值，特别是对于客服坐席人员、酒店服务人员，长时间的、枯燥的、高强度的任务会使相关人员面临严酷的生理以及心理考验，引发一些负面的情绪。探讨负面情绪对于人类认知活动的作用机制和影响因素，研究提高个体认知和工作效率的方法、避免影响认知和工作能力的因素，具有重大的实际意义。

一般情况下，语音的情绪相关性的表示形式可以通过说话人模型或者声学模型来实现。已有的研究成果表明，针对情绪识别所采用的特征大多是韵律特征，也就是超音段特征，如基音、强度、持续时间、以及它们的衍生参数。人脸作为信息传递最直接的媒介，扮演着极为重要的角色，我们可以通过眼睛直接获得人脸信息再通过大脑可以分析感知人脸情绪。但是长时间进行这种观察分析工作，人们很容易就陷入疲劳从而造成分析的准确率大大下降。

因此，如何实时对客服坐席等的面部情绪和语音情绪进行监控，为我们的决策提供支持，将会成为亟待解决的问题。

发明内容

本发明提供了一种用于客服坐席情绪的监控***及监控方法，通过对面部情绪和语音情绪的双重监控，提高客服坐席的业务水平，为管理者的决策提供支持。

本发明可通过以下技术方案实现：

一种用于客服坐席情绪的监控***，包括与处理器相连的面部情绪监控模块、语音情绪监控模块、逻辑比较模块、输入模块，所述逻辑比较模块还与报警模块相连，所述输入模块用于输入一种或者多种待监控情绪类型的语音情绪值和面部情绪值，所述面部情绪监控模块用于通过对客服坐席的面部视频进行分析，输出客服坐席的不同类型的面部情绪值，所述语音情绪监控模块用于通过对客服坐席的语音进行分析，输出客服坐席的不同类型的语音情绪值，所述逻辑比较模块用于识别客服坐席与多种不同类型的面部情绪值、语音情绪值的对应关系，通过与待监控情绪类型的语音情绪值和面部情绪值做比较，输出报警信息，所述报警模块用于接收报警信息，发出报警。

进一步，所述面部情绪监控模块包括与客服坐席一一对应的摄像头、人脸识别模块，所述摄像头用于获取对应的客服坐席的面部视频，每个客服坐席的面部视频均设置有与其对应的唯一识别码，所述人脸识别模块用于对客服坐席的面部视频进行分析，输出不同类型的面部情绪值，每种类型的面部情绪值均带有客服坐席的面部视频的唯一识别码。

进一步，所述语音情绪监控模块包括与客服坐席一一对应的麦克风、梅尔倒谱系数MFCC提取模块、语音情绪训练识别模块，所述麦克风用于获取对应的客服坐席的语音信息，每个客服坐席的语音信息均设置有与其对应的唯一识别码，所述梅尔倒谱系数MFCC提取模块用于对客服坐席的语音信息进行预处理，提取梅尔倒谱系数MFCC，所述语音情绪训练识别模块用于将客服坐席的梅尔倒谱系数MFCC与不同类型的语音情绪训练模板进行匹配，识别出其对应的语音情绪值，每种类型的语音情绪值均带有客服坐席的语音信息的唯一识别码。

进一步，每个客服坐席的面部视频的唯一识别码与语音信息的唯一识别码相同。

进一步，所述逻辑比较模块包括识别模块和比较模块，所述识别模块用于根据唯一识别码，辨别客服坐席与其对应的面部情绪值、语音情绪值，所述比较模块用于根据唯一识别码，将其对应的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值对应比较，输出不同等级的报警信息。

进一步，所述不同等级的报警信息包括一级报警信息，代表客服坐席的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值均一致；二级报警信息，代表代表客服坐席的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值的其中一个一致。

进一步，还包括定时模块和显示模块，所述定时模块用于设定面部情绪监控模块、语音情绪监控模块的工作周期，所述显示模块用于显示各个客服坐席对应的报警信息。

进一步，所述报警模块包括与客服坐席一一对应的报警器。

一种基于上文所述的用于客服坐席情绪的监控***的监控方法，包括：

步骤一、通过输入模块设定一种或者多种待监控情绪类型的面部情绪值、语音情绪值；

步骤二、启动面部情绪监控模块、语音情绪监控模块，输出带有与客服坐席一一对应的唯一识别码的面部情绪值、语音情绪值；

步骤三、利用逻辑比较模块，根据唯一识别码，辨别客服坐席与其对应的面部情绪值、语音情绪值，将其与待监控情绪类型的语音情绪值、面部情绪值对应比较，输出不同等级的报警信息，并将所述报警信息传送到对应的报警模块进行报警；

步骤四、将各个客服坐席的不同等级的报警信息在显示模块上显示出来；

步骤五、利用定时模块判断面部情绪监控模块、语音情绪监控模块的工作周期，重复执行步骤二至四。

本发明有益的技术效果在于：

利用谷歌设计的人脸识别模块，能够快速准确的识别出客服坐席的面部情绪值，借助梅尔倒谱系数MFCC提取模块、语音情绪训练识别模块，能够方便识别出客服坐席的语音情绪值，再通过逻辑比较模块可以输出不同等级的报警信息给报警模块进行报警，并且还可以将各个客服坐席的不同等级的报警信息显示出来，实时地监控客服坐席的工作状态，为管理者更好地监督管理客服坐席提供有力的数据参考，同时，每个客服坐席也可以根据报警提示，及时修正和控制自己的情绪，提高自己的业务能力，从而为客户提供更好更专利的服务，另外，整个监控装置和方法，结构简单，操作方便，便于推广和应用。

附图说明

图1为本发明的电路连接框图；

图2为本发明的总体流程图。

具体实施方式

下面结合附图及较佳实施例详细说明本发明的具体实施方式。

如图1所示，本发明提供了一种用于客服坐席情绪的监控***，包括与处理器相连的面部情绪监控模块、语音情绪监控模块、逻辑比较模块、输入模块，该逻辑比较模块还与报警模块相连，该输入模块用于输入一种或者多种待监控情绪类型的语音情绪值和面部情绪值，该面部情绪监控模块用于通过对客服坐席的面部视频进行分析，输出客服坐席的不同类型的面部情绪值，该语音情绪监控模块用于通过对客服坐席的语音进行分析，输出客服坐席的不同类型的语音情绪值，该逻辑比较模块用于识别客服坐席与多种不同类型的面部情绪值、语音情绪值的对应关系，通过与待监控情绪类型的语音情绪值和面部情绪值做比较，输出报警信息，该报警模块用于接收报警信息，发出报警。

该不同类型的面部情绪值、语音情绪值优选包括开心、悲伤、生气、疑惑情绪的情绪值。

该面部情绪监控模块包括与客服坐席一一对应的摄像头、人脸识别模块，该摄像头用于获取对应的客服坐席的面部视频，每个客服坐席的面部视频均设置有与其对应的唯一识别码，该人脸识别模块用于对客服坐席的面部视频进行分析，输出不同类型的面部情绪值，每种类型的面部情绪值均带有客服坐席的面部视频的唯一识别码。

该人脸识别模块采用谷歌设计的云端图像识别应用程序编程接口API，该API已经搭载了像TensorFlow这样的机器学习平台，可以帮助由开发者所开发的应用程序高效地学习和预测图像的内容。它不仅可以快速地将图片分为数千种类别，例如：“船”、“狮子”、“艾菲尔铁塔”，而且能够识别图片中人脸的情感，通过检测图像中是否存在人脸，以及相关的面部特征，如眼睛、鼻子和嘴巴的位置，该API可提供分析八种情绪，如开心、悲伤、生气、疑惑等的可能性。

该语音情绪监控模块包括与客服坐席一一对应的麦克风、梅尔倒谱系数MFCC提取模块、语音情绪训练识别模块，该麦克风用于获取对应的客服坐席的语音信息，每个客服坐席的语音信息均设置有与其对应的唯一识别码，该梅尔倒谱系数MFCC提取模块用于对客服坐席的语音信息进行预处理，提取梅尔倒谱系数MFCC，该语音情绪训练识别模块用于将客服坐席的梅尔倒谱系数MFCC与不同类型的语音情绪训练模板进行匹配，识别出其对应的语音情绪值，每种类型的语音情绪值均带有客服坐席的语音信息的唯一识别码。

每个客服坐席的面部视频的唯一识别码与语音信息的唯一识别码相同，均可设置为客服坐席的身份证号码等。

该逻辑比较模块包括识别模块和比较模块，该识别模块用于根据唯一识别码，辨别客服坐席与其对应的面部情绪值、语音情绪值，该比较模块用于根据唯一识别码，将其对应的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值对应比较，输出不同等级的报警信息。

该不同等级的报警信息包括一级报警信息，代表客服坐席的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值均一致；二级报警信息，代表代表客服坐席的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值的其中一个一致。

本发明的监控***还包括定时模块和显示模块，该定时模块用于设定面部情绪监控模块、语音情绪监控模块的工作周期，该显示模块用于显示各个客服坐席对应的报警信息，以方便领导人员的巡查，及时掌握全部客服坐席人员的情绪信息。

该报警模块包括与客服坐席一一对应的报警器，该报警器也可以利用耳麦来执行，只要每个客服坐席都佩戴耳麦，不仅可以利用耳麦与客户进行沟通交流，也可以接收处理器下发的报警信息进行报警，可以采用语音提示和/或振动提示的方式向客服坐席进行报警，但是要注意控制音量，以免干扰他人工作。

如图2所示，本发明还提供了一种基于上文所述的用于客服坐席情绪的监控***的监控方法，包括：

步骤一、通过输入模块设定一种或者多种待监控情绪类型的面部情绪值、语音情绪值，如开心、悲伤、生气、疑惑情绪的情绪值或者其中一个。

步骤二、启动面部情绪监控模块、语音情绪监控模块，输出带有与客服坐席一一对应的唯一识别码的面部情绪值、语音情绪值，具体如下：

STEP1、启动每个客服坐席对应的摄像头和麦克风，进行对应的面部视频和语音信息采集；

STEP2、对每个客服坐席的语音信息进行梅尔倒谱系数MFCC提取，再通过语音情绪训练，识别出带有对应的唯一识别码的不同类型的语音情绪值；对每个客服坐席的面部视频进行分析，输出带有对应的唯一识别码的不同类型的面部情绪值。

梅尔倒谱系数MFCC的提取过程如下：

a)使用汉明窗对语音信息进行分帧，确定每一帧语音信息的长度为256，步长为128，即相邻两帧之间有半帧重叠。Matlab中的分帧函数为f＝enframe(x，hamming(256)，128)；

b)离散功率谱计算：对预处理的每帧进行离散快速傅里叶转换FFT得到其频谱，再取模的平方，计算得出离散功率S(n)谱的能量分布；

c)计算S(n)乘以M个三角带通滤波器，得到M个参数Pm，m＝0,1,2，...M-1；

d)计算Pm的自然对数，得到Lm，m＝0,1,2，...M-1；

e)对Lm计算其离散余弦变换，得到Dm，m＝0,1,……M-1，舍去代表直流成份的D0，取D1，D2，……，Dk作为MFCC参数。

通过语音情绪训练，识别出带有对应的唯一识别码的不同类型的语音情绪值的过程如下：

a)读取语音训练模块的语音信息，包括开心、悲伤、生气、疑惑等情绪的语音情绪训练模块，分别进行端点检测和梅尔倒谱系数MFCC参数的计算，然后以mat文件保存文件名、起始端点及梅尔倒谱系数MFCC参数，最终得到的mfcc.mat文件即为训练模板；

b)读取每个客服坐席的语音信息包括唯一识别码，分别进行端点检测和梅尔倒谱系数MFCC参数的计算，然后通过支持向量SVM分类机对每个客服坐席的语音信息提取梅尔倒谱系数MFCC参数与训练模板中保存的梅尔倒谱系数MFCC参数匹配程度，选取匹配程度最高的特征参数所对应的文件描述的情绪状态作为语音情绪值的输出结果，每个语音情绪值均带有对应语音信息的唯一识别码。

面部视频的分析主要是采用谷歌设计的云端图像识别应用程序编程接口API中的人脸识别模块,识别出面部情绪值，同样该面部情绪值也带有对应面部视频的唯一识别码。

步骤三、利用逻辑比较模块，根据唯一识别码，辨别客服坐席与其对应的面部情绪值、语音情绪值，将其与待监控情绪类型的语音情绪值、面部情绪值对应比较，输出不同等级的报警信息，并将报警信息传送到对应的报警模块进行报警。

首先，根据唯一识别码，对接收到面部情绪值、语音情绪值进行归；其次，将归类好的面部情绪值、语音情绪值与待监控的面部情绪值、语音情绪值进行比较，若仅有一个一致，则发出二级报警信息，若两个都一致，则发出一级报警信息，若都不一致，则不发报警信息；最后，根据唯一识别码，将不同等级的报警信息发送给对应的报警模块，各个报警模块根据接收报警信息的等级进行报警。

步骤四、将各个客服坐席的不同等级的报警信息在显示模块上显示出来；

步骤五、利用定时模块判断面部情绪监控模块、语音情绪监控模块的工作周期，重复执行步骤二至四。

本发明利用谷歌设计的人脸识别模块，能够快速准确的识别出客服坐席的面部情绪值，借助梅尔倒谱系数MFCC提取模块、语音情绪训练识别模块，能够方便识别出客服坐席的语音情绪值，再通过逻辑比较模块可以输出不同等级的报警信息给报警模块进行报警，并且还可以将各个客服坐席的不同等级的报警信息显示出来，实时地监控客服坐席的工作状态，为管理者更好地监督管理客服坐席提供有力的数据参考，同时，每个客服坐席也可以根据报警提示，及时修正和控制自己的情绪，提高自己的业务能力，从而为客户提供更好更专利的服务，另外，整个监控装置和方法，结构简单，操作方便，便于推广和应用。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (9)

1.一种用于客服坐席情绪的监控***，其特征在于：包括与处理器相连的面部情绪监控模块、语音情绪监控模块、逻辑比较模块、输入模块，所述逻辑比较模块还与报警模块相连，所述输入模块用于输入一种或者多种待监控情绪类型的语音情绪值和面部情绪值，所述面部情绪监控模块用于通过对客服坐席的面部视频进行分析，输出客服坐席的不同类型的面部情绪值，所述语音情绪监控模块用于通过对客服坐席的语音进行分析，输出客服坐席的不同类型的语音情绪值，所述逻辑比较模块用于识别客服坐席与多种不同类型的面部情绪值、语音情绪值的对应关系，通过与待监控情绪类型的语音情绪值和面部情绪值做比较，输出报警信息，所述报警模块用于接收报警信息，发出报警。

2.根据权利要求1所述的用于客服坐席情绪的监控***，其特征在于：所述面部情绪监控模块包括与客服坐席一一对应的摄像头、人脸识别模块，所述摄像头用于获取对应的客服坐席的面部视频，每个客服坐席的面部视频均设置有与其对应的唯一识别码，所述人脸识别模块用于对客服坐席的面部视频进行分析，输出不同类型的面部情绪值，每种类型的面部情绪值均带有客服坐席的面部视频的唯一识别码。

3.根据权利要求1所述的用于客服坐席情绪的监控***，其特征在于：所述语音情绪监控模块包括与客服坐席一一对应的麦克风、梅尔倒谱系数MFCC提取模块、语音情绪训练识别模块，所述麦克风用于获取对应的客服坐席的语音信息，每个客服坐席的语音信息均设置有与其对应的唯一识别码，所述梅尔倒谱系数MFCC提取模块用于对客服坐席的语音信息进行预处理，提取梅尔倒谱系数MFCC，所述语音情绪训练识别模块用于将客服坐席的梅尔倒谱系数MFCC与不同类型的语音情绪训练模板进行匹配，识别出其对应的语音情绪值，每种类型的语音情绪值均带有客服坐席的语音信息的唯一识别码。

4.根据权利要求2或3所述的用于客服坐席情绪的监控***，其特征在于：每个客服坐席的面部视频的唯一识别码与语音信息的唯一识别码相同。

5.根据权利要求4所述的用于客服坐席情绪的监控***，其特征在于：所述逻辑比较模块包括识别模块和比较模块，所述识别模块用于根据唯一识别码，辨别客服坐席与其对应的面部情绪值、语音情绪值，所述比较模块用于根据唯一识别码，将其对应的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值对应比较，输出不同等级的报警信息。

6.根据权利要求5所述的用于客服坐席情绪的监控***，其特征在于：所述不同等级的报警信息包括一级报警信息，代表客服坐席的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值均一致；二级报警信息，代表代表客服坐席的面部情绪值、语音情绪值与待监控情绪类型的语音情绪值、面部情绪值的其中一个一致。

7.根据权利要求1所述的用于客服坐席情绪的监控***，其特征在于：还包括定时模块和显示模块，所述定时模块用于设定面部情绪监控模块、语音情绪监控模块的工作周期，所述显示模块用于显示各个客服坐席对应的报警信息。

8.根据权利要求1所述的用于客服坐席情绪的监控***，其特征在于：所述报警模块包括与客服坐席一一对应的报警器。

9.一种基于权利要求1所述的用于客服坐席情绪的监控***的监控方法，其特征在于包括：

步骤一、通过输入模块设定一种或者多种待监控情绪类型的面部情绪值、语音情绪值；

步骤二、启动面部情绪监控模块、语音情绪监控模块，输出带有与客服坐席一一对应的唯一识别码的面部情绪值、语音情绪值；

步骤三、利用逻辑比较模块，根据唯一识别码，辨别客服坐席与其对应的面部情绪值、语音情绪值，将其与待监控情绪类型的语音情绪值、面部情绪值对应比较，输出不同等级的报警信息，并将所述报警信息传送到对应的报警模块进行报警；

步骤四、将各个客服坐席的不同等级的报警信息在显示模块上显示出来；

步骤五、利用定时模块判断面部情绪监控模块、语音情绪监控模块的工作周期，重复执行步骤二至四。