CN109919001A - 基于情绪识别的客服监测方法、装置、设备和存储介质 - Google Patents
基于情绪识别的客服监测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN109919001A CN109919001A CN201910061884.4A CN201910061884A CN109919001A CN 109919001 A CN109919001 A CN 109919001A CN 201910061884 A CN201910061884 A CN 201910061884A CN 109919001 A CN109919001 A CN 109919001A
- Authority
- CN
- China
- Prior art keywords
- facial image
- expression
- emotion identification
- result
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及微表情识别技术领域，尤其涉及一种基于情绪识别的客服监测方法、装置、设备和存储介质，包括：获取待检测的人脸图像，对所述人脸图像进行预处理；将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果；根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果；根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。本申请通过实时监控客服人员的情绪，提供一些缓解情绪的方法，提高了客服人员的服务质量，增加了用户的满意度。
Description
技术领域
本申请涉及微表情识别技术领域，尤其涉及一种基于情绪识别的客服监测方法、装置、设备和存储介质。
背景技术
客户服务，主要体现了一种以客户满意为导向的价值观，广义而言，任何能提高客户满意度的内容都属于客户服务的范围。客服基本可分为人工客服和电子客服，其中人工客服又可细分为文字客服、视频客服和语音客服三类。文字客服是指主要以打字聊天的形式进行的客户服务；视频客服是指主要以语音视频的形式进行客户服务；语音客服是指主要以移动电话的形式进行的客服服务。
目前客户服务业务比较普遍，然而，在进行客户服务的过程中，对客服人员的情绪监控的措施基本没有，领导只是通过满意度调查、评分机制来评估一个客服人员的工作态度；客服人员在聊天过程中，自己不能够及时发现自己的情绪波动，领导也不知道，导致用户对客服的满意度大大降低。
发明内容
有鉴于此，有必要针对现有技术中对客服人员的情绪监控的措施基本没有，领导只是通过满意度调查、评分机制来评估一个客服人员的工作态度的问题，提供一种基于情绪识别的客服监测方法、装置、设备和存储介质。
一种基于情绪识别的客服监测方法，包括如下步骤：
获取待检测的人脸图像，对所述人脸图像进行预处理；
将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果；
根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果；
根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。
在其中一个可能的实施例中，所述获取待检测的人脸图像，对所述人脸图像进行预处理，包括：
通过监控设备获取待检测人员的视频数据，从所述视频数据中提取包含所述待检测人员的脸部的图像，得到所述人脸图像；
对所述人脸图像进行灰度转换，再对灰度转换后的所述人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；
再对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
在其中一个可能的实施例中，所述将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果，包括：
将分割并标记后的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中；
对标记的部位一一进行计算，综合所有部位的计算结果，得到所述人脸图像在所述基于卷积神经网络的表情分类模型中的每一类表情下的得分；
将所述人脸图像的每一类表情的得分按照分数从高到低进行排序，将得分排在前若干名的表情及对应分数作为所述人脸图像的表情识别结果。
在其中一个可能的实施例中，所述根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果，包括：
将所述表情识别结果输入到情绪识别模型中，分别计算所述表情识别结果中的每一类表情对应的所有的情绪的分值；
将相同情绪的分值进行求和运算，分数最高的情绪则为所述人脸图像对应的情绪识别结果。
在其中一个可能的实施例中，所述根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息，包括：
获取所述情绪识别结果；
调取预设的情绪识别结果与提示消息的对应关系表；
在所述对照关系表中，对所述情绪识别结果进行关键字查询，获得与所述情绪识别结果对应的提示消息；
将所述提示消息发送给客服人员。
在其中一个可能的实施例中，所述将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果，还包括对所述基于卷积神经网络的表情分类模型进行训练的过程，具体包括：
采集公开的包含各种表情的若干人脸图像，将若干所述人脸图像的尺寸调整至预设的尺寸，并转换为灰度图像，由灰度图像转换为像素矩阵X＝[xij]M×N，其中，xij表示图像的第i行第j列的像素值，M为图像的高(以像素为单位)，N为图像的宽(以像素为单位)；
对所有灰度图像的像素矩阵进行去均值处理，其计算式为：
将经过去均值处理后的所述人脸图像输入到卷积神经网络模型中进行训练，得到所述基于卷积神经网络的表情分类模型。
在其中一个可能的实施例中，所述将经过去均值处理后的所述人脸图像输入到卷积神经网络模型中进行训练，得到基于卷积神经网络的表情分类模型，包括：
对输入卷积层的灰度图像的像素矩阵进行卷积计算，计算式为：
其中，表示第l层网络的第j个输出表情图，l为网络层的索引，j为输出表情图的索引，i为输入表情图的索引，Nin为输入表情图的个数，表示第l层网络的第i个输入表情图对应的卷积核，为偏置。
一种基于情绪识别的客服监测装置，包括如下模块：
图像获取模块，设置为获取待检测的人脸图像，对所述人脸图像进行预处理；
表情识别模块，设置为将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果；
情绪识别模块，设置为根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果；
结果处理模块，设置为根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。
基于相同的构思，本申请提出了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述基于情绪识别的客服监测方法的步骤。
基于相同的构思，本申请提出了一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行上述基于情绪识别的客服监测方法的步骤。
上述基于情绪识别的客服监测方法、装置、设备和存储介质，包括：获取待检测的人脸图像，对所述人脸图像进行预处理；将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果；根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果；根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。本技术方案可以实时监控客服人员的情绪，并提供一些缓解情绪的方法，提高了客服人员服务的质量，同时，增加了用户的满意度，管理层面可以实时关注客服人员的情绪变化，对管理工作也起到了一定的辅助作用。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本申请在一个实施例中的一种基于情绪识别的客服监测方法的整体流程图；
图2为本申请在一个实施例中的一种基于情绪识别的客服监测方法中的表情识别过程的示意图；
图3为本申请在一个实施例中的一种基于情绪识别的客服监测方法中的情绪识别过程的示意图；
图4为本申请在一个实施例中的一种基于情绪识别的客服监测装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本发明的一种基于情绪识别的客服监测方法的整体流程图，如图所示，一种基于情绪识别的客服监测方法，包括以下步骤：
步骤S1，获取待检测的人脸图像，对所述人脸图像进行预处理。
上述步骤执行时，获取待检测的人脸图像可以通过监控设备获取客服人员人员的视频数据，从所述视频数据中实时提取包含所述待检测人员的脸部的图像，得到所述人脸图像；也可以通过摄像设备实时抓拍客服人员在客户服务进行过程中的图像，再从图像中提取脸部图像，或者通过摄像设备直接拍摄获取客服人员的脸部图像。具体的，监控设备和摄像设备可以设置在客服人员的前方，包括正前方、斜前方、上前方和下前方等。比如，设置在客服人员使用的计算机设备上。
其中，对所述人脸图像进行预处理包括图像颜色的处理、图像尺寸的调整和图像旋转、图像翻转、图像降噪等处理。其中，图像颜色的处理具体包括对所述人脸图像进行灰度转换，使人脸图像转化为灰度图像。图像尺寸的调整包括对人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸。其中，所述预设的尺寸为根据历史数据设置的使后续处理能够达到较佳效果的尺寸。
其中，对所述人脸图像进行预处理，还包括将所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。其中，预设的人脸部位规则是预先设置的一种分割规则，比如，将人脸的眼睛、嘴唇、下颌等部位分割出来；然后对分割出来的部分进行标记，比如，分割出来的眼睛标记为a，嘴唇标记为b，下颌标记为c。
步骤S2，将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果。
上述步骤执行时，所述人脸图像经过图像颜色、图像尺寸、图像旋转、图像翻转、图像降噪、图像分割、标记等处理后，将其入参到训练好的基于卷积神经网络的表情分类模型中进行处理，输出所述人脸图像的表情识别结果。其中，入参到训练好的基于卷积神经网络的表情分类模型中进行处理，包括：对标记的部位一一进行计算，综合所有部位的计算结果，得到所述人脸图像在所述基于卷积神经网络的表情分类模型中的每一类表情下的得分；再将所述人脸图像的每一类表情的得分按照分数从高到低进行排序，将得分排在前若干名的表情及对应分数作为所述人脸图像的表情识别结果。
步骤S3，根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果。
上述步骤执行时，在输出表情识别结果后，将所述表情识别结果输入到情绪识别模型中，分别计算所述表情识别结果中的每一类表情对应的所有的情绪的分值；将相同情绪的分值进行求和运算，分数最高的情绪则为所述人脸图像对应的情绪识别结果。
步骤S4，根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。
上述步骤执行时，首先，获取所述情绪识别结果，再调取预设的情绪识别结果与提示消息的对应关系表，在所述对照关系表中，对所述情绪识别结果进行关键字查询，获得与所述情绪识别结果对应的提示消息，后将所述提示消息发送给客服人员。
其中，根据情绪的不同，提示消息包括与关怀相关的提示消息、与赞美相关的提示消息、与鼓励相关的提示消息等等。
具体的，若所述情绪识别结果为愤怒或者生气，则发送与关怀相关的提示消息；若所述情绪识别结果为高兴或者兴奋，则发送与赞美相关的提示消息；若所述情绪识别结果为中性，则发送与鼓励相关的提示消息。
本实施例，可以实时监控客服人员的情绪，根据情绪发送对应的提示消息起到缓解客服人员的情绪的作用，提高了客服人员的服务质量，同时，增加了用户的满意度，管理层面可以实时关注客服人员的情绪变化，对管理工作也起到了一定的辅助作用。
在一个实施例中，所述步骤S1，获取待检测的人脸图像，对所述人脸图像进行预处理，包括以下步骤：
通过监控设备获取待检测人员的视频数据，从所述视频数据中提取包含所述待检测人员的脸部的图像，得到所述人脸图像；
上述步骤执行时，从所述视频数据中提取视频关键帧数据，从所述视频关键帧数据中获取每一帧中的包含所述待检测人员的脸部的图像。具体的，可以设置一个执行周期，按照所述执行周期对所述视频数据进行抽帧，即按照预定的时间间隔进行抽帧。抽帧工具可以采用ffmpeg，借助该工具可以设定抽帧时间，将视频数据作为入参，得到出参为符合要求的图片。
对所述人脸图像进行灰度转换，再对灰度转换后的所述人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；
再对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
上述步骤执行时，预设的人脸部位规则是预先设置的一种分割规则，比如，将人脸图像中的眼睛、嘴唇、下颌等部位对应的部分图像分割出来；然后对分割出来的部分图像进行标记，比如，分割出来的眼睛对应的部分图像标记为a，可命名为眼睛a，嘴唇对应的部分图像标记为b，可命名为嘴唇b，下颌对应的部分图像标记为c，可命名为下颌c。
本实施例，通过灵活设置抽帧的时间间隔，可以达到不同的监测效果和要求，通过对人脸图像进行预处理，使后续的操作更加准确高效。
在一个实施例中，图2为本申请在一个实施例中的一种基于情绪识别的客服监测方法中的表情识别过程的示意图，如图2所示，所述步骤S2，将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果，包括以下步骤：
步骤S201，将分割并标记后的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中；
步骤S202，对标记的部位一一进行计算，综合所有部位的计算结果，得到所述人脸图像在所述基于卷积神经网络的表情分类模型中的每一类表情下的得分；
其中，基于卷积神经网络的表情分类模型中包括54种人脸面部表情的类型，相当于把人的面部表情分成了54种，比如：喜笑颜开、含情脉脉等。将分割并标记后的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中，先分别计算每个被标记的部位分别在54种面部表情中的得分，再综合所有部位的计算结果。比如，眼睛a在面部表情“喜笑颜开”中的得分为20％，嘴唇b在面部表情“喜笑颜开”中的得分为30％，下颌c在面部表情“喜笑颜开”中的得分为50％；根据眼睛、嘴唇、下颌在面部表情判断中被赋予的权重计算人脸图像在表情“喜笑颜开”中的得分M，比如，眼睛a被赋予的权重为P1、嘴唇b被赋予的权重为P2、下颌c被赋予的权重为P3，则所述人脸图像在面部表情“喜笑颜开”中的得分为M＝20％*P1+30％*P2+50％*P3。以此类推，可计算获得所述人脸图像在54种面部表情中的任一种面部表情下的得分。比如，计算出所述人脸图像在面部表情“喜笑颜开”的得分为15％，而在面部表情“含情脉脉”的得分为30％，以此类推，得到所述人脸图像在其他所有类型的面部表情中的得分。
步骤S203，将所述人脸图像的每一类表情的得分按照分数从高到低进行排序，将得分排在前若干名的表情及对应分数作为所述人脸图像的表情识别结果。
在一种较佳的实施例中，将所述人脸图像的每一类表情的得分按照分数从高到低进行排序，将得分排在前五位的表情及对应得分作为所述人脸图像的表情识别结果输出。
本实施例，通过对人脸图像按照部位进行分割、标记，并赋予每个被标记人脸部位权重，提高了表情识别的效果。
在一个实施例中，图3为本申请在一个实施例中的一种基于情绪识别的客服监测方法中的情绪识别过程的示意图，如图3所示，所述步骤S3，根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果，包括以下步骤：
步骤S301，将所述表情识别结果输入到情绪识别模型中，分别计算所述表情识别结果中的每一类表情对应的所有的情绪的分值；
步骤S302，将相同情绪的分值进行求和运算，分数最高的情绪则为所述人脸图像对应的情绪识别结果。
在一个较佳的实施例中，按上述步骤执行时，将得分排在前五位的表情对应的表情识别结果作为入参输入至情绪识别模型中，其中所述情绪识别模型为预先训练的，其包括七种情绪，还包括54种表情中每种表情对应七种情绪的分值，比如，表情“喜笑颜开”对应情绪“高兴”的分值为M1，而对应情绪“愤怒”的分值为M2，对应其他五种情绪的分值分别为M3、M4、M5、M6、M7；表情“含情脉脉”对应情绪“高兴”的分值为N1。以此类推，将其他四种表情对应的七种情绪的分值分别调取出来。计算每种情绪的分值，比如情绪“高兴”对应表情“喜笑颜开”的得分为：情绪“高兴”的分值M1乘以“喜笑颜开”的得分M，再计算情绪“高兴”对应其他四种表情的得分，将情绪“高兴”对应五种表情的得分相加，则得出情绪“高兴”的总分数。以此类推，计算其他六种情绪的总分数。总分数最高的情绪则为所述人脸图像对应的情绪识别结果。
在一个实施例中，所述步骤S4，根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息，包括：
获取所述情绪识别结果；
调取预设的情绪识别结果与提示消息的对应关系表；
在所述对照关系表中，对所述情绪识别结果进行关键字查询，获得与所述情绪识别结果对应的提示消息；
将所述提示消息发送给客服人员。
上述步骤执行时，当检测出当前客服人员的情绪，根据预设的情绪识别结果与提示消息的对应关系，向客服人员发送对应的提示消息，实时给予客服人员提醒。
具体的，比如，检测到客服人员在谈话过程中，情绪表现为愤怒，即可马上发送提示消息并在页面上显示：亲爱的XX，目前检测到您的情绪不太好，请控制下您的情绪，也可以适当的休息一下。通过这种温馨的语句，以及等通话结束后推荐一个小故事，一段音乐来缓解客服人员的情绪，促使他的情绪得到控制，保持一个稳定的、愉悦的心情，这样才能保证下一通电话的质量。
本实施例，根据检测到的情绪发送对应的提示消息起到缓解客服人员的情绪的作用，提高了客服人员的服务质量，同时，增加了用户的满意度。
在一个实施例中，所述将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果，还包括对所述基于卷积神经网络的表情分类模型进行训练的过程，具体包括：
采集公开的包含各种表情的若干人脸图像，将若干所述人脸图像的尺寸调整至预设的尺寸，并转换为灰度图像，由灰度图像转换为像素矩阵X＝[xij]M×N，其中，xij表示图像的第i行第j列的像素值，M为图像的高(以像素为单位)，N为图像的宽(以像素为单位)；
对所有灰度图像的像素矩阵进行去均值处理，其计算式为：
将经过去均值处理后的所述人脸图像输入到卷积神经网络模型中进行训练，得到所述基于卷积神经网络的表情分类模型。
在一个实施例中，所述将经过去均值处理后的所述人脸图像输入到卷积神经网络模型中进行训练，得到基于卷积神经网络的表情分类模型，包括：
对输入卷积层的灰度图像的像素矩阵进行卷积计算，计算式为：
其中，表示第l层网络的第j个输出表情图，l为网络层的索引，j为输出表情图的索引，i为输入表情图的索引，Nin为输入表情图的个数，表示第l层网络的第i个输入表情图对应的卷积核，为偏置。
在一个实施例中，提出一种基于情绪识别的客服监测装置，如图4所示，包括图像获取模块、表情识别模块、情绪识别模块、结果处理模块，具体的：
图像获取模块，设置为获取待检测的人脸图像，对所述人脸图像进行预处理；
表情识别模块，设置为将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果；
情绪识别模块，设置为根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果；
结果处理模块，设置为根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。
在一个实施例中，提出一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述各实施例中所述的基于情绪识别的客服监测方法的步骤。
在一个实施例中，提出一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述的基于情绪识别的客服监测方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于情绪识别的客服监测方法，其特征在于，包括：
获取待检测的人脸图像，对所述人脸图像进行预处理；
将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果；
根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果；
根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。
2.如权利要求1所述的基于情绪识别的客服监测方法，其特征在于，所述获取待检测的人脸图像，对所述人脸图像进行预处理，包括：
通过监控设备获取待检测人员的视频数据，从所述视频数据中提取包含所述待检测人员的脸部的图像，得到所述人脸图像；
对所述人脸图像进行灰度转换，再对灰度转换后的所述人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；
再对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记。
3.如权利要求2所述的基于情绪识别的客服监测方法，其特征在于，所述将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果，包括：
将分割并标记后的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中；
对标记的部位一一进行计算，综合所有部位的计算结果，得到所述人脸图像在所述基于卷积神经网络的表情分类模型中的每一类表情下的得分；
将所述人脸图像的每一类表情的得分按照分数从高到低进行排序，将得分排在前若干名的表情及对应分数作为所述人脸图像的表情识别结果。
4.如权利要求3所述的基于情绪识别的客服监测方法，其特征在于，所述根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果，包括：
将所述表情识别结果输入到情绪识别模型中，分别计算所述表情识别结果中的每一类表情对应的所有的情绪的分值；
将相同情绪的分值进行求和运算，分数最高的情绪则为所述人脸图像对应的情绪识别结果。
5.如权利要求1所述的基于情绪识别的客服监测方法，其特征在于，所述根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息，包括：
获取所述情绪识别结果；
调取预设的情绪识别结果与提示消息的对应关系表；
在所述对照关系表中，对所述情绪识别结果进行关键字查询，获得与所述情绪识别结果对应的提示消息；
将所述提示消息发送给客服人员。
6.如权利要求1所述的基于情绪识别的客服监测方法，其特征在于，所述将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果，还包括对所述基于卷积神经网络的表情分类模型进行训练的过程，具体包括：
采集公开的包含各种表情的若干人脸图像，将若干所述人脸图像的尺寸调整至预设的尺寸，并转换为灰度图像，由灰度图像转换为像素矩阵X＝[xij]M×N，其中，xij表示图像的第i行第j列的像素值，M为图像的高(以像素为单位)，N为图像的宽(以像素为单位)；
对所有灰度图像的像素矩阵进行去均值处理，其计算式为：
将经过去均值处理后的所述人脸图像输入到卷积神经网络模型中进行训练，得到所述基于卷积神经网络的表情分类模型。
7.如权利要求6所述的基于情绪识别的客服监测方法，其特征在于，所述将经过去均值处理后的所述人脸图像输入到卷积神经网络模型中进行训练，得到基于卷积神经网络的表情分类模型，包括：
对输入卷积层的灰度图像的像素矩阵进行卷积计算，计算式为：
其中，表示第l层网络的第j个输出表情图，l为网络层的索引，j为输出表情图的索引，i为输入表情图的索引，Nin为输入表情图的个数，表示第l层网络的第i个输入表情图对应的卷积核，为偏置。
8.一种基于情绪识别的客服监测装置，其特征在于，包括如下模块：
图像获取模块，设置为获取待检测的人脸图像，对所述人脸图像进行预处理；
表情识别模块，设置为将经过预处理的所述人脸图像输入到训练好的基于卷积神经网络的表情分类模型中进行处理，得到所述人脸图像的表情识别结果；
情绪识别模块，设置为根据所述人脸图像的表情识别结果，按照预设的表情与情绪的对应关系和计算规则计算获得所述人脸图像对应的情绪识别结果；
结果处理模块，设置为根据所述情绪识别结果，向客服人员发送与所述情绪识别结果对应的提示消息。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述的基于情绪识别的客服监测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述的基于情绪识别的客服监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910061884.4A CN109919001A (zh) | 2019-01-23 | 2019-01-23 | 基于情绪识别的客服监测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910061884.4A CN109919001A (zh) | 2019-01-23 | 2019-01-23 | 基于情绪识别的客服监测方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109919001A true CN109919001A (zh) | 2019-06-21 |
Family
ID=66960509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910061884.4A Pending CN109919001A (zh) | 2019-01-23 | 2019-01-23 | 基于情绪识别的客服监测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919001A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259729A (zh) * | 2019-12-30 | 2020-06-09 | 视联动力信息技术股份有限公司 | 一种表情识别方法和装置 |
| CN111885343A (zh) * | 2020-07-31 | 2020-11-03 | 中国工商银行股份有限公司 | 特征处理方法及装置、电子设备和可读存储介质 |
| CN111932056A (zh) * | 2020-06-19 | 2020-11-13 | 北京文思海辉金信软件有限公司 | 客服质量评分方法、装置、计算机设备和存储介质 |
| CN111967380A (zh) * | 2020-08-16 | 2020-11-20 | 云知声智能科技股份有限公司 | 内容推荐方法及*** |
| CN112418059A (zh) * | 2020-11-19 | 2021-02-26 | 平安普惠企业管理有限公司 | 一种情绪识别的方法、装置、计算机设备及存储介质 |
| CN112699774A (zh) * | 2020-12-28 | 2021-04-23 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| CN112700255A (zh) * | 2020-12-28 | 2021-04-23 | 科讯嘉联信息技术有限公司 | 一种多模态监督服务***及方法 |
| CN114140865A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 智能预警方法、装置、存储介质及电子设备 |
| CN116112630A (zh) * | 2023-04-04 | 2023-05-12 | 成都新希望金融信息有限公司 | 一种智能视频面签的切换方法 |
| CN117079324A (zh) * | 2023-08-17 | 2023-11-17 | 厚德明心(北京)科技有限公司 | 一种人脸情绪识别方法、装置、电子设备及存储介质 |
-
2019
- 2019-01-23 CN CN201910061884.4A patent/CN109919001A/zh active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259729A (zh) * | 2019-12-30 | 2020-06-09 | 视联动力信息技术股份有限公司 | 一种表情识别方法和装置 |
| CN111932056A (zh) * | 2020-06-19 | 2020-11-13 | 北京文思海辉金信软件有限公司 | 客服质量评分方法、装置、计算机设备和存储介质 |
| CN111885343B (zh) * | 2020-07-31 | 2022-06-14 | 中国工商银行股份有限公司 | 特征处理方法及装置、电子设备和可读存储介质 |
| CN111885343A (zh) * | 2020-07-31 | 2020-11-03 | 中国工商银行股份有限公司 | 特征处理方法及装置、电子设备和可读存储介质 |
| CN111967380A (zh) * | 2020-08-16 | 2020-11-20 | 云知声智能科技股份有限公司 | 内容推荐方法及*** |
| CN112418059A (zh) * | 2020-11-19 | 2021-02-26 | 平安普惠企业管理有限公司 | 一种情绪识别的方法、装置、计算机设备及存储介质 |
| CN112418059B (zh) * | 2020-11-19 | 2024-01-05 | 哈尔滨华晟泛亚人力资源服务有限公司 | 一种情绪识别的方法、装置、计算机设备及存储介质 |
| CN112700255A (zh) * | 2020-12-28 | 2021-04-23 | 科讯嘉联信息技术有限公司 | 一种多模态监督服务***及方法 |
| CN112699774A (zh) * | 2020-12-28 | 2021-04-23 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| CN112699774B (zh) * | 2020-12-28 | 2024-05-24 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| CN114140865A (zh) * | 2022-01-29 | 2022-03-04 | 深圳市中讯网联科技有限公司 | 智能预警方法、装置、存储介质及电子设备 |
| CN116112630A (zh) * | 2023-04-04 | 2023-05-12 | 成都新希望金融信息有限公司 | 一种智能视频面签的切换方法 |
| CN116112630B (zh) * | 2023-04-04 | 2023-06-23 | 成都新希望金融信息有限公司 | 一种智能视频面签的切换方法 |
| CN117079324A (zh) * | 2023-08-17 | 2023-11-17 | 厚德明心(北京)科技有限公司 | 一种人脸情绪识别方法、装置、电子设备及存储介质 |
| CN117079324B (zh) * | 2023-08-17 | 2024-03-12 | 厚德明心(北京)科技有限公司 | 一种人脸情绪识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919001A (zh) | 基于情绪识别的客服监测方法、装置、设备和存储介质 | |
| CN109416816B (zh) | 支持交流的人工智能*** | |
| Bahreini et al. | Towards multimodal emotion recognition in e-learning environments | |
| JP6788264B2 (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| CN107247702A (zh) | 一种文本情感分析处理方法和*** | |
| CN107203953A (zh) | 一种基于互联网、表情识别和语音识别的教学***及其实现方法 | |
| CN103546503B (zh) | 基于语音的云社交***、方法及云分析服务器 | |
| CN109658923A (zh) | 基于人工智能的语音质检方法、设备、存储介质及装置 | |
| CN112364234B (zh) | 一种在线讨论的自动分组*** | |
| CN109040471A (zh) | 情绪提示方法、装置、移动终端以及存储介质 | |
| CN109008952A (zh) | 基于深度学习的监护方法及相关产品 | |
| CN109960723A (zh) | 一种用于心理机器人的交互***及方法 | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| Chudnoff | The epistemic significance of perceptual learning | |
| CN110580516B (zh) | 一种基于智能机器人的交互方法及装置 | |
| CN106815321A (zh) | 基于智能聊天机器人的聊天方法及装置 | |
| CN109801706B (zh) | 心理压力问题的感知方法及装置 | |
| CN111144367A (zh) | 基于手势识别的辅助语义识别方法 | |
| WO2019214046A1 (zh) | 资产走势分析的方法、装置、计算机设备和存储介质 | |
| CN109636337A (zh) | 一种基于大数据的人才库构建方法及电子设备 | |
| KR20220106029A (ko) | 인공지능을 활용한 심리 상담 방법 및 장치 | |
| CN113821602A (zh) | 基于图文聊天记录的自动答疑方法、装置、设备及介质 | |
| US20220147944A1 (en) | A method of identifying and addressing client problems | |
| CN108209946A (zh) | 一种情绪控制装置与方法 | |
| CN110443122A (zh) | 信息处理方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |