CN109711300A - 盲人辅助沟通方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及图像检测及大数据处理分析领域，特别涉及一种盲人辅助沟通方法、装置、计算机设备和存储介质。所述方法包括：接收辅助分析启动指令；根据辅助分析启动指令采集沟通对象的实时人像图像；获取预存人脸图像，根据预存人脸图像对实时人像图像进行人脸检测；当检测出存在与实时人像图像匹配的预存人脸图像时，对实时人像图像进行情绪分析得到沟通对象的当前情绪；查找与当前情绪对应的沟通建议，将沟通建议输出。采用本方法能够能够辅助视力障碍人士沟通交谈。

Description

盲人辅助沟通方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种盲人辅助沟通方法、装置、计算机设备和存储介质。

背景技术

目前，全世界具有视力障碍的人群超过一亿人，他们大多只能通过语言与他人进行交流，而研究发现除语言之外，表情是人与人之间情感交流的主要手段，而具有视力障碍的人无法感知对方真实的喜怒哀乐等情绪变化，从而影响与其他人的情感交流。因此，目前缺乏能够帮助具有视力障碍人士感知交谈对象情绪的有效方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够辅助视力障碍人士沟通交谈的盲人辅助沟通方法、装置、计算机设备和存储介质。

一种盲人辅助沟通方法，所述方法包括：

接收辅助分析启动指令；

根据所述辅助分析启动指令采集沟通对象的实时人像图像；

获取预存人脸图像，根据所述预存人脸图像对所述实时人像图像进行人脸检测；

当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，对所述实时人像图像进行情绪分析得到所述沟通对象的当前情绪；

查找与所述当前情绪对应的沟通建议，将所述沟通建议输出。

在其中一个实施例中，所述实时人像图像进行情绪分析得到所述沟通对象的当前情绪，包括：

对所述实时人像图像进行微表情分析，得到与所述实时人像图像匹配的第一预设微表情；

获取所述第一预设微表情对应的各情绪模式下的情绪分值；

根据所述情绪分值计算各所述情绪模式对应的情绪得分；

根据所述情绪得分判定所述沟通对象的当前情绪。

在其中一个实施例中，所述对所述实时人像图像进行微表情分析，得到与所述实时人像图像匹配的第一预设微表情，包括：

从所述实时人像图像中提取面部特征点；

根据所述面部特征点得到面部动作特征；

将所述面部动作特征输入微表情分类模型得到各所述预设微表情的概率值；

根据计算出的所述概率值选取与所述实时人像图像匹配的第一预设微表情。

在其中一个实施例中，方法还包括：

计算采集的两张连续的所述实时人像图像对应的情绪得分的情绪差值；

获取预设情绪变化阈值，将所述情绪差值与所述预设情绪变化阈值进行比较；

当所述情绪差值超过所述预设情绪变化阈值时，生成情绪预警提示。

在其中一个实施例中，所述根据所述预存人脸图像对所述实时人像图像进行人脸检测之后，还包括：

当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，查找所述匹配的预存人脸图像对应的身份信息；

将查找到的所述身份信息输出。

在其中一个实施例中，所述根据所述预存人脸图像对所述实时人像图像进行人脸检测之后，还包括：

当未检测到与所述实时人像图像匹配的所述预存人脸图像时，对所述实时人像图像进行微表情分析，得到与所述实时人像图像匹配的第二预设微表情；

查找所述第二预设微表情对应的欺诈系数；

计算预设时间内采集的所述实时人像图像对应的所述欺诈系数总和；

当所述欺诈系数总和超过预设欺诈阈值时，生成欺诈预警提示并输出。

一种盲人辅助沟通装置，所述装置包括：

指令接收模块，用于接收辅助分析启动指令；

图像采集模块，用于根据所述辅助分析启动指令采集沟通对象的实时人像图像；

人脸检测模块，用于获取预存人脸图像，根据所述预存人脸图像对所述实时人像图像进行人脸检测；

图像分析模块，用于当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，对所述实时人像图像进行情绪分析得到所述沟通对象的当前情绪；

情绪输出模块，用于查找与所述当前情绪对应的沟通建议，将所述沟通建议输出。

在其中一个实施例中，装置还包括：

信息查找模块，用于当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，查找所述匹配的预存人脸图像对应的身份信息；

信息输出模块，用于将查找到的所述身份信息输出。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

上述盲人辅助沟通方法、装置、计算机设备和存储介质，当接收到辅助分析的启动指令之后，采集沟通对象的实时人像图像，通过对实时人像图像进行人脸检测判读沟通对象是否为用户预存的熟识的对象，当判断出沟通对象为用户预存对象时，对实时人像图像进行自动的情绪分析，并将分析得到的沟通对象的当前情绪输出给用户，从而帮助用户了解沟通对象的实时聊天情绪，辅助用户更加流畅地沟通。

附图说明

图1为一个实施例中盲人辅助沟通方法的应用场景图；

图2为一个实施例中盲人辅助沟通方法的流程示意图；

图3为另一个实施例中盲人辅助沟通方法的流程示意图；

图4为一个实施例中盲人辅助沟通装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的盲人辅助沟通方法，可以应用于如图1所示的应用环境中。其中，用户可以对终端102进行操作开启辅助分析启动功能，并生成辅助分析启动指令，终端102接收用户作出的辅助分析启动指令，根据辅助分析启动指令采集沟通对象的实时人像图像；获取预存人脸图像，根据预存人脸图像对实时人像图像进行人脸检测；当检测出存在与实时人像图像匹配的预存人脸图像时，对实时人像图像进行情绪分析得到沟通对象的当前情绪；将当前情绪输出给用户。其中，终端102可以但不限于是各种辅助盲人获取外部信息的盲人辅助设备，如盲人眼镜、摄像采集装置等。

在其他实施例中，终端102也可以将采集的实时人像图像发送给后台服务器，服务器对实时人像图像进行分析判定得到沟通用户的当前情绪后，将当前情绪返回给终端102，终端102将接收的当前情绪输出给用户。

在一个实施例中，如图2所示，提供了一种盲人辅助沟通方法，以该方法应用于图1中的终端102例进行说明，包括以下步骤：

步骤210，接收辅助分析启动指令。

辅助分析启动指令用于指示终端开启盲人沟通的辅助分析功能。终端上可以设置实体或虚拟的辅助分析开关，具有视力障碍的用户可以通过相应地操作开启或关闭辅助分析开关，当用户开启辅助分析开关时，生成辅助分析生成启动指令，终端接收辅助分析启动指令。

步骤220，根据辅助分析启动指令采集沟通对象的实时人像图像。

终端接收到辅助分析启动指令后，可以通过内置或外置的图像采集设备采集用户的沟通对象的实时人像图像，其中，图像采集设备可以为摄像头、照相机等。图像采集设备可以采集沟通对象的实时人像视频，按照预设抽取频率如1s/2张、1s/张、2s/张等的抽取频率从实时人像视频中抽取图像帧作为采集的实时人像图像，也可以根据预设拍摄时间间隔如1s、2s、3s等定时捕捉沟通对象的实时人像图像。

步骤230，获取预存人脸图像，根据预存人脸图像对实时人像图像进行人脸检测。

预存人脸图像为用户熟识对象的人脸图像，可以由用户事先导入或存储在终端中。终端将采集的实时人像图像与各熟识对象的人脸图像进行人脸比对检测，判断预存人脸图像对应的人脸中是否存在与实时人像图像中人脸匹配的人脸。

具体地，终端可以对实时人像图像进行图像预处理，从实时人像图像中提取出沟通对象的人脸图像，再将沟通对象的人脸图像与预存人脸图像进行人脸比对。

在进行人像比对时，终端可以采用预先构建的三位人脸模型进行人脸对比，也可以采用两照比对识别方法将预存人脸图像和沟通对象的人脸图像进行人像比对判断。当检测出预存人脸图像中的人脸与沟通对象的人脸图像中的人脸同属于一个人时，则判定实时人像图像与预存人脸图像匹配成功；反之，实时人像图像与预存人脸图像匹配失败。

例如，当终端采用预先构建的三维人脸模型时，终端对预存人脸图像和沟通对象的人脸图像进行归一化处理，获取预先建立的通用三维人脸模型库，通过训练好的多任务学习神经网络对预存人脸图像和沟通对象的人脸图像进行人脸关键点信息提取，根据提取的人脸关键点确定各脸部器官在图像中的位置，进而根据确定的脸部器官位置数据从预存人脸图像和沟通对象的人脸图像中分别提取脸部尺寸数据，根据脸部尺寸数据计算各自的脸部比例数据，通过判断预存人脸图像和沟通对象的人脸图像中的脸部比例数据是否一致，来判断各自对应的人脸是否属于同一个人。

步骤240，当检测出存在与实时人像图像匹配的预存人脸图像时，对实时人像图像进行情绪分析得到沟通对象的当前情绪。

当终端检测出与实时人像图像与预存人脸图像匹配成功时，终端对实时人像图像进行情绪分析，根据情绪分析结果判定沟通对象当前的情绪状态。终端对实时人像图像进行情绪分析时，可以从实时人像图像中提取出沟通对象的人脸图像，对人脸图像进行微表情分析得到沟通对象的微表情，再根据沟通对象的微表情来判定沟通对象的当前情绪。

步骤250，查找与当前情绪对应的沟通建议，将沟通建议输出。

终端获取情绪与沟通建议的映射关系，并查找与当前情绪匹配的沟通建议。沟通建议为事先设定的根据情绪进行沟通方式调整的建议，包括沟通对象的当前情绪和沟通调整方式两方面的信息。终端将查找到的沟通建议输出，以使用户了解沟通对象的实时聊天情绪，以便及时调整自己的聊天沟通方式。终端在输出沟通建议时，可以从预存的语音播报文件中查找与沟通建议对应的语音文件，将语音文件播报给用户，当终端为盲人眼镜时，终端也可以通过骨传导的方式将语音文件播报给用户。终端也可以查找沟通建议对应的预设文字，将查找到的预设文字发送至用户使用的可移动设备，在可移动设备上通过盲文显示或通过语音播报的方式输出给用户。例如，预设文字可以为“对方当前心情愉悦，当前聊天方式融洽”等。终端也可以采用其他方式向用户输出沟通建议。

在上述实施例中，当终端接收到辅助分析的启动指令之后，采集沟通对象的实时人像图像，通过对实时人像图像进行人脸检测判读沟通对象是否为用户预存的熟识的对象，当判断出沟通对象为用户预存对象时，对实时人像图像进行自动的情绪分析，并将分析得到的沟通对象的当前情绪输对应的沟通建议输出给用户，从而帮助用户了解沟通对象的实时聊天情绪，辅助用户更加流畅地沟通。

在一个实施例中，对实时人像图像进行情绪分析得到沟通对象的当前情绪可以包括：对实时人像图像进行微表情分析，得到与实时人像图像匹配的第一预设微表情；获取第一预设微表情对应的各情绪模式下的情绪分值；根据情绪分值计算各情绪模式对应的情绪得分；根据情绪得分判定沟通对象的当前情绪。

预设微表情是根据人们常见的微表情收集整理并事先存储于终端，预设微表情的数量为多个，预设微表情可以包括兴高采烈、乐观豁达、含情脉脉、忧心忡忡等面部表情，第一预设微表情与实时人像图像中的面部表情相匹配。终端从实时人像图像中提取中与面部表情有关的面部特征，并根据提取的面部特征来判定实时人像图像中人脸的微表情。

在一个实施例中，对实时人像图像进行微表情分析，得到与实时人像图像匹配的第一预设微表情可以包括：从实时人像图像中提取面部特征点；根据面部特征点得到面部动作特征；将面部动作特征输入微表情分类模型得到各预设微表情的概率值；根据计算出的概率值选取与实时人像图像匹配的第一预设微表情。

面部特征点为五官及脸部轮廓的特征点，如眼睛、嘴巴、鼻子、眉毛等的特征坐标。在进行面部特征提取前，终端可以对实时人像图像进行预处理，得到符合识别标准的实时人像图像。具体地，终端可以通过预先训练好的3D人脸模型或者深度学习神经网络对当前面部图像进行面部特征点提取。

终端可以基于提取出的面部特征点再通过预先训练好的3D人脸模型或者深度学习神经网络模型从实时人像图像中提取出面部动作特征，也可以将提取出的各面部特征点进行分类后输入对应的面部动作特征计算模型，得到相应面部动作特征，例如，将属于眼部的面部特征点输入眼动模型可以得到关于眼部的面部动作特征，如眨眼特征、眯眼特征、瞪眼特征等。3D人脸模型、深度学习神经网络模型、面部动作特征计算模型都是通过事先对多张人脸图像深度学习训练得到的。人脸图像可以是用户的人脸图像也可以是大众的人脸图像。

终端可以根据3D人脸模型或者深度学习神经网络模型或者面部动作特征计算模型计算各面部动作特征的取值，并将面部动作特征以及取值输入预先训练好的微表情分类模型中，得到各种预设微表情的概率值，此时，所有预设微表情的取值之和为1。微表情分类模型可以采用SVM分类器、深度神经网络学习模型、决策树分类模型等多种用于分类的模型，微表情分类模型通过事先对多张人脸图像的面部动作特征训练得到。

终端可以事先设定微表情筛选数量，将按概率值大小排序后的预设微表情中排在前列的预设微表情筛选为第一预设微表情，筛选出的数量与微表情筛取数量一致，例如，可以将微表情筛取数量设定为5个等。

终端获取筛选出的第一预设微表情对应的各情绪模式下的情绪分值。情绪模式可以由用户选择设置，也可由终端默认设置。例如，情绪模式可以包括高兴、伤心、害怕、愤怒、厌恶、惊讶和轻蔑等模式。

由于不同预设微表情所对应表达的情绪不同，因此，各预设微表情在不同情绪模式下的情绪分值也不同，例如，预设微表情“嘴角上扬”在喜爱、伤心、厌恶、惊讶情绪模式下的情绪分值分别为7、0、0及1；预设微表情“眉眼弯弯”在喜爱、伤心、厌恶、惊讶情绪模式下的情绪分值分别为8、0、0及3。

终端获取筛选预设微表情时各第一预设微表情对应的概率值，并分别将各种情绪模式下各第一预设微表情的情绪分值与相应的概率值相乘后叠加，得到各种情绪模式的情绪得分。例如，终端筛选出的第一预设微表情为忧心忡忡、开怀大笑、含情脉脉、乐观豁达、喜笑颜开5种，5中第一预设微表情对应的概率值分别为5％、10％、8％、15％和12％，5种预设微表情在高兴模式下的情绪分值分别为0、10、6、6和9，则高兴模式下的情绪得分为5％*0+10％*10+8％*6+15％*6+12％*9。终端计算出所有情绪模式下的情绪得分后，将情绪得分最高的情绪模式对应的情绪设定为沟通对象的当前情绪。

在上述实施例中，通过分析与实时人像图像匹配的预设微表情，并根据匹配的预设微表情计算得到各情绪模式的情绪数值，根据情绪数值判定沟通对象的当前情绪，可以更加准确地进行情绪判断。

在一个实施例中，盲人辅助沟通方法还可以包括：计算采集的两张连续的实时人像图像对应的情绪得分的情绪差值；获取预设情绪变化阈值，将情绪差值与预设情绪变化阈值进行比较；当情绪差值超过预设情绪变化阈值时，生成情绪预警提示。

终端根据实时人像图像判定出沟通对象的当前情绪之后，将计算出的实时人像图像对应的各情绪模式下的情绪得分进行存储，并获取采集的上一张实时人像图像的各情绪模式下的情绪得分，当当前的实时人像图像为第一张时，则不进行该步骤。

终端将各情绪模式下两张连续的实时人像图像对应的情绪得分相减后取绝对值，得到各情绪模式下的绝对差值，将所有情绪模式的绝对差值累计加合后除以情绪模式的数量，得到两张实时人像图像对应的情绪得分的情绪差值。

预设情绪变化阈值为判定沟通对象是否有较大情绪波动的临界数值，终端获取预先存储的预设情绪变化阈值，将计算出的情绪差值与预设情绪变化阈值进行比较，当终端判定出情绪差值超过预设情绪变化阈值时，则判定沟通对象的情绪波动过大，终端生成情绪预警提示。例如，情绪预警提示可以为“对方当前较激动”。情绪预警提示也可以根据当前的实时人像图像对应的当前情绪生成，如当前情绪为兴奋时，可以生成“对方突然很兴奋”情绪预警提示。当终端判定出情绪差值未超过预设情绪变化阈值时，终端则无需进行动作。

在本实施例中，通过计算连续实时人像图像对应的情绪差值，可以实时对沟通对象的情绪变化进行监控，并在沟通对象情绪波动较大时，对用户进行情绪预警提示，以便用户了解沟通对象的实时情绪状态，及时调整沟通方式。

在一个实施例中，根据预存人脸图像对实时人像图像进行人脸检测之后，还包括：当检测出存在与实时人像图像匹配的预存人脸图像时，查找匹配的预存人脸图像对应的身份信息；将查找到的身份信息输出。

当终端检测出与实时人像图像匹配的预存人脸图像时，判定沟通对象为用户熟识的对象。终端查找匹配的预存人脸图像对应的身份信息。终端将用户熟识对象的身份信息与相应的人脸图像进行对应存储，身份信息可以包括熟识对象的姓名、性别、年龄、性格、工作信息等。

终端将查找到的身份信息输出时，可以将查找到的身份信息转换成身份语音文件，将身份语音文件播报给用户。若终端为盲人眼镜时，终端也可以通过骨传导的方式将身份语音文件播报给用户。终端也可以查找将查找到的身份信息发送至用户使用的可移动设备，在可移动设备上通过盲文显示或通过语音播报的方式输出给用户。

在本实施例中，当根据人脸检测结果判定沟通对象为熟识对象时，将预存的沟通对象的身份信息输出给用户，方便用户了解对方身份。

在一个实施例中，如图3所示，在步骤230根据预存人脸图像对实时人像图像进行人脸检测之后，还可以包括：

步骤245，当未检测到与实时人像图像匹配的预存人脸图像时，对实时人像图像进行微表情分析，得到与实时人像图像匹配的第二预设微表情。

当终端未检测到与实时人像图像匹配的预存人脸图像时，判定沟通对象为陌生人。第二预设微表情与实时人像图像中的面部表情相匹配。终端从实时人像图像中提取中与面部表情有关的面部特征，并根据提取的面部特征来判定实时人像图像中人脸的微表情。在一个实施例中，对实时人像图像进行微表情分析，得到与实时人像图像匹配的第二预设微表情可以包括：从实时人像图像中提取面部特征点；根据面部特征点得到面部动作特征；将面部动作特征输入微表情分类模型得到各预设微表情的概率值；根据计算出的概率值选取与实时人像图像匹配的第二预设微表情。

步骤255，查找第二预设微表情对应的欺诈系数。

终端事先为不同的预设微表情设定欺诈系数，并将设定的欺诈系数与预设微表情对应存储。例如，开怀大笑、喜笑颜开等预设微表情的欺诈系数为0，含情脉脉预设微表情的欺诈系数为0.3，忧心忡忡预设微表情的欺诈系数为0.7等。

步骤265，计算预设时间内采集的实时人像图像对应的欺诈系数总和。

预设时间可以由用户选择设置，也可以由终端默认设置，如预设时间可以设置为2min、5min等，根据预设时间可以计算出每一欺诈判定时刻，当到达预设欺诈判定时刻时，终端获取预设时间内采集的所有实时人像图像对应的欺诈系数，将获取的所有系数相加得到欺诈系数总和。

步骤275，当欺诈系数总和超过预设欺诈阈值时，生成欺诈预警提示并输出。

预设欺诈阈值为判定沟通对象是否具有对用户欺诈倾向的系数临界值，终端获取预设欺诈阈值，并将计算出的欺诈系数总和与预设欺诈阈值进行比较，当终端判定出欺诈系数总和超过预设欺诈阈值时，终端生成欺诈预警提示，并将欺诈预警提示输出给用户。终端也可以预先设定欺诈系数总和与欺诈概率的映射关系，查找欺诈系数总和对应的欺诈概率，将欺诈系数总和转换为欺诈概率，根据欺诈概率生成欺诈预警提示，如提示可以为“对方的欺诈可能性为80％”等。

终端在将欺诈预警提示输出给用户时，终端可以将生成的欺诈预警提示转换成语音文件，将语音文件播报给用户。若终端为盲人眼镜时，终端也可以通过骨传导的方式将语音文件播报给用户。终端也可以查找将欺诈预警提示发送至用户使用的可移动设备，在可移动设备上通过盲文显示或通过语音播报的方式输出给用户。

在上述实施例中，当终端判定沟通对象为陌生人时，对沟通对象的欺诈倾向进行实时监控，并在判断出对方有较强欺诈倾向时告知用户，从而能够较大程度地防止用户受到欺诈。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种盲人辅助沟通装置，包括：指令接收模块410、图像采集模块420、人脸检测模块430、图像分析模块440和情绪输出模块450，其中：

指令接收模块410，用于接收辅助分析启动指令。

图像采集模块420，用于根据辅助分析启动指令采集沟通对象的实时人像图像。

人脸检测模块430，用于获取预存人脸图像，根据预存人脸图像对实时人像图像进行人脸检测。

图像分析模块440，用于当检测出存在与实时人像图像匹配的预存人脸图像时，对实时人像图像进行情绪分析得到沟通对象的当前情绪。

情绪输出模块450，用于查找与当前情绪对应的沟通建议，将沟通建议输出。

在一个实施例中，图像分析模块440可以包括：

第一表情分析子模块，用于对实时人像图像进行微表情分析，得到与实时人像图像匹配的第一预设微表情。

分值获取子模块，用于获取第一预设微表情对应的各情绪模式下的情绪分值。

得分计算子模块，用于根据情绪分值计算各情绪模式对应的情绪得分。

情绪判定子模块，用于根据情绪得分判定沟通对象的当前情绪。

在一个实施例中，第一表情分析子模块可以包括：

特征点提取单元，用于从实时人像图像中提取面部特征点。

特征判定单元，用于根据面部特征点得到面部动作特征。

概率值获得单元，用于将面部动作特征输入微表情分类模型得到各预设微表情的概率值。

微表情选取单元，用于根据计算出的概率值选取与实时人像图像匹配的第一预设微表情。

在一个实施例中，盲人辅助沟通装置还可以包括：

差值计算模块，用于计算采集的两张连续的实时人像图像对应的情绪得分的情绪差值。

情绪比较模块，用于获取预设情绪变化阈值，将情绪差值与预设情绪变化阈值进行比较。

情绪提示模块，用于当情绪差值超过预设情绪变化阈值时，生成情绪预警提示。

在一个实施例中，盲人辅助沟通装置还可以包括：

信息查找模块，用于当检测出存在与实时人像图像匹配的预存人脸图像时，查找匹配的预存人脸图像对应的身份信息。

信息输出模块，用于将查找到的身份信息输出。

在一个实施例中，盲人辅助沟通装置还可以包括：

第二表情分析模块，用于当未检测到与实时人像图像匹配的预存人脸图像时，对实时人像图像进行微表情分析，得到与实时人像图像匹配的第二预设微表情。

系数查找模块，用于查找第二预设微表情对应的欺诈系数。

总和计算模块，用于计算预设时间内采集的实时人像图像对应的欺诈系数总和。

欺诈提示模块，用于当欺诈系数总和超过预设欺诈阈值时，生成欺诈预警提示并输出。

关于盲人辅助沟通装置的具体限定可以参见上文中对于盲人辅助沟通方法的限定，在此不再赘述。上述盲人辅助沟通装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种盲人辅助沟通方法。该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：接收辅助分析启动指令；根据辅助分析启动指令采集沟通对象的实时人像图像；获取预存人脸图像，根据预存人脸图像对实时人像图像进行人脸检测；当检测出存在与实时人像图像匹配的预存人脸图像时，对实时人像图像进行情绪分析得到沟通对象的当前情绪；查找与当前情绪对应的沟通建议，将沟通建议输出。

在一个实施例中，处理器执行计算机程序时实现对实时人像图像进行情绪分析得到沟通对象的当前情绪的步骤时，还用于：对实时人像图像进行微表情分析，得到与实时人像图像匹配的第一预设微表情；获取第一预设微表情对应的各情绪模式下的情绪分值；根据情绪分值计算各情绪模式对应的情绪得分；根据情绪得分判定沟通对象的当前情绪。

在一个实施例中，处理器执行计算机程序时实现对实时人像图像进行微表情分析，得到与实时人像图像匹配的第一预设微表情的步骤时，还用于：从实时人像图像中提取面部特征点；根据面部特征点得到面部动作特征；将面部动作特征输入微表情分类模型得到各预设微表情的概率值；根据计算出的概率值选取与实时人像图像匹配的第一预设微表情。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算采集的两张连续的实时人像图像对应的情绪得分的情绪差值；获取预设情绪变化阈值，将情绪差值与预设情绪变化阈值进行比较；当情绪差值超过预设情绪变化阈值时，生成情绪预警提示。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当检测出存在与实时人像图像匹配的预存人脸图像时，查找匹配的预存人脸图像对应的身份信息；将查找到的身份信息输出。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：当未检测到与实时人像图像匹配的预存人脸图像时，对实时人像图像进行微表情分析，得到与实时人像图像匹配的第二预设微表情；查找第二预设微表情对应的欺诈系数；计算预设时间内采集的实时人像图像对应的欺诈系数总和；当欺诈系数总和超过预设欺诈阈值时，生成欺诈预警提示并输出。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收辅助分析启动指令；根据辅助分析启动指令采集沟通对象的实时人像图像；获取预存人脸图像，根据预存人脸图像对实时人像图像进行人脸检测；当检测出存在与实时人像图像匹配的预存人脸图像时，对实时人像图像进行情绪分析得到沟通对象的当前情绪；查找与当前情绪对应的沟通建议，将沟通建议输出。

在一个实施例中，计算机程序被处理器执行时实现对实时人像图像进行情绪分析得到沟通对象的当前情绪的步骤时，还用于：对实时人像图像进行微表情分析，得到与实时人像图像匹配的第一预设微表情；获取第一预设微表情对应的各情绪模式下的情绪分值；根据情绪分值计算各情绪模式对应的情绪得分；根据情绪得分判定沟通对象的当前情绪。

在一个实施例中，计算机程序被处理器执行时实现对实时人像图像进行微表情分析，得到与实时人像图像匹配的第一预设微表情的步骤时，还用于：从实时人像图像中提取面部特征点；根据面部特征点得到面部动作特征；将面部动作特征输入微表情分类模型得到各预设微表情的概率值；根据计算出的概率值选取与实时人像图像匹配的第一预设微表情。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：计算采集的两张连续的实时人像图像对应的情绪得分的情绪差值；获取预设情绪变化阈值，将情绪差值与预设情绪变化阈值进行比较；当情绪差值超过预设情绪变化阈值时，生成情绪预警提示。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当检测出存在与实时人像图像匹配的预存人脸图像时，查找匹配的预存人脸图像对应的身份信息；将查找到的身份信息输出。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当未检测到与实时人像图像匹配的预存人脸图像时，对实时人像图像进行微表情分析，得到与实时人像图像匹配的第二预设微表情；查找第二预设微表情对应的欺诈系数；计算预设时间内采集的实时人像图像对应的欺诈系数总和；当欺诈系数总和超过预设欺诈阈值时，生成欺诈预警提示并输出。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种盲人辅助沟通方法，所述方法包括：

接收辅助分析启动指令；

根据所述辅助分析启动指令采集沟通对象的实时人像图像；

获取预存人脸图像，根据所述预存人脸图像对所述实时人像图像进行人脸检测；

当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，对所述实时人像图像进行情绪分析得到所述沟通对象的当前情绪；

查找与所述当前情绪对应的沟通建议，将所述沟通建议输出。

2.根据权利要求1所述的方法，其特征在于，所述对所述实时人像图像进行情绪分析得到所述沟通对象的当前情绪，包括：

对所述实时人像图像进行微表情分析，得到与所述实时人像图像匹配的第一预设微表情；

获取所述第一预设微表情对应的各情绪模式下的情绪分值；

根据所述情绪分值计算各所述情绪模式对应的情绪得分；

根据所述情绪得分判定所述沟通对象的当前情绪。

3.根据权利要求2所述的方法，其特征在于，所述对所述实时人像图像进行微表情分析，得到与所述实时人像图像匹配的第一预设微表情，包括：

从所述实时人像图像中提取面部特征点；

根据所述面部特征点得到面部动作特征；

将所述面部动作特征输入微表情分类模型得到各所述预设微表情的概率值；

根据计算出的所述概率值选取与所述实时人像图像匹配的第一预设微表情。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

计算采集的两张连续的所述实时人像图像对应的情绪得分的情绪差值；

获取预设情绪变化阈值，将所述情绪差值与所述预设情绪变化阈值进行比较；

当所述情绪差值超过所述预设情绪变化阈值时，生成情绪预警提示。

5.根据权利要求4所述的方法，其特征在于，所述根据所述预存人脸图像对所述实时人像图像进行人脸检测之后，还包括：

当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，查找所述匹配的预存人脸图像对应的身份信息；

将查找到的所述身份信息输出。

6.根据权利要求1所述的方法，其特征在于，所述根据所述预存人脸图像对所述实时人像图像进行人脸检测之后，还包括：

当未检测到与所述实时人像图像匹配的所述预存人脸图像时，对所述实时人像图像进行微表情分析，得到与所述实时人像图像匹配的第二预设微表情；

查找所述第二预设微表情对应的欺诈系数；

计算预设时间内采集的所述实时人像图像对应的所述欺诈系数总和；

当所述欺诈系数总和超过预设欺诈阈值时，生成欺诈预警提示并输出。

7.一种盲人辅助沟通装置，其特征在于，所述装置包括：

指令接收模块，用于接收辅助分析启动指令；

图像采集模块，用于根据所述辅助分析启动指令采集沟通对象的实时人像图像；

人脸检测模块，用于获取预存人脸图像，根据所述预存人脸图像对所述实时人像图像进行人脸检测；

图像分析模块，用于当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，对所述实时人像图像进行情绪分析得到所述沟通对象的当前情绪；

情绪输出模块，用于查找与所述当前情绪对应的沟通建议，将所述沟通建议输出。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

信息查找模块，用于当检测出存在与所述实时人像图像匹配的所述预存人脸图像时，查找所述匹配的预存人脸图像对应的身份信息；

信息输出模块，用于将查找到的所述身份信息输出。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。