CN110931006A - 基于情感分析的智能问答方法及相关设备 - Google Patents

Abstract

本发明公开了一种基于情感分析的智能问答方法及相关设备，涉及智能机器人领域，该方法包括：基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；将所述目标答案文本转换成语音通过扬声器播放。此方法下，确定的目标答案文本，提高了确定的答案文本的准确性。

Description

基于情感分析的智能问答方法及相关设备

技术领域

本发明涉及智能机器人领域，特别是涉及基于情感分析的智能问答方法及其装置。

背景技术

随着互联网技术的发展，智能机器人产品越来越多。为了提供更符合用户需求的智能机器人产品，情感分析技术的应用越来越广泛。由于从文本信息中挖掘用户表达的观点及情感分析在智能机器人产品中的作用越来越大，因此在基于情感分析的智能问答方法中，如何进行准确的情感分析显得尤为重要。

现有技术中在基于情感分析进行智能问答时，预先构建情感字典，该情感词典包含多个情感词，每个情感词对应一定的分值，之后将问题文本中的词与情感词典中的情感词进行比对，根据文本中包含的情感词对应分值之和确定该问题文本对应的情感分析结果，据此得到答案文本。

然而，基于上述的情感分析方法，由于仅依赖于情感字典，且通过问题文本中包含情感词对应分值之和确定情感分析结果，因而情感分析的准确性不高，进而导致据此得到的答案文本的准确性也不高。

发明内容

基于此，本发明提供了一种基于情感分析的智能问答的方法、装置、电子设备和存储介质，进而可以至少在一定程度上克服现有技术中智能问答中确定的答案文本准确性低的问题。

根据本发明的第一方面，提供了一种基于情感分析的智能问答的方法，包括：从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据；调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息；基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别；基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合；基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；将所述目标答案文本转换成语音通过扬声器播放。

在本公开的一示例性实施例中，在调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息之前，还包括：获取预先设置的语音数据样本集合；预先识别所述语音数据样本集合中每个语音数据样本对应的文本信息；将所述语音数据样本输入所述语音识别模型，获取由所述语音识别模型输出的文本信息，将所述语音识别模型输出的文本信息与预先识别的文本信息进行比对，如不一致则调整所述语音识别模型，直至所述语音识别模型输出的文本信息与预先确定的文本信息一致。

在本公开的一示例性实施例中，基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别包括：如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为一个候选情绪类别，将该候选情绪类别作为用户情绪类别。

在本公开的一示例性实施例中，基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别，还包括：如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为二个以上候选情绪类别，获取二个以上候选情绪类别的预设的权重。将所述二个以上候选情绪类别中权重最大的候选情绪类别，作为用户情绪类别。

在本公开的一示例性实施例中，在基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本之后，还包括：基于所述用户情绪类别，确定要在所述目标文本信息中添加的语气助词及所要添加语气助词的位置；将确定的语气助词添加到目标答案文本中确定的添加语气助词的位置处。

在本公开的一示例性实施例中，所述将所述目标答案文本转换成语音通过扬声器播放，包括:

基于所述用户情绪类别，确定与所述用户提问相对应的回复情绪类别；

将所述回复情绪类别与添加了语气助词的目标文本信息输入预设的语音生成模型，获取语音生成模型生成的回复语音，通过扬声器播放。

在本公开的一示例性实施例中，基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，包括：从所述提问文本信息中提取情绪关键词；将所述情绪关键词与所述数据库中的关键词样本进行相似度计算，得到相似度大于预定阈值的多个关键词样本；将所述相似度大于预定阈值的多个关键词样本关联的候选答案文本样本确定为所述多个候选答案文本信息。

根据本公开的第二方面，提供了一种基于情感分析的智能问答的装置，包括：第一获取模块，用于从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据；语音识别模块，用于调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息；第一确定模块，用于基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别；第二确定模块，用于基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合；情绪确定模块，用于基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；答案确定模块，用于基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；语音播放模块，用于将所述目标答案文本转换成语音通过扬声器播放。

根据本公开的第三方面，提供了一种基于情感分析的智能问答的电子设备，包括：

存储器，配置为存储可执行指令。

处理器，配置为执行所述存储器中存储的可执行指令，以执行以上所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其存储有计算机程序指令，当所述计算机指令被计算机执行时，使计算机执行以上所述的方法。

在本发明的一些实施例中，通过基于获取的用户提问视音频数据中包含的音频数据确定所述用户的第一候选情绪类别集合，基于所述视音频数据中包含的视频数据确定所述用户的第二候选情绪类别集合，再基于所述第一候选情绪类别集合和所述第二候选情绪类别集合确定所述用户的情绪列别，基于所述用户的情绪类别在基于所述音频数据对应的文本信息在预设的数据库中确定的多个候选答案文本中确定目标答案文本。可见，本发明实施例，可准确的确定所述问答视音频对应用户的情绪分析结果；进而提高智能问答中确定的答案文本准确性。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

图1示出根据本发明一示例实施方式的基于情感分析的智能问答的流程图。

图2示出根据本发明一示例实施方式的图1中步骤S160之后的步骤。

图3示出根据本发明一示例实施方式的图1中步骤S160的具体流程图。

图4示出根据本发明一示例实施方式的基于情感分析的智能问答的装置。

图5示出根据本发明一示例实施方式的基于情感分析的智能问答的***架构图。

图6示出根据本发明一示例实施方式的基于情感分析的智能问答的电子设备图。

图7示出根据本发明一示例实施方式的基于情感分析的智能问答的计算机可读存储介质图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本发明可以实施在包括但不限于以下类型的实体设备中：服务器、网关设备、交换机台式计算机、工作站、笔记本电脑、移动终端，实施终端可以与外部通过网络进行通信，其中可以包括软件、硬件或固件的结合。

图1是根据一示例性实施例示出的一种异常流量数据识别方法的应用环境示意图。如图1所示，基于情感分析的智能问答方法的应用环境包括用户端100，服务器110，数据库120，扬声器130。当服务器110接收到用户端100发送的用户端发送的用户提问视音频数据后，服务器110从所述提问视音频数据中提取音频数据，并将所述音频数据识别为提问文本信息，服务器110基于所述提问文本信息在预设的数据库中110确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个情绪类别，然后服务器110基于所述提问视音频数据中包含的提问视频数据获取所述用户端对应用户的第一候选情绪类别集合，基于所述提问音频数据获取所述用户端对应用户的爹候选情绪类别集合，服务器110基于所述第一候选情绪类别集合、所述第二候选情绪类别集合确定所述用户端对应用户的情绪类别，服务器110再基于所述用户端对应用户的情绪类别在所述多个候选答案文本信息中确定目标答案文本，并将所述目标答案文本转换成语音通过扬声器播放130。

需要说明的是，本发明实施例所提供的基于情感分析的智能问答方法一般由服务器110执行，相应地，基于情感分析的智能问答装置一般设置于服务器110中。但是，在本发明的其它实施例中，终端也可以与服务器具有相似的功能，从而执行本发明实施例所提供的基于情感分析的智能问答方法。

本公开首先提供了一种基于情感分析的智能问答方法。图2是根据一示例性实施例示出的一种基于情感分析的智能问答方法的流程示意图。如图2所示，此方法包括以下步骤：

S200：从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据；

S210：调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息；

S220：基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别；

S230：基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合；

S240：基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；

S250：基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；

S260：将所述目标答案文本转换成语音通过扬声器播放。

下面，将结合附图对本示例实施方式中上述基于情感分析的智能问答方法的各步骤进行详细的解释以及说明。

在步骤S200中，从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据。

所述视音频数据中至少包含用户提问音频数据与用户提问视频。

在本发明的一实施例中，所述用户提问视音频数据中还可包含有时间信息。

在步骤S210中，调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息。

在本发明的一实施例中，在步骤S110之前还可包括如下步骤以对所述语音识别模型进行训练：

获取预先设置的语音数据样本集合；

预先识别所述语音数据样本集合中每个语音数据样本对应的文本信息；

将所述语音数据样本输入所述语音识别模型，获取由所述语音识别模型输出的文本信息，将所述语音识别模型输出的文本信息与预先识别的文本信息进行比对，如不一致则调整所述语音识别模型，直至所述语音识别模型输出的文本信息与预先确定的文本信息一致。

通过语音识别的方式，可以将用户端采集的用户提问语音转换为文本信息以便于服务器进行数据处理，同时也避免了用户通过在用户端输入文本信息等耗费时间的方式来与服务器进行交互，从而提高人机间交互的便利性。

在步骤S220中，基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别。

在本发明的一实施例中，步骤S120可以包括：

提取所述提问文本信息中的关键词；基于所述关键词在所述数据库中确定多个候选答案文本，其中，提取关键词可以是先通过文本分词，然后剔除例如的等连接词后得到；在数据库中确定多个候选答案文本可以的利用提取的关键词与数据库中关键词样本进行相似度计算，将相似度大于预定阈值的多个或者相似度最大的多个关键词样本作为匹配的关键词样本，然后将匹配的多个关键词样本关联的多个候选答案文本样本确定为多个候选答案文本信息。

因语言的丰富多彩，尤其是汉语语言、更为博大精深，同样的意思可以有多种表达方式，而不同的表达方式又包含着不同的情绪。如用户a向用户b打招呼说“早上好”，用户b可以回答的方式有多种如“早上好”“早”“好”“用户a早上好啊(呀)”，其中“用户a早上好啊(呀)”所包含的情绪明显比“早上好”“早”“好”所包含的情绪更为强烈且更加表明用户b的情绪是处于开心的状态。

在步骤S230中，基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合。

在本发明的一实施例中，步骤S230包括：

对所述提问视频数据进行人脸检测获取所述提问视频数据中包含的所述用户的脸部图像，将所述人脸图像输入所述预设的微表情识别模型，获取所述用户的第一候选情绪类别集合；基于预设时间长度将所述提问语音数据切分为若干语音片段，将所述语音片段输入所述预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合。

在本发明的一实施例中，所述微表情识别模型可通过如下方式进行训练：

获取预先设置的人脸图像样本集合；

预先确定所述人脸图像样本集合中每个人脸图像样本对应的情绪类别；

将所述人脸图像样本输入所述微表情识别模型，获取由所述人脸图像识别模型输出的情绪类别的识别结果，将所述微表情识别模型输出的情绪类别识别结果与预先确定的情绪类别进行比对，如不一致则调整所述微表情识别模型，直至所述微表情识别模型输出的情绪类别的识别结果与预先确定的情绪类别一致。

在本发明的一实施例中，所述语音情绪识别模型可通过如下方式进行训练：

获取预先设置的用户语音样本集合；

预先确定所述用户语音样本集合中每个用户语音样本对应的情绪类别；

将所述用户语音样本输入所述语音识别模型，获取由所述语音情绪识别模型输出的情绪类别的识别结果，将所述微表情识别模型输出的情绪类别识别结果与预先确定的情绪类别进行比对，如不一致则调整所述微表情识别模型，直至所述语音情绪识别模型输出的情绪类别的识别结果与预先确定的情绪类别一致。

在步骤S240中，基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别。

在本发明的一实施例中，步骤S240可以包括：

如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为一个候选情绪类别，将该候选情绪类别作为用户情绪类别。

在本发明的一实施例中，步骤S240还可以包括：

如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为二个以上候选情绪类别，获取二个以上候选情绪类别的预设的权重；

将所述二个以上候选情绪类别中权重最大的候选情绪类别，作为用户情绪类别。

在本发明的一实施例中，情绪类别的权重可以配置为：快乐大于悲伤大于愤怒大于恐惧大于厌恶。

在本发明的一实施里中，若所述第一候选情绪类别集合为快乐、悲伤，所述第二候选情绪类别集合为悲伤、愤怒。则所述第一、第二候选情绪类别集合的交集为悲伤，则将所述用户的情绪类别确定为悲伤。

在步骤S250中，基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本。

在本发明的一实施例中，若确定的用户的情绪类别为高兴，则可以在候选的答案文本中将答案文本中情绪为高兴的答案文本确定为目标答案文本，如用户提问的文本信息问“早上好”，确定的用户情绪类别为高兴，则可在候选的答案文本中，将“早上好”确定为目标答案文本，若用户确定的用户情绪类别为悲伤则可在候选的答案文本中，将“早上好呀”确定为目标答案文本，若确定的用户情绪为“兴奋”，则将“早”或“好”确定为目标答案文本，从而提高确定的目标答案文本的准确性，并提高人机间的交互性。

在本发明的一实施例中，所述情绪分类中除了喜怒哀乐等外，还可将喜怒哀乐等情绪类别两个或多个进行组合，即愤怒悲伤、恐惧厌恶、愤怒恐惧等，从而将识别出的情绪类别更贴近于人的表情变化，进而提高人机间的交互性。

在步骤S260中，将所述目标答案文本转换成语音通过扬声器播放。

在本发明的实施例中，将所述目标答案文本信息转换成语音，可通过将所述目标答案文本信息输入预先训练好的语音合成模型，由所述语音合成模型输出所述目标答案文本信息对应的语音信息。

在本发明的一实施例中，如图3所示，在步骤S260之后，还可以包括：

步骤S270：基于所述用户情绪类别，确定要在所述目标文本信息中添加的语气助词及所要添加语气助词的位置；

步骤S280：将确定的语气助词添加到目标答案文本中确定的添加语气助词的位置处。

其中所述语气助词是指助词的一种，用在句中表示停顿和句末强调语气的虚词。在句子中读作时不译舒缓停顿，在句末强调语气或通过排比句重复时增强气势。现在汉语，语气助词有很多，如“阿、啊、啦、唉、呢、吧、了、哇、呀、吗”等。英语中的语气助词有如“Oops、Eh、OH、Mhm”等。

通过在确定的目标答案文本中添加语气助词的方式，可以增强答案文本信息对应的情绪，从而使得机器对用户提问的问题回答并非仅仅是简单的对答案进行复述，进而使得机器具有类似人类一样变化的语气及情感的变化，以提高人机间的交互性。

在本发明的一实施例中，当用户a使用智能问答装置达到预设的时长时，其中所述预设时长可以是一个月，也可以是半年。用户a再对智能问答装置发出早上好时，该智能装置确定用户a的情绪类别为悲伤，则该智能语音装置可在确定的目标答案文本“早上好呀”前加上语气助词“嗯”，进而使得该智能语音装置的回答进一步充满“高兴”的情绪，进而使得用户a将悲伤的情绪转变为高兴的情绪。

在本发明的一实施例，确定所述语气助词添加的位置，可以通过预设对应表的方式，根据不同的语气助词，预先确定不同语气助词可以添加的位置，在基于用户的情绪类别，确定语气助词添加的位置。因汉语或英语等语言中语气助词数量有限，且不同的语气助词添加的位置在文本信息中较为固定，语气助词添加在不同的位置其所增强或表达的情绪也并不相同，因此再基于确定的用户情绪可对那些在文本信息中存在多个添加位置的语气助词进一步准确的确定其添加的位置。

在本发明的一实施例中，如图4所示，步骤S260包括：

步骤S2601：基于所述用户情绪类别，确定与所述用户提问相对应的回复情绪类别；

步骤S2602：将所述回复情绪类别与所述添加了语气助词的目标文本信息输入预设的语音生成模型，获取语音生成模型生成的回复语音，通过扬声器播放。

现有技术中在人机互动中，机器人通常都是简单的对确定的目标文本信息通过语音合成的方式进行简单的复述，其中机器语音中并不包含有相应的语气变化，进而也就使得机器人在回答时并不包含任何情感波动，使得人们对于机器人的回答感觉很冰冷，让人感觉到陌生。

本方案通过，根据确定的用户情绪类别，确定回复情绪类别，从而使得本智能问答装置在将添加了语气助词的目标文本转换为语音信息后，将转换成的语音信息调整为回复情绪对应的语音，进而播放给用户，从而使得本智能语音装置的回复语音具有类似人的情感，使人机间的交互更像人人间的交互，以增加人机间的交互性。

在本发明的一实施例中，确定回复情绪，可以采用对照表的方式，所述对照表中列有提问情绪类别对应的回复情绪类别，如用户a的情绪类别为兴奋，则根据对照表可确定回复情绪类别为高兴。

基于上述分析，本发明实施例提供的基于情感分析的智能问答方法，可以提高确定用户情感分析结果的准确性，进而提高确定的答案文本的准确性，同时本方案并不依赖于预设的情感字典，进而也就避免了因用户提问语音对应的提问文本信息中并未包含情感词而无法基于预设的情感字典对用户进行情感分析的情型。

其次，本方案的其他实施例中还在确定的目标答案文本中添加语气助词，并根据确定的用户情绪类别确定回复情绪，进而使得生成后的回复语音，具有类似人的语气及情感变化，从而提高人机间的交互性。

本发明还提供了一种基于情感分析的智能问答的装置。参考图5所示，所述基于情感分析的智能问答装置300包括：获取模块310、语音识别模块320、第一确定模块330、第二确定模块340、情绪确定模块350、答案确定模块360、语音播放模块370。其中：

获取模块310，用于从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据；

语音识别模块320，用于调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息；

第一确定模块330，用于基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别；

第二确定模块340，用于基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的提问语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合；

情绪确定模块350，用于基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；

答案确定模块360，用于基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；

语音播放模块370，用于将所述目标答案文本转换成语音通过扬声器播放。

在本发明的一实施例中，所述基于情感分析的智能问答装置还包括，语音识别模块，用于获取预先设置的语音数据样本集合；预先识别所述语音数据样本集合中每个语音数据样本对应的文本信息；将所述语音数据样本输入所述语音识别模型，获取由所述语音识别模型输出的文本信息，将所述语音识别模型输出的文本信息与预先识别的文本信息进行比对，如不一致则调整所述语音识别模型，直至所述语音识别模型输出的文本信息与预先确定的文本信息一致。

在本发明的一实施例中，所述情绪确定模块350还可配置为：如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为一个候选情绪类别，将该候选情绪类别作为用户情绪类别。

在本发明的一实施例中，所述情绪确定模块350还可配置为：如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为二个以上候选情绪类别，获取二个以上候选情绪类别的预设的权重，将所述二个以上候选情绪类别中权重最大的候选情绪类别，作为用户情绪类别。

在本发明的一实施例中，所述基于情感分析的智能问答装置还包括：语气助词添加模块，用于基于所述用户情绪类别，确定要在所述目标文本信息中添加的语气助词及所要添加语气助词的位置；将确定的语气助词添加到目标答案文本中确定的添加语气助词的位置处。

在本发明的一实施例中，所述语音播放模块370还可配置为：基于所述用户情绪类别，确定与所述用户提问相对应的回复情绪类别；将所述回复情绪类别与所述添加了语气助词的目标文本信息输入预设的语音生成模型，获取语音生成模型生成的回复语音，通过扬声器播放。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照所述特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，所述软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

下面参照图6来描述根据本发明的这种实施方式的电子设备400。图6显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备400以通用计算设备的形式表现。电子设备400的组件可以包括但不限于：上述至少一个处理单元410、上述至少一个存储单元420、连接不同***组件(包括存储单元420和处理单元410)的总线430。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元410执行，使得所述处理单元410执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元410可以执行如图2中所示获取模块310，用于从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据；语音识别模块320，用于调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息；第一确定模块330，用于基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别；第二确定模块340，用于基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的提问语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合；情绪确定模块350，用于基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；答案确定模块360，用于基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；语音播放模块370，用于将所述目标答案文本转换成语音通过扬声器播放。

存储单元420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)4201和/或高速缓存存储单元4202，还可以进一步包括只读存储单元(ROM)4203。

存储单元420还可以包括具有一组(至少一个)程序模块4205的程序/实用工具4204，这样的程序模块4205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备400也可以与一个或多个外部设备500(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备400交互的设备通信，和/或与使得该电子设备400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口450进行。并且，电子设备400还可以通过网络适配器460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器460通过总线430与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种基于情感分析的智能问答的方法，其特征在于，所述方法包括：

从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据；

调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息；

基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别；

基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的提问语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合；

基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；

基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；

将所述目标答案文本转换成语音通过扬声器播放。

2.根据权利要求1所述的方法，其特征在于，在所述调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息之前，还包括：

获取预先设置的语音数据样本集合；

预先识别所述语音数据样本集合中每个语音数据样本对应的文本信息；

将所述语音数据样本输入所述语音识别模型，获取由所述语音识别模型输出的文本信息，将所述语音识别模型输出的文本信息与预先识别的文本信息进行比对，如不一致则调整所述语音识别模型，直至所述语音识别模型输出的文本信息与预先确定的文本信息一致。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别包括：

如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为一个候选情绪类别，将该候选情绪类别作为用户情绪类别。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别，还包括：

如果所述第一候选情绪类别集合与所述第二候选情绪类别集合的交集为二个以上候选情绪类别，获取二个以上候选情绪类别的预设的权重；

将所述二个以上候选情绪类别中权重最大的候选情绪类别，作为用户情绪类别。

5.根据权利要求1所述的方法，其特征在于，在所述基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本之后，还包括：

基于所述用户情绪类别，确定要在所述目标文本信息中添加的语气助词及所要添加语气助词的位置；

将确定的语气助词添加到目标答案文本中确定的添加语气助词的位置处。

6.根据权利要求4所述的方法，其特征在于，所述将所述目标答案文本转换成语音通过扬声器播放，包括:

基于所述用户情绪类别，确定与所述用户提问相对应的回复情绪类别；

将所述回复情绪类别与所述添加了语气助词的目标文本信息输入预设的语音生成模型，获取语音生成模型生成的回复语音，通过扬声器播放。

7.根据权利要求1所述的方法，其特征在于，所述基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，包括：

从所述提问文本信息中提取情绪关键词；

将所述情绪关键词与所述数据库中的关键词样本进行相似度计算，得到相似度大于预定阈值的多个关键词样本；

将所述相似度大于预定阈值的多个关键词样本关联的候选答案文本样本确定为所述多个候选答案文本信息。

8.一种基于情感分析的智能问答的装置，其特征在于，包括：

获取模块，用于从用户端发送的用户提问视音频数据中，提取所述用户提问视音频数据中包含的提问音频数据；

语音识别模块，用于调用预设的语音识别模型对所述提问音频数据进行识别，获取所述提问音频数据对应的提问文本信息；

第一确定模块，用于基于所述提问文本信息在预设的数据库中确定多个候选答案文本信息，所述多个候选答案文本信息分别对应着多个用户情绪类别；

第二确定模块，用于基于所述提问视音频数据中提取的提问视频数据，利用预设的微表情识别模型，获取所述用户的第一候选情绪类别集合，基于所述提问视音频数据中提取的提问语音数据，利用预设的语音情绪识别模型，获取所述用户的第二候选情绪类别集合；

情绪确定模块，用于基于所述第一候选情绪类别与所述第二候选情绪类别，确定所述用户的情绪类别；

答案确定模块，用于基于所述用户的情绪类别，在所述多个候选答案文本信息中确定目标答案文本；

语音播放模块，用于将所述目标答案文本转换成语音通过扬声器播放。

9.一种基于情感分析的智能问答的电子设备，其特征在于，包括：

存储器，配置为存储可执行指令；

处理器，配置为执行存储器中存储的可执行指令，以实现根据权利要求1-7中任一个所述的方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序指令，当所述计算机指令被计算机执行时，使计算机执行根据权利要求1-7中任一个所述的方法。

Images