CN111651609A - 一种融合知识图谱和情感监督的多轮对话方法及*** - Google Patents

Abstract

一种融合知识图谱和情感监督的多轮对话方法，包括：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；基于所述当前用户意图进行回复。本发明通过在已构建的结构化知识图谱中进行检索、匹配或推理等方法来识别用户意图，同时借助储存上下文信息的对话状态机进一步明确意图，从而进行准确回复。

Description

一种融合知识图谱和情感监督的多轮对话方法及***

技术领域

本发明涉及一种对话领域，具体讲涉及一种融合知识图谱和情感监督的多轮对话方法及***。

背景技术

自然语言对话***正在覆盖越来越多的生活和服务场景，在行业智能化的实现进程中,通过知识图谱对数据进行提炼、萃取、关联、整合,形成行业知识或领域知识,让机器形成对于行业工作的认知能力,并把这些认知能力与技能理解模型进行整合,从而实现这个行业的知识型对话***。

近年来，基于知识图谱的对话***成为学术界和工业界研究和应用的热点。知识图谱的可逻辑推理能力、高度的知识结构化组织能力和高效率的检索使其被广泛应用。然而传统的对话***往往只致力于提升对话***生成语句的语言质量，包括语法性、多样性以及话题相关性等等，却缺乏对用户上下文言语情感的关注和分析。

发明内容

为解决现有技术中存在的缺乏对用户上下文言语情感的关注和分析，本发明提供了一种融合知识图谱和情感监督的多轮对话方法，包括：

将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；

通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；

基于所述当前用户意图进行回复。

优选的，所述通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，包括：

将所述情感序列输入到预先训练好的情绪预测模型中，得到情绪不稳定值；

当所述情绪不稳定值大于设定阈值时，判定用户处于情绪不稳定状态，转入人工服务，进而明确当前用户意图；

否则，认为用户情绪稳定。

优选的，所述情绪预测模型的构建包括：

基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；

将所述融合情感特征输入到分类器中进行情感识别，得到多个情感类别；

基于得到多个情感类别计算各个情感类别在所有情感类别中的比重；

将比重最大的值作为情绪不稳定值。

优选的，所述基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征包括：

对所述连续的情感值序列的文本进行分词和词嵌入处理，基于词嵌入后的文本获得语义情感特征；

基于连续的情感值序列中的视频片段和音频片段提取视频情感特征和音频情感特征；

将所述音频情感特征、视频情感特征和语义情感特征分别拉伸为一维向量并拼接，将拼接得到的一维向量输入多模态情感识别网络模型中的深度置信网络得到融合情感特征。

优选的，所述将获取的连续情感序列输入到预先构建的知识图谱中，识别用户初步意图，包括：

将接收到的情感值序列中的语音信息转换成文本数据，从所述文本数据中抽取实体和关系；

将抽取的实体和关系映射到预先构建的知识图谱中，通过检索所述知识图谱识别用户初步意图。

优选的，所述基于情绪状态和用户初步意图确定当前用户意图，包括：

基于用户初步意图匹配预先设定的业务流程模板，并根据当前时刻之前和之后的情绪状态变化确定当前用户意图。

优选的，所述基于所述当前用户意图进行回复，包括：

基于所述当前用户意图和匹配的预先设定的业务流程模板，在业务流程中进行推导并跳转到下一时刻，最后更新用户的对话状态，返回准确的话术。

一种融合知识图谱和情感监督的多轮对话***，包括：对话管理模块、情绪识别模块和自然语言理解模块；

所述自然语言理解模块，用于将获取的情感序列输入到预先构建的领域知识图谱中，识别用户初步意图；

所述情绪识别模块，用于通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；

所述对话管理模块，用于基于所述当前用户意图进行回复。

优选的，所述自然语言理解模块包括：实体识别与链接子模块、意图识别子模块和槽信息提取子模块；

所述实体识别与链接子模块，用于通过相似度匹配法识别情感序列中音频数据转化成的文本数据中的命名性实体，并将所述实体与知识图谱中对应实体进行链接；

所述意图识别子模块，用于通过检索知识图谱，采用相似度排序识别情感序列中话语的目的，识别用户初步意图；

所述槽信息提取子模块，用于标识情感序列中与目标有关的语义类别。

优选的，所述情绪识别模块，包括：

特征提取子模块、情绪分析子模块和情绪监督子模块；

所述特征提取子模块，用于基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；

所述情绪分析子模块，用于将所述融合情感特征输入到分类器中进行情感识别，得到情感类别；

所述情绪监督子模块，用于实时记录并监督情绪分析子模块的输出的情感类别，并基于所述用户初步意图确定当前用户意图。

优选的，所述对话管理模块包括：对话状态维护子模块和问答子模块；

所述对话状态维护子模块，用于通过有限状态机维护和更新对话的状态；

所述问答子模块，用于基于当前的对话状态和知识图谱生成回复决策，根据情绪监督子模块确定的当前用户意图进行回复。

优选的，还包括输入模块，用于接收用户对话，并将所述用户对话转换为情感序列。

与现有技术相比，本发明的有益效果为：

1、本发明提供的一种融合知识图谱和情感监督的多轮对话方法，包括：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态；并基于所述情绪状态和用户初步意图确定当前用户意图，基于所述当前用户意图进行回复。通过在已构建的结构化知识图谱中进行检索、匹配或推理等方法来识别用户意图，同时借助储存上下文信息的对话状态机进一步明确意图，从而进行准确回复。

2、本发明实时监督用户的情绪状态，记录时序情感信息并进行情绪预测，对于情绪波动较大的用户保证其及时得到人工介入服务。

附图说明

图1为本发明的融合知识图谱和情感监督的多轮对话方法流程图；

图2为本发明的实施例中多轮对话方法结构示意图；

图3为本发明的融合知识图谱和情感监督的多轮对话***示意图；

图4为本发明中DST模块结构示意图；

图5为本发明中问答流程模块交互示意示意图；

图6为本发明中时序情感分析流程示意图。

具体实施方式

本发明中提出的融合知识图谱的多轮对话管理充分利用知识图谱中的关系和属性知识，将输入的内容与情绪的动态变化进行连接，发挥上下文情感序列的重要作用，通过神经网络模型对情感序列中情感的变化进行判断，通过多任务和多目标优化的方法生成多种有效的解决方案，以保证识别的准确性和有效性，利用优化后的算法降低时延和等待时间，以提高原有方法的实用性。

实施例1：一种融合知识图谱和情感监督的多轮对话方法，如图1所示：

步骤1：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；

步骤2：通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；

步骤3：基于所述当前用户意图进行回复。

(1)基本思路

本发明提供一种融合知识图谱和情感监督的多轮对话方法，用于提供精准回复话术，同时对用户的情感状态进行实时监督，针对情绪化用户提供及时有效的解决方案。

步骤1：将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图：

一方面，该机制利用已构建的领域知识图谱作为用户自然语言理解的底层结构化知识库支持，通过在已构建的结构化知识图谱中进行检索、匹配或推理等方法来识别用户意图，同时借助储存上下文信息的对话状态机进一步明确意图，从而进行准确回复；另一方面，实时监督用户的情绪状态，记录时序情感信息并进行情绪预测，对于情绪波动较大的用户保证其及时得到人工介入服务。

(2)多轮对话机制

基于知识图谱和情感监督的多轮对话机制流程如图2所示。用户的语音输入同时传入语义解析和情绪识别两个模块，分别用于自动问答和用户情绪分析。

自动问答方面，如图5所示，主要包括基于知识图谱的语义解析、意图识别、对话任务执行、对话状态维护等步骤。语义解析主要负责将接收到的语音信息转换成文本信息，并进行分词、命名实体识别、实体链接、语义标签抽取、语法语义分析等任务，从而将用户的自然语言问题转换成可解析的结构化逻辑语言表达式。意图识别通过检索意图知识图谱，与问句中的关键词进行相似度匹配以识别出用户意图，如“缴费”、“订餐”等，如果识别出多个相似度较高的意图，则通过进一步查询多轮对话的上下文信息来明确用户意图。明确意图之后则执行相应对话任务，通过和用户的交流获取槽信息，进而根据预设话术回复用户。对话上下文信息由对话状态机进行管理，完成一轮对话后状态机会进行状态的更新。

步骤2：通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图：

情绪分析方面，用户的情绪状态由不稳定值p进行表征，并设定阈值δ。当不稳定值p＞δ时，认为用户处于情绪不稳定状态，对话***无法应对，需要转入人工服务；否则认为用户情绪稳定，可继续由对话***为其服务。不稳定值p由基于历史时序信息的情绪预测模型进行维护，该模型基于LSTM算法，可利用一段连续的情感值序列作为样本进行预测。

(3)模块结构

本发明提出的基于知识图谱和情感监督的多轮对话机制的单元模块如上图3所示，其包含输入模块、对话管理(DM)模块、情绪识别模块、自然语言理解(NLU)模块及底层知识图谱。

1)输入模块

该模块负责接受用户对话的音频信息并进行解码存储进存储单元，并将数据传给情绪识别模块和NLU模块做进一步的特征提取和自然语言处理工作。

2)对话管理模块

该模块控制着人机对话的过程，DM根据对话历史信息，决定此刻对用户的反应。最常见的应用是任务驱动的多轮对话，用户带着明确的目的如订餐、订票等，用户需求比较复杂，有很多限制条件，可能需要分多轮进行陈述，一方面，用户在对话过程中可以不断修改或完善自己的需求，另一方面，当用户的陈述的需求不够具体或明确的时候，机器也可以通过询问、澄清或确认来帮助用户找到满意的结果。

对话状态维护(DST)子模块，如图4所示：

本模块通过有限状态机维护和更新对话的状态。对话状态是一种机器能够处理的数据表征，包含所有可能会影响到接下来决策的信息，如NLU模块的输出、用户的特征等。

问答模块，如图5所示：

该模块基于当前的对话状态和业务流程知识图谱生成回复决策，根据用户意图执行相应任务，包括调用第三方API等。

3)情绪识别模块，如图6所示：

该模块可记录用户的情绪状态变化，并基于连续的情感值序列来预测用户的情绪波动情况，当预测到用户情绪不稳定时申请人工服务，从而减少用户对服务不满意的情况出现。

特征提取子模块

该模块针对音频数据提取其梅尔频谱特征，作为后续神经网络的传入特征，同时通过语音识别技术将音频数据转化为文本数据，将其转化为词向量后传入后续的LSTM网络。

情绪分析子模块

该模块利用特征提取子模块提取出的情感特征经由分类器完成情感识别任务。模型采用一段时序情感数据而不是单一时刻的情感值作为输入，可以更好地刻画用户情感状态变化过程和变化趋势，同时避免单一时刻的情感值不准确带来的巨大误差。

情绪监督子模块

该模块实时记录并监督情绪分析子模块的输出值，即表征用户情绪不稳定程度的不稳定值，当该值超过设定阈值δ时，认为用户处于情绪不稳定状态，对话***无法应对，此时应调用人工服务的接口。

4)自然语言理解模块

该模块的功能是利用知识图谱识别输入话语的领域和意图，获得任务相关的语义信息。语义信息可分为实体、关系、句子三个层次，实体层面的理解体现为直接匹配，将文本中代表实体的短语链接至知识库中的特定实体；关系层面的理解体现为结构匹配，将自然语言关系转换为由知识库关系所构建的特定语义结构；句子层面的理解则对单一关系的结构匹配进行深入扩展，对于问句而言还体现为推理匹配，即根据语义结构，从知识库中寻找问句的正确答案。

实体识别与链接子模块

该模块负责将用户问句中出现的实体和关系映射到知识图谱里。实体识别的功能是识别用户语音转化成的文本数据中的命名性实体，包括业务涵盖的各种领域、每个领域涉及的用户意图等，主要通过相似度匹配等算法实现；实体链接的功能是将实体提及与知识库中对应实体进行链接，该过程需要考虑文本的多样性和歧义性。

意图识别子模块

该模块通过检索领域知识图谱，通过相似度排序识别用户话语的目的，比如是告知某个信息，还是确认某个信息。如果识别出多个相似度较高的意图，则查询对话上下文信息进一步明确用户意图。

槽信息提取子模块

该模块旨在标识用户话语中与目标有关的语义类别，比如预订机票时需要的出发地、目的地、时间等语义类别。槽是多轮对话过程中将初步用户意图转化为明确用户指令所需要补全的信息，一个槽与一件事情的处理中所需要获取的一种信息相对应。

步骤3：基于所述当前用户意图进行回复：

5)知识图谱

本发明提出的多轮对话机制借助知识图谱提供智能问答能力，支持实时查找相关问题的解决方案与话术，以提升用户体验。其中领域知识图谱负责存储业务涵盖的各种领域、每个领域涉及的用户意图等，业务流程知识图谱负责存储不同业务的工作流程，对话***通过查询该图谱来制定回复策略。用户语音经过NLU模块处理后，可利用结构化知识库将用户问题转化为结构化的查询语句，进而在知识图谱中进行查询、推理等操作，以获得准确回复。

知识图谱以图的方式来展现实体、事件及其之间的关系，以RDF三元组(<实体-关系-实体>或<实体-属性-值>)形式进行存储管理，使大规模领域知识以结构化的形式供存储及高效查询，有利于知识表示、知识发现和理解、知识推理等应用。在基于知识图谱的自动问答中，具体过程需要分析用户问题中的语义单元与知识图谱中的实体、概念进行链接，并分析问句中这些语义单元之间的语义关系，将用户问题解析成为知识图谱中所定义的实体、概念、关系所组成的结构化语义表示形式。

与现有技术相比，本发明中提出的融合知识图谱和情感监督的多轮对话机制利用知识图谱中的关系和属性知识，将输入的内容与情绪的动态变化进行连接，发挥上下文情感序列的重要作用，通过神经网络模型对情感序列中情感的变化进行判断，通过多任务和多目标优化的方法生成多种有效的解决方案，保证了识别的准确性和有效性，利用优化后的算法降低了时延和等待时间，提高了原有方法的实用性。

实施例2

基于同一发明构思的本发明还提供了一种融合知识图谱和情感监督的多轮对话***，包括：对话管理模块、情绪识别模块和自然语言理解模块；

所述自然语言理解模块，用于将获取的情感序列输入到预先构建的领域知识图谱中，识别用户初步意图；

所述情绪识别模块，用于通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；

所述对话管理模块，用于基于所述当前用户意图进行回复。

所述自然语言理解模块包括：实体识别与链接子模块、意图识别子模块和槽信息提取子模块；

所述实体识别与链接子模块，用于通过相似度匹配法识别情感序列中音频数据转化成的文本数据中的命名性实体，并将所述实体与知识图谱中对应实体进行链接；

所述意图识别子模块，用于通过检索知识图谱，采用相似度排序识别情感序列中话语的目的，识别用户初步意图；

所述槽信息提取子模块，用于标识情感序列中与目标有关的语义类别。

所述情绪识别模块，包括：

特征提取子模块、情绪分析子模块和情绪监督子模块；

所述特征提取子模块，用于基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；

所述情绪分析子模块，用于将所述融合情感特征输入到分类器中进行情感识别，得到情感类别；

所述情绪监督子模块，用于实时记录并监督情绪分析子模块的输出的情感类别，并基于所述用户初步意图确定当前用户意图。

所述对话管理模块包括：对话状态维护子模块和问答子模块；

所述对话状态维护子模块，用于通过有限状态机维护和更新对话的状态；

所述问答子模块，用于基于当前的对话状态和知识图谱生成回复决策，根据情绪监督子模块确定的当前用户意图进行回复。

还包括输入模块，用于接收用户对话，并将所述用户对话转换为情感序列。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (12)

1.一种融合知识图谱和情感监督的多轮对话方法，其特征在于，包括：

将获取的情感序列输入到预先构建的知识图谱中，识别用户初步意图；

通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；

基于所述当前用户意图进行回复。

2.如权利要求1所述的多轮对话方法，其特征在于，所述通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，包括：

将所述情感序列输入到预先训练好的情绪预测模型中，得到情绪不稳定值；

当所述情绪不稳定值大于设定阈值时，判定用户处于情绪不稳定状态，转入人工服务，进而明确当前用户意图；

否则，认为用户情绪稳定。

3.如权利要求2所述的多轮对话方法，其特征在于，所述情绪预测模型的构建包括：

基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；

将所述融合情感特征输入到分类器中进行情感识别，得到多个情感类别；

基于得到多个情感类别计算各个情感类别在所有情感类别中的比重；

将比重最大的值作为情绪不稳定值。

4.如权利要求3所述的多轮对话方法，其特征在于，所述基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征包括：

对所述连续的情感值序列的文本进行分词和词嵌入处理，基于词嵌入后的文本获得语义情感特征；

基于连续的情感值序列中的视频片段和音频片段提取视频情感特征和音频情感特征；

将所述音频情感特征、视频情感特征和语义情感特征分别拉伸为一维向量并拼接，将拼接得到的一维向量输入多模态情感识别网络模型中的深度置信网络得到融合情感特征。

5.如权利要求4所述的多轮对话方法，其特征在于，所述将获取的连续情感序列输入到预先构建的知识图谱中，识别用户初步意图，包括：

将接收到的情感值序列中的语音信息转换成文本数据，从所述文本数据中抽取实体和关系；

将抽取的实体和关系映射到预先构建的知识图谱中，通过检索所述知识图谱识别用户初步意图。

6.如权利要求4所述的多轮对话方法，其特征在于，所述基于情绪状态和用户初步意图确定当前用户意图，包括：

基于用户初步意图匹配预先设定的业务流程模板，并根据当前时刻之前和之后的情绪状态变化确定当前用户意图。

7.如权利要求6所述的多轮对话方法，其特征在于，所述基于所述当前用户意图进行回复，包括：

基于所述当前用户意图和匹配的预先设定的业务流程模板，在业务流程中进行推导并跳转到下一时刻，最后更新用户的对话状态，返回准确的话术。

8.一种融合知识图谱和情感监督的多轮对话***，其特征在于，包括：对话管理模块、情绪识别模块和自然语言理解模块；

所述自然语言理解模块，用于将获取的情感序列输入到预先构建的领域知识图谱中，识别用户初步意图；

所述情绪识别模块，用于通过情绪预测模型对所述情感序列中情感的变化进行判断，确定用户情绪状态，并基于所述情绪状态和用户初步意图确定当前用户意图；

所述对话管理模块，用于基于所述当前用户意图进行回复。

9.如权利要求8所述的多轮对话***，其特征在于，所述自然语言理解模块包括：实体识别与链接子模块、意图识别子模块和槽信息提取子模块；

所述实体识别与链接子模块，用于通过相似度匹配法识别情感序列中音频数据转化成的文本数据中的命名性实体，并将所述实体与知识图谱中对应实体进行链接；

所述意图识别子模块，用于通过检索知识图谱，采用相似度排序识别情感序列中话语的目的，识别用户初步意图；

所述槽信息提取子模块，用于标识情感序列中与目标有关的语义类别。

10.如权利要求8所述的多轮对话***，其特征在于，所述情绪识别模块，包括：特征提取子模块、情绪分析子模块和情绪监督子模块；

所述特征提取子模块，用于基于长短期神经网络提取连续的情感值序列的情感特征，并将所述情感特征输入到深度置信网络得到融合情感特征；

所述情绪分析子模块，用于将所述融合情感特征输入到分类器中进行情感识别，得到情感类别；

所述情绪监督子模块，用于实时记录并监督情绪分析子模块的输出的情感类别，并基于所述用户初步意图确定当前用户意图。

11.如权利要求10所述的多轮对话***，其特征在于，所述对话管理模块包括：对话状态维护子模块和问答子模块；

所述对话状态维护子模块，用于通过有限状态机维护和更新对话的状态；

所述问答子模块，用于基于当前的对话状态和知识图谱生成回复决策，根据情绪监督子模块确定的当前用户意图进行回复。

12.如权利要求8所述的多轮对话***，其特征在于，还包括输入模块，用于接收用户对话，并将所述用户对话转换为情感序列。

Images