CN111339781B - 意图识别方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种意图识别方法、装置、电子设备和存储介质，其中方法包括：确定多轮对话中的当前语句，并将多轮对话中当前语句以外的每一语句作为当前语句的上下文语句；基于预设知识图谱、当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，关联实体为预设知识图谱中当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；基于当前语句的语句表示，以及每一关联实体的实体语义表示，确定当前语句的意图识别结果。本发明实施例提供的方法、装置、电子设备和存储介质，提高了多轮对话意图识别的准确性及可靠性，并降低了意图识别运算的复杂度。

Description

意图识别方法、装置、电子设备和存储介质

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种意图识别方法、装置、电子设备和存储介质。

背景技术

随着人工智能技术的迅猛发展，多轮对话作为自然语义处理领域中研究交互信息处理的重要技术，被广泛应用于人与人、机器与人的交流过程中信息的解析，以明确双方的意图。

目前的多轮对话的意图识别技术，针对于当前语句，多存在上下文信息遗漏或者冗余，以及当前语句及其上下文信息之间的联系难以获取的问题，导致多轮对话的意图识别准确性和可靠性欠佳。

发明内容

本发明实施例提供一种意图识别方法、装置、电子设备和存储介质，用以解决现有的多轮对话意图识别准确性和可靠性低的问题。

第一方面，本发明实施例提供一种意图识别方法，包括：

确定多轮对话中的当前语句，并将所述多轮对话中所述当前语句以外的每一语句作为所述当前语句的上下文语句；

基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，所述关联实体为所述预设知识图谱中所述当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；

基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果。

优选地，所述基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示，具体包括：

基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定关键词实体连接图；

确定所述关键词实体连接图中每一关联实体的实体语义表示。

优选地，所述基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定关键词实体连接图，具体包括：

基于所述当前语句的任一关键词实体，以及任一上下文语句的任一关键词实体，构建实体对；

基于最短路径原则，确定所述预设知识图谱中所述实体对的连接路径；

基于所有实体对的连接路径，确定所述预设知识图谱中的关键词实体连接图。

优选地，所述确定所述关键词实体连接图中每一关联实体的实体语义表示，具体包括：

基于所述预设知识图谱，确定所述关键词实体连接图中每一关联实体的隐式表示；

和/或，将所述关键词实体连接图输入至连接关系推理模型，得到所述连接关系推理模型输出的每一关联实体的显式表示；

基于任一关联实体的隐式表示和/或显式表示，确定所述任一关联实体的实体语义表示。

优选地，所述基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果，具体包括：

基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的上下文融合表示；

基于所述当前语句的上下文融合表示，确定所述当前语句的意图识别结果。

优选地，所述基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的上下文融合表示，具体包括：

基于所述当前语句的语句表示，以及任一上下文语句对应的关联实体的实体语义表示，确定所述任一上下文语句的语句表示；

基于所述当前语句的语句表示，以及每一上下文语句的语句表示，确定所述当前语句的上下文融合表示。

优选地，所述基于所述当前语句的语句表示，以及任一上下文语句对应的关联实体的实体语义表示，确定所述任一上下文语句的语句表示，具体包括：

基于所述当前语句的语句表示，对任一上下文语句对应的每一关联实体的实体语义表示进行注意力变换，得到所述任一上下文语句对应的每一关联实体的注意力权重；

基于所述任一上下文语句对应的每一关联实体的实体语义表示和注意力权重，确定所述任一上下文语句的语句表示。

优选地，所述基于所述当前语句的语句表示，以及每一上下文语句的语句表示，确定所述当前语句的上下文融合表示，具体包括：

基于所述当前语句的语句表示，对每一上下文语句的语句表示进行注意力变换，得到每一上下文语句的注意力权重；

基于所述当前语句的语句表示，以及每一上下文语句的语句表示和注意力权重，确定所述当前语句的上下文融合表示。

优选地，所述基于所述当前语句的上下文融合表示，确定所述当前语句的意图识别结果，之后还包括：

基于所述多轮对话中每一语句的意图识别结果，确定所述多轮对话的话术意图。

第二方面，本发明实施例提供一种意图识别装置，包括：

上下文确定单元，用于确定多轮对话中的当前语句，并将所述多轮对话中所述当前语句以外的每一语句作为所述当前语句的上下文语句；

实体语义表示单元，用于基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，所述关联实体为所述预设知识图谱中所述当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；

意图识别单元，用于基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果。

第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的一种意图识别方法、装置、电子设备和存储介质，通过将多轮对话中当前语句以外的每一语句作为上下文语句，有效避免了上下文信息遗漏的问题；通过应用上下文语句的关键词实体，筛除了上下文信息中包含的冗余信息，有效减小了后续的计算量负担；通过预设知识图谱的应用，将多轮对话中上下文语句与当前语句之间的间接联系，转换为当前语句与各个关联实体之间的直接联系，以便于对于当前语句与上下文语句之间联系的理解和应用，从而提高了多轮对话意图识别的准确性及可靠性，降低了意图识别运算的复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的意图识别方法的流程示意图；

图2为本发明实施例提供的关联实体的实体语义表示确定方法的流程示意图；

图3为本发明实施例提供的关键词实体连接图确定方法的流程示意图；

图4为本发明实施例提供的关键词实体连接图；

图5为本发明另一实施例提供的关联实体的实体语义表示确定方法的流程示意图；

图6为本发明实施例提供的意图识别结果确定方法的流程示意图；

图7为本发明实施例提供的上下文融合表示确定方法的流程示意图；

图8为本发明实施例提供的上下文语句的语句表示的流程示意图；

图9为本发明另一实施例提供的上下文融合表示确定方法的流程示意图；

图10为本发明另一实施例提供的意图识别方法的流程示意图；

图11为本发明实施例提供的意图识别装置的结构示意图；

图12为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着人工智能技术的迅猛发展，多轮对话作为自然语义处理领域中研究交互信息处理的重要技术，被广泛应用于人与人、机器与人的交流过程。

目前的多轮对话的意图识别技术，多需要以当前语句为中心选定上下文语句的范围，在此阶段，若选取局部范围的语句作为上下文语句，则上下文范围难以界定，容易出现遗漏，若选取多轮对话的所有语句作为上下文语句，其中必然包含大量冗余信息，且会造成计算量的大幅度增加。此外，由此选取得到的上下文语句与当前语句之间没有直接联系，而其间存在的间接联系难以被理解和应用，导致了目前的多轮对话的意图识别结果准确性和可靠性欠佳。

对此，本发明实施例提供了一种应用于多轮对话的意图识别方法，图1为本发明实施例提供的意图识别方法的流程示意图，如图1所示，该方法包括：

步骤110，确定多轮对话中的当前语句，并将多轮对话中当前语句以外的每一语句作为当前语句的上下文语句。

具体地，多轮对话可以是人与人交流过程中生成的，也可以是人机交流过程中生成的，多轮对话可以是直接将交流过程中生成的文本导出得到的，也可以是将交流过程中生成的语音数据进行转写得到的，本发明实施例对此不作具体限定。

多轮对话中包含多个语句，当前语句为多轮对话的多个语句中当前需要进行意图识别的语句。在确定当前语句之后，可以将多轮对话中的其余语句均作为当前语句的上下文语句，由此避免选取局部范围的语句作为上下文语句容易遗漏上下文信息的问题。

步骤120，基于预设知识图谱、当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，关联实体为预设知识图谱中当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体。

具体地，预设知识图谱即预先构建的知识图谱(Knowledge Graph，KG)，预设知识图谱可以对应于多轮对话所属业务场景，通过对该业务场景下的相关文本资源进行梳理，明确定义与业务场景相关联的实体，并得到实体之间的关联关系，通过关联关系将各个实体联系起来，形成网状知识结构，并通过实体消歧、共指消解和知识合并等手段得到。需要说明的是，知识图谱的构建方法有多种，本发明实施例对此不作具体限定。

此外，当前语句的关键词实体和上下文语句的关键词实体均可以通过实体抽取技术得到，针对于多轮对话，其中任一语句可以不包含关键词实体，也可以包含一个或多个关键词实体。步骤120是在当前语句中至少包含一个关键词实体的情况下执行的。关键词实体的抽取，在避免上下文信息遗漏的基础上，筛除了上下文信息中包含的冗余信息，有效减小了后续的计算量负担。

在确定当前语句的关键词实体和每一上下文语句的关键词实体后，可以在预设知识图谱中匹配上述关键词实体，从而得到当前语句的关键词实体和每一上下文语句的关键词实体之间的连接路径，进而确定连接路径中的实体为关联实体。此处，当前语句的关键词实体和任一上下文语句的关键词实体的连接路径，包含有两个实体端点，即当前语句的关键词实体以及该上下文语句的关键词实体，还包含有用于连接当前语句的关键词实体和该上下文语句中的关键词实体的每一实体。连接路径中，当前语句的关键词实体和该上下文语句的关键词实体，以及每一起连接作用的实体，均为关联实体。

基于预设知识图谱，可以得到每一关联实体的实体语义表示。此处，任一关联实体的实体语义表示，可以包含关联实体自身的语义表示，也可以包含关联实体及其相连接的关键词实体之间的连接关系，本发明实施例对此不作具体限定。

需要说明的是，步骤120中，通过预设知识图谱的应用，可以将多轮对话中，上下文语句与当前语句之间的间接联系，转换为当前语句与各个关联实体之间的直接联系，以便于对于当前语句与上下文语句之间联系的理解和应用。

步骤130，基于当前语句的语句表示，以及每一关联实体的实体语义表示，确定当前语句的意图识别结果。

具体地，当前语句的语句表示可以包含当前语句自身的语义，还可以包含当前语句在多轮对话中的位置信息。关联实体来源于预设知识图谱中当前语句的关键词实体与上下文语句的关键词实体之间的连接关系，基于当前语句的语句表示和每一关联实体的实体语义表示，可以得到当前语句与每一上下文语句之间的联系。

结合当前语句的语句表示，以及基于当前语句的语句表示和每一关联实体的实体语义表示得到的当前语句与每一上下文语句之间的联系，即可进行意图识别，进而得到当前语句的意图识别结果。此处的意图识别结果可以是当前语句所包含的意图属于各个意图类型的概率，或者判断得到的当前语句所包含的意图的类型等。

本发明实施例提供的方法，通过将多轮对话中当前语句以外的每一语句作为上下文语句，有效避免了上下文信息遗漏的问题；通过应用上下文语句的关键词实体，筛除了上下文信息中包含的冗余信息，有效减小了后续的计算量负担；通过预设知识图谱的应用，将多轮对话中上下文语句与当前语句之间的间接联系，转换为当前语句与各个关联实体之间的直接联系，以便于对于当前语句与上下文语句之间联系的理解和应用，从而提高了多轮对话意图识别的准确性及可靠性，降低了意图识别运算的复杂度。

基于上述实施例，图2为本发明实施例提供的关联实体的实体语义表示确定方法的流程示意图，如图2所示，步骤120具体包括：

步骤121，基于预设知识图谱、当前语句的关键词实体，以及每一上下文语句的关键词实体，确定关键词实体连接图。

具体地，关键词实体连接图包含有当前语句的每一关键词实体分别与每一上下文语句的每一关键词实体的连接路径，关键词实体连接图中的每一实体均为关联实体。

步骤122，确定关键词实体连接图中每一关联实体的实体语义表示。

具体地，针对于关键词实体连接图中的任一关联实体，其实体语义表示可以包含该关联实体自身的语义表示，也可以包含该关联实体于关键词实体连接图中的连接关系，还可以包含该关联实体于预设知识图谱中的连接关系，本发明实施例对此不作具体限定。

基于上述任一实施例，图3为本发明实施例提供的关键词实体连接图确定方法的流程示意图，如图3所示，步骤121具体包括：

步骤1211，基于当前语句的任一关键词实体，以及任一上下文语句的任一关键词实体，构建实体对。

具体地，将当前语句中的每一关键词实体，分别与每一上下文语句中的每一关键词实体进行两两配对，即可得到多个具有直接关系或者间接关系的实体对。任一实体对包含一个当前语句的关键词实体，以及一个上下文语句的关键词实体，具有直接关系的实体对是指在预设知识图谱中当前语句的关键词实体和上下文语句的关键词实体直接连接，具有间接关系的实体对是至在预设知识图谱中当前语句的关键词实体和上下文语句的关键词实体通过若干个其他实体连接。

假设当前语句中的第i个关键词实体为

上下文语句中的第j个关键词实体为/>

其中m_e为当前语句中关键词实体的个数，n_e为所有上下文语句中关键词实体的个数。将/>

与/>

两两配对，即可形成实体对r_ij。

步骤1212，基于最短路径原则，确定预设知识图谱中实体对的连接路径。

具体地，在预设知识图谱中可能存在若干条路径用于连接实体对中的两个关键词实体。最短路径原则用于指示选择预设知识图谱中用于连接实体对中的两个关键词的路径中的最短路径，作为实体对的连接路径。此处，路径越短，用于连接两个关键词实体的中间实体数量越少，越能够体现两个关键词实体之间的间接关系。

此处，任一实体对的连接路径包含有连接实体对中的两个关键词实体的各个关联实体，以及各个关联实体之间的关系。连接路径中的各个实体可以体现为实体序列，第k个实体对的实体序列为

其中，/>

为当前语句的关键词实体，/>

为上下文语句的关键词实体，L为连接路径包含的关联实体的个数。

步骤1213，基于所有实体对的连接路径，确定预设知识图谱中的关键词实体连接图。

具体地，在得到所有实体对的连接路径后，从预设知识图谱中抽取所有连接路径所包含的关联实体，并保留每两个相邻的关联实体之间的连接关系，合并重复出现的关联实体，得到对应于当前语句的关键词实体连接图。

本发明实施例提供的方法，通过最短路径原则实现了关键词实体连接图的构建，从而利用预设知识图谱的先验知识实现了各个关键词实体之间关系的抽取，有助于提高后续意图识别的准确性。

基于上述任一实施例，假设多轮对话包括下表示出的各个语句：

图4为本发明实施例提供的关键词实体连接图，参考图4，实体对[广汽丰田,珍珠白]所对应的实体序列为[广汽丰田,车型，颜色，珍珠白]，实体对[广汽丰田,16万]所对应的实体序列为[广汽丰田,车型，价格，16万]，实体对[广汽丰田,普通价]所对应的实体序列为[广汽丰田,车型，价格，普通价]，实体对[广汽丰田,7月]所对应的实体序列为[广汽丰田,车型，7月]。

基于上述任一实施例，图5为本发明另一实施例提供的关联实体的实体语义表示确定方法的流程示意图，如图5所示，步骤122具体包括：

步骤1221，基于预设知识图谱，确定关键词实体连接图中每一关联实体的隐式表示。

具体地，预设知识图谱中包含有各个实体以及各个实体之间的关系，通过知识图谱嵌入(Knowledge Graph Embedding，KGE)技术，将预设知识图谱中的实体和关系转化为连续的向量空间，从而得到关键词实体连接图中每一关联实体的知识图谱嵌入向量，作为每一关联实体的隐式表示。此处，任一关联实体的隐式表示能够基于预设知识图谱的先验知识，表征该关联实体与其他实体的通用关系。此处，知识图谱嵌入技术具体可以通过TransE模型、TransH模型、TransR模型等实现。

和/或，步骤1222，将关键词实体连接图输入至连接关系推理模型，得到连接关系推理模型输出的每一关联实体的显式表示。

具体地，将关键词实体连接图输入至连接关系推理模型，由连接关系推理模型对关键词实体连接图中各个关联实体之间的直接或间接的多轮对话语境关系进行分析，进而输出每一关联实体的显式表示。此处，关联实体的显式表示中包含有关联实体与其余关联实体在多轮对话语境下的关系。

需要说明的是，在对连接关系推理模型进行训练时，可以将各个实体的隐式表示作为初始值进行初始化。

步骤1223，基于任一关联实体的隐式表示和/或显式表示，确定该关联实体的实体语义表示。

具体地，若仅执行步骤1221未执行步骤1222，则将任一关联实体的隐式表示作为其实体语义表示；若仅执行步骤1222未执行步骤1221，则将任一关联实体的显式表示作为其实体语义表示；若既执行步骤1221也执行步骤1222，则结合任一关联实体的隐式表示和显式表示，得到该关联实体的实体语义表示，此时实体语义表示不仅包含有该关联实体与其他实体的通用关系，也包含有该关联实体与其他实体在多轮对话语境下的关系。

本发明实施例提供的方法，通过预设知识图谱，确定关联实体的隐式表示，以表征关联实体与其他实体的通用关系；通过连接关系推理模型，确定关联实体的显式表示，以表征关联实体与其他实体在多轮对话语境下的关系，以便于对于当前语句与上下文语句之间联系的理解和应用，从而提高了多轮对话意图识别的准确性及可靠性。

基于上述任一实施例，连接关系推理模型可以为预先训练的图卷积神经网络(Graph Convolutional Network，GCN)。

进一步地，连接关系推理模型可以为双层图卷积神经网络，将关键词实体连接图中关联实体的隐式表示作为初始值进行初始化，通过如下公式得到第一层图卷积神经网络GCN的输出表示：

其中，

为第i个关联实体在第一层GCN的输出表示，N_n为指向第i个关联实体的所有关联实体的索引集合，N_o为第i个关联实体指出的所有关联实体的索引集合，W¹为关联实体自身对应的第一层权值参数矩阵，/>

为指向关联实体对应的第一层权值参数矩阵，/>

为指出关联实体对应的第一层权值参数矩阵，b¹为第一层GCN的偏置向量，f为relu激活函数。

第二层GCN的计算过程和第一层GCN类似，按照以下公式进行计算：

其中，

为第i个关联实体在第二层GCN的输出表示，作为连接关系推理模型输出的显式表示，W²为关联实体自身对应的第二层权值参数矩阵，/>

为指向关联实体对应的第二层权值参数矩阵，/>

为指出关联实体对应的第二层权值参数矩阵，b²为第二层GCN的偏置向量。

利用在关键词实体连接图中与当前关联实体存在指向关系和指出关系的关联实体，更新当前关联实体的表示，使当前关联实体的表示融入其在图中的结构信息，该结构信息体现了当前语句和上下文语句之间的多轮对话语境关系。

基于上述任一实施例，步骤1223中，任一关联实体的实体语义表示具体可体现为如下公式：

其中，v_i为第i个关联实体结合预设知识图谱和连接关系推理模型得到的实体语义表示，W_n和W_e分别为隐式表示

和显式表示/>

对应的权值参数矩阵。

基于上述任一实施例，图6为本发明实施例提供的意图识别结果确定方法的流程示意图，如图6所示，步骤130具体包括：

步骤131，基于当前语句的语句表示，以及每一关联实体的实体语义表示，确定当前语句的上下文融合表示。

具体地，将当前语句的语句表示与每一关联实体的实体语义表示相融合，即可得到当前语句的上下文融合表示。此处，当前语句的上下文融合表示包含有当前语句与每一关联实体之间的联系，而关联实体来源于预设知识图谱中当前语句的关键词实体与上下文语句的关键词实体之间的连接关系，当前语句与每一关联实体之间的联系即反应了当前语句与每一上下文语句之间的联系。由此得到的上下文融合表示，不仅包含有当前语句自身的语义，还包含了当前语句完整的上下文信息。

步骤132，基于当前语句的上下文融合表示，确定当前语句的意图识别结果。

具体地，在得到当前语句的上下文融合表示后，即可应用上下文融合表示进行意图识别，进而得到当前语句的意图识别结果。此处的意图识别可以是将上下文融合表示输入至预先训练好的意图识别模型中进行分类。

基于上述任一实施例，图7为本发明实施例提供的上下文融合表示确定方法的流程示意图，如图7所示，步骤131具体包括：

步骤1311，基于当前语句的语句表示，以及任一上下文语句对应的关联实体的实体语义表示，确定该上下文语句的语句表示。

具体地，针对于任一上下文语句，该上下文语句对应的关联实体包括预设知识图谱上，该上下文语句的每一关键词实体分别与当前语句的每一关键词实体的连接路径中的实体。基于当前语句的语句表示，对该上下文语句对应的关联实体的实体语义表示进行重组表示，即可得到该上下文语句的语句表示。

步骤1312，基于当前语句的语句表示，以及每一上下文语句的语句表示，确定当前语句的上下文融合表示。

具体地，在得到每一上下文语句的语句表示后，将每一上下文语句的语句表示与当前语句的语句表示相结合，即可得到当前语句的上下文融合表示。

基于上述任一实施例，图8为本发明实施例提供的上下文语句的语句表示的流程示意图，如图8所示，步骤1311具体包括：

步骤1311-1，基于当前语句的语句表示，对任一上下文语句对应的每一关联实体的实体语义表示进行注意力变换，得到该上下文语句对应的每一关联实体的注意力权重。

假设当前语句的关键词实体与任一上下文语句的关键词实体两两配对，共形成K个实体对，假设第k个实体对的关联实体包括

L为第k个实体对的连接路径包含的关联实体的个数。第k个实体对的关联实体的实体语义表示为

基于注意力机制，应用当前语句的语句表示s，对任一上下文语句对应的第k个实体对中每一关联实体的实体语义表示进行重组表示，通过如下公式得到该上下文语句对应的第k个实体对中每一关联实体的注意力权重：

式中，

和/>

分别为该上下文语句对应的第k个实体对中第l个实体语义表示的归一化前和归一化后的注意力权重，W_L为权重矩阵，b_L为偏置向量。

基于上述公式，即可得到该上下文语句对应的每一实体对中每一实体语语义表示的注意力权重，即该上下文语句对应的每一关联实体的注意力权重。

步骤1311-2，基于该上下文语句对应的每一关联实体的实体语义表示和注意力权重，确定该上下文语句的语句表示。

具体地，可以将上下文语句对应的每一关联实体的实体语义表示和注意力权重进行加权求和，得到该上下文语句的语句表示，也可以将上下文语句对应的任一实体对中每一关联实体的实体语义表示和注意力权重进行加权求和，得到该实体对的实体对表示，并对每一实体对表示求平均，得到该上下文语句的语句表示。

例如，基于该上下文语句对应的任一实体对中每一关联实体的实体语义表示和注意力权重进行加权求和，即可得到该实体对的实体对表示c^k，具体可以通过如下公式实现：

在此基础上，对各个实体对的实体对表示求平均，得到上下文语句的语句表示g_m：

本发明实施例提供的方法，基于注意力机制，通过当前语句计算上下文语句对应的每一关联实体的注意力权重，即赋予与当前语句联系密切的关联实体较高权重，赋予与当前语句联系不大的关联实体较低权重，来区分不同关联实体在重组过程中的贡献作用。

基于上述任一实施例，图9为本发明另一实施例提供的上下文融合表示确定方法的流程示意图，如图9所示，步骤1312具体包括：

步骤1312-1，基于当前语句的语句表示，对每一上下文语句的语句表示进行注意力变换，得到每一上下文语句的注意力权重。

此处，任一上下文语句的注意力权重可以通过如下公式确定：

p_m＝W_M(tanh[s；g_m])+b_M

式中，M为多轮对话里所有上下文语句的个数，p_m和β_m分别表示第m个上下文语句的归一化前和归一化后的注意力权重，W_M为权重矩阵，b_M为偏置得分。

步骤1312-2，基于当前语句的语句表示，以及每一上下文语句的语句表示和注意力权重，确定当前语句的上下文融合表示。

具体地，在得到每一上下文语句的注意力权重后，可以对每一上下文语句的语句表示和注意力权重进行加权求和，并将加权求和的结果与当前语句的语句表示相结合，得到当前语句的上下文融合表示。

例如，对每一上下文语句的语句表示和注意力权重进行加权求和，可以体现为如下公式：

随后，将当前语句融入上下文信息之后的表示z和当前语句与上下文信息无关的语句表示s用非线性结构进行拼接，得到上下文融合表示，将结合了上下文有关的信息和上下文无关的信息的上下文融合表示应用于意图识别，在融入上下文信息的同时，避免上下文信息削弱当前语句信息，突出当前语句信息的重要性。

在此基础上，可以基于如下公式得到意图识别结果：

h＝σ(W_zz+W_ss)

其中，W_Z和W_s分别为z和s对应的权重矩阵，σ为sigmoid激活函数，h∈Rⁿ为当前语句预测得到的意图得分向量，n为意图类别数目，h中每个位置的元素值与该位置所属的意图得分一一对应，意图得分越大，则当前语句表达了该意图的可能性越大，若意图对应的元素值大于预设阈值，如0.5，则确定当前语句中表达了该意图。

基于上述任一实施例，步骤130之后还包括：基于多轮对话中每一语句的意图识别结果，确定多轮对话的话术意图。

具体地，多轮对话中存在多个语句，每一语句均可以作为当前语句执行步骤110-步骤130，以得到每一语句的意图识别结果。在得到每一语句的意图识别结果之后，可以结合单通多轮对话中每一语句的意图识别结果，确定该通多轮对话的话术意图。例如，可以将每一语句的意图识别结果进行累加，将累加结果作为话术意图。

基于上述任一实施例，意图识别方法可用于识别客服人员与客户的多轮对话中，客户人员在每轮对话中的意图，进而判断客服人员是否说出完整指定的话术，从而检查并提高客服人员服务质量。图10为本发明另一实施例提供的意图识别方法的流程示意图，如图10所示，多轮对话意图识别方法包括如下包括：

首先，根据业务场景建立知识图谱。这一步骤通常在执行多轮对话意图识别之前完成，此处建立的知识图谱即预设知识图谱。

其次，输入当前语句进行意图识别。此处，当前语句即多轮对话中需要进行意图识别的一个语句，多轮对话中的其余语句均为当前语句的上下文语句。

随即，基于预设知识图谱生成当前语句的关键词实体连接图。此步骤中，通过实体抽取技术，分别得到当前语句与每一上下文语句的关键词实体，从而基于预设知识图谱、当前语句的关键词实体，以及每一上下文语句的关键词实体，确定关键词实体连接图。此处，关键词实体连接图包含有当前语句的每一关键词实体分别与每一上下文语句的每一关键词实体的连接路径，关键词实体连接图中的每一实体均为关联实体。

接着，应用预设知识图谱确定关键词实体连接图中每一关联实体的隐式表示。此处，通过知识图谱嵌入(Knowledge Graph Embedding，KGE)技术，将预设知识图谱中的实体和关系转化为连续的向量空间，从而得到每一关联实体的知识图谱嵌入向量，作为每一关联实体的隐式表示。

应用GCN确定关键词实体连接图中每一关联实体的显式表示。此处，预先应用GCN构建连接关系推理模型，并将关键词实体连接图输入至连接关系推理模型，得到连接关系推理模型输出的每一关联实体的显式表示。

随后，联合隐式表示和显式表示，确定关键词实体连接图中每一关联实体的实体语义表示。

在此基础上，基于当前语句对每一上下文语句对应的关联实体进行重组表示，得到每一上下文语句的语句表示。此处，针对任一上下文语句，基于当前语句的语句表示，应用注意力机制对该上下文语句对应的关联实体的实体语义表示进行重组表示，即可得到该上下文语句的语句表示。

基于当前语句对所有上下文语句进行重组表示。此处，在得到每一上下文语句的语句表示后，基于当前语句的语句表示，对每一上下文语句的语句表示进行注意力变换，得到每一上下文语句的注意力权重，对每一上下文语句的语句表示和注意力权重进行加权求和，从而实现上下文语句的重组表示。

当前语句融合上下文重组表示进行意图识别。将上下文有关的上下文重组表示，和上下文无关的当前语句的语句表示相融合，得到上下文融合表示应用于意图识别。

在完成当前语句的意图识别后，判断当前语句是否为一通多轮对话的最后一个语句，如果是，则基于多轮对话中每一语句的意图识别结果，确定多轮对话的话术意图，否则重新确定当前语句，继续针对当前语句进行意图识别。

基于上述任一实施例，图11为本发明实施例提供的意图识别装置的结构示意图，如图11所示，该装置包括上下文确定单元1110、实体语义表示单元1120和意图识别单元1130；

其中，上下文确定单元1110用于确定多轮对话中的当前语句，并将所述多轮对话中所述当前语句以外的每一语句作为所述当前语句的上下文语句；

实体语义表示单元1120用于基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，所述关联实体为所述预设知识图谱中所述当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；

意图识别单元1130用于基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果。

本发明实施例提供的装置，通过将多轮对话中当前语句以外的每一语句作为上下文语句，有效避免了上下文信息遗漏的问题；通过应用上下文语句的关键词实体，筛除了上下文信息中包含的冗余信息，有效减小了后续的计算量负担；通过预设知识图谱的应用，将多轮对话中上下文语句与当前语句之间的间接联系，转换为当前语句与各个关联实体之间的直接联系，以便于对于当前语句与上下文语句之间联系的理解和应用，从而提高了多轮对话意图识别的准确性及可靠性，降低了意图识别运算的复杂度。

基于上述任一实施例，实体语义表示单元1120包括：

连接图确定子单元，用于基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定关键词实体连接图；

语义表示子单元，用于确定所述关键词实体连接图中每一关联实体的实体语义表示。

基于上述任一实施例，连接图确定子单元具体用于：

基于所述当前语句的任一关键词实体，以及任一上下文语句的任一关键词实体，构建实体对；

基于最短路径原则，确定所述预设知识图谱中所述实体对的连接路径；

基于所有实体对的连接路径，确定所述预设知识图谱中的关键词实体连接图。

基于上述任一实施例，语义表示子单元具体用于：

基于所述预设知识图谱，确定所述关键词实体连接图中每一关联实体的隐式表示；

和/或，将所述关键词实体连接图输入至连接关系推理模型，得到所述连接关系推理模型输出的每一关联实体的显式表示；

基于任一关联实体的隐式表示和/或显式表示，确定所述任一关联实体的实体语义表示。

基于上述任一实施例，意图识别单元1130包括：

融合表示子单元，用于基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的上下文融合表示；

意图识别子单元，用于基于所述当前语句的上下文融合表示，确定所述当前语句的意图识别结果。

基于上述任一实施例，融合表示子单元包括：

上下文语句表示模块，用于基于所述当前语句的语句表示，以及任一上下文语句对应的关联实体的实体语义表示，确定所述任一上下文语句的语句表示；

上下文融合表示模块，用于基于所述当前语句的语句表示，以及每一上下文语句的语句表示，确定所述当前语句的上下文融合表示。

基于上述任一实施例，上下文语句表示模块具体用于：

基于所述当前语句的语句表示，对任一上下文语句对应的每一关联实体的实体语义表示进行注意力变换，得到所述任一上下文语句对应的每一关联实体的注意力权重；

基于所述任一上下文语句对应的每一关联实体的实体语义表示和注意力权重，确定所述任一上下文语句的语句表示。

基于上述任一实施例，上下文融合表示模块具体用于：

基于所述当前语句的语句表示，对每一上下文语句的语句表示进行注意力变换，得到每一上下文语句的注意力权重；

基于所述当前语句的语句表示，以及每一上下文语句的语句表示和注意力权重，确定所述当前语句的上下文融合表示。

基于上述任一实施例，该装置还包括话术识别单元，所述话术识别单元用于：

基于所述多轮对话中每一语句的意图识别结果，确定所述多轮对话的话术意图。

图12为本发明实施例提供的电子设备的结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(Communications Interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑命令，以执行如下方法：确定多轮对话中的当前语句，并将所述多轮对话中所述当前语句以外的每一语句作为所述当前语句的上下文语句；基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，所述关联实体为所述预设知识图谱中所述当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果。

此外，上述的存储器1230中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定多轮对话中的当前语句，并将所述多轮对话中所述当前语句以外的每一语句作为所述当前语句的上下文语句；基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，所述关联实体为所述预设知识图谱中所述当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种意图识别方法，其特征在于，包括：

确定多轮对话中的当前语句，并将所述多轮对话中所述当前语句以外的每一语句作为所述当前语句的上下文语句；

基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，所述关联实体为所述预设知识图谱中所述当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；

基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果。

2.根据权利要求1所述的意图识别方法，其特征在于，所述基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示，具体包括：

基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定关键词实体连接图；

确定所述关键词实体连接图中每一关联实体的实体语义表示。

3.根据权利要求2所述的意图识别方法，其特征在于，所述基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定关键词实体连接图，具体包括：

基于所述当前语句的任一关键词实体，以及任一上下文语句的任一关键词实体，构建实体对；

基于最短路径原则，确定所述预设知识图谱中所述实体对的连接路径；

基于所有实体对的连接路径，确定所述预设知识图谱中的关键词实体连接图。

4.根据权利要求2所述的意图识别方法，其特征在于，所述确定所述关键词实体连接图中每一关联实体的实体语义表示，具体包括：

基于所述预设知识图谱，确定所述关键词实体连接图中每一关联实体的隐式表示；

和/或，将所述关键词实体连接图输入至连接关系推理模型，得到所述连接关系推理模型输出的每一关联实体的显式表示；

基于任一关联实体的隐式表示和/或显式表示，确定所述任一关联实体的实体语义表示。

5.根据权利要求1所述的意图识别方法，其特征在于，所述基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果，具体包括：

基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的上下文融合表示；

基于所述当前语句的上下文融合表示，确定所述当前语句的意图识别结果。

6.根据权利要求5所述的意图识别方法，其特征在于，所述基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的上下文融合表示，具体包括：

基于所述当前语句的语句表示，以及任一上下文语句对应的关联实体的实体语义表示，确定所述任一上下文语句的语句表示；

基于所述当前语句的语句表示，以及每一上下文语句的语句表示，确定所述当前语句的上下文融合表示。

7.根据权利要求6所述的意图识别方法，其特征在于，所述基于所述当前语句的语句表示，以及任一上下文语句对应的关联实体的实体语义表示，确定所述任一上下文语句的语句表示，具体包括：

基于所述当前语句的语句表示，对任一上下文语句对应的每一关联实体的实体语义表示进行注意力变换，得到所述任一上下文语句对应的每一关联实体的注意力权重；

基于所述任一上下文语句对应的每一关联实体的实体语义表示和注意力权重，确定所述任一上下文语句的语句表示。

8.根据权利要求6所述的意图识别方法，其特征在于，所述基于所述当前语句的语句表示，以及每一上下文语句的语句表示，确定所述当前语句的上下文融合表示，具体包括：

基于所述当前语句的语句表示，对每一上下文语句的语句表示进行注意力变换，得到每一上下文语句的注意力权重；

基于所述当前语句的语句表示，以及每一上下文语句的语句表示和注意力权重，确定所述当前语句的上下文融合表示。

9.根据权利要求5至8中任一项所述的意图识别方法，其特征在于，所述基于所述当前语句的上下文融合表示，确定所述当前语句的意图识别结果，之后还包括：

基于所述多轮对话中每一语句的意图识别结果，确定所述多轮对话的话术意图。

10.一种意图识别装置，其特征在于，包括：

上下文确定单元，用于确定多轮对话中的当前语句，并将所述多轮对话中所述当前语句以外的每一语句作为所述当前语句的上下文语句；

实体语义表示单元，用于基于预设知识图谱、所述当前语句的关键词实体，以及每一上下文语句的关键词实体，确定每一关联实体的实体语义表示；其中，所述关联实体为所述预设知识图谱中所述当前语句的关键词实体与每一上下文语句的关键词实体的连接路径中的实体；

意图识别单元，用于基于所述当前语句的语句表示，以及每一关联实体的实体语义表示，确定所述当前语句的意图识别结果。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9中任一项所述的意图识别方法的步骤。

12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9中任一项所述的意图识别方法的步骤。

Images