CN114490994B - 对话管理方法及装置 - Google Patents

Abstract

本发明提供一种对话管理方法及装置，该方法包括：获取目标信息；将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息；其中，目标信息，为在与用户进行本次对话的过程中，用户本轮对话输入的信息；对话管理模型，是基于样本信息以及样本信息对应的样本响应信息进行训练后得到的；对话管理模型，用于基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示生成目标信息对应的响应信息；对话状态表示为一维向量。本发明提供的对话管理方法及装置，能在无需人工定义的情况下，实现对人机对话状态的自动维护，能基于一维的对话状态表示，提高计算速度，能实现更高效、更准确和成本投入更低的对话管理。

Description

对话管理方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种对话管理方法及装置。

背景技术

随着科学技术的发展，人机对话，特别是以任务为导向的任务型人机对话，广泛应用于各个领域，例如：个人助手、智能客服以及智能家居等。流畅、高质量的人机对话可以为用户提供快速、高效且不间断的服务，还可以在提高服务质量和用户体验的同时有效降低人力成本。

用户通过人机对话自助完成任务时，例如：用户通过人机对话自助完成订餐任务或订票任务时，通常需要进行多轮人机对话。现有技术可以基于对人机对话状态的维护，实现对上述多轮人机对话的管理。进行人机对话状态维护时，可以根据用户的输入对人机对话的状态进行维护，从而可以通过人机对话状态的维护，确定目前已收集到的信息以及要完成上述任务还需收集的信息。但是，现有技术中通常依赖于人工进行对话状态的维护，导致会话管理的效率较低、失误率较高且成本投入较高。

发明内容

本发明提供一种对话管理方法及装置，用以解决现有技术中会话管理的效率较低、失误率较高且成本投入较高的缺陷，实现更高效、更准确且成本投入更低的对话管理。

本发明提供一种对话管理方法，包括：

获取目标信息；

将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息；

其中，所述目标信息，为在与用户进行本次对话的过程中，所述用户本轮对话输入的信息；所述对话管理模型，是基于样本信息以及所述样本信息对应的样本响应信息进行训练后得到的；

所述对话管理模型，用于基于所述目标信息更新所述本次对话对应的对话状态表示，并基于更新后的对话状态表示生成所述目标信息对应的响应信息；所述对话状态表示为一维向量。

根据本发明提供的一种对话管理方法，所述对话管理模型，包括：自然语言理解子模型、对话状态更新子模型、对话决策子模型和自然语言生成子模型；

相应地，所述将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息，包括：

将所述目标信息输入所述自然语言理解子模型，获取所述自然语言理解子模型输出的所述目标信息对应的语义信息；

将所述语义信息和所述目标信息输入所述对话状态更新子模型，由所述对话状态更新子模型基于所述语义信息和所述目标信息，对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新子模型输出的所述更新后的对话状态表示；

将所述更新后的对话状态表示输入所述对话决策子模型，获取所述对话决策子模型输出的所述目标信息对应的应答策略；

将所述应答策略和所述目标信息输入所述自然语言生成子模型，获取所述自然语言生成子模型输出的所述响应信息。

根据本发明提供的一种对话管理方法，所述对话状态更新子模型，包括：数据查询单元和对话状态更新单元；

相应地，所述将所述语义信息和所述目标信息输入所述对话状态更新子模型，由所述对话状态更新子模型基于所述语义信息和所述目标信息，对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新子模型输出的所述更新后的对话状态表示，包括：

获取所述本次对话中的历史交互信息，并将所述语义信息输入所述数据查询单元，由所述数据查询单元基于所述语义信息进行数据查询，进而获取所述数据查询单元输出的查询结果；

将所述历史交互信息、所述查询结果和所述目标信息输入所述对话状态更新单元，由所述对话状态更新单元基于所述历史交互信息、所述查询结果和所述目标信息对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新单元输出的所述更新后的对话状态表示。

根据本发明提供的一种对话管理方法，所述将所述更新后的对话状态表示输入所述对话决策子模型，获取所述对话决策子模型输出的所述目标信息对应的应答策略，包括：

将所述查询结果和所述更新后的对话状态表示输入所述对话决策子模型，由所述对话决策子模型基于所述查询结果和所述更新后的对话状态表示，生成所述应答策略，进而获取所述对话决策子模型输出的所述应答策略。

根据本发明提供的一种对话管理方法，所述将所述应答策略和所述目标信息输入所述自然语言生成子模型，获取所述自然语言生成子模型输出的所述响应信息，包括：

将所述查询结果、所述应答策略和所述目标信息输入所述自然语言生成子模型，由所述自然语言生成子模型基于所述查询结果、所述应答策略和所述目标信息，生成所述响应信息，进而获取所述自然语言生成子模型输出的所述响应信息。

根据本发明提供的一种对话管理方法，所述将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息之后，还包括：

获取所述用户对所述本次对话的反馈信息；

基于所述反馈信息更新所述对话管理模型。

本发明还提供一种对话管理装置，包括：

数据获取模块，用于获取目标信息；

对话管理模块，用于将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息；

其中，所述目标信息，为在与用户进行本次对话的过程中，所述用户本轮对话输入的信息；所述对话管理模型，是基于样本信息以及所述样本信息对应的样本响应信息进行训练后得到的；

所述对话管理模型，用于基于所述目标信息更新所述本次对话对应的对话状态表示，并基于更新后的对话状态表示生成所述目标信息对应的响应信息；所述对话状态表示为一维向量。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述对话管理方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述对话管理方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述对话管理方法。

本发明提供的对话管理方法及装置，通过获取用户进行本次对话的过程中用户本轮对话输入的信息，作为目标信息之后，将目标信息输入对话管理模型，对话管理模型基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示，生成并输出目标信息对应的响应信息，本次对话对应的对话状态表示为一维向量，能在无需人工定义的情况下，实现对人机对话状态的自动维护，本次对话对应的对话状态表示为一个一维向量，能提高对话管理模型的计算速度，减少计算资源的占用，能实现更高效、更准确和成本投入更低的对话管理。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的对话管理方法的流程示意图；

图2是本发明提供的对话管理方法中对话管理模型的结构示意图；

图3是本发明提供的对话管理装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，对于以任务为导向的任务型人机对话，主要包括自然语言理解、对话管理和自然语言生成三个部分。对话管理可以控制人机对话的过程，通过对话管理可以确定机器对用户的响应。

用户通过人机对话自助完成任务时，例如：用户通过人机对话自助完成订餐任务或订票任务时，自上述人机对话建立开始，至上述人机对话结束，可以称为一次人机对话。在用户需求较为复杂和/或包括较多限制条件的情况下，用户在一次人机对话中可以分多轮进行陈述，即一次人机对话可以包括多轮人机对话。一轮人机对话可以指用户输入信息以及机器对上述信息进行响应的过程。在一次人机对话中，一方面用户可以通过多轮人机对话不断修改和完善自己的需求，另一方面在基于用户的输入不能具体、明确的判断用户需求的情况下，机器也可以通过询问、澄清或确认等方式，确认用户的意图，进而完成上述任务。

对话管理通常可以分为对话状态维护和对话决策两部分。进行对话状态维护时，可以根据用户输入的信息对人机对话的状态进行维护，从而可以确定本次人机对话中已收集到的信息以及若要完成上述任务还需收集的信息。对话决策可以根据维护后的人机对话状态，确定机器对上述信息的响应。

传统的对话管理方法中，人机对话的状态通常采用人工定义的方式进行维护，即从用户输入的信息中抽取意图或者实体之后，需要人工对人机对话的状态进行定义，从而完成对人机对话状态的维护。采用人工定义的方式对人机对话的状态进行维护时，对维护人员的要求较高，维护人员的工作量较大，维护效率较低、失误率较高，从而导致会话管理的效率较低、失误率较高且成本投入较高。

并且，传统的对话管理方法中人机对话的流程通常需要由人工进行预先配置。但预先配置的流程内容固定，对应的响应信息内容较为死板，因此基于传统的对话管理方法进行对话管理存在冗余问题，影响用户体验和对话的完成率。

对此，本发明提供一种对话管理方法。基于本发明提供的对话管理方法，可以在无需人工定义的情况下，基于用户进行本次对话的过程中本轮对话输入的信息，对本次对话对应的一维的对话状态表达进行自动更新，从而可以实现更高效、更准确且成本投入更低的对话管理。

图1是本发明提供的对话管理方法的流程示意图。下面结合图1描述本发明的对话管理方法。如图1所示，该方法包括：步骤101、获取目标信息。

其中，目标信息，为用户进行本次对话的过程中，用户本轮对话输入的信息。

需要说明的是，本发明实施例的执行主体为对话管理装置。

需要说明的是，本发明实施例中的对话，为人机对话。上述人机对话的形式可以是语音对话，也可以是文本对话。本发明实施例中对上述对话的形式不作具体限定。

本次对话，可以指用户当前正在进行的对话。本次对话自用户当前正在进行的人机对话建立时起始，至用户当前正在进行的人机对话结束时结束。

本次对话可以包括多轮对话。

本次对话中的本轮对话，可以指当前时刻用户输入信息以及下一时刻对用户输入的信息进行响应的过程。

具体地，可以通过多种方式获取用户进行本次对话的过程中，用户本轮对话输入的信息，例如：可以接收用户终端发送的用户本轮对话输入的信息；或者，可以在其他电子设备接收到用户终端发送的用户本轮对话输入的信息之后，可以从上述其他电子设备获取用户本轮对话输入的信息。

获取用户进行本次对话的过程中本轮对话输入的信息之后，可以将上述用户本轮对话输入的信息作为目标信息。

需要说明的是，目标信息可以为语音信息，也可以为文本信息。目标信息的类型与用户进行本次对话的形式相对应。

步骤102、将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息；其中，对话管理模型，是基于样本信息以及样本信息对应的样本响应信息进行训练后得到的；对话管理模型，用于基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示生成目标信息对应的响应信息；对话状态表示为一维向量。

需要说明的是，将获取到的目标信息输入对话管理模型之前，可以以样本信息为样本，以样本信息对应的样本响应信息为样本标签，对对话管理模型进行训练，获得训练好的对话管理模型。

具体地，对于样本用户进行的任意一次样本对话，该次样本对话可以包括多轮样本对话。其中，上述样本对话，为人机对话。上述样本对话的形式可以是语音对话，也可以是文本对话。

样本信息可以包括多次样本对话中样本用户输入的信息。样本信息对应的样本响应信息，包括上述多次样本对话中对上述样本用户输入的信息的响应信息。任意两次不同的样本对话，进行上述两次不同样本对话的样本用户可以相同或不同。

样本信息以及样本信息对应的样本响应信息可以是基于先验知识预先确定的。例如：可以通过大数据技术，从历史对话记录中获取样本信息以及样本信息对应的样本响应信息；或者，还可以基于预先配置的流程，生成样本信息以及样本信息对应的样本响应信息。

获取样本信息以及样本信息对应的样本响应信息之后，将样本信息输入训练中的对话管理模型，训练中的对话管理模型可以基于样本信息获取预测的对话状态表示，并基于上述预测的对话状态表示，获取上述样本信息对应的预测响应信息。通过比对上述样本信息对应的预测响应信息和上述样本信息对应的样本响应信息，可以对训练中的对话管理模型的模型参数进行调整，进而可以获得训练好的对话管理模型。

获得训练好的对话管理模型之后，可以将目标信息输入上述训练好的对话管理模型。

上述训练好的对话管理模型可以基于目标信息，对本次对话对应的对话状态表达进行更新，获得本次对话对应的更新后的对话状态表达。上述训练好的对话管理模型获得本次对话对应的更新后的对话状态表达之后，可以基于本次对话对应的更新后的对话状态表达，生成并输出目标信息对应的响应信息。进而可以获得上述训练好的对话管理模型输出的目标信息对应的响应信息。

需要说明的是，本发明实施例中基于目标信息对本次对话对应的对话状态表示进行更新，可以在无需人工定义的情况下，实现对人机对话状态的自动维护，可以提高对话管理的效率和准确度，并可降低对话管理的人工成本。进一步地，本发明实施例中本次对话对应的对话状态表示为一个一维向量。通过一个一维向量确定本次对话中已收集到的信息以及还需收集的信息，对话管理模型的计算速度更快，占用的计算资源更少，进而可以进一步提升对话管理的效率。

可选地，获得上述训练好的对话管理模型输出的目标信息对应的响应信息之后，在本次对话为语音对话的情况下，可以将目标信息对应的响应信息发送至语音播放设备，从而可以利用上述语音播放设备播放目标信息对应的响应信息，从而完成本轮对话；或者，在本次对话为文本对话的情况下，可以将目标信息对应的响应信息发送至显示设备，从而可以利用上述显示设备显示目标信息对应的响应信息，从而完成本轮对话。

本发明实施例通过获取用户进行本次对话的过程中用户本轮对话输入的信息，作为目标信息之后，将目标信息输入对话管理模型，对话管理模型基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示，生成并输出目标信息对应的响应信息，本次对话对应的对话状态表示为一维向量，能在无需人工定义的情况下，实现对人机对话状态的自动维护，本次对话对应的对话状态表示为一个一维向量，能提高对话管理模型的计算速度，减少计算资源的占用，能实现更高效、更准确和成本投入更低的对话管理。

图2是本发明提供的对话管理方法中对话管理模型的结构示意图，如图2所示，对话管理模型，包括：自然语言理解子模型、对话状态更新子模型、对话决策子模型和自然语言生成子模型。

相应地，将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息，包括：将目标信息输入自然语言理解子模型，获取自然语言理解子模型输出的目标信息对应的语义信息。

需要说明的是，可以以样本信息为样本，以样本信息对应的样本语义信息为样本标签，对自然语言理解子模型进行训练。其中，样本信息对应的样本语义信息可以基于先验知识获取。

具体地，将样本信息输入训练中的自然语言理解子模型之后，训练中的自然语言理解子模型可以通过对样本信息进行语义理解，识别样本用户进行样本对话的意图和/或实体，从而获得并输出样本信息对应的预测语义信息。其中，上述语义理解可以包括通过语义相似度计算和/或分类算法等方式，识别样本用户进行样本对话的意图，通过词典和/或序列标注算法（例如BiLSTM+crf等算法）实现实体识别。

获得训练中的自然语言理解子模型输出的样本信息对应的预测语义信息之后，可以通过对比上述预测语义信息和上述样本语义信息，对训练中的自然语言理解子模型的模型参数进行调整，从而获得训练好的自然语言生成子模型。

获得训练好的自然语言生成子模型之后，可以将目标信息输入上述训练好的自然语言理解子模型。

自然语言理解子模型可以对目标信息进行语义理解，通过对目标信息进行语义理解识别用户进行本次对话的意图和/或实体，从而获取并输出目标信息对应的语义信息。

将语义信息和目标信息输入对话状态更新子模型，由对话状态更新子模型基于语义信息和目标信息，对本次对话对应的对话状态表示进行更新，进而获取对话状态更新子模型输出的更新后的对话状态表示。

需要说明的是，实体可以指对话中向用户收集的信息，例如对目标信息进行语义理解，收集到的“出发地”、“目的地”或“出发时间”等信息，即为实体。

需要说明的是，可以以样本信息和样本信息对应的样本语义信息为样本，以样本信息对应的样本对话状态表示为样本标签，对对话状态更新子模型进行训练，获得训练好的对话状态更新子模型。其中，样本信息对应的样本对话状态表示为一个一维向量。样本信息对应的样本对话状态表示可以是基于先验知识获取的。

需要说明的是，样本信息对应的样本对话状态表示，可以用于描述样本信息所在的样本对话中，已收集到的信息以及还需收集的信息。

具体地，可以将样本信息和样本信息对应的样本语义信息输入训练中的对话状态更新子模型。

训练中的对话状态更新子模型可以基于样本信息和样本信息对应的样本语义信息，获取并输出样本信息对应的预测对话状态表示。其中，样本信息对应的预测对话状态表示亦为一个一维向量。

获取训练中的对话状态更新子模型输出的样本信息对应的预测对话状态表示，可以通过对比样本信息对应的预测对话状态表示和样本信息对应的样本对话状态表示，对训练中的对话状态更新子模型的模型参数进行调整，从而获得训练好的对话状态更新子模型。

获得自然语言理解子模型输出的目标信息对应的语义信息之后，可以将上述语义信息和目标信息输入训练好的对话状态更新子模型。

对话状态更新子模型可以基于上述语义信息和目标信息，对本次对话对应的对话状态表示进行更新，获取并输出本次对话更新后的对话状态表示。

将更新后的对话状态表示输入对话决策子模型，获取对话决策子模型输出的目标信息对应的应答策略。

需要说明的是，可以以样本信息对应的样本对话状态表示为样本，以样本信息对应的样本应答策略为样本标签，对对话决策子模型进行训练，获得训练好的对话决策子模型。其中，样本信息对应的样本应答策略可以是基于先验知识获取的。

具体地，将样本信息对应的样本对话状态表示输入训练中的对话决策子模型之后，训练中的对话决策子模型可以基于上述样本对话状态，获取并输出样本信息对应的预测应答策略。

获得训练中的对话决策子模型输出的样本信息对应的预测应答策略之后，可以通过对比样本信息对应的预测应答策略和样本信息对应的样本应答策略，对训练中的对话决策子模型的模型参数进行调整，从而获得训练好的对话决策子模型。

获得对话状态更新子模型输出的本次对话更新后的对话状态表示之后，可以将上述更新后的对话状态表示输入训练好的对话决策子模型。

训练好的对话决策子模型可以基于上述更新后的对话状态表示，获取并输出目标信息对应的应答策略。

将应答策略和目标信息输入自然语言生成子模型，获取自然语言生成子模型输出的响应信息。

需要说明的是，可以以样本信息对应的样本应答策略和样本信息为样本，以样本信息对应的样本响应信息为样本标签，对自然语言生成子模型进行训练，获得训练好的自然语言生成子模型。其中，样本信息对应的样本响应信息可以是基于先验知识获取的。

具体地，将样本信息对应的样本应答策略和样本信息输入训练中的自然语言生成子模型之后，训练中的自然语言生成子模型可以基于样本信息对应的样本应答策略和样本信息生成并输出样本信息对应的预测响应信息。

获取训练中的自然语言生成子模型输出的样本信息对应的预测响应信息之后，可以通过对比样本信息对应的预测响应信息和样本信息对应的样本响应信息，对训练中的自然语言生成子模型的模型参数进行调整，从而可以获得训练好的自然语言生成子模型。

获得对话决策子模型输出的目标信息对应的应答策略之后，可以将目标信息对应的应答策略和目标信息输入训练好的自然语言生成子模型。

训练好的自然语言生成子模型可以基于目标信息对应的应答策略和目标信息，获取并输出目标信息对应的响应信息。

本发明实施例通过将目标信息输入对话管理模型中的自然语言理解子模型，获取上述自然语言理解子模型输出的目标信息对应的语义信息，将上述语义信息和目标信息输入对话管理模型中的对话状态更新子模型，获得上述对话状态更新子模型输出的本次对话对应的更新后的对话状态表示，将上述更新后的对话状态表示输入对话管理模型中的对话决策子模型，获得上述对话决策子模型输出的目标信息对应的应答策略，将上述应答策略输入对话管理模型中的自然语言生成子模型，获得上述自然语言生成子模型输出的目标信息对应的响应信息，能在无需人工定义的情况下，更高效、更准确的实现对人机对话状态的自动维护，能避免依据预先配置的流程对用户进行响应，对用户的响应更灵活，能减少响应的冗余问题，能提高用户体验和对话的完成率。

基于上述各实施例的内容，对话状态更新子模型，包括：数据查询单元和对话状态更新单元。

相应地，将语义信息和目标信息输入对话状态更新子模型，由对话状态更新子模型基于语义信息和目标信息，对本次对话对应的对话状态表示进行更新，进而获取对话状态更新子模型输出的更新后的对话状态表示，包括：获取本次对话中的历史交互信息，并将语义信息输入数据查询单元，由数据查询单元基于语义信息进行数据查询，进而获取数据查询单元输出的语义信息对应的查询结果。

具体地，本次对话中的历史交互信息，可以包括自本次对话建立起至本轮对话之前的每一轮历史对话中的交互信息；或者，本次对话中的历史交互信息，还可以包括本次对话中本轮对话之前预设数量轮历史对话中的交互信息。其中，上述交互信息可以包括用户输入的信息以及对应的响应信息。

需要说明的是，上述预设数量可以根据实际情况确定。本发明实施例中对具体的预设数量不作限定。

本发明实施例中可以通过多种方式获取本次对话中的历史交互信息，例如：自本次对话建立起，可以缓存本次对话中每一轮对话中的交互信息，在获取目标信息之后，可以从缓存中获取本次对话中的历史交互信息。

获得自然语言理解子模型输出的目标信息对应的语义信息之后，可以将上述语义信息输入对话状态更新子模型中的数据查询单元。

数据查询单元可以基于上述语义信息进行数据查询，通过数据查询获取并输出上述语义信息对应的查询结果，上述查询结果可以满足用户进行本次对话的意图和/或实体。例如：上述语义信息包括预订A地至B地的机票，则可以说明用户进行本次对话的意图包括机票预订，数据查询单元可以基于上述语义信息在互联网中或预先确定的数据库中进行数据查询，获取所有从A地至B地的机票信息作为查询结果输出。

需要说明的是，本发明实施例中对获取本次对话中的历史交互信息，以及将目标信息对应的语义信息输入数据查询单元，获取数据查询单元输出的上述语义信息对应的查询结果的先后顺序不作限定。

需要说明的是，在本轮对话为本次对话中的第一轮对话的情况下，本次对话中的历史交互信息为空。

将历史交互信息、查询结果和目标信息输入对话状态更新单元，由对话状态更新单元基于历史交互信息、查询结果和目标信息对本次对话对应的对话状态表示进行更新，进而获取对话状态更新单元输出的更新后的对话状态表示。

需要说明的是，可以以样本信息对应的历史样本交互信息、样本信息对应的样本查询结果和样本信息为样本，以样本信息对应的样本对话状态表示为样本标签，对对话状态更新子模型中的对话状态更新单元进行训练，获得训练好的对话状态更新单元。其中，样本信息对应的历史样本交互信息，可以指样本信息所在的样本对话轮之前，预设数量轮样本对话中的交互信息，或者自样本信息所在的样本对话建立起，每一轮样本对话中的交互信息。样本信息对应的样本查询结果，是基于样本信息对应的样本语义信息获得的。通过将样本信息对应的样本语义信息输入上述数据查询单元，可以获取上述数据查询单元输出的样本信息对应的样本查询结果。

将上述历史样本交互信息、上述样本查询结果和样本信息输入训练中的对话状态更新单元。训练中的对话状态更新单元可以基于上述历史样本交互信息、上述样本查询结果和样本信息，获取上述样本信息对应的预测对话状态表示。通过对比上述预测对话状态表示和样本信息对应的样本对话状态表示，可以对训练中的对话状态更新单元的模型参数进行调整，从而获得训练好的对话状态更新单元。

获取本次对话中的历史交互信息以及数据查询单元输出的上述语义信息对应的查询结果之后，可以将上述历史交互信息、上述查询结果以及目标信息，输出训练好的对话状态更新单元。

训练好的对话状态更新单元可以基于上述历史交互信息、上述查询结果以及目标信息，对本次对话对应的对话状态表示进行更新，进而可以获取并输出本次对话对应的更新后的对话状态表示。

需要说明的是，在本轮对话为本次对话中的第一轮对话的情况下，本次对话中的历史交互信息为空，则将上述查询结果以及目标信息输入训练好的对话状态更新单元之后，对话状态更新单元可以输出本次对话的第一个对话状态表示，并且上述第一个对话状态表示可以为随机值。

本发明实施例通过将目标信息对应的语义信息和目标信息输入对话状态更新子模型中的数据查询单元，获取上述数据查询单元输出的目标信息对应的查询结果，以及获取本次对话中的历史交互信息之后，将上述查询结果、上述历史交互信息和目标信息输入对话状态更新子模型中的对话状态更新单元，对话状态更新单元基于上述查询结果、上述历史交互信息和目标信息对本次对话对应的对话状态表示进行更新，进而获取对话状态更新单元输出的本次对话对应的更新后的对话状态表示，能基于本次对话中的历史交互信息和本次对话对应的查询结果，更灵活、更准确的本次对话对应的对话状态表示进行更新，从而能更灵活的对用户进行响应，能提高用户体验、对话的完成率和对话的流畅性。

基于上述各实施例的内容，将更新后的对话状态表示输入对话决策子模型，获取对话决策子模型输出的目标信息对应的应答策略，包括：将查询结果和更新后的对话状态表示输入对话决策子模型，由对话决策子模型基于查询结果和更新后的对话状态表示，生成应答策略，进而获取对话决策子模型输出的应答策略。

需要说明的是，对对话决策子模型进行训练时，还可以以样本信息对应的样本查询结果和样本信息对应的样本对话状态表示为样本，以样本信息对应的样本应答策略为样本标签，对样本决策子模型进行训练。

获得数据查询单元输出的目标信息对应的查询结果和对话状态单元输出的本次对话对应的更新后的对话状态表示之后，可以将上述查询结果和上述更新后的对话状态表示输入训练好的对话决策子模型。

训练好的对话决策子模型可以基于上述查询结果和上述更新后的对话状态表示，生成并输出目标信息对应的应答策略。

可选地，目标信息对应的应答策略可以包括多种类型。上述类型包括追问、确认、完成和选择。

本发明实施例通过将目标信息对应的查询结果和本次对话对应的更新后的对话状态表示输入对话决策子模型，获得对话决策子模型输出的目标信息对应的应答策略，能基于上述查询结果和上述更新后的对话状态表示，更准确的获得目标信息对应的应答策略，能进一步提高用户体验、对话的完成率和对话的流畅性。

基于上述各实施例的内容，将应答策略和目标信息输入自然语言生成子模型，获取自然语言生成子模型输出的响应信息，包括：将查询结果、应答策略和目标信息输入自然语言生成子模型，由自然语言生成子模型基于查询结果、应答策略和目标信息，生成响应信息，进而获取自然语言生成子模型输出的响应信息。

通常情况下，对于相同的意图，用户可以通过不同的表达方式表达。用户输入信息的表达方式不同，对上述不同表达方式的信息的响应可以不同，例如：若用户输入的信息包括“我要订明天前往W市的机票”，则上述信息对应的响应信息可以包括“为您查询到明天前往W市的机票有A航班、B航班和C航班”，若用户输入的信息包括“有没有明天前往W市的机票”，则上述信息对应的响应信息可以包括“有的，明天前往W市的机票有A航班、B航班和C航班”。根据用户表达方式的不同，进行不同的响应，能更人性化的进行人机对话。

因此，对自然语言生成子模型进行训练时，还可以以样本信息对应的查询结果、样本信息对应的样本应答策略和样本信息为样本，以样本信息对应的样本响应信息为样本标签，对自然语言生成子模型进行训练，得到训练好的自然语言生成子模型。

获得数据查询单元输出的目标信息对应的查询结果、对话决策子模型输出的目标信息对应的应答策略之后，将上述查询结果、上述应答策略和目标信息输入上述训练好的自然语言生成子模型。

上述训练好的自然语言生成子模型可以基于上述查询结果、上述应答策略和目标信息，生成并输出目标信息对应的响应信息。

本发明实施例通过将目标信息对应的查询结果、目标信息对应的应答策略和目标信息输入自然语言生成子模型，获取上述自然语言生成子模型输出的目标信息对应的响应信息，能更人性化、更灵活的获得目标信息对应的响应信息，能进一步提高用户体验、对话的完成率和对话的流畅性。

基于上述各实施例的内容，将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息之后，还包括：获取用户对本次对话的反馈信息。

具体地，用户对本次对话的反馈信息，可以包括但不限于：表示用户在本次对话中确认订单的确认信息、表示用户在本次对话中转人工的第一未完成信息、表示用户在本次对话中中途退出的第二未完成信息以及表示用户对本次对话的满意程度的满意信息或不满意信息等。

本次对话结束后，可以通过多种方式获取用户对本次对话的反馈信息，例如：可以基于接收到的用户对本次对话的满意度评分，获取满意信息；或者，可以根据本次对话的通话状态，获取确认信息、第一未完成信息或第二未完成信息。

基于反馈信息更新对话管理模型。

具体地，获取用户对本次对话的反馈信息之后，可以将用户在本次对话中输入的信息作为样本信息，将上述反馈信息作为样本标签，并基于上述样本及样本标签，对对话管理模型进行更新。

可选地，在反馈信息包括确认信息或满意信息的情况下，可以将上述反馈信息标注为1；在反馈信息包括第一未完成信息、第二未完成信息或不满足信息的情况下，可以将上述反馈信息标注为0。

本发明实施例通过获取用户对本次对话的反馈信息，并基于上述反馈信息对对话管理模型进行更新，能减少人工标注输入的工作量，能快速提高对话管理模型的灵活性、人性化和准确性，能基于更新后的对话管理模型更高效的完成对话，能提高用户体验。

图3是本发明提供的对话管理装置的结构示意图。下面结合图3对本发明提供的对话管理装置进行描述，下文描述的对话管理装置与上文描述的本发明提供的对话管理方法可相互对应参照。如图3所示，该装置包括：数据获取模块301和对话管理模块302。

数据获取模块301，用于获取目标信息。

对话管理模块302，用于将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息。

其中，目标信息，为在与用户进行本次对话的过程中，用户本轮对话输入的信息；对话管理模型，是基于样本信息以及样本信息对应的样本响应信息进行训练后得到的。

对话管理模型，用于基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示生成目标信息对应的响应信息；对话状态表示为一维向量。

具体地，数据获取模块301和对话管理模块302电连接。

数据获取模块301可以用于通过多种方式获取用户进行本次对话的过程中，用户本轮对话输入的信息，例如：可以接收用户终端发送的用户本轮对话输入的信息；或者，可以在其他电子设备接收到用户终端发送的用户本轮对话输入的信息之后，可以从上述其他电子设备获取用户本轮对话输入的信息。

对话管理模块302可以用于将目标信息输入上述训练好的对话管理模型。上述训练好的对话管理模型可以基于目标信息，对本次对话对应的对话状态表达进行更新，获得本次对话对应的更新后的对话状态表达。上述训练好的对话管理模型获得本次对话对应的更新后的对话状态表达之后，可以基于本次对话对应的更新后的对话状态表达，生成并输出目标信息对应的响应信息。进而可以获得上述训练好的对话管理模型输出的目标信息对应的响应信息。

可选地，对话管理装置还可以包括模型更新模块。

模型更新模块可以用于获取用户对本次对话的反馈信息；基于反馈信息更新对话管理模型。

本发明实施例通过获取用户进行本次对话的过程中用户本轮对话输入的信息，作为目标信息之后，将目标信息输入对话管理模型，对话管理模型基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示，生成并输出目标信息对应的响应信息，本次对话对应的对话状态表示为一维向量，能在无需人工定义的情况下，实现对人机对话状态的自动维护，本次对话对应的对话状态表示为一个一维向量，能提高对话管理模型的计算速度，减少计算资源的占用，能实现更高效、更准确和成本投入更低的对话管理。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行对话管理方法，该方法包括：获取目标信息；将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息；其中，目标信息，为在与用户进行本次对话的过程中，用户本轮对话输入的信息；对话管理模型，是基于样本信息以及样本信息对应的样本响应信息进行训练后得到的；对话管理模型，用于基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示生成目标信息对应的响应信息；对话状态表示为一维向量。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的对话管理方法，该方法包括：将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息；其中，目标信息，为在与用户进行本次对话的过程中，用户本轮对话输入的信息；对话管理模型，是基于样本信息以及样本信息对应的样本响应信息进行训练后得到的；对话管理模型，用于基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示生成目标信息对应的响应信息；对话状态表示为一维向量。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的对话管理方法，该方法包括：将目标信息输入对话管理模型，获取对话管理模型输出的目标信息对应的响应信息；其中，目标信息，为在与用户进行本次对话的过程中，用户本轮对话输入的信息；对话管理模型，是基于样本信息以及样本信息对应的样本响应信息进行训练后得到的；对话管理模型，用于基于目标信息更新本次对话对应的对话状态表示，并基于更新后的对话状态表示生成目标信息对应的响应信息；对话状态表示为一维向量。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种对话管理方法，其特征在于，包括：

获取目标信息；

将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息；

其中，所述目标信息，为在与用户进行本次对话的过程中，所述用户本轮对话输入的信息；所述对话管理模型，是基于样本信息以及所述样本信息对应的样本响应信息进行训练后得到的；

所述对话管理模型，用于基于所述目标信息更新所述本次对话对应的对话状态表示，并基于更新后的对话状态表示生成所述目标信息对应的响应信息；所述对话状态表示为一维向量；本次对话中已收集到的信息以及还需收集的信息，基于所述对话状态表示确定；

所述对话管理模型，包括：自然语言理解子模型、对话状态更新子模型、对话决策子模型和自然语言生成子模型；

相应地，所述将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息，包括：

将所述目标信息输入所述自然语言理解子模型，获取所述自然语言理解子模型输出的所述目标信息对应的语义信息；

将所述语义信息和所述目标信息输入所述对话状态更新子模型，由所述对话状态更新子模型基于所述语义信息和所述目标信息，对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新子模型输出的所述更新后的对话状态表示；

将所述更新后的对话状态表示输入所述对话决策子模型，获取所述对话决策子模型输出的所述目标信息对应的应答策略；

将所述应答策略和所述目标信息输入所述自然语言生成子模型，获取所述自然语言生成子模型输出的所述响应信息；

所述对话状态更新子模型，包括：数据查询单元和对话状态更新单元；

相应地，所述将所述语义信息和所述目标信息输入所述对话状态更新子模型，由所述对话状态更新子模型基于所述语义信息和所述目标信息，对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新子模型输出的所述更新后的对话状态表示，包括：

获取所述本次对话中的历史交互信息，并将所述语义信息输入所述数据查询单元，由所述数据查询单元基于所述语义信息进行数据查询，进而获取所述数据查询单元输出的查询结果；

将所述历史交互信息、所述查询结果和所述目标信息输入所述对话状态更新单元，由所述对话状态更新单元基于所述历史交互信息、所述查询结果和所述目标信息对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新单元输出的所述更新后的对话状态表示。

2.根据权利要求1所述的对话管理方法，其特征在于，所述将所述更新后的对话状态表示输入所述对话决策子模型，获取所述对话决策子模型输出的所述目标信息对应的应答策略，包括：

将所述查询结果和所述更新后的对话状态表示输入所述对话决策子模型，由所述对话决策子模型基于所述查询结果和所述更新后的对话状态表示，生成所述应答策略，进而获取所述对话决策子模型输出的所述应答策略。

3.根据权利要求1所述的对话管理方法，其特征在于，所述将所述应答策略和所述目标信息输入所述自然语言生成子模型，获取所述自然语言生成子模型输出的所述响应信息，包括：

将所述查询结果、所述应答策略和所述目标信息输入所述自然语言生成子模型，由所述自然语言生成子模型基于所述查询结果、所述应答策略和所述目标信息，生成所述响应信息，进而获取所述自然语言生成子模型输出的所述响应信息。

4.根据权利要求1至3任一所述的对话管理方法，其特征在于，所述将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息之后，还包括：

获取所述用户对所述本次对话的反馈信息；

基于所述反馈信息更新所述对话管理模型。

5.一种对话管理装置，其特征在于，包括：

数据获取模块，用于获取目标信息；

对话管理模块，用于将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息；

其中，所述目标信息，为在与用户进行本次对话的过程中，所述用户本轮对话输入的信息；所述对话管理模型，是基于样本信息以及所述样本信息对应的样本响应信息进行训练后得到的；

所述对话管理模型，用于基于所述目标信息更新所述本次对话对应的对话状态表示，并基于更新后的对话状态表示生成所述目标信息对应的响应信息；所述对话状态表示为一维向量；本次对话中已收集到的信息以及还需收集的信息，基于所述对话状态表示确定；

所述对话管理模型，包括：自然语言理解子模型、对话状态更新子模型、对话决策子模型和自然语言生成子模型；

相应地，所述将所述目标信息输入对话管理模型，获取所述对话管理模型输出的所述目标信息对应的响应信息，包括：

将所述目标信息输入所述自然语言理解子模型，获取所述自然语言理解子模型输出的所述目标信息对应的语义信息；

将所述语义信息和所述目标信息输入所述对话状态更新子模型，由所述对话状态更新子模型基于所述语义信息和所述目标信息，对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新子模型输出的所述更新后的对话状态表示；

将所述更新后的对话状态表示输入所述对话决策子模型，获取所述对话决策子模型输出的所述目标信息对应的应答策略；

将所述应答策略和所述目标信息输入所述自然语言生成子模型，获取所述自然语言生成子模型输出的所述响应信息；

所述对话状态更新子模型，包括：数据查询单元和对话状态更新单元；

相应地，所述将所述语义信息和所述目标信息输入所述对话状态更新子模型，由所述对话状态更新子模型基于所述语义信息和所述目标信息，对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新子模型输出的所述更新后的对话状态表示，包括：

获取所述本次对话中的历史交互信息，并将所述语义信息输入所述数据查询单元，由所述数据查询单元基于所述语义信息进行数据查询，进而获取所述数据查询单元输出的查询结果；

将所述历史交互信息、所述查询结果和所述目标信息输入所述对话状态更新单元，由所述对话状态更新单元基于所述历史交互信息、所述查询结果和所述目标信息对所述本次对话对应的对话状态表示进行更新，进而获取所述对话状态更新单元输出的所述更新后的对话状态表示。

6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述对话管理方法。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述对话管理方法。

Images