CN110196930A

CN110196930A - 一种多模态客服自动回复方法及***

Info

Publication number: CN110196930A
Application number: CN201910430832.XA
Authority: CN
Inventors: 聂礼强; 王文杰; 王英龙; 姚一杨; 张化祥; 宋雪萌
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2019-05-22
Filing date: 2019-05-22
Publication date: 2019-09-03
Anticipated expiration: 2039-05-22
Also published as: CN110196930B

Abstract

本发明公开了一种多模态客服自动回复方法及***，所述方法包括以下步骤：接收话语并进行编码，得到上下文向量；基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；基于设定规则确定该意图所对应的回复类别；根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。本发明充分能够根据用户的话语自动识别其意图，自适应的生成形式多样的回复。

Description

一种多模态客服自动回复方法及***

技术领域

本发明属于人工智能技术领域，尤其涉及一种多模态客服自动回复方法及***。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

多模态对话***建立在在文本对话***的基础上，最近在不同领域特别是零售领域，受到了越来越多的关注。尽管现有的面向任务的多模态对话***已经显示出有前途的性能，但它们仍然存在以下问题：

聊天机器人的回复使用不同的媒体形式表达各种信息，像商品展示、商品介绍、日常问候等，往往是通过在文本或文本图像组合来进行表述。现有的方法将多模态对话***中的文本生成和图像选择视为两个独立的任务，并通过手动选择性地组装文本和图像来生成回复；

图像选择任务本质上是商品推荐问题。推荐模型根据用户在上下文中传达的偏好对商品进行排名，并返回排名最靠前的商品。现有方法仅在选择期间考虑视觉图像，却完全忽略了与商品相关的丰富的属性信息，比如价格，材料，尺寸和样式等；

买家和聊天机器人之间的对话通常涉及多方面多类型的知识，包括风格搭配，商品属性和商品在名人中的流行度等等。尽管如此，现仅有一种方法在多模态对话***中考虑了风格搭配，而其他方法根本不会引用任何类型的知识。

发明内容

为克服上述现有技术的不足，本发明提供了一种多模态客服自动回复方法及***，首先利用上下文编码器将多模态上下文嵌入到上下文向量中，然后通过意图理解模块的分类模型分类用户的意图，针对不同的用户意图生成多形式的回复。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种多模态客服自动回复方法，包括以下步骤：

接收话语并进行编码，得到上下文向量；

基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；

基于设定规则确定该意图所对应的回复类别；

根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。

一个或多个实施例提供了一种多模态客服自动回复***，包括以下步骤：

上下文编码器，接收话语并进行编码，得到上下文向量；

意图类型识别模块，基于上下文向量，基于预训练的意图类别识别模型确定其相应的意图类别；

回复类别确定模块，基于设定规则确定该意图所对应的回复类别；

回复生成模块，根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的多模态客服自动回复方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的多模态客服自动回复方法。

以上一个或多个技术方案存在以下有益效果：

本发明充分考虑了用户的意图，对用户输入的话语进行意图识别，即区分是哪种类型的话语(例如打招呼、需求商品要满足的要求、确定购买等)，基于意图生成多种形式的回复，使得回复能够最大限度的满足用户意愿。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一个或多个实施例中多模态客服自动回复方法整体流程图；

图2为本发明一个或多个实施例中多模态客服自动回复***框架图；

图3为本发明一个或多个实施例中上下文编码器的模型示意图；

图4为本发明一个或多个实施例中知识感知解码器的模型示意图；

图5为本发明一个或多个实施例中推荐模型的模型示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明提出的总体思路：

本***首先通过理解给定多模态上下文的意图来判断回复的类型和相应的媒体形式。之后它采用自适应解码器生成所需的回复：采用简单的循环神经网络来生成普通的回复，然后设计知识感知的循环神经网络解码器，结合多形式领域知识以生成更有信息量的回复，并且多模态回复解码器包含图像推荐模型，该模型通过一个综合考虑文本属性和视觉图像来实现对用户的商品推荐。

实施例一

本实施例公开了一种具有自适应解码器的多模态对话***。包括以下步骤：

步骤1：接收对话并进行编码，得到上下文向量；

所述编码采用上下文编码器。所述上下文编码器包括：低层次上，即词语层次的循环神经网络和使用软视觉注意力增强的残差网络，以及高层级上，即句子层次的循环神经网络。

具体地，在低层次上，输入的文本话语通过词语层次的循环神经网络逐词编码，将嵌入整个话语信息的最终隐藏状态被视为输入文本话语的表示。值得注意的是，话语可以是文本的，也可以是多模态的，至于视觉特征的提取，考虑到用户对图像区域的视觉注意力的不同，商品的图像话语采用软视觉注意力增强的残差网络来提取商品的视觉特征。

在高层次上，若输入话语仅包括文本，则高层次的循环神经网络仅将文本特征作为输入。对于多模式话语，将文本特征或文本和视觉特征的连接特征输入到每个话语中句子层次的循环神经网络中，输出最终隐藏状态作为上下文向量。如果一个话语由几个图像组成，那么这些图像将被展开成为一系列的视觉话语，并逐个地与文本特征拼接一同输入到高层循环神经网络中。因此，从高层次的角度来看，循环神经网络迭代地处理话语，逐步表征对话中的用户相关信息，并输出最终隐藏状态作为上下文向量。此后，将上下文向量作为多模态上下文特征表示输入意图理解模块、推荐模型和两个循环神经网络解码器。

步骤2：基于上下文向量，基于多层感知机网络确定其相应的意图类别；

给定上下文向量，意图理解组件旨在理解用户的意图，然后决定相应的用于回复生成的解码器。这里本***利用多层感知机网络根据上下文编码器生成的上下文向量预测15个意图的概率分布。此外，使用交叉熵损失函数优化网络。

将用户在多模态上下文中传达的多样化意图分为15个类别，包括“问候语”、“自我介绍”、“给定标准”、“表示喜欢某种商品，希望看到更多类似的商品”、“不喜欢某类商品，希望看到其他商品”、“希望查看商品的不同角度”、“展示与某个商品相似的商品”、“对结果排序”、“过滤商品”、“询问商品搭配风格”、“询问商品属性”、“询问商品在名人中的流行度”、“再次查看之前看过的某件商品”、“购买”和“对话结束”。

步骤3：基于设定规则确定该意图所对应的回复类别；

对这15种意图的回复设计了三种类型的回复：一般文本回复，知识丰富的文本回复，以及文本和图像综合形式的多模态回复。

对15个意图的回复可以专门分为三种类型，即一般回复，知识感知回复和多模态回复。其中，多模态回复以文本和图像表示；而其他的回复都是文本回复。受此启发，本发明设计了一个查找表，其中包含许多格式为(意图类别，回复类型，媒体形式)的三元组。一旦给出了多模态上下文的意图类别，该模型通过查找具有三元组条目(意图类别，回复类型，媒体形式)的预定义表，自动判断回复类型及其相应的媒体形式。本模型就可以选择正确的解码器以适当的媒体形式生成相应的回复。

步骤4：根据所述回复类别，将所述上下文向量作为输入，采用预训练的回复模型生成对应回复。

本***利用三个并行组件(简单循环神经网络解码器，知识感知的循环神经网络解码器和推荐模型)来产生三种类型的回复：一般回复，知识感知回复和多模态回复。值得注意的是，一般的回复是指对话中高频出现的回复，这使得对话流畅进行而没有包含任何知识性信息，例如“今天我能帮你什么？”至于知识感知回复，它们是与多形式领域知识相结合的回复，以满足用户的特定需求，例如对问题的回答“T恤与这些凉鞋搭配吗？”此外，多模态回复包括礼貌性的一般回复，推荐商品的视觉图像，以及介绍商品属性的知识感知回复。

1、应用简单的循环神经网络来产生一般回复；

简单循环神经网络解码器的目的是基于上下文向量生成一般回复，这些回复是常见的，并且不需要任何领域知识。由于利用知识感知的循环神经网络解码器产生一般回复可能带来额外的计算负担、引入噪声并误导模型的优化等问题，我们引入简单的循环神经网络来生成一般回复。简单循环神经网络的隐藏状态由上下文向量初始化进行迭代，模型将每个步骤的隐藏状态线性投影到词表大小中的一维向量中，并输出每个词语的预测概率分布，其中，词表是指数据集中所有词构成的有序列表。最终，使用交叉熵误差函数最大化目标回复中的词语的预测概率。

2、知识感知循环神经网络解码器通过记忆网络和键值记忆网络将多种形式的领域知识嵌入到高维空间的知识向量中，然后将知识向量引入到统一的循环神经网络解码器中，以产生更丰富的回复。

考虑到买家倾向于在最终购买之前表达他们的要求并收集足够的商品信息，该发明引入了三种领域知识，即风格搭配，商品属性和名人中的商品流行度。更具体地说，1)风格搭配描述不同商品之间的匹配状态，例如领带与白衬衫相配；2)商品属性按键值表组织，记录商品的常用属性，如价格，品牌和材料；3)对于名人中的商品流行度，它呈现了名人对各种商品的偏好分布。例如，一些名人喜欢黑色裤子而不是蓝色裤子。根据意图理解结果，该***可以确定要包含哪种领域知识。具体来说，如果用户的意图是寻求风格搭配关系，商品属性或商品流行度，该***会将相应的领域知识嵌入到知识向量中，并将其合并到循环神经网络的解码器中。

具体地，商品销售领域中的风格搭配自然地表示为无向图，两种商品之间的边意味着一个与另一个搭配。因此，我们可以用成对的商品名称描述该图，我们首先将对中的每个商品名称嵌入到一个向量中，然后将它们连接起来以获得知识向量。最后，所有这些知识向量都存储在单层存储器网络中，根据给定查询计算回复需要的知识向量。至于商品属性，我们应用键值记忆网络来获取知识向量，因为属性总是表示为键值对的形式，知识向量可以根据给定查询计算。我们将一个名人的对所有商品的喜好分布视为知识向量，并在记忆网络中存储所有名人的知识向量，查询时知识向量的获取与风格搭配类似。

本实施例通过利用循环神经网络前一步骤中的隐藏状态作为查询，从多种形式的知识库中获取知识向量。值得注意的是，第一步的知识向量是通过使用历史对话上下文向量作为查询来获取的，并且输入循环神经网络解码器的第一个单词是特殊标记<start>。以此，我们通过记忆网络将成对商品引入到循环神经网络解码器中。

3、推荐模型通过最大间隔损失优化的神经模型联合考虑文本属性和视觉图像来学习商品的表示。最终，推荐模型基于商品表示与历史话语的嵌入之间的相似性对候选商品进行排名。

推荐模型根据商品表示与历史对话上下文向量之间的相似性对候选产品进行排名，将商品的属性信息和图像信息采用上下文编码器的方式投影到与上下文向量相同的高维空间，然后计算相似度，通过相似度对推荐商品评分。与现有的方法通过简单考虑视觉特征对产品图像进行排名的方法不同，我们将视觉特征和辅助信息融合到推荐模型中。特别是，对于每个商品，我们首先按字母顺序排列其属性，然后通过将其属性键和属性值的编码向量拼接成一个向量来表示每个属性的键值对。之后，我们逐步将有序的属性编码向量提供给循环神经网络模型，它最后一步的隐藏状态被视为文本属性的表示；而视觉表示由预先训练的残差网络提取。最终，将文本和视觉的特征表示表示拼接起来，然后将其线性投影到与上下文向量相同的高维空间中，采用最大间隔损失来作为损失函数，利用反向传播算法优化模型参数以获得更好的推荐。

值得注意的是，由于多模态回复非常复杂，融合了一般回复，介绍商品的知识性回复和视觉上的商品图片，因此它们同时集成了简单循环神经网络解码器，知识感知的循环神经网络解码器和推荐模型的输出。

实施例二

本实施例的目的是提供一种多模态客服自动回复***。

为了实现上述目的，本实施例提供了一种多模态客服自动回复***，包括：

上下文编码器，接收话语并进行编码，得到上下文向量；

实施例三

本实施例的目的是提供一种电子设备。

为了实现上述目的，本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：

接收话语并进行编码，得到上下文向量；

基于设定规则确定该意图所对应的回复类别；

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

接收话语并进行编码，得到上下文向量；

基于设定规则确定该意图所对应的回复类别；

以上实施例二、三和四中涉及的各步骤与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具有以下技术效果：

本发明在生成回复阶段，提供了多种解码器自适应的生成多形式的回复消息。其中包括简单的循环神经网络用于生成简单的回复，知识感知的解码器引入了商品搭配、属性和流行的相关知识，用于生成内容丰富的回复，此外，还设计了商品推荐器，充分考虑商品的视觉和辅助信息，推荐与用户要求最相符的商品推荐。

本发明充分挖掘了用户对话中的信息，同时借助自适应的解码器针对用户对话中的各类内容自适应的生成回复，回复的针对性强，符合用户需求。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种多模态客服自动回复方法，其特征在于，包括以下步骤：

接收话语并进行编码，得到上下文向量；

基于设定规则确定该意图所对应的回复类别；

2.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述编码采用上下文编码器；所述上下文编码器包括：低层次上词语层次的循环神经网络和使用软视觉注意力增强的残差网络，以及高层级上句子层次的循环神经网络。

3.如权利要求2所述的多模态客服自动回复方法，其特征在于，所述话语仅包含文本话语或同时包含文本和图像话语；对所述话语进行编码包括：

在低层次上，输入文本话语通过低层次上词语层次的循环神经网络进行逐词编码，将最终隐藏状态被视为输入文本话语的特征表示；图像话语通过软视觉注意力增强的残差网络提取视觉特征；在高层次上，若仅包含文本话语，将文本特征输入句子层次的循环神经网络，最终隐藏状态即上下文向量，若同时包含文本和图像话语，将文本特征和视觉特征连接起来输入句子层次的循环神经网络，最终隐藏状态即上下文向量。

4.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述意图类别识别模型为多层感知机网络。

5.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述设定规则定义了意图类别、回复类型和媒体形式的对应关系；

优选地，所述设定规则采用查找表的形式，所述查找表中包含多个三元组，每个三元组的形式为(意图类别，回复类型，媒体形式)。

6.如权利要求1所述的多模态客服自动回复方法，其特征在于，所述回复模型包括：

对于回复类型为一般回复的上下文向量，采用简单循环神经网络生成回复；

对于回复类型为知识感知回复的上下文向量，采用知识感知循环神经网络生成回复；

对于回复类型为多模态回复的上下文向量，结合简单循环神经网络、知识感知循环神经网络和推荐模型生成回复。

7.如权利要求6所述的多模态客服自动回复方法，其特征在于，其中，

简单循环神经网络的隐藏状态由上下文向量初始化进行迭代，模型将每个步骤的隐藏状态线性投影到与回复词语库中词语数量大小的一维向量中，并输出每个词语的预测概率分布，使用交叉熵误差函数最大化目标回复中的词语的预测概率；

知识感知循环神经网络通过记忆网络将领域知识嵌入到高维空间的知识向量中，然后将知识向量引入到统一的循环神经网络中；

推荐模型，通过最大间隔损失优化的神经模型联合考虑文本属性和视觉图像来学习商品的表示，基于商品表示与历史话语的嵌入之间的相似性对候选商品进行排名。

8.一种多模态客服自动回复***，其特征在于，包括：

上下文编码器，接收话语并进行编码，得到上下文向量；

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的多模态客服自动回复方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的多模态客服自动回复方法。