CN109101537A - 基于深度学习的多轮对话数据分类方法、装置和电子设备 - Google Patents
基于深度学习的多轮对话数据分类方法、装置和电子设备 Download PDFInfo
- Publication number
- CN109101537A CN109101537A CN201810680888.6A CN201810680888A CN109101537A CN 109101537 A CN109101537 A CN 109101537A CN 201810680888 A CN201810680888 A CN 201810680888A CN 109101537 A CN109101537 A CN 109101537A
- Authority
- CN
- China
- Prior art keywords
- sentence
- vector
- previous cycle
- current round
- wheel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及基于深度学习的多轮对话数据分类方法、装置和电子设备。该方法包括:对获取的当前轮次语句和先前轮次语句进行词向量转化以获得当前语句和先前语句的词向量;通过长短期记忆层处理当前语句和先前语句的词向量以获得当前轮次和先前轮次的句向量;以注意力机制层对先前轮次句向量进行加权求和以获得背景句向量;将当前轮次句向量与背景句向量连接以获得句子向量表达;以用于分类的逻辑回归模型处理句子向量表达以获得多轮对话数据相对于逻辑回归模型的多个标签的概率分布。这样,可以通过注意力机制从多轮对话数据中的先前轮次对话数据生成背景向量以与当前轮次对话数据的句向量结合进行分类,从而改进多轮对话场景下的分类效果。
Description
技术领域
本发明总体地涉及数据处理领域,且更为具体地,涉及一种基于深度学 习的多轮对话数据分类方法、装置和电子设备。
背景技术
随着互联网技术的发展,越来越多的网站采用对话***对用户进行服务。 例如,在线票务预订网站或者在线购物网站通过与用户的在线对话来解决用 户需求。
在使用上述对话***的过程中,为了提高服务效率,需要对用户输入进 行大概分类。例如,可以通过用户意图分析确定预定场景下的用户意图,比 如机票预订场景下的查询、订票、退票等意图。此外,还可能需要从用户的 对话中获得其它信息,例如用户针对服务或者商品所要表达的主观情绪等。
因此,如何基于对话***中的用户数据,比如用户与***之间的多轮对 话数据挖掘出用户对于客观事物的感受,以更为全面地获取用户对于特定客 观现实,比如事件或商品所要表达的主观信息,已逐渐成为当前自然语言处 理领域的研究热点。
因此,需要改进的用于对话***的数据分类方案。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种基 于深度学习的多轮对话数据分类方法、装置和电子设备,其通过注意力机制 从多轮对话数据中的先前轮次对话数据生成背景向量以与当前轮次对话数据 的句向量结合进行分类,从而改进多轮对话场景下的分类效果。
根据本申请的一方面,提供了一种基于深度学习的多轮对话数据分类方 法,包括:对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词 向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的 先前语句词向量;通过长短期记忆层处理所述当前语句词向量和所述先前语 句词向量以获得当前轮次句向量和先前轮次句向量;以注意力机制层对所述 先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量; 将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对 应的句子向量表达;以及,以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
在上述基于深度学习的多轮对话数据分类方法中,在以用于分类的逻辑 回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回 归模型的多个标签的概率分布之后进一步包括:将与所述概率分布中最大概 率对应的标签确定为所述多轮对话数据的分类结果。
在上述基于深度学习的多轮对话数据分类方法中,所述标签是所述多轮 对话数据所反映的用户意图,以及,对获取的多轮对话数据中的当前轮次语 句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向 量和所述先前轮次语句的先前语句词向量包括:对所述多轮对话数据中的当 前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前 轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对 应的先前轮次实体标签;对所述多轮对话数据中的当前轮次语句和先前轮次 语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签; 将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标 签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量 矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标 签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩 阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标 签的先前轮次词性向量矩阵;连接所述当前轮次词向量矩阵、所述当前轮次 实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当 前语句词向量;以及,连接所述先前轮次词向量矩阵、所述先前轮次实体向 量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句 词向量。
在上述基于深度学习的多轮对话数据分类方法中,以注意力机制层对所 述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向 量包括:计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句 向量之积作为每个句向量的加权分数;计算每个句向量的加权分数的指数函 数除以所述每个句向量的加权分数的指数函数之和作为权重;以及,基于所 述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦 次语句对应的背景句向量。
在上述基于深度学习的多轮对话数据分类方法中,所述用于分类的逻辑 回归模型是Softmax回归模型,以及,以用于分类的逻辑回归模型处理所述 句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签 的概率分布包括:计算所述句子向量表达乘以所述Softmax回归模型的加权 参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标 签的证据;以及,将所述证据求和并进行归一化以获得所述句子向量表达被 分类为所述特定标签的概率。
在上述基于深度学习的多轮对话数据分类方法中,以所述多轮对话数据 相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可 训练参数。
根据本申请的另一方面,提供了一种基于深度学习的多轮对话数据分类 装置,包括:词向量转化单元,用于对获取的多轮对话数据中的当前轮次语 句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向 量和所述先前轮次语句的先前语句词向量;句向量获得单元,用于通过长短 期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句 向量和先前轮次句向量;背景向量获得单元,用于以注意力机制层对所述先 前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量; 句向量连接单元,用于将所述当前轮次句向量与所述背景句向量连接以获得 与所述多轮对话数据对应的句子向量表达;以及,分类单元,用于以用于分 类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所 述逻辑回归模型的多个标签的概率分布。
在上述基于深度学习的多轮对话数据分类装置中,所述分类单元进一步 用于:在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮 对话数据相对于所述逻辑回归模型的多个标签的概率分布之后,将与所述概 率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
在上述基于深度学习的多轮对话数据分类装置中,所述标签是所述多轮 对话数据所反映的用户意图,以及,所述词向量转化单元用于:对所述多轮 对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对 话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语 句中的每个词对应的先前轮次实体标签;对所述多轮对话数据中的当前轮次 语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语 句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先 前轮次词性标签;将所述多轮对话数据中的当前轮次语句和先前轮次语句的 每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每 个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所 述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先 前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所 述先前轮次词性标签的先前轮次词性向量矩阵;连接所述当前轮次词向量矩 阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述 当前轮次语句的当前语句词向量;以及,连接所述先前轮次词向量矩阵、所 述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮 次语句的先前语句词向量。
在上述基于深度学习的多轮对话数据分类装置中,所述背景向量获得单 元用于:计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句 向量之积作为每个句向量的加权分数;计算每个句向量的加权分数的指数函 数除以所述每个句向量的加权分数的指数函数之和作为权重;以及,基于所 述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦 次语句对应的背景句向量。
在上述基于深度学习的多轮对话数据分类装置中,所述用于分类的逻辑 回归模型是Softmax回归模型,以及,所述分类单元用于:计算所述句子向 量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句 子向量表达属于所述多个标签中的特定标签的证据;以及,将所述证据求和 并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
在上述基于深度学习的多轮对话数据分类装置中,以所述多轮对话数据 相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可 训练参数。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及, 存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被 所述处理器运行时使得所述处理器执行如上所述的基于深度学习的多轮对话 数据分类方法。
根据本申请的又一方面,提供了一种计算机可读存储介质,其特征在于, 所述计算机可读存储介质上存储有计算机程序指令,当所述计算机程序指令 被计算装置执行时,可操作来执行如上所述的基于深度学习的多轮对话数据 分类方法。
本申请提供的基于深度学习的多轮对话数据分类方法、装置和电子设备, 可以通过注意力机制从多轮对话数据中的先前轮次对话数据生成背景向量以 与当前轮次对话数据的句向量结合进行分类,从而改进多轮对话场景下的分 类效果。
附图说明
从下面结合附图对本发明实施例的详细描述中,本发明的这些和/或其它 方面和优点将变得更加清楚并更容易理解,其中:
图1图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法 的流程图。
图2图示根据本申请实施例的表达用户意图的多轮对话数据的词向量转 化过程的示意图。
图3图示了根据本申请实施例的LSTM层的示意图。
图4图示了根据本申请实施例的LSTM层和注意力机制层的示意图。
图5图示了根据本申请实施例的以注意力机制层获得背景向量的过程的 流程图。
图6图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法 应用于意图分类的示意图。
图7图示了根据本申请实施例的基于深度学习的多轮对话数据分类装置 的框图。
图8图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述 的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理 解,本申请不受这里描述的示例实施例的限制。
申请概述
如上所述,在对话***中,需要基于对话来分析用户的所要表达的主观 信息。例如,通过用户意图分析,可以对用户输入进行一个大概分类,例如 分析出预定机票场景下的查询、订票、退票等意图。
早期的用户意图分类方法主要考虑词法特征,通过编写大量的手工规则, 或者是采用模板匹配的方式对用户意图进行分类。但是基于规则的意图分类 方法缺乏泛化能力,同时需要不断的维护规则库或是模板库,并且现实场景 中自然语言的表达常常复杂而多样,比如语序的交换,同义词替代等。因此, 对于***工作人员来说,要想维护一个既能覆盖所有表达方式,又不互相冲 突、不冗余的模板规则库几乎是一件不可能的事。此外,上述方法不能对自 然语言进行很好的建模,在处理过程中会丢失大量信息。
目前,基于规则的意图分类方法已经渐渐地推出历史舞台,取而代之的 是热门的机器学习方法,而常用的机器学习方法如支持向量机(Support Vector Machine,SVM),朴素贝叶斯模型以及boostrapping(自举)都是很基础的 学习方法,其实现方法都相对简单,对较为复杂的多分类问题的解决能力相 对于深度学习模型显得捉襟见肘,同时SVM等模型的分类效果严重依赖前期 人工提取特征的质量。
相对地,深度学习模型采用组合底层特征的方法,通过多层隐含层的计 算,获取抽象的高层特征来表示文本来得到文本向量空间模型。因此,深度 学习模型可以通过学习深层的非线性网络结构来弥补传统机器学习方法的不 足。此外,深度学习具有很强的降维能力和泛化能力。
因此,本申请的构思是考虑对话***中的多轮对话数据的分类效果和可 实现性,采用循环神经网络(Recurrent Neural Networks,RNN)深度学习模型 提取句子中的语义特征并进行分类。
这里,本申请应用于多轮对话场景下的分类。本申请的申请人发现,在 现实场景中,尤其是任务型的对话场景下,一组对话一般都是由某个目的展 开,往往要经过很多轮对话,经过查询、信息补充、确认等过程才能最终解 决问题。因此,针对这样的多轮对话场景,交互语句与之前的语句相关性非 常大,更重要的是,若关键信息在较前轮次的对话中已经提到过,当前轮次 的对话语句将不会很完整。因此,如果忽略上下文信息而仅采用与单轮对话 意图分类模型将不会得到良好的分类效果,有时候效果甚至很差。
因此,为了解决上述技术问题,本申请实施例提供了一种基于深度学习 的多轮对话数据分类方法、装置和电子设备,其首先对获取的多轮对话数据 中的当前轮次对话数据和先前轮次对话数据进行词向量转化以获得当前语句 和先前语句的词向量,再通过长短期记忆(long-short term memory,LSTM) 层处理当前语句和先前语句的词向量以获得当前轮次和先前轮次的句向量, 并以注意力机制层对先前轮次句向量进行加权求和以获得背景句向量,将当 前轮次句向量与背景句向量连接以获得句子向量表达,最后以用于分类的逻 辑回归模型处理句子向量表达以获得多轮对话数据相对于逻辑回归模型的多 个标签的概率分布。
因此,本申请实施例提供的基于深度学习的多轮对话数据分类方法、装 置和电子设备实质上是为了充分地将多轮对话中的上下文信息利用起来,在 对一组对话中的某轮对话进行分类时,利用注意力机制“有选择”地从较前 轮次的语句中生成背景向量,并将该背景向量与当前语句的句向量结合在一 起进行分类,从而改善了多轮对话中的意图分类效果。
这里,根据本申请实施例的基于深度学习的多轮对话数据分类方法、装 置和电子设备可以用于从多轮对话数据挖掘出各种用户所要表达的主观信息, 而不仅限于用户意图,例如,还可以包括用户的主观情绪信息,用户所要表 达的主观主题信息等,这可以通过设置所述逻辑回归模型中的不同标签类别 来实现。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的 各种非限制性实施例。
示例性方法
图1图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法 的流程图。
如图1所示,根据本申请实施例的基于深度学习的多轮对话数据分类方 法包括:S110,对获取的多轮对话数据中的当前轮次语句和先前轮次语句进 行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语 句的先前语句词向量;S120,通过长短期记忆层处理所述当前语句词向量和 所述先前语句词向量以获得当前轮次句向量和先前轮次句向量;S130,以注 意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句 对应的背景句向量;S140,将所述当前轮次句向量与所述背景句向量连接以 获得与所述多轮对话数据对应的句子向量表达;以及S150,以用于分类的逻 辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑 回归模型的多个标签的概率分布。
在步骤S110中,对获取的多轮对话数据中的当前轮次语句和先前轮次语 句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮 次语句的先前语句词向量。这里,本领域技术人员可以理解,在完成自然语 言处理的相关任务时,首先,需要将自然语言转化为计算设备能够识别的语 言,即数学符号,其中该数学符号通常为向量。换言之,在获取多轮对话数 据之后,需将所述多轮对话数据转化为机器能够识别的表示。
特别地,在本申请实施例中,可以通过词嵌入方法对所述多轮对话数据 进行词向量转化,以获得所述多轮对话数据的词向量表示,其中,词向量是 词语的连续、稠密、低纬度的分布表示。词嵌入方法(Word Embedding Method) 是将自然语言词语数学化的一种方法,其指的是将自然语言中的每一个词映 射到高维空间,并表示为一个高维向量。这种词语表示方法通过训练将词语 映射到一个K维实数向量(一般K可取50、100等)其中,每个词即为K维 向量空间中的一点,词语之间的距离(如欧式距离、Cosine距离)代表词语之间 的语义相似度。例如,在本申请实施例中,可以将提前训练好的100维度 (K=100)的Glove词向量作为所述问题和所述答案的词向量表示,并且,在 模型训练过程中,固定该词向量不变。
如上所述,根据本申请实施例的基于深度学习的多轮对话数据分类方法 可以用于对用户意图进行分析。通常,在任务型对话***中,用户意图往往 与语句中的实体信息和词性有很强的关系,例如,在订购机票时,用户往往 会给出时间、地点等关键信息。因此,可以利用开源的自然语言工具包对语 句进行实体识别和词性标注,这样语句中的每个词都会有一个实体标签和词 性标签。并且,通过如上所述的词向量转化,可以将实体标签和词性标签转 换为词向量表示。或者,通过给不同的实体和词性类别随机初始化一个类似于词向量的向量矩阵,也可以将实体信息和词性信息转化为实体向量和词性 向量。然后,对于多轮对话数据的语句中的每一个词,将实体向量、词性向 量、词向量联合起来作为双向LSTM的输入。该操作的形式化表达如下式所 示:
Wx=concat(Wemd,Wner,Wpos)
其中,Wemd为词向量,Wner为实体向量,Wpos为词性向量,concat为矩 阵的连接操作,将作为下一步骤中LSTM的输入,其中, demd是词向量的维度,dpos是词性向量的维度,dner是实体向量的维度。
因此,在根据本申请实施例的基于深度学习的多轮对话数据分类方法中, 所述标签是所述多轮对话数据所反映的用户意图,以及,对获取的多轮对话 数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次 语句的当前语句词向量和所述先前轮次语句的先前语句词向量包括:对所述 多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多 轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮 次语句中的每个词对应的先前轮次实体标签;对所述多轮对话数据中的当前 轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应 的先前轮次词性标签;将所述多轮对话数据中的当前轮次语句和先前轮次语 句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句 的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、 所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的 先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和 所述先前轮次词性标签的先前轮次词性向量矩阵;连接所述当前轮次词向量 矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所 述当前轮次语句的当前语句词向量;以及,连接所述先前轮次词向量矩阵、 所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前 轮次语句的先前语句词向量。
图2是图示根据本申请实施例的表达用户意图的多轮对话数据的词向量 转化过程的示意图。如图2所示,上述过程包括:S210,对当前轮次语句和 先前轮次语句进行实体识别以获得每个词对应的当前轮次实体标签的先前轮 次实体标签;S220,对当前轮次语句和先前轮次语句进行词性标注以获得每 个词对应的当前轮次词性标签和先前轮次词性标签;S230,将每个词及其实 体标签和词性标签进行向量转化以获得与分别当前轮次语句和先前轮次语句 对应的词向量矩阵、实体向量矩阵和词性向量矩阵;S240,连接与当前轮次语句对应的词向量矩阵、实体向量矩阵以及词性向量矩阵以获得当前语句词 向量;以及S250,连接与先前轮次语句对应的词向量矩阵、实体向量矩阵以 及词性向量矩阵以获得先前语句词向量。
在步骤S120中,通过长短期记忆层处理所述当前语句词向量和所述先前 语句词向量以获得当前轮次句向量和先前轮次句向量。这里,长短期记忆网 络LSTM是一种特殊的RNN,相较于RNN能更好地解决较长的句子,同时 在短句子上也有不输RNN的表现。而RNN是一种“自循环”的神经网络, 常用于各种自然语言处理任务,其基本的神经网络单元跟传统的神经网络单 元一样,能够根据输入给出对应的输出,而“自循环”能够保证在序列信息能一步一步地传递到下一个神经网络单元。其“自循环”的形式也可以看作 是将同一个神经网络单元复制n次,在迭代过程中每一个神经网络单元都把 信息传递到下一个单元。
图3图示了根据本申请实施例的LSTM层的示意图。如图3所示,在 LSTM网络模型中,每次循环的时间点i的隐状态ht都是由上一个时间点t-1 的隐状态ht-1得来的,隐状态的存在使得LSTM在运行过程中能将之前的所 有信息压缩到ht-1中,即将整句话的信息都参与迭代计算中。具体来说,在 迭代过层中,每一层的LSTM网络都有两个输入:当前时刻t输入的词xt和t 时刻之前所有的文本信息ht-1。而最后得到的隐状态ht就能表示整个文本, 即句向量。这些步骤可以形式化表达为:
ht=f(Wx+Whht-1+bh)
因此,LSTM网络模型能够充分地利用以向量形式输入的词信息,较好 地提取句子中的语义特征,同时能将句子映射为高维空间中的向量表达。
在步骤S130中,以注意力机制层对所述先前轮次句向量进行加权求和以 获得与所述先前伦次语句对应的背景句向量。这里,注意力机制(Attention Mechanism)可以看作是一种“有选择”地从语句中提取相关语义特征的方式。 在根据本申请实施例的基于深度学习的多轮对话数据分类方法中,注意力机 制层用于从先前轮次的语句中提取出背景向量,以与当前轮次的语句的句向 量结合在一起进行分类。
图4图示了根据本申请实施例的LSTM层和注意力机制层的示意图。如 图4所示,在时刻t时,假定当前的输入语句为st,在经过LSTM网络模型转 换后,得到句向量ot。并且,通过注意力机制层,将存储的较前轮次的句向 量[o1,o2,o3,…,ot-1]进行加权,生成背景向量(context vector),如以下公式 化表达所示:
[o1,o2,o3,…,ot-1,ot]=LSTM(s1,s2,s3,…,st-1,st)
scorei=ot Toi
因此,在注意力机制层中,所述背景向量是对较前轮次句子的句向量进 行加权,而这里的权重ai是由当前句子跟较前轮次句子的相似度决定的,相 似度即scorei,而经过归一化操作以后得到ai。也就是说,越相似的前文句向 量会得到越多的权重,从而达到尽量保留对当前语句有帮助的前文信息,同 时减少不相关信息的影响。
也就是说,在根据本申请实施例的基于深度学习的多轮对话数据分类方 法中,以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先 前伦次语句对应的背景句向量包括:计算所述当前轮次句向量的转置与所述 先前轮次句向量中的每个句向量之积作为每个句向量的加权分数;计算每个 句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之 和作为权重;以及,基于所述每个句向量对应的权重对所述每个句向量进行 加权求和以获得所述先前伦次语句对应的背景句向量。
图5图示了根据本申请实施例的以注意力机制层获得背景向量的过程的 流程图。如图5所示,上述过程包括:S310,计算所述当前轮次句向量的转 置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数; S320,计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分 数的指数函数之和作为权重;以及S330,基于所述每个句向量对应的权重对 所述每个句向量进行加权求和以获得所述先前伦次语句对应的背景句向量。
在步骤S140中,将所述当前轮次句向量与所述背景句向量连接以获得与 所述多轮对话数据对应的句子向量表达。也就是,回头参考图4,将背景向 量c将和当前的句向量ot经过向量连接操作以后得到多轮对话场景下的句子 向量表达z,如下式所示。
z=concat(ot,c)
这里,c就是利用注意力机制得到的背景向量,与当前的句子向量ot进行 融合后得到最终的句子表达z。这样,可以在上下文层次上实现对前文中相关 信息的利用,能够很好地对上下文中的相关信息进行了抽取,最终得到一个 适用于多轮对话场景中意图分类的文本向量表达z。
在步骤S150中,以用于分类的逻辑回归模型处理所述句子向量表达以获 得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
如上所述,在获得所述多轮对话数据对应的句子向量表达z,将该向量经 过一个分类层即可得到最后的分类输出,分类层主要包含的是进行分类的逻 辑回归模型,例如基于softmax回归算法和损失函数的模型。并且,可以采 用交叉熵(Cross Entropy)作为损失函数。
具体地,在采用Softmax回归算法时,需要利用句子向量表达z给不同的 类别分配概率。这可以大致分为两步,第一步是对输入被分类对象属于某个 类的“证据”相加求和,然后将这个“证据”的和进行归一后转化为概率分 布。也就是说,将句子向量表达z经过加权以后的结果来作为被分类语句是否 属于某个标签,例如某个意图的“证据”,此外要引入偏置项作为与输入无关 的常量,如下式所示:
evidencei=Wsoftmaxz+b
其中,evidencei即为前面所说的“证据”,和是 要学习的加权参数和偏执项,n是所有分类的数量,dh是LSTM输出隐状态 的维度。
然后,进行归一化,如下式所示:
其中,yi是最后的输出,表示y被分为第i类的概率,这样,经过Softmax 回归以后,得到各个标签的概率分布[y1,y2…yi]。最后,可以将其中最大的 值对应的标签确定为最后的标签分类结果。
这里,本领域技术人员可以理解,在根据本申请实施例的深度学习模型 中,为了训练模型,需要引入一个指标来评价分类结果的误差,然后通过尽 量最小化这个误差来调整模型参数。在根据本申请实施例的基于深度学习的 多轮对话数据分类方法中,可以采用交叉熵函数。交叉熵源于信息论中的信 息压缩编码技术,后来演变为从博弈论到机器学习等其他领域里的重要技术 手段,尤其是在分类任务中。采用交叉熵作为损失函数,可以对深度学习模 型中需要学习的一系列参数,包括上述LSTM层、注意力机制层和逻辑回归 模型的可训练参数通过该损失函数的值进行修正。所述交叉熵的定义如下式 所示:
因此,在根据本申请实施例的基于深度学习的多轮对话数据分类方法中, 在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数 据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括:将与所 述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
并且,在根据本申请实施例的基于深度学习的多轮对话数据分类方法中, 所述用于分类的逻辑回归模型是Softmax回归模型,以及,以用于分类的逻 辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑 回归模型的多个标签的概率分布包括:计算所述句子向量表达乘以所述 Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于 所述多个标签中的特定标签的证据;以及,将所述证据求和并进行归一化以 获得所述句子向量表达被分类为所述特定标签的概率。
在上述基于深度学习的多轮对话数据分类方法中,以所述多轮对话数据 相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可 训练参数。
图6图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法 应用于意图分类的示意图。如图6所示,首先是将输入文本经过数据预处理 后将词转化为向量的表达形式,然后经过LSTM网络模型以后得到文本的向 量表达(即句向量),随后利用注意力机制对较前轮次的前文信息进行建模, 生成背景向量,并将该背景向量与当前轮次的句向量结合在一起输入到分类 层进行分类。
因此,根据本申请实施例的基于深度学习的多轮对话数据分类方法为了 解决当前多轮对话***中的意图分类问题,利用注意力机制对一组对话中的 前文信息进行建模,从而改进多轮对话场景下的用户意图分类效果,其主要 可以应用于多轮的任务型对话***中。在利用LSTM网络模型将文本转化为 高维的向量表达之后,在处理一组对话中的某一句时,利用注意力机制“有 选择”地从较前轮次的句向量中生成背景向量。并且,这个选择过程是指将 会给与当前轮次相关的语句分配更多的权重,而给不相关的较前轮次语句分配较低的权重,达到能将相关信息利用起来的同时排除不相关信息的干扰的 目的。最终,将背景向量和当前语句的句向量结合在一起进行分类,从而改 进多轮对话中的分类效果。
示例性装置
图7图示了根据本申请实施例的基于深度学习的多轮对话数据分类装置 的示意性框图。如图7所示,所述基于深度学习的多轮对话数据分类装置400 包括:词向量转化单元410,用于对获取的多轮对话数据中的当前轮次语句 和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量 和所述先前轮次语句的先前语句词向量;句向量获得单元420,用于通过长 短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次 句向量和先前轮次句向量;背景向量获得单元430,用于以注意力机制层对 所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句 向量;句向量连接单元440,用于将所述当前轮次句向量与所述背景句向量 连接以获得与所述多轮对话数据对应的句子向量表达;以及,分类单元450, 用于以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话 数据相对于所述逻辑回归模型的多个标签的概率分布。
在一个示例中,在上述基于深度学习的多轮对话数据分类装置400中, 所述分类单元450进一步用于:在以用于分类的逻辑回归模型处理所述句子 向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概 率分布之后,将与所述概率分布中最大概率对应的标签确定为所述多轮对话 数据的分类结果。
在一个示例中,在上述基于深度学习的多轮对话数据分类装置400中, 所述标签是所述多轮对话数据所反映的用户意图,以及,所述词向量转化单 元410用于:对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实 体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮 次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签;对所述多 轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮 对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次 语句中的每个词对应的先前轮次词性标签;将所述多轮对话数据中的当前轮 次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获 得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个 词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所 述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当 前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵;连 接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次 词性向量矩阵以获得所述当前轮次语句的当前语句词向量;以及,连接所述 先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向 量矩阵以获得所述先前轮次语句的先前语句词向量。
在一个示例中,在上述基于深度学习的多轮对话数据分类装置400中, 所述背景向量获得单元430用于:计算所述当前轮次句向量的转置与所述先 前轮次句向量中的每个句向量之积作为每个句向量的加权分数;计算每个句 向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和 作为权重;以及,基于所述每个句向量对应的权重对所述每个句向量进行加 权求和以获得所述先前伦次语句对应的背景句向量。
在一个示例中,在上述基于深度学习的多轮对话数据分类装置400中, 所述用于分类的逻辑回归模型是Softmax回归模型,以及,所述分类单元450 用于:计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与 偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据; 以及,将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述 特定标签的概率。
在一个示例中,在上述基于深度学习的多轮对话数据分类装置中,以所 述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度 学习模型中的可训练参数。
这里,本领域技术人员可以理解,上述基于深度学习的多轮对话数据分 类装置400中的各个单元和模块的具体功能和操作已经在上面参考图1到图 6描述的基于深度学习的多轮对话数据分类方法中详细介绍,并因此,将省 略其重复描述。
如上所述,根据本申请实施例的基于深度学习的多轮对话数据分类装置 400可以实现在各种终端设备中,例如用于运行对话***的服务器。在一个 示例中,根据本申请实施例的装置400可以作为一个软件模块和/或硬件模块 而集成到所述终端设备中。例如,该装置400可以是该终端设备的操作*** 中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序; 当然,该装置400同样可以是该终端设备的众多硬件模块之一。
可替换地,在另一示例中,该基于深度学习的多轮对话数据分类装置400 与该终端设备也可以是分立的设备,并且该装置400可以通过有线和/或无线 网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面,参考图8来描述根据本申请实施例的电子设备。
图8图示了根据本申请实施例的电子设备的框图。
如图8所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令 执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以 执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可 以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存 储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓 冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、 硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程 序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个 实施例的基于深度学习的多轮对话数据分类方法的功能。在所述计算机可读 存储介质中还可以存储诸如对话数据,分类结果等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14, 这些组件通过总线***和/或其他形式的连接机构(未示出)互连。
例如,该输入装置13可以是例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括所述多轮对话数据的分类 结果等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网 络及其所连接的远程输出设备等等。
当然,为了简化,图8中仅示出了该电子设备10中与本申请有关的组件 中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具 体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品, 其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处 理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的 基于深度学***台的基础上利用Python编写实 现。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写 用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的 程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸 如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执 行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计 算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上 执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算 机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本 说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于深度学 习的多轮对话数据分类方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可 读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括 但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者 任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具 有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、 只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、 便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的 任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是, 在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优 点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具 体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限 制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子 并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。 如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、 装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇, 指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇 “和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的 词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是 可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者 使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易 见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。 因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理 和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本 申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和 实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子 组合。
Claims (10)
1.一种基于深度学习的多轮对话数据分类方法,包括:
对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量;
通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量;
以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量;
将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达;以及
以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
2.如权利要求1所述的基于深度学习的多轮对话数据分类方法,其中,在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括:
将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
3.如权利要求1所述的基于深度学习的多轮对话数据分类方法,其中,
所述标签是所述多轮对话数据所反映的用户意图,以及
对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量包括:
对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签;
对所述多轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签;
将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵;
连接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当前语句词向量;以及
连接所述先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句词向量。
4.如权利要求1所述的基于深度学习的多轮对话数据分类方法,其中,以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量包括:
计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数;
计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重;以及
基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦次语句对应的背景句向量。
5.如权利要求1所述的基于深度学习的多轮对话数据分类方法,其中,
所述用于分类的逻辑回归模型是Softmax回归模型,以及
以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布包括:
计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据;以及
将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
6.如权利要求1所述的基于深度学习的多轮对话数据分类方法,其中,以所述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。
7.一种基于深度学习的多轮对话数据分类装置,包括:
词向量转化单元,用于对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量;
句向量获得单元,用于通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量;
背景向量获得单元,用于以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量;
句向量连接单元,用于将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达;以及
分类单元,用于以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
8.如权利要求7所述的基于深度学习的多轮对话数据分类装置,其中,所述分类单元进一步用于:
在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后,将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
9.一种电子设备,包括:
处理器;以及
存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的基于深度学习的多轮对话数据分类方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,当所述计算机程序指令被计算装置执行时,可操作来执行如权利要求1-6中任一项所述的基于深度学习的多轮对话数据分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810680888.6A CN109101537B (zh) | 2018-06-27 | 2018-06-27 | 基于深度学习的多轮对话数据分类方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810680888.6A CN109101537B (zh) | 2018-06-27 | 2018-06-27 | 基于深度学习的多轮对话数据分类方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109101537A true CN109101537A (zh) | 2018-12-28 |
CN109101537B CN109101537B (zh) | 2021-08-06 |
Family
ID=64845208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810680888.6A Active CN109101537B (zh) | 2018-06-27 | 2018-06-27 | 基于深度学习的多轮对话数据分类方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109101537B (zh) |
Cited By (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109814831A (zh) * | 2019-01-16 | 2019-05-28 | 平安普惠企业管理有限公司 | 智能对话方法、电子装置及存储介质 |
CN109885652A (zh) * | 2019-01-25 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 一种操作执行方法、装置及计算机可读存储介质 |
CN110019685A (zh) * | 2019-04-10 | 2019-07-16 | 北京神州泰岳软件股份有限公司 | 基于排序学习的深度文本匹配方法及装置 |
CN110032633A (zh) * | 2019-04-17 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 多轮对话处理方法、装置和设备 |
CN110096567A (zh) * | 2019-03-14 | 2019-08-06 | 中国科学院自动化研究所 | 基于qa知识库推理的多轮对话回复选择方法、*** |
CN110188190A (zh) * | 2019-04-03 | 2019-08-30 | 阿里巴巴集团控股有限公司 | 对话解析方法、装置、服务器及可读存储介质 |
CN110347833A (zh) * | 2019-07-09 | 2019-10-18 | 浙江工业大学 | 一种多轮对话的分类方法 |
CN110413788A (zh) * | 2019-07-30 | 2019-11-05 | 携程计算机技术(上海)有限公司 | 会话文本的场景类别的预测方法、***、设备和存储介质 |
CN110427625A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 语句补全方法、装置、介质及对话处理*** |
CN110543554A (zh) * | 2019-08-12 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 针对多轮对话的分类方法和装置 |
CN110569331A (zh) * | 2019-09-04 | 2019-12-13 | 出门问问信息科技有限公司 | 一种基于上下文的关联性预测方法、装置及存储设备 |
CN110717027A (zh) * | 2019-10-18 | 2020-01-21 | 易小博(武汉)科技有限公司 | 多轮智能问答方法、***以及控制器和介质 |
CN110825851A (zh) * | 2019-11-07 | 2020-02-21 | 中电福富信息科技有限公司 | 基于中值转化模型的句子对关系判别方法 |
CN110910866A (zh) * | 2019-11-28 | 2020-03-24 | 出门问问信息科技有限公司 | 一种对话处理方法、设备及计算机可读存储介质 |
CN111062220A (zh) * | 2020-03-13 | 2020-04-24 | 成都晓多科技有限公司 | 一种基于记忆遗忘装置的端到端意图识别***和方法 |
CN111198937A (zh) * | 2019-12-02 | 2020-05-26 | 泰康保险集团股份有限公司 | 对话生成及装置、计算机可读存储介质、电子设备 |
CN111309914A (zh) * | 2020-03-03 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 基于多个模型结果对多轮对话的分类方法和装置 |
CN111462752A (zh) * | 2020-04-01 | 2020-07-28 | 北京思特奇信息技术股份有限公司 | 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法 |
CN111522917A (zh) * | 2020-04-21 | 2020-08-11 | 京东数字科技控股有限公司 | 对话情感检测方法及装置、存储介质、电子设备 |
CN111813909A (zh) * | 2020-06-24 | 2020-10-23 | 泰康保险集团股份有限公司 | 一种智能问答方法和装置 |
CN111861596A (zh) * | 2019-04-04 | 2020-10-30 | 北京京东尚科信息技术有限公司 | 一种文本分类方法和装置 |
CN111897929A (zh) * | 2020-08-04 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 多轮问句的处理方法和装置、存储介质及电子设备 |
CN112164401A (zh) * | 2020-09-18 | 2021-01-01 | 广州小鹏汽车科技有限公司 | 语音交互方法、服务器和计算机可读存储介质 |
CN112182220A (zh) * | 2020-10-10 | 2021-01-05 | 携程计算机技术(上海)有限公司 | 基于深度学习的客服预警分析方法、***、设备及介质 |
CN112541792A (zh) * | 2020-12-22 | 2021-03-23 | 作业帮教育科技(北京)有限公司 | 一种挖掘用户需求的数据处理方法、装置及电子设备 |
CN112765978A (zh) * | 2021-01-14 | 2021-05-07 | 中山大学 | 一种针对多人多轮对话场景的对话图重构方法及*** |
CN112883183A (zh) * | 2021-03-22 | 2021-06-01 | 北京大学深圳研究院 | 构建多分类模型的方法、智能客服方法和相关装置及*** |
TWI737101B (zh) * | 2019-12-27 | 2021-08-21 | 財團法人工業技術研究院 | 問答學習方法、應用其之問答學習系統及其電腦程式產品 |
CN113806547A (zh) * | 2021-10-15 | 2021-12-17 | 南京大学 | 一种基于图模型的深度学习多标签文本分类方法 |
CN116361442A (zh) * | 2023-06-02 | 2023-06-30 | 国网浙江宁波市鄞州区供电有限公司 | 基于人工智能的营业厅数据分析方法及*** |
US12014284B2 (en) | 2019-12-27 | 2024-06-18 | Industrial Technology Research Institute | Question-answering learning method and question-answering learning system using the same and computer program product thereof |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110264657A1 (en) * | 2010-04-23 | 2011-10-27 | Eye Level Holdings, Llc | System and Method of Controlling Interactive Communication Services by Responding to User Query with Relevant Information from Content Specific Database |
CN106095950A (zh) * | 2016-06-14 | 2016-11-09 | 中国科学院自动化研究所 | 一种人机对话中教授意图答案生成方法 |
CN106547734A (zh) * | 2016-10-21 | 2017-03-29 | 上海智臻智能网络科技股份有限公司 | 一种问句信息处理方法及装置 |
CN106776578A (zh) * | 2017-01-03 | 2017-05-31 | 竹间智能科技(上海)有限公司 | 用于提升对话***对话性能的方法及装置 |
CN106897263A (zh) * | 2016-12-29 | 2017-06-27 | 北京光年无限科技有限公司 | 基于深度学习的机器人对话交互方法及装置 |
-
2018
- 2018-06-27 CN CN201810680888.6A patent/CN109101537B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110264657A1 (en) * | 2010-04-23 | 2011-10-27 | Eye Level Holdings, Llc | System and Method of Controlling Interactive Communication Services by Responding to User Query with Relevant Information from Content Specific Database |
CN106095950A (zh) * | 2016-06-14 | 2016-11-09 | 中国科学院自动化研究所 | 一种人机对话中教授意图答案生成方法 |
CN106547734A (zh) * | 2016-10-21 | 2017-03-29 | 上海智臻智能网络科技股份有限公司 | 一种问句信息处理方法及装置 |
CN106897263A (zh) * | 2016-12-29 | 2017-06-27 | 北京光年无限科技有限公司 | 基于深度学习的机器人对话交互方法及装置 |
CN106776578A (zh) * | 2017-01-03 | 2017-05-31 | 竹间智能科技(上海)有限公司 | 用于提升对话***对话性能的方法及装置 |
Non-Patent Citations (1)
Title |
---|
俞凯等: "任务型人机对话***中的认知技术--概念、进展及其未来", 《计算机学报》 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109814831A (zh) * | 2019-01-16 | 2019-05-28 | 平安普惠企业管理有限公司 | 智能对话方法、电子装置及存储介质 |
CN109885652A (zh) * | 2019-01-25 | 2019-06-14 | 北京奇艺世纪科技有限公司 | 一种操作执行方法、装置及计算机可读存储介质 |
CN110096567A (zh) * | 2019-03-14 | 2019-08-06 | 中国科学院自动化研究所 | 基于qa知识库推理的多轮对话回复选择方法、*** |
CN110188190A (zh) * | 2019-04-03 | 2019-08-30 | 阿里巴巴集团控股有限公司 | 对话解析方法、装置、服务器及可读存储介质 |
CN111861596A (zh) * | 2019-04-04 | 2020-10-30 | 北京京东尚科信息技术有限公司 | 一种文本分类方法和装置 |
CN111861596B (zh) * | 2019-04-04 | 2024-04-12 | 北京京东振世信息技术有限公司 | 一种文本分类方法和装置 |
CN110019685A (zh) * | 2019-04-10 | 2019-07-16 | 北京神州泰岳软件股份有限公司 | 基于排序学习的深度文本匹配方法及装置 |
CN110019685B (zh) * | 2019-04-10 | 2021-08-20 | 鼎富智能科技有限公司 | 基于排序学习的深度文本匹配方法及装置 |
CN110032633A (zh) * | 2019-04-17 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 多轮对话处理方法、装置和设备 |
CN110032633B (zh) * | 2019-04-17 | 2021-03-23 | 腾讯科技(深圳)有限公司 | 多轮对话处理方法、装置和设备 |
CN110347833A (zh) * | 2019-07-09 | 2019-10-18 | 浙江工业大学 | 一种多轮对话的分类方法 |
CN110413788B (zh) * | 2019-07-30 | 2023-01-31 | 携程计算机技术(上海)有限公司 | 会话文本的场景类别的预测方法、***、设备和存储介质 |
CN110413788A (zh) * | 2019-07-30 | 2019-11-05 | 携程计算机技术(上海)有限公司 | 会话文本的场景类别的预测方法、***、设备和存储介质 |
CN110427625A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 语句补全方法、装置、介质及对话处理*** |
CN110543554A (zh) * | 2019-08-12 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 针对多轮对话的分类方法和装置 |
CN110569331A (zh) * | 2019-09-04 | 2019-12-13 | 出门问问信息科技有限公司 | 一种基于上下文的关联性预测方法、装置及存储设备 |
CN110717027A (zh) * | 2019-10-18 | 2020-01-21 | 易小博(武汉)科技有限公司 | 多轮智能问答方法、***以及控制器和介质 |
CN110825851A (zh) * | 2019-11-07 | 2020-02-21 | 中电福富信息科技有限公司 | 基于中值转化模型的句子对关系判别方法 |
CN110910866A (zh) * | 2019-11-28 | 2020-03-24 | 出门问问信息科技有限公司 | 一种对话处理方法、设备及计算机可读存储介质 |
CN110910866B (zh) * | 2019-11-28 | 2022-07-29 | 出门问问创新科技有限公司 | 一种对话处理方法、设备及计算机可读存储介质 |
CN111198937A (zh) * | 2019-12-02 | 2020-05-26 | 泰康保险集团股份有限公司 | 对话生成及装置、计算机可读存储介质、电子设备 |
US12014284B2 (en) | 2019-12-27 | 2024-06-18 | Industrial Technology Research Institute | Question-answering learning method and question-answering learning system using the same and computer program product thereof |
TWI737101B (zh) * | 2019-12-27 | 2021-08-21 | 財團法人工業技術研究院 | 問答學習方法、應用其之問答學習系統及其電腦程式產品 |
CN111309914B (zh) * | 2020-03-03 | 2023-05-09 | 支付宝(杭州)信息技术有限公司 | 基于多个模型结果对多轮对话的分类方法和装置 |
CN111309914A (zh) * | 2020-03-03 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 基于多个模型结果对多轮对话的分类方法和装置 |
CN111062220A (zh) * | 2020-03-13 | 2020-04-24 | 成都晓多科技有限公司 | 一种基于记忆遗忘装置的端到端意图识别***和方法 |
CN111462752A (zh) * | 2020-04-01 | 2020-07-28 | 北京思特奇信息技术股份有限公司 | 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法 |
CN111462752B (zh) * | 2020-04-01 | 2023-10-13 | 北京思特奇信息技术股份有限公司 | 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法 |
CN111522917A (zh) * | 2020-04-21 | 2020-08-11 | 京东数字科技控股有限公司 | 对话情感检测方法及装置、存储介质、电子设备 |
CN111813909A (zh) * | 2020-06-24 | 2020-10-23 | 泰康保险集团股份有限公司 | 一种智能问答方法和装置 |
CN111897929A (zh) * | 2020-08-04 | 2020-11-06 | 腾讯科技(深圳)有限公司 | 多轮问句的处理方法和装置、存储介质及电子设备 |
CN112164401A (zh) * | 2020-09-18 | 2021-01-01 | 广州小鹏汽车科技有限公司 | 语音交互方法、服务器和计算机可读存储介质 |
CN112182220A (zh) * | 2020-10-10 | 2021-01-05 | 携程计算机技术(上海)有限公司 | 基于深度学习的客服预警分析方法、***、设备及介质 |
CN112182220B (zh) * | 2020-10-10 | 2024-02-02 | 携程计算机技术(上海)有限公司 | 基于深度学习的客服预警分析方法、***、设备及介质 |
CN112541792A (zh) * | 2020-12-22 | 2021-03-23 | 作业帮教育科技(北京)有限公司 | 一种挖掘用户需求的数据处理方法、装置及电子设备 |
CN112765978B (zh) * | 2021-01-14 | 2023-03-31 | 中山大学 | 一种针对多人多轮对话场景的对话图重构方法及*** |
CN112765978A (zh) * | 2021-01-14 | 2021-05-07 | 中山大学 | 一种针对多人多轮对话场景的对话图重构方法及*** |
CN112883183A (zh) * | 2021-03-22 | 2021-06-01 | 北京大学深圳研究院 | 构建多分类模型的方法、智能客服方法和相关装置及*** |
CN113806547A (zh) * | 2021-10-15 | 2021-12-17 | 南京大学 | 一种基于图模型的深度学习多标签文本分类方法 |
CN113806547B (zh) * | 2021-10-15 | 2023-08-11 | 南京大学 | 一种基于图模型的深度学习多标签文本分类方法 |
CN116361442A (zh) * | 2023-06-02 | 2023-06-30 | 国网浙江宁波市鄞州区供电有限公司 | 基于人工智能的营业厅数据分析方法及*** |
CN116361442B (zh) * | 2023-06-02 | 2023-10-17 | 国网浙江宁波市鄞州区供电有限公司 | 基于人工智能的营业厅数据分析方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN109101537B (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109101537A (zh) | 基于深度学习的多轮对话数据分类方法、装置和电子设备 | |
WO2021082953A1 (zh) | 机器阅读理解方法、设备、存储介质及装置 | |
CN108959482B (zh) | 基于深度学习的单轮对话数据分类方法、装置和电子设备 | |
CN111444709B (zh) | 文本分类方法、装置、存储介质及设备 | |
Cao et al. | A novel neural topic model and its supervised extension | |
CN108846077B (zh) | 问答文本的语义匹配方法、装置、介质及电子设备 | |
CN111078844A (zh) | 软件众包的任务型对话***及方法 | |
CN110728298A (zh) | 多任务分类模型训练方法、多任务分类方法及装置 | |
CN112988979B (zh) | 实体识别方法、装置、计算机可读介质及电子设备 | |
CN110457480A (zh) | 基于交互式注意力机制的细粒度情感分类模型的构建方法 | |
CN108763384A (zh) | 用于文本分类的数据处理方法、数据处理装置和电子设备 | |
JP7315065B2 (ja) | 質問生成装置、質問生成方法及びプログラム | |
CN112069302A (zh) | 会话意图识别模型的训练方法、会话意图识别方法及装置 | |
CN114676234A (zh) | 一种模型训练方法及相关设备 | |
CN111814487A (zh) | 一种语义理解方法、装置、设备及存储介质 | |
CN117216227B (zh) | 基于知识图谱与大语言模型的烟草企业智能信息问答方法 | |
CN113761190A (zh) | 文本识别方法、装置、计算机可读介质及电子设备 | |
CN112000778A (zh) | 一种基于语义识别的自然语言处理方法、装置和*** | |
CN112949758A (zh) | 应答模型的训练方法、应答方法、装置、设备及存储介质 | |
CN113704393A (zh) | 关键词提取方法、装置、设备及介质 | |
Rodriguez | Deep Learning Systems: Algorithms, Compilers, and Processors for Large-Scale Production | |
Suresh Kumar et al. | Local search five‐element cycle optimized reLU‐BiLSTM for multilingual aspect‐based text classification | |
Oh et al. | BERTAC: Enhancing transformer-based language models with adversarially pretrained convolutional neural networks | |
Tannert et al. | FlowchartQA: the first large-scale benchmark for reasoning over flowcharts | |
Zhang et al. | Survey of transformers and towards ensemble learning using transformers for natural language processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: A201, Tonghui building, 1132 Huihe South Street, Gaobeidian, Chaoyang District, Beijing 100124 Patentee after: Beijing Huiwen Technology (Group) Co.,Ltd. Address before: 100000 Room 203, Baolan financial innovation center, No. 137, Xiwai street, Xicheng District, Beijing Patentee before: BEIJING HUIWEN TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
CP03 | Change of name, title or address |