CN109597876A - 一种基于强化学习的多轮对话答复选择模型及其方法 - Google Patents
一种基于强化学习的多轮对话答复选择模型及其方法 Download PDFInfo
- Publication number
- CN109597876A CN109597876A CN201811319709.2A CN201811319709A CN109597876A CN 109597876 A CN109597876 A CN 109597876A CN 201811319709 A CN201811319709 A CN 201811319709A CN 109597876 A CN109597876 A CN 109597876A
- Authority
- CN
- China
- Prior art keywords
- word
- sentence
- network module
- context text
- context
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000001351 cycling effect Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000010187 selection method Methods 0.000 claims description 8
- 230000003134 recirculating effect Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 241000288105 Grus Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009329 sexual behaviour Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于强化学习的多轮对话答复选择模型及其方法,该模型包括:策略网络模块,采用随机策略,在各个状态空间下对上下文文本的各句子中的各个单词采样一个动作,从而对整个上下文文本得到一个动作序列,并根据分类网络的分类结果获得延时奖励;上下文文本重构网络,根据所述策略网络模块输出的动作序列,重构出一个新的上下文文本;分类网络模块,将上下文文本重构网络重构后的上下文文本与候选回答句子进行匹配,最后得到分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新所述策略网络模块,本发明不仅能够自动地过滤掉与任务无关的词语,同时在句子匹配的过程中充分考虑了不同句子与回答之间的语义相关性。
Description
技术领域
本发明涉及机器学习技术领域,特别是涉及一种基于强化学习的多轮对话答复选择模型及其方法。
背景技术
目前构建闲聊型的聊天机器人的工作主要分类两种,一种是基于生成的聊天机器人,另外一种是基于检索的聊天机器人。而由于基于检索的聊天机器人是从实现定义好的索引中进行搜索,从当前对话中学习并选择回复的句子,因此回答的内容不会存在语法或者语义的错误,因此广受人们关注。
基于检索的聊天机器人的早期研究主要集中于研究单轮对话,而单轮对话只考虑上一个输入的句子,没有完全考虑对话的上下文。近年来,随着闲聊型聊天机器人的普及与深入,基于检索的多轮对话越来越受到人们的关注,如表1所示就是基于检索的多轮对话的一个例子。在多轮对话的答复选择中,将当前的消息和先前的话语作为输入,对话***选择一个自然地、与对话上下文语义相关的句子作为相应,因此对话***最重要的是要从之前的话语中找出重要的信息,并恰当地模仿话语之前的关系,以确保谈话的连贯性。
表1基于检索的多轮对话的一个例子
众所周知,多轮对话的难点在于不仅仅要考虑当前的提出的问题,还需要考虑到前几轮对话的情景以及上下文出现的信息。因此,基于检索的多轮对话的难点主要有两点:第一、如何从上下文中确定用于确定答复的关键信息,包括关键词、关键短语或者关键句等;第二、如何在上下文中模拟多轮对话之间的关系。
目前,基于检索的多轮对话的实现方法有不少,一种比较简单的方法是将上下文的句子拼接起来,然后与候选的答复做匹配,这种方法的缺点是由于对话上下文的冗余信息太多,导致引入很多多余的噪声。因此,多轮对话的关键是识别对话上下文中与答复相关的信息,然后对答句与相关信息之间的关系进行建模,有人提出了一种将答句与上文各个句子分别匹配的序列匹配模型(SMN)。
具体地,给定一个数据集其中表示对话的上下文,表示上下文中的一个句子。ri是一个候选的回答,yi∈{0,1}表示一个类标。当yi=1表示ri是si的一个合理答复,否则yi=0。模型的目标是在数据集D上学习一个匹配模型g(·,·)。g(s,r)能够建模上下文-答复对(s,r)之间的关系。
而所述序列匹配模型SMN就是在建模g(s,r),SMN首先将上下文-答复对匹配问题分解为几个上下文句子-答复对匹配问题,然后使用循环神经网络将句子匹配的结果聚合起来。
SMN模型包含三个部分,第一部分是将候选的回答句子分别于上下文的各个句子进不同粒度(词语和词组级别)的匹配,然后使用一个卷积神经网络(CNN),提取其中包含的匹配信息。第二部分是使用一个门循环单元(GRU)将多个句子的匹配信息聚合起来。第三部分是使用第二部分的GRU中的隐藏状态来计算最后的匹配值。
然而,SMN模型仅仅通过计算两个句子间的不同词语词向量的矩阵乘积的结果来判断当前词语是否对最终的任务有作用,没有考虑到同一个句子中词与词之间的关联性,没有涉及到同一个上下文句子中词语之间的语义相关性。事实上,在上下文中选取的与答复句子相关的词或词语,彼此之间也是存在关联的。而SMN没有很好的考虑这些信息,而只是计算上下文句子单词与候选答复句子单词之间的一个关系。此外,上下文中不同的句子与答复句子的相关性是不同的,SMN模型同样没有考虑该问题。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种基于强化学习的多轮对话答复选择模型及其方法,以自动地从冗余的多个上下文句子中筛选出与任务相关的词语和词组用于任务后面的语义匹配,不仅能够自动地过滤掉与任务无关的词语,同时在句子匹配的过程中充分考虑了不同句子与回答之间的语义相关性。
为达上述及其它目的,本发明提出一种基于强化学习的多轮对话答复选择模型,包括:
策略网络模块,用于采用随机策略,在各个状态空间下对上下文文本的各句子中的各个单词采样一个动作,从而对整个上下文文本得到一个动作序列,并根据分类网络的分类结果获得延时奖励,以指导策略网络模块更新;
上下文文本重构网络,用于根据所述策略网络模块输出的动作序列,重构出一个新的上下文文本;
分类网络模块,用于将所述上下文文本重构网络重构后的上下文文本与候选回答句子进行匹配,最后得到分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新所述策略网络模块。
优选地,所述动作包括保留或删除。
优选地,所述随机策略为:
π(at|st;θ)=sig mod(W*[hu,t-1;eu,t;e'u,t]+b)
其中π(at|st;θ)表示选择动作at的概率,θ={W,b}表示策略网络的参数,eu,t为上下文句子u在t状态下输入的词向量,hu,t-1表示上一状态下门循环网络GRU的隐藏状态向量,令候选回答其中er,i表示句子r中的第i个单词,对有et,i建模了当前状态输入的单词和候选答复句子中各个单词的相关性。
优选地,所述上下文文本重构网络根据所述策略网络模块得到的动作序列,过滤掉冗余的单词,并将过滤后的上下文文本拼接起来,得到重构后的上下文文本。
优选地,所述分类网络模块包括:
双向门循环单元,用于将门循环单元的内部隐藏状态作为文本单词的表示,计算重构后上下文文本单词向量矩阵与候选回答句子单词向量句子乘积,得到一个单词-单词的相似性矩阵;
卷积神经网络,用于提取该相似性矩阵中的关键特征;
全连接层,用于根据该关键特征获得最后的分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。
优选地,所述全连接层根据该关键特征获得最后的分类结果,然后通过计算真实分类标签与该分类结果的关系,得到一个奖励值,将该奖励值作为延迟奖励更新所述策略网络模块。
为达到上述目的,本发明还提供一种基于强化学习的多轮对话答复选择方法,包括如下步骤:
步骤S1,利用策略网络模块采用随机策略,在各个状态空间下对上下文文本的各句子中的各个单词采样一个动作,从而对整个上下文文本得到一个动作序列;
步骤S2,利用上下文文本重构网络根据策略网络模块输出的动作序列,重构出一个新的上下文文本;
步骤S3,利用分类网络模块将上下文文本重构网络重构后的上下文文本与候选回答句子进行匹配,最后得到分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。
优选地,所述随机策略为:
π(at|st;θ)=sigmod(W*[hu,t-1;eu,t;e'u,t]+b)
其中π(at|st;θ)表示选择动作at的概率,θ={W,b}表示策略网络的参数,eu,t为上下文句子u在t状态下输入的词向量,hu,t-1表示上一状态下门循环网络GRU的隐藏状态向量,令候选回答其中er,i表示句子r中的第i个单词,对有et,i建模了当前状态输入的单词和候选答复句子中各个单词的相关性。
优选地,于步骤S2中,利用所述上下文文本重构网络获得所述策略网络模块得到的动作序列,过滤掉冗余的单词,并将过滤后的上下文文本拼接起来,得到重构后的上下文文本。
优选地,步骤S3进一步包括:
步骤S300,将门循环单元的内部隐藏状态作为文本单词的表示,将重构后的上下文文本和候选回答句子,计算重构后上下文文本单词向量矩阵与候选回答句子单词向量句子乘积,得到一个单词-单词的相似性矩阵;
步骤S301,利用卷积神经网络提取该相似性矩阵中的关键特征;
步骤S302,将该关键特征一个全连接层得到最后的分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。
与现有技术相比,本发明一种基于强化学习的多轮对话答复选择模型及其方法通过利用强化学习抽取上下文句子中关键信息,可自动地从冗余的多个上下文句子中筛选出与任务相关的词语和词组用于任务后面的语义匹配,本发明相较SMN模型而言,不仅能够自动地过滤掉与任务无关的词语,同时在句子匹配的过程中充分考虑了不同句子与回答之间的语义相关性。
附图说明
图1为本发明一种基于强化学习的多轮对话答复选择模型的架构示意图;
图2为本发明具体实施例中策略网络模块的内部细节图;
图3为本发明具体实施例中分类网络模块的结构示意图;
图4为本发明一种基于强化学习的多轮对话答复选择方法的步骤流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
在介绍本发明之前,先对本发明所涉及的缩略语和关键术语定义如下:
深度学习:深度学习是由Hinton等人于2006年提出,是机器学习的一个新领域。深度学习被引入机器学习使其更接近最初目标----人工智能。深度学习是学习样本数据的内在规律和表示层次。这些学习过程中获得的信息对图像、文字等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别图像、文字等数据。
强化学***衡。
门循环单元(Gated recurrent units,GRUs):门循环单元是循环神经网络中的一种门控机制,由Kyunghyun等人在2014年提出,这种神经网络的在复调音乐建模和语音信号建模的性能与长短记忆记忆网络(LSTM)接近。但是,在小规模的数据集上,GRU的性能要比LSTM更好。
图1为本发明一种基于强化学习的多轮对话答复选择模型的架构示意图。如图1所示,本发明一种基于强化学习的多轮对话答复选择模型,包括:
策略网络模块10,用于采用随机策略,在各个状态空间下采样一个动作,从而对整个上下文文本得到一个动作序列,同时,策略网络模块10根据分类网络的分类结果获得延时奖励,以指导策略网络模块更新。也就是说,策略网络模块10采用随机策略,对上下文文本的各句子中的各个单词采样一个动作(保留或者删除),从而对整个上下文文本得到一个动作序列,同时根据分类网络的分类结果获得延时奖励,以指导策略网络模块更新。
在本发明具体实施例中,策略网络模块10采用随机策略π(at|st;θ),在策略网络模块10中,状态、动作、策略和奖励定义如下:
1、状态:当前输入的单词的词向量和该单词之前的上下文向量;
2、动作:定义两者不同的操作,包括保留和删除;
3、策略:如图2所示,使用随机策略对状态t下的动作at进行采样。令eu,t为上下文句子u在t状态下输入的词向量,hu,t-1表示上一状态下门循环网络GRU的隐藏状态向量,候选回答其中er,i表示句子r中的第i个单词。对有et,i建模了当前状态输入的单词和候选答复句子中各个单词的相关性。令由此,可以定义策略为:
π(at|st;θ)=sigmod(W*[hu,t-1;eu,t;e'u,t]+b)
其中π(at|st;θ)表示选择动作at|的概率,θ={W,b}表示策略网络的参数。
4、奖励:当通过策略网络采样到动作序列后,就可以重构上下文文本,将重构后的上下文文本输入到分类网络模块当中,得到P(y|X),其中,y是类别标签,通过计算真实分类标签与P(y|X)的关系,可以得到一个奖励值。由于必须要得到最后的分类结果才能计算该奖励值,因此这是一个延时奖励,利用该延迟奖励可以指导策略网络模块更新。
上下文文本重构网络20,根据策略网络模块输出的动作序列,重构出一个新的上下文文本。
在本发明具体实施例中,上下文文本重构网络20根据由策略网络模块10得到的动作序列,过滤掉冗余的单词,例如“这”、“为了”等停用词,然后将过滤后的上下文文本拼接起来,得到重构后的上下文文本。
分类网络模块30,用于将上下文文本重构网络20重构后的上下文文本与候选回答句子进行匹配,最后得到分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块10。
图3为本发明具体实施例中分类网络模块30的结构示意图。在本发明具体实施例中,分类网络模块30包括:
双向门循环单元301,用于获取重构后的上下文文本和候选回答句子,将门循环单元的内部隐藏状态作为文本单词的表示,计算重构后上下文文本单词向量矩阵与候选回答句子单词向量句子乘积,得到一个单词-单词的相似性矩阵;
卷积神经网络302,用于提取该相似性矩阵中的关键特征;
全连接层303,用于根据该关键特征获得最后的分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。在本发明具体实施例中,根据该关键特征获得最后的分类结果P(y|X),其中,y是类别标签,然后通过计算真实分类标签与P(y|X)的关系,可以得到一个奖励值,将该奖励值作为延迟奖励更新策略网络模块10。具体地,这里真实分类标签一般人为提供,利用损失函数计算预测分类与真实分类之间的差距得到损失值,奖励值即为损失值的相反数,较佳地,损失函数可使用交叉熵公式。
图4为本发明一种基于强化学习的多轮对话答复选择方法的步骤流程图。如图4所示,本发明一种基于强化学习的多轮对话答复选择方法,包括如下步骤:
步骤S1,利用策略网络模块采用随机策略,在各个状态空间下采样一个动作,从而对整个上下文文本得到一个动作序列。具体地,利用所述策略网络模块采用随机策略,对上下文文本的各句子中的各个单词采样一个动作(保留或者删除),从而对整个上下文文本得到一个动作序列,同时根据分类网络的分类结果获得延时奖励,以指导策略网络模块更新。
在本发明具体实施例中,所述策略网络模块采用随机策略π(at|st;θ),所述状态、动作、策略和奖励定义如下:
1、状态:当前输入的单词的词向量和该单词之前的上下文向量;
2、动作:定义两者不同的操作,包括保留和删除;
3、策略:定义随机策略如下:
π(at|st;θ)=sigmod(W*[hu,t-1;eu,t;e'u,t]+b)
其中π(at|st;θ)表示选择动作at的概率,θ={W,b}表示策略网络的参数,eu,t为上下文句子u在t状态下输入的词向量,hu,t-1表示上一状态下门循环网络GRU的隐藏状态向量,令候选回答其中er,i表示句子r中的第i个单词,对有et,i建模了当前状态输入的单词和候选答复句子中各个单词的相关性。
4、奖励:当通过策略网络采样到动作序列后,就可以重构上下文文本,将重构后的上下文文本输入到分类网络模块当中,得到P(y|X),其中,y是类别标签,通过计算真实分类标签与P(y|X)的关系,可以得到一个奖励值。由于必须要得到最后的分类结果才能计算该奖励值,因此这是一个延时奖励,利用该延迟奖励可以指导策略网络模块更新。
步骤S2,利用上下文文本重构网络根据策略网络模块输出的动作序列,重构出一个新的上下文文本。
在本发明具体实施李中,可根据由策略网络模块得到的动作序列,过滤掉冗余的单词,比如“这”、“为了”等停用词,然后将过滤后的上下文文本拼接起来,得到重构后的上下文文本。
步骤S3,利用分类网络模块将上下文文本重构网络重构后的上下文文本与候选回答句子进行匹配,最后得到分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。
具体地,步骤S3进一步包括:
步骤S300,将门循环单元的内部隐藏状态作为文本单词的表示,将重构后的上下文文本和候选回答句子,计算重构后上下文文本单词向量矩阵与候选回答句子单词向量句子乘积,得到一个单词-单词的相似性矩阵;
步骤S301,利用卷积神经网络提取该相似性矩阵中的关键特征;
步骤S302,将该关键特征一个全连接层得到最后的分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。在本发明具体实施例中,该关键特征经全连接层获得最后的分类结果P(y|X),其中,y为类别标签,最后通过计算真实分类标签与P(y|X)的关系,得到一个奖励值,将该奖励值作为延迟奖励更新策略网络模块。
综上所述,本发明一种基于强化学习的多轮对话答复选择模型及其方法通过利用强化学习抽取上下文句子中关键信息,可自动地从冗余的多个上下文句子中筛选出与任务相关的词语和词组用于任务后面的语义匹配,本发明相较SMN模型而言,不仅能够自动地过滤掉与任务无关的词语,同时在句子匹配的过程中充分考虑了不同句子与回答之间的语义相关性。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。
Claims (10)
1.一种基于强化学习的多轮对话答复选择模型,包括:
策略网络模块,用于采用随机策略,在各个状态空间下对上下文文本的各句子中的各个单词采样一个动作,从而对整个上下文文本得到一个动作序列,并根据分类网络的分类结果获得延时奖励,以指导策略网络模块更新;
上下文文本重构网络,用于根据所述策略网络模块输出的动作序列,重构出一个新的上下文文本;
分类网络模块,用于将所述上下文文本重构网络重构后的上下文文本与候选回答句子进行匹配,最后得到分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新所述策略网络模块。
2.如权利要求1所述的一种基于强化学习的多轮对话答复选择模型,其特征在于:所述动作包括保留或删除。
3.如权利要求2所述的一种基于强化学习的多轮对话答复选择模型,其特征在于,所述随机策略为:
π(at|st;θ)=sigmod(W*[hu,t-1;eu,t;e'u,t]+b)
其中π(at|st;θ)表示选择动作at的概率,θ={W,b}表示策略网络的参数,eu,t为上下文句子u在t状态下输入的词向量,hu,t-1表示上一状态下门循环网络GRU的隐藏状态向量,令候选回答其中er,i表示句子r中的第i个单词,对有et,i建模了当前状态输入的单词和候选答复句子中各个单词的相关性。
4.如权利要求1所述的一种基于强化学习的多轮对话答复选择模型,其特征在于,所述上下文文本重构网络根据所述策略网络模块得到的动作序列,过滤掉冗余的单词,并将过滤后的上下文文本拼接起来,得到重构后的上下文文本。
5.如权利要求1所述的一种基于强化学习的多轮对话答复选择模型,其特征在于,所述分类网络模块包括:
双向门循环单元,用于将门循环单元的内部隐藏状态作为文本单词的表示,计算重构后上下文文本单词向量矩阵与候选回答句子单词向量句子乘积,得到一个单词-单词的相似性矩阵;
卷积神经网络,用于提取该相似性矩阵中的关键特征;
全连接层,用于根据该关键特征获得最后的分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。
6.如权利要求5所述的一种基于强化学习的多轮对话答复选择模型,其特征在于:所述全连接层根据该关键特征获得最后的分类结果,然后通过计算真实分类标签与该分类结果的关系,得到一个奖励值,将该奖励值作为延迟奖励更新所述策略网络模块。
7.一种基于强化学习的多轮对话答复选择方法,包括如下步骤:
步骤S1,利用策略网络模块采用随机策略,在各个状态空间下对上下文文本的各句子中的各个单词采样一个动作,从而对整个上下文文本得到一个动作序列;
步骤S2,利用上下文文本重构网络根据策略网络模块输出的动作序列,重构出一个新的上下文文本;
步骤S3,利用分类网络模块将上下文文本重构网络重构后的上下文文本与候选回答句子进行匹配,最后得到分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。
8.如权利要求7所述的一种基于强化学习的多轮对话答复选择方法,其特征在于,所述随机策略为:
π(at|st;θ)=sigmod(W*[hu,t-1;eu,t;e'u,t]+b)
其中π(at|st;θ)表示选择动作at的概率,θ={W,b}表示策略网络的参数,eu,t为上下文句子u在t状态下输入的词向量,hu,t-1表示上一状态下门循环网络GRU的隐藏状态向量,令候选回答其中er,i表示句子r中的第i个单词,对有et,i建模了当前状态输入的单词和候选答复句子中各个单词的相关性。
9.如权利要求7所述的一种基于强化学习的多轮对话答复选择方法,其特征在于:于步骤S2中,利用所述上下文文本重构网络获得所述策略网络模块得到的动作序列,过滤掉冗余的单词,并将过滤后的上下文文本拼接起来,得到重构后的上下文文本。
10.如权利要求7所述的一种基于强化学习的多轮对话答复选择方法,其特征在于,步骤S3进一步包括:
步骤S300,将门循环单元的内部隐藏状态作为文本单词的表示,将重构后的上下文文本和候选回答句子,计算重构后上下文文本单词向量矩阵与候选回答句子单词向量句子乘积,得到一个单词-单词的相似性矩阵;
步骤S301,利用卷积神经网络提取该相似性矩阵中的关键特征;
步骤S302,将该关键特征一个全连接层得到最后的分类结果,并根据分类结果计算得到一个损失值,将该损失值作为延迟奖励更新策略网络模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811319709.2A CN109597876B (zh) | 2018-11-07 | 2018-11-07 | 一种基于强化学习的多轮对话答复选择模型及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811319709.2A CN109597876B (zh) | 2018-11-07 | 2018-11-07 | 一种基于强化学习的多轮对话答复选择模型及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109597876A true CN109597876A (zh) | 2019-04-09 |
CN109597876B CN109597876B (zh) | 2023-04-11 |
Family
ID=65957513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811319709.2A Active CN109597876B (zh) | 2018-11-07 | 2018-11-07 | 一种基于强化学习的多轮对话答复选择模型及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109597876B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135472A (zh) * | 2019-04-25 | 2019-08-16 | 暗物智能科技(广州)有限公司 | 用于图像描述模型的奖赏的确定方法及电子设备 |
CN110347833A (zh) * | 2019-07-09 | 2019-10-18 | 浙江工业大学 | 一种多轮对话的分类方法 |
CN110489730A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、终端及存储介质 |
CN110569344A (zh) * | 2019-08-22 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 确定对话文本对应的标准问句的方法和装置 |
CN110597965A (zh) * | 2019-09-29 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 文章的情感极性分析方法、装置、电子设备及存储介质 |
CN110826334A (zh) * | 2019-11-08 | 2020-02-21 | 中山大学 | 一种基于强化学习的中文命名实体识别模型及其训练方法 |
CN110866103A (zh) * | 2019-11-08 | 2020-03-06 | 中山大学 | 一种对话***中的句子多样性生成方法及*** |
CN111026848A (zh) * | 2019-12-17 | 2020-04-17 | 电子科技大学 | 一种基于相似上下文和强化学习的中文词向量生成方法 |
CN111309914A (zh) * | 2020-03-03 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 基于多个模型结果对多轮对话的分类方法和装置 |
CN111966782A (zh) * | 2020-06-29 | 2020-11-20 | 百度在线网络技术(北京)有限公司 | 多轮对话的检索方法、装置、存储介质及电子设备 |
CN112507104A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 对话***获取方法、装置、存储介质及计算机程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050017954A1 (en) * | 1998-12-04 | 2005-01-27 | Kay David Jon | Contextual prediction of user words and user actions |
US20060259481A1 (en) * | 2005-05-12 | 2006-11-16 | Xerox Corporation | Method of analyzing documents |
US20170032245A1 (en) * | 2015-07-01 | 2017-02-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Providing Reinforcement Learning in a Deep Learning System |
CN108399163A (zh) * | 2018-03-21 | 2018-08-14 | 北京理工大学 | 结合词聚合与词组合语义特征的文本相似性度量方法 |
CN108763504A (zh) * | 2018-05-30 | 2018-11-06 | 浙江大学 | 一种基于强化双通道序列学习的对话回复生成方法及*** |
-
2018
- 2018-11-07 CN CN201811319709.2A patent/CN109597876B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050017954A1 (en) * | 1998-12-04 | 2005-01-27 | Kay David Jon | Contextual prediction of user words and user actions |
US20060259481A1 (en) * | 2005-05-12 | 2006-11-16 | Xerox Corporation | Method of analyzing documents |
US20170032245A1 (en) * | 2015-07-01 | 2017-02-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Providing Reinforcement Learning in a Deep Learning System |
CN108399163A (zh) * | 2018-03-21 | 2018-08-14 | 北京理工大学 | 结合词聚合与词组合语义特征的文本相似性度量方法 |
CN108763504A (zh) * | 2018-05-30 | 2018-11-06 | 浙江大学 | 一种基于强化双通道序列学习的对话回复生成方法及*** |
Non-Patent Citations (1)
Title |
---|
杜永萍: "基于特征扩展与深度学习的短文本情感判定方法", 《计算机科学》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135472A (zh) * | 2019-04-25 | 2019-08-16 | 暗物智能科技(广州)有限公司 | 用于图像描述模型的奖赏的确定方法及电子设备 |
CN110135472B (zh) * | 2019-04-25 | 2021-02-09 | 暗物智能科技(广州)有限公司 | 用于图像描述模型的奖赏的确定方法及电子设备 |
CN110347833A (zh) * | 2019-07-09 | 2019-10-18 | 浙江工业大学 | 一种多轮对话的分类方法 |
CN110489730A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、终端及存储介质 |
CN110569344A (zh) * | 2019-08-22 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 确定对话文本对应的标准问句的方法和装置 |
CN110597965A (zh) * | 2019-09-29 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 文章的情感极性分析方法、装置、电子设备及存储介质 |
CN110597965B (zh) * | 2019-09-29 | 2024-04-16 | 深圳市雅阅科技有限公司 | 文章的情感极性分析方法、装置、电子设备及存储介质 |
CN110826334B (zh) * | 2019-11-08 | 2023-04-21 | 中山大学 | 一种基于强化学习的中文命名实体识别模型及其训练方法 |
CN110826334A (zh) * | 2019-11-08 | 2020-02-21 | 中山大学 | 一种基于强化学习的中文命名实体识别模型及其训练方法 |
CN110866103A (zh) * | 2019-11-08 | 2020-03-06 | 中山大学 | 一种对话***中的句子多样性生成方法及*** |
CN110866103B (zh) * | 2019-11-08 | 2023-07-07 | 中山大学 | 一种对话***中的句子多样性生成方法及*** |
CN111026848A (zh) * | 2019-12-17 | 2020-04-17 | 电子科技大学 | 一种基于相似上下文和强化学习的中文词向量生成方法 |
CN111309914A (zh) * | 2020-03-03 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 基于多个模型结果对多轮对话的分类方法和装置 |
CN111309914B (zh) * | 2020-03-03 | 2023-05-09 | 支付宝(杭州)信息技术有限公司 | 基于多个模型结果对多轮对话的分类方法和装置 |
CN111966782B (zh) * | 2020-06-29 | 2023-12-12 | 百度在线网络技术(北京)有限公司 | 多轮对话的检索方法、装置、存储介质及电子设备 |
US11947578B2 (en) | 2020-06-29 | 2024-04-02 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method for retrieving multi-turn dialogue, storage medium, and electronic device |
CN111966782A (zh) * | 2020-06-29 | 2020-11-20 | 百度在线网络技术(北京)有限公司 | 多轮对话的检索方法、装置、存储介质及电子设备 |
CN112507104B (zh) * | 2020-12-18 | 2022-07-22 | 北京百度网讯科技有限公司 | 对话***获取方法、装置、存储介质及计算机程序产品 |
CN112507104A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 对话***获取方法、装置、存储介质及计算机程序产品 |
Also Published As
Publication number | Publication date |
---|---|
CN109597876B (zh) | 2023-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109597876A (zh) | 一种基于强化学习的多轮对话答复选择模型及其方法 | |
CN111414461B (zh) | 一种融合知识库与用户建模的智能问答方法及*** | |
CN110609891A (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
CN109992669B (zh) | 一种基于语言模型和强化学习的关键词问答方法 | |
CN110222163A (zh) | 一种融合cnn与双向lstm的智能问答方法及*** | |
CN110197279B (zh) | 变换模型训练方法、装置、设备和存储介质 | |
CN110096567A (zh) | 基于qa知识库推理的多轮对话回复选择方法、*** | |
CN108628935A (zh) | 一种基于端到端记忆网络的问答方法 | |
CN113987179A (zh) | 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质 | |
CN116127095A (zh) | 一种序列模型与知识图谱结合的问答方法 | |
CN113761893B (zh) | 一种基于模式预训练的关系抽取方法 | |
CN113672708A (zh) | 语言模型训练方法、问答对生成方法、装置及设备 | |
CN110750635A (zh) | 一种基于联合深度学习模型的法条推荐方法 | |
CN113297364A (zh) | 一种面向对话***中的自然语言理解方法及装置 | |
CN116542817B (zh) | 一种智能数字人律师咨询方法及*** | |
CN111400461A (zh) | 智能客服问题匹配方法及装置 | |
CN107665356A (zh) | 一种图像标注方法 | |
CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN115392252A (zh) | 一种融合自注意力与层级残差记忆网络的实体识别方法 | |
CN110059174B (zh) | 问询指引方法及装置 | |
CN116821294A (zh) | 一种基于隐式知识反刍的问答推理方法和装置 | |
CN114282592A (zh) | 一种基于深度学习的行业文本匹配模型方法及装置 | |
CN117828024A (zh) | 一种插件检索方法、装置、存储介质及设备 | |
CN112579739A (zh) | 基于ELMo嵌入与门控自注意力机制的阅读理解方法 | |
CN114372454A (zh) | 文本信息抽取方法、模型训练方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |