CN111274359A - 基于改进vhred与强化学习的查询推荐方法及*** - Google Patents
基于改进vhred与强化学习的查询推荐方法及*** Download PDFInfo
- Publication number
- CN111274359A CN111274359A CN202010067232.4A CN202010067232A CN111274359A CN 111274359 A CN111274359 A CN 111274359A CN 202010067232 A CN202010067232 A CN 202010067232A CN 111274359 A CN111274359 A CN 111274359A
- Authority
- CN
- China
- Prior art keywords
- query
- user
- network
- target
- session
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002787 reinforcement Effects 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 27
- 238000012512 characterization method Methods 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 241000288105 Grus Species 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于改进VHRED与强化学习的查询推荐方法及***,该方法包括以下步骤:步骤A:收集搜索引擎的用户查询日志记录,对用户查询日志记录数据进行预处理,构建用户查询日志训练集TS;步骤B:使用用户查询日志训练集TS训练基于带有时间特征的VHRED及强化学习的查询推荐深度学习网络模型;步骤C:查询推荐***接受用户输入的查询语句,将查询语句输入到训练好的查询推荐深度学习网络模型中,输出相匹配的查询推荐。该方法及***有利于生成符合用户需要的查询推荐。
Description
技术领域
本发明涉及自然语言处理领域,具体涉及一种基于改进VHRED与强化学习的查询推荐方法及***。
背景技术
查询建议为用户输入的会话提供建议的查询。查询建议可以使搜索引擎更好的了解用户的查询意图,从而可以更好的优化用户的查询。因此,这一任务在过去十年中受到了相当大的关注。
Cao等人提出了上下文感知的查询建议框架——在会话中考虑整个查询序列,而不是只考虑最后一个查询。他们使用查询集群构建了一个概念序列后缀树,用于高效和有效的上下文感知查询建议。查询序列也可以用混合变量记忆马尔可夫模型来建模。上下文感知查询建议在会话中考虑更多的用户操作,从而更好地为信息需求建模。因此,该思想在查询分类和排序方面也是有效的。Ozertem等人发展了一个排名框架,学***滑分布表示的稀疏性,更好地利用了搜索日志中可用的大规模训练数据。最近的一项研究升级了HRED的序列到序列模型,使用注意和应对机制对不同的查询重要性和会话中重复的术语建模。
之前的模型都只使用了HRED模型作为生成模型,模型的效果依然有提升空间。而且大多数模型都忽略查询的时间特征,时间特征对模型的生成效果也有着很大的影响。如果单单只用生成器模型来生成查询并不能保证生成的查询都能准备接近用户产生的查询,这样生成的查询有很明显的机器生成痕迹,不能很好的表达出用户的查询意图。
发明内容
本发明的目的在于提供基于改进VHRED与强化学习的查询推荐方法及***,该方法及***有利于生成符合用户需要的查询推荐。
为实现上述目的,本发明采用的技术方案是:一种基于改进VHRED与强化学习的查询推荐方法,包括以下步骤:
步骤A:收集搜索引擎的用户查询日志记录,对用户查询日志记录数据进行预处理,构建用户查询日志训练集TS;
步骤B:使用用户查询日志训练集TS训练基于带有时间特征的VHRED及强化学习的查询推荐深度学习网络模型;
步骤C:查询推荐***接受用户输入的查询语句,将查询语句输入到训练好的查询推荐深度学习网络模型中,输出相匹配的查询推荐。
进一步地,所述步骤A具体包括以下步骤:
步骤A1:收集搜索引擎的用户查询日志记录,得到原始查询日志集合;其中搜索引擎的每条查询日志由一个三元组(u,q,t)表示,u表示用户,q表示查询,t表示查询时间;
步骤A2:按照用户对原始查询日志集合进行划分,并按照查询时间排序,得到不同用户的查询日志子集;
步骤A3:设置时间间隔T,按照如下规则:查询时间间隔大于T的查询日志属于不同会话,不同会话中的查询互不关联,同一会话中的最后一条查询为包含用户查询意图的目标查询,将每个用户的查询日志子集进一步划分为多个会话,得到每个用户的会话集合,所有用户的会话集合构成用户查询日志训练集TS;
对qi进行分词以及去除停用词后,将qi进一步表示为表示qi中的第j个词语,j=1,2,...,L(qi),L(qi)表示qi的词数;qi对应的查询时间ti表示为ti=(xi,yi,zi,di),xi表示小时,yi表示分钟,zi表示秒,di表示星期几。
进一步地,所述查询推荐深度学习网络模型包括基于带有时间特征的可变层级编码器-解码器循环神经网络VHRED的生成器网络和基于层级自编码器的判别器网络两部分,所述层级自编码器以多层GRU分别对词语、句子、段落进行编码,以捕获不同级别的语义结构信息;所述步骤B具体包括以下步骤:
步骤B1:以用户会话为单位,将用户查询日志训练集TS中的查询文本及查询时间对输入到生成器网络中,输出生成器网络所预测的目标查询;
步骤B2:根据目标损失函数loss,利用反向传播方法计算生成器网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤B3:将步骤B1预测得到的目标查询与用户会话中的用户真实的目标查询,输入到判别器网络中,输出类别概率,通过类别概率来判断输入的目标查询是生成器网络所预测的目标查询还是用户真实的目标查询;
步骤B4:将步骤B3中判别器网络输出的类别概率作为生成器网络的奖励,使用策略梯度方法进行强化学习训练,最大化回报期望;
步骤B5:当查询推荐深度学习网络模型产生的损失值迭代变化小于设定阈值或者达到最大迭代次数,终止查询推荐深度学习网络模型的训练。
进一步地,所述步骤B1,以用户会话为单位,将用户查询日志训练集TS中的查询文本及查询时间对输入到生成器网络中,输出生成器网络所预测的目标查询,具体包括以下步骤:
其中qi的编码公式如下:
ti的编码公式如下:
步骤B12:以用户会话为单位,将用户会话中除目标查询外的每个查询文本与查询时间对的表征向量组成序列,输入生成器网络的基于GRU网络的编码器模块进行编码,得到用户会话Su的表征向量包含用户会话内除目标查询外的所有查询信息;
其中,Su的编码公式如下:
将均值μu输入softplus函数,计算得到协方差∑u,公式如下:
∑u=softplus(f(μu))
然后,根据均值μu和协方差∑u,通过随机取样计算得到隐变量zu,公式如下:
先将上式得到的h0通过GRU网络进行解码,解码得到的隐状态向量再通过GRU网络进行解码,重复Ktarget次解码,生成含有Ktarget个单词的目标查询qs,其中解码公式如下:
候选目标查询q's的得分score(q's)为解码的概率乘积,公式如下:
将上式取对数,公式如下:
进一步地,所述步骤B2中,目标损失函数loss定义如下:
loss=loss1+loss2
其中,loss1为隐变量的分布和单位高斯分布的差异,使用KL散度度量,得到损失值loss1,计算如下:
其中,μu,Σu为步骤B13得到的均值和协方差;
其中,CrossEntropyLoss为交叉熵损失函数;
通过梯度优化算法AdaGrad进行学习率更新,利用反向传播迭代更新模型参数,以最小化损失函数来训练模型。
进一步地,所述步骤B3,将步骤B1预测得到的目标查询与用户会话中的用户真实的目标查询,输入到判别器网络中,输出类别概率,通过类别概率来判断输入的目标查询是生成器网络所预测的目标查询还是用户真实的目标查询,具体包括以下步骤:
进一步地,所述步骤B4具体包括以下步骤:
步骤B41:将模型生成查询推荐的过程视为一个动作序列,将基于改进VHRED的生成器网络视为一个策略,将步骤B35得到的概率作为生成器网络的奖励,计算损失值:
J(θ)=E(R-b|θ)
其中,E表示奖励的期望值,b为基线值,是一个使得训练稳定的平衡项,θ是超参数;
步骤B42:由步骤B41的损失值公式,通过似然率近似得到更新梯度:
基于更新的梯度,重新训练生成器网络的参数,通过多次迭代更新,使得生成器网络所预测的目标查询更趋近于用户真实的目标查询,得到训练好的查询推荐深度学习网络模型。
本发明还提供了一种采用上述方法的查询推荐***,包括:
数据收集模块,用于收集搜索引擎中所有的用户查询日志记录;
预处理模块,用于对收集的用户查询日志记录数据进行预处理,提取出查询的时间特征信息和文本特征信息,构建用户查询日志训练集TS;
网络训练模块,用于用得到的用户查询日志训练集训练带有时间特征的VHRED模型,利用会话中的所有查询的时间特征信息和文本特征信息,生成目标查询推荐,计算相对应的损失值,以最小化损失值为目标来对整个带有时间特征的VHRED模型进行训练,得到训练好的VHRED模型,然后将训练好的VHRED模型生成的推荐查询和真实用户产生的查询通过判别器网络,得到概率值R作为奖励,通过奖励R不断去修改学习率learning_rate,控制梯度下降方向,从而重新训练基于改进VHRED的生成器网络的参数,通过多次迭代更新,得到最终需要的训练好的查询推荐深度学习网络模型;以及
查询推荐模块,用于接受用户输入的查询语句,将查询语句输入到训练好的查询推荐深度学习网络模型中,输出相匹配的查询推荐。
相较于现有技术,本发明具有以下有益效果:提供了一种基于改进VHRED与强化学习的查询推荐方法及***,该方法及***通过构建并训练基于带有时间特征的VHRED及强化学习的查询推荐深度学习网络模型,以此来生成查询推荐,快速鲁棒,能够较精准地了解用户的查询意图,生成符合用户需要的查询推荐,具有较好的实用性和较高的应用价值。
附图说明
图1为本发明实施例的方法实现流程图。
图2为本发明实施例的***结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供了一种基于改进VHRED与强化学习的查询推荐方法,如图1所示,包括以下步骤:
步骤A:收集搜索引擎的用户查询日志记录,对用户查询日志记录数据进行预处理,构建用户查询日志训练集TS。具体包括以下步骤:
步骤A1:收集搜索引擎的用户查询日志记录,得到原始查询日志集合;其中搜索引擎的每条查询日志由一个三元组(u,q,t)表示,u表示用户,q表示查询,t表示查询时间。
步骤A2:按照用户对原始查询日志集合进行划分,并按照查询时间排序,得到不同用户的查询日志子集。
步骤A3:设置时间间隔T,按照如下规则:查询时间间隔大于T的查询日志属于不同会话,不同会话中的查询互不关联,同一会话中的最后一条查询为包含用户查询意图的目标查询,将每个用户的查询日志子集进一步划分为多个会话,得到每个用户的会话集合,所有用户的会话集合构成用户查询日志训练集TS;
对qi进行分词以及去除停用词后,将qi进一步表示为表示qi中的第j个词语,j=1,2,...,L(qi),L(qi)表示qi的词数;qi对应的查询时间ti表示为ti=(xi,yi,zi,di),xi表示小时,yi表示分钟,zi表示秒,di表示星期几。
步骤B:使用用户查询日志训练集TS训练基于带有时间特征的VHRED及强化学习的查询推荐深度学习网络模型。
其中,所述查询推荐深度学习网络模型包括基于带有时间特征的可变层级编码器-解码器循环神经网络VHRED(Variable Hierarchical Recurrent Encoder-Decoder)的生成器网络和基于层级自编码器(Hierarchical Auto Encoder)的判别器网络两部分,所述层级自编码器以多层GRU分别对词语、句子、段落进行编码,以捕获不同级别(单词级别、句子级别、段落级别)的语义结构信息。所述步骤B具体包括以下步骤:
步骤B1:以用户会话为单位,将用户查询日志训练集TS中的查询文本及查询时间对输入到生成器网络中,输出生成器网络所预测的目标查询。具体包括以下步骤:
其中qi的编码公式如下:
ti的编码公式如下:
步骤B12:以用户会话为单位,将用户会话中除目标查询外的每个查询文本与查询时间对的表征向量组成序列,输入生成器网络的基于GRU网络的编码器模块进行编码,得到用户会话Su的表征向量包含用户会话内除目标查询外的所有查询信息;
其中,Su的编码公式如下:
将均值μu输入softplus函数,计算得到协方差∑u,公式如下:
∑u=softplus(f(μu))
然后,根据均值μu和协方差∑u,通过随机取样计算得到隐变量zu,公式如下:
先将上式得到的h0通过GRU网络进行解码,解码得到的隐状态向量再通过GRU网络进行解码,重复Ktarget次解码,生成含有Ktarget个单词的目标查询qs,其中解码公式如下:
候选目标查询q's的得分score(q's)为解码的概率乘积,公式如下:
将上式取对数,公式如下:
步骤B2:根据目标损失函数loss,利用反向传播方法计算生成器网络中各参数的梯度,并利用随机梯度下降方法更新参数。
其中,目标损失函数loss定义如下:
loss=loss1+loss2
其中,loss1为隐变量的分布和单位高斯分布的差异,使用KL散度度量,得到损失值loss1,计算如下:
其中,μu,Σu为步骤B13得到的均值和协方差;
其中,CrossEntropyLoss为交叉熵损失函数;
通过梯度优化算法AdaGrad进行学习率更新,利用反向传播迭代更新模型参数,以最小化损失函数来训练模型。
步骤B3:将步骤B1预测得到的目标查询与用户会话中的用户真实的目标查询,输入到判别器网络中,输出类别概率,通过类别概率来判断输入的目标查询是生成器网络所预测的目标查询还是用户真实的目标查询。具体包括以下步骤:
步骤B4:将步骤B3中判别器网络输出的类别概率作为生成器网络的奖励,使用策略梯度方法进行强化学习训练,最大化回报期望。具体包括以下步骤:
步骤B41:将模型生成查询推荐的过程视为一个动作序列,将基于改进VHRED的生成器网络视为一个策略,将步骤B35得到的概率作为生成器网络的奖励,计算损失值:
J(θ)=E(R-b|θ)
其中,E表示奖励的期望值,b为基线值,是一个使得训练稳定的平衡项,θ是超参数;
步骤B42:由步骤B41的损失值公式,通过似然率近似得到更新梯度:
如果某一个动作的奖励R很大,则下次生成该序列的几率就会增大,对于奖励R较低的序列相对来说要抑制他的生成,故减去一个基线值b,使得奖励R有正有负。
简单来说可以理解为通过得到的概率R作为奖励,去修改学习率learning_rate,控制梯度下降方向,基于更新的梯度,重新训练生成器网络的参数,通过多次迭代更新,使得生成器网络所预测的目标查询更趋近于用户真实的目标查询,得到训练好的查询推荐深度学习网络模型。
步骤B5:当查询推荐深度学习网络模型产生的损失值迭代变化小于设定阈值或者达到最大迭代次数,终止查询推荐深度学习网络模型的训练。
步骤C:查询推荐***接受用户输入的查询语句,将查询语句输入到训练好的查询推荐深度学习网络模型中,输出相匹配的查询推荐。
本发明还提供了采用上述方法的查询推荐***,如图2所示,包括:
数据收集模块,用于收集搜索引擎中所有的用户查询日志记录;
预处理模块,用于对收集的用户查询日志记录数据进行预处理,提取出查询的时间特征信息和文本特征信息,构建用户查询日志训练集TS;
网络训练模块,用于用得到的用户查询日志训练集训练带有时间特征的VHRED模型,利用会话中的所有查询的时间特征信息和文本特征信息,生成目标查询推荐,计算相对应的损失值,以最小化损失值为目标来对整个带有时间特征的VHRED模型进行训练,得到训练好的VHRED模型,然后将训练好的VHRED模型生成的推荐查询和真实用户产生的查询通过判别器网络,得到概率值R作为奖励,通过奖励R不断去修改学习率learning_rate,控制梯度下降方向,从而重新训练基于改进VHRED的生成器网络的参数,通过多次迭代更新,得到最终需要的训练好的查询推荐深度学习网络模型;以及
查询推荐模块,用于接受用户输入的查询语句,将查询语句输入到训练好的查询推荐深度学习网络模型中,输出相匹配的查询推荐。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (8)
1.一种基于改进VHRED与强化学习的查询推荐方法,其特征在于,包括以下步骤:
步骤A:收集搜索引擎的用户查询日志记录,对用户查询日志记录数据进行预处理,构建用户查询日志训练集TS;
步骤B:使用用户查询日志训练集TS训练基于带有时间特征的VHRED及强化学习的查询推荐深度学习网络模型;
步骤C:查询推荐***接受用户输入的查询语句,将查询语句输入到训练好的查询推荐深度学习网络模型中,输出相匹配的查询推荐。
2.根据权利要求1所述的基于改进VHRED与强化学习的查询推荐方法,其特征在于,所述步骤A具体包括以下步骤:
步骤A1:收集搜索引擎的用户查询日志记录,得到原始查询日志集合;其中搜索引擎的每条查询日志由一个三元组(u,q,t)表示,u表示用户,q表示查询,t表示查询时间;
步骤A2:按照用户对原始查询日志集合进行划分,并按照查询时间排序,得到不同用户的查询日志子集;
步骤A3:设置时间间隔T,按照如下规则:查询时间间隔大于T的查询日志属于不同会话,不同会话中的查询互不关联,同一会话中的最后一条查询为包含用户查询意图的目标查询,将每个用户的查询日志子集进一步划分为多个会话,得到每个用户的会话集合,所有用户的会话集合构成用户查询日志训练集TS;
3.根据权利要求2所述的基于改进VHRED与强化学习的查询推荐方法,其特征在于,所述查询推荐深度学习网络模型包括基于带有时间特征的可变层级编码器-解码器循环神经网络VHRED的生成器网络和基于层级自编码器的判别器网络两部分,所述层级自编码器以多层GRU分别对词语、句子、段落进行编码,以捕获不同级别的语义结构信息;所述步骤B具体包括以下步骤:
步骤B1:以用户会话为单位,将用户查询日志训练集TS中的查询文本及查询时间对输入到生成器网络中,输出生成器网络所预测的目标查询;
步骤B2:根据目标损失函数loss,利用反向传播方法计算生成器网络中各参数的梯度,并利用随机梯度下降方法更新参数;
步骤B3:将步骤B1预测得到的目标查询与用户会话中的用户真实的目标查询,输入到判别器网络中,输出类别概率,通过类别概率来判断输入的目标查询是生成器网络所预测的目标查询还是用户真实的目标查询;
步骤B4:将步骤B3中判别器网络输出的类别概率作为生成器网络的奖励,使用策略梯度方法进行强化学习训练,最大化回报期望;
步骤B5:当查询推荐深度学习网络模型产生的损失值迭代变化小于设定阈值或者达到最大迭代次数,终止查询推荐深度学习网络模型的训练。
4.根据权利要求3所述的基于改进VHRED与强化学习的查询推荐方法,其特征在于,所述步骤B1,以用户会话为单位,将用户查询日志训练集TS中的查询文本及查询时间对输入到生成器网络中,输出生成器网络所预测的目标查询,具体包括以下步骤:
其中qi的编码公式如下:
ti的编码公式如下:
步骤B12:以用户会话为单位,将用户会话中除目标查询外的每个查询文本与查询时间对的表征向量组成序列,输入生成器网络的基于GRU网络的编码器模块进行编码,得到用户会话Su的表征向量 包含用户会话内除目标查询外的所有查询信息;
其中,Su的编码公式如下:
将均值μu输入softplus函数,计算得到协方差∑u,公式如下:
∑u=softplus(f(μu))
然后,根据均值μu和协方差∑u,通过随机取样计算得到隐变量zu,公式如下:
先将上式得到的h0通过GRU网络进行解码,解码得到的隐状态向量再通过GRU网络进行解码,重复Ktarget次解码,生成含有Ktarget个单词的目标查询qs,其中解码公式如下:
候选目标查询q's的得分score(q's)为解码的概率乘积,公式如下:
将上式取对数,公式如下:
5.根据权利要求4所述的基于改进VHRED与强化学习的查询推荐方法,其特征在于,所述步骤B2中,目标损失函数loss定义如下:
loss=loss1+loss2
其中,loss1为隐变量的分布和单位高斯分布的差异,使用KL散度度量,得到损失值loss1,计算如下:
其中,μu,Σu为步骤B13得到的均值和协方差;
其中,CrossEntropyLoss为交叉熵损失函数;
通过梯度优化算法AdaGrad进行学习率更新,利用反向传播迭代更新模型参数,以最小化损失函数来训练模型。
6.根据权利要求5所述的基于改进VHRED与强化学习的查询推荐方法,其特征在于,所述步骤B3,将步骤B1预测得到的目标查询与用户会话中的用户真实的目标查询,输入到判别器网络中,输出类别概率,通过类别概率来判断输入的目标查询是生成器网络所预测的目标查询还是用户真实的目标查询,具体包括以下步骤:
7.根据权利要求6所述的基于改进VHRED与强化学习的查询推荐方法,其特征在于,所述步骤B4具体包括以下步骤:
步骤B41:将模型生成查询推荐的过程视为一个动作序列,将基于改进VHRED的生成器网络视为一个策略,将步骤B35得到的概率作为生成器网络的奖励,计算损失值:
J(θ)=E(R-b|θ)
其中,E表示奖励的期望值,b为基线值,是一个使得训练稳定的平衡项,θ是超参数;
步骤B42:由步骤B41的损失值公式,通过似然率近似得到更新梯度:
基于更新的梯度,重新训练生成器网络的参数,通过多次迭代更新,使得生成器网络所预测的目标查询更趋近于用户真实的目标查询,得到训练好的查询推荐深度学习网络模型。
8.一种采用如权利要求1-7任一项所述方法的查询推荐***,其特征在于,包括:
数据收集模块,用于收集搜索引擎中所有的用户查询日志记录;
预处理模块,用于对收集的用户查询日志记录数据进行预处理,提取出查询的时间特征信息和文本特征信息,构建用户查询日志训练集TS;
网络训练模块,用于用得到的用户查询日志训练集训练带有时间特征的VHRED模型,利用会话中的所有查询的时间特征信息和文本特征信息,生成目标查询推荐,计算相对应的损失值,以最小化损失值为目标来对整个带有时间特征的VHRED模型进行训练,得到训练好的VHRED模型,然后将训练好的VHRED模型生成的推荐查询和真实用户产生的查询通过判别器网络,得到概率值R作为奖励,通过奖励R不断去修改学习率learning_rate,控制梯度下降方向,从而重新训练基于改进VHRED的生成器网络的参数,通过多次迭代更新,得到最终需要的训练好的查询推荐深度学习网络模型;以及
查询推荐模块,用于接受用户输入的查询语句,将查询语句输入到训练好的查询推荐深度学习网络模型中,输出相匹配的查询推荐。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010067232.4A CN111274359B (zh) | 2020-01-20 | 2020-01-20 | 基于改进vhred与强化学习的查询推荐方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010067232.4A CN111274359B (zh) | 2020-01-20 | 2020-01-20 | 基于改进vhred与强化学习的查询推荐方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111274359A true CN111274359A (zh) | 2020-06-12 |
CN111274359B CN111274359B (zh) | 2022-06-14 |
Family
ID=70998997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010067232.4A Active CN111274359B (zh) | 2020-01-20 | 2020-01-20 | 基于改进vhred与强化学习的查询推荐方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111274359B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360497A (zh) * | 2021-05-26 | 2021-09-07 | 华中科技大学 | 一种面向多负载的云数据库二级索引自动推荐方法和*** |
RU2778382C2 (ru) * | 2020-09-15 | 2022-08-18 | Общество С Ограниченной Ответственностью «Яндекс» | Способ обучения алгоритма машинного обучения формированию прогнозируемого совместного векторного представления для цифрового элемента |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609433A (zh) * | 2011-12-16 | 2012-07-25 | 北京大学 | 基于用户日志进行查询推荐的方法及*** |
CN106557563A (zh) * | 2016-11-15 | 2017-04-05 | 北京百度网讯科技有限公司 | 基于人工智能的查询语句推荐方法及装置 |
US20170185673A1 (en) * | 2015-12-25 | 2017-06-29 | Le Holdings (Beijing) Co., Ltd. | Method and Electronic Device for QUERY RECOMMENDATION |
CN107122469A (zh) * | 2017-04-28 | 2017-09-01 | 中国人民解放军国防科学技术大学 | 基于语义相似度与时效性频率的查询推荐排序方法与装置 |
CN109145213A (zh) * | 2018-08-22 | 2019-01-04 | 清华大学 | 基于历史信息的查询推荐方法及装置 |
-
2020
- 2020-01-20 CN CN202010067232.4A patent/CN111274359B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102609433A (zh) * | 2011-12-16 | 2012-07-25 | 北京大学 | 基于用户日志进行查询推荐的方法及*** |
US20170185673A1 (en) * | 2015-12-25 | 2017-06-29 | Le Holdings (Beijing) Co., Ltd. | Method and Electronic Device for QUERY RECOMMENDATION |
CN106557563A (zh) * | 2016-11-15 | 2017-04-05 | 北京百度网讯科技有限公司 | 基于人工智能的查询语句推荐方法及装置 |
CN107122469A (zh) * | 2017-04-28 | 2017-09-01 | 中国人民解放军国防科学技术大学 | 基于语义相似度与时效性频率的查询推荐排序方法与装置 |
CN109145213A (zh) * | 2018-08-22 | 2019-01-04 | 清华大学 | 基于历史信息的查询推荐方法及装置 |
Non-Patent Citations (1)
Title |
---|
张晓娟等: "查询推荐研究综述", 《情报学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2778382C2 (ru) * | 2020-09-15 | 2022-08-18 | Общество С Ограниченной Ответственностью «Яндекс» | Способ обучения алгоритма машинного обучения формированию прогнозируемого совместного векторного представления для цифрового элемента |
CN113360497A (zh) * | 2021-05-26 | 2021-09-07 | 华中科技大学 | 一种面向多负载的云数据库二级索引自动推荐方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN111274359B (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543180B (zh) | 一种基于注意力机制的文本情感分析方法 | |
Meng et al. | Aspect based sentiment analysis with feature enhanced attention CNN-BiLSTM | |
CN111414461B (zh) | 一种融合知识库与用户建模的智能问答方法及*** | |
Wang | Bankruptcy prediction using machine learning | |
CN112667818B (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及*** | |
Yang et al. | Multitask learning and reinforcement learning for personalized dialog generation: An empirical study | |
CN111626063A (zh) | 一种基于投影梯度下降和标签平滑的文本意图识别方法及*** | |
CN110222163A (zh) | 一种融合cnn与双向lstm的智能问答方法及*** | |
CN111782961B (zh) | 一种面向机器阅读理解的答案推荐方法 | |
CN112417894B (zh) | 一种基于多任务学习的对话意图识别方法及识别*** | |
CN114565104A (zh) | 语言模型的预训练方法、结果推荐方法及相关装置 | |
CN111026869A (zh) | 一种利用基于多层注意力的序列生成网络进行多罪名预测的方法 | |
CN113642225A (zh) | 一种基于attention机制的CNN-LSTM短期风电功率预测方法 | |
CN112416956B (zh) | 一种基于bert和独立循环神经网络的问句分类方法 | |
CN112232087A (zh) | 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法 | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN112749274A (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
CN115408525B (zh) | 基于多层级标签的信访文本分类方法、装置、设备及介质 | |
CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
CN109308316B (zh) | 一种基于主题聚类的自适应对话生成*** | |
CN115270752A (zh) | 一种基于多层次对比学习的模板句评估方法 | |
CN113094502A (zh) | 一种多粒度外卖用户评论情感分析方法 | |
CN115994224A (zh) | 基于预训练语言模型的钓鱼url检测方法及*** | |
Karlos et al. | Combining active learning with self-train algorithm for classification of multimodal problems | |
CN111274359B (zh) | 基于改进vhred与强化学习的查询推荐方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |