CN109582868A - 基于词向量加权、支持向量回归和用户点击偏好的搜索推荐方法 - Google Patents

Abstract

本发明涉及一种基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法。其发明内容主要包括(1)提出一种基于搜索前缀语义相关性和用户点击偏好的搜索推荐模型；(2)提出一种基于支持向量回归的搜索前缀文本嵌入和内容文本嵌入的语义相关性计算方法；(3)提出一种基于迁移学习和用户点击偏好和的权重修正方法。

Description

基于词向量加权、支持向量回归和用户点击偏好的搜索推荐 方法

技术领域

本发明涉及计算机应用技术领域，一种基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法。

背景技术

近年来，由于计算机领域的迅猛发展，人们获取的信息量呈指数增长。面对从四面八方向汹涌而来的信息，人们往往会感到眼花缭乱。另一方面，人工智能技术得到不断突破和进展，人们对现有的搜索引擎有了新的需求即尽可能满足用户的实际查询意图。因此，如何结合人工智能技术快速智能地从海量数据中获取用户所需的信息，从而提高搜索推荐***的服务质量，是当代计算机搜索推荐领域的一大挑战。

基于网络资源呈现出庞大而杂乱的特点，出现了两种检索技术：分类式检索和搜索式检索。用户使用分类目录检索时可以使用关键字检索，或者使用目录分类去浏览。搜索式检索则采用了信息查询的方式，搜索引擎收到用户的查询请求会返回结果列表。这两种技术在一定程度上降低了用户检索信息的难度，缓解了人们从海量数据中获取信息的压力，但是并没有根据用户的特点，使用背景等相关信息提供适合用户个体的资源检索推荐服务，不能完全满足用户需求。另一方面，也因为返回信息中垃圾信息的数量巨大，因此，搜索引擎并不能完全满足用户对信息发现的需求。在这种背景下，推荐***应运而生，它能连接用户和信息，创造价值。

搜索推荐技术是指搜索引擎依据用户提交查询词或查询词中的关键词采用一定的算法，分析用户潜在搜索意图，推荐给用户若干查询推荐后选词的技术。与单纯的搜索引擎相比，目前搜索推荐引擎已经具备初步的智能：通过挖掘用户搜索日志得到用户的兴趣爱好等信息建立用户兴趣模型，从而给用户返回可能感兴趣的信息；或者通过本体中词语之间的语义含义或者客观存在的文本、视频等信息载体，挖掘出信息之间的现实语义关联，并借助它们之间的关联大小推荐给用户；或者基于社交网络的方式推荐相关信息；或者通过研究查询词的相似性做查询扩展、查询聚类和查询相似性。但是搜索过程可能出现部分用户并不能完全准确地知道自己需要的信息或很难用简单的关键字来表述需求的情况，例如，当用户在一个不熟悉的领域内进行调研时，他们想获取更多的知识来加深对该领域的认知，而不是有目的地去寻找某一类信息；或者，用户存在特定的搜索意图，但限于已有知识有限不知如何表达。此时，需要展现更多与当前搜索具有现实关联的信息给用户，而不能仅仅展示用户模型的信息。另一方面，对于繁琐的搜索结果，如何进一步减少垃圾信息又不疏漏用户可能的搜索意图，就需要对搜索推荐做进一步的优化。

如今随着计算机、互联网、机器学习的发展，促使人工智能领域飞速发展。可以说哪里有计算机和数据，哪里有人工智能，哪里就有应用人工智能的理论、方法和技术。机器学习是实现人工智能的一种方法，为了使搜索推荐***更智能，本发明将用户点击偏好与自然语言处理技术和机器学习的方法结合，使用算法分析数据，从中学习并做出推断或预测。

发明内容

本发明提出了一种基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法，主要包括三大内容：

(1)提出一种基于搜索前缀语义相关性和用户点击偏好的搜索推荐模型；

(2)提出一种基于支持向量回归的搜索前缀文本嵌入和内容文本嵌入的语义相关性计算方法；

(3)提出一种基于迁移学习和用户点击偏好和的权重修正方法。

具体内容如下：

(1)提出一种基于搜索前缀语义相关性和用户点击偏好的搜索推荐模型：该推荐模型的流程图如图1所示，它综合考虑搜索前缀和内容文本的语义相关性，以及用户点击偏好来做推荐。

步骤一：考虑搜索前缀和内容文本的语义相关性。用户输入搜索内容是用户查找内容标题文本的前缀，而一个搜索内容对应多个可能的用户查找内容标题文本。针对搜索内容文本及其对应的各个内容标题文本基于词向量加权平均，构建出搜索内容文本及其对应的各个内容标题文本的文本向量。再采用支持向量回归算法建立语义相关性模型计算这两个文本的相关性值。模型的输入是两类文本的文本向量，输出是两类文本的相关性值。建模的过程将在内容2中做详细介绍。

步骤二：结合用户点击偏好修正第一部分的语义相关性模型。这一部分基于第一部分的语义相关性并结合用户点击偏好构建模型。因为用户对不同的内容标题文本的感兴趣程度不一样，本发明统计不同内容标题文本的点击率，用点击率来衡量用户的点击偏好。基于迁移学习和支持向量回归对搜索内容文本向量、内容标题文本向量和点击率进行建模，建模时需要将第一部分得到的模型初始化嵌入，从而达到修正模型的效果。最后收敛时的模型即为最终的搜索推荐模型。具体的建模过程在内容3中做详细介绍。

(2)提出一种基于支持向量回归的搜索前缀文本嵌入和内容文本嵌入的语义相关性计算方法。

定义:M为数据集，M＝{S,S’},S’＝{s₁’,s₂’,...,s_n’},S代表用户输入的搜索文本，S’代表根据输入的搜索文本预测的用户完整需求查询内容标题文本，这样的文本数一共有n个,分别是s₁’-s_n’。

该语义相关性计算方法包括两个步骤：

步骤一：针对搜索文本和内容文本采用中文分词技术、词向量构建技术和加权技术转换为文本向量，过程如下：

1)对文本采用中文分词技术进行分词：本发明采用jieba分词得到搜索文本和内容标题文本的词序列。分词后得到S＝{b₁’,b₂’…b_i’}，s₁’＝{b₁₁’,b₁₂’…b_1j’},s₂’-s_n’得到的形式同s₁’。b₁’-b_i’代表搜索文本S分词后的i个词，b₁₁’-b_1j’代表内容标题文本s₁’分词后的j个词。

2)将文本进行预处理：判断文本中是否有一些特殊符号和无意义的词，如果有则需要对文本进行去停用词的处理，否则跳过这个一步。

3)采用词向量构建技术将词语转换为词向量：本发明针对搜索文本和内容文本的词序列采用word2vec词向量构建技术，得到每个词对应的词向量。本发明所包含的总词数是25000个，词向量维度是100维，构建词向量之后得到S＝{v₁,v₂…v_i},s₁’＝{v₁₁’,v₁₂’…v_1j’}，s₂’-s_n’得到的形式同s₁’。其中v₁-v_i代表搜索文本S的i个词对应的向量，每个向量是100维，v₁₁’-v_1j’代表内容标题文本s₁’的j个词对应的向量，每个向量是100维。

4)基于词向量和加权技术构造文本向量：采用tfidf技术计算文本中每个词的权重，计算权重的过程如下：

以搜索文本中的词b₁’为例，首先计算词b₁’在当前搜索文本中出现的频率。公式如下：

其中分子是词语b₁’出现在当前文本中的次数，分母是在文本中所有字词的出现次数之和。

然后计算逆向文件频率，它是一个词语普遍重要性的度量。公式如下：

其中分子是所有的搜索文本数目，分母是包含词语b₁的搜索文本数目。

最后将(1)式与(2)式的结果相乘即可得到每个词语的权重，采用向量加权平均的方式叠加文本中的词向量，设搜索文本对应的向量为d，

其中分子是文本中所有词对应乘以各自的tf、idf求和，分母是在文件中所有字词的出现次数之和。得到文本向量之后S＝{d_s，d_t}，d_s代表搜索文本的文本向量，d_t代表查询内容标题文本向量。

步骤二：采用支持向量回归算法，迭代训练，计算两个文本向量的语义相关性。计算相关性值的过程如下：

1)建模：给定训练样本D＝{(d_t1,d_s1,y₁),(d_t2,d_s2,y₂)…(d_tm,d_sm,y_m)},其中d_s1-d_sm是m个搜索文本向量和d_t1-d_tm是m个内容文本向量，y₁-y_m是搜索文本与内容标题文本的相关性值，点击过的查询内容标题文本相关性值为1，没有点击过的内容标题文本相关性值为0。本发明让各个训练集中的点尽量拟合到一个超平面，该超平面代表的是搜索文本、内容标题文本和相关值之间关系的模型f₁(d_t1,d_s1)₁＝w₁ ^Tφ(d_t1,d_s1)+b₁，f₁(d_t1,d_s1)是根据模型拟合的搜索文本与内容标题文本的相关性值，w₁代表模型的权重。设定f(X)₁与实际相关性值之间最多有∈的偏差，得到两个异类支持向量f₁(d_t1,d_s1)-ε和f₁(d_t1,d_s1)+ε。那么是两个异类支持向量到超平面的距离之和，当f₁(d_t1,d_s1)与实际相关性值之间差值大于∈计算损失。目标函数如公式(4)所示：

这是一个凸二次规划问题，能直接用现成的优化计算包求解。求出w₁,b₁的值得到语义相关性回归模型并保存模型。

2)建模完成之后，输入待计算的搜索文本向量和内容文本向量，得到的输出值就是搜索文本向量和内容文本向量的相关性值。

(3)提出一种基于迁移学习和用户点击偏好和的权重修正方法：由于用户对不同内容的感兴趣程度不一样，所以搜索文本与内容标题文本的相关性需要考虑用户偏好，统计出用户输入的相同搜索前缀时点击不同内容文本的点击概率,用点击率来代表搜索文本与内容标题文本的相关性。新模型的训练集N＝{(d_t1,d_s1,y₁’),(d_t1,d_s1,y₂’)…(d_t1,d_s1,y_m’)},其中d_s1-d_sm是m个搜索文本向量,d_t1-d_tm是m个内容文本向量，y₁’-y_m’是不同内容文本的点击概率。基于迁移学习的思想，将内容2中得到的模型初始化嵌入到支持向量回归模型中,代入作为输入值的搜索文本向量和内容文本向量以及作为输出值的点击概率，得到

f₂(d_t1,d_s1,w₁)＝w₂ ^Tφ(d_t1,d_s1)+b₂ (5)

进一步迭代训练该模型，算法求解过程同上。该模型在保留语义相关性的同时，兼顾用户行为，以达到利用用户行为修正回归预测模型权重的目的。

得到新模型之后，本发明把用户搜索文本和可能的内容标题文本转化为文本向量输入后，基于已保存的新模型可以得到搜索文本和内容文本的相关性值。此时的相关性值是综合了语义相关性和用户点击偏好因素得到的结果。最后根据相关性值排序，输出TOPN对应的内容标题文本作为最后推荐的内容。

附图说明

图1为本发明工作流程图。

具体实施方式

本发明是基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法。

开发语言是python，开发环境是win10，样例数据:挂号{"挂号信是什么","挂号网上预约":,"挂号网官网":,"挂号信":,"挂号","挂号平台","挂号网"}挂号网。用户输入的搜索文本是挂号，最终点击的查询内容标题文本是挂号网。具体步骤如下：

步骤一：数据准备

将数据格式转换为需要的形式存储：一个搜索文本会有多个可能的内容标题文本，但是用户点击过的内容标题文本只是其中的一部分。先把搜索文本与内容标题文本以及是否点击该内容文本对应起来，如果点击过则相关性值为1，没有点击过则相关性值为0。

步骤二：中文分词和文本预处理

先使用开源的jieba分词器进行分词。输入搜索文本和查询内容标题文本，输出是搜索文本和查询内容标题文本对应的词。再下载常见中文停用词表，判断文本中是否包含停用词，有则去掉停用词，否则进行下一步。

步骤三：构建词向量

先使用词向量工具word2vec输入所有搜索文本和查询内容标题文本加载语料，然后将语料作为训练样本进行训练得到词向量模型。接下来遍历每个词，利用模型获取每个词的词向量。输入是搜索文本和查询内容标题文本对应的词，输出是各个词对应的向量。

步骤四：构建搜索前缀文本向量和内容标题文本向量

使用TF_IDF加权技术输入搜索文本和查询内容标题文本对应的词，得到每个词的权重值。一个文本分为一个或多个词，那么每个词都有向量和权重，把向量和权重相加再除以一句话中的词的个数，就得到搜索文本向量和查询内容标题文本向量。

步骤五：通过支持向量回归计算文本相关性

先采用支持向量回归算法训练初始相关性模型，参数是搜索文本向量和查询内容标题文本向量，是否点击，得到模型1。再统计每个查询内容标题文本的点击率，把模型1初始化嵌入到支持向量回归模型中，进一步迭代训练该模型，得到修正后的模型。最后调用修正后的模型，输入搜索文本向量和查询内容标题文本向量，把输出值的TOPN对应的内容标题文本作为最后的推荐。

Claims (4)

1.一种基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法，其特征包括：

1)提出一种基于搜索前缀语义相关性和用户点击偏好的搜索推荐模型；

2)提出一种基于支持向量回归的搜索前缀文本嵌入和内容文本嵌入的语义相关性计算方法；

3)提出一种基于迁移学习和用户点击偏好和的权重修正方法。

2.根据权利要求1所述的基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法，其特征在于：综合考虑搜索前缀和内容文本的语义相关性，以及用户点击偏好，实现搜索推荐；该搜索推荐模型涉及两部分，第一部分是搜索前缀语义相关性：用户输入搜索内容是用户查找内容标题文本的前缀，搜索文本与内容标题文本在语义上存在相关性；针对搜索文本和内容标题文本采用基于词向量加权平均的文本向量构建技术进行表征，采用支持向量回归算法度量出二者的语义相关性；第二部分是结合用户点击偏好修正第一部分的语义相关性模型，以期达到兼顾语义相关性和点击偏好的目的：统计用户在同一搜索前缀下对不同文本的点击概率，点击概率则代表用户的点击偏好，基于迁移学习和支持向量回归进一步对语义相关性模型进行修正；最后收敛时的模型即为最终的搜索推荐模型。

3.根据权利要求1所述的基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法，其特征在于：采用中文分词技术处理搜索文本和内容文本，形成搜索文本和内容文本的词序列；采用word2vec词向量技术构建词向量，并采用tfidf技术计算文本中每个词的权重，采用向量加权平均的方式叠加文本中的词向量，从而形成文本向量；以搜索文本向量和内容文本向量作为输入，采用支持向量回归算法，迭代训练，计算两两个文本向量的语义相关性。

4.根据权利要求1所述的基于词向量加权平均、支持向量回归和用户点击偏好的搜索推荐方法，其特征在于：针对用户点击偏好，首先统计出用户输入的相同搜索前缀时点击不同内容文本的点击概率；再根据第2点特征中得到的语义相关性回归模型，基于迁移学习的思想，以该模型为初始化的支持向量回归模型，以搜索前缀文本向量和内容文本向量为输入，以内容文本对应的点击概率为输出，进一步迭代训练该模型；最终收敛得到的新模型，在保留语义相关性的同时，兼顾用户行为，以达到利用用户行为修正回归预测模型权重的目的，从而实现更加精准的推荐。