CN109063104B - 推荐信息的刷新方法、装置、存储介质和终端设备 - Google Patents

Abstract

本发明提出一种推荐信息的刷新方法、装置、存储介质和终端设备，其中，所述方法包括：响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列；其中，所述初始信息序列包括M个推荐信息；根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列；从所述优选信息序列中提取推荐信息序列，所述推荐信息序列包括所述优选信息序列中排序在前N个的推荐信息，其中，M大于N；以及向所述请求端发送所述推荐信息序列，以在所述请求端进行刷新显示。采用本发明，在本次刷新下发的推荐信息序列为最优的前提下，能够考虑到未来刷新下发的推荐信息序列。

Description

推荐信息的刷新方法、装置、存储介质和终端设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种推荐信息的刷新方法、装置、存储介质和终端设备。

背景技术

随着互联网的发展，涌现出多种多样的推荐平台，向互联网用户推送或推荐信息。例如、商品优惠信息的推送、搜索引擎的搜索信息的推荐、新闻信息或各领域的文章等信息的推送。

此类的推荐平台的推荐***都是以刷新为单位进行推荐信息的下发。例如，当用户在客户端触发刷新操作时，向服务端发送请求。服务端响应请求并将n个推荐信息组成推荐列表下发到客户端。客户端显示接收到的推荐列表。其中，服务端通过推荐算法，使得下发给用户的n个推荐信息及排列顺序尽可能匹配用户的兴趣，以吸引用户点击和阅读。但是，推荐***通常只考虑将本次刷新内的信息序列尽可能最优，而相邻刷新之间的信息序列的优化却很少考虑。例如，用户请求3次刷新，分别得到list(1)、list(2)和list(3)。如果仅仅参考本次刷新内推荐信息，可能均是本次刷新的最优列表，即局部最优列表。但是，如果将3个list拼接到一起所组成的列表，组成的列表未必是全局的最优列表。特别是，当用户进行上拉刷新时，可以历史的多次刷新的下发列表拼接在一起进行展示。此时，并接接后展示的列表未必是排列最优的列表。因而，如何使由多次刷新的下发列表组成的列表也为排列最优的列表，是目前亟需解决的技术问题。

传统的技术方案通常是：通过基于session(会话)的推荐算法，在当前刷新中对下发的推荐信息进行选取排列。在此过程中，将过去的多次刷新所下发的推荐信息及信息之间的排列顺序作为特征，加入到推荐算法中进行计算。从而，得到的计算结果，可以使得由本次刷新下发的推荐信息列表与客户端历史展现的推荐信息列表所组合在一起显示的列表的排列最优。

虽然，上述技术方案在下发本次刷新的推荐信息列表时，只考虑了历史下发的推荐信息列表的特征，则在将本次刷新与未来刷新的列表相拼接展示，未必是最优的列表。在用户持续刷新过程中，影响用户的浏览体验。

发明内容

本发明实施例提供一种推荐信息的刷新方法、装置、存储介质和终端设备，以解决或缓解现有技术中的以上一个或多个技术问题。

第一方面，本发明实施例提供了一种推荐信息的刷新方法，包括：

响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列；其中，所述初始信息序列包括M个推荐信息；

根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列；

从所述优选信息序列中提取推荐信息序列，所述推荐信息序列包括所述优选信息序列中排序在前N个的推荐信息，其中，M大于N；以及

向所述请求端发送所述推荐信息序列，以在所述请求端进行刷新显示。

结合第一方面，在第一方面的第一种实施方式中，所述响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列，包括：

根据所述刷新请求中的用户信息，从推荐信息库中查找对应的各推荐信息，得到推荐信息集合；

根据预设的推荐算法，计算所述推荐信息集合中的各推荐信息的推荐权重值；以及

将所述推荐信息集合中的各推荐信息按照推荐权重值排序；以及

选取排序在前M个的推荐信息，组合成初始信息序列。

结合第一方面，在第一方面的第二种实施方式中，所述根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列，包括：

随机调整所述初始信息序列中推荐信息的排列顺序，获得候选信息序列；

通过序列评估模型计算所述候选信息序列的各推荐信息的预测点击概率；

根据所述候选信息序列的各推荐信息的预测点击概率，计算所述候选信息序列的推荐分数；以及

从获得的候选信息序列中，选取推荐分数最高的候选信息序列作为优选信息序列。

结合第一方面的第二种实施方式，在第一方面的第三种实施方式中，所述随机调整所述初始信息序列中推荐信息的排列顺序，获得候选信息序列，包括：

对所述初始信息序列中推荐信息的排列位置进行变异操作，获得候选信息序列；其中，所述变异操作包括从所述初始信息序列中随机选取两个推荐信息进行位置交换。

结合第一方面的第二种实施方式，在第一方面的第四种实施方式中，所述刷新方法还包括：

获取所述序列评估模型的训练数据；其中，所述训练数据包括所述请求端的样本推荐信息序列和所述样本推荐信息序列中各推荐信息的点击概率；以及

按所述样本推荐信息序列的生成时间，将所述训练数据输入所述序列评估模型，以对所述序列评估模型进行训练更新。

第二方面，本发明实施例还提供一种推荐信息的刷新装置，包括：

初始序列生成模块，用于响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列；其中，所述初始信息序列包括M个推荐信息；

优选序列生成模块，用于根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列；

推荐序列提取模块，用于从所述优选信息序列中提取推荐信息序列，所述推荐信息序列包括所述优选信息序列中排序在前N个的推荐信息，其中，M大于N；以及

序列发送模块，用于向所述请求端发送所述推荐信息序列，以在所述请求端进行刷新显示。

结合第二方面，第二方面的第一种实施方式中，所述初始序列生成模块包括：

推荐信息查找单元，用于根据所述刷新请求中的用户信息，从推荐信息库中查找对应的各推荐信息，得到推荐信息集合；

信息权重计算单元，用于根据预设的推荐算法，计算所述推荐信息集合中的各推荐信息的推荐权重值；以及

推荐信息排序单元，用于将所述推荐信息集合中的各推荐信息按照推荐权重值排序；以及

推荐信息选取单元，用于选取排序在前M个的推荐信息，组合成初始信息序列。

结合第二方面，第二方面的第二种实施方式中，所述优选序列生成模块，包括：

候选序列生成单元，用于随机调整所述初始信息序列中推荐信息的排列顺序，获得候选信息序列；

点击概率计算单元，用于通过序列评估模型计算所述候选信息序列的各推荐信息的预测点击概率；

推荐分数计算单元，用于根据所述候选信息序列的各推荐信息的预测点击概率，计算所述候选信息序列的推荐分数；以及

序列选取单元，用于从获得的候选信息序列中，选取推荐分数最高的候选信息序列作为优选信息序列。

结合第二方面的第二种实施方式，第二方面的第三种实施方式中，所述候选序列生成单元具体用于：对所述初始信息序列中推荐信息的排列位置进行变异操作，获得候选信息序列；其中，所述变异操作包括从所述初始信息序列中随机选取两个推荐信息进行位置交换。

结合第二方面的第二种实施方式，第二方面的第四种实施方式中，所述刷新装置还包括：

训练数据模块，用于获取所述序列评估模型的训练数据；其中，所述训练数据包括所述请求端的样本推荐信息序列和所述样本推荐信息序列中各推荐信息的点击概率；以及

模型训练模块，用于按所述样本推荐信息序列的生成时间，将所述训练数据输入所述序列评估模型，以对所述序列评估模型进行训练更新。

所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，推荐信息的刷新结构中包括处理器和存储器，所述存储器用于推荐信息的刷新装置执行上述第一方面中推荐信息的刷新程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述推荐信息的刷新装置还可以包括通信接口，用于推荐信息的刷新装置与其他设备或通信网络通信。

第三方面，本发明实施例还提供一种计算机可读存储介质，用于推荐信息的刷新装置所用的计算机软件指令，其中包括用于执行上述第一方面的推荐信息的刷新方法所涉及的程序。

上述技术方案中的其中一个技术方案具有如下优点或有益效果：

本发明实施例在响应本次刷新请求时，生成一个较下发的推荐信息序列长的初始信息序列，并结合初始信息序列中各推荐信息中的预测点击概率，调整序列的排列顺序获得优选信息序列，以及从优选信息序列中提取该列面中最前面的N个推荐信息组成推荐信息序列，下发给请求端以在请求端进行显示。因此，在本次刷新下发的推荐信息序列为最优的前提下，能够考虑到未来刷新下发的推荐信息序列。使得在用户持续刷新过程中，刷新所显示的内容更加吸引用户，用户获得更好的浏览体验。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1是本发明提供的推荐信息的刷新方法的一个实施例的流程示意图；

图2是本发明提供的初始信息序列的生成过程的一个实施例的流程示意图；

图3是本发明提供的优选信息序列的获取过程的一个实施例的流程示意图；

图4是本发明提供的序列评估模型的一个实施例的示意图；

图5是本发明提供的推荐文章的刷新方法的一个应用示例的流程图；

图6是本发明提供的推荐文章的刷新方法与现有技术的刷新方法的区别的一个实施例的示意图；

图7是本发明提供的推荐信息的刷新装置的一个实施例的结构示意图；

图8是本发明提供的推荐信息的刷新装置的初始序列生成模块的一个实施例的结构示意图；

图9是本发明提供的推荐信息的刷新装置的优选序列生成模块的一个实施例的结构示意图；

图10是本发明提供的推荐信息的刷新装置的另一个实施例的结构示意图；

图11是本发明提供的终端设备的一个实施例的结构示意图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

请参阅图1，本发明实施例提供了一种推荐信息的刷新方法，可以应用于服务器设备。服务器设备可以包括计算机、微机等。本实施例包括步骤S100至步骤S400，具体如下：

S100，响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列；其中，初始信息序列包括M个推荐信息。

在本实施例中，请求端可以包括智能手机、平板、计算机等。请求端可以安装与服务器***匹配的客户端应用程序，用于向服务器设备发送请求，并显示接收到的信息。客户端应用程序可以包括百度、谷歌、淘宝、京东等APP(Application，应用程序)。推荐信息可以包括商品优惠信息、搜索引擎的搜索信息、新闻信息或各领域的文章等。如果刷新请求是用户请求刷新产品的检索页面，则推荐信息可以包括产品的描述信息，例如商品的图片、价格、厂家等。如果刷新请求是用户请求刷新某一检索语句的检索页面，则推荐信息可以包括与该检索语句相关的文章或新闻资讯等。初始信息序列可以按推荐信息与请求端的用户信息的相关程度或推荐信息的预测点击率进行排列。初始信息序列的长度为初始信息序列包含的推荐信息的数量。相比向请求端发送的推荐信息序列的长度，初始信息序列的长度较长。

S200，根据初始信息序列中各推荐信息的预测点击概率，调整初始信息序列的排列顺序，获得优选信息序列。

在本实施例中，由于初始信息序列的排列顺序仅考虑各推荐信息在推荐信息集合中的权重值，往往不是最优的序列，因而，需要考虑序列整体对用户的影响，例如预测用户对各推荐信息的点击概率。

S300，从优选信息序列中提取推荐信息序列，推荐信息序列包括优选信息序列中排序在前N个的推荐信息，其中，M大于N。

在本实施例中，M的数值可以为N的整数倍。例如，以推荐信息为文章为例，如果对于任意刷新请求均发送N个文章，则优选信息序列或初始信息序列可以包括M＝N*S个文章，其中，S大于1，S为包括本次刷新在内未来需要考虑的刷新次数。如果N为数值5，M为数值20，则推荐信息序列为优选信息序列中排序在前5个的推荐信息。

S400，向请求端发送推荐信息序列，以在请求端进行刷新显示。

在本实施例中，在本次刷新下发推荐信息序列的过程中，预先生成一个较长的初始序列(初始信息序列)。然后对初始序列中的排列顺序进行调整，获得优选序列(优选信息序列)。最后，从优选序列中提取排序在前N个推荐信息，作为下发的推荐信息序列。由于，优选序列长度长于下发的序列，所以本次刷新所下发的序列能够考虑到后续刷新所下发的序列。

在一种可能的实现方式中，如图2所示，上述步骤S100的初始信息序列的生成过程，可以包括：

S110，根据刷新请求中的用户信息，从推荐信息库中查找对应的各推荐信息，得到推荐信息集合。

在本实施例中，请求端发送的刷新请求通常会携带用户信息。为了使推荐信息更为匹配用户的需求，在满足刷新请求的同时，可以结合用户信息，从推荐信息库中提取信息。如果同一用户在短时间连续刷新多次，则在本次刷新查找推荐信息时，可以将此用户在过去一定时间内刷新所查找的推荐信息排除。

S120，根据预设的推荐算法，计算推荐信息集合中的各推荐信息的推荐权重值。

在本实施例中，推荐算法可以包括基于矩阵分解的方法、基于神经网络的方法等。采用推荐算法可以计算集合中的各推荐信息的点击概率或与用户信息的相关程度。推荐权重值可以依赖于推荐信息的点击概率、与用户信息的相关程度等。例如，推荐信息的点击概率越高，推荐权重值越高；用户信息的相关程度越高，推荐权重值越高。

S130，将推荐信息集合中的各推荐信息按照推荐权重值排序。

S140，选取排序在前M个的推荐信息，组合成初始信息序列。

示例性，如果推荐信息序列的长度为N，服务器的***设置的刷新次数为S，S大于1，则可以选取推荐信息集合中排序在前N*S个的推荐信息。此时，M＝N*S。

初始信息序列的排序仅基于推荐权重值，而各推荐信息的推荐权重值均是基于自身推荐信息进行计算，未能考虑推荐信息之间的联系，即未能考虑由多个推荐信息形成的序列对用户的影响。因而，如果将初始信息序列下发给用户，其未必是本次刷新最优的序列，而且序列过长。为此，本实施例需要基于初始信息序列来获取优选信息序列，以及从优选信息序列中截取合适长度的序列作为下发给请求端的序列。

在一种可能的实现方式中，如图3所示，上述步骤S200的优选信息序列的获取过程，可以包括：

S210，随机调整初始信息序列中推荐信息的排列顺序，获得候选信息序列。

在本实施例中，对初始信息序列中推荐信息的排列顺序进行调整所获得的序列与初始序相近但又有所差别，可以方便后续从中寻找优选的序列。具体地，可以对初始信息序列中推荐信息的排列位置进行变异操作，变异操作包括从初始信息序列中随机选取两个推荐信息进行位置交换。以及，执行一次或多次变异操作，可以得到一个异于初始序列的新序列。执行上述过程多次，并排除相同的序列，可以得到多个序列，组成候选信息序列集合。

示例性，如果初始信息序列为按顺序排列的{信息A1，信息A2，信息A3，信息A4，信息A5}，随机选择信息进行位置交换。例如，信息A1与信息A3进行位置交换。可以随机执行一次或多次，例如，两次(第一次为信息A1与信息A3进行位置交换，第二次为信息A3与信息A5进行位置交换)。按上述举例，可以获得候选信息序列为按顺序排列的{信息A5，信息A2，信息A1，信息A4，信息A3}。

S220，通过序列评估模型计算候选信息序列的各推荐信息的预测点击概率。

在本实施例中，序列评估模型可以基于神经网络构建而成，例如：RNN(RecurrentNeural Network，循环神经网络)、RNN网络的变形等。如图4所示，序列评估模型可以采用RNN的方式进行建模。图中的神经节点从左往右按时序依次展开，x是输入层，h是隐层，y是输出层。h_t-n，……,，h_t-2，h_t-1，h_t表示隐状态的神经节点，x_t-n,……,x_t-2,x_t-1,x_t表示序列中各推荐信息的特征，y_t-n,……,y_t-2,y_t-1,y_t表示序列中各推荐信息是否会点击的概率。

在本实施例中，可以预先训练序列评估模型。例如，可以采用BPTT(反向传播算法，Back Propagation Trough Time)进行模型训练。一般地，模型的训练过程可以包括：获取序列评估模型的训练数据；其中，训练数据包括请求端的样本推荐信息序列和样本推荐信息序列中各推荐信息的点击概率。例如，若样本中的推荐信息在样本展示过程被点击了，则此推荐信息的点击概率为1；若样本中的推荐信息在样本屏示过程未被点击，则此推荐信息的点击概率为0。然后，按样本推荐信息序列的生成时间，将训练数据依次输入序列评估模型，以对序列评估模型进行训练更新。可以注意到的，RNN的隐层包括隐状态神经网络之间的自连接权重W。因而，当将推荐信息的特征依次放入到RNN网络中进行学习时，RNN可以通过W的更新迭代，就可以学习到相邻推荐信息之间的关系，从而实现对序列的建模。

S230，根据候选信息序列的各推荐信息的预测点击概率，计算候选信息序列的推荐分数。

在本实施例中，可以将序列中的各推荐信息的预测点击概率进行相加，获得此序列的推荐分数。也可以为序列中的各推荐信息赋予一个权重值。例如，按推荐信息的排列顺序赋予各推荐信息对应的权重值，并将各推荐信息的预测点击概率与自身的权重值相乘，并将乘积求和，获得此序列的推荐分数。

S240，从获得的候选信息序列中，选取推荐分数最高的候选信息序列作为优选信息序列。

在本实施例中，对于任意输入的一个推荐信息序列，均利用序列评估模型对此序列中的每一个推荐信息预测出一个点击概率。由于RNN网络学习了序列中推荐信息之间的关系，且后续利用序列评估模型对每个推荐信息计算所得到的点击概率，来为此序列计算一个推荐分数，因而此推荐分数能够考虑序列中的推荐信息之间的联系。进而，根据推荐分数从候选信息序列中选取的序列往往会优于初始信息序列。

参见图5和图6，图5是本发明实施例提供的一种推荐文章的刷新方法应用示例的流程图。图6是本发明实施例提供的推荐文章的刷新方法与现有技术的刷新方法的区别的示意图。

本应用示例的基本原理是：服务端在每次刷新时都会从文章库中召回的文章集合，以从中提取文章并组成文章序列(列表)进行下发。需要注意的是，在后续刷新中还有可能召回，刨去本次刷新所下发文章后文章集合中剩下的文章。特别是在较短时间内连续刷新的情况下。因为在短时间内用户画像变化不大，文章库里的资源变化不大，文章集合中剩下的文章被召回的可能性较大。因此，在本次刷新生成下发序列的时候，如果把本次刷新未下发的文章也考虑在内，可以使得本次刷新下发序列和后续刷新下发序列拼接在一起为整体最优序列。其中，一个可行方案是：在本次刷新下发文章序列的过程，生成一个较长的序列，而本次刷新只下发此序列中排列在前N个文章。如此，本次刷新下发的就文章序列考虑了未来刷新所下发的文章序列，使得当本次刷新所下发序列与未来刷新所下发序列拼接在一起时此序列为整体最优序列。

参见图5，本应用示例包括4个步骤，具体如下：

(1)根据召回文章集合生成初始序列。

本步骤的主要目的是根据召回的文章集合，生成一个较优的初始序列。

具体方法如下：

①采用任意一个推荐算法，对从文章库中召回的每篇文章分别计算一个权重w，权重用于表示与请求端的用户信息相关程度或者此文章被用户点击的概率。

②按每篇文章权重w从大到小排序，并选取排序在前m*n个文章。其中，n表示一次刷新下发文章的数量；m>1，表示需要总共要考虑的刷新个数。

对于计算权重w的推荐算法，可以采用多种经典推荐算法。例如，基于矩阵分解的方法、基于神经网络的方法等。

(2)根据初始序列随机生成多种序列组合

在本实施例中，初始序列往往是较优的，但并不是最优的。因为初始序列中文章排列顺序仅考虑文章的权重，文章的权重的计算仅是基于文章自身的信息，未考虑与其他文章之间的关系。即，形成的初始序列未能考虑序列之间的文章。本步骤的主要目的是根据初始序列生成一个与初始序列相近但又有差别的序列集合，以便从中寻找更优的序列。

具体方法如下：

对于一个序列，本实施例定义一种变异操作：随机挑选两个序列中的位置i和j(i≠j)，将第i个位置和第j个位置的文章交换。对于初始序列，可以进行x次(x是个随机数)变异操作，从而得到一个新序列。本实施例执行上述过程多次，得到多个不同的候选序列。

(3)根据评估模型选取最优序列

本步骤的主要目的是从多个不同的候选序列中挑选最优的序列。根据序列评估模型来对各候选序列中的文章进行打分，然后依据此打分数值计算各候选序列的进行再次打分，得分最高的序列即为最优序列。

可选地，评估模型可以采用RNN的方式进行建模，可以如图4所示。图中的神经节点从左往右按时序依次展开，x是输入层，h是隐层，y是输出层。h_t-n，……,，h_t-2，h_t-1，h_t表示隐状态的神经节点，x_t-n,……,x_t-2,x_t-1,x_t表示序列中各文章的特征，y_t-n,……,y_t-2,y_t-1,y_t表示序列中各文章是否会被点击的概率。

在本实例中，可以预先训练RNN网络。可以利用大量的用户请求刷新的页面文章数据作为训练样本。每个样本包括一个向用户展示的文章序列以及序列中每个文章的点击概率。其中，对于在文章序列的展示过程被用户点击的文章，其点击概率为1；对于在文章序列的展示过程未被用户点击的文章，其点击概率为0。RNN网络的训练过程可以采用经典的RNN训练方法，例如BPTT等。

在预测阶段，对于输入的每一个候选序列，评估模型可以预测出此序列中每篇文章的点击概率。然后，服务端将此候选序列中预测出来所有点击概率进行相加，获得此候选序列中的总体打分。

可以注意到的，RNN的隐层包括隐状态神经网络之间的自连接权重W，可以将序列中相邻文章的特征连接起来。因而，当将推荐信息的特征依次放入到RNN网络中进行学习时，RNN可以通过W的更新迭代，学习到相邻文章之间的联系。在预测文章的点击概率时，不仅仅基于文章自身的特征来独立地预测此文章的点击概率，而是会联系序列中其他文章的特征来预测此文章的点击概率。那么，候选文章序列的总体打分可以综合考虑各文章自身的特征和各文章之间的联系。这样，根据序列的总体打分从候选文章序列中选取的序列，往往会优于初始文章序列。

(4)本次刷新文章下发

在本步骤中，从选取的最优文章序列中截取排列在前n个文章所对应的序列，作为本次刷新下发的文章序列。

在实际应用中，在下一次刷新的时候，仍会执行如前述的操作，获取新的文章序列来进行下发。

如图6所示，将本应用示例提供的新方法与原有方法进行对比，可知：本应用示例在本次刷新下发的文章序列中，考虑了未来刷新可能下发的文章序列，给用户展示本次刷新最优序列的同时，在将本次刷新与未来刷新结合在一起显示时仍为整体最优序列。如此，使得在用户持续刷新过程中，刷新所显示的内容更加吸引用户，用户获得更好的浏览体验。

参见图7，本发明实施例还提供一种推荐信息的刷新装置，包括：

初始序列生成模块100，用于响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列；其中，所述初始信息序列包括M个推荐信息；

优选序列生成模块200，用于根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列；

推荐序列提取模块300，用于从所述优选信息序列中提取推荐信息序列，所述推荐信息序列包括所述优选信息序列中排序在前N个的推荐信息，其中，M大于N；以及

序列发送模块400，用于向所述请求端发送所述推荐信息序列，以在所述请求端进行刷新显示。

在一种可能的实现方式中，参见图8，所述初始序列生成模块100可以包括：

推荐信息查找单元110，用于根据所述刷新请求中的用户信息，从推荐信息库中查找对应的各推荐信息，得到推荐信息集合；

信息权重计算单元120，用于根据预设的推荐算法，计算所述推荐信息集合中的各推荐信息的推荐权重值；以及

推荐信息排序单元130，用于将所述推荐信息集合中的各推荐信息按照推荐权重值排序；以及

推荐信息选取单元140，用于选取排序在前M个的推荐信息，组合成初始信息序列。

在一种可能的实现方式中，参见图9，所述优选序列生成模块200，可以包括：

候选序列生成单元210，用于随机调整所述初始信息序列中推荐信息的排列顺序，获得候选信息序列；

点击概率计算单元220，用于通过序列评估模型计算所述候选信息序列的各推荐信息的预测点击概率；

推荐分数计算单元230，用于根据所述候选信息序列的各推荐信息的预测点击概率，计算所述候选信息序列的推荐分数；以及

序列选取单元240，用于从获得的候选信息序列中，选取推荐分数最高的候选信息序列作为优选信息序列。

在一种可能的实现方式中，所述候选序列生成单元210具体用于：对所述初始信息序列中推荐信息的排列位置进行变异操作，获得候选信息序列；其中，所述变异操作包括从所述初始信息序列中随机选取两个推荐信息进行位置交换。

在一种可能的实现方式中，参见图10，所述刷新装置还可以包括：

训练数据模块500，用于获取所述序列评估模型的训练数据；其中，所述训练数据包括所述请求端的样本推荐信息序列和所述样本推荐信息序列中各推荐信息的点击概率；以及

模型训练模块600，用于按所述样本推荐信息序列的生成时间，将所述训练数据输入所述序列评估模型，以对所述序列评估模型进行训练更新。

所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，推荐信息的刷新结构中包括处理器和存储器，所述存储器用于推荐信息的刷新装置执行上述第一方面中推荐信息的刷新程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述推荐信息的刷新装置还可以包括通信接口，用于推荐信息的刷新装置与其他设备或通信网络通信。

本发明实施例还提供一种推荐信息的刷新终端设备，如图11所示，该设备包括：存储器21和处理器22，存储器21内存储有可在处理器22上的计算机程序。处理器22执行计算机程序时实现上述实施例中的推荐信息的刷新方法。存储器21和处理器22的数量可以为一个或多个。

该设备还包括：

通信接口23，用于处理器22与外部设备之间的通信。

存储器21可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

如果存储器21、处理器22和通信接口23独立实现，则存储器21、处理器22和通信接口23可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器21、处理器22及通信接口23集成在一块芯片上，则存储器21、处理器22及通信接口23可以通过内部接口完成相互间的通信。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。

本发明实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质的更具体的示例至少(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

在本发明实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于指令执行***、输入法或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的程序，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种推荐信息的刷新方法，其特征在于，包括：

响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列；其中，所述初始信息序列包括M个推荐信息；

根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列；

从所述优选信息序列中提取推荐信息序列，所述推荐信息序列包括所述优选信息序列中排序在前N个的推荐信息，其中，M大于N；以及

向所述请求端发送所述推荐信息序列，以在所述请求端进行刷新显示，

其中，所述根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列，包括：

随机调整所述初始信息序列中推荐信息的排列顺序，获得候选信息序列；

通过序列评估模型计算所述候选信息序列的各推荐信息的预测点击概率；

根据所述候选信息序列的各推荐信息的预测点击概率，计算所述候选信息序列的推荐分数；以及

从获得的候选信息序列中，选取推荐分数最高的候选信息序列作为优选信息序列。

2.如权利要求1所述的推荐信息的刷新方法，其特征在于，所述响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列，包括：

根据所述刷新请求中的用户信息，从推荐信息库中查找对应的各推荐信息，得到推荐信息集合；

根据预设的推荐算法，计算所述推荐信息集合中的各推荐信息的推荐权重值；以及

将所述推荐信息集合中的各推荐信息按照推荐权重值排序；以及

选取排序在前M个的推荐信息，组合成初始信息序列。

3.如权利要求1所述的推荐信息的刷新方法，其特征在于，所述随机调整所述初始信息序列中推荐信息的排列顺序，获得候选信息序列，包括：

对所述初始信息序列中推荐信息的排列位置进行变异操作，获得候选信息序列；其中，所述变异操作包括从所述初始信息序列中随机选取两个推荐信息进行位置交换。

4.如权利要求1所述的推荐信息的刷新方法，其特征在于，所述刷新方法还包括：

获取所述序列评估模型的训练数据；其中，所述训练数据包括所述请求端的样本推荐信息序列和所述样本推荐信息序列中各推荐信息的点击概率；以及

按所述样本推荐信息序列的生成时间，将所述训练数据输入所述序列评估模型，以对所述序列评估模型进行训练更新。

5.一种推荐信息的刷新装置，其特征在于，包括：

初始序列生成模块，用于响应请求端的刷新请求，从推荐信息集合中提取推荐信息组合成初始信息序列；其中，所述初始信息序列包括M个推荐信息；

优选序列生成模块，用于根据所述初始信息序列中各推荐信息的预测点击概率，调整所述初始信息序列的排列顺序，获得优选信息序列；

推荐序列提取模块，用于从所述优选信息序列中提取推荐信息序列，所述推荐信息序列包括所述优选信息序列中排序在前N个的推荐信息，其中，M大于N；以及

序列发送模块，用于向所述请求端发送所述推荐信息序列，以在所述请求端进行刷新显示，

其中，所述优选序列生成模块，包括：

候选序列生成单元，用于随机调整所述初始信息序列中推荐信息的排列顺序，获得候选信息序列；

点击概率计算单元，用于通过序列评估模型计算所述候选信息序列的各推荐信息的预测点击概率；

推荐分数计算单元，用于根据所述候选信息序列的各推荐信息的预测点击概率，计算所述候选信息序列的推荐分数；以及

序列选取单元，用于从获得的候选信息序列中，选取推荐分数最高的候选信息序列作为优选信息序列。

6.如权利要求5所述的推荐信息的刷新装置，其特征在于，所述初始序列生成模块包括：

推荐信息查找单元，用于根据所述刷新请求中的用户信息，从推荐信息库中查找对应的各推荐信息，得到推荐信息集合；

信息权重计算单元，用于根据预设的推荐算法，计算所述推荐信息集合中的各推荐信息的推荐权重值；以及

推荐信息排序单元，用于将所述推荐信息集合中的各推荐信息按照推荐权重值排序；以及

推荐信息选取单元，用于选取排序在前M个的推荐信息，组合成初始信息序列。

7.如权利要求5所述的推荐信息的刷新装置，其特征在于，所述候选序列生成单元具体用于：对所述初始信息序列中推荐信息的排列位置进行变异操作，获得候选信息序列；其中，所述变异操作包括从所述初始信息序列中随机选取两个推荐信息进行位置交换。

8.如权利要求5所述的推荐信息的刷新装置，其特征在于，所述刷新装置还包括：

训练数据模块，用于获取所述序列评估模型的训练数据；其中，所述训练数据包括所述请求端的样本推荐信息序列和所述样本推荐信息序列中各推荐信息的点击概率；以及

模型训练模块，用于按所述样本推荐信息序列的生成时间，将所述训练数据输入所述序列评估模型，以对所述序列评估模型进行训练更新。

9.一种实现推荐信息的刷新终端设备，其特征在于，所述终端设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的推荐信息的刷新方法。

10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的推荐信息的刷新方法。

Images