CN113761378A - 内容排序方法、计算设备和计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种内容排序方法、计算设备和计算机可读存储介质。该方法包括：基于社交平台的流式日志确定一个用户的训练样本，流式日志记录有用户对社交平台的多个内容的用户行为，训练样本包括第一用户稠密向量、第一内容稠密向量和第一用户行为序列向量；基于训练样本对深度神经网络模型进行训练以产生训练目标向量，训练目标向量包括第二用户稠密向量、作为兴趣特征向量的第二内容稠密向量和第二用户行为序列向量的索引，并且训练目标向量指示针对每个内容的至少一种用户行为的结果；基于训练目标向量对深度神经网络模型的权重函数进行更新；以及基于训练后的深度神经网络模型分别计算多个候选内容的得分以对多个候选内容进行排序。

Description

内容排序方法、计算设备和计算机可读存储介质

技术领域

本发明概括而言涉及机器学习领域，更具体地，涉及一种内容排序方法、计算设备和计算机可读存储介质。

背景技术

随着各种社交平台的不断发展，越来越多的用户通过这些社交平台来获取各种资讯。通常情况下，当用户登录社交平台时，社交平台的服务器向用户推荐一些内容，并展示在用户终端上。然而，社交平台上时时刻刻都在产生海量的内容，而用户终端可展示的内容数量有限，并且如果头部的若干项内容不能引起用户的兴趣，用户很可能转向其他版块或者其他平台。因此，如何将与用户兴趣最匹配的内容显示在有限的头部位置是提高内容推荐效果的一个重要手段。

自从Youtube将神经网络模型用于内容推荐开始，基于深度学习的神经网络模型在内容推荐中得到越来越广泛的应用，在排序模型阶段，较经典的模型有Deep&Wide、DeepFM等，它们将传统协同过滤以及神经网络技术很好的结合了起来。

目前常见到的信息流推荐场景，如抖音、快手等信息流，淘宝、京东等电商产品，都具有中心化的特点，即，将少数候选内容曝光给大部分用户，从而用户行为很容易在单个候选物品上累积。在这种情况下，使用传统的个性化方法——协同过滤更容易实现聚类。

为了解决这一问题，在协同过滤的基础上，进一步引入了用户行为序列来修正用户兴趣分布，如Din、Dien、Mind模型等，将通过协同过滤获得的用户特征向量与用户行为序列的特征向量之和(或者平均，或者通过神经网络映射)交叉，从而获得更强的个性化学习能力。

然而，在一些高流量的社交平台中，很短的时间间隔内就会产生海量新内容，而每条新内容的生命周期却非常短暂，例如每天可能会产生并发布至少数百万条新内容，每条内容的生命周期却通常不超过两天。在这种情况下，用户行为被均摊在了大量候选内容上，使得单个候选内容很难累积到足够的数据，传统方法协同过滤也更难发生，无法通过协同过滤获取有效的特征向量，从而学习用户兴趣的困难大大增加。例如，本发明的发明人通过进行模拟实验，将传统协同过滤结合用户行为序列校正进行内容排序和推荐，发现这种方式仅能学习到微弱的个性化，完全无法实际提高推荐效果。

发明内容

针对上述问题，本发明提供了一种内容排序方案，通过将用户稠密向量和内容稠密向量进行拼接并通过神经网络模型进行训练来产生用户的兴趣特征向量，并且利用训练后的神经网络模型对候选内容进行打分以对候选内容进行排序。此外，还设计了独特的存储结构来对兴趣特征向量进行存储和查找，并自动删除过期的兴趣特征向量。通过这些方式，本发明的方案解决了去中心化场景下大流量社交平台上学习用户兴趣困难的问题，从而为用户提供了更为准确的内容推荐。

根据本发明的一个方面，提供了一种内容排序方法。该方法包括：基于社交平台的流式日志确定一个用户的训练样本，所述流式日志记录有所述用户对所述社交平台的多个内容的用户行为，所述训练样本包括第一用户稠密向量、第一内容稠密向量和第一用户行为序列向量；基于所述训练样本对深度神经网络模型进行训练以产生训练目标向量，所述训练目标向量包括第二用户稠密向量、作为兴趣特征向量的第二内容稠密向量和第二用户行为序列向量的索引，并且所述训练目标向量指示针对每个内容的至少一种用户行为的结果；基于所述训练目标向量对所述深度神经网络模型的权重函数进行更新；以及基于训练后的深度神经网络模型分别计算多个候选内容的得分以对所述多个候选内容进行排序。

根据本发明的另一个方面，提供了一种计算设备。该计算设备包括：至少一个处理器；以及至少一个存储器，该至少一个存储器被耦合到该至少一个处理器并且存储用于由该至少一个处理器执行的指令，该指令当由该至少一个处理器执行时，使得该计算设备执行根据上述方法的步骤。

根据本发明的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序代码，该计算机程序代码在被运行时执行如上所述的方法。

在一些实施例中，基于社交平台的流式日志确定一个用户的训练样本包括：获取所述社交平台的流式日志；从所述流式日志中提取所述用户的日志特征集合，所述日志特征集合包括所述用户的用户特征集合和所述用户行为所针对的多个内容的内容特征集合；基于所述用户特征集合确定所述第一用户稠密向量；基于所述内容特征集合确定所述第一内容稠密向量；获取用户行为序列，并且基于每个用户行为所针对的内容的第一内容稠密向量确定所述第一用户行为序列向量；以及将所述第一用户稠密向量、所述第一内容稠密向量和所述第一用户行为序列向量拼接为所述训练样本。

在一些实施例中，基于所述训练样本对深度神经网络模型进行训练以产生训练目标向量包括：将所述训练样本输入所述深度神经网络模型的第一稠密化层，以得到第一稠密输出；将所述第一稠密输出通过第一激活层进行非线性映射，以得到第一激活输出，其中所述第一激活输出与所述第一稠密输出的维度相同；将所述第一激活输出输入所述深度神经网络模型的第二稠密化层，以得到第二稠密输出，其中所述第二稠密输出的维度小于所述第一稠密输出；将所述第二稠密输出通过第二激活层进行非线性映射，以得到第二激活输出，其中所述第二激活输出与所述第二稠密输出的维度相同；以及将所述第二激活输出输入第三稠密化层以得到所述训练目标向量，其中所述第三稠密化层的维度与期望的训练目标向量的维度相同。

在一些实施例中，基于所述训练目标向量对所述深度神经网络模型的权重函数进行更新包括：利用所述深度神经网络模型的激活函数确定所述训练目标向量的每个维度的得分；基于所述训练目标向量的每个维度的得分、所述训练样本的样本标签和所述深度神经网络模型的损失函数确定所述训练目标向量在所述深度神经网络模型的最后一层的梯度；以及基于所述训练目标向量在所述深度神经网络模型的最后一层的梯度对所述深度神经网络模型的每一层的权重函数进行更新。

在一些实施例中，基于训练后的深度神经网络模型分别计算多个候选内容的得分以对所述多个候选内容进行排序包括：对于所述多个候选内容中的每个候选内容，利用训练后的深度神经网络模型的激活函数确定所述候选内容的目标向量的每个维度的得分；基于所述候选内容的目标向量的每个维度的得分确定所述候选内容的得分；以及基于所述多个候选内容中的每个候选内容的得分对所述多个候选内容进行排序。

在一些实施例中，该方法还包括：将所述第二内容稠密向量作为所述用户的兴趣特征向量放入兴趣特征向量池，其中所述兴趣特征向量池包括一个先进先出队列和一个闭散列哈希表，所述先进先出队列包括多个内容ID的列表，所述闭散列哈希表包括多个条目，每个条目包括作为键字段的内容ID和作为值字段的内容。

在一些实施例中，将所述第二内容稠密向量作为所述用户的兴趣特征向量放入兴趣特征向量池包括：确定所述先进先出队列是否已满；如果所述先进先出队列已满，删除所述先进先出队列中的第一个内容ID，并且从所述闭散列哈希表中删除与所述第一个内容ID对应的条目；将所述第二内容稠密向量对应的内容ID添加在所述先进先出队列的末尾并且将所述第二内容稠密向量对应的内容ID和内容添加到所述闭散列哈希表；以及如果所述先进先出队列未满，直接将所述第二内容稠密向量对应的内容ID添加在所述先进先出队列的末尾并且将所述第二内容稠密向量对应的内容ID和内容添加到所述闭散列哈希表。

附图说明

通过参考下列附图所给出的本发明的具体实施方式的描述，将更好地理解本发明，并且本发明的其他目的、细节、特点和优点将变得更加显而易见。

图1示出了用于实现根据本发明的实施例的内容排序方法的***的示意图。

图2示出了根据本发明的一些实施例的内容排序方法的流程图。

图3示出了根据本发明实施例的用于确定用户的训练样本的步骤的流程图。

图4示出了根据本发明实施例的对深度神经网络模型进行训练的步骤的流程图。

图5示出了根据本发明实施例的深度神经网络模型的结构示意图。

图6示出了根据本发明实施例的对深度神经网络模型的权重函数进行更新的步骤的流程图。

图7示出了根据本发明一些实施例的用于对候选内容进行排序的步骤的流程图。

图8示出了根据本发明的实施例的将第二内容稠密向量放入兴趣特征向量池中的步骤的流程图。

图9示出了适合实现本发明的实施例的计算设备的结构方框图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整的传达给本领域的技术人员。

在下文的描述中，出于说明各种发明的实施例的目的阐述了某些具体细节以提供对各种发明实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。

除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。

在整个说明书中对“一个实施例”或“一些实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一些实施例”中的出现不一定全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。

此外，说明书和权利要求中所用的第一、第二等术语，仅仅出于描述清楚起见来区分各个对象，而并不限定其所描述的对象的大小或其他顺序等。

图1示出了用于实现根据本发明的实施例的内容排序方法的***1的示意图。如图1中所示，***1包括用户终端10、计算设备20、服务器30和网络40。用户终端10、计算设备20和服务器30可以通过网络40进行数据交互。这里，每个用户终端10可以是终端用户的移动或固定终端，如手机、平板电脑、台式机等。用户终端10例如可以通过其上安装的社交平台应用程序与社交平台的服务器30通信，以向服务器30发送信息和/或从服务器30接收信息。计算设备20基于来自用户终端10和/或服务器30的数据执行相应的操作。计算设备20可以包括至少一个处理器210和与该至少一个处理器210耦合的至少一个存储器220，该存储器220中存储有可由该至少一个处理器210执行的指令230，该指令230在被该至少一个处理器210执行时执行如下所述的方法100的至少一部分。注意，在本文中，计算设备20可以是服务器30的一部分或者可以独立于服务器30。计算设备20或服务器30的具体结构例如可以如下结合图9所述。

图2示出了根据本发明的一些实施例的内容排序方法100的流程图。方法100例如可以由图1中所示的***1中的计算设备20或服务器30执行。以下以在计算设备20中执行为例，结合图1至图9对方法100进行描述。

如图2中所示，方法100包括步骤110，其中计算设备20可以基于社交平台的流式日志确定一个用户的训练样本。如前所述，该社交平台可以是具有高流量和短生命周期内容的社交平台，因此，该流式日志可以是该社交平台的分钟级流式日志，该分钟级流式日志中记录有多个用户对大量分散的内容的用户行为。对于特定用户来说，该流式日志中记录有该用户对社交平台上的多个内容的用户行为。这里，内容可以是指社交平台的用户所上传的图片、视频、文本或其组合，也可以称为“帖子”。用户行为例如可以包括点击、点赞、评论、收藏、转发等用户操作中的至少一种。此外，用户行为也可以包括不对内容执行任何用户操作。

图3示出了根据本发明实施例的用于确定用户的训练样本的步骤110的流程图。

如图3中所示，步骤110可以包括子步骤111，其中计算设备20可以获取该社交平台的流式日志。该流式日志例如可以存储在图1所示的***1的服务器30或与服务器30相关联的数据库(图中未示出)中。

接下来，在子步骤112，计算设备20可以从子步骤111中获取的流式日志中提取该用户的日志特征集合。这里，用户的日志特征集合包括该用户的用户特征集合和该用户的用户行为所针对的多个内容的内容特征集合。用户特征集合可以包括该用户的属性信息，例如年龄、性别、所属城市等。内容特征集合可以包括每个内容的属性信息，例如该内容所包含的图片、视频、文字、字数、语言、作者等。

在子步骤113，计算设备20可以基于用户特征集合确定用户稠密向量(为了与训练后的用户稠密向量区分，这里也称为第一用户稠密向量)。用户稠密向量例如可以通过对用户特征集合中的用户特征进行拼接和稠密向量化(dense)操作来得到，用于指示出现概率较高(例如在一个批次中)的用户特征(如用户姓名、性别、年龄等)。其中，dense操作是指利用Tensorflow中的dense函数获得输入向量的全连接向量的操作。

在一种实施例中，用户稠密向量可以通过如下的公式(1)确定：

e^u＝dense(concat({e^f|f∈F_u})) (1)

其中，e^u表示用户稠密向量，e^f表示用户特征向量，F_u表示用户特征集合，concat()函数用于将多个输入数据(即用户特征集合中的用户特征)进行拼接，dense()函数是用于调整输入数据x(即concat({e^f|f∈F_u}))维度的全连接向量。

其中，dense()函数可以一般性地表示为：

dense(x)＝ReLu(W·x+b) (2)

其中，W，b是可训练参数，Relu()为非线性激活函数，其通常用于深度神经网络的隐藏层的输出。Relu()可以简单表示为：

Relu(x)＝max(0，x)|

在子步骤114，计算设备20可以基于内容特征集合确定内容稠密向量(为了与训练后的内容稠密向量区分，这里也称为第一内容稠密向量)。

与用户稠密向量类似，内容稠密向量也可以通过对内容特征集合中的内容特征进行拼接和稠密向量化(dense)操作来得到，用于指示出现概率较高的内容特征(如内容长度、内容点赞数、作者性别等)。通常，将在一个训练批次(Batch)内具有相同特征值的概率较高的内容特征称为内容稠密特征。例如，在一个训练批次内，作者性别为女性的内容特征在整个训练批次内出现概率非常高，因此可以将该内容特征作为一个内容稠密特征。

在一种实施例中，内容稠密向量可以通过如下的公式(3)确定：

e^p＝dense(concat({e^g|g∈F_p})) (3)

其中，e^p表示内容稠密向量，e^g表示内容特征，F_p表示内容特征集合，concat()函数用于将多个输入数据(即内容特征集合中的内容特征)进行拼接，dense()函数是用于调整输入数据x(即concat({e^g|g∈F_p}))维度的全连接向量。

在子步骤115，计算设备20可以获取用户行为序列，并且基于每个用户行为所针对的内容的第一内容稠密向量确定用户行为序列向量(为了与训练后的用户行为序列向量区分，这里也称为第一用户行为序列向量)。

在一种实施例中，用户行为序列向量可以通过如下的公式(4)确定：

其中，e^r表示用户行为序列向量，S_u表示用户对其执行了用户行为的内容集合，eⁱ表示用户对其执行了用户行为的内容的内容稠密向量(即上述第一内容稠密向量e^p)。

在子步骤116，计算设备20可以将第一用户稠密向量e^u、第一内容稠密向量e^p和第一用户行为序列向量e^r拼接为训练样本x_in。

这里，可以利用如上所述的concat()函数来对第一用户稠密向量e^u、第一内容稠密向量e^p和第一用户行为序列向量e^r进行拼接，即

x_in＝concat(e^u，e^p，e^r) (5)

接下来，继续图2，在步骤120，计算设备20可以基于训练样本x_in对深度神经网络模型进行训练以产生训练目标向量。

图4示出了根据本发明实施例的对深度神经网络模型进行训练的步骤120的流程图。图5示出了根据本发明实施例的深度神经网络模型500的结构示意图。如图5中所示，深度神经网络模型500可以包括第一稠密化层510、第一激活层520、第二稠密化层530、第二激活层540和第三稠密化层550。

在模型训练阶段，深度神经网络模型500可以输入上述构建的多个训练样本x_in(包括第一用户稠密向量e^u、第一内容稠密向量e^p和第一用户行为序列向量e^r)和每个训练样本x_in的样本标签(以下也将训练样本x_in与对应的样本标签的组合称为训练样本x_in或者输入向量x_in)，并且输出每个训练样本x_in对应的内容的得分。这里，样本标签用于指示针对该训练样本的用户操作，如点击、点赞、评论、收藏、转发等用户操作中的至少一种，或者无用户操作。

在模型使用阶段，深度神经网络模型500可以输入针对多个候选内容构建的与训练样本x_in类似的输入向量，并且输出每个候选内容的得分。以下主要以模型训练阶段为例对深度神经网络模型500进行描述。

如图4所示，步骤120可以包括子步骤121，其中，计算设备20可以将训练样本x_in输入深度神经网络模型500的第一稠密化层510，以得到第一稠密输出。

在一种实施例中，第一稠密输出可以通过如下的公式(6)确定：

x_den1＝dense(x_in) (6)

在其他实施例中，训练样本x_in以批量形式输入(即前面所述的训练批次Batch)，因此深度神经网络模型500的输入X_in可以表示为一个B*N的矩阵：

X_in＝{x_in} (7)

其中，B是批量输入的训练样本x_in的数量，N是训练样本x_in的长度(即第一用户稠密向量e^u、第一内容稠密向量e^p和第一用户行为序列向量e^r的长度之和)。

在这种情况下，第一稠密输出可以表示为：

X_den1＝dense(X_in) (8)

在一种实施例中，第一稠密化层510可以是一个(N+1)*512的矩阵(除了训练样本x_in的长度N之外还包括一个用于偏置的维度)，输入X_in与第一稠密化层510做矩阵乘法后，得到一个B*512的矩阵X_den1。

在子步骤122，计算设备20可以将第一稠密输出x_den1/X_den1通过第一激活层520进行非线性映射，以得到第一激活输出，其中第一激活输出与第一稠密输出的维度相同。

在一种实施例中，第一激活输出可以通过如下的公式(9)确定：

x_relu1＝Relu(x_den1) (9)

其中，Relu()为非线性激活函数，如上所述，其通常用于深度神经网络的隐藏层的输出。Relu()可以简单表示为：

Relu(x)＝max(0，x)|。

在批量输入X_in的情况下，第一稠密输出为X_den1，第一激活输出可以表示为：

X_relu1＝Relu(X_den1) (10)

在这种情况下，第一激活层520对第一稠密输出x_den1/X_den1进行非线性映射，保持维度不变，因此第一激活输出x_relu1/X_relu1与第一稠密输出x_den1/X_den1维度相同。

在子步骤123，计算设备20可以将第一激活输出x_relu1/X_relu1输入深度神经网络模型500的第二稠密化层530，以得到第二稠密输出，其中第二稠密输出的维度小于第一稠密输出。

在一种实施例中，第二稠密输出可以通过如下的公式(11)确定：

x_den2＝dense(x_relu1) (11)

在批量输入X_in的情况下，第一激活输出为X_relu1，第二稠密输出可以表示为：

X_den2＝dense(X_relu1) (12)

在一种实施例中，第二稠密化层530可以是一个(512+1)*256的矩阵，因此第一激活输出X_relu1在经过第二稠密化层530之后产生的第二稠密输出X_den2是一个B*256的矩阵，即对第一激活输出进行了降维。

接下来，在子步骤124，计算设备20可以将第二稠密输出x_den2/X_den2通过第二激活层540进行非线性映射，以得到第二激活输出，其中第二激活输出与第二稠密输出的维度相同。

在一种实施例中，第二激活输出可以通过如下的公式(13)确定：

x_relu2＝Relu(x_den2) (13)

其中，Relu()为非线性激活函数，如上所述。

在批量输入X_in的情况下，第二稠密输出为X_den2，第二激活输出可以表示为：

X_relu2＝Relu(X_den2) (14)

在这种情况下，第二激活层540对第二稠密输出x_den2/X_den2进行非线性映射，保持维度不变，因此第二激活输出x_relu2/X_relu2与第二稠密输出x_den2/X_den2维度相同。

接下来，在子步骤125，计算设备20可以将第二激活输出x_relu2/X_relu2输入第三稠密化层550以得到训练目标向量。这里，训练目标向量是指利用每个训练样本x_in进行训练得到的目标向量，其指示针对该训练样本对应的内容的至少一种用户行为(如点击、点赞、评论、收藏、转发等用户操作中的至少一种，或者无用户操作)的结果，其维度与样本标签的维度一致。

为了使得第二激活输出x_relu2/X_relu2的维度转换为与训练目标向量一致，第三稠密化层550的维度应当与期望的训练目标向量的维度相同。

在一种实施例中，训练目标向量可以通过如下的公式(15)确定：

x_out＝dense(x_relu2) (15)

训练目标向量x_out包括训练后的用户稠密向量(为了与第一用户稠密向量进行区分，称为第二用户稠密向量)、训练后的内容稠密向量(为了与第一内容稠密向量进行区分，称为第二内容稠密向量)和训练后的用户行为序列向量(为了与第一用户行为序列向量进行区分，称为第二用户行为序列向量)的索引。其中，第二内容稠密向量可被用作该用户的兴趣特征向量，如下所详述。

在批量输入X_in的情况下，第二激活输出为X_relu2，训练目标向量可以表示为：

X_out＝dense(X_relu2) (16)

在一种实施例中，第三稠密化层550可以是一个(256+1)*L的矩阵，其中L表示期望的训练目标向量的维度。例如，如果要对点击、点赞、评论、收藏、转发这5种用户操作以及无用户操作的用户行为进行训练，则L可以设为6，每个维度的值用于指示是否存在相应的用户操作。

至此，对深度神经网络模型500进行了一次训练，从整个模型的角度来看，相当于

X_out＝W*X_in+b (17)

其中，W是深度神经网络模型500的权重函数，b是深度神经网络模型500的偏置函数，对深度神经网络模型500进行训练的目的是使得其权重函数W和偏置函数b不断更新至收敛值。这里，权重函数W的初始值可以任意设置，或者，可以根据经验设置。

接下来，继续图2，在步骤130，计算设备20可以基于训练目标向量对深度神经网络模型500的权重函数W进行更新。

图6示出了根据本发明实施例的对深度神经网络模型500的权重函数W进行更新的步骤130的流程图。

如图6中所示，步骤130可以包括子步骤132，其中计算设备20利用深度神经网络模型500的激活函数确定训练目标向量x_out的每个维度的得分。

在一种实施例中，深度神经网络模型500的激活函数可以是S型函数Sigmoid函数。Sigmoid函数可以表示为：

如前所述，训练目标向量x_out是一个L维的向量，每个维度的值指示是否存在相应的用户操作。因此，可以对训练目标向量x_out的每个维度分别计算得分。

在一种实施例中，训练目标向量x_out的每个维度的得分可以通过如下公式(19)确定：

S_j＝Sigmoid(x_{out_j}) (19)

其中，S_j表示训练目标向量x_out的维度j(j＝1、2、......L)的得分，x_{out_j}表示训练目标向量x_out的维度j的值。

在子步骤134，计算设备20可以基于训练目标向量x_out的每个维度j的得分S_j、训练样本x_in的样本标签和深度神经网络模型500的损失函数确定训练目标向量x_out在深度神经网络模型500的最后一层的梯度。

这里，深度神经网络模型500的损失函数可以是均方差损失函数或者交叉熵损失函数。以下，以交叉熵损失函数为例来对子步骤134进行描述，交叉熵损失函数与Sigmoid激活函数相结合的效果更好，能够避免Sigmoid激活函数本身弥散带来的缺点。但是本领域技术人员可以理解，相同的发明构思可以等同地应用于均方差损失函数。

在一种实施例中，交叉熵损失函数Loss可以表示为：

其中

表示训练目标向量x_out的每个维度j的样本标签为1的概率。

在本发明的一些实施例中，使用反向传播算法来对深度神经网络模型500的各个层的权重函数W^m和偏置函数b^m(m＝1、2、......M)进行更新，其中M是深度神经网络模型500的层数。在如图5所示的深度神经网络模型500中，M＝5。

因此，在子步骤134中，可以基于交叉熵损失函数Loss和第M层的权重函数W^M和偏置函数b^M来确定深度神经网络模型500的最后一层(第M层)的梯度

和

接下来，在子步骤136，计算设备20可以基于训练目标向量x_out在深度神经网络模型500的最后一层的梯度对深度神经网络模型500的多个层的每一层的权重函数进行更新。

具体地，可以利用批量(Batch)、小批量(mini-Batch)或者随机梯度下降法中的任意一种，基于深度神经网络模型500的第M层的梯度

和

依次确定第M-1层、第M-2层、......第1层的梯度，并且利用每一层的梯度对该层的权重函数W^m(以及偏置函数b^m)进行更新。

基于预设的迭代步长重复上述步骤130的操作，直至达到最大迭代次数或者达到停止迭代阈值。至此，深度神经网络模型500的权重函数W(以及偏置函数b)被训练至收敛值，可用于对新的内容进行打分。

继续图2，在步骤140，计算设备20可以基于训练后的深度神经网络模型500分别计算多个候选内容的得分以对这些候选内容进行排序。

图7示出了根据本发明一些实施例的用于对候选内容进行排序的步骤140的流程图。

如图7中所示，步骤140可以包括子步骤142，其中计算设备20可以对于多个候选内容中的每个候选内容，利用训练后的深度神经网络模型500的激活函数确定该候选内容的目标向量的每个维度的得分。这里，候选内容由上游经过初步筛选传递而来，可以是社交平台上随时间不断产生的新内容，也可以是利用其他召回方法初步筛选之后的内容。

确定候选内容的目标向量的过程与上述步骤120中所述的确定训练目标向量x_out的过程基本相同，这里不再赘述。

确定候选内容的目标向量的每个维度的得分的过程与上述步骤130中所述的确定训练目标向量x_out的每个维度的得分S_j的过程基本相同，因此也不再赘述。

接下来，在子步骤144，计算设备20可以基于每个候选内容的目标向量的每个维度的得分确定该候选内容的得分。

在一种实施例中，可以对候选内容的目标向量的每个维度的得分直接求和来确定该候选内容的得分。

在另一种实施例中，可以对候选内容的目标向量的每个维度的得分进行加权求和来确定该候选内容的得分。在这种情况下，目标向量的每个维度的权重可以不同。即，点击、点赞、评论、收藏、转发等用户操作对该候选内容的兴趣度的重要程度不同。

在子步骤146，计算设备20可以基于多个候选内容中的每个候选内容的得分对这些候选内容进行排序。

例如，计算设备20可以将多个候选内容的得分按照从高到低的顺序排序，并且将得分最高的若干个内容展示在用户终端10的显示屏上，这些内容是用户兴趣度最高的内容。

如前所述，在具有高流量和短生命周期内容的社交平台中，内容更新过于迅速，从而难以有效训练出兴趣特征。在这种情况下，本发明的一些实施例还设计了特定的兴趣特征向量池来存储和更新获得的兴趣特征向量。

具体地，在步骤120中获取了训练目标向量x_out之后，方法100还可以包括步骤150，其中计算设备20将第二内容稠密向量作为用户的兴趣特征向量放入兴趣特征向量池中。其中兴趣特征向量池包括一个先进先出队列和一个闭散列哈希表。该先进先出队列包括多个内容ID的列表，该闭散列哈希表包括多个条目，每个条目包括作为键字段的内容ID和作为值字段的内容。

图8示出了根据本发明的实施例的将第二内容稠密向量放入兴趣特征向量池中的步骤150的流程图。

如图8中所示，步骤150可以包括子步骤152，其中计算设备20可以确定该先进先出队列是否已满。

如果确定该先进先出队列已满(子步骤152的判断为“是”)，则在子步骤154，计算设备20可以删除该先进先出队列中的第一个内容ID，并且从该闭散列哈希表中删除与该第一个内容ID对应的条目。

然后，在子步骤156，计算设备20可以将步骤120产生的第二内容稠密向量对应的内容ID添加在该先进先出队列的末尾并且将该第二内容稠密向量对应的内容ID和内容添加到该闭散列哈希表。

另一方面，如果确定该先进先出队列未满(子步骤152的判断为“否”)，则计算设备20可以直接转到子步骤156，将该第二内容稠密向量对应的内容ID添加在该先进先出队列的末尾并且将该第二内容稠密向量对应的内容ID和内容添加到该闭散列哈希表。

在这种情况下，在步骤130的更新过程中，在每次迭代时，可以从兴趣特征向量池中取出最新的兴趣特征向量作为第一内容稠密向量来产生新的训练样本。

通过这种方式，能够自动淘汰过期的兴趣特征向量，并且能够在数百万日活用户的高流量下实现兴趣特征向量的快速查找和计算，从而使得模型具有高精度的个性化学习能力。

图9示出了适合实现本发明的实施例的计算设备900的结构方框图。计算设备900例如可以是如上所述的计算设备20或服务器30。

如图9中所示，计算设备900可以包括一个或多个中央处理单元(CPU)910(图中仅示意性地示出了一个)，其可以根据存储在只读存储器(ROM)920中的计算机程序指令或者从存储单元980加载到随机访问存储器(RAM)930中的计算机程序指令，来执行各种适当的动作和处理。在RAM 930中，还可存储计算设备900操作所需的各种程序和数据。CPU 910、ROM 920以及RAM 930通过总线940彼此相连。输入/输出(I/O)接口950也连接至总线940。

计算设备900中的多个部件连接至I/O接口950，包括：输入单元960，例如键盘、鼠标等；输出单元970，例如各种类型的显示器、扬声器等；存储单元980，例如磁盘、光盘等；以及通信单元990，例如网卡、调制解调器、无线通信收发机等。通信单元990允许计算设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的方法100例如可由计算设备900(如计算设备20或服务器30)的CPU910执行。例如，在一些实施例中，方法100可被实现为计算机软件程序，其被有形地包括于机器可读介质，例如存储单元980。在一些实施例中，计算机程序的部分或者全部可以经由ROM 920和/或通信单元990而被载入和/或安装到计算设备900上。当计算机程序被加载到RAM 930并由CPU 910执行时，可以执行上文描述的方法100的一个或多个操作。此外，通信单元990可以支持有线或无线通信功能。

本领域技术人员可以理解，图9所示的计算设备900仅是示意性的。在一些实施例中，计算设备20或服务器30可以包含比计算设备900更多或更少的部件。

以上结合附图对根据本发明的内容排序方法100以及可用作计算设备20或服务器30的计算设备900进行了描述。然而本领域技术人员可以理解，方法100的步骤的执行并不局限于图中所示和以上所述的顺序，而是可以以任何其他合理的顺序来执行。此外，计算设备900也不必须包括图9中所示的所有组件，其可以仅仅包括执行本发明中所述的功能所必须的其中一些组件，并且这些组件的连接方式也不局限于图中所示的形式。

本发明可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

在一个或多个示例性设计中，可以用硬件、软件、固件或它们的任意组合来实现本发明所述的功能。例如，如果用软件来实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上，或者作为计算机可读介质上的一个或多个指令或代码来传输。

本文公开的装置的各个单元可以使用分立硬件组件来实现，也可以集成地实现在一个硬件组件，如处理器上。例如，可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或用于执行本文所述的功能的任意组合来实现或执行结合本发明所描述的各种示例性的逻辑块、模块和电路。

本领域普通技术人员还应当理解，结合本发明的实施例描述的各种示例性的逻辑块、模块、电路和算法步骤可以实现成电子硬件、计算机软件或二者的组合。

本发明的以上描述用于使本领域的任何普通技术人员能够实现或使用本发明。对于本领域普通技术人员来说，本发明的各种修改都是显而易见的，并且本文定义的一般性原理也可以在不脱离本发明的精神和保护范围的情况下应用于其它变形。因此，本发明并不限于本文所述的实例和设计，而是与本文公开的原理和新颖性特性的最广范围相一致。

Claims (9)

1.一种内容排序方法，包括：

基于社交平台的流式日志确定一个用户的训练样本，所述流式日志记录有所述用户对所述社交平台的多个内容的用户行为，所述训练样本包括第一用户稠密向量、第一内容稠密向量和第一用户行为序列向量；

基于所述训练样本对深度神经网络模型进行训练以产生训练目标向量，所述训练目标向量包括第二用户稠密向量、作为兴趣特征向量的第二内容稠密向量和第二用户行为序列向量的索引，并且所述训练目标向量指示针对每个内容的至少一种用户行为的结果；

基于所述训练目标向量对所述深度神经网络模型的权重函数进行更新；以及

基于训练后的深度神经网络模型分别计算多个候选内容的得分以对所述多个候选内容进行排序。

2.如权利要求1所述的方法，其中基于社交平台的流式日志确定一个用户的训练样本包括：

获取所述社交平台的流式日志；

从所述流式日志中提取所述用户的日志特征集合，所述日志特征集合包括所述用户的用户特征集合和所述用户行为所针对的多个内容的内容特征集合；

基于所述用户特征集合确定所述第一用户稠密向量；

基于所述内容特征集合确定所述第一内容稠密向量；

获取用户行为序列，并且基于每个用户行为所针对的内容的第一内容稠密向量确定所述第一用户行为序列向量；以及

将所述第一用户稠密向量、所述第一内容稠密向量和所述第一用户行为序列向量拼接为所述训练样本。

3.如权利要求1所述的方法，其中基于所述训练样本对深度神经网络模型进行训练以产生训练目标向量包括：

将所述训练样本输入所述深度神经网络模型的第一稠密化层，以得到第一稠密输出；

将所述第一稠密输出通过第一激活层进行非线性映射，以得到第一激活输出，其中所述第一激活输出与所述第一稠密输出的维度相同；

将所述第一激活输出输入所述深度神经网络模型的第二稠密化层，以得到第二稠密输出，其中所述第二稠密输出的维度小于所述第一稠密输出；

将所述第二稠密输出通过第二激活层进行非线性映射，以得到第二激活输出，其中所述第二激活输出与所述第二稠密输出的维度相同；以及

将所述第二激活输出输入第三稠密化层以得到所述训练目标向量，其中所述第三稠密化层的维度与期望的训练目标向量的维度相同。

4.如权利要求1所述的方法，其中基于所述训练目标向量对所述深度神经网络模型的权重函数进行更新包括：

利用所述深度神经网络模型的激活函数确定所述训练目标向量的每个维度的得分；

基于所述训练目标向量的每个维度的得分、所述训练样本的样本标签和所述深度神经网络模型的损失函数确定所述训练目标向量在所述深度神经网络模型的最后一层的梯度；以及

基于所述训练目标向量在所述深度神经网络模型的最后一层的梯度对所述深度神经网络模型的每一层的权重函数进行更新。

5.如权利要求1所述的方法，其中基于训练后的深度神经网络模型分别计算多个候选内容的得分以对所述多个候选内容进行排序包括：

对于所述多个候选内容中的每个候选内容，利用训练后的深度神经网络模型的激活函数确定所述候选内容的目标向量的每个维度的得分；

基于所述候选内容的目标向量的每个维度的得分确定所述候选内容的得分；以及

基于所述多个候选内容中的每个候选内容的得分对所述多个候选内容进行排序。

6.如权利要求1所述的方法，还包括：

将所述第二内容稠密向量作为所述用户的兴趣特征向量放入兴趣特征向量池，其中所述兴趣特征向量池包括一个先进先出队列和一个闭散列哈希表，所述先进先出队列包括多个内容ID的列表，所述闭散列哈希表包括多个条目，每个条目包括作为键字段的内容ID和作为值字段的内容。

7.如权利要求6所述的方法，其中将所述第二内容稠密向量作为所述用户的兴趣特征向量放入兴趣特征向量池包括：

确定所述先进先出队列是否已满；

如果所述先进先出队列已满，删除所述先进先出队列中的第一个内容ID，并且从所述闭散列哈希表中删除与所述第一个内容ID对应的条目；

将所述第二内容稠密向量对应的内容ID添加在所述先进先出队列的末尾并且将所述第二内容稠密向量对应的内容ID和内容添加到所述闭散列哈希表；以及

如果所述先进先出队列未满，直接将所述第二内容稠密向量对应的内容ID添加在所述先进先出队列的末尾并且将所述第二内容稠密向量对应的内容ID和内容添加到所述闭散列哈希表。

8.一种计算设备，包括：

至少一个处理器；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令，所述指令当由所述至少一个处理器执行时，使得所述计算设备执行根据权利要求1至7中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序代码，所述计算机程序代码在被运行时执行如权利要求1至7中任一项所述的方法。

Images