CN116415624A - 模型训练方法及装置、内容推荐方法及装置 - Google Patents

Abstract

本申请公开了一种模型训练方法及装置、内容推荐方法及装置。方法通过获取训练样本信息；采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。该方法可以有效提升训练得到的预设神经网络模型的鲁棒性，进而可以提升内容推荐的准确性。

Description

模型训练方法及装置、内容推荐方法及装置

技术领域

本申请涉及计算机技术领域，具体涉及一种模型训练方法及装置、内容推荐方法及装置。

背景技术

随着互联网技术的不断发展，人们的生活已经与互联网密不可分。在互联网时代，随着内容量的快速扩大，人们面临的内容选择的压力也就随之不断增大，这降低了人们对内容的使用效率，从而造成了信息超载问题。

推荐***是根据对象的内容需求、兴趣等，将对象感兴趣的信息、产品等推荐给对象的个性化推荐***。一个好的推荐***，不仅能为对象提供个性化的内容和服务，还能和对象之间建立密切关系。

然而，在一些情况下，推荐***中的内容推荐模型为对象推荐的内容不够准确。

发明内容

本申请实施例提供一种模型训练方法及装置、内容推荐方法及装置，该方法可以有效提升内容推荐的准确性。

本申请第一方面提供一种模型训练方法，方法包括：

获取训练样本信息，所述训练样本信息包括多个训练样本，所述训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；

采用第一神经网络对所述第一对象特征进行特征处理，得到第二对象特征，其中，在采用所述第一神经网络对所述第一对象特征进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

采用第二神经网络对所述第一内容特征进行特征处理，得到第二内容特征；

对所述第二对象特征与所述第二内容特征进行特征匹配，得到第一匹配结果；

根据所述第一匹配结果与所述标签信息对预设神经网络模型的模型参数进行更新，直到所述预设神经网络模型收敛，所述预设神经网络模型包括所述第一神经网络与所述第二神经网络。

相应的，本申请第二方面提供一种模型训练装置，装置包括：

第一获取单元，用于获取训练样本信息，所述训练样本信息包括多个训练样本，所述训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；

第一处理单元，用于采用第一神经网络对所述第一对象特征进行特征处理，得到第二对象特征，其中，在采用所述第一神经网络对所述第一对象特征进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

第二处理单元，用于采用第二神经网络对所述第一内容特征进行特征处理，得到第二内容特征；

第一匹配单元，用于对所述第二对象特征与所述第二内容特征进行特征匹配，得到第一匹配结果；

更新单元，用于根据所述第一匹配结果与所述标签信息对预设神经网络模型的模型参数进行更新，直到所述预设神经网络模型收敛，所述预设神经网络模型包括所述第一神经网络与所述第二神经网络。

在一些实施例中，所述模型训练装置还包括：

第三处理单元，用于采用所述第一神经网络对所述第一对象特征再次进行特征处理，得到第三对象特征，其中，在采用所述第一神经网络对所述第一对象特征再次进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

第一计算单元，用于计算所述第二对象特征与所述第三对象特征的第一差异信息；

所述更新单元，还用于：

根据所述第一匹配结果、所述标签信息以及所述第一差异信息对预设神经网络模型的模型参数进行更新。

在一些实施例中，所述模型训练装置，还包括：

第二匹配单元，用于对所述第三对象特征与所述第二内容特征进行特征匹配，得到第二匹配结果；

第二计算单元，用于计算所述第一匹配结果与所述第二匹配结果之间的第二差异信息；

所述更新单元，还用于：

根据所述第一匹配结果、所述标签信息、所述第一差异信息以及所述第二差异信息对预设神经网络模型的模型参数进行更新。

在一些实施例中，所述更新单元，包括：

第一确定子单元，用于根据所述第一匹配结果与所述标签信息确定第一子损失函数；

第二确定子单元，用于根据所述第一差异信息确定第二子损失函数；

第三确定子单元，用于根据所述第二差异信息确定第三子损失函数；

构建子单元，用于基于所述第一子损失函数、第二子损失函数以及第三子损失函数构建预设神经网络模型的损失函数；

训练子单元，用于基于所述损失函数对所述预设神经网络模型进行迭代训练。

在一些实施例中，所述第二计算单元，包括：

第四确定子单元，用于确定所述第一匹配结果对应的第一结果序列以及所述第二匹配结果对应的第二结果序列；

计算子单元，用于计算所述第一结果序列与所述第二结果序列之间的相对熵，得到所述第一匹配结果与所述第二匹配结果之间的第二差异信息。

在一些实施例中，本申请提供的模型训练装置，还包括：

第四处理单元，用于采用所述第一神经网络对所述第一对象特征再次进行特征处理，得到第四对象特征，其中，在采用所述第一神经网络对所述第一对象特征再次进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

第三匹配单元，用于对所述第二内容特征与所述第四对象特征进行特征匹配，得到第三匹配结果；

第三计算单元，用于计算所述第一匹配结果与所述第三匹配结果之间的第三差异信息；

所述更新单元，还用于：

根据所述第一匹配结果、所述标签信息以及所述第三差异信息对预设神经网络模型的模型参数进行更新。

在一些实施例中，所述第一匹配单元，包括：

运算子单元，用于对所述第二对象特征对应的特征向量与所述第二内容特征对应的特征向量之间进行点积运算，得到运算结果；

处理子单元，用于对所述运算结果进行归一化处理，得到第一匹配结果。

本申请第三方面提供一种内容推荐方法，方法包括；

获取对象信息以及候选内容信息；

对所述对象信息进行特征提取，得到对象特征；

对所述候选内容信息进行特征提取，得到内容特征；

将所述对象特征与所述内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，所述预设神经网络模型为第一方面提供的模型训练方法中训练后的预设神经网络模型；

根据每一内容特征对应的评分确定目标候选内容，并向对象推荐所述候选内容。

相应的，本申请第四方面提供一种内容推荐装置，装置包括：

第二获取单元，用于获取对象信息以及候选内容信息；

第一提取单元，用于对所述对象信息进行特征提取，得到对象特征；

第二提取单元，用于对所述候选内容信息进行特征提取，得到内容特征；

输入单元，用于将所述对象特征与所述内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，所述预设神经网络模型为第一方面所述的模型训练方法中训练后的预设神经网络模型；

确定单元，用于根据每一内容特征对应的评分确定目标候选内容，并向对象推荐所述候选内容。

在一些实施例中，所述第一提取单元，包括：

分词子单元，用于将所述对象信息进行分词处理，得到所述对象信息对应的多个分词；

嵌入子单元，用于对所述多个分词进行词嵌入处理，得到所述对象信息对应的对象特征。

本申请第五方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请第一方面所提供的模型训练方法或者第三方面提供的内容推荐方法中的步骤。

本申请第六方面提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面所提供的内容推荐方法中的步骤。

本申请第七方面提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现第一方面所提供的模型训练方法或者第三方面提供的内容推荐方法中的步骤。

本申请实施例提供的模型训练方法，通过获取训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

以此，本申请提供的模型训练方法，可以在推荐***的双塔模型中对对象特征进行处理的子模型中添加隐藏层，实现对子模型的神经元进行随机隐藏，从而避免对象特征的长尾情况导致模型无法收敛，提升了推荐***的双塔模型的鲁棒性，从而可以提升内容推荐的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请中模型训练的一个场景示意图；

图2是本申请提供的模型训练方法的流程示意图；

图3是本申请提供的模型训练方法的另一流程示意图；

图4是本申请提供的内容推荐方法的流程示意图；

图5是本申请提供的模型训练装置的结构示意图；

图6是本申请提供的内容推荐装置的结构示意图；

图7是本申请提供的计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种模型训练方法及装置、内容推荐方法及装置。其中，该模型训练方法可以使用于模型训练装置中。该模型训练装置可以集成在计算机设备中，该计算机设备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)以及车载终端等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器可以为区块链中的节点。

请参阅图1，为本申请提供的模型训练方法的一场景示意图。如图所示，服务器A接收终端B发送的训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；然后服务器A采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

需要说明的是，图1所示的模型训练场景示意图仅仅是一个示例，本申请实施例描述的模型训练场景是为了更加清楚地说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知，随着模型训练场景演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。

基于上述实施场景以下分别进行详细说明。

在相关技术中，推荐***中采用的双塔深度结构语义模型(Deep StructuredSemantic Models，DSSM)，采用深度神经网络(Deep Neural Networks，DNN)对对象特征和内容特征分别进行建模，然后通过模型输出两者相似度，根据相似度给对象进行内容推荐。然而，由于对象的差异性较大，导致长尾现象明显。当长尾对象数据稀疏时，对象特征对应的模型难以收敛，导致训练的到的模型的泛化能力不足，进而导致模型的推荐准确性较低。为解决上述长尾对象数据稀疏导致训练得到的模型泛化能力不足，进而导致模型的推荐准确性差的问题，本申请提供了一种模型训练方法方法，可以针对性提高推荐***中模型的鲁棒性，从而提升内容推荐的准确性。

本申请实施例将从模型训练装置的角度进行描述，该模型训练装置可以集成在计算机设备中。其中，计算机设备可以是终端也可以是服务器。其中，终端可以为手机、平板电脑、笔记本电脑、智能电视、穿戴式智能设备、个人计算机(PC，Personal Computer)以及车载终端等设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。如图2所示，为本申请提供的模型训练方法的流程示意图，该方法包括：

步骤101，获取训练样本信息。

其中，训练样本信息可以为用于对推荐***中的双塔DSSM模型进行训练的信息。训练样本信息可以为训练样本集合，该训练样本集合中可以包括多个训练样本。训练样本中包含了对象信息对应的第一对象特征、内容信息对应的第一内容特征以及内容特征对应的标签信息。在本申请中，对象可以为一个具体的用户，也可以为人工智能模拟或者控制的对象如智能机器人等。

第一对象特征是对对象信息进行特征提取得到的特征，该特征可以为特征向量。具体地，对对象信息进行特征提取，可以为将对象信息对应的文本信息映射到向量空间中得到第一对象特征。当对象信息对应的文本信息为英文时，可以采用词哈希的办法来得到对象信息对应的第一对象特征；当对象信息对应的文本信息为中文时，可以采用词嵌入的方法来得到对象信息对应的第一对象特征。同样地，可以采用上述方法得到内容信息对应的第一内容特征。

其中，在一个训练样本中，可以包含一个对象信息对应的一个对象特征以多个内容信息对应的多个内容特征。另外，训练样本中还包括与每个内容信息对应的标签信息，该标签信息可以为1或者0。当标签信息为1时，说明该训练样本中的对象信息对应的对象对该标签信息对应的内容有点击行为，那么可以确定该样本为正样本；当标签信息为0时，说明在采样时训练样本中的对象信息对应的对象对该标签信息对应的内容没有点击行为，那么确定该样本为负样本。即在本申请中，可以以对象信息对应的对象特征以及内容信息对应的内容特征为输入，以内容信息对应的标签信息为输入来训练预设神经网络模型，此处预设神经网络模型可以为前述双塔DSSM模型。

步骤102，采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征。

其中，在本申请中，训练的预设神经网络模型可以为前述双塔DSSM模型，由于双塔DSSM模型中包含了对对象特征进行处理的DNN以及对内容特征进行处理的DNN，此处将对对象特征进行处理的DNN确定为第一神经网络，将对内容特征进行处理的DNN确定为第二神经网络。

在本申请中，在采用第一神经网络对第一对象特征进行特征处理时，可以对第一神经网络中的神经元进行随机隐藏处理，即dropout处理。具体地，本申请中第一神经网络对应的DNN可以是一个多层感知机(Multi-layer Perceptron，MLP)，对该DNN中的神经元进行随机隐藏处理可以为在MLP中的每两层之间添加一个dropout层，从而使得MLP中的神经元进行随机隐藏。在本申请中，由于在DNN中添加了dropout层，使得在模型进行训练的过程中，可以随机隐藏(mask)掉模型中的一些神经元，从而得到同一对象的不同的特征表达，进而可以提升模型的鲁棒性。

步骤103，采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征。

其中，在双塔DSSM模型中，还有另一DNN用来对内容特征进行特征处理。其中，由于第一内容特征中包含了多条内容对应的特征，因此此处第一内容特征也可以称为第一内容特征序列。采用第二神经网络对第一内容特征进行处理得到的第二内容特征也可以称为第二内容特征序列。

在一些实施例中，在第二神经网络对第一内容特征进行处理时，也可以对第二神经网络中的神经元进行随机dropout处理，以避免内容特征的长尾导致内容特征处理的模型无法收敛的问题，进一步增强训练得到的预设神经网络模型的鲁棒性。

步骤104，对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果。

其中，在双塔DSSM模型中，当确定了对象对应的特征以及内容对应的特征，即确定了上述第二对象特征与第二内容特征后，可以进一步对对象特征与内容特征进行匹配，确定对象信息与内容信息之间的语义相似性。例如，可以利用对象特征对应的向量与内容特征对应的向量之间的余弦相似度来表征对象信息与内容信息之间的语义相似度。

在一些实施例中，对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果，包括：

1、对第二对象特征对应的特征向量与第二内容特征对应的特征向量之间进行点积运算，得到运算结果；

2、对运算结果进行归一化处理，得到第一匹配结果。

在本申请中，可以将第二对象特征对应的特征向量与第二内容特征对应的特征向量之间进行点积运算，得到运算结果。其中，向量点积运算的运算结果为一个标量，例如一个数值。如前所述，第二内容特征可以为第二对象特征序列，那么对第二对象特征对应的特征向量与第二内容特征对应的向量之间进行点积运算，可以为对第二对象特征对应的特征向量与第二内容特征序列中每一特征对应的向量之间进行点积运算，那么得到的运算结果可以为一个数值序列，即运算结果中包含了多个数值。

然后，可以对该运算结果进行归一化处理，即可以采用softmax函数对运算结果对应的数值序列进行处理，得到匹配结果。可以理解的是，匹配结果也是一个数值序列，该数值序列中每个数值代表了一个内容信息与对象信息之间的语义相似性。

步骤105，根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛。

其中，在本申请中，预设神经网络可以为前述双塔DSSM模型，该双塔DSSM模型包括了对对象特征进行处理的DNN以及对内容特征进行处理的DNN，即预设神经网络模型可以包括前述第一神经网络和第二神经网络。在对该预设神经网络模型进行处理时，模型的输入为前述第一对象特征与第一内容特征，得到该模型的输出为前述第一匹配结果。

如前所述，第一匹配结果为一个数值序列。另一方面，训练样本中还包括了每个内容信息对应的标签信息，即标签信息也构成了一个标签序列。那么根据预设的损失函数计算公式，并采用前述数值序列和标签序列，便可以计算得到每个内容信息对应的损失值。基于这些损失值对预设神经网络模型进行梯度反传，调整预设神经网络模型的模型参数，即调整第一神经网络和第二神经网络的模型参数，直到预设神经网络模型的参数收敛，完成对预设神经网络模型的训练。

在一些实施例中，本申请提供的模型训练方法还包括：

1、采用第一神经网络对第一对象特征再次进行特征处理，得到第三对象特征，其中，在采用第一神经网络对第一对象特征再次进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；

2、计算第二对象特征与第三对象特征的第一差异信息；

3、根据第一匹配结果、标签信息以及第一差异信息对预设神经网络模型的模型参数进行更新。

其中，在本申请实施例中，可以采用第一神经网络对第一对象特征进行再次特征处理，得到第三对象特征。此处采用第一神经网络对第一对象特征进行处理时，仍然需要对第一神经网络中的神经元进行随机隐藏处理。即仍然需要在第一神经网络DNN中添加dropout层来对DNN中的神经元进行随机mask。其中，在采用dropout方法基于第一神经网络对第一对象特征进行两次特征处理的过程中，两次dropout的神经元的比例可以是相同的。

由于对第一神经网络中的神经元进行隐藏处理的方式是随机实现的，那么两次采用第一神经网络对第一对象特征进行特征处理得到的第二对象特征以及第三对象特征也是存在差异的。然而，由于第一神经网络两次处理的第一对象特征是相同的，理想的模型对第一对象特征进行多次处理后得到的第二对象特征与第三对象特征之间也应该是趋于相似的，即第二对象特征与第三对象特征之间的差异也应当是越小越好的。对此，可以采用对比学习的方式对第一神经网络的网络参数进行调整。具体地，可以计算第二对象特征与第三对象特征之间的第一差异信息，然后将该第一差异信息添加至预设神经网络模型的损失函数中来对模型参数进行约束。

即在本申请中，当计算得到第一差异信息后，可以进一步根据第一匹配结果、标签信息以及第一差异信息对预设神经网络模型的模型参数进行更新。即预设神经网络模型的新的损失函数包括了两部分，部分是模型输出的每个内容对应的概率值与标签值之间的差异，另一部分是第二对象特征与第三对象特征之间的第一差异信息。然后再基于该新的损失函数对预设神经网络模型进行迭代训练，得到训练后的预设神经网络模型。

在一些实施例中，本申请提供的模型训练方法还包括：

4、对第三对象特征与第二内容特征进行特征匹配，得到第二匹配结果；

5、计算第一匹配结果与第二匹配结果之间的第二差异信息；

6、根据第一匹配结果、标签信息、第一差异信息以及第二差异信息对预设神经网络模型的模型参数进行更新。

在本申请中，在采用dropout方法获得了对对象特征进行处理的不同子模型，并采用不同的子模型对第一对象特征进行处理得到第二对象特征与第三对象特征后，可以进一步对不同子模型的输出结果进行约束。即不仅需要尽量保证第二对象特征与第三对象特征之间的差异尽量小，更需要进一步保证不同子模型输出的对象特征与内容特征之间的语义相似度之间的差异也尽量小。

因此，在本申请中，在采用第一神经网络对第一对象特征再次进行特征处理，得到第三对象特征之后，可以进一步将第三对象特征与第二内容特征进行特征匹配，得到第二匹配结果。其中，如前所述，匹配结果为一系列相似度值构成的数值序列。即第一匹配结果和此处的第二匹配结果都是一个数值序列。

进一步地，可以根据第一匹配结果、标签信息、第一差异信息以及第二差异信息对预设神经网络模型的模型参数进行更新。

在一些实施例中，根据第一匹配结果、标签信息、第一差异信息以及第二差异信息对预设神经网络模型的模型参数进行更新，包括：

6.1、根据第一匹配结果与标签信息确定第一子损失函数；

6.2、根据第一差异信息确定第二子损失函数；

6.3、根据第二差异信息确定第三子损失函数；

6.4、基于第一子损失函数、第二子损失函数以及第三子损失函数构建预设神经网络模型的损失函数；

6.5、基于损失函数对预设神经网络模型进行迭代训练。

在本申请实施例中，预设神经网络模型的损失函数可以包括三个部分，第一部分为第二对象特征与第三对象特征之间的差异，即第一差异信息，该部分可以称为第一子损失函数；第二部分为第二对象特征与第二内容特征的匹配结果和第三对象特征与第二内容特征的匹配结果之间的差异，即第一匹配结果和第二匹配结果之间的差异，也就是第二差异信息，该部分可以称为第二子损失函数；第三部分是匹配结果与标签信息之间的差异，此处匹配结果可以是第一匹配结果也可以是第二匹配结果，该部分可以称为第三子损失函数。

然后，基于上述第一子损失函数、第二子损失函数以及第三子损失函数确定预设神经网络模型的总的损失函数。具体地，可以将三个子损失函数进行累加，得到预设神经网络模型的总的损失函数。

如此，在确定了预设神经网络模型的总的损失函数后，便可以基于该损失函数与训练样本对预设神经网络模型进行迭代训练，直到模型参数收敛，得到训练后的预设神经网络模型。

在一些实施例中，计算第一匹配结果与第二匹配结果之间的第二差异信息，包括：

5.1、确定第一匹配结果对应的第一结果序列以及第二匹配结果对应的第二结果序列；

5.2、计算第一结果序列与第二结果序列之间的相对熵，得到第一匹配结果与第二匹配结果之间的第二差异信息。

在本申请中，可以采用计算第一匹配结果和第二匹配结果对应的序列之间的KL散度(Kullback-Leibler Divergence)来确定第一匹配结果和第二匹配结果之间的差异信息。其中，KL散度，又被称为相对熵(Relative Entropy，RE)或者信息散度(InformationDivergence，ID)，是两个概率分布间差异的非对称性度量。

具体地，可以先确定第一匹配结果对应的第一结果序列以及第二匹配结果对应的第二结果序列，其中结果序列中的数值可以为第二内容特征与第二对象特征或者第三对象特征之间的点积。然后，计算第一结果序列和第二结果序列之间的相对熵，便得到了第一匹配结果与第二匹配结果之间的第二差异信息。

在一些实施例中，本申请提供的模型训练方法还包括：

A、采用第一神经网络对第一对象特征再次进行特征处理，得到第四对象特征，其中，在采用第一神经网络对第一对象特征再次进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；

B、对第二内容特征与第四对象特征进行特征匹配，得到第三匹配结果；

C、计算第一匹配结果与第三匹配结果之间的第三差异信息；

D、根据第一匹配结果、标签信息以及第三差异信息对预设神经网络模型的模型参数进行更新。

在本申请实施例中，同样基于第一神经网络采用dropout方法对第一对象特征进行两次处理，得到第二对象特征与第四对象特征。但本实施例中无需对第二对象特征与第四对象特征进行对比学习，只需对采用dropout方法得到的两个子模型的输出进行约束，即使得第二内容特征与第二对象特征的匹配结果和第二内容特征与第四对象特征的匹配结果之间尽量保持一致即可。

因此，在本申请实施例中，在确定了第二对象特征与第四对象特征后，对第二内容特征与第四对象特征进行特征匹配，得到第三匹配结果。然后计算第一匹配结果和第三匹配结果之间的第三差异信息。进一步根据第一匹配结果、标签信息以及第三差异信息对预设神经网络模型的模型参数进行更新。

即在本申请实施例中，预设神经网络模型的损失函数包括两个部分，第一部分为第一匹配结果与标签信息之间的差异，第二部分为第一匹配结果和第三匹配结果之间的差异，这两部分相加便可以得到预设神经网络模型的损失函数。

然后，基于上述损失函数以及训练样本信息对预设神经网络模型进行迭代训练，直到模型参数收敛，得到训练后的预设神经网络模型。

根据上述描述可知，本申请实施例提供的模型训练方法，通过获取训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

以此，本申请提供的模型训练方法，可以在推荐***的双塔模型中对对象特征进行处理的子模型中添加隐藏层，实现对子模型的神经元进行随机隐藏，从而避免对象特征的长尾情况导致模型无法收敛，提升了推荐***的双塔模型的鲁棒性，从而可以提升内容推荐的准确性。

本申请还提供了一种模型训练方法，该方法可以使用于计算机设备中，该计算机设备可以为终端也可以为服务器。如图3所示，为本申请提供的内容推荐方法的另一流程示意图，方法具体包括：

步骤201，计算机设备获取训练样本信息。

其中，训练样本信息可以包括多个训练样本，训练样本可以包括对象信息、与对象信息对应的多条内容信息以及每条内容信息对应的标签信息。其中，标签信息可以为0或1，代表对象信息对应的对象对内容信息的点击情况。标签信息为0的可以称为负样本，标签信息为1的可以称为正样本。

内容信息可以包括内容的标题、内容的主体以及内容的标签等。

步骤202，计算机设备对对象信息及内容信息进行词嵌入处理，得到第一对象特征与第一内容特征。

其中，计算设备在获取到训练样本信息后，对训练样本信息中的对象信息以及内容信息进行分词处理，再对分词后的分词信息进行词嵌入处理，得到对象信息对应的第一对象特征以及内容信息对应的第一内容特征。

其中，第一对象特征与第一内容特征均可以为特征向量，其中，第一内容特征中可以包括多个内容信息对应的特征向量，即第一内容特征具体可以为特征序列。

步骤203，计算机设备采用预设神经网络模型中的第一神经网络对第一内容特征进行特征处理，得到第二内容特征。

其中，本申请中进行训练的网络模型为预设神经网络模型，其中预设神经网络模型可以为双塔DSSM模型，该模型中包含了对内容特征进行处理的第一神经网络和对对象特征进行处理的第二神经网络。

其中，第一神经网络用于对第一内容特征进行特征处理，得到第二内容特征。

步骤204，计算机设备采用预设神经网络模型中的第二神经网络对第一对象特征进行两次特征处理，得到第二对象特征以及第三对象特征。

在本申请中，可以采用dropout方法来获得更多子模型，具体地，可以采用dropout方法基于第二神经网络对第一对象特征进行特征处理。其中，采用dropout方法基于第二神经网络对第一对象特征进行处理时，可以采用预设的dropout概率对第二神经网络中的神经元进行随机隐藏。其中，dropout方法只是在当前处理时刻对第二神经网络中的神经元进行隐藏，不会导致第二神经网络中该神经元丢失。训练后的第二神经网络中每个神经元都具有其对应的模型参数，在使用训练后的预设神经网络模型时，第二神经网络中的神经元仍然存在。

计算机设备采用预设神经网络模型中的第二神经网络对第一对象特征进行两次特征处理，可以得到第二对象特征以及第三对象特征。其中，由于dropout方法是对第二神经网络中的神经元进行随机隐藏，即得到的第二对象特征与第三对象特征是不同的。

步骤205，计算机设备计算第二对象特征与第三对象特征之间的第一差异信息。

其中，在本申请中，借鉴了基于简单对比学习句子嵌入(Simple ConstructiveLearning，SimCSE)的方法，在使用dropout方法获得子模型，并通过dropout的随机性，获得一个对象的不同对象特征，即前述第二对象特征与第三对象特征。然后再将这两个特征进行对比学习，即计算第二对象特征与第三对象特征的第一差异信息。可以理解的是，由于这两个特征是同一个对象对应的不同对象特征，这两个特征应当保持尽量的相似。即两者之间的差异信息应当越小越好，那么在模型训练的过程中，应当第二对象特征与第三对象特征趋于相同。

步骤206，计算机设备对第二内容特征与第二对象特征进行特征匹配，得到第一匹配结果。

其中，双塔DSSM模型在确定了内容信息对应的第二内容特征以及对象信息对应的第二对象特征后，需要进一步对第二内容特征与第二对象特征进行特征匹配，以得到对象信息与内容信息之间的语义相似度。因此，计算机设备可以对第二内容特征与第二对象特征进行特征匹配，得到第一匹配结果。其中，对第二内容特征与第二对象特征进行匹配，具体可以先确定第二内容特征对应的内容特征向量与第二对象特征对应的对象特征向量，然后计算内容特征向量与对象特征向量之间的余弦相似度，得到内容内容信息与对象信息之间的语义相似度。由于第二内容特征包含了多个内容信息对应的特征，那么便可以计算多个内容特征向量与对象特征向量之间的余弦相似度，得到多个语义相似度，或者称为语义相似度序列。然后进一步地，对语义相似度序列输入至softmax层中进行归一化处理，得到第一匹配结果。即第一匹配结果为一个数值序列。

步骤207，计算机设备对第二内容特征与第三对象特征进行特征匹配，得到第二匹配结果。

其中，由于本申请中采用dropout方法获得了对象的两个特征，即前述第二对象特征与第三对象特征。在对第二内容特征与第二对象特征进行特征匹配得到第一匹配结果后，还需进一步对第二内容特征与第三对象特征进行特征匹配，得到第二匹配结果。此处匹配方式与前述第二内容特征与第二对象特征进行匹配的方式相同，此处不再予以赘述。

步骤208，计算机设备计算第一匹配结果与第二匹配结果之间的第二差异信息。

其中，如前所述，第一匹配结果是一个数值序列，其中的数值为对象信息与不同内容信息之间的语义相似度值；同样地，第二匹配结果也是统一对象与前述不同内容信息之间的语义相似度值。由于同一对象对统一内容信息的语义相似度应当相似，因此可计算第一匹配结果与第二匹配结果之间的第二差异信息。在模型训练过程中，应当不断减小该差异信息，使得第一匹配结果与第二匹配结果趋于相同。

步骤209，计算机设备计算第一匹配结果与标签信息之间的第三差异信息。

进一步地，本申请对预设神经网络模型进行训练的方法采用的是有监督训练，即对模型输出的结果有一定的标签进行约束。即本申请中第一匹配结果应当予标签信息趋于接近。

因此，计算机设备可以计算第一匹配结果和标签信息之间的第三差异信息，在对模型进行训练的过程中，第三差异信息应当逐步趋于0。

步骤210，计算机设备基于第一差异信息、第二差异信息以及第三差异信息构建预设神经网络模型的损失函数。

根据上述分析可知，在对预设神经网络模型进行训练的过程中，具有三个方面的约束，分别为第一差异信息、第二差异信息以及第三差异信息，那么可以根据该第一差异信息、第二差异信息以及第三差异信息构建对预设神经网络模型进行训练的损失函数，然后基于该损失函数对预设神经网络模型进行训练。

步骤211，计算机设备基于损失函数对预设神经网络模型进行迭代训练，得到训练后的预设神经网络模型。

其中，在确定了对预设神经网络模型进行训练时采用的损失函数后，基于该损失函数以及训练样本信息对该预设神经网络模型进行迭代训练，直到预设神经网络模型收敛，得到训练后的预设神经网络模型。

根据上述描述可知，本申请提供的内容推荐方法，通过获取训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

以此，本申请提供的模型训练方法，可以在推荐***的双塔模型中对对象特征进行处理的子模型中添加隐藏层，实现对子模型的神经元进行随机隐藏，从而避免对象特征的长尾情况导致模型无法收敛，提升了推荐***的双塔模型的鲁棒性，从而可以提升内容推荐的准确性。

本申请另一方面还提供了一种内容推荐方法，该内容推荐方法可应用于内容推荐装置中，该内容推荐装置可以集成在计算机设备中。如图4所示，为本申请提供的内容推荐方法的流程示意图。该方法包括：

步骤301，获取对象信息以及候选内容信息。

其中，候选内容信息可以包括候选内容对应的内容的标题、内容的主体以及内容的标签等。

步骤302，对对象信息进行特征提取，得到对象特征。

其中，在获取到对象信息后，可以对对象信息进行特征提取，得到对象特征。

在一些实施例中，对对象信息进行特征提取，得到对象特征，包括：

1、将对象信息进行分词处理，得到对象信息对应的多个分词；

2、对多个分词进行词嵌入处理，得到对象信息对应的对象特征。

其中，在本实施例中，可以采用词嵌入方法对对象信息进行特征提取，具体地，可以先将对象信息进行分词处理，得到对象信息对应的多个分词，然后再对每个分词进行词嵌入处理，得到对象信息对应的对象特征。

步骤303，对候选内容信息进行特征提取，得到内容特征。

其中，可以进一步对候选内容信息进行特征提取，得到内容特征。其中，内容特征包括多个候选内容信息对应的特征。对候选内容信息进行特征提取，也可以为采用词嵌入方法对候选内容信息进行处理，得到候选内容信息对应的内容特征。

步骤304，将对象特征与内容特征输入至训练后的预设神经网络模型，得到每一内容特征对应的评分。

其中，训练后的预设神经网络可以为采用本申请提供的模型训练方法进行训练得到的训练后的预设神经网络模型。

步骤305，根据每一内容特征对应的评分确定目标候选内容，并向对象推荐候选内容。

其中，在得到每一内容特征对应的评分后，即可确定每一候选内容对应的评分，然后可以选取评分最高的预设数量个候选内容作为目标候选内容，并向对象推荐这些目标候选内容。

根据上述描述可知，本申请提供的内容推荐方法，通过获取对象信息以及候选内容信息；对对象信息进行特征提取，得到对象特征；对候选内容信息进行特征提取，得到内容特征；将对象特征与内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，预设神经网络模型为根据本申请中提供的模型训练方法中训练后的预设神经网络模型；根据每一内容特征对应的评分确定目标候选内容，并向对象推荐候选内容。本申请提供的内容推荐方法通过采用更为准确的候选内容评估模型对候选内容进行评分，再根据候选内容的评分向对象推荐目标候选内容。该方法可以有效提升内容推荐的准确性。

为了更好地实施以上模型训练方法，本申请实施例还提供一种模型训练装置，该模型训练装置可以集成在终端或服务器中。

例如，如图5所示，为本申请实施例提供的模型训练装置的结构示意图，该模型训练装置可以包括第一获取单元401、第一处理单元402、第二处理单元403、第一匹配单元404以及更新单元405，如下：

第一获取单元401，用于获取训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；

第一处理单元402，用于采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；

第二处理单元403，用于采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；

第一匹配单元404，用于对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；

更新单元405，用于根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

在一些实施例中，模型训练装置还包括：

第三处理单元，用于采用第一神经网络对第一对象特征再次进行特征处理，得到第三对象特征，其中，在采用第一神经网络对第一对象特征再次进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；

第一计算单元，用于计算第二对象特征与第三对象特征的第一差异信息；

更新单元，还用于：

根据第一匹配结果、标签信息以及第一差异信息对预设神经网络模型的模型参数进行更新。

在一些实施例中，模型训练装置，还包括：

第二匹配单元，用于对第三对象特征与第二内容特征进行特征匹配，得到第二匹配结果；

第二计算单元，用于计算第一匹配结果与第二匹配结果之间的第二差异信息；

更新单元，还用于：

根据第一匹配结果、标签信息、第一差异信息以及第二差异信息对预设神经网络模型的模型参数进行更新。

在一些实施例中，更新单元，包括：

第一确定子单元，用于根据第一匹配结果与标签信息确定第一子损失函数；

第二确定子单元，用于根据第一差异信息确定第二子损失函数；

第三确定子单元，用于根据第二差异信息确定第三子损失函数；

构建子单元，用于基于第一子损失函数、第二子损失函数以及第三子损失函数构建预设神经网络模型的损失函数；

训练子单元，用于基于损失函数对预设神经网络模型进行迭代训练。

在一些实施例中，第二计算单元，包括：

第四确定子单元，用于确定第一匹配结果对应的第一结果序列以及第二匹配结果对应的第二结果序列；

计算子单元，用于计算第一结果序列与第二结果序列之间的相对熵，得到第一匹配结果与第二匹配结果之间的第二差异信息。

在一些实施例中，本申请提供的模型训练装置，还包括：

第四处理单元，用于采用第一神经网络对第一对象特征再次进行特征处理，得到第四对象特征，其中，在采用第一神经网络对第一对象特征再次进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；

第三匹配单元，用于对第二内容特征与第四对象特征进行特征匹配，得到第三匹配结果；

第三计算单元，用于计算第一匹配结果与第三匹配结果之间的第三差异信息；

更新单元，还用于：

根据第一匹配结果、标签信息以及第三差异信息对预设神经网络模型的模型参数进行更新。

在一些实施例中，第一匹配单元，包括：

运算子单元，用于对第二对象特征对应的特征向量与第二内容特征对应的特征向量之间进行点积运算，得到运算结果；

处理子单元，用于对运算结果进行归一化处理，得到第一匹配结果。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

根据上述描述可知，本申请实施例提供的模型训练装置，通过第一获取单元401获取训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；第一处理单元402采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；第二处理单元403采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；第一匹配单元404对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；更新单元405根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

以此，本申请提供的模型训练方法，可以在推荐***的双塔模型中对对象特征进行处理的子模型中添加隐藏层，实现对子模型的神经元进行随机隐藏，从而避免对象特征的长尾情况导致模型无法收敛，提升了推荐***的双塔模型的鲁棒性，从而可以提升内容推荐的准确性。

为了更好地实施以上内容推荐方法，本申请实施例还提供一种内容推荐装置，该内容推荐装置可以集成在终端或服务器中。

例如，如图6所示，为本申请实施例提供的内容推荐装置的结构示意图，该内容推荐装置可以包括第二获取单元501、第一提取单元502、第二提取单元503、输入单元504以及确定单元505，如下：

第二获取单元501，用于获取对象信息以及候选内容信息；

第一提取单元502，用于对对象信息进行特征提取，得到对象特征；

第二提取单元503，用于对候选内容信息进行特征提取，得到内容特征；

输入单元504，用于将对象特征与内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，预设神经网络模型为第一方面的模型训练方法中训练后的预设神经网络模型；

确定单元505，用于根据每一内容特征对应的评分确定目标候选内容，并向对象推荐候选内容。

在一些实施例中，第一提取单元，包括：

分词子单元，用于将对象信息进行分词处理，得到对象信息对应的多个分词；

嵌入子单元，用于对多个分词进行词嵌入处理，得到对象信息对应的对象特征。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

根据上述描述可知，本申请实施例提供的内容推荐装置，通过第二获取单元501获取对象信息以及候选内容信息；第一提取单元502对对象信息进行特征提取，得到对象特征；第二提取单元503对候选内容信息进行特征提取，得到内容特征；输入单元504将对象特征与内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，预设神经网络模型为根据本申请中提供的模型训练方法中训练后的预设神经网络模型；确定单元505根据每一内容特征对应的评分确定目标候选内容，并向对象推荐候选内容。本申请提供的内容推荐方法通过采用更为准确的候选内容评估模型对候选内容进行评分，再根据候选内容的评分向对象推荐目标候选内容。该方法可以有效提升内容推荐的准确性。

本申请实施例还提供一种计算机设备，该计算机设备可以为终端或服务器，如图7所示，为本申请提供的计算机设备的结构示意图。具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理单元601、一个或一个以上存储介质的存储单元602、电源模块603和输入模块604等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理单元601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储单元602内的软件程序和/或模块，以及调用存储在存储单元602内的数据，执行计算机设备的各种功能和处理数据。可选的，处理单元601可包括一个或多个处理核心；优选的，处理单元601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、对象界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理单元601中。

存储单元602可用于存储软件程序以及模块，处理单元601通过运行存储在存储单元602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能以及网页访问等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储单元602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元602还可以包括存储器控制器，以提供处理单元601对存储单元602的访问。

计算机设备还包括给各个部件供电的电源模块603，优选的，电源模块603可以通过电源管理***与处理单元601逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源模块603还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入模块604，该输入模块604可用于接收输入的数字或字符信息，以及产生与对象设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理单元601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元602中，并由处理单元601来运行存储在存储单元602中的应用程序，从而实现各种功能，如下：

获取训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

或者，获取对象信息以及候选内容信息；对对象信息进行特征提取，得到对象特征；对候选内容信息进行特征提取，得到内容特征；将对象特征与内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，预设神经网络模型为根据本申请中提供的模型训练方法中训练后的预设神经网络模型；根据每一内容特征对应的评分确定目标候选内容，并向对象推荐候选内容。

应当说明的是，本申请实施例提供的计算机设备与上文实施例中的方法属于同一构思，以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种方法中的步骤。例如，该指令可以执行如下步骤：

获取训练样本信息，训练样本信息包括多个训练样本，训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；采用第一神经网络对第一对象特征进行特征处理，得到第二对象特征，其中，在采用第一神经网络对第一对象特征进行特征处理的过程中，对第一神经网络中的神经元进行随机隐藏；采用第二神经网络对第一内容特征进行特征处理，得到第二内容特征；对第二对象特征与第二内容特征进行特征匹配，得到第一匹配结果；根据第一匹配结果与标签信息对预设神经网络模型的模型参数进行更新，直到预设神经网络模型收敛，预设神经网络模型包括第一神经网络与第二神经网络。

或者，获取对象信息以及候选内容信息；对对象信息进行特征提取，得到对象特征；对候选内容信息进行特征提取，得到内容特征；将对象特征与内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，预设神经网络模型为根据本申请中提供的模型训练方法中训练后的预设神经网络模型；根据每一内容特征对应的评分确定目标候选内容，并向对象推荐候选内容。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种方法中的步骤，因此，可以实现本发明实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

其中，根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述模型训练方法或内容推荐方法中各种可选实现方式中提供的方法。

以上对本发明实施例所提供的模型训练方法及装置、内容推荐方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本信息，所述训练样本信息包括多个训练样本，所述训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；

采用第一神经网络对所述第一对象特征进行特征处理，得到第二对象特征，其中，在采用所述第一神经网络对所述第一对象特征进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

采用第二神经网络对所述第一内容特征进行特征处理，得到第二内容特征；

对所述第二对象特征与所述第二内容特征进行特征匹配，得到第一匹配结果；

根据所述第一匹配结果与所述标签信息对预设神经网络模型的模型参数进行更新，直到所述预设神经网络模型收敛，所述预设神经网络模型包括所述第一神经网络与所述第二神经网络。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用所述第一神经网络对所述第一对象特征再次进行特征处理，得到第三对象特征，其中，在采用所述第一神经网络对所述第一对象特征再次进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

计算所述第二对象特征与所述第三对象特征的第一差异信息；

所述根据所述第一匹配结果与所述标签信息对预设神经网络模型的模型参数进行更新，包括：

根据所述第一匹配结果、所述标签信息以及所述第一差异信息对预设神经网络模型的模型参数进行更新。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第三对象特征与所述第二内容特征进行特征匹配，得到第二匹配结果；

计算所述第一匹配结果与所述第二匹配结果之间的第二差异信息；

所述根据所述第一匹配结果、所述标签信息以及所述第一差异信息对预设神经网络模型的模型参数进行更新，包括：

根据所述第一匹配结果、所述标签信息、所述第一差异信息以及所述第二差异信息对预设神经网络模型的模型参数进行更新。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一匹配结果、所述标签信息、所述第一差异信息以及所述第二差异信息对预设神经网络模型的模型参数进行更新，包括：

根据所述第一匹配结果与所述标签信息确定第一子损失函数；

根据所述第一差异信息确定第二子损失函数；

根据所述第二差异信息确定第三子损失函数；

基于所述第一子损失函数、第二子损失函数以及第三子损失函数构建预设神经网络模型的损失函数；

基于所述损失函数对所述预设神经网络模型进行迭代训练。

5.根据权利要求3所述的方法，其特征在于，所述计算所述第一匹配结果与所述第二匹配结果之间的第二差异信息，包括：

确定所述第一匹配结果对应的第一结果序列以及所述第二匹配结果对应的第二结果序列；

计算所述第一结果序列与所述第二结果序列之间的相对熵，得到所述第一匹配结果与所述第二匹配结果之间的第二差异信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用所述第一神经网络对所述第一对象特征再次进行特征处理，得到第四对象特征，其中，在采用所述第一神经网络对所述第一对象特征再次进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

对所述第二内容特征与所述第四对象特征进行特征匹配，得到第三匹配结果；

计算所述第一匹配结果与所述第三匹配结果之间的第三差异信息；

所述根据所述第一匹配结果与所述标签信息对预设神经网络模型的模型参数进行更新，包括：

根据所述第一匹配结果、所述标签信息以及所述第三差异信息对预设神经网络模型的模型参数进行更新。

7.根据权利要求1所述的方法，其特征在于，所述对所述第二对象特征与所述第二内容特征进行特征匹配，得到第一匹配结果，包括：

对所述第二对象特征对应的特征向量与所述第二内容特征对应的特征向量之间进行点积运算，得到运算结果；

对所述运算结果进行归一化处理，得到第一匹配结果。

8.一种内容推荐方法，其特征在于，所述方法包括：

获取对象信息以及候选内容信息；

对所述对象信息进行特征提取，得到对象特征；

对所述候选内容信息进行特征提取，得到内容特征；

将所述对象特征与所述内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，所述预设神经网络模型为权利要求1至7中任一项所述的模型训练方法中训练后的预设神经网络模型；

根据每一内容特征对应的评分确定目标候选内容，并向对象推荐所述候选内容。

9.根据权利要求8所述的方法，其特征在于，所述对所述对象信息进行特征提取，得到对象特征，包括：

将所述对象信息进行分词处理，得到所述对象信息对应的多个分词；

对所述多个分词进行词嵌入处理，得到所述对象信息对应的对象特征。

10.一种模型训练装置，其特征在于，所述装置包括：

第一获取单元，用于获取训练样本信息，所述训练样本信息包括多个训练样本，所述训练样本包括对象信息对应的第一对象特征、多条内容信息对应的第一内容特征以及每条内容信息对应的标签信息；

第一处理单元，用于采用第一神经网络对所述第一对象特征进行特征处理，得到第二对象特征，其中，在采用所述第一神经网络对所述第一对象特征进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

第二处理单元，用于采用第二神经网络对所述第一内容特征进行特征处理，得到第二内容特征；

第一匹配单元，用于对所述第二对象特征与所述第二内容特征进行特征匹配，得到第一匹配结果；

更新单元，用于根据所述第一匹配结果与所述标签信息对预设神经网络模型的模型参数进行更新，直到所述预设神经网络模型收敛，所述预设神经网络模型包括所述第一神经网络与所述第二神经网络。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

第三处理单元，用于采用所述第一神经网络对所述第一对象特征再次进行特征处理，得到第三对象特征，其中，在采用所述第一神经网络对所述第一对象特征再次进行特征处理的过程中，对所述第一神经网络中的神经元进行随机隐藏；

第一计算单元，用于计算所述第二对象特征与所述第三对象特征的第一差异信息；

所述更新单元，还用于：

根据所述第一匹配结果、所述标签信息以及所述第一差异信息对预设神经网络模型的模型参数进行更新。

12.一种内容推荐装置，其特征在于，所述装置包括：

第二获取单元，用于获取对象信息以及候选内容信息；

第一提取单元，用于对所述对象信息进行特征提取，得到对象特征；

第二提取单元，用于对所述候选内容信息进行特征提取，得到内容特征；

输入单元，用于将所述对象特征与所述内容特征输入至预设神经网络模型，输出每一内容特征对应的评分，所述预设神经网络模型为权利要求1至7中任一项所述的模型训练方法中训练后的预设神经网络模型；

确定单元，用于根据每一内容特征对应的评分确定目标候选内容，并向对象推荐所述候选内容。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7中任一项所述的模型训练方法或权利要求8或9所述的内容推荐方法中的步骤。

14.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的模型训练方法或权利要求8或9所述的内容推荐方法中的步骤。

15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述的模型训练方法或权利要求8或9所述的内容推荐方法中的步骤。

Images