CN115984734A - 模型训练、视频召回方法、装置、电子设备及存储介质 - Google Patents
模型训练、视频召回方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115984734A CN115984734A CN202211590639.0A CN202211590639A CN115984734A CN 115984734 A CN115984734 A CN 115984734A CN 202211590639 A CN202211590639 A CN 202211590639A CN 115984734 A CN115984734 A CN 115984734A
- Authority
- CN
- China
- Prior art keywords
- interest
- feature vector
- video
- type
- recall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种模型训练、视频召回方法、装置、电子设备及存储介质。模型训练方法包括:获取第一样本用户的第一描述信息和第一样本用户感兴趣的视频的第一视频标识;将第一描述信息作为待训练模型的输入,得到待训练模型输出的第一样本用户在预设的各兴趣类型下的第一兴趣特征向量;计算各第一兴趣特征向量与第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量作为其所属兴趣类型下的目标兴趣特征向量,得到各兴趣类型下的目标兴趣特征向量;针对每个兴趣类型,基于兴趣类型下的目标兴趣特征向量对应的第一相似度判断兴趣类型是否训练完成;在各兴趣类型均训练完成后得到视频召回模型。本发明实施例能够提高视频召回效率。
Description
技术领域
本发明涉及视频处理技术领域,特别是涉及一种模型训练、视频召回方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的飞速发展,用户越来越依赖于通过网络获取信息。为了满足用户观看视频的需求,各种视频网站随之出现。视频网站为了满足用户需求,通常会向用户进行视频推荐,推荐用户可能感兴趣的视频,从而根据不同用户进行个性化服务。
视频推荐***在进行视频推荐业务时,主要进行视频召回和视频排序两个阶段。其中,视频召回阶段用于从视频库中召回部分候选视频,视频排序阶段用于对召回的候选视频进行排序。因此,视频召回阶段召回的候选视频的准确性,对整个视频推荐***的性能至关重要。
现有技术中,在视频召回阶段通常利用视频召回模型进行召回操作。目前的视频召回模型通常是基于用户的单一兴趣提取用户的兴趣特征,利用该单一兴趣的兴趣特征进行召回操作。但是,在实际应用场景中,用户通常会存在多个不同的兴趣,而利用现有的视频召回模型无法同时召回用户不同兴趣下的视频,如果执行多次召回操作则会大大降低召回效率。
发明内容
本发明实施例的目的在于提供一种模型训练、视频召回方法、装置、电子设备及存储介质,训练得到的视频召回模型能够同时针对多种兴趣类型进行分析,从而能够同时召回用户不同兴趣类型下的视频,提高视频召回效率。具体技术方案如下:
在本发明实施的第一方面,首先提供了一种模型训练方法,包括:
获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识;
将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量;
计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量;
针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成;
在各所述兴趣类型均训练完成后,得到视频召回模型。
可选地,所述方法还包括:获取第二样本用户的第二描述信息和所述第二样本用户感兴趣的视频的第二视频标识;将所述第二描述信息作为所述视频召回模型的输入,得到所述视频召回模型输出的,所述第二样本用户在各所述兴趣类型下的第二兴趣特征向量;针对每个所述第二兴趣特征向量,召回所述第二兴趣特征向量对应的第一目标视频标识;针对每个兴趣类型,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,所述兴趣类型的离线召回率用于在视频召回过程中作为所述兴趣类型的召回量的计算依据。
可选地,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,包括:针对所述兴趣类型下的每个第二兴趣特征向量,获取所述第二兴趣特征向量对应的概率,所述概率表示所述第二兴趣特征向量对应的第一目标视频标识中存在所述第二视频标识的概率;基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率。
可选地,获取所述第二兴趣特征向量对应的概率,包括:在所述第一目标视频标识中存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值1;在所述第一目标视频标识中不存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值0。
可选地,基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率,包括:计算所述兴趣类型下的全部第二兴趣特征向量对应的概率的平均值,将所述平均值作为所述兴趣类型的离线召回率。
可选地,所述第一描述信息包括所述第一样本用户观看的历史视频的第一历史视频标识和所述第一样本用户的第一属性信息;将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量,包括:将所述第一描述信息输入所述待训练模型;在所述待训练模型中执行如下操作:获取所述第一历史视频标识在各所述兴趣类型下的第一编码特征向量,以及所述第一属性信息的第一综合属性特征向量;将各所述第一编码特征向量分别与所述第一综合属性特征向量进行拼接,得到各所述兴趣类型下的第一拼接特征向量;对各所述兴趣类型下的第一拼接特征向量进行特征提取,得到所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量;输出所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量。
可选地,所述基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成,包括:基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,计算所述兴趣类型对应的损失值;在所述损失值满足预设条件的情况下,确定所述兴趣类型训练完成。
在本发明实施的第二方面,提供了一种视频召回方法,包括:
接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息;
将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量;所述视频召回模型通过如上任一项所述的方法训练得到;
针对每个所述第三兴趣特征向量,召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
可选地,召回所述第三兴趣特征向量对应的第二目标视频标识,包括:从预先计算的各兴趣类型的离线召回率中,获取所述第三兴趣特征向量所属兴趣类型的离线召回率;基于获取的离线召回率,计算所述第三兴趣特征向量所属兴趣类型的召回量,按照所述召回量召回所述第三兴趣特征向量对应的第二目标视频标识。
在本发明实施的第三方面,提供了一种模型训练装置,包括:
第一获取模块,用于获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识;
第一处理模块,用于将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量;
第一计算模块,用于计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量;
判断模块,用于针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成;
确定模块,用于在各所述兴趣类型均训练完成后,得到视频召回模型。
可选地,所述装置还包括:第二获取模块,用于获取第二样本用户的第二描述信息和所述第二样本用户感兴趣的视频的第二视频标识;第二处理模块,用于将所述第二描述信息作为所述视频召回模型的输入,得到所述视频召回模型输出的,所述第二样本用户在各所述兴趣类型下的第二兴趣特征向量;第一召回模块,用于针对每个所述第二兴趣特征向量,召回所述第二兴趣特征向量对应的第一目标视频标识;第二计算模块,用于针对每个兴趣类型,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,所述兴趣类型的离线召回率用于在视频召回过程中作为所述兴趣类型的召回量的计算依据。
可选地,所述第二计算模块包括:概率计算单元,用于针对所述兴趣类型下的每个第二兴趣特征向量,获取所述第二兴趣特征向量对应的概率,所述概率表示所述第二兴趣特征向量对应的第一目标视频标识中存在所述第二视频标识的概率;召回率计算单元,用于基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率。
可选地,所述概率计算单元,具体用于在所述第一目标视频标识中存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值1;在所述第一目标视频标识中不存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值0。
可选地,所述召回率计算单元,具体用于计算所述兴趣类型下的全部第二兴趣特征向量对应的概率的平均值,将所述平均值作为所述兴趣类型的离线召回率。
可选地,所述第一描述信息包括所述第一样本用户观看的历史视频的第一历史视频标识和所述第一样本用户的第一属性信息;所述第一处理模块,具体用于将所述第一描述信息输入所述待训练模型;在所述待训练模型中执行如下操作:获取所述第一历史视频标识在各所述兴趣类型下的第一编码特征向量,以及所述第一属性信息的第一综合属性特征向量;将各所述第一编码特征向量分别与所述第一综合属性特征向量进行拼接,得到各所述兴趣类型下的第一拼接特征向量;对各所述兴趣类型下的第一拼接特征向量进行特征提取,得到所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量;输出所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量。
可选地,所述判断模块,具体用于基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,计算所述兴趣类型对应的损失值;在所述损失值满足预设条件的情况下,确定所述兴趣类型训练完成。
在本发明实施的第四方面,提供了一种视频召回装置,其特征在于,包括:
第三获取模块,用于接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息;
第三处理模块,用于将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量;所述视频召回模型通过如上任一项所述的方法训练得到;
第二召回模块,用于针对每个所述第三兴趣特征向量,召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
可选地,所述第二召回模块包括:召回率获取单元,用于从预先计算的各兴趣类型的离线召回率中,获取所述第三兴趣特征向量所属兴趣类型的离线召回率;视频召回单元,用于基于获取的离线召回率,计算所述第三兴趣特征向量所属兴趣类型的召回量,按照所述召回量召回所述第三兴趣特征向量对应的第二目标视频标识。
在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上述任一所述的模型训练方法,或者实现上述任一所述的视频召回方法。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机实现上述任一所述的模型训练方法,或者实现上述任一所述的视频召回方法。
在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机实现上述任一所述的模型训练方法,或者实现上述任一所述的视频召回方法。
本发明实施例提供的模型训练、视频召回方法、装置、电子设备及存储介质,在训练的视频召回模型中,能够基于第一样本用户的第一描述信息,同时分析得到第一样本用户在各兴趣类型下的第一兴趣特征向量。在训练过程中针对每个第一样本用户,模型输出的哪个兴趣类型下的第一兴趣特征向量与该第一样本用户感兴趣的视频的第一视频标识的第一相似度最大,则说明该兴趣类型下的第一兴趣特征向量能够代表该第一样本用户的兴趣,因此利用该第一兴趣特征向量对该兴趣类型的相关参数进行迭代训练,最终得到训练完成的视频召回模型。因此,训练完成的视频召回模型能够同时分析得到用户在各兴趣类型下的兴趣特征向量,进而利用各兴趣类型下的兴趣特征向量分别对各兴趣类型的视频进行召回,从而能够实现同时召回用户不同兴趣类型下的视频,提高视频召回效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中的一种模型训练方法的步骤流程图。
图2为本发明实施例中的一种整体***架构图。
图3为本发明实施例中的一种视频召回方法的步骤流程图。
图4为本发明实施例中的另一种模型训练方法的步骤流程图。
图5为本发明实施例中的另一种视频召回方法的步骤流程图。
图6为本发明实施例中的一种模型训练装置的结构框图。
图7为本发明实施例中的一种视频召回装置的结构框图。
图8为本发明实施例中的一种电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
本发明实施例中的各方法、装置可以应用于视频推荐***中。
需要指出的是,本发明实施例中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
图1为本发明实施例中的一种模型训练方法的步骤流程图。
如图1所示,模型训练方法可以包括以下步骤:
步骤101,获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识。
在实现中,可以从视频网站中获取历史用户数据,从历史用户数据中提取训练样本的相关数据。
本发明实施例中,在训练视频召回模型时,获取第一样本用户的第一描述信息和第一样本用户感兴趣的视频的第一视频标识,将这些信息作为训练样本。
第一样本用户的第一描述信息可以包括但不限于:第一样本用户观看的历史视频的第一历史视频标识和第一样本用户的第一属性信息。其中,第一样本用户观看的历史视频的第一历史视频标识表示第一样本用户历史观看过的视频标识。比如,可以选取第一样本用户在过去至少一天内观看过的视频标识作为第一历史视频标识,等等。第一样本用户的第一属性信息可以包括但不限于:第一样本用户的性别、年龄等等,以及第一样本用户观看的历史视频的第一历史视频标识对应的视频时长、视频类型等等。
第一样本用户感兴趣的视频的第一视频标识可以为,第一样本用户观看时长超过预设时长的视频对应的视频标识。对于预设时长的具体数值,可以根据实际经验进行设置,本发明实施例对此不做限制。比如,预设时长可以设置为10秒、12秒、15秒,等等。
步骤102,将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量。
待训练模型是指还未进行训练的视频召回模型,在模型训练过程中,需要不断对待训练模型中的相关参数进行迭代优化,直至模型的损失值满足预设条件。以下具体说明。
将第一样本用户的第一描述信息作为待训练模型的输入,在待训练模型内部对第一样本用户的第一描述信息进行特征提取等分析处理后,待训练模型能够输出第一样本用户在预设的各兴趣类型下的第一兴趣特征向量。示例性地,兴趣类型可以包括但不限于:搞笑、美食、体育、动漫、少儿,等等。
在一种可选实施方式中,首先,将第一样本用户的第一描述信息(包括第一样本用户观看的历史视频的第一历史视频标识和第一样本用户的第一属性信息)输入所述待训练模型。然后,在所述待训练模型中执行如下操作:获取所述第一样本用户的第一历史视频标识在各所述兴趣类型下的第一编码特征向量,以及所述第一样本用户的第一属性信息的第一综合属性特征向量;将各所述第一编码特征向量分别与所述第一综合属性特征向量进行拼接,得到各所述兴趣类型下的第一拼接特征向量;对各所述兴趣类型下的第一拼接特征向量进行特征提取,得到所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量。最后,待训练模型输出所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量。
下面,结合图2说明模型内部的具体处理过程。
图2为本发明实施例中的一种整体***架构图。图2中包含视频召回模型的具体结构。
如图2所示,视频召回模型内部可以包括向量层、编码器层、第一拼接层、第二拼接层以及神经网络(共H层串联的神经网络,H大于等于1)。视频召回模型的内部处理过程可以包括以下步骤(1)~(5):
(1)、将第一样本用户观看的n个历史视频的第一历史视频标识ID1、ID2、……、IDn,以及第一样本用户的m个第一属性信息M1、M2、……、Mm,输入待训练模型中的向量层。
向量层用于将输入的信息映射为向量。因此在向量层中,分别获取第一历史视频标识ID1的第一标识特征向量A1、ID2的第一标识特征向量A2、……、IDn的第一标识特征向量An,共得到n个第一标识特征向量;分别获取第一属性信息M1的第一属性特征向量B1、M2的第一属性特征向量B2、……、Mm的第一属性特征向量Bm,共得到m个第一属性特征向量。
示例性地,本发明实施例中的向量层可以为嵌入层(Embedding Layer)。
(2)、将向量层输出的ID1的第一标识特征向量A1、ID2的第一标识特征向量A2、……、IDn的第一标识特征向量An,输入编码器层。
编码器层用于对输入的向量进行编码操作,以便提取向量的深层编码特征。本发明实施例中,在编码器层针对预设的k个兴趣类型可以设置k个编码器,每个编码器对应一个兴趣类型,用于提取该兴趣类型下的编码特征向量。因此在编码器层中,可以获取第一样本用户的第一历史视频标识在k个兴趣类型下的第一编码特征向量C1、C2、……、Ck,共得到k个第一编码特征向量。
在一种可选实施方式中,k个编码器可以串行排列,第一个编码器的输入为向量层输出的ID1的第一标识特征向量A1、ID2的第一标识特征向量A2、……、IDn的第一标识特征向量An;从第二个编码器开始,其输入为前一编码器的输出。每个编码器输出一个兴趣类型下的第一编码特征向量。
在另一种可选实施方式中,k个编码器可以并行排列,每个编码器的输入均为向量层输出的ID1的第一标识特征向量A1、ID2的第一标识特征向量A2、……、IDn的第一标识特征向量An。每个编码器输出一个兴趣类型下的第一编码特征向量。
示例性地,本发明实施例中的编码器层可以为基于转换器的编码器(TransformerEncoder)。
(3)、将向量层输出的M1的第一属性特征向量B1、M2的第一属性特征向量B2、……、Mm的第一属性特征向量Bm,输入第一拼接层。
第一拼接层用于对输入的向量进行拼接操作。因此在第一拼接层中,可以将M1的第一属性特征向量B1、M2的第一属性特征向量B2、……、Mm的第一属性特征向量Bm进行拼接,从而得到第一样本用户的第一属性信息对应的一个第一综合属性特征向量D1。
(4)、将编码器层输出的第一样本用户的第一历史视频标识在k个兴趣类型下的第一编码特征向量C1、C2、……、Ck,以及第一拼接层输出的第一样本用户的第一属性信息对应的一个第一综合属性特征向量D1,输入第二拼接层。
第二拼接层用于对输入的向量进行拼接操作。因此在第二拼接层中,可以将k个兴趣类型下的第一编码特征向量C1、C2、……、Ck,分别与第一综合属性特征向量D1进行拼接,得到k个兴趣类型下的第一拼接特征向量E1、E2、……、Ek。具体地,将C1与D1进行拼接得到E1,将C2与D1进行拼接得到E2,……,将Ck与D1进行拼接得到Ek。
(5)、将第二拼接层输出的k个兴趣类型下的第一拼接特征向量E1、E2、……、Ek,输入H层神经网络。
神经网络用于对输入的向量进行特征提取。因此在神经网络中,可以对k个兴趣类型下的第一拼接特征向量E1、E2、……、Ek分别进行特征提取,从而得到第一样本用户在k个兴趣类型下的第一兴趣特征向量F1、F2、……、Fk。视频召回模型的输出即为第一样本用户在k个兴趣类型下的第一兴趣特征向量F1、F2、……、Fk。
示例性地,本发明实施例中的神经网络可以采用DNN(Deep Neural Networks,深度神经网络)等。神经网络的激活函数可以采用ReLU函数等。
步骤103,计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量。
第一样本用户在每个兴趣类型下都得到一个第一兴趣特征向量。本发明实施例中,选取与第一样本用户感兴趣的视频的第一视频标识相似度最大的第一兴趣特征向量,用来对该第一兴趣特征向量所属的兴趣类型对应的网络进行优化。由于选取的第一兴趣特征向量与第一视频标识的相似度最大,因此基于第一兴趣特征向量计算得到的损失值最小,从而能够加快模型的训练速度。
因此,本发明实施例中,分别计算第一样本用户在各兴趣类型下的第一兴趣特征向量与第一样本用户感兴趣的视频的第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量作为该第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,通过对多个第一样本用户的计算得到各兴趣类型下的目标兴趣特征向量。
首先,获取第一样本用户感兴趣的视频的第一视频标识的标识特征向量。
如图2所示,将第一样本用户感兴趣的视频的第一视频标识ID输入向量层。在向量层中,获取第一视频标识ID的标识特征向量A。
然后,分别计算各第一兴趣特征向量与第一视频标识的标识特征向量的第一相似度。
如图2中,将会分别计算第一兴趣特征向量F1与第一视频标识ID的标识特征向量A的第一相似度,第一兴趣特征向量F2与第一视频标识ID的标识特征向量A的第一相似度,……,第一兴趣特征向量Fk与第一视频标识ID的标识特征向量A的第一相似度。
示例性地,第一相似度可以采用余弦相似度、欧氏距离、曼哈顿距离、切比雪夫距离、汉明距离等来衡量。
步骤104,针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成。
经过上述步骤103的计算,每个兴趣类型下可以存在多个目标兴趣特征向量,每个目标兴趣特征向量对应有一个第一相似度。针对每个所述兴趣类型,可以基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成。
在实现中,针对每个兴趣类型,可以基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,计算所述兴趣类型对应的损失值。在所述损失值满足预设条件的情况下,确定所述兴趣类型训练完成。在所述损失值不满足预设条件的情况下,确定所述兴趣类型训练未完成,该种情况下可以更新模型中该兴趣类型对应的参数继续进行训练。
示例性地,损失值可以采用绝对值损失函数、对数损失函数、平方损失函数、指数损失函数、交叉熵损失函数、随机负采样损失函数(Sampled Softmax Loss),等等。预设条件可以设置为损失值小于预设阈值,等等。
如图2所示,在模型训练过程中,采用随机负采样损失函数(Sampled SoftmaxLoss)计算损失值。
针对每个兴趣类型,采用随机负采样损失函数计算所述兴趣类型对应的损失值的过程可以包括:首先,获取所述第一样本用户不感兴趣的视频的第三视频标识。如果将第一样本用户感兴趣的视频的第一视频标识作为正样本,将第一样本用户不感兴趣的视频的第三视频标识作为负样本,则正样本与负样本的比例可以设置为1:8000等,本发明实施例对此不做限制。然后,计算所述兴趣类型下的目标兴趣特征向量与各所述第三视频标识的第二相似度,第二相似度的计算方式与上述第一相似度的计算方式相同,具体参照上述对第一相似度的相关描述即可。最后,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度和第二相似度,计算所述兴趣类型对应的损失值,具体采用Softmax Loss函数的计算公式进行计算即可,本发明实施例在此不再详细论述。
步骤105,在各所述兴趣类型均训练完成后,得到视频召回模型。
本发明实施例中,在训练过程中针对每个第一样本用户,模型输出的哪个兴趣类型下的第一兴趣特征向量与该第一样本用户感兴趣的视频的第一视频标识的第一相似度最大,则说明该兴趣类型下的第一兴趣特征向量能够代表该第一样本用户的兴趣,因此利用该第一兴趣特征向量对该兴趣类型的相关参数进行迭代训练,最终得到训练完成的视频召回模型。在训练的视频召回模型中,能够基于第一样本用户的第一描述信息,同时分析得到第一样本用户在各兴趣类型下的第一兴趣特征向量,使得可以同时召回多个兴趣类型下的视频。
图3为本发明实施例中的一种视频召回方法的步骤流程图。
如图3所示,视频召回方法可以包括以下步骤:
步骤301,接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息。
用户在使用视频网站观看视频时,可以通过相关操作触发待处理用户的推荐请求。比如,用户可以在视频播放界面上点击“推荐”控件,从而触发待处理用户的推荐请求;或者,用户可以在视频播放界面上执行“下拉”操作,从而触发待处理用户的推荐请求。当然,用户还可以通过其他方式触发待处理用户的推荐请求,本发明实施例对此不做限制。
推荐***接收到待处理用户的推荐请求后,获取待处理用户的第三描述信息。待处理用户的第三描述信息与上述第一样本用户的第一描述信息类似,待处理用户的第三描述信息可以包括但不限于:待处理用户观看的第三历史视频标识和待处理用户的第三属性信息。
步骤302,将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量。
将待处理用户的第三描述信息输入上述训练得到的视频召回模型中,在视频召回模型中对待处理用户的第三描述信息进行特征提取等分析处理后,视频召回模型能够输出待处理用户在各兴趣类型下的第三兴趣特征向量。
对于视频召回模型对待处理用户的第三描述信息的具体处理过程,可以参照上述步骤102的相关描述,本发明实施例在此不再详细论述。
步骤303,针对每个所述第三兴趣特征向量,召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
针对每个第三兴趣特征向量,利用该第三兴趣特征向量在视频标识池中进行检索,从而召回该第三兴趣特征向量对应的第二目标视频标识。将该第三兴趣特征向量对应的第二目标视频标识,作为该第三兴趣特征向量所属兴趣类型下的召回结果。
示例性地,视频标识池中包含大量视频标识的标识特征向量,分别计算该第三兴趣特征向量与视频标识池中的各视频标识的标识特征向量的第三相似度,选取第三相似度最大的N个(N大于等于1)视频标识作为该第三兴趣特征向量对应的第二目标视频标识。第三相似度的计算方式与上述第一相似度的计算方式相同,具体参照上述对第一相似度的相关描述即可。
如图2所示,利用最后一层神经网络输出的待处理用户在各兴趣类型下的第三兴趣特征向量,从视频标识池中进行检索,从而召回前N个视频标识作为召回结果。对于图2中的离线召回率计算部分,将在下面的实施例中说明。
本发明实施例中,视频召回模型能够同时分析得到用户在各兴趣类型下的兴趣特征向量,进而利用各兴趣类型下的兴趣特征向量分别对各兴趣类型的视频进行召回,从而能够实现同时召回用户不同兴趣类型下的视频,提高视频召回效率,降低不同兴趣类型间召回视频的重合度。
图4为本发明实施例中的另一种模型训练方法的步骤流程图。
如图4所示,模型训练方法可以包括以下步骤:
步骤401,获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识。
步骤402,将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量。
步骤403,计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量。
步骤404,针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成。
步骤405,在各所述兴趣类型均训练完成后,得到视频召回模型。
步骤401~步骤405与上述步骤101~步骤105相同,本发明实施例在此不再详细论述。
步骤406,获取第二样本用户的第二描述信息和所述第二样本用户感兴趣的视频的第二视频标识。
第二样本用户的第二描述信息与上述第一样本用户的第一描述信息类似,第二样本用户的第二描述信息可以包括但不限于:第二样本用户观看的历史视频的第二历史视频标识和第二样本用户的第二属性信息。
第二样本用户感兴趣的视频的第二视频标识与上述第一样本用户感兴趣的视频的第一视频标识类似,可以为第二样本用户观看时长超过预设时长的视频对应的视频标识。
步骤407,将所述第二描述信息作为所述视频召回模型的输入,得到所述视频召回模型输出的,所述第二样本用户在各所述兴趣类型下的第二兴趣特征向量。
将第二样本用户的第二描述信息输入训练得到的视频召回模型中,在视频召回模型中对第二样本用户的第二描述信息进行特征提取等分析处理后,视频召回模型能够输出第二样本用户在各兴趣类型下的第二兴趣特征向量。
对于视频召回模型对第二样本用户的第二描述信息的具体处理过程,可以参照上述步骤102的相关描述,本发明实施例在此不再详细论述。
步骤408,针对每个所述第二兴趣特征向量,召回所述第二兴趣特征向量对应的第一目标视频标识。
针对每个第二兴趣特征向量,利用该第二兴趣特征向量在视频标识池中进行检索,从而召回该第二兴趣特征向量对应的第一目标视频标识。
示例性地,视频标识池中包含大量视频标识的标识特征向量,分别计算该第二兴趣特征向量与视频标识池中的各视频标识的标识特征向量的第四相似度,选取第四相似度最大的N个(N大于等于1)视频标识作为该第二兴趣特征向量对应的第一目标视频标识。第四相似度的计算方式与上述第一相似度的计算方式相同,具体参照上述对第一相似度的相关描述即可。
如图2所示,利用最后一层神经网络输出的第二样本用户在各兴趣类型下的第二兴趣特征向量,从视频标识池中进行检索,从而召回前N个视频标识作为第二兴趣特征向量对应的第一目标视频标识。
步骤409,针对每个兴趣类型,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率。
在一种可选实施方式中,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率的过程,可以包括以下步骤a1~a2:
步骤a1,针对所述兴趣类型下的每个第二兴趣特征向量,获取所述第二兴趣特征向量对应的概率。
其中,第二兴趣特征向量对应的概率表示所述第二兴趣特征向量对应的第一目标视频标识中,存在所述第二兴趣特征向量对应的第二样本用户感兴趣的视频的第二视频标识的概率。
示例性地,在所述第二兴趣特征向量对应的第一目标视频标识中,存在所述第二兴趣特征向量对应的第二样本用户感兴趣的视频的第二视频标识的情况下,可以将所述第二兴趣特征向量对应的概率确定为数值1;在所述第二兴趣特征向量对应的第一目标视频标识中,不存在所述第二兴趣特征向量对应的第二样本用户感兴趣的视频的第二视频标识的情况下,可以将所述第二兴趣特征向量对应的概率确定为数值0。可以理解的是,还可以设置概率为其他数值,比如在存在的情况下概率设为0.9,不存在的情况下概率设为0.1,等等,本发明实施例对此不做限制。
步骤a2,基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率。
经过上述步骤a1,每个第二兴趣特征向量计算得到一个对应的概率。针对一个兴趣类型,基于该兴趣类型下的各第二兴趣特征向量对应的概率,可以计算该兴趣类型的离线召回率。
示例性地,可以计算所述兴趣类型下的全部第二兴趣特征向量对应的概率的平均值,将所述平均值作为所述兴趣类型的离线召回率。
如图2所示,利用最后一层神经网络输出的第二样本用户在各兴趣类型下的第二兴趣特征向量可以进行各兴趣类型的离线召回率的计算。
在计算得到各兴趣类型的离线召回率后,可以存储各兴趣类型的离线召回率,以供后续线上召回时使用。
本申请实施例中,在训练得到视频召回模型后,进一步利用该视频召回模型针对第二样本用户进行视频召回,基于召回结果计算各兴趣类型的离线召回率,兴趣类型的离线召回率用于在后续线上的视频召回过程中,作为该兴趣类型的召回量的计算依据。在视频召回过程中针对每个兴趣类型,基于该兴趣类型的离线召回率计算得到该兴趣类型的召回量,进而按照该召回量召回该兴趣类型下的视频,具体将在下面的实施例中详细论述。
图5为本发明实施例中的另一种视频召回方法的步骤流程图。
如图5所示,视频召回方法可以包括以下步骤:
步骤501,接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息。
步骤502,将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量。
步骤501~步骤502与上述步骤301~步骤302相同,本发明实施例在此不再详细论述。
步骤503,针对每个所述第三兴趣特征向量,从预先计算的各兴趣类型的离线召回率中,获取所述第三兴趣特征向量所属兴趣类型的离线召回率。
步骤504,基于获取的离线召回率,计算所述第三兴趣特征向量所属兴趣类型的召回量,按照所述召回量召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
所述第三兴趣特征向量所属兴趣类型的召回量为,所述第三兴趣特征向量所属兴趣类型的离线召回率与预设的召回总量的乘积。
针对每个第三兴趣特征向量,计算得到一个召回量,因此可以按照各自对应的召回量召回所述第三兴趣特征向量对应的第二目标视频标识。
比如,预设的召回总量为100个,一共设置3个兴趣类型,每个兴趣类型对应一个第三兴趣特征向量,3个兴趣类型的离线召回率分别为0.2,0.3,0.5,则3个兴趣类型的召回量分别为20个,30个,50个,因此3个第三兴趣特征向量分别召回20个,30个,50个视频。
本发明实施例中,考虑到用户的不同兴趣类型之间会存在强弱的差别,因此利用兴趣类型各自的离线召回率作为评估用户兴趣类型强弱的依据,最终决定不同兴趣类型的视频召回量。兴趣类型的离线召回率越大,说明用户对该兴趣类型的感兴趣程度越强,用户越希望召回更多该兴趣类型下的视频,因此该兴趣类型的视频召回量越大;相反的兴趣类型的离线召回率越小,说明用户对该兴趣类型的感兴趣程度越弱,用户越希望召回更少该兴趣类型下的视频,因此该兴趣类型的视频召回量越小。因此,基于兴趣类型的离线召回率决定该兴趣类型的视频召回量,能够更加符合用户需求,从而提升视频召回的有效性和准确性。
图6为本发明实施例中的一种模型训练装置的结构框图。
如图6所示,模型训练装置可以包括以下模块:
第一获取模块601,用于获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识;
第一处理模块602,用于将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量;
第一计算模块603,用于计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量其所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量;
判断模块604,用于针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成;
确定模块605,用于在各所述兴趣类型均训练完成后,得到视频召回模型。
可选地,所述装置还包括:第二获取模块,用于获取第二样本用户的第二描述信息和所述第二样本用户感兴趣的视频的第二视频标识;第二处理模块,用于将所述第二描述信息作为所述视频召回模型的输入,得到所述视频召回模型输出的,所述第二样本用户在各所述兴趣类型下的第二兴趣特征向量;第一召回模块,用于针对每个所述第二兴趣特征向量,召回所述第二兴趣特征向量对应的第一目标视频标识;第二计算模块,用于针对每个兴趣类型,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,所述兴趣类型的离线召回率用于在视频召回过程中作为所述兴趣类型的召回量的计算依据。
可选地,所述第二计算模块包括:概率计算单元,用于针对所述兴趣类型下的每个第二兴趣特征向量,获取所述第二兴趣特征向量对应的概率,所述概率表示所述第二兴趣特征向量对应的第一目标视频标识中存在所述第二视频标识的概率;召回率计算单元,用于基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率。
可选地,所述概率计算单元,具体用于在所述第一目标视频标识中存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值1;在所述第一目标视频标识中不存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值0。
可选地,所述召回率计算单元,具体用于计算所述兴趣类型下的全部第二兴趣特征向量对应的概率的平均值,将所述平均值作为所述兴趣类型的离线召回率。
可选地,所述第一描述信息包括所述第一样本用户观看的历史视频的第一历史视频标识和所述第一样本用户的第一属性信息;所述第一处理模块602,具体用于将所述第一描述信息输入所述待训练模型;在所述待训练模型中执行如下操作:获取所述第一历史视频标识在各所述兴趣类型下的第一编码特征向量,以及所述第一属性信息的第一综合属性特征向量;将各所述第一编码特征向量分别与所述第一综合属性特征向量进行拼接,得到各所述兴趣类型下的第一拼接特征向量;对各所述兴趣类型下的第一拼接特征向量进行特征提取,得到所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量;输出所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量。
可选地,所述判断模块604,具体用于基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,计算所述兴趣类型对应的损失值;在所述损失值满足预设条件的情况下,确定所述兴趣类型训练完成。
图7为本发明实施例中的一种视频召回装置的结构框图。
如图7所示,视频召回装置可以包括以下模块:
第三获取模块701,用于接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息;
第三处理模块702,用于将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量;所述视频召回模型通过如上任一项所述的方法训练得到;
第二召回模块703,用于针对每个所述第三兴趣特征向量,召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
可选地,所述第二召回模块703包括:召回率获取单元,用于从预先计算的各兴趣类型的离线召回率中,获取所述第三兴趣特征向量所属兴趣类型的离线召回率;视频召回单元,用于基于获取的离线召回率,计算所述第三兴趣特征向量所属兴趣类型的召回量,按照所述召回量召回所述第三兴趣特征向量对应的第二目标视频标识。
本发明实施例中,在训练的视频召回模型中,能够基于第一样本用户的第一描述信息,同时分析得到第一样本用户在各兴趣类型下的第一兴趣特征向量。在训练过程中针对每个第一样本用户,模型输出的哪个兴趣类型下的第一兴趣特征向量与该第一样本用户感兴趣的视频的第一视频标识的第一相似度最大,则说明该兴趣类型下的第一兴趣特征向量能够代表该第一样本用户的兴趣,因此利用该第一兴趣特征向量对该兴趣类型的相关参数进行迭代训练,最终得到训练完成的视频召回模型。因此,训练完成的视频召回模型能够同时分析得到用户在各兴趣类型下的兴趣特征向量,进而利用各兴趣类型下的兴趣特征向量分别对各兴趣类型的视频进行召回,从而能够实现同时召回用户不同兴趣类型下的视频,提高视频召回效率。
本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信。
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,可以实现如下步骤:
获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识;
将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量;
计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量;
针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成;
在各所述兴趣类型均训练完成后,得到视频召回模型。
可选地,所述方法还包括:获取第二样本用户的第二描述信息和所述第二样本用户感兴趣的视频的第二视频标识;将所述第二描述信息作为所述视频召回模型的输入,得到所述视频召回模型输出的,所述第二样本用户在各所述兴趣类型下的第二兴趣特征向量;针对每个所述第二兴趣特征向量,召回所述第二兴趣特征向量对应的第一目标视频标识;针对每个兴趣类型,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,所述兴趣类型的离线召回率用于在视频召回过程中作为所述兴趣类型的召回量的计算依据。
可选地,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,包括:针对所述兴趣类型下的每个第二兴趣特征向量,获取所述第二兴趣特征向量对应的概率,所述概率表示所述第二兴趣特征向量对应的第一目标视频标识中存在所述第二视频标识的概率;基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率。
可选地,获取所述第二兴趣特征向量对应的概率,包括:在所述第一目标视频标识中存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值1;在所述第一目标视频标识中不存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值0。
可选地,基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率,包括:计算所述兴趣类型下的全部第二兴趣特征向量对应的概率的平均值,将所述平均值作为所述兴趣类型的离线召回率。
可选地,所述第一描述信息包括所述第一样本用户观看的历史视频的第一历史视频标识和所述第一样本用户的第一属性信息;将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量,包括:将所述第一描述信息输入所述待训练模型;在所述待训练模型中执行如下操作:获取所述第一历史视频标识在各所述兴趣类型下的第一编码特征向量,以及所述第一属性信息的第一综合属性特征向量;将各所述第一编码特征向量分别与所述第一综合属性特征向量进行拼接,得到各所述兴趣类型下的第一拼接特征向量;对各所述兴趣类型下的第一拼接特征向量进行特征提取,得到所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量;输出所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量。
可选地,所述基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成,包括:基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,计算所述兴趣类型对应的损失值;在所述损失值满足预设条件的情况下,确定所述兴趣类型训练完成。
处理器801,用于执行存储器803上所存放的程序时,也可以实现如下步骤:
接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息;
将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量;
针对每个所述第三兴趣特征向量,召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
可选地,召回所述第三兴趣特征向量对应的第二目标视频标识,包括:从预先计算的各兴趣类型的离线召回率中,获取所述第三兴趣特征向量所属兴趣类型的离线召回率;基于获取的离线召回率,计算所述第三兴趣特征向量所属兴趣类型的召回量,按照所述召回量召回所述第三兴趣特征向量对应的第二目标视频标识。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机实现上述实施例中任一所述的模型训练方法,或者任一所述的视频召回方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机实现上述实施例中任一所述的模型训练方法,或者任一所述的视频召回方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (13)
1.一种模型训练方法,其特征在于,包括:
获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识;
将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量;
计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量;
针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成;
在各所述兴趣类型均训练完成后,得到视频召回模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第二样本用户的第二描述信息和所述第二样本用户感兴趣的视频的第二视频标识;
将所述第二描述信息作为所述视频召回模型的输入,得到所述视频召回模型输出的,所述第二样本用户在各所述兴趣类型下的第二兴趣特征向量;
针对每个所述第二兴趣特征向量,召回所述第二兴趣特征向量对应的第一目标视频标识;
针对每个兴趣类型,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,所述兴趣类型的离线召回率用于在视频召回过程中作为所述兴趣类型的召回量的计算依据。
3.根据权利要求2所述的方法,其特征在于,基于所述兴趣类型下的第二兴趣特征向量对应的第一目标视频标识和所述第二视频标识,计算所述兴趣类型的离线召回率,包括:
针对所述兴趣类型下的每个第二兴趣特征向量,获取所述第二兴趣特征向量对应的概率,所述概率表示所述第二兴趣特征向量对应的第一目标视频标识中存在所述第二视频标识的概率;
基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率。
4.根据权利要求3所述的方法,其特征在于,获取所述第二兴趣特征向量对应的概率,包括:
在所述第一目标视频标识中存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值1;
在所述第一目标视频标识中不存在所述第二视频标识的情况下,将所述第二兴趣特征向量对应的概率确定为数值0。
5.根据权利要求3所述的方法,其特征在于,基于所述兴趣类型下的各第二兴趣特征向量对应的概率,计算所述兴趣类型的离线召回率,包括:
计算所述兴趣类型下的全部第二兴趣特征向量对应的概率的平均值,将所述平均值作为所述兴趣类型的离线召回率。
6.根据权利要求1所述的方法,其特征在于,所述第一描述信息包括所述第一样本用户观看的历史视频的第一历史视频标识和所述第一样本用户的第一属性信息;将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量,包括:
将所述第一描述信息输入所述待训练模型;
在所述待训练模型中执行如下操作:获取所述第一历史视频标识在各所述兴趣类型下的第一编码特征向量,以及所述第一属性信息的第一综合属性特征向量;将各所述第一编码特征向量分别与所述第一综合属性特征向量进行拼接,得到各所述兴趣类型下的第一拼接特征向量;对各所述兴趣类型下的第一拼接特征向量进行特征提取,得到所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量;
输出所述第一样本用户在各所述兴趣类型下的第一兴趣特征向量。
7.根据权利要求1所述的方法,其特征在于,所述基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成,包括:
基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,计算所述兴趣类型对应的损失值;
在所述损失值满足预设条件的情况下,确定所述兴趣类型训练完成。
8.一种视频召回方法,其特征在于,包括:
接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息;
将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量;所述视频召回模型通过权利要求1至7任一项所述的方法训练得到;
针对每个所述第三兴趣特征向量,召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
9.根据权利要求8所述的方法,其特征在于,召回所述第三兴趣特征向量对应的第二目标视频标识,包括:
从预先计算的各兴趣类型的离线召回率中,获取所述第三兴趣特征向量所属兴趣类型的离线召回率;
基于获取的离线召回率,计算所述第三兴趣特征向量所属兴趣类型的召回量,按照所述召回量召回所述第三兴趣特征向量对应的第二目标视频标识。
10.一种模型训练装置,其特征在于,包括:
第一获取模块,用于获取第一样本用户的第一描述信息和所述第一样本用户感兴趣的视频的第一视频标识;
第一处理模块,用于将所述第一描述信息作为待训练模型的输入,得到所述待训练模型输出的,所述第一样本用户在预设的各兴趣类型下的第一兴趣特征向量;
第一计算模块,用于计算各所述第一兴趣特征向量与所述第一视频标识的第一相似度,将第一相似度最大的第一兴趣特征向量,作为所述第一相似度最大的第一兴趣特征向量所属兴趣类型下的目标兴趣特征向量,得到各所述兴趣类型下的目标兴趣特征向量;
判断模块,用于针对每个所述兴趣类型,基于所述兴趣类型下的目标兴趣特征向量对应的第一相似度,判断所述兴趣类型是否训练完成;
确定模块,用于在各所述兴趣类型均训练完成后,得到视频召回模型。
11.一种视频召回装置,其特征在于,包括:
第三获取模块,用于接收到待处理用户的推荐请求后,获取所述待处理用户的第三描述信息;
第三处理模块,用于将所述第三描述信息作为预先训练的视频召回模型的输入,得到所述视频召回模型输出的,所述待处理用户在预设的各兴趣类型下的第三兴趣特征向量;所述视频召回模型通过权利要求1至7任一项所述的方法训练得到;
第二召回模块,用于针对每个所述第三兴趣特征向量,召回所述第三兴趣特征向量对应的第二目标视频标识,作为所述第三兴趣特征向量所属兴趣类型下的召回结果。
12.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现如权利要求1-7任一所述的方法,或者实现如权利要求8-9任一所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一所述的方法,或者实现如权利要求8-9任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211590639.0A CN115984734A (zh) | 2022-12-12 | 2022-12-12 | 模型训练、视频召回方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211590639.0A CN115984734A (zh) | 2022-12-12 | 2022-12-12 | 模型训练、视频召回方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115984734A true CN115984734A (zh) | 2023-04-18 |
Family
ID=85973119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211590639.0A Pending CN115984734A (zh) | 2022-12-12 | 2022-12-12 | 模型训练、视频召回方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115984734A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113742522A (zh) * | 2020-05-29 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 视频召回方法、装置、电子设备和存储介质 |
-
2022
- 2022-12-12 CN CN202211590639.0A patent/CN115984734A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113742522A (zh) * | 2020-05-29 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 视频召回方法、装置、电子设备和存储介质 |
CN113742522B (zh) * | 2020-05-29 | 2024-05-10 | 北京达佳互联信息技术有限公司 | 视频召回方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829822B (zh) | 媒体内容的推荐方法和装置、存储介质、电子装置 | |
CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
CN106649681B (zh) | 一种数据处理方法、装置及设备 | |
CN108376129B (zh) | 一种纠错方法及装置 | |
CN112860943A (zh) | 一种教学视频审核方法、装置、设备及介质 | |
CN109165691B (zh) | 用于识别作弊用户的模型的训练方法、装置及电子设备 | |
CN110991187A (zh) | 一种实体链接的方法、装置、电子设备及介质 | |
CN113469298B (zh) | 模型训练方法及资源推荐方法 | |
CN110598109A (zh) | 一种信息推荐方法、装置、设备及存储介质 | |
CN112765402A (zh) | 一种敏感信息识别方法、装置、设备及存储介质 | |
CN111708909A (zh) | 视频标签的添加方法及装置、电子设备、计算机可读存储介质 | |
CN115984734A (zh) | 模型训练、视频召回方法、装置、电子设备及存储介质 | |
CN115687690A (zh) | 一种视频推荐方法、装置、电子设备及存储介质 | |
CN110996142B (zh) | 视频召回方法及装置、电子设备及存储介质 | |
CN109670153A (zh) | 一种相似帖子的确定方法、装置、存储介质及终端 | |
CN111984867A (zh) | 一种网络资源确定方法及装置 | |
CN110971973A (zh) | 一种视频推送方法、装置及电子设备 | |
CN110569447A (zh) | 一种网络资源的推荐方法、装置及存储介质 | |
CN110827078A (zh) | 一种信息推荐方法、装置、设备及存储介质 | |
CN113656575B (zh) | 训练数据的生成方法、装置、电子设备及可读介质 | |
CN115129976A (zh) | 一种资源召回方法、装置、设备及存储介质 | |
CN113297417B (zh) | 视频推送方法、装置、电子设备和存储介质 | |
CN116415063A (zh) | 云服务推荐方法及装置 | |
CN113837807A (zh) | 热度预测方法、装置、电子设备及可读存储介质 | |
CN113641855A (zh) | 一种视频推荐方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |