CN115757932A - 短视频推荐方法及装置、计算机设备及存储介质 - Google Patents

短视频推荐方法及装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115757932A
CN115757932A CN202210709827.4A CN202210709827A CN115757932A CN 115757932 A CN115757932 A CN 115757932A CN 202210709827 A CN202210709827 A CN 202210709827A CN 115757932 A CN115757932 A CN 115757932A
Authority
CN
China
Prior art keywords
feature
matrix
features
network
short video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210709827.4A
Other languages
English (en)
Inventor
王志峰
马胡双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Bubugao Education Software Co ltd
Original Assignee
Dongguan Bubugao Education Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Bubugao Education Software Co ltd filed Critical Dongguan Bubugao Education Software Co ltd
Priority to CN202210709827.4A priority Critical patent/CN115757932A/zh
Publication of CN115757932A publication Critical patent/CN115757932A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种短视频推荐方法及装置、计算机设备及存储介质,其中,短视频推荐方法包括:获取用户特征和短视频的视频特征;将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵,第一特征矩阵中各特征的权重相同;将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵,第二特征矩阵中根据各特征的重要程度赋予不同的权重;基于第一特征矩阵和第二特征矩阵对各短视频进行评分;根据各短视频的评分进行短视频推荐。这一过程中,除了进行高阶特征抽取和特征交叉等操作之外,同时针对不同特征对于整体效果的贡献进行考虑,对重要特征赋予高权重,次要特征赋予低权重,提高捕捉用户喜好变化的准确度,更有针对性的实现短视频推荐。

Description

短视频推荐方法及装置、计算机设备及存储介质
技术领域
本发明涉及计算机技术领域,尤指一种短视频推荐方法及装置、计算机设备及存储介质。
背景技术
近年来,随着互联网的迅猛发展,短视频平台取得了巨大的成功,用户数量和短视频内容均呈现爆发式增长。在此背景之下,如何更让用户快速获取到感兴趣的内容,针对用户进行个性化推荐,在海量的视频资源中挖掘用户可能感兴趣的视频内容,提高用户黏性显得尤为重要。
目前,传统的视频推荐算法一般包括视频筛选阶段和视频打分阶段,其中,视频筛选阶段从海量视频中筛选出用户可能感兴趣的视频集合,视频打分阶段按照用户的喜好对筛选出的视频进行打分排序。然而,大多数的视频推荐算法,并不会单独考虑视频特征自身的重要性,即不会就特征对于视频整体效果的贡献进行考虑,从而影响视频推荐的准确性。
发明内容
本发明的目的是提供一种短视频推荐方法及装置、计算机设备及存储介质,有效解决现有短视频推荐方法准确率不高的技术问题。
本发明提供的技术方案如下:
一方面,本发明提供了一种短视频推荐方法,包括:
获取用户特征和短视频的视频特征;
将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵,所述第一特征矩阵中各特征的权重相同;
将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵,所述第二特征矩阵中根据各特征的重要程度赋予不同的权重;
基于所述第一特征矩阵和第二特征矩阵对各短视频进行评分;
根据各短视频的评分进行短视频推荐。
进一步优选地,所述第一神经网络模型由多个串联连接的特征提取块组成,每个所述特征提取块中包括依次连接的多头神经网络、第一标准化残差网络、特征增强网络及第二标准化残差网络,所述多头神经网络中包括多个自注意力网络;
所述将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵中,于每个所述特征提取模块中的特征提取步骤包括:
将输入特征输入多头神经网络进行线性变换得到第一矩阵,其中,对于第一个特征提取块,输入特征为获取的用户特征和短视频的视频特征,对于其他特征提取块,输入特征为前一个特征提取块的输出;
将所述输入特征和第一矩阵输入第一标准化残差网络进行残差和标准化操作得到第二矩阵;
将所述第二矩阵输入特征增强网络进行非线性变换得到第三矩阵;
将所述第二矩阵和第三矩阵输入第二标准化残差网络进行残差和标准化操作。
进一步优选地,所述第二神经网络模型包括依次连接的特征压缩网络、特征重要性预测网络及特征标定网络;
所述将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵包括:
将获取的特征输入特征压缩网络进行平均池化操作以对输入的特征进行压缩;
将压缩后的特征输入特征重要性预测网络对不同特征的权重进行预测,所述特征重要性预测网络包括连接于所述特征压缩网络之后的两个全连接层;
将预测的不同特征的权重输入特征标定网络,将权重加权至对应的特征,完成对获取的用户特征和视频特征的重标定。
进一步优选地,基于所述第一特征矩阵和第二特征矩阵对各短视频进行评分,进而进行短视频推荐中包括:
将所述第一特征矩阵和第二特征矩阵横向拼接得到拼接特征矩阵;
将所述拼接特征矩阵输入至全连接层进行评分计算,得到针对各短视频的评分。
进一步优选地,根据各短视频的评分进行短视频推荐中包括:
根据评分由大到小对个短视频进行排序,确定短视频的排序队列;
根据所述排序队列进行短视频推荐;或
所述获取用户特征和短视频的视频特征之后,还包括:
对所述用户特征和视频特征进行降维操作。
另一方面,本发明提供了一种短视频推荐装置,包括:
特征获取模块,用于获取用户特征和短视频的视频特征;
第一特征提取模块,用于将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵,所述第一特征矩阵中各特征的权重相同;
第二特征提取模块,用于将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵,所述第二特征矩阵中根据各特征的重要程度赋予不同的权重;
评分模块,用于基于所述第一特征矩阵和第二特征矩阵对各短视频进行评分;
视频推荐模块,用于根据各短视频的评分进行短视频推荐。
进一步优选地,第一特征提取模块中,第一神经网络模型由多个串联连接的特征提取块组成,每个所述特征提取块中包括依次连接的多头神经网络、第一标准化残差网络、特征增强网络及第二标准化残差网络,其中,
所述多头神经网络中包括多个自注意力网络,用于对输入特征进行线性变换得到第一矩阵,其中,对于第一个特征提取块,输入特征为获取的用户特征和短视频的视频特征,对于其他特征提取块,输入特征为前一个特征提取块的输出;
所述第一标准化残差网络用于对所述输入特征和第一矩阵进行残差和标准化操作得到第二矩阵;
所述特征增强网络用于对所述第二矩阵进行非线性变换得到第三矩阵;
所述第二标准化残差网络用于对所述第二矩阵和第三矩阵进行残差和标准化操作。
进一步优选地,所述第二特征提取模块中,第二神经网络模型包括依次连接的特征压缩网络、特征重要性预测网络及特征标定网络;其中,
所述特征压缩网络用于对获取的特征进行平均池化操作以对输入的特征进行压缩;
所述特征重要性预测网络用于对压缩后特征的权重进行预测,所述特征重要性预测网络包括连接于所述特征压缩网络之后的两个全连接层;
所述特征标定网络用于将预测的不同特征的权重加权至对应的特征,完成对获取的用户特征和视频特征的重标定。
进一步优选地,所述评分模块中包括相互连接的特征拼接网络和评分网络,其中,
所述特征拼接网络用于将所述第一特征矩阵和第二特征矩阵横向拼接得到拼接特征矩阵;
所述评分网络用于针对所述拼接特征矩阵进行评分计算,得到针对各短视频的评分。
进一步优选地,所述视频推荐模块中包括相互连接的排序单元和推荐单元,其中,
排序单元用于根据评分由大到小对个短视频进行排序,确定短视频的排序队列;
推荐单元用于根据所述排序队列进行短视频推荐;或
所述短视频推荐装置中还包括降维模块,用于对所述用户特征和视频特征进行降维操作。
另一方面,本发明提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述短视频推荐方法步骤。
另一方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述短视频推荐方法步骤。
本发明提供的短视频推荐方法及装置、计算机设备及存储介质,结合第一神经网络模型和第二神经网络模型对获取的用户特征和视频特征同时进行特征提取,这一过程中,除了进行高阶特征抽取和特征交叉等操作之外,同时针对不同特征对于整体效果的贡献进行考虑,对重要特征赋予高权重,次要特征赋予低权重,尤其能够充分挖掘部分低频特征对于整体效果的贡献,提高捕捉用户喜好变化的准确度,更有针对性的实现短视频推荐,增强用户体验。
附图说明
下面将以明确易懂的方式,结合附图说明优选实施例,对上述特性、技术特征、优点及其实现方式予以进一步说明。
图1为本发明短视频推荐方法一实施例流程示意图;
图2为本发明短视频推荐方法另一实施例流程示意图;
图3为本发明第一神经网络模型结构图;
图4为本发明特征提取块结构示意图;
图5为本发明第二神经网络模型结构图;
图6为本发明短视频推荐装置一实施例流程示意图;
图7为本发明短视频推荐装置另一实施例流程示意图;
图8为本发明计算机设备结构示意图。
附图标号说明:
100-第一神经网络模型,110-特征提取块,111-多头神经网络,112-第一标准化残差网络,113-特征增强网络,114-第二标准化残差网络,200-第二神经网络模型,210-特征压缩网络,220-特征重要性预测网络,230-特征标定网络,300-短视频推荐装置,310-特征获取模块,320-第一特征提取模块,330-第二特征提取模块,340-评分模块,350-视频推荐模块,360-降维模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施例。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施例。
本发明的一实施例,如图1所示,一种短视频推荐方法,包括:
S10获取用户特征和短视频的视频特征;
S20将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵,第一特征矩阵中各特征的权重相同;
S30将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵,第二特征矩阵中根据各特征的重要程度赋予不同的权重;
S40基于第一特征矩阵和第二特征矩阵对各短视频进行评分;
S50根据各短视频的评分进行短视频推荐。
在本实施例中,由于每个用户的兴趣爱好和日常需求不同,是以,终端软件在给用户进行短视频推荐时,为了给每个用户推荐的短视频更具有针对性及更加满足用户的需求和喜好,终端软件根据用户特征和短视频的视频特征进行评分,进而根据该评分进行相应的短视频推荐。终端软件为终端中用于提供短视频的软件,如猿辅导等,用户特征可以是用户年龄、用户性别、年纪观看列表等,短视频的视频特征可以是视频对应的封面图信息、视频老师信息、视频知识点信息等,这里均不做具体限定,可以根据实际应用进行调整。
在实际应用中,获取到的用户特征和短视频的视频特征一般是高维的原始数据,若直接根据该高维的原始数据进行后续的计算,会导致计算复杂且精确度不高,因此,其他实施例中,为了提高计算效率,在获取了用户特征和视频特征之后,进一步包括步骤S60对获取的特征进行降维操作,如图2所示,将高维的原始数据降维成低维的数据,具体地,将应用特征和视频特征输入至嵌入层(embedding层)进行线性投影,得到低维度的用户特征和视频特征。
得到用户特征和视频特征之后,分别将其输入第一神经网络模型和第二神经网络模型进行特征提取,这一过程中采用两种不同的方法进行特征提取,大大提高了后续短视频打分过程中的特征丰富程度,且从不同的方面对特征赋予了不同的权重,挖掘不同特征对于视频推荐的贡献,尤其对于传统推荐方法中可能会忽略的低频特征,本实施例中对其充分挖掘以提升短视频推荐的准确性及用户对于推荐的短视频的满意程度。
以下就第一神经网络模型和第二神经网络模型进行说明,在创建好第一神经网络模型和第二神经网络模型之后,随即基于由大量用户特征和视频特征形成的训练集和验证集对其进行训练,训练完成之后将其应用于实践中进行短视频的推荐。
如图3和图4所示,第一神经网络模型100由多个串联连接的特征提取块110组成(如图示中包括特征提取块1、特征提取块2、…、特征提取块n),每个特征提取块110中包括依次连接的多头神经网络111(包括多个自注意力网络)、第一标准化残差网络112、特征增强网络113及第二标准化残差网络114。
基于此,在步骤S20将获取的特征输入预训练的第一神经网络模型100得到第一特征矩阵中,于每个特征提取模块中的特征提取步骤包括:
S21将输入特征输入多头神经网络111进行线性变换得到第一矩阵,其中,对于第一个特征提取块,输入特征为获取的用户特征和短视频的视频特征,对于其他特征提取块,输入特征为前一个特征提取块的输出。
第j个特征提取模块中多头神经网络(包括多个自注意力网络)变换得到的第一矩阵MultiHead(x)如式(1)~(2):
MultiHead(x)=Concat(headj1,…,headjh)WjO(1)
Figure BDA0003706461110000071
其中,j为特征提取模块的索引;Concat(·)表示连接函数;
Figure BDA0003706461110000072
分别表示第j个多头神经网络(对应第j个特征提取模块中的多头神经网络)中第i个自注意力网络的权重矩阵,可以通过初始化得到;headji表示第j个多头神经网络中第i个自注意力网络的输出,i=1,2,…,h;Qj、Kj、Vj分别表示第j个多头神经网络的Q(Query,查询)矩阵、K(Key,键值)矩阵和V(Value,值)矩阵,本实施例中Qj=Kj=Vj=x,x表示输入特征;WjO表示第j个多头神经网络对应的权重矩阵,可以通过初始化得到。
针对多头神经网络111中的任意一自注意力网络,输出如式(3):
Figure BDA0003706461110000073
其中,Q,K,V分别表示该自注意力网络的Q矩阵、K矩阵和V矩阵;dk表示Q,K矩阵的列数,即向量维度。
S22将输入特征和第一矩阵输入第一标准化残差网络112进行残差和标准化操作得到第二矩阵L1,如式(4):
L1=LayerNorm(x+MultiHead(x))(4)
S23将第二矩阵输入特征增强网络113进行非线性变换得到第三矩阵。
在该增强网络为包括两层的前馈神经网络,且第一层的激活函数是是ReLU,第二层的激活函数是线性激活函数的实例中,得到的第三矩阵FFN(x)如式(5):
FFN(x)=ReLU(xWj1+bj1)Wj2+bj2(5)
其中,Wj1,Wj2分别表示第一层和第二层对应的权重矩阵,bj1,bj2分别表示第一层和第二层对应的偏置项。
S24将第二矩阵和第三矩阵输入第二标准化残差网络114进行残差和标准化操作,输出结果L2如式(6):
L2=LayerNorm(L1+FFN(x))(6)
当该特征提取块不是第一神经网络模型中串联连接的最后一个特征提取块时,其输出结果L2将作为下一个特征提取块的输入;相对应的,当该特征提取块是第一神经网络模型中串联连接的最后一个特征提取块时,其输出结果L2即为第一神经网络模型的输出,即第一特征矩阵。在实际应用中,第一神经网络模型中串联的特征提取块的数量可以根据实际需求进行确定,如设定2个、3个甚至更多。
如图5所示,第二神经网络模型200包括依次连接的特征压缩网络210、特征重要性预测网络220及特征标定网络230。
基于此,步骤S30将获取的特征输入预训练的第二神经网络模型200得到第二特征矩阵包括:
S31将获取的特征输入特征压缩网络210进行平均池化操作以对输入的特征进行压缩,压缩结果Fsq(em)如式(7):
Figure BDA0003706461110000081
其中,Fsq(·)表示压缩函数;输入的特征矩阵为E=[e1,…em,…,en],m=1,2,…,n;K′表示向量em的维度,即em为K′维向量,t表示向量em的第t次循环,t=1,2,…,K′。
特征压缩过程将二维的特征压缩为一实数,即压缩结果Fsq(ei)为一标量,输出的维度与输入特征的数相匹配,表征维度特征的全局信息。
S32将压缩后的特征输入特征重要性预测网络220对不同特征的权重进行预测,特征重要性预测网络220包括连接于特征压缩网络210之后的两个全连接层(包括第一全连接层和第二全连接层),即采用该两个全连接网络学习步骤S31输出的特征的重要性,预测结果A如式(8):
A=Fex(Fsq(em))=σ2(W2σ1(W1Fsq(em)))(8)
其中,Fex(·)表示预测函数;σ1表示第一全连接层的激活函数,σ2表示第二全连接层的激活函数,W1表示第一全连接层的权重矩阵,W2表示第二全连接层的权重矩阵。
S33将预测的不同特征的权重输入特征标定网络230,将权重加权至对应的特征(对原始获取的特征的重要性进行缩放),完成对获取的用户特征和视频特征的重标定,结果Fscale(A,E)如式(8):
Fscale(A,E)=[a1.e1,…,an.en]=[v1,…,vn](9)
其中,E=[e1,e2,…,en]表示特征压缩网络的输入矩阵,A=[a1,a2,…,an]表示预测的权重矩阵,其中,a1对应为特征e1的预测权重矩阵,v1=a1.e1,以此类推。
基于以上方法得到第一特征矩阵和第二特征矩阵之后,随即对各短视频进行评分,包括:
S41将第一特征矩阵和第二特征矩阵横向拼接得到拼接特征矩阵;
S42将拼接特征矩阵输入至全连接层进行评分计算,得到针对各短视频的评分。
拼接特征矩阵由第一特征矩阵和第二特征矩阵横向拼接而成,假定第一特征矩阵为[y1,y2,…,yp],第二特征矩阵为[z1,z2,…,zq],则拼接后得到的拼接特征矩阵为[y1,y2,…,yp,z1,z2,…,zq]或[z1,z2,…,zq,y1,y2,…,yp]。评分网络由若干全连接网络组成做进一步的特征交叉,并将交叉后的特征通过sigmoid激活输出,作为用户对端视频的评分。
得到评分之后,在步骤S50根据各短视频的评分进行短视频推荐中包括:
S51根据评分由大到小对个短视频进行排序,确定短视频的排序队列;
S52根据排序队列进行短视频推荐。
这一过程中,根据短视频的评分由大到小进行排序,确定其排序队列,进而根据排序队列对短视频进行推荐。例如,针对短视频A、短视频B、短视频C和短视频D四个短视频的评分分别为:70、60、80和65,则由大到小将上述短视频列为短视频C、短视频A、短视频D、短视频B的排序队列,根据这样排序队列对短视频进行先后推荐。在实际应用中,若出现评分相同的短视频,可以对其进行随机排序,也可以预先根据用户特征设定推荐规则,如,优先推荐用户年级对应的短视频等。
本发明的另一实施例,一种短视频推荐装置300,如图5所示,包括:特征获取模块310,用于获取用户特征和短视频的视频特征;第一特征提取模块320,用于将获取的特征输入预训练的第一神经网络模型100得到第一特征矩阵,第一特征矩阵中各特征的权重相同;第二特征提取模块330,用于将获取的特征输入预训练的第二神经网络模型200得到第二特征矩阵,第二特征矩阵中根据各特征的重要程度赋予不同的权重;评分模块340,用于基于第一特征矩阵和第二特征矩阵对各短视频进行评分;视频推荐模块350,用于根据各短视频的评分进行短视频推荐。
在本实施例中,由于每个用户的兴趣爱好和日常需求不同,是以,终端软件(该短视频推荐装置应用于终端中)在给用户进行短视频推荐时,为了给每个用户推荐的短视频更具有针对性及更加满足用户的需求和喜好,终端软件根据用户特征和短视频的视频特征进行评分,进而根据该评分进行相应的短视频推荐。终端软件为终端中用于提供短视频的软件,如猿辅导等,用户特征可以是用户年龄、用户性别、用户年级等等,短视频的视频特征可以是视频对应的课本、章节、包含的知识点等。
在实际应用中,获取到的用户特征和短视频的视频特征一般是高维的原始数据,若直接根据该高维的原始数据进行后续的计算,会导致计算复杂且精确度不高,因此,其他实施例中,为了提高计算效率,还在短视频推荐装置300中配置降维模块360,如图6所示,以对用户特征和视频特征进行降维操作,将高维的原始数据降维成低维的数据。实际应用中,该降维模块可以为嵌入层(embedding层),将应用特征和视频特征进行线性投影,得到低维度的用户特征和视频特征。
得到用户特征和视频特征之后,分别将其输入第一神经网络模型100和第二神经网络模型200进行特征提取,这一过程中采用两种不同的方法进行特征提取,大大提高了后续短视频打分过程中的特征丰富程度,且从不同的方面对特征赋予了不同的权重,挖掘不同特征对于视频推荐的贡献,尤其对于传统推荐方法中可能会忽略的低频特征,本实施例中对其充分挖掘以提升短视频推荐的准确性及用户对于推荐的短视频的满意程度。
以下就短视频推荐装置300中的各网络模块进行进一步说明,在创建好该网络模型之后,随即基于由大量用户特征和视频特征形成的训练集和验证集对其进行训练,训练完成之后将其应用于实践中进行短视频的推荐。
如图3和图4所示,第一特征提取模块320中第一神经网络模型100由多个串联连接的特征提取块110组成(如图示中包括特征提取块1、特征提取块2、…、特征提取块n),每个特征提取块110中包括依次连接的多头神经网络111、第一标准化残差网络112、特征增强网络113及第二标准化残差网络114,其中,
多头神经网络111中包括多个自注意力网络,用于对输入特征进行线性变换得到第一矩阵,其中,对于第一个特征提取块,输入特征为获取的用户特征和短视频的视频特征,对于其他特征提取块,输入特征为前一个特征提取块的输出;第j个特征提取模块中多头神经网络(包括多个自注意力网络)变换得到的第一矩阵MultiHead(x)如式(1)~(2)。
第一标准化残差网络112用于对输入特征和第一矩阵进行残差和标准化操作得到第二矩阵L1,如式(4)。
特征增强网络113用于对第二矩阵进行非线性变换得到第三矩阵;在增强网络为包括两层的前馈神经网络,且第一层的激活函数是是ReLU,第二层的激活函数是线性激活函数的实例中,得到的第三矩阵FFN(x)如式(5)。
第二标准化残差网络114用于对第二矩阵和第三矩阵进行残差和标准化操作,输出结果L2如式(6)。
当该特征提取块不是第一神经网络模型中串联连接的最后一个特征提取块时,其输出结果L2将作为下一个特征提取块的输入;相对应的,当该特征提取块是第一神经网络模型中串联连接的最后一个特征提取块时,其输出结果L2即为第一神经网络模型的输出,即第一特征矩阵。在实际应用中,第一神经网络模型中串联的特征提取块的数量可以根据实际需求进行确定,如设定2个、3个甚至更多。
如图5所示,第二特征提取模块330中,第二神经网络模型200包括依次连接的特征压缩网络210、特征重要性预测网络220及特征标定网络230;其中,
特征压缩网络210用于对获取的特征进行平均池化操作以对输入的特征进行压缩,压缩结果Fsq(ei)如式(7)。这一过程将二维的特征压缩为一实数,即压缩结果Fsq(ei)为一标量,输出的维度与输入特征的数相匹配,表征维度特征的全局信息。
特征重要性预测网络220用于对压缩后特征的权重进行预测,包括连接于特征压缩网络210之后的两个全连接层(包括第一全连接层和第二全连接层),预测结果A如式(8)。
特征标定网络230用于将预测的不同特征的权重加权至对应的特征,完成对获取的用户特征和视频特征的重标定,结果Fscale(A,E)如式(8)。
第一特征提取模块320和第二特征提取模块330得到第一特征矩阵和第二特征矩阵之后,随即基于评分模块340中的网络结构对各短视频进行评分。具体,评分模块340中包括相互连接的特征拼接网络和评分网络,其中,特征拼接网络用于将第一特征矩阵和第二特征矩阵横向拼接得到拼接特征矩阵;评分网络用于针对拼接特征矩阵进行评分计算,得到针对各短视频的评分。
拼接特征矩阵由第一特征矩阵和第二特征矩阵横向拼接而成,假定第一特征矩阵为[y1,y2,…,yp],第二特征矩阵为[z1,y2,…,zq],则拼接后得到的拼接特征矩阵为[y1,y2,…,yp,z1,z2,…,zq]或[z1,z2,…,zq,y1,y2,…,yp]。评分网络由若干全连接网络组成做进一步的特征交叉,并将交叉后的特征通过sigmoid激活输出,作为用户对端视频的评分。
得到评分之后,视频推荐模块350基于其结果进行视频推荐,具体,视频推荐模块350包括相互连接的排序单元和推荐单元,其中,排序单元用于根据评分由大到小对个短视频进行排序,确定短视频的排序队列;推荐单元用于根据排序队列进行短视频推荐。
这一过程中,排序单元根据短视频的评分由大到小进行排序,确定其排序队列,进而推荐单元根据排序队列对短视频进行推荐。例如,针对短视频A、短视频B、短视频C和短视频D四个短视频的评分分别为:70、60、80和65,则由大到小将上述短视频列为短视频C、短视频A、短视频D、短视频B的排序队列,根据这样排序队列对短视频进行先后推荐。在实际应用中,若出现评分相同的短视频,可以对其进行随机排序,也可以预先根据用户特征设定推荐规则,如,优先推荐用户年级对应的短视频等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各程序模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序单元或模块,以完成以上描述的全部或者部分功能。实施例中的各程序模块可以集成在一个处理单元中,也可是各个单元单独物理存在,也可以两个或两个以上单元集成在一个处理单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序单元的形式实现。另外,各程序模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
图8是本发明一个实施例中提供的计算机设备的结构示意图,如所示,该计算机设备400包括:处理器420、存储器410以及存储在存储器410中并可在处理器420上运行的计算机程序411,例如:短视频推荐更新程序。处理器420执行计算机程序411时实现上述各个短视频推荐方法实施例中的步骤,或者,处理器420执行计算机程序411时实现上述各短视频推荐装置实施例中各模块的功能。
计算机设备400可包括,但不仅限于处理器420、存储器410。本领域技术人员可以理解,图8仅仅是计算机设备400的示例,并不构成对计算机设备400的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
处理器420可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器420可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器410可以是计算机设备400的内部存储单元,例如:计算机设备400的硬盘或内存。存储器410也可以是计算机设备400的外部存储设备,例如:计算机设备400上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器410还可以既包括计算机设备400的内部存储单元也包括外部存储设备。存储器410用于存储计算机程序411以及计算机设备400所需要的其他程序和数据。存储器410还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述或记载的部分,可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露计算机设备和方法,可以通过其他的方式实现。例如,以上所描述的计算机设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性、机械或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可能集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序411发送指令给相关的硬件完成,计算机程序411可存储于一计算机可读存储介质中,该计算机程序411在被处理器420执行时,可实现上述各个方法实施例的步骤。其中,计算机程序411包括:计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序411代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如:在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施例,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种短视频推荐方法,其特征在于,包括:
获取用户特征和短视频的视频特征;
将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵,所述第一特征矩阵中各特征的权重相同;
将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵,所述第二特征矩阵中根据各特征的重要程度赋予不同的权重;
基于所述第一特征矩阵和第二特征矩阵对各短视频进行评分;
根据各短视频的评分进行短视频推荐。
2.如权利要求1所述的短视频推荐方法,其特征在于,所述第一神经网络模型由多个串联连接的特征提取块组成,每个所述特征提取块中包括依次连接的多头神经网络、第一标准化残差网络、特征增强网络及第二标准化残差网络,所述多头神经网络中包括多个自注意力网络;
所述将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵中,于每个所述特征提取模块中的特征提取步骤包括:
将输入特征输入多头神经网络进行线性变换得到第一矩阵,其中,对于第一个特征提取块,输入特征为获取的用户特征和短视频的视频特征,对于其他特征提取块,输入特征为前一个特征提取块的输出;
将所述输入特征和第一矩阵输入第一标准化残差网络进行残差和标准化操作得到第二矩阵;
将所述第二矩阵输入特征增强网络进行非线性变换得到第三矩阵;
将所述第二矩阵和第三矩阵输入第二标准化残差网络进行残差和标准化操作。
3.如权利要求1所述的短视频推荐方法,其特征在于,所述第二神经网络模型包括依次连接的特征压缩网络、特征重要性预测网络及特征标定网络;
所述将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵包括:
将获取的特征输入特征压缩网络进行平均池化操作以对输入的特征进行压缩;
将压缩后的特征输入特征重要性预测网络对不同特征的权重进行预测,所述特征重要性预测网络包括连接于所述特征压缩网络之后的两个全连接层;
将预测的不同特征的权重输入特征标定网络,将权重加权至对应的特征,完成对获取的用户特征和视频特征的重标定。
4.如权利要求1-3任意一项所述的短视频推荐方法,其特征在于,
基于所述第一特征矩阵和第二特征矩阵对各短视频进行评分,进而进行短视频推荐中包括:
将所述第一特征矩阵和第二特征矩阵横向拼接得到拼接特征矩阵;
将所述拼接特征矩阵输入至全连接层进行评分计算,得到针对各短视频的评分。
5.如权利要求1-3任意一项所述的短视频推荐方法,其特征在于,
根据各短视频的评分进行短视频推荐中包括:
根据评分由大到小对个短视频进行排序,确定短视频的排序队列;
根据所述排序队列进行短视频推荐;或
所述获取用户特征和短视频的视频特征之后,还包括:
对所述用户特征和视频特征进行降维操作。
6.一种短视频推荐装置,其特征在于,包括:
特征获取模块,用于获取用户特征和短视频的视频特征;
第一特征提取模块,用于将获取的特征输入预训练的第一神经网络模型得到第一特征矩阵,所述第一特征矩阵中各特征的权重相同;
第二特征提取模块,用于将获取的特征输入预训练的第二神经网络模型得到第二特征矩阵,所述第二特征矩阵中根据各特征的重要程度赋予不同的权重;
评分模块,用于基于所述第一特征矩阵和第二特征矩阵对各短视频进行评分;
视频推荐模块,用于根据各短视频的评分进行短视频推荐。
7.如权利要求6所述的短视频推荐装置,其特征在于,第一特征提取模块中,第一神经网络模型由多个串联连接的特征提取块组成,每个所述特征提取块中包括依次连接的多头神经网络、第一标准化残差网络、特征增强网络及第二标准化残差网络,其中,
所述多头神经网络中包括多个自注意力网络,用于对输入特征进行线性变换得到第一矩阵,其中,对于第一个特征提取块,输入特征为获取的用户特征和短视频的视频特征,对于其他特征提取块,输入特征为前一个特征提取块的输出;
所述第一标准化残差网络用于对所述输入特征和第一矩阵进行残差和标准化操作得到第二矩阵;
所述特征增强网络用于对所述第二矩阵进行非线性变换得到第三矩阵;
所述第二标准化残差网络用于对所述第二矩阵和第三矩阵进行残差和标准化操作。
8.如权利要求6所述的短视频推荐装置,其特征在于,所述第二特征提取模块中,第二神经网络模型包括依次连接的特征压缩网络、特征重要性预测网络及特征标定网络;其中,
所述特征压缩网络用于对获取的特征进行平均池化操作以对输入的特征进行压缩;
所述特征重要性预测网络用于对压缩后特征的权重进行预测,所述特征重要性预测网络包括连接于所述特征压缩网络之后的两个全连接层;
所述特征标定网络用于将预测的不同特征的权重加权至对应的特征,完成对获取的用户特征和视频特征的重标定。
9.如权利要求6-8任意一项所述的短视频推荐装置,其特征在于,所述评分模块中包括相互连接的特征拼接网络和评分网络,其中,
所述特征拼接网络用于将所述第一特征矩阵和第二特征矩阵横向拼接得到拼接特征矩阵;
所述评分网络用于针对所述拼接特征矩阵进行评分计算,得到针对各短视频的评分。
10.如权利要求6-8任意一项所述的短视频推荐装置,其特征在于,
所述视频推荐模块中包括相互连接的排序单元和推荐单元,其中,
排序单元用于根据评分由大到小对个短视频进行排序,确定短视频的排序队列;
推荐单元用于根据所述排序队列进行短视频推荐;或
所述短视频推荐装置中还包括降维模块,用于对所述用户特征和视频特征进行降维操作。
11.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述短视频推荐方法的步骤。
12.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述短视频推荐方法的步骤。
CN202210709827.4A 2022-06-21 2022-06-21 短视频推荐方法及装置、计算机设备及存储介质 Pending CN115757932A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210709827.4A CN115757932A (zh) 2022-06-21 2022-06-21 短视频推荐方法及装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210709827.4A CN115757932A (zh) 2022-06-21 2022-06-21 短视频推荐方法及装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115757932A true CN115757932A (zh) 2023-03-07

Family

ID=85349972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210709827.4A Pending CN115757932A (zh) 2022-06-21 2022-06-21 短视频推荐方法及装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115757932A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116028727B (zh) * 2023-03-30 2023-08-18 南京邮电大学 一种基于图像数据处理的视频推荐方法

Similar Documents

Publication Publication Date Title
US20180204062A1 (en) Systems and methods for image processing
CN112287069B (zh) 基于语音语义的信息检索方法、装置及计算机设备
CN113127632B (zh) 基于异质图的文本摘要方法及装置、存储介质和终端
CN112016313B (zh) 口语化要素识别方法及装置、警情分析***
CN111667308A (zh) 广告推荐预测***及方法
CN111126481A (zh) 一种神经网络模型的训练方法及装置
CN113516133B (zh) 一种多模态图像分类方法及***
CN113361698A (zh) 神经网络模型的处理方法和装置、数据处理方法和装置
CN113505193A (zh) 一种数据处理方法及相关设备
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN109993109A (zh) 图像文字识别方法
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN115757932A (zh) 短视频推荐方法及装置、计算机设备及存储介质
CN108229505A (zh) 基于fisher多级字典学习的图像分类方法
CN116628263A (zh) 基于多模态的视频检索方法、装置、电子设备及存储介质
CN116244442A (zh) 文本分类方法、装置、存储介质及电子设备
CN116701593A (zh) 基于GraphQL的中文问答模型训练方法及其相关设备
CN116955797A (zh) 资源推荐方法、装置、电子设备及存储介质
CN114743018A (zh) 图像描述生成方法、装置、设备及介质
CN114329181A (zh) 一种题目推荐方法、装置及电子设备
CN114398980A (zh) 跨模态哈希模型的训练方法、编码方法、装置及电子设备
CN115373697A (zh) 数据处理方法和数据处理装置
CN113010687A (zh) 一种习题标签预测方法、装置、存储介质以及计算机设备
CN111611379A (zh) 一种文本信息分类方法、装置、设备及可读存储介质
CN114372205B (zh) 特征量化模型的训练方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination