CN110334245B - 一种基于时序属性的图神经网络的短视频解析方法及装置 - Google Patents

一种基于时序属性的图神经网络的短视频解析方法及装置 Download PDF

Info

Publication number
CN110334245B
CN110334245B CN201910599470.7A CN201910599470A CN110334245B CN 110334245 B CN110334245 B CN 110334245B CN 201910599470 A CN201910599470 A CN 201910599470A CN 110334245 B CN110334245 B CN 110334245B
Authority
CN
China
Prior art keywords
user
interest
short video
neural network
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910599470.7A
Other languages
English (en)
Other versions
CN110334245A (zh
Inventor
刘萌
聂礼强
王英龙
李永祺
尹建华
甘甜
宋雪萌
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Publication of CN110334245A publication Critical patent/CN110334245A/zh
Application granted granted Critical
Publication of CN110334245B publication Critical patent/CN110334245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开公开了一种基于时序属性的图神经网络的短视频解析方法及装置,方法包括:采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;根据不同短视频的预测概率数值的降序进行短视频解析。

Description

一种基于时序属性的图神经网络的短视频解析方法及装置
技术领域
本公开属于短视频解析的技术领域,涉及一种基于时序属性的图神经网络的短视频解析方法及装置。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。
梯度下降法(英语:Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。
然而,发明人在研发过程中发现,现有的深度学习方法在进行短视频解析时,存在以下问题:
第一、没有同时考虑用户兴趣的演变以及多样性。用户兴趣的演变是指用户的兴趣会随着时间发生变更,例如用户刚开始对食物一类的短视频感兴趣,后来却对运动一类的短视频感兴趣;用户兴趣的多样性是指用户在同一时期同时对多种短视频感兴趣,例如既对篮球感兴趣,又对足球感兴趣。
第二、没有针对用户在短视频社区多种行为进行建模,比如用户在短视频社区有点击、点赞、关注等不同行为,而这些行为反映出用户对不同种类的短视频的感兴趣的程度是不同的。
第三、缺乏对用户非兴趣点的建模,具体来说,用户浏览短视频封面却不进行点击表示用户对这类视频不感兴趣。
发明内容
针对现有技术中存在的不足,本公开的一个或多个实施例提供了一种基于时序属性的图神经网络的短视频解析方法及装置,通过用户兴趣点模型、用户增强兴趣模型和用户非兴趣点模型挖掘用户的喜好特征,将用户的喜好特征以及要预测的新的短视频特征输入预测网络中得出预测概率,根据预测概率大小顺序进行短视频解析。
根据本公开的一个或多个实施例的一个方面,提供一种基于时序属性的图神经网络的短视频解析方法。
一种基于时序属性的图神经网络的短视频解析方法,该方法包括:
采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;
采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;
采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;
接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;
根据不同短视频的预测概率数值的降序进行短视频解析。
进一步地,在该方法中,所述获得用户的兴趣表征的具体步骤包括:
采用卷积神经网络对每个用户点击过的短视频的封面进行特征提取,并按照点击时间顺序,得到特征向量序列;
将特征向量序列转化为时序图,采用基于图的循环神经网络建模,得到用户的兴趣表征序列。
进一步地,在该方法中,所述将特征向量序列转化为时序图的具体步骤包括:
将特征向量序列中每个特征向量对应的短视频与序列的前一个特征向量对应的短视频相连;
同时,在先前的所有短视频中寻找与其最相似的短视频连接,得到时序图。
进一步地,在该方法中,所述获得用户的增强兴趣表征的具体步骤包括:
采用卷积神经网络获得用户点赞的短视频和关注了作者的短视频的向量特征;
将用户点赞的短视频和关注了作者的短视频赋予不同的权重,进行求和得到用户增强的兴趣表征。
进一步地,在该方法中,所述获得用户的非兴趣表征的具体步骤包括:
采用卷积神经网络对用户未点击过的短视频的封面进行特征提取,并按照点击时间顺序,得到特征向量序列;
将特征向量序列转化为时序图,采用基于图的循环神经网络建模,得到用户的非兴趣表征序列。
进一步地,在该方法中,接收新的短视频,采用卷积神经网络获得新短视频特征。
进一步地,在该方法中,所述得到短视频的预测概率的具体步骤包括:
将用户的兴趣表征和非兴趣表征放入注意力机制进行增强,获得提升的兴趣表征和非兴趣表征;
将用户提升的兴趣表征、增强的兴趣表征以及提升的非兴趣表征分别和新短视频特征输入多层感知机,得到各自预测概率;
将新短视频特征在用户提升的兴趣表征、增强的兴趣表征以及提升的非兴趣表征方面对应的预测概率加权求和得到最终的预测概率。
根据本公开的一个或多个实施例的一个方面,提供一种计算机可读存储介质。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种基于时序属性的图神经网络的短视频解析方法。
根据本公开的一个或多个实施例的一个方面,提供一种终端设备。
一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种基于时序属性的图神经网络的短视频解析方法。
根据本公开的一个或多个实施例的一个方面,提供一种基于时序属性的图神经网络的短视频解析装置。
一种基于时序属性的图神经网络的短视频解析装置,基于所述的一种基于时序属性的图神经网络的短视频解析方法,包括:
兴趣表征建模模块,被配置为采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;
增强兴趣表征建模模块,被配置为采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;
非兴趣表征建模模块,被配置为采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;
预测概率计算模块,被配置为接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;
短视频解析模块,被配置为根据不同短视频的预测概率数值的降序进行短视频解析。
本公开的有益效果:
本公开提供的一种基于时序属性的图神经网络的短视频解析方法及装置,提出了基于时序属性的图的LSTM建模方法,同时建模用户兴趣的演变以及多样性;并对用户多种层次的兴趣进行了建模,以及对用户的非兴趣点进行了建模,有效提高了短视频解析中的准确度和解析速度。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1是根据一个或多个实施例的一种基于时序属性的图神经网络的短视频解析方法流程图;
图2是根据一个或多个实施例的一种基于时序属性的图神经网络的短视频解析方法具体流程图;
图3是根据一个或多个实施例的用户兴趣点建模流程图;
图4是根据一个或多个实施例的预测网络图。
具体实施方式:
下面将结合本公开的一个或多个实施例中的附图,对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开的一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本实施例使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是,附图中的流程图和框图示出了根据本公开的各种实施例的方法和***的可能实现的体系架构、功能和操作。应当注意,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意,在有些作为备选的实现中,方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,或者它们有时也可以按照相反的顺序执行,这取决于所涉及的功能。同样应当注意的是,流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合,可以使用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合,下面结合附图与实施例对本公开作进一步说明。
专业术语解释:
深度神经网络:深度神经网络是具有多层神经元的人工神经网络,在输入层和输出层之间具有多个隐藏层。每一层神经元之间可以相互传递数据,并且根据网络的函数目标动态调整自身的权重值。
循环神经网络:循环神经网络是利用神经网络结构在时间上进行迭代,允许对于某个序列进行时间上的迭代处理。
卷积神经网络:卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络,卷积神经网络需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。
注意力机制:我们视觉在感知东西的时候,一般不会是一个场景从到头看到尾每次全部都看,而往往是根据需求观察注意特定的一部分。而且当我们发现一个场景经常在某部分出现自己想观察的东西时,我们就会进行学习在将来再出现类似场景时把注意力放到该部分上。这可以说就是注意力机制的本质内容了。
实施例一
根据本公开的一个或多个实施例的一个方面,提供一种基于时序属性的图神经网络的短视频解析方法。
如图1-图2所示,一种基于时序属性的图神经网络的短视频解析方法,该方法包括:
S1:采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;
S2:采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;
S3:采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;
S4:接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;
S5:根据不同短视频的预测概率数值的降序进行短视频解析。
进一步地,在该方法中,所述获得用户的兴趣表征的具体步骤包括:
采用卷积神经网络对每个用户点击过的短视频的封面进行特征提取,并按照点击时间顺序,得到特征向量序列;
将特征向量序列转化为时序图,采用基于图的循环神经网络建模,得到用户的兴趣表征序列。
在本实施例中,假设在短视频社区中,用户点击过的短视频隐含着用户的兴趣点,因此我们将用户点击过的短视频按照时间顺序输入到我们创建的基于图结构的循环神经网络中,获得用户的兴趣表征,如图3所示。具体来讲,采用卷积神经网络对每个短视频的封面进行特征提取,得到一个向量,因此对于用户的短视频点击序列,获得一个向量序列。将这个序列转化成一个时序图,方法为对于每一个短视频,将它与序列的前一个短视频相连,同时在先前的所有短视频中寻找一个与之最相似的短视频并与之相连,从而得到一个时序图。对于这个时序图,采用一个基于图的循环神经网络来建模,得到用户的兴趣表征序列。
进一步地,在该方法中,所述将特征向量序列转化为时序图的具体步骤包括:
将特征向量序列中每个特征向量对应的短视频与序列的前一个特征向量对应的短视频相连;
同时,在先前的所有短视频中寻找与其最相似的短视频连接,得到时序图。
进一步地,在该方法中,所述获得用户的增强兴趣表征的具体步骤包括:
采用卷积神经网络获得用户点赞的短视频和关注了作者的短视频的向量特征;
将用户点赞的短视频和关注了作者的短视频赋予不同的权重,进行求和得到用户增强的兴趣表征。
在本实施例中,首先用卷积神经网络获得短视频的向量特征,然后将点赞以及关注的短视频赋予不同的权重,求和得到一个向量,即为用户增强的兴趣表征。
进一步地,在该方法中,所述获得用户的非兴趣表征的具体步骤包括:
采用卷积神经网络对用户未点击过的短视频的封面进行特征提取,并按照点击时间顺序,得到特征向量序列;
将特征向量序列转化为时序图,采用基于图的循环神经网络建模,得到用户的非兴趣表征序列。
在本实施例中,假设在短视频社区中,用户浏览了短视频封面却未点击的短视频隐含着用户的非兴趣点,因此我们将用户未点击过的短视频按照时间顺序输入到我们创建的基于图结构的循环神经网络中,获得用户的非兴趣表征。
具体方法与用户兴趣建模***一致。
进一步地,在该方法中,接收新的短视频,采用卷积神经网络获得新短视频特征。
进一步地,在该方法中,所述得到短视频的预测概率的具体步骤包括:
将用户的兴趣表征和非兴趣表征放入注意力机制进行增强,获得提升的兴趣表征和非兴趣表征;
将用户提升的兴趣表征、增强的兴趣表征以及提升的非兴趣表征分别和新短视频特征输入多层感知机,得到各自预测概率;
将新短视频特征在用户提升的兴趣表征、增强的兴趣表征以及提升的非兴趣表征方面对应的预测概率加权求和得到最终的预测概率。
在本实施例中,经过以上三个用户喜好特征的抽取,将用户的兴趣表征,增强兴趣表征,以及非兴趣表征和新短视频的表征输入到预测网络,得到预测概率,如图4所示。
首先,采用卷积神经网络获得新短视频的特征,然后对兴趣表征和非兴趣表征进行放入注意力机制进行增强,获得提升的兴趣表征和非兴趣表征。然后将提升的兴趣表征,增强的兴趣表征,以及提升的非兴趣表征分别和新短视频的表征放入多层感知机,得到预测概率,然后将三者加权求和得到最终的预测概率。
本实施例我们在两个数据集上与其他可以用作短视频解析方法在四种指标上进行了对比,取得了最好的效果。在快手数据集(https://www.kesci.com/home/competition/5ad306e633a98340e004f8d1)和micro-video 1.7M(https://github.com/Ocxs/THACIL)数据集上进行了验证,与BPR、LSTM-R,CNN-R,ATRank,NCF,THACIL方法进行了对比,用AUC,precision,recall,F1四个指标进行衡量,取得了最好的结果。实验结果如表1。
表1
Figure GDA0002915258170000111
本公开中提出了基于时序属性的图的LSTM建模方法,同时建模用户兴趣的演变以及多样性;并对用户多种层次的兴趣进行了建模,以及对用户的非兴趣点进行了建模,有效提高了短视频解析中的速度和解析准确度。
实施例二
根据本公开的一个或多个实施例的一个方面,提供一种计算机可读存储介质。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种基于时序属性的图神经网络的短视频解析方法。
实施例三
根据本公开的一个或多个实施例的一个方面,提供一种终端设备。
一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种基于时序属性的图神经网络的短视频解析方法。
这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。
在本实施例中,计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开内容的各个方面。
实施例四
根据本公开的一个或多个实施例的一个方面,提供一种基于时序属性的图神经网络的短视频解析装置。
根据用户的交互历史进行短视频解析的难点在于,如何通过用户的交互历史发掘用户隐含的喜好特征,在本实施例中通过三个模块来发掘用户的喜好特征。用来发掘用户喜好特征的三个模块分别是兴趣表征建模模块,增强兴趣表征建模模块以及非兴趣表征建模模块。通过预测概率计算模块将用户的喜好特征以及要预测的新的短视频特征输入到预测网络中得出预测概率。
一种基于时序属性的图神经网络的短视频解析装置,基于所述的一种基于时序属性的图神经网络的短视频解析方法,包括:
兴趣表征建模模块,被配置为采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;
增强兴趣表征建模模块,被配置为采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;
非兴趣表征建模模块,被配置为采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;
预测概率计算模块,被配置为接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;
短视频解析模块,被配置为根据不同短视频的预测概率数值的降序进行短视频解析。
应当注意,尽管在上文的详细描述中提及了设备的若干模块或子模块,但是这种划分仅仅是示例性而非强制性的。实际上,根据本公开的实施例,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。因此,本公开将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于时序属性的图神经网络的短视频推荐方法,其特征在于,该方法包括:
采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;
采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;
采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;
接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;
根据不同短视频的预测概率数值的降序进行短视频推荐。
2.如权利要求1所述的一种基于时序属性的图神经网络的短视频推荐方法,其特征在于,在该方法中,所述获得用户的兴趣表征的具体步骤包括:
采用卷积神经网络对每个用户点击过的短视频的封面进行特征提取,并按照点击时间顺序,得到特征向量序列;
将特征向量序列转化为时序图,采用基于图的循环神经网络建模,得到用户的兴趣表征序列。
3.如权利要求2所述的一种基于时序属性的图神经网络的短视频推荐方法,其特征在于,在该方法中,所述将特征向量序列转化为时序图的具体步骤包括:
将特征向量序列中每个特征向量对应的短视频与序列的前一个特征向量对应的短视频相连;
同时,在先前的所有短视频中寻找与其最相似的短视频连接,得到时序图。
4.如权利要求1所述的一种基于时序属性的图神经网络的短视频推荐方法,其特征在于,在该方法中,所述获得用户的增强兴趣表征的具体步骤包括:
采用卷积神经网络获得用户点赞的短视频和关注了作者的短视频的向量特征;
将用户点赞的短视频和关注了作者的短视频赋予不同的权重,进行求和得到用户增强的兴趣表征。
5.如权利要求1所述的一种基于时序属性的图神经网络的短视频推荐方法,其特征在于,在该方法中,所述获得用户的非兴趣表征的具体步骤包括:
采用卷积神经网络对用户未点击过的短视频的封面进行特征提取,并按照点击时间顺序,得到特征向量序列;
将特征向量序列转化为时序图,采用基于图的循环神经网络建模,得到用户的非兴趣表征序列。
6.如权利要求1所述的一种基于时序属性的图神经网络的短视频推荐方法,其特征在于,在该方法中,接收新的短视频,采用卷积神经网络获得新短视频特征。
7.如权利要求1所述的一种基于时序属性的图神经网络的短视频推荐方法,其特征在于,在该方法中,所述得到短视频的预测概率的具体步骤包括:
将用户的兴趣表征和非兴趣表征放入注意力机制进行增强,获得提升的兴趣表征和非兴趣表征;
将用户提升的兴趣表征、增强的兴趣表征以及提升的非兴趣表征分别和新短视频特征输入多层感知机,得到各自预测概率;
将新短视频特征在用户提升的兴趣表征、增强的兴趣表征以及提升的非兴趣表征方面对应的预测概率加权求和得到最终的预测概率。
8.一种计算机可读存储介质,其中存储有多条指令,其特征在于,所述指令适于由终端设备的处理器加载并执行如权利要求1-7任一项所述的一种基于时序属性的图神经网络的短视频推荐方法。
9.一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行如权利要求1-7任一项所述的一种基于时序属性的图神经网络的短视频推荐方法。
10.一种基于时序属性的图神经网络的短视频推荐装置,其特征在于,基于如权利要求1-7任一项所述的一种基于时序属性的图神经网络的短视频推荐方法,包括:
兴趣表征建模模块,被配置为采用基于图结构的循环神经网络将用户点击过的短视频按照时间顺序进行建模,获得用户的兴趣表征;
增强兴趣表征建模模块,被配置为采用多层感知机将用户点赞的短视频和关注了作者的短视频进行建模,获得用户的增强兴趣表征;
非兴趣表征建模模块,被配置为采用基于图结构的循环神经网络将用户未点击过的短视频按照时间顺序进行建模,获得用户的非兴趣表征;
预测概率计算模块,被配置为接收新的短视频,获得新短视频特征,将其与用户的兴趣表征、增强兴趣表征和非兴趣表征输入预测网络,得到短视频的预测概率;
短视频推荐模块,被配置为根据不同短视频的预测概率数值的降序进行短视频推荐。
CN201910599470.7A 2019-05-20 2019-07-04 一种基于时序属性的图神经网络的短视频解析方法及装置 Active CN110334245B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019104184026 2019-05-20
CN201910418402 2019-05-20

Publications (2)

Publication Number Publication Date
CN110334245A CN110334245A (zh) 2019-10-15
CN110334245B true CN110334245B (zh) 2023-04-07

Family

ID=68144185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599470.7A Active CN110334245B (zh) 2019-05-20 2019-07-04 一种基于时序属性的图神经网络的短视频解析方法及装置

Country Status (1)

Country Link
CN (1) CN110334245B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751269B (zh) * 2019-10-18 2022-08-05 网易(杭州)网络有限公司 图神经网络训练方法、客户端设备及***
CN111047410B (zh) * 2019-12-16 2024-02-20 腾讯科技(深圳)有限公司 推荐方法、装置、终端设备以及存储介质
CN111209475B (zh) * 2019-12-27 2022-03-15 武汉大学 一种基于时空序列和社会嵌入排名的兴趣点推荐方法及装置
CN111259243B (zh) * 2020-01-14 2023-06-06 中山大学 基于会话的并行推荐方法及***
CN111294620A (zh) * 2020-01-22 2020-06-16 北京达佳互联信息技术有限公司 视频的推荐方法及装置
CN111382309B (zh) * 2020-03-10 2023-04-18 深圳大学 一种基于图模型的短视频推荐方法、和智能终端和存储介质
CN111708876B (zh) * 2020-06-16 2023-07-18 北京百度网讯科技有限公司 生成信息的方法和装置
CN111784455B (zh) * 2020-06-30 2023-11-07 腾讯科技(深圳)有限公司 一种物品推荐方法及推荐设备
CN112084427A (zh) * 2020-09-15 2020-12-15 辽宁工程技术大学 一种基于图神经网络的兴趣点推荐方法
CN112307257B (zh) * 2020-11-25 2021-06-15 中国计量大学 一种基于多信息节点图网络的短视频点击率预测方法
CN112395505B (zh) * 2020-12-01 2021-11-09 中国计量大学 一种基于协同注意力机制的短视频点击率预测方法
CN112616072B (zh) * 2020-12-08 2021-10-26 中国计量大学 一种基于用户正负反馈信息的短视频点击率预测方法
CN113326425B (zh) * 2021-04-20 2022-09-20 中国电子科技集团公司第五十四研究所 一种基于结构和语义注意力堆叠的会话推荐方法及***
CN114222186A (zh) * 2022-01-28 2022-03-22 普春玲 基于大数据深度挖掘的信息推送***及方法
CN115098789B (zh) * 2022-08-05 2024-04-16 湖南工商大学 基于神经网络的多维兴趣融合推荐方法、装置及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104620A (zh) * 2018-07-26 2018-12-28 腾讯科技(深圳)有限公司 一种短视频推荐方法、装置和可读介质
CN109684510A (zh) * 2018-10-31 2019-04-26 北京达佳互联信息技术有限公司 视频排序方法、装置、电子设备及存储介质
CN109710805A (zh) * 2018-12-13 2019-05-03 百度在线网络技术(北京)有限公司 基于兴趣簇的视频交互方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109104620A (zh) * 2018-07-26 2018-12-28 腾讯科技(深圳)有限公司 一种短视频推荐方法、装置和可读介质
CN109684510A (zh) * 2018-10-31 2019-04-26 北京达佳互联信息技术有限公司 视频排序方法、装置、电子设备及存储介质
CN109710805A (zh) * 2018-12-13 2019-05-03 百度在线网络技术(北京)有限公司 基于兴趣簇的视频交互方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Unified Personalized Video Recommendation via Dynamic Recurrent Neural Networks;Junyu Gao 等;《Proceedings of the 25th ACM International Conference on Multimedia》;20171019;第127-135页 *
社交媒体中的个性化推荐关键技术研究;李舒辰;《中国博士学位论文全文数据库信息科技辑》;20180915;正文第2-5章 *

Also Published As

Publication number Publication date
CN110334245A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110334245B (zh) 一种基于时序属性的图神经网络的短视频解析方法及装置
CN111582453B (zh) 生成神经网络模型的方法和装置
US10242289B2 (en) Method for analysing media content
CN110288049B (zh) 用于生成图像识别模型的方法和装置
CN111612134B (zh) 神经网络结构搜索方法、装置、电子设备及存储介质
CN110309874B (zh) 负样本筛选模型训练方法、数据筛选方法和数据匹配方法
CN110795569B (zh) 知识图谱的向量表示生成方法、装置及设备
Piergiovanni et al. Tiny video networks
CN111819580A (zh) 用于密集图像预测任务的神经架构搜索
WO2018044633A1 (en) End-to-end learning of dialogue agents for information access
EP3340129A1 (en) Artificial neural network class-based pruning
CN111708876B (zh) 生成信息的方法和装置
CN111582479B (zh) 神经网络模型的蒸馏方法和装置
WO2019210737A1 (zh) 对象预测方法及装置、电子设备和存储介质
CN110188210B (zh) 一种基于图正则化与模态独立的跨模态数据检索方法及***
CN110162657B (zh) 一种基于高层语义特征和颜色特征的图像检索方法及***
CN111368973B (zh) 用于训练超网络的方法和装置
CN110019849B (zh) 一种基于注意力机制的视频关注时刻检索方法及装置
CN111340220A (zh) 用于训练预测模型的方法和装置
CN117350360A (zh) 大模型的微调方法、装置、电子设备和存储介质
US11281867B2 (en) Performing multi-objective tasks via primal networks trained with dual networks
CN112116700B (zh) 基于单目视图的三维重建方法与装置
CN112580723B (zh) 多模型融合方法、装置、电子设备和存储介质
US10013644B2 (en) Statistical max pooling with deep learning
CN115759183A (zh) 一种多结构文本图神经网络的相关方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Meng

Inventor after: Nie Liqiang

Inventor after: Wang Yinglong

Inventor after: Li Yongqi

Inventor after: Yin Jianhua

Inventor after: Gan Tian

Inventor after: Song Xuemeng

Inventor after: Liu Wei

Inventor before: Liu Meng

Inventor before: Nie Liqiang

Inventor before: Li Yongqi

Inventor before: Yin Jianhua

Inventor before: Gan Tian

Inventor before: Song Xuemeng

Inventor before: Liu Wei

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant