CN114357244A - 视频处理方法、装置和计算机设备 - Google Patents

视频处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN114357244A
CN114357244A CN202210024175.0A CN202210024175A CN114357244A CN 114357244 A CN114357244 A CN 114357244A CN 202210024175 A CN202210024175 A CN 202210024175A CN 114357244 A CN114357244 A CN 114357244A
Authority
CN
China
Prior art keywords
data
video
processed
segment
tail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210024175.0A
Other languages
English (en)
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210024175.0A priority Critical patent/CN114357244A/zh
Publication of CN114357244A publication Critical patent/CN114357244A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

本申请涉及一种视频处理方法、装置和计算机设备。所述方法包括:获取多个待处理数据;将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对,首尾数据片段包括首片段和尾片段中的至少一个,首片段和尾片段分别包括一个或多个数据帧,每个数据对包括第一数据和第二数据,且第一数据的尾片段与第二数据的首片段匹配;将数据对的第一数据与第二数据关联。采用本申请实施例的方法,能够提升确定待处理数据之间关联关系的效率,提高关联结果的准确性,在将第一数据以及关联的第二数据依次分发给用户终端时,能够提高数据分发效率。

Description

视频处理方法、装置和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术
随着内容生产的门槛降低,视频数据内容以指数级速度增长。为了提高视频的播放转化效率,在用户启用并播放当前视频时,会继续向用户推送或播放与当前视频相关联或是紧接内容的下一个视频。
目前,多个视频之间的关联通常是在视频数据中保留元信息,然而,在视频的传播过程中,元信息容易丢失,导致无法快速确定与当前视频关联的下一个视频,造成这种关联方式的关联效率不高,还会影响视频播放效率。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高数据关联效率,进一步还能够提高视频播放效率的视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一种视频处理方法,所述方法包括:
获取多个待处理数据;
将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对,所述首尾数据片段包括首片段和尾片段中的至少一个,所述首片段和所述尾片段分别包括一个或多个数据帧,每个所述数据对包括第一数据和第二数据,且所述第一数据的尾片段与所述第二数据的首片段匹配;
将所述数据对的所述第一数据与所述第二数据关联。
一种视频处理方法,所述方法包括:
在视频播放界面播放第一视频;
响应于触发操作,在所述视频播放界面播放第二视频,所述第二视频的首片段与所述第一视频的尾片段匹配,或者,所述第二视频的尾片段与所述第一视频的首片段匹配,所述首片段和所述尾片段分别包括一个或多个视频帧,所述触发操作为作用于所述视频播放界面的用于切换视频的操作。
一种视频处理装置,所述装置包括:
获取模块,用于获取多个待处理数据;
匹配模块,用于将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对,所述首尾数据片段包括首片段和尾片段中的至少一个,所述首片段和所述尾片段分别包括一个或多个数据帧,每个所述数据对包括第一数据和第二数据,且所述第一数据的尾片段与所述第二数据的首片段匹配;
关联模块,用于将所述数据对的所述第一数据与所述第二数据关联。
一种视频处理装置,所述装置包括:
第一播放模块,用于在视频播放界面播放第一视频;
第二播放模块,用于响应于触发操作,在所述视频播放界面播放第二视频,所述第二视频的首片段与所述第一视频的尾片段匹配,或者,所述第二视频的尾片段与所述第一视频的首片段匹配,所述首片段和所述尾片段分别包括一个或多个视频帧,所述触发操作为作用于所述视频播放界面的用于切换视频的操作。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的视频处理方法的步骤。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的视频处理方法的步骤。
一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述的视频处理方法的步骤。
上述视频处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过获取多个待处理数据;将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对,首尾数据片段包括首片段和尾片段中的至少一个,首片段和尾片段分别包括一个或多个数据帧,每个数据对包括第一数据和第二数据,且第一数据的尾片段与第二数据的首片段匹配;将数据对的第一数据与第二数据关联。采用上述实施例的方案,通过将多个待处理数据的首尾数据片段进行匹配,充分利用了待处理数据的首尾数据片段的特征,能够提升确定待处理数据之间关联关系的效率,提高关联结果的准确性,在后续将第一数据以及关联的第二数据依次分发给用户终端时,可以提升数据内容的连贯性,实现快速推荐,提高数据分发效率,还可以提高数据播放转化效率和用户体验。
附图说明
图1为一个实施例中视频处理方法的应用环境图;
图2为一个实施例中视频处理方法的流程示意图;
图3为一个实施例中对首尾数据片段进行校验的示意图;
图4为另一个实施例中视频处理方法的流程示意图;
图5为一个具体实施例中视频处理方法的***示意图;
图6为一个具体实施例中视频处理方法的流程示意图;
图7为一个实施例中视频处理装置的结构框图;
图8为另一个实施例中视频处理装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在其中一个实施例中,本申请提供的视频处理方法,可以应用于如图1所示的应用环境中,应用环境涉及到用户终端102和服务器104。用户终端102通过网络与服务器104通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上,也可以放在云上或其他网络服务器上。
其中,服务器104可以用于确定视频的关联关系,并向用户终端102推送相关联的视频。具体地,服务器104获取多个待处理数据;将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对,首尾数据片段包括首片段和尾片段中的至少一个,首片段和尾片段分别包括一个或多个数据帧,每个数据对包括第一数据和第二数据,且第一数据的尾片段与第二数据的首片段匹配;将数据对的第一数据与第二数据关联。
其中,用户可以通过用户终端102浏览和刷新视频。具体地,若用户开启视频播放界面,用户终端102在视频播放界面播放第一视频;响应于触发操作,在视频播放界面播放第二视频,第二视频的首片段与第一视频的尾片段匹配,或者,第二视频的尾片段与第一视频的首片段匹配,首片段和尾片段分别包括一个或多个视频帧,触发操作为作用于视频播放界面的用于切换视频的操作。
在其中一个实施例中,本申请提供的视频处理方法,在用户终端102的数据处理能力能够满足数据处理要求时,应用环境可以只涉及用户终端102。
其中,用户终端102获取多个待处理数据;将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对,首尾数据片段包括首片段和尾片段中的至少一个,首片段和尾片段分别包括一个或多个数据帧,每个数据对包括第一数据和第二数据,且第一数据的尾片段与第二数据的首片段匹配;将数据对的第一数据与第二数据关联。
其中,若用户开启用户终端102的视频播放界面,用户终端102在视频播放界面播放第一视频;响应于触发操作,在视频播放界面播放第二视频,第二视频的首片段与第一视频的尾片段匹配,或者,第二视频的尾片段与第一视频的首片段匹配,首片段和尾片段分别包括一个或多个视频帧,触发操作为作用于视频播放界面的用于切换视频的操作。
其中,用户终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在互联网快速发展的时代,随着内容生产的门槛降低,视频和图文内容的上传量发布量以指数级的速度增长。内容来源于各种内容创作机构,例如自媒体和内容生产终端。内容的上传量大幅增长,为了保证分发内容的安全性、时效性和内容本身版权来源方的利益,需要在很短时间内完成内容的审核,比如内容是否存在黄赌毒、是否涉及敏感等,并进行内容质量和安全性的识别处理,传统技术中,主要是通过大量的人力,同时辅助以机器学习算法完成。
以短视频内容为例,短视频内容从开始上传、到上传成功、再到成功进入用户终端的过程为:通过用户终端的拍摄工具拍摄视频,拍摄工具可以是手Q、微视、微信等各种第三方应用程序,并通过用户终端的视频平台上传,视频平台可以是微信、公众号等平台。在视频上传的过程中,视频会经过重转码,将视频文件进行规范化处理,并保存视频的元信息,以提升视频在各个平台播放的兼容性。而后,视频会进行人工审核,在人工审核的同时,机器学***台的内容库。后续可以直接将视频内容分发到外网或者推荐引擎,并基于用户的画像特征,通过推荐算法例如协同推荐、矩阵分解、深度学习模型算法等向用户推荐视频。
其中,视频的形态主要包括短视频和小视频,通常是用户上传或拍摄一段长视频,通过剪辑和拆条,分为很多不同时长片段的短视频,为了保证视频内容情节完整性,这些短视频的首尾片段通常会存在重叠部分,以便用户在看完有些视频后,能够快速推荐关联或者紧接着内容下一段的短视频内容。
传统技术中,实现视频关联的一种方式是在原始视频剪辑时人工保留标记在原始片源的定位结构化信息,这种方式存在的问题有:其一,人工成本很高,其二,短视频的传播过程中,元信息很容易丢失,而且视频经过二次剪辑后,已有的元信息会失效。另一种方式是通过视频内容的标题进行匹配,然而很多小视频或者短视频没有标题或标题不规范,使得关联的效果和准确度都不高。还有一种方式是利用原始视频库,对裁剪后的短视频片段进行匹配定位,但是这种方式非常依赖视频IP数据库,如果数据库内容不全,会导致此方式的覆盖率有限,而且视频IP数据库很大,会占用很多额外的存储,同时收集和爬取大量有版权的内容,成本很高,而且很多历史版本内容难以收集。因此,若能够对上传的视频内容在不依赖视频IP库的情况下,建立视频片段内容之间的关联关系,实现视频内容结构化组织。后续即可以根据关联关系进行内容分发,持续推出连续内容片段,有效提升视频推荐效率,提升用户消费时长和留存率。
针对上述问题,在其中一个实施例中,如图2所示,提供了一种视频处理方法,以该方法应用于图1中的服务器104为例进行说明,包括:
步骤S202,获取多个待处理数据。
其中,获取多个待处理数据,待处理数据包括但不限于是以Feeds流形式提供的视频数据。具体地,Feeds是指消息来源,也可以称为源料、馈送、资讯提供、供稿、摘要、源、新闻订阅、网源等,Feeds是一种资料格式,通常以时间轴(Timeline)的方式排列,通过Feeds可以将最新视频传播给用户。
步骤S204,将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对,首尾数据片段包括首片段和尾片段中的至少一个,首片段和尾片段分别包括一个或多个数据帧,每个数据对包括第一数据和第二数据,且第一数据的尾片段与第二数据的首片段匹配。
在其中一个实施例中,为了提高视频播放转化效率,需要将多个视频之间相互关联。以两条视频为例,视频之间的关联一般是将其中一条视频的首端或尾端,与另外一条视频的尾端或首端相关联,如此,当用户终端的一个视频播放完成,或用户刷新视频时,能够快速推荐相关联的下一条视频。其中,在获取多个待处理数据之后,在多个待处理数据中确定关联的待处理数据,以便向用户终端推送。
具体地,将多个待处理数据进行匹配,确定匹配的数据对。将相互关联的两个待处理数据称为匹配的数据对,每个数据对包括第一数据和第二数据。
其中,第一数据可以是指当前时刻推送给用户终端,并显示在用户终端上的数据,第二数据可以是在第一数据播放完成,或用户刷新视频时,推送给用户终端,并显示在用户终端上的数据。
其中,为了提高多个待处理数据进行匹配的效率,在确定待处理数据之间的关联关系时,可以确定多个待处理数据的首尾数据片段,在将多个待处理数据进行匹配时,仅将多个待处理数据的首尾数据片段进行匹配。
其中,首尾数据片段包括首片段和尾片段中的至少一个,可以是仅包括首片段,可以是仅包括尾片段,还可以是包括首片段和尾片段。具体地,将多个待处理数据的首尾数据片段进行匹配,包括以下至少一种:将一个待处理数据的首片段与其他待处理数据的首片段进行匹配;将一个待处理数据的首片段与其他待处理数据的尾片段进行匹配;将一个待处理数据的尾片段与其他待处理数据的首片段进行匹配;将一个待处理数据的尾片段与其他待处理数据的尾片段进行匹配;将一个待处理数据的首片段和尾片段与其他待处理数据的首片段和尾片段进行匹配。
其中,待处理数据的首尾数据片段可以是待处理数据的首尾的预设长度的数据帧。具体地,预设长度可以是预设数量,具体根据实际技术需要进行设置,一个实施例中设置为1-5个,即首片段和尾片段分别包括一个或多个数据帧。预设长度还可以是预设时间长度,具体根据实际技术需要进行设置,一个实施例中可以设置为3-5秒。
具体地,若预设长度为预设时间长度,则待处理数据的首尾数据片段包括多个数据帧。以常见的视频帧率25fps为例,仅1秒的时长就包含了25个视频帧,因此,为了提高匹配效率,在获取多个待处理数据之后,在将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对之前,还可以包括:分别确定多个待处理数据的首尾数据片段;按照预设抽帧规则对多个待处理数据的首尾数据片段进行抽帧处理,获得抽帧处理后的首尾数据片段。
其中,预设抽帧规则可以根据待处理数据的镜头确定。具体地,待处理数据是由镜头构成,镜头中的任意两个画面都存在极高的相似性和局部过渡变化,因此根据待处理数据的镜头,即可对待处理数据的首尾数据片段进行定位,并进行后续的抽帧处理,获得抽帧处理后的首尾数据片段。
其中,预设抽帧规则还可以是预设抽帧频率。具体地,预设抽帧频率是指通过间隔一定时长或一定帧数抽取获得若干帧的方式,具体根据实际技术需要进行设置,一个实施例中设定为每间隔1秒抽取1个数据帧,获得抽帧处理后的首尾数据片段,即获得的抽帧处理后的首尾数据片段包括一个或多个数据帧。
具体地,若预设长度为预设数量,可以根据预设数量换算确定抽帧处理的时间间隔,再进行抽帧处理。
在其中一个实施例中,在获得抽帧处理后的首尾数据片段之后,还包括:记录抽帧处理后的首尾数据片段中的数据帧对应的数据帧标识。
其中,数据帧标识用于唯一标识首尾数据片段的数据帧,包括但不限于是时间戳。在后续处理中可以根据数据帧对应的数据帧标识,对数据帧进行定位或检索,提高数据帧的定位和检索精度。
在其中一个实施例中,在获得抽帧处理后的首尾数据片段之后,在将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对之前,还包括:构建获得的首尾数据片段对应的数据帧特征向量。以便后续通过数据帧特征向量对多个待处理数据的首尾数据片段进行匹配。
需要说明的是,若对待处理数据的首尾数据片段的所有数据帧进行向量化处理,会造成较大的内存占用。因此,仅针对获得的抽帧处理后的首尾数据片段进行向量化处理,能够减少内存占用,还可以提高向量化处理的速度。
具体地,采用预先训练的向量构建模型,构建获得的首尾数据片段对应的数据帧特征向量。其中,向量构建模型可以根据实际技术需要,在卷积网络模型(VGG16模型)、深度网络模型(Inception系列模型)、残差网络模型(ResNet模型)等经典模型中选择和确定,一个实施例中可以选取Inception-ResNet-V2模型。其中,ResNet的模型结构既可以加速模型的训练速度,还可以提升模型性能,Inception模块可以在同一卷积层上获得稀疏或非稀疏的特征,因此,将两者相结合,能够有效提高模型精度,提高构建的数据帧特征向量的准确性。
在其中一个实施例中,由于首尾数据片段的数据帧包括一个或多个,因此,构建获得的首尾数据片段对应的数据帧特征向量,其中,数据帧特征向量包括各数据帧分别对应的特征向量,或者,数据帧特征向量为对各数据帧分别对应的特征向量进行拼接后获得的特征向量。
其中,由于数据帧通常以时间轴的方式排列,因此,在对一个以上的特征向量进行拼接时,可以根据数据帧对应的时间戳确定时间序列,并按照时间序列进行拼接,获得数据帧特征向量。
在其中一个实施例中,为了进一步减少存储特征向量所需的存储空间,在构建获得的首尾数据片段对应的数据帧特征向量之后,还包括:对数据帧特征向量进行降维处理,获得降维处理后的数据帧特征向量。
其中,可以根据实际技术需要,采用任意一种可实现的方式对数据帧特征向量进行降维处理。一个实施例中若数据帧特征向量为浮点数向量,可以将浮点数向量转化为二进制向量,以实现降维处理。需要说明的是,数据帧特征向量的类型和维度可以根据实际技术需要进行设置,一个实施例中数据帧特征向量的类型可以为特征嵌入(embedding)向量。
在其中一个实施例中,在构建获得的首尾数据片段对应的数据帧特征向量之后,还包括:将获取的多个待处理数据的首尾数据片段的数据帧、数据帧对应的数据帧特征向量、以及数据帧对应的数据帧标识存储在预设数据库中,以便后续进行调用。
其中,预设数据库为预先构建的数据库,数据库存储多个待处理数据的首尾数据片段对应的数据帧特征向量。预设数据库的类型可以根据实际技术需要进行设置,一个实施例中预设数据库为远程字典服务(Redis)数据库。其中,Redis是一个开源、支持网络、可基于内存亦可持久化的日志型、使用键值(Key-Value)存储数据库,并提供多种语言的应用程序接口,其支持存储的数值类型包括字符串、链表、集合、有序集合和哈希类型等。
在其中一个实施例中,将多个待处理数据的首尾数据片段进行匹配时,可以是根据预设数据库中存储的数据帧特征向量进行匹配,还可以是通过调用向量检索服务,将一个待处理数据的数据帧特征向量与其他待处理数据的数据帧特征向量进行匹配。
其中,向量检索服务可以是预设数据库中的服务,具体地,访问预设检索库的应用程序接口,调用预设检索库的向量检索服务,将一个待处理数据的数据帧特征向量与其他待处理数据的数据帧特征向量进行匹配。其中,预设检索库可以根据实际技术需要确定,包括但不限于是Faiss库。
其中,Faiss库是一种开源的针对聚类和相似性的搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库,其包含多种搜索任意大小向量集的算法,以及用于算法评估和参数调整的支持。
具体地,访问Faiss库的应用程序接口,调用Faiss库的向量检索服务,通过数据帧特征向量对应的数据帧标识,从Redis数据库中拉取对应的数据帧特征向量,将拉取的数据帧特征向量存入Faiss库中,通过Faiss库对输入的数据帧特征向量进行检索,确定与其匹配的数据帧特征向量。在通过Faiss库进行数据帧特征向量的检索时,无需爬取视频IP数据库,也无需要额外保存大量的原始视频的特征向量,从而减少占用的空间成本。
在其中一个实施例中,将首尾数据片段对应的数据帧特征向量进行匹配,若某一数据帧特征向量与进行匹配的数据帧特征向量一致,即确定存在匹配的数据帧特征向量。若存在匹配的数据帧特征向量,且匹配的数据帧特征向量只有一个,则匹配的数据帧特征向量对应的第二待处理数据为与数据帧特征向量对应的第一待处理数据关联的数据,无需对第二待处理数据进行校验。
其中,若存在匹配的数据帧特征向量,且匹配的数据帧特征向量包括多个,即第二待处理数据包括多个,此时,还需要对匹配的数据帧特征向量对应的第二待处理数据进行校验,以在多个第二待处理数据中确定与第一待处理数据关联的数据,提高数据对中的数据关联结果的准确性。
具体地,将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对,包括:将首尾数据片段对应的数据帧特征向量进行匹配;若存在匹配的数据帧特征向量,获取匹配的数据帧特征向量对应的第一待处理数据和第二待处理数据;对第一待处理数据与第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据;将校验通过的第一待处理数据和第二待处理数据,确定为匹配的数据对。
在其中一个实施例中,获取匹配的数据帧特征向量对应的第一待处理数据和第二待处理数据,即召回匹配的数据帧特征向量对应的待处理数据。具体地,通过调用向量检索服务,获取匹配的数据帧特征向量对应的第一待处理数据和第二待处理数据。
其中,向量检索服务可以是预设数据库中的服务。具体地,访问预设检索库的应用程序接口,调用预设检索库的向量检索服务,召回匹配的数据帧特征向量对应的第一待处理数据与第二待处理数据。其中,预设检索库可以根据实际技术需要确定,包括但不限于是Faiss库。
在其中一个实施例中,对第一待处理数据与第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据,可以是根据第一待处理数据的尾片段与第二待处理数据的首片段的数据帧中的重合数据帧的数目确定,两者之间的重合数据帧的数目越多,两者之间的关联越紧密,即来源于同一原始视频的可能性越大,在向用户终端推送时能够确保视频内容之间的连贯性。
需要说明的是,此处的首尾数据片段的数据帧,是指首尾数据片段的预设长度内所有数据帧,并非抽帧处理后得到的一个或多个数据帧。以常见的视频帧率25fps为例,1秒的时长包含25个视频帧,若首尾数据片段的预设长度为1秒,预设长度内的所有数据帧即为25个数据帧。
具体地,对第一待处理数据与第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据,包括:确定第二待处理数据的首片段的数据帧中,与第一待处理数据的尾片段的数据帧匹配的数据帧数目;若匹配的数据帧数目大于预设数目,将匹配的数据帧数目大于预设数目的第一待处理数据与第二待处理数据,确定为校验通过的第一待处理数据和第二待处理数据。
其中,预设数目可以根据实际技术需要确定,一个实施例中预设数目可以设置为3秒内的所有数据帧的数目。
在其中一个实施例中,确定第二待处理数据的首片段的数据帧中,与第一待处理数据的尾片段的数据帧匹配的数据帧数目,包括:计算第二待处理数据的首片段的数据帧与对应的第一待处理数据的尾片段的数据帧之间的相似度,将相似度大于预设相似度阈值的第二待处理数据的首片段的数据帧,确定为与第一待处理数据的尾片段的数据帧匹配的数据帧,从而确定匹配的数据帧数目。
其中,在计算数据帧之间的相似度时,可以采用任意一种可实现的方式。一个实施例中,为了更细致的校验数据帧的局部特征,采用尺度不变特征变换(SIFT)特征点匹配算法实现,该算法中的SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声佣也保持一定程度的稳定性,并且该算法还具有独特性好,信息量丰富的优点,适用于在海量特征数据库中进行快速、准确的匹配,还具备多量性的特点,即使少数的几个物体也可以产生大量的SIFT特征向量,还具备高速性的优点,可以达到实时的要求,还具备可扩展性,可以与其他形式的特征向量进行联合。
具体地,如图3所示为对第一待处理数据与第二待处理数据的首尾数据片段进行校验的示意图。其中,图3中左图表示第一待处理数据的尾片段的数据帧,右图表示第二待处理数据的首片段的数据帧。当第一待处理数据的尾片段的数据帧的尺度不变特征变换向量生成后,任取其中一个第一特征点,找到第一特征点与第二待处理数据的首片段的数据帧中,欧式距离最近的前两个第二特征点,在两个第二特征点中,若次近欧式距离与最近欧式距离之比小于预设比例阈值,则将最近欧式距离对应的第二特征点确定为与第一特征点匹配的特征点。若预设比例阈值增大,则第一待处理数据的尾片段的数据帧与第二待处理数据的首片段的数据帧之间相匹配的特征点会减少。
在其中一个实施例中,若存在多个第二待处理数据的首片段的数据帧,与第一待处理数据的尾片段的数据帧匹配的数据帧数目是相同的,此时,还需要对第二待处理数据与第一待处理数据进行二次校验,以进一步提高关联结果的准确性。
具体地,对第一待处理数据与第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据,包括:确定第二待处理数据的首片段的数据帧中,与第一待处理数据的尾片段的数据帧匹配的数据帧数目;获取第一待处理数据和第二待处理数据的属性信息,属性信息包括音频信息、数据标题以及数据元信息中的至少一种;根据匹配的数据帧数目,以及第一待处理数据和第二待处理数据的属性信息,确定校验通过的第一待处理数据与第二待处理数据。
其中,第一待处理数据和第二待处理数据的属性信息中,数据元信息包括数据时长,数据制作者以及数据参与者中的至少一种。具体地,数据制作者包括上传短视频的用户、拍摄短视频的导演和编剧等,数据参与者包括参演短视频的演员等。
需要说明的是,在对第二待处理数据与第一待处理数据进行二次校验时,上述的各项属性信息可以相互结合进行二次校验,还可以预先设置上述的各项属性信息的优先级,按照预先设置的属性信息的优先级,获取对应的第一待处理数据和第二待处理数据的属性信息,并进行后续的校验。
其中,属性信息的优先级可以根据实际技术需要进行设置,一个实施例中设置为音频信息的优先级大于数据标题的优先级,数据标题的优先级大于数据元信息的优先级。
其中,将校验通过的第一待处理数据和第二待处理数据,确定为匹配的数据对。将校验通过的第一待处理数据与第二待处理数据分别称为第一数据与第二数据,第一数据与第二数据共同组成数据对,且第一数据的尾片段与第二数据的首片段匹配。
步骤S206,将数据对的第一数据与第二数据关联。
在其中一个实施例中,在确定匹配的数据对之后,将数据对的第一数据与第二数据关联。其中,可以采用任意一种可实现的关联方式将第一数据与第二数据进行关联,只要保证能够根据第一数据可以确定相关联的第二数据即可。
具体地,关联方式可以是在第一数据上标注第二数据对应的第二数据标识,以及在第二数据上标注第一数据对应的第一数据标识。具体地,第一数据标识和第二数据标识是唯一标识,可以是行键(Rowkey),包括但不限于是时间戳,以便后续通过唯一标识直接调用对应的数据。
在其中一个实施例中,在将数据对的第一数据与第二数据关联之后,还包括:记录相关联的第一数据与第二数据的关联结果信息,并将关联结果信息存储在关联结果数据库中。
具体地,关联结果数据库的类型可以根据实际技术需要进行设置,一个实施例中关联结果数据库为分布式存储(HBase)数据库,其是一个高可靠性、高性能、面向列、可伸缩的分布式存储***,其是一个适合于非结构化数据存储的数据库,非常适合海量的数据存储。
在其中一个实施例中,在将数据对的第一数据与第二数据关联之后,后续即可向用户终端推送第一数据,并在第一数据浏览完成,或用户进行了刷新操作时,根据第一数据与第二数据的关联关系,将第二数据作为下一条数据向用户终端推送。
需要说明的是,在实际应用过程中,向用户推送第一数据与第二数据时,第一数据与第二数据的关联关系,可以是在向用户终端推送第一数据之前已预先确定,并将该关联关系存储在数据库中。也可以是在将第一数据向用户终端推送之后,实时确定与第一数据存在关联关系的第二数据。
上述视频处理方法中,获取多个待处理数据;将多个待处理数据的首尾数据片段进行匹配,确定匹配的数据对,首尾数据片段包括首片段和尾片段中的至少一个,首片段和尾片段分别包括一个或多个数据帧,每个数据对包括第一数据和第二数据,且第一数据的尾片段与第二数据的首片段匹配;将数据对的第一数据与第二数据关联。采用上述实施例的方法,通过将多个待处理数据的首尾数据片段进行匹配,充分利用了待处理数据的首尾数据片段的特征,能够提升确定待处理数据之间关联关系的效率,提高关联结果的准确性,在后续将第一数据以及关联的第二数据依次分发给用户终端时,可以提升数据内容的连贯性,实现快速推荐,提高数据分发效率,还可以提高数据播放转化效率和用户体验。同时,无需爬取视频IP数据库,也无需要额外保存大量的原始视频的特征向量,从而减少占用的空间成本。
在其中一个实施例中,如图4所示,提供了一种视频处理方法,以该方法应用于图1中的用户终端102为例进行说明,包括:
步骤S402,在视频播放界面播放第一视频。
其中,视频播放界面是用户终端上用于播放视频的界面,第一视频是指当前需要播放的视频。具体地,响应于开启操作,在视频播放界面播放第一视频,以供用户浏览。
其中,开启操作可以是用于开启视频播放界面的操作,在开启视频播放界面后,用户终端自动播放第一视频,或者,开启操作可以是作用于视频播放界面的用于播放视频的操作,即用户终端响应于开启操作,以播放第一视频。具体地,开启操作包括但不限于是点击操作、滑动操作等。
步骤S404,响应于触发操作,在视频播放界面播放第二视频,第二视频的首片段与第一视频的尾片段匹配,或者,第二视频的尾片段与第一视频的首片段匹配,首片段和尾片段分别包括一个或多个视频帧,触发操作为作用于视频播放界面的用于切换视频的操作。
其中,触发操作是指作用于视频播放界面的用于切换视频的操作,触发操作包括但不限于是点击操作、滑动操作等。具体地,用户终端响应于触发操作,在视频播放界面播放第二视频。
其中,第一视频与第二视频是相互关联的视频数据对,可以是第二视频的首片段与第一视频的尾片段匹配,或者,还可以是第二视频的尾片段与第一视频的首片段匹配,首片段和尾片段分别包括一个或多个视频帧。
具体地,确定关联的视频数据对的方式,可以是采用步骤S202至步骤S206任一实施例中的视频处理方法确定,具体的确定方式在此不再赘述。
上述视频处理方法中,在视频播放界面播放第一视频,响应于触发操作,在视频播放界面播放第二视频,第二视频的首片段与第一视频的尾片段匹配,或者,第二视频的尾片段与第一视频的首片段匹配,首片段和尾片段分别包括一个或多个视频帧,触发操作为作用于视频播放界面的用于切换视频的操作。采用上述实施例的方法,通过响应于触发操作,能够快速确定并播放与第一视频相关联的第二视频,提高播放的视频数据之间的关联性,有效提高数据播放转化效率,进一步还可以提高用户体验。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及一个具体实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
一个具体实施例中,如图5所示为视频处理方法的***示意图,在用户使用用户终端浏览视频时,需要确定与该视频相关联的上一段或下一段视频,并将其推送给用户终端,供用户浏览和快速刷新,以提高视频的播放转化效率。
具体地,本申请实施例的视频处理方法所涉及到的模块或服务包括:内容生产端和内容消费端、上下行内容接口服务器、内容数据库、调度服务中心、人工审核***、内容存储服务、下载文件***、视频抽帧服务、视频帧向量生成服务、向量检索服务、校验服务以及无片源定位识别服务,上述的模块或服务可以使用独立的服务器实现,也可以使用多个服务器组成的服务器集群来实现,以下针对上述的模块或服务所实现的功能进行说明:
内容生产端和内容消费端:
(1)内容生产端表示为PGC或UGC,通常是用户终端,用户通过用户终端或者通过用户终端调用后端应用程序接口提供视频内容,用户提供的视频内容是视频推荐分发内容的主要内容来源。
(2)内容生产端与上下行内容接口服务器进行通信,将视频内容上传到上下行内容接口服务器中,视频内容通常是使用一个拍摄摄影端拍摄的视频,拍摄过程中本地视频内容还可以选择搭配的音乐、剪辑、选择封面图、滤镜模板和进行视频美化等。
(3)内容消费端通常是用户终端,能够与上下行内容接口服务器进行通信,以获取和访问视频内容的索引信息,还能够与内容存储服务通信,以获取索引信息对应的视频内容,视频内容包括推荐得到的内容、专题订阅的内容等,内容存储服务所在服务器存储的是视频内容实体,包括视频源文件、视频封面图的图片源文件,视频内容的元信息存储在内容数据库中,视频内容的元信息包括视频标题、视频作者、视频封面图、视频分类、视频标签信息等。
(4)内容生产端和内容消费端能够在视频内容上传和下载的过程中,将用户播放的行为数据、卡顿、加载时间、播放点击等数据上报给后端用于统计分析。
(5)内容消费端通常通过Feeds流方式浏览视频内容。
上下行内容接口服务器:
(1)上下行内容接口服务器能够与内容生产端直接通信,获取用户通过用户终端的前端提交的视频内容,通常是视频内容的标题、发布者、摘要、封面图、发布时间等信息,并将视频内容文件存入内容数据库中。
(2)上下行内容接口服务器能够将视频内容的元信息写入内容数据库,视频内容的元信息包括文件大小、封面图链接、码率、文件格式、标题、发布时间、作者、视频文件大小、视频格式、是否原创的标记或者首发等信息。
(3)上下行内容接口服务器还能够将上传的视频内容同步给调度服务中心,以便调度服务中心进行后续的内容处理和流转。
内容数据库:
(1)内容数据库是指内容的核心数据库,所有生产者发布内容的信息都保存在内容数据库中,包括内容的元信息和人工审核过程中对内容的分类信息,其中,人工审核过程中对内容的分类信息包括一、二、三级别分类和标签信息,例如,一篇讲解华为mate30手机的内容,其对应的一级分类是科技,二级分类是智能手机,三级分类是国内手机,标签信息是华为,mate30。
(2)人工审核过程中会读取内容数据库中的信息,同时人工审核的结果和状态也会回传进入内容数据库。
调度服务中心和人工审核***:
(1)调度服务中心负责视频内容流转的整个调度过程,通过上下行内容接口服务器接收入库的视频内容,并从内容数据库中获取视频内容的元信息。
(2)调度服务中心对视频内容的处理主要包括机器处理和人工审核***处理,其中,机器处理包括质量判断,例如,低质过滤,机器处理还包括视频内容标签,例如,标记分类和标签信息,机器处理还包括视频内容相似排查,同时,机器处理结果会写入内容数据库,使得完全重复的视频内容不会同步至人工审核***进行重复的二次处理,以节省审核的人力资源。
(3)若通过人工审核***的视频内容被启用,调度服务中心通过内容分发出口服务直接的展示页面提供给用户终端的内容消费者,也即内容消费端获得视频内容的索引信息,索引信息通常是视频内容访问的入口地址,其中,内容分发出口服务通常是推荐引擎、搜索引擎或者运营。
(4)人工审核***是人工服务能力的载体,主要用于审核过滤敏感、色情和法律不允许等机器处理无法确定判断的内容,同时,还可以对进行视频内容进行标签标注。
内容存储服务:
(1)内容存储服务用于存储除了视频内容的元信息之外的内容实体信息,例如,存储视频源文件和图文内容的图片源文件。
(2)在获取视频内容的第一端的预设长度的视频帧时,内容存储服务用于提供视频源文件,还可以对视频源文件的进行抽帧处理后的视频帧进行临时存储,避免重复抽取。
下载文件***:
(1)下载文件***用于从内容存储服务所在服务器下载和获取视频内容源文件,并能够控制下载的速度和进度,下载文件***通常是一组并行的服务器,由相关的任务调度和分发集群构成。
(2)下载完成的视频内容源文件,可以通过调用视频抽帧服务获取视频内容源文件的视频帧,以作为后续构建视频帧embedding向量时的基础输入。
视频抽帧服务:
(1)视频抽帧服务用于对下载文件***从内容存储服务上下载的视频内容源文件进行处理。
(2)按照预设抽帧规则对预设长度的数据帧进行抽帧处理,获得抽帧处理后的视频帧。
视频帧向量生成服务:
(1)视频帧向量生成服务用于构建视频帧embedding向量,并将生成的视频帧embedding向量保存在Redis数据库中。
(2)视频帧向量生成服务能够与向量检索服务通信,以便通过Faiss库对视频帧embedding向量进行检索和管理。
向量检索服务:
(1)调用Faiss库的向量匹配检索功能作为向量检索服务,召回与视频帧embedding向量匹配视频帧向量所在的视频。
(2)向量检索服务能够与视频帧向量生成服务进行通信,以完成向量检索服务的计算机底层实现。
校验服务:
(1)校验服务能够对视频帧embedding向量对应的视频和匹配的视频进行首尾对的校验,确定两者之间的重合视频帧的数目,一个实施例中采用SIFT特征点算法进行匹配和校验。
(2)校验服务还可以利用视频内容的属性信息进行二次校验,进一步确保视频的关联关系的准确性。
无片源定位识别服务:
(1)无片源定位识别服务能够与调度服务中心通信,并标记视频内容之间的关联关系,将关联关系保存在HBase数据库中。
(2)在视频分发时,可以调用向量检索服务完成检索召回,调用校验服务完成关联关系的实时校验,在确定与当前启用的视频相关联的下一段视频后,通过调度服务中心和内容分发出口服务,将关联的下一段视频内容分发给内容消费端。
具体地,如图5所示,以内容生产端和内容消费端是用户终端为例,用户可以通过用户终端提供发布视频内容,内容生产端将视频内容上传至上下行内容接口服务器;上下行内容接口服务器获取内容生产端的视频内容,并通过调用内容存储服务,存入视频内容文件,同时,将视频内容的元信息写入内容数据库,同时,将上传的视频内容同步给调度服务中心;
调度服务中心将视频内容同步给人工审核***,人工审核***从内容数据库读取视频内容的元信息,并对视频内容进行审核,同时,人工审核***在审核时可以对视频内容的元信息进行更新,并通过调度服务中心将进行了更新的视频内容的元信息同步在内容数据库中;若通过人工审核***的视频内容被启用,调度服务中心通过内容分发出口服务分发给内容消费端;
在视频内容被启用的同时,内容消费端获得被启用的视频的内容索引信息,并根据内容索引信息调用内容存储服务,通过下载文件***下载和获取视频内容源文件,视频内容源文件下载完成后,调用视频抽帧服务对视频内容源文件进行处理,按照每1秒抽取1帧的方式,分别对视频的片头和片尾3秒钟的内容进行抽帧处理,获得视频帧;调用视频帧向量生成服务,构建视频帧embedding向量,并将生成的视频帧embedding向量保存在Redis数据库中,调用向量检索服务,召回与视频帧embedding向量关联视频帧向量所在的视频,此时,调用校验服务,对关联的视频进行校验,确定与当前启用的视频相关联的下一段视频;
此时,无片源定位识别服务与调度服务中心进行通信,标记当前启用的视频与关联的下一段视频之间的关联关系,并将关联关系保存在HBase数据库中,无片源定位识别服务通过调度服务中心和内容分发出口服务,将关联的下一段视频内容分发给内容消费端。
一个具体实施例中,以视频是短视频为例,短视频的类型包括:电视剧、综艺、电影、游戏、动漫视频和体育比赛等,如图6所示为视频处理方法的流程示意图,具体步骤如下:
获取多个待处理数据;
分别确定多个待处理数据的首尾数据片段,其中,首尾数据片段包括首片段和尾片段中的至少一个,首片段和尾片段分别包括一个或多个数据帧,以首片段和尾片段设置为3秒为例;
按照预设抽帧规则对多个待处理数据的首尾数据片段进行抽帧处理,获得抽帧处理后的首尾数据片段,其中,以预设抽帧规则是预设抽帧频率,预设抽帧频率为每1秒抽取1帧的方式为例,按照预设抽帧频率对获取的多个待处理数据的首尾的3秒内的数据帧进行抽帧处理,获得3个数据帧,并记录3个数据帧分别对应的数据帧标识Rowkey,Rowkey可以是数据帧对应的时间戳;
构建数据帧对应的数据帧特征向量,即构建获得的待处理数据的首尾的3秒内的3个数据帧对应的数据帧特征向量,其中,数据帧特征向量包括各数据帧分别对应的特征向量,或者,数据帧特征向量为对各数据帧分别对应的特征向量进行拼接后获得的特征向量,具体可以是按照时间戳确定的时间序列进行合并或拼接后获得的数据帧特征向量,并将数据帧、数据帧对应的数据帧特征向量、数据帧对应的数据帧标识Rowkey存入Redis数据库中;
访问Faiss库的应用程序接口,调用Faiss库的向量检索服务,通过第一待处理数据的数据帧特征向量对应的数据帧标识Rowkey,从Redis数据库中拉取数据帧特征向量,将数据帧特征向量存入Faiss库中,将数据帧特征向量与Redis数据库中的数据帧特征向量进行匹配,若Redis数据库中存在匹配的数据帧特征向量,通过向量检索服务获取匹配的数据帧特征向量对应的第二待处理数据;
对第一待处理数据与第二待处理数据进行校验,以采用尺度不变特征变换(SIFT)特征点匹配算法为例,确定第二待处理数据的首片段的数据帧中,与第一待处理数据的尾片段的数据帧匹配的数据帧数目,即确定第二待处理数据的首端的3秒内的所有数据帧中,与第一待处理数据的尾端的3秒内的所有数据帧之间的重合数据帧的数目;
若匹配的数据帧数目大于预设数目,将匹配的数据帧数目大于预设数目的第一待处理数据与第二待处理数据,确定为校验通过的第一待处理数据与第二待处理数据,其中,预设数目可以根据实际技术需要确定,一个实施例中预设数目可以设置为3秒内的所有数据帧的数目;
进一步地,对第一待处理数据与第二待处理数据进行二次校验,即获取第一待处理数据和第二待处理数据的属性信息,属性信息包括音频信息、数据标题以及数据元信息中的至少一种;
根据第一待处理数据与第二待处理数据之间匹配的数据帧数目,以及第一待处理数据和第二待处理数据的属性信息,确定校验通过的第一待处理数据与第二待处理数据,例如,根据A视频的尾端可以检索到B视频和C视频的首端,若通过二次校验,B视频相较于C视频的匹配程度更高,则确定B视频作为与A视频关联的关联视频;
将校验通过的第一待处理数据和第二待处理数据,分别称为第一数据与第二数据,第一数据与第二数据共同组成数据对,即确定为匹配的数据对;
将数据对的第一数据与第二数据关联,并记录相关联的第一数据与第二数据的关联结果信息,例如,在B视频上标注A视频对应的数据标识,在A视频上标注B视频对应的数据标识,将关联结果信息存储在HBase数据库中;
将第一数据推送给用户终端,并将第二数据作为与第一数据相邻的下一条数据,向用户终端推送;
用户终端在视频播放界面播放第一视频,响应于触发操作,在视频播放界面播放第二视频,其中,第一视频即获得的第一数据,第二视频即获得的第二数据,且第二视频的首片段与第一视频的尾片段匹配,触发操作为作用于视频播放界面的用于切换视频的操作。
应该理解的是,虽然上述的各流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请还提供了一种用于实现上述涉及的视频处理方法的视频处理装置。上述视频处理装置所提供的解决问题的实现方案与上述视频处理方法中所记载的实现方案相似,故下面所提供的一个或多个视频处理装置的实施例中的具体限定可以参见上文中对于视频处理方法的限定,在此不再赘述。
在其中一个实施例中,如图7所示,提供了一种视频处理装置700,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块710、匹配模块720和关联模块730,其中:
获取模块710,用于获取多个待处理数据。
匹配模块720,用于将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对,所述首尾数据片段包括首片段和尾片段中的至少一个,所述首片段和所述尾片段分别包括一个或多个数据帧,每个所述数据对包括第一数据和第二数据,且所述第一数据的尾片段与所述第二数据的首片段匹配。
关联模块730,用于将所述数据对的所述第一数据与所述第二数据关联。
在其中一个实施例中,所述视频处理装置700,还包括:
抽帧处理单元,用于分别确定多个所述待处理数据的首尾数据片段;按照预设抽帧规则对多个所述待处理数据的所述首尾数据片段进行抽帧处理,获得抽帧处理后的首尾数据片段。
在其中一个实施例中,所述视频处理装置700,还包括:
向量构建单元,用于构建获得的所述首尾数据片段对应的数据帧特征向量,所述数据帧特征向量包括各所述数据帧分别对应的特征向量,或者,所述数据帧特征向量为对各所述数据帧分别对应的特征向量进行拼接后获得的特征向量。
在其中一个实施例中,匹配模块720,包括:
向量匹配单元,用于将所述首尾数据片段对应的数据帧特征向量进行匹配;
数据获取单元,用于在存在匹配的数据帧特征向量时,获取匹配的所述数据帧特征向量对应的第一待处理数据和第二待处理数据;
校验单元,用于对所述第一待处理数据与所述第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据;
数据对确定单元,用于将校验通过的所述第一待处理数据和所述第二待处理数据,确定为匹配的数据对。
在其中一个实施例中,所述校验单元,用于确定第二待处理数据的首片段的数据帧中,与第一待处理数据的尾片段的数据帧匹配的数据帧数目;若匹配的数据帧数目大于预设数目,将匹配的数据帧数目大于预设数目的第一待处理数据与第二待处理数据,确定为校验通过的第一待处理数据和第二待处理数据。
在其中一个实施例中,所述校验单元,用于确定所述第二待处理数据的首片段的数据帧中,与所述第一待处理数据的尾片段的数据帧匹配的数据帧数目;获取所述第一待处理数据和所述第二待处理数据的属性信息,所述属性信息包括音频信息、数据标题以及数据元信息中的至少一种;根据所述匹配的数据帧数目,以及所述第一待处理数据和所述第二待处理数据的所述属性信息,确定校验通过的第一待处理数据与第二待处理数据。
在其中一个实施例中,如图8所示,提供了一种视频处理装置800,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:第一播放模块810和第二播放模块820,其中:
第一播放模块810,用于在视频播放界面播放第一视频。
第二播放模块820,用于响应于触发操作,在所述视频播放界面播放第二视频,所述第二视频的首片段与所述第一视频的尾片段匹配,或者,所述第二视频的尾片段与所述第一视频的首片段匹配,所述首片段和所述尾片段分别包括一个或多个视频帧,所述触发操作为作用于所述视频播放界面的用于切换视频的操作。
上述视频处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在其中一个实施例中,提供了一种计算机设备,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在其中一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在其中一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在其中一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频处理方法,其特征在于,所述方法包括:
获取多个待处理数据;
将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对,所述首尾数据片段包括首片段和尾片段中的至少一个,所述首片段和所述尾片段分别包括一个或多个数据帧,每个所述数据对包括第一数据和第二数据,且所述第一数据的尾片段与所述第二数据的首片段匹配;
将所述数据对的所述第一数据与所述第二数据关联。
2.根据权利要求1所述的视频处理方法,其特征在于,在所述获取多个待处理数据之后,在所述将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对之前,还包括:
分别确定多个所述待处理数据的首尾数据片段;
按照预设抽帧规则对多个所述待处理数据的所述首尾数据片段进行抽帧处理,获得抽帧处理后的首尾数据片段。
3.根据权利要求2所述的视频处理方法,其特征在于,在所述获得抽帧处理后的首尾数据片段之后,在所述将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对之前,还包括:
构建获得的所述首尾数据片段对应的数据帧特征向量,所述数据帧特征向量包括各所述数据帧分别对应的特征向量,或者,所述数据帧特征向量为对各所述数据帧分别对应的特征向量进行拼接后获得的特征向量。
4.根据权利要求1所述的视频处理方法,其特征在于,所述将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对,包括:
将所述首尾数据片段对应的数据帧特征向量进行匹配;
若存在匹配的数据帧特征向量,获取匹配的所述数据帧特征向量对应的第一待处理数据和第二待处理数据;
对所述第一待处理数据与所述第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据;
将校验通过的所述第一待处理数据和所述第二待处理数据,确定为匹配的数据对。
5.根据权利要求4所述的视频处理方法,其特征在于,所述对所述第一待处理数据与所述第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据,包括:
确定第二待处理数据的首片段的数据帧中,与第一待处理数据的尾片段的数据帧匹配的数据帧数目;
若匹配的数据帧数目大于预设数目,将匹配的数据帧数目大于预设数目的第一待处理数据与第二待处理数据,确定为校验通过的第一待处理数据和第二待处理数据。
6.根据权利要求4所述的视频处理方法,其特征在于,所述对所述第一待处理数据与所述第二待处理数据的首尾数据片段进行校验,确定校验通过的第一待处理数据与第二待处理数据,包括:
确定所述第二待处理数据的首片段的数据帧中,与所述第一待处理数据的尾片段的数据帧匹配的数据帧数目;
获取所述第一待处理数据和所述第二待处理数据的属性信息,所述属性信息包括音频信息、数据标题以及数据元信息中的至少一种;
根据所述匹配的数据帧数目,以及所述第一待处理数据和所述第二待处理数据的所述属性信息,确定校验通过的第一待处理数据与第二待处理数据。
7.一种视频处理方法,其特征在于,所述方法包括:
在视频播放界面播放第一视频;
响应于触发操作,在所述视频播放界面播放第二视频,所述第二视频的首片段与所述第一视频的尾片段匹配,或者,所述第二视频的尾片段与所述第一视频的首片段匹配,所述首片段和所述尾片段分别包括一个或多个视频帧,所述触发操作为作用于所述视频播放界面的用于切换视频的操作。
8.一种视频处理装置,其特征在于,所述装置包括:
获取模块,用于获取多个待处理数据;
匹配模块,用于将多个所述待处理数据的首尾数据片段进行匹配,确定匹配的数据对,所述首尾数据片段包括首片段和尾片段中的至少一个,所述首片段和所述尾片段分别包括一个或多个数据帧,每个所述数据对包括第一数据和第二数据,且所述第一数据的尾片段与所述第二数据的首片段匹配;
关联模块,用于将所述数据对的所述第一数据与所述第二数据关联。
9.一种视频处理装置,其特征在于,所述装置包括:
第一播放模块,用于在视频播放界面播放第一视频;
第二播放模块,用于响应于触发操作,在所述视频播放界面播放第二视频,所述第二视频的首片段与所述第一视频的尾片段匹配,或者,所述第二视频的尾片段与所述第一视频的首片段匹配,所述首片段和所述尾片段分别包括一个或多个视频帧,所述触发操作为作用于所述视频播放界面的用于切换视频的操作。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的视频处理方法的步骤。
CN202210024175.0A 2022-01-05 2022-01-05 视频处理方法、装置和计算机设备 Pending CN114357244A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210024175.0A CN114357244A (zh) 2022-01-05 2022-01-05 视频处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210024175.0A CN114357244A (zh) 2022-01-05 2022-01-05 视频处理方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN114357244A true CN114357244A (zh) 2022-04-15

Family

ID=81109957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210024175.0A Pending CN114357244A (zh) 2022-01-05 2022-01-05 视频处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN114357244A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177012A (zh) * 2023-06-09 2023-12-05 青岛尘元科技信息有限公司 视频播出监测方法、***、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177012A (zh) * 2023-06-09 2023-12-05 青岛尘元科技信息有限公司 视频播出监测方法、***、设备及存储介质

Similar Documents

Publication Publication Date Title
US10515133B1 (en) Systems and methods for automatically suggesting metadata for media content
CN111368141B (zh) 视频标签的扩展方法、装置、计算机设备和存储介质
CN106326391B (zh) 多媒体资源推荐方法及装置
WO2017096877A1 (zh) 一种推荐方法和装置
US20150278232A1 (en) System And Method For Generating Media Bookmarks
Deldjoo et al. MMTF-14K: a multifaceted movie trailer feature dataset for recommendation and retrieval
US20220083583A1 (en) Systems, Methods and Computer Program Products for Associating Media Content Having Different Modalities
CN112163122A (zh) 确定目标视频的标签的方法、装置、计算设备及存储介质
CN110149529B (zh) 媒体信息的处理方法、服务器及存储介质
CN112749326B (zh) 信息处理方法、装置、计算机设备及存储介质
US20220107978A1 (en) Method for recommending video content
CN113469152B (zh) 相似视频检测方法及装置
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
CN113010703A (zh) 一种信息推荐方法、装置、电子设备和存储介质
TW200939067A (en) A method and a system for identifying elementary content portions from an edited content
CN113395605B (zh) 视频笔记生成方法及装置
CN108292411A (zh) 使用对象资产生成视频内容项目
CN114357244A (zh) 视频处理方法、装置和计算机设备
CN113407775B (zh) 视频搜索方法、装置及电子设备
CN110569447B (zh) 一种网络资源的推荐方法、装置及存储介质
US11553219B2 (en) Event progress detection in media items
CN110516086B (zh) 一种基于深度神经网络影视标签自动获取方法
CN110971973A (zh) 一种视频推送方法、装置及电子设备
CN113822138A (zh) 相似视频确定方法及装置
CN115909390B (zh) 低俗内容识别方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination