CN111368143A

CN111368143A - 一种视频相似度检索方法、装置、电子设备及存储介质

Info

Publication number: CN111368143A
Application number: CN202010177728.7A
Authority: CN
Inventors: 李沁
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2020-07-03

Abstract

本申请涉及一种视频相似度检索方法、装置、电子设备及存储介质，该方法包括：获取待检索视频的待检索视频片段；对所述待检索视频片段进行解析得到第一特征向量；将所述第一特征向量与视频特征库进行比对，得到所述待检索视频的检索结果。该技术方案通过提取待检索视频片段的特征向量代替传统的图像特征向量进行检索。在保证可行性的基础上，增强了特征的稳定性、鲁棒性，同时也提高了检索精度。

Description

一种视频相似度检索方法、装置、电子设备及存储介质

技术领域

本申请涉及视频检索领域，尤其涉及一种视频相似度检索方法方法、装置、电子设备及存储介质。

背景技术

视频检索是解决处理版权检测、侵权查询、视频查重的一种重要手段，目前，视频检索方法是以视频中的图像为基础进行的，主要通过从待检索视频片段中提取关键帧，将此关键帧与库内的视频关键帧进行比对，进而衡量其相似度。此种处理手段存在以下缺陷：

一、单帧图像不能代替待检索视频片段的内容，以帧之间的对比结果作为视频片段之间的映射关系存在较大的局限，这种局限会降低算法的鲁棒性，如果关键帧的轻微位移和畸变都可能导致结果不准确。

二、以提取关键帧的方式进行检索，使检索精度和速度呈拮抗关系，如果要保持较高的检索精度就需要减小关键帧的提取间隔，选取多帧进行比对，必将耗费更多的时间。反之，加快检索速度则需加大提取关键帧的间隔，缩减比对次数，可能导致更高的误检率。

三、受图像特征提取方法，特征对比方法的影响，需要根据情况调整特征，增加超参的复杂性。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种视频相似度检索方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种视频相似度检索方法，包括：

获取待检索视频的待检索视频片段；

对所述待检索视频片段进行解析得到第一特征向量；

将所述第一特征向量与视频特征库进行比对，得到所述待检索视频的检索结果。

可选的，所述对所述待检索视频片段进行解析得到第一特征向量，包括：

将所述待检索视频片段输入特征提取模型，所述特征提取模型包括：多个3D卷积层；

由所述多个3D卷积层依次对所述待检索视频片段进行卷积，得到所述第一特征向量。

可选的，所述视频特征库包括：第二特征向量，所述第二特征向量是将视频库中的视频片段输入所述特征提取模型得到的。

可选的，所述将所述第一特征向量与视频特征库进行比对，得到所述待检索视频的检索结果，包括：

从所述第二特征向量中获取与所述第一特征向量相匹配的第三特征向量；

获取所述第三特征向量对应的视频集合；

建立所述待检索视频与所述视频集合中所有视频的映射关系；

将所述映射关系作为所述待检索视频的检索结果。

可选的，所述从所述第二特征向量中获取与所述第一特征向量相匹配的第三特征向量，包括：

计算所述第一特征向量与所述第二特征向量的相似度；

将所述相似度满足预设条件的第二特征向量作为所述第三特征向量。

可选的，所述方法还包括：

获取至少两个相邻的第一特征向量；

当所述视频集合中的视频包括与所述至少两个相邻的第一特征向量相匹配，且时序信息相同的至少两个相邻第三特征向量时，则确认所述待检索视频与所述视频集合中的视频相同或部分相同。

可选的，所述方法还包括：

根据所述检索结果确定所述待检索视频的重复率；

当所述重复率大于或等于预设阈值时，对所述待检索视频执行相应的处理操作。

第二方面，本申请实施例提供了一种视频相似度检索装置，包括：

确定模块，用于确定待检索视频的待检索视频片段；

提取模块，用于基于所述待检索视频提取至少一个第一特征向量；

检索模块，用于将所述第一特征向量与预设视频库进行比对，得到所述待检索视频的检索结果。

第三方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行计算机程序时，实现上述方法步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：通过提取待检索视频片段的特征向量代替传统的图像特征向量进行检索。在保证可行性的基础上，增强了特征的稳定性、鲁棒性，同时也提高了检索精度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种视频相似度检索方法的流程图；

图2为本申请实施例提供的特征提取模型的工作示意图；

图3为本申请实施例提供的待检索视频与视频集合的映射关系示意图；

图4为本申请另一实施例提供的一种视频相似度检索方法的流程图；

图5为本申请另一实施例提供的一种视频相似度检索方法的流程图；

图6为本申请实施例提供的一种视频相似度检索装置的框图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请一种视频相似度检索方法、装置、电子设备及存储介质，本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。

下面首先对本发明实施例所提供的一种视频相似度检索方法进行介绍。

图1为本申请实施例提供的一种视频相似度检索方法的流程图。如图1所示，该方法包括以下步骤：

步骤S11，获取待检索视频的待检索视频片段；

步骤S12，对待检索视频片段进行解析得到第一特征向量；

步骤S13，将第一特征向量与视频特征库进行比对，得到待检索视频的检索结果。

本实施例所提供的视频相似度检索方法，是通过提取待检索视频片段的特征向量，来代替传统的图像特征进行检索的方式，以此在保证可行性的基础上，增强了特征的稳定性、鲁棒性，同时也提高了检索精度。

本实施例中，获取待检索视频，然后按照连续的预设帧数对待检索视频进行分割，得到待检索视频的待检索视频片段。

其中，本实施例所涉及的预设帧数是16帧，将连续16帧的图像作为待检索视频片段，以不足一秒的1秒视频片段为检索单位进行视频检索，显著缩小了检索粒度，同时提高了识别精度，能够对同一视频的不同片段给出检索结果。

本实施例中，对待检索视频片段进行解析得到第一特征向量，具体通过以下方式实现：将待检索视频片段输入特征提取模型，特征提取模型包括：多个3D卷积层；由多个3D卷积层依次对待检索视频片段进行卷积，得到第一特征向量。

图2为本申请实施例提供的特征提取模型的工作示意图，如图2所示，将连续16帧的图像输入预先训练好的特征提取模型，由特征提取模型进行卷积计算，输出256维数组，将256维数据作为第一特征向量。

其中，本实施例中连续16帧图像的参数包括：长112像素，宽112像素，3通道图像。本实施例采用的特征提取模型包括6层卷积层，卷积层功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量(biasvector)，类似于一个前馈神经网络的神经元(neuron)。卷积层的参数包括卷积核大小、步长和填充，三者共同决定了卷积层输出特征图的尺寸。其中卷积核大小可以指定为小于输入图像尺寸的任意值，卷积核越大，可提取的输入特征越复杂。

本实施例所采用的卷积层为3D卷积层，通过使用3D卷积压缩数据，保证特征提取速度快，压缩效率高，节约运算时间和降低存储成本，其各层参数如下：

Conv1 卷积核：1×3×3×3×64，stride[1,1,2,2,1]，padding 0；

Conv2 卷积核：1×5×5×64×128，stride[1,1,5,5,1]，padding 0；

Conv3 卷积核：3×1×1×128×256，stride[1,2,1,1,1]，padding 0；

Conv4 卷积核：3×1×1×256×512，stride[1,2,1,1,1]，padding 0；

Conv5 卷积核：2×2×2×512×1536，stride[1,2,2,2,1]，padding 0；

Conv6 卷积核：2×7×7×1536×256，stride[1,1,1,1,1]，padding 0。

特征提取模型通过以下方式进行训练：获取训练样本，其中训练样本可以是连续的16帧图像，采用训练样本对预设卷积神经网络模型进行训练，得到特征提取模型。

本实施例中，将第一特征向量与视频特征库进行比对，得到待检索视频的检索结果，具体通过以下方式实现：

首先，获取视频特征库以及视频库，可以理解的，视频库是由完整的视频组成的集合，视频特征库存储有第二特征向量，第二特征向量通过以下方式获得：按照16帧为一个视频片段对视频库中的视频进行分割，得到多个视频片段，将得到的视频片段输入预先训练好的特征提取模型，得到第二特征向量。

需要说明的是，本实施例通过特征提取模型中的3D卷积层对连续16帧的视频片段进行进行卷积，一方面，保证视频特征提取的速度快，卷积效率高，节省了时间成本。另一方面，本实施例以连续16帧的视频片段为一个检索单位，与现有技术相比显著缩小了检索粒度，提高了检索结果的准确度。

然后，从第二特征向量中获取与第一特征向量相匹配的第三特征向量，获取第三特征向量对应的视频集合，建立待检索视频与视频集合中所有视频的映射关系，将映射关系作为待检索视频的检索结果。

可选的，从第二特征向量中获取与第一特征向量相匹配的第三特征向量，是通过计算第一特征向量与第二特征向量的相似度。将相似度满足预设条件的第二特征向量作为第三特征向量。作为一个示例，计算第一特征向量与视频特征库中所有第二特征向量的相似度，将相似度大于等于0的第二特征向量，作为第三特征向量。本实施例中所指的相似度为余弦相似度。设现有256维第一特征向量A和第二特征向量B，其余弦相似度计算公式如下：

式中，||A||为向量A的模，||B||为向量B的模。

在得到第三特征向量后，确定每个第三特征向量对应的视频片段,查询每个视频片段所属的视频，根据每个视频片段所属的视频得到视频集合，即第三特征向量对应的视频集合。

建立待检索视频与视频集合中所有视频的映射关系，可以是统计待检索视频片段对应的视频片段，并将视频片段按照相似度进行排序，同时将相似度小于预设相似度的视频剔除。由此，得到了待检索视频中每个待检索视频片段与视频集合中所有视频的映射关系。

例如：待检索视频M包括：待检索视频片段M1，待检索视频片段M2，待检索视频片段M3以及待检索视频片段M4，视频集合中包括：视频Q、视频P、视频O、视频G、视频K以及视频R。

映射关系为：待检索视频片段M1对应视频片段Q2(相似度95％)以及视频片段P2(相似度90％)。

待检索视频片段M2对应视频片Q3(相似度99％)以及视频片段P3(相似度96％)。

待检索视频片段M3相匹配的视频片段O1(相似度98％)以及视频片段G1(相似度94％)。

待检索视频片段M4相匹配的视频片段K2(相似度97％)以及视频片段R3(相似度90％)。

由此，得到待检索视频M与视频集合中所有视频的映射关系。

图3为本申请另一实施例提供的一种视频相似度检索方法的流程图。如图3所示，该方法还包括以下步骤：

步骤S21，获取至少两个相邻的第一特征向量；

步骤S22，当视频集合中的视频包括与至少两个相邻的第一特征向量相匹配，且时序信息相同的至少两个相邻第三特征向量时，则确认待检索视频与视频集合中的视频相同或部分相同。

本实施例通过相邻的第一特征向量和视频库中的第三特征向量进行校验，能够得到与待检索视频某一部分相对应的视频，从而提高检索结果的有效性和准确性。

图4为本申请实施例提供的待检索视频与视频集合的映射关系示意图，如图4所示，待检索视频包括：第一部分Z₁，第二部分Z₂以及第三部分Z₃。

设待检索视频的第一部分包括：待检索视频片段Z₁₁，待检索视频片段Z₁₂，待检索视频片段Z₁₃以及待检索视频片段Z₁₄。经过检索得出待检索视频片段Z₁₁与视频集合中视频A的片段A_j1对应，待检索视频片段Z₁₂与视频集合中视频A的片段A_j2对应，待检索视频片段Z₁₃与视频集合中视频A的片段A_j3对应，待检索视频片段Z₁₄与视频集合中视频A的片段A_j4对应。

此时利用时序信息进行判断，若待检索视频的第一部分中的四个片段与视频集合中视频A的四个片段的时序信息相同，则认为待检索视频的第一部分与视频集合中视频A部分相同。

同时，待检索视频片段Z₁₁与视频集合中视频B的片段B_j1对应，待检索视频片段Z₁₂与视频集合中视频B的片段B_j2对应，待检索视频片段Z₁₃与视频集合中视频B的片段B_j3对应，待检索视频片段Z₁₄与视频集合中视频B的片段B_j4对应。

此时利用时序信息进行判断，若待检索视频的第一部分中的四个片段与视频集合中视频B中四个片段的时序信息相同，则认为待检索视频的第一部分与视频集合中视频B部分相同。

待检视频第二部分包括：待检索视频片段Z₂₁，待检索视频片段Z₂₂，待检索视频片段Z₂₃以及待检索视频片段Z₂₄，经过检索得出待检索视频片段Z₂₁与视频集合中视频C的片段C_j1对应，待检索视频片段Z₂₂与视频集合中视频C的片段C_j2对应，以及待检索视频片段Z₂₃与视频集合中视频C的片段C_j3对应。

此时利用时序信息进行判断，若待检索视频的第一部分中的四个片段与视频集合中视频C中四个片段的时序信息相同，则认为待检索视频的第一部分与视频集合中视频C部分相同。

待检视频第二部分包括：待检索视频片段Z₃₁以及待检索视频片段Z₃₂，经过检索得出待检索视频片段Z₃₁与视频集合中视频D的片段D_j1对应，待检索视频片段Z₃₂与视频集合中视频D的片段D_j2对应。

此时利用时序信息进行判断，若待检索视频的第一部分中的四个片段与视频集合中视频D中四个片段的时序信息相同，则认为待检索视频的第一部分与视频集合中视频D部分相同。

图5为本申请另一实施例提供的一种视频相似度检索方法的流程图。如图5所示，该方法还包括以下步骤：

步骤31，根据检索结果确定待检索视频的重复率；

步骤32，当重复率大于或等于预设阈值时，对待检索视频执行相应的处理操作。

本实施例中，根据检索结果确定待检索视频的重复率，通过重复率确定待检索视频是否为冗余视频。作为一个示例：待检索视频包括：第一部分，第二部分以及第三部分，其中第一部分与第二部分与视频集合的某一视频对应，然后计算第一部分与第二部分的视频时长，根据视频时长与待检索视频的总时长计算重复率。比如：第一部分与第二部分的视频时长为4.5min，待检索视频的总时长15min，则重复率为：30％。

当重复率大于或等于预设阈值时，对待检索视频执行相应的处理操作。作为一个示例：当重复率大于预设阈值90％时，则确认待检索视频为冗余视频，可以将其剔除，以此避免大量冗余视频侵占视频库的资源。

本实施例公开的视频相似度检索方法，还可以应用于视频打点，比如：有一24h直播流，其中包含多个用户感兴趣节目和其他普通视频，现希望能从中自动定位感兴趣节目开始时间以便提醒观看或进行其他操作。考虑到感兴趣节目有着相对固定的片头，因此可提取出该片头并将其作为样本存于视频库中，而后以直播流为待检视频在视频库内进行检索，当某一片段与视频库内样本相似度大于阈值时即可认为当前片段正是节目片头，提示用户开始后续操作。

此外本实施例公开的视频相似度检索方法，还可用于相似视频查找推荐，比如：用户观看某一视频后希望能看到跟过与此视频相关的内容，此时即可以用户观看的视频为待检索视频，在整个视频库中进行比对并按相似度由高到低的顺序对检索到的视频进行排序，最后将排序结果作为向用户推荐的视频内容。

图6为本申请实施例提供的一种视频相似度检索装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，该装置包括：

确定模块41，用于确定待检索视频的待检索视频片段；

提取模块42，用于基于待检索视频提取至少一个第一特征向量；

检索模块43，用于将所述第一特征向量与预设视频库进行比对，得到待检索视频的检索结果。

本实施例中，提取模块42，具体用于获取预先训练的特征提取模型，将待检索视频片段输入特征提取模型，得到第一特征向量。

本实施例中，视频特征库中包括：第二特征向量，第二特征向量是将视频库中的视频片段输入特征提取模型得到的。

本实施例中，检索模块43，包括：

第一获取子模块，用于从第二特征向量中获取与第一特征向量相匹配的第三特征向量；

第二获取子模块，用于获取第三特征向量对应的视频集合；

存储子模块，用于建立待检索视频与视频集合中所有视频的映射关系，将映射关系作为待检索视频的检索结果。

其中，第一获取子模块，具体用于：计算第一特征向量与第二特征向量的相似度，将相似度满足预设条件的第二特征向量作为第三特征向量。

本实施例提供的视频相似度检索装置还包括：获取模块，用于获取至少两个相邻的第一特征向量，当视频集合中的视频包括与至少两个相邻的第一特征向量相匹配，且时序信息相同的至少两个相邻第三特征向量时，则确认待检索视频与视频集合中的视频相同或部分相同。

本实施例提供的视频相似度检索装置还包括：处理模块，用于根据检索结果确定待检索视频的重复率，当重复率大于或等于预设阈值时，对待检索视频执行相应的处理操作。

本申请实施例还提供一种电子设备，如图7所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。

存储器1503，用于存放计算机程序；

处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例的步骤。

需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims

1.一种视频相似度检索方法，其特征在于，包括：

获取待检索视频的待检索视频片段；

对所述待检索视频片段进行解析得到第一特征向量；

2.根据权利要求1所述的方法，其特征在于，所述对所述待检索视频片段进行解析得到第一特征向量，包括：

3.根据权利要求2所述的方法，其特征在于，所述视频特征库包括：第二特征向量，所述第二特征向量是将所述视频库中的视频片段输入所述特征提取模型得到的。

4.根据权利要求3所述的方法，其特征在于，所述将所述第一特征向量与视频特征库进行比对，得到所述待检索视频的检索结果，包括：

获取所述第三特征向量对应的视频集合；

将所述映射关系作为所述待检索视频的检索结果。

5.根据权利要求4所述的方法，其特征在于，所述从所述第二特征向量中获取与所述第一特征向量相匹配的第三特征向量，包括：

计算所述第一特征向量与所述第二特征向量的相似度；

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取至少两个相邻的第一特征向量；

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述检索结果确定所述待检索视频的重复率；

8.一种视频相似度检索装置，其特征在于，包括：

确定模块，用于确定待检索视频的待检索视频片段；

9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述计算机程序时，实现权利要求1-7任一项所述的方法步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。