CN111339368A - 基于视频指纹的视频检索方法、装置和电子设备 - Google Patents

Abstract

本发明公开了一种基于视频指纹的视频检索方法、装置和电子设备，其中方法包括：分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵；计算所述第一视频指纹和所述第二视频指纹的相关矩阵；确定所述相关矩阵中的连通区域；基于所述连通区域属性确定视频检索结果。由于连通区域为待检索视频指纹矩阵和预设视频指纹矩阵的相关矩阵中的连通区域，因此，连通区域可以表征高相似度的连续帧，因此，基于连通区域的属性可以确定待检索视频和预设视频之间的相关性，进而可以较为精确的定位到高相似视频片段，对视频部分匹配以及各种视频时间变换鲁棒，精确度较高，并具有较高的解释性。

Description

基于视频指纹的视频检索方法、装置和电子设备

技术领域

本发明涉及数据处理技术领域，具体涉及到一种基于视频指纹的视频检索方法、装置和电子设备。

背景技术

随着互联网技术的迅速发展，信息内容呈现了***式的增长。在这些海量的数据中，很可能混杂着非法视频，例如，侵犯原创视频版权的侵权视频或非法暴恐视频等，以下以视频侵权为例进行说明，为了维护视频原创者的利益，需要对可能存在侵权的视频进行识别，以维护原创视频的版权。

相关技术中的视频识别的方法主要包括以下几种方式：第一种方式是肉眼检查；第二种方式是将视频截帧为图片，然后通过图像搜索的方式在原创视频或预设视频样本库中找相似图片。

但是，对第一种方式而言，即肉眼检查的方式，其并不可靠且低效：人很难看出较为细节的相似片段，而且人的检查质量容易波动，疲劳后尤其容易漏过。一个训练有素的审核员每天大约检查1000段视频，效率较低。对第二种方式而言，即将视频截帧为图片，然后通过图像搜索的方式在原创视频或预设视频中找相似，其效果强烈依赖于样本库，如果样本库更新不及时或者未能收集到类似图片，则无法正确检出相似图片。通过上述两种方式，只能识别出视频片段中出现大部分片段相似/重叠的情况，即只能检出与样本库中视频相似度很高、相似时长很长的视频，且对视频帧的变换(如亮度、分辨率、水印等)的鲁棒性不强。然而，在实际应用场景中，经常会出现对视频进行编辑情形。已有检索方法在视频仅有小部分重叠，或者视频帧发生各种变换的场景下，无法准确检索和精准定位。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例要解决的技术问题为如何更加精准对视频进行识别。

根据第一方面，本发明实施例提供了一种基于视频指纹的视频检索方法，包括：分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵；计算所述第一视频指纹和所述第二视频指纹的相关矩阵；确定所述相关矩阵中的连通区域；基于所述连通区域属性确定视频检索结果。

可选地，所述确定所述相关矩阵中的连通区域包括：通过预设阈值将所述相关矩阵二值化；基于轮廓标记法在所述二值化后的相关矩阵中确定连通区域。

可选地，所述基于所述连通区域属性确定视频检索结果包括：判断所述连通区域在相关矩阵的第一维度的投影是否大于第一预设值且在相关矩阵的第二维度的投影是否大于第二预设值；如果所述连通区域在相关矩阵的第一维度的投影大于第一预设值且在相关矩阵的第二维度的投影大于第二预设值，则确认所述待检索视频和所述预设视频中存在相似视频片段。

可选地，所述基于所述连通区域属性确定视频检索结果还包括：分别通过第一维度的投影和所述第二维度投影得到所述相似视频片段在所述待检索视频和所述预设视频中起始时间和结束时间。

可选地，所述基于所述连通区域属性确定视频检索结果还包括：基于所述连通区域的形状确认所述待检索视频相对于所述预设视频的帧变换。

可选地，分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵包括：分别提取待检索视频和预设视频的多个视频帧的指纹向量；分别合并所述多个视频帧的指纹向量，构建所述第一视频指纹矩阵所述第二视频指纹矩阵。

根据第二方面，本发明实施例提供了一种基于视频指纹的视频检索装置，包括：构建模块，用于分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵；计算模块，用于计算所述第一视频指纹和所述第二视频指纹的相关矩阵；连通区域划定模块，用于确定所述相关矩阵中的连通区域；结果确认模块，用于基于所述连通区域属性确定视频检索结果。

可选地，所述连通区域划定模块包括：二值化单元，用于通过预设阈值将所述相关矩阵二值化；标记单元，用于基于轮廓标记法在所述二值化后的相关矩阵中确定连通区域。

可选地，所述结果确认模块包括：判断单元，用于判断所述连通区域在相关矩阵的第一维度的投影是否大于第一预设值且在相关矩阵的第二维度的投影是否大于第二预设值；相似视频片段确认单元，用于在所述连通区域在相关矩阵的第一维度的投影大于第一预设值且在相关矩阵的第二维度的投影大于第二预设值时，确认所述待检索视频和所述预设视频中存在相似视频片段。

可选地，所述结果确认模块还包括：位置确认单元，用于分别通过第一维度的投影和所述第二维度投影得到所述相似视频片段在所述待检索视频和所述预设视频中起始时间和结束时间。

可选地，所述结果确认模块还包括：帧变换确认单元，用于基于所述连通区域的形状确认所述待检索视频相对于所述预设视频的帧变换。

可选地，构建模块包括：指纹提取单元，用于分别提取待检索视频和预设视频的多个视频帧的指纹向量；矩阵构建单元，用于分别合并所述多个视频帧的指纹向量，构建所述第一视频指纹矩阵所述第二视频指纹矩阵。

根据第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第一方面任意一项所述的基于视频指纹的视频检索方法。

根据第四方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面任一项所述的基于视频指纹的视频检索方法。

本申请通过构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵，并计算两个指纹矩阵的相关矩阵，在相关矩阵中寻找连通区域，该连通区域可以表征高相似度的连续帧，即待检索视频与预设视频的高相似度的视频片段，并利用连通区域确定视频检索结果。构建指纹相关矩阵，将视频片段相似判断转化为寻找相关矩阵中连通区域，由于连通区域为待检索视频指纹矩阵和预设视频指纹矩阵的相关矩阵中的连通区域，因此，连通区域可以表征高相似度的连续帧，因此，基于连通区域的属性可以确定待检索视频和预设视频之间的相关性，进而可以较为精确的定位到高相似视频片段，对视频部分匹配以及各种视频时间变换鲁棒，精确度较高，并具有较高的解释性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本实施例的基于视频指纹的视频检索方法的示意图；

图2示出了本发明实施例的基于视频指纹的视频检索装置的示意图；

图3示出了本发明实施例的电子设备的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

视频的视频指纹是通过对视频中的图像信息的分析生成的唯一视频特征，该视频指纹可以代表对应的视频文件。利用视频指纹可以实现视频搜索，例如，由于视频指纹对于视频内容的描述性可以帮助定位相似视频，因此利用视频指纹可以实现以视频搜视频的应用。又例如，利用视频指纹可以实现两个视频的快速比对。对于两个内容完全一样，但视频帧率、分辨率有差异的视频，依靠视频文件的消息摘要算法md5无法判断两个视频是否相同。然而，由于视频指纹可以描述视频内容，因此，通过比对视频指纹可以发现内容相同的两个视频。利用这样的特性，视频指纹可以实现例如对相同视频执行去重等操作。此外，利用视频指纹对于视频内容的描述性，可以根据视频指纹对用户观看过的视频进行聚类，从而可以对用户感兴趣的类别进行相似视频的推荐。此外，在视频内容传播的过程中，例如视频共享的平台上，通过视频指纹和视频上传时间可以确定相同或高度相似的视频中最早上传的用户，从而确定视频内容的原创者，并对盗版视频进行打击。

因此，本发明实施例提供了一种基于视频指纹的视频检索方法，如图1所示，该方法可以包括如下步骤：

S11.分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵。具体的，预设视频可以为疑似被侵权的目标视频，也可以为为视频库中的众多视频的任一视频。在本实施例中，可以分别提取待检索视频和预设视频中的多个视频帧。并针对上述多个视频帧分别提取的图像特征分别作为对应视频帧的指纹特征。这里所说的指纹特征可以是利用具有多个层的神经网络对视频帧进行处理后，神经网络中任意一层或多层输出的特征图。在本实施例中，用于提取指纹特征的视频帧可以为待检索视频和预设视频的所有视频帧，也可以为待检索视频和预设视频的关键帧。具体的，可以以关键帧为例进行说明：

具体的，可以根据视频确定用于提取视频指纹的有效视频片段，并从有效视频片段中提取关键帧。在一些实施例中，可以将视频的一部分确定为有效视频片段。例如，可以将视频切割为预设时间长度(如15s，或任何其他可能的预设时间长度)的片段，并将切割得到的片段作为有效视频片段。例如，可以将视频的第0到15秒的片段确定为有效视频片段，也可以将视频中任意位置开始的预设时间长度的片段确定为有效视频片段。在另一些实施例中，可以将整个视频确定为有效视频片段。

然后，可以从确定的有效视频片段中提取关键帧。在一些实施例中，可以将有效视频片段中的每一帧确定为关键帧。在另一些实施例中，可以通过对有效视频片段中的每一帧进行分析，实现对有效视频片段的镜头分割，并根据镜头分割的结果提取用于每个镜头的关键帧。例如，可以将通过镜头分割确定的每个镜头的第一帧确定为关键帧。在又一些实施例中，可以在视频内通过采样的方法选取视频帧作为关键帧。例如，可以以等间隔的方式(如每5s，或任何预先设定的时间间隔)对有效视频片段进行采样，并将采样得到的视频帧作为关键帧。对于一个15秒长度的有效视频片段，当以5秒为间隔进行采样时，将得到3帧作为关键帧。又例如，可以以任意间隔对有效视频片段进行采样，并将采样得到的视频帧作为关键帧。

对于多个视频帧的每一个，利用具有多个层的神经网络对该视频帧进行处理，并将神经网络的中间层输出的中间层特征图作为该视频帧的指纹向量。该指纹特征可以用于生成视频指纹。在本实施例中，每一帧对应的帧指纹向量合并成视频指纹矩阵。

作为可选的实施例，视频指纹的生成还可以采用其他方式，例如，可以基于基于显著区域对视频指纹提取，还可以基于稀疏编码对视频指纹进行提取，还可以基于时间梯度与空间梯度实现视频指纹提取。对提取的多个视频帧的指纹合并成视频指纹矩阵，从而可以构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵。其中，第一视频指纹矩阵和第二视频指纹矩阵中的每一行表征一帧视频的指纹向量。

S12.计算第一视频指纹矩阵和第二视频指纹矩阵的相关矩阵。具体的，假设待检索视频的第一视频指纹矩阵为F0，预设视频的第二视频指纹矩阵记做F1。可以计算第一视频指纹矩阵和第二视频指纹矩阵的相关矩阵，指纹相关矩阵大小为M*N，M为F0的行数，N为F1的行数，指纹相关矩阵的元素(m,n)为F0第m行和F1第n行的相关性系数。

S13.确定相关矩阵中的连通区域。在本实施例中，对于相关矩阵的连通区域的寻找可以将相关矩阵进行二值化，通过二值化后的相关矩阵进行寻找。具体的可以采用一个预设阈值将相关矩阵二值化，在相关性系数的值大于预设阈值时，二值化后的值可以为1，相关性系数的值小于预设阈值时，二值化后的值为0。作为可选的实施例，还可以通过双预设阈值的方式将相关矩阵进行二值化，其中，双预设阈值可以包括第一阈值和第二阈值，第一阈值大于第二阈值，在相关性系数的值大于第一阈值时，二值化后的值可以为1，相关性系数的值小于第二阈值时，二值化后的值为0。作为示例性的实施例，相关矩阵二值化后的矩阵可以如下矩阵所示：

[0,0,1,0],

[0,1,0,0],

[1,0,0,0]

其中，纵轴可以表示预设视频，横轴可以表示待检索视频；

作为示例性的实施例中，连通区域可以定义为8连通的矩阵元素集合，集合中每个元素值都为1，基于轮廓标记法，可以得到上述矩阵存在的连通区域为：

[0,0,1],

[0,1,0],

[1,0,0]。

S14.基于连通区域属性确定视频检索结果。在本实施例中，视频的检索结果可以包括待检索视频和预设视频是否存在相似视频片段，理论上只要存在连通区域，则存在相似视频片段。由于相关矩阵是第一视频指纹矩阵和第二视频指纹矩阵的相关矩阵，纵轴可以表示预设视频，横轴可以表示待检索视频，因此，基于相关矩阵的特性，可以通过连通区域在相关矩阵的两个维度上投影确定相似视频片段在待检索视频和预设视频中所在的位置，即相似视频片段分别在待检索视频和预设视频中的起始时间和结束时间。另外，如果相似视频片段没有经过帧变换，即相似视频片段在待检索视频和预设视频中的映射应当是相同的，因此连通区域为一条线段，并与相关矩阵的纵轴或横轴的夹角应为45°。如果相似视频片段在待检索视频中被拉伸或被压缩，则连通区域与相关矩阵的纵轴或横轴的夹角不为45°，不同形状的连通区域对应不同的帧时间变换，例如连通区域为45度向右下方的一条线段为无时间变换，连通区域为60度向右上方的线段为一个视频帧倒序且时间压缩。并且，经过帧变换后，例如打乱视频帧顺序，连通区域的形状将变为不规则形状，例如，连通区域分分布为曲线或者间断性的分布。因此，可以通过连通区域的形状可以针对帧变换的待检索视频保持较高的鲁棒性。

作为示例性的实施例，对于确定相似视频片段在待检索视频和预设视频中的位置的方法可以依据连通区域在相关矩阵的横轴和纵轴上投影确定，示例性的，可以参见上述连通区域：

[0,0,1],

[0,1,0],

[1,0,0]。

连通区域在横轴和纵轴上的投影分别为0～2和0～2，则可以确认待检索视频和预设视频从第0帧到第2帧为相似视频片段。

由于互联网存在海量视频，难以避免其中某一帧或几帧可能会出现相似的情况，为防止出现误判，作为示例性的实施例，还可以对相似视频片段在待检索视频和预设视频中出现的帧数进行判断，在本实施例中，可以设置预设值，相似视频片段在待检索视频和预设视频中出现的帧数大于某一预设值时，则认为待检索视频和预设视频中存在相似视频片段。具体的，判断连通区域长度是否大于第一预设值且宽度是否大于第二预设值；如果连通区域长度大于第一预设值且宽度大于第二预设值，则确认待检索视频和预设视频中存在相似视频片段。本领域技术人员应当理解，第一预设值和第二预设值可以相同也可以不同。可以根据实际需求进行设置。

在当连通区域长度大于第一预设值且宽度大于第二预设值时，可以通过连通区域在横轴和纵轴上的投影计算相似视频片段在待检索视频和预设视频起始时间和结束时间。

本发明实施例提供了一种基于视频指纹的视频检索装置，如图2所示，该装置可以包括：构建模块10，用于分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵；计算模块20，用于计算第一视频指纹和第二视频指纹的相关矩阵；连通区域划定模块30，用于确定相关矩阵中的连通区域；结果确认模块40，用于基于连通区域属性确定视频检索结果。

可选地，连通区域划定模块包括：二值化单元，用于通过预设阈值将相关矩阵二值化；标记单元，用于基于轮廓标记法在二值化后的相关矩阵中确定连通区域。

可选地，结果确认模块包括：判断单元，用于判断连通区域在相关矩阵的第一维度的投影是否大于第一预设值且在相关矩阵的第二维度的投影是否大于第二预设值；相似视频片段确认单元，用于在连通区域在相关矩阵的第一维度的投影大于第一预设值且在相关矩阵的第二维度的投影大于第二预设值时，确认待检索视频和预设视频中存在相似视频片段。

可选地，结果确认模块还包括：位置确认单元，用于分别通过第一维度的投影和第二维度投影得到相似视频片段在待检索视频和预设视频中起始时间和结束时间。

可选地，结果确认模块还包括：帧变换确认单元，用于基于连通区域的形状确认待检索视频相对于预设视频的帧变换。

可选地，构建模块包括：指纹提取单元，用于分别提取待检索视频和预设视频的多个视频帧的指纹向量；矩阵构建单元，用于分别合并多个视频帧的指纹向量，构建第一视频指纹矩阵第二视频指纹矩阵。

本发明实施例提供了一种电子设备，如图3所示，该电子设备包括一个或多个处理器31以及存储器32，图3中以一个处理器33为例。

该控制器还可以包括：输入装置33和输出装置34。

处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器31可以为中央处理器(CentralProcessingUnit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的控制方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于视频指纹的视频检索。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。

一个或者多个模块存储在存储器32中，当被一个或者多个处理器31执行时，执行如图1所示的方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种基于视频指纹的视频检索方法，其特征在于，包括：

分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵；

计算所述第一视频指纹和所述第二视频指纹的相关矩阵；

确定所述相关矩阵中的连通区域；

基于所述连通区域属性确定视频检索结果。

2.如权利要求1所述的视频检索方法，其特征在于，所述确定所述相关矩阵中的连通区域包括：

通过预设阈值将所述相关矩阵二值化；

基于轮廓标记法在所述二值化后的相关矩阵中确定连通区域。

3.如权利要求1所述的视频检索方法，其特征在于，所述基于所述连通区域属性确定视频检索结果包括：

判断所述连通区域在相关矩阵的第一维度的投影是否大于第一预设值且在相关矩阵的第二维度的投影是否大于第二预设值；

如果所述连通区域在相关矩阵的第一维度的投影大于第一预设值且在相关矩阵的第二维度的投影大于第二预设值，则确认所述待检索视频和所述预设视频中存在相似视频片段。

4.如权利要求3所述的视频检索方法，其特征在于，所述基于所述连通区域属性确定视频检索结果还包括：

分别通过第一维度的投影和所述第二维度投影得到所述相似视频片段在所述待检索视频和所述预设视频中起始时间和结束时间。

5.如权利要求1所述的视频检索方法，其特征在于，所述基于所述连通区域属性确定视频检索结果还包括：

基于所述连通区域的形状确认所述待检索视频相对于所述预设视频的帧变换。

6.如权利要求1所述的视频检索方法，其特征在于，分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵包括：

分别提取待检索视频和预设视频的多个视频帧的指纹向量；

分别合并所述多个视频帧的指纹向量，构建所述第一视频指纹矩阵所述第二视频指纹矩阵。

7.一种基于视频指纹的视频检索装置，其特征在于，包括：

构建模块，用于分别构建待检索视频的第一视频指纹矩阵和预设视频的第二视频指纹矩阵；

计算模块，用于计算所述第一视频指纹和所述第二视频指纹的相关矩阵；

连通区域划定模块，用于确定所述相关矩阵中的连通区域；

结果确认模块，用于基于所述连通区域属性确定视频检索结果。

8.如权利要求7所述的视频检索装置，其特征在于，所述连通区域划定模块包括：

二值化单元，用于通过预设阈值将所述相关矩阵二值化；

标记单元，用于基于轮廓标记法在所述二值化后的相关矩阵中确定连通区域。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任意一项所述的基于视频指纹的视频检索方法。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任意一项所述的基于视频指纹的视频检索方法。

Images