CN113065025A - 视频查重方法、装置、设备及存储介质 - Google Patents
视频查重方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113065025A CN113065025A CN202110352954.9A CN202110352954A CN113065025A CN 113065025 A CN113065025 A CN 113065025A CN 202110352954 A CN202110352954 A CN 202110352954A CN 113065025 A CN113065025 A CN 113065025A
- Authority
- CN
- China
- Prior art keywords
- video
- features
- preset
- searched
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- HDAJUGGARUFROU-JSUDGWJLSA-L MoO2-molybdopterin cofactor Chemical compound O([C@H]1NC=2N=C(NC(=O)C=2N[C@H]11)N)[C@H](COP(O)(O)=O)C2=C1S[Mo](=O)(=O)S2 HDAJUGGARUFROU-JSUDGWJLSA-L 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/71—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种视频查重方法、装置、设备及存储介质，涉及数据处理技术领域。包括：获取待查重视频的待查重视频特征和待查重帧特征；根据待查重视频特征在索引库的预设视频特征中，检索与待查重视频特征匹配的目标视频特征，索引库中包括多个预设视频对应的预设视频特征；根据目标视频特征对应的目标帧特征和待查重帧特征，确定索引库中是否存在与待查重视频重复的视频。基于待查重视频的待查重视频特征检索得到匹配的目标视频特征，继而再根据目标视频特征对应的目标帧特征和待查重帧特征确定索引库中是否存在与待查重视频重复的视频。采用视频特征和帧特征结合查找与待查重视频重复的视频，提高了查找准确率和用户体验。
Description
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种视频查重方法、装置、设备及存储介质。
背景技术
视频指纹技术和手指指纹技术类似，分别是视频和人的独有的一种属性，通过视频指纹技术可以快速区分不同的视频以及查找相关视频，为了避免视频的重复，对于视频的查重也变得越来越重要。
相关技术中，根据待检索视频的视频特征在数据库中进行查找，确定数据库中与视频特征相匹配的多个预设视频特征，从而确定数据库中与待检索视频重复的预设视频。
但是，相关技术中，采用视频特征进行查找重复视频，容易出现查找准确率较低的问题，降低了用户体验。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种视频查重方法、装置、设备及存储介质，以便解决相关技术中，采用视频特征进行查找重复视频，容易出现查找准确率较低的问题，降低了用户体验的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种视频查重方法，包括：
获取待查重视频的待查重视频特征和待查重帧特征；
根据所述待查重视频特征在索引库的预设视频特征中，检索与所述待查重视频特征匹配的目标视频特征，所述索引库中包括多个预设视频对应的所述预设视频特征；
根据所述目标视频特征对应的目标帧特征和所述待查重帧特征，确定所述索引库中是否存在与所述待查重视频重复的视频。
可选的，所述根据所述待查重视频特征在索引库中，检索与所述待查重视频特征匹配的目标视频特征，包括：
根据所述待查重视频特征在所述索引库中，查找与所述待查重视频特征匹配的重复视频特征；
确定所述重复视频特征所在的重复组，所述重复组中包括存在重复的多个预设视频特征；
将所述重复组中，最早存入的预设视频特征作为所述目标视频特征。
可选的，所述根据所述目标视频特征对应的目标帧特征和所述待查重帧特征，确定所述索引库中是否存在与所述待查重视频重复的视频，包括：
根据所述目标帧特征和所述待查重帧特征，确定匹配帧的数量；
判断所述匹配帧的数量，是否大于或者等于预设帧阈值；
若所述匹配帧的数量大于或者等于所述预设帧阈值，则确定所述索引库中存在与所述待查重视频重复的视频；
若所述匹配帧的数量小于所述预设帧阈值，则确定所述索引库中不存在与所述待查重视频重复的视频，并为所述待查重视频分配新的重复组标识。
可选的，所述根据所述待查重视频特征在所述索引库中，查找与所述待查重视频特征匹配的重复视频特征，包括：
根据所述待查重视频特征在所述索引库中，召回得到匹配率最高的原始视频特征；
判断所述原始视频特征与待查重视频特征的欧式距离，是否小于或者等于预设距离阈值；
若所述欧式距离小于或者等于所述预设距离阈值，则确定所述原始视频特征为所述重复视频特征。
可选的，所述方法还包括：
若所述欧式距离大于所述预设距离阈值，则确定所述索引库中不存在与所述待查重视频重复的视频，并为所述待查重视频分配新的重复组标识。
可选的，在所述根据所述待查重视频特征在索引库的预设视频特征中，检索与所述待查重视频特征匹配的目标视频特征之前，所述方法还包括：
采用特征提取网络提取所述多个预设视频中每个帧的卷积特征，所述特征提取网络是由数据增强处理后的训练视频所训练得到的；
根据所述卷积特征，确定所述多个预设视频对应的所述预设视频特征和预设帧特征；
根据所述预设帧特征和所述预设视频特征，建立所述索引库。
可选的，所述根据所述卷积特征，确定所述多个预设视频对应的所述预设视频特征和预设帧特征，包括：
采用预设核函数，对所述卷积特征的中间特征进行加权处理，得到加权后的卷积特征；
对所述加权后的卷积特征进行特征编码，得到所述预设帧特征；
根据各个预设视频对应的所述预设帧特征，确定所述各个预设视频的预设视频特征。
第二方面，本发明实施例还提供了一种视频查重装置，包括：
获取模块，用于获取待查重视频的待查重视频特征和待查重帧特征；
检索模块，用于根据所述待查重视频特征在索引库的预设视频特征中，检索与所述待查重视频特征匹配的目标视频特征，所述索引库中包括多个预设视频对应的所述预设视频特征；
确定模块，用于根据所述目标视频特征对应的目标帧特征和所述待查重帧特征，确定所述索引库中是否存在与所述待查重视频重复的视频。
可选的，所述检索模块，还用于根据所述待查重视频特征在所述索引库中，查找与所述待查重视频特征匹配的重复视频特征；确定所述重复视频特征所在的重复组，所述重复组中包括存在重复的多个预设视频特征；将所述重复组中，最早存入的预设视频特征作为所述目标视频特征。
可选的，所述确定模块，还用于根据所述目标帧特征和所述待查重帧特征，确定匹配帧的数量；判断所述匹配帧的数量，是否大于或者等于预设帧阈值；若所述匹配帧的数量大于或者等于所述预设帧阈值，则确定所述索引库中存在与所述待查重视频重复的视频；若所述匹配帧的数量小于所述预设帧阈值，则确定所述索引库中不存在与所述待查重视频重复的视频，并为所述待查重视频分配新的重复组标识。
可选的，所述检索模块，还用于根据所述待查重视频特征在所述索引库中，召回得到匹配率最高的原始视频特征；判断所述原始视频特征与待查重视频特征的欧式距离，是否小于或者等于预设距离阈值；若所述欧式距离小于或者等于所述预设距离阈值，则确定所述原始视频特征为所述重复视频特征。
可选的，所述装置还包括：
分配模块，用于若所述欧式距离大于所述预设距离阈值，则确定所述索引库中不存在与所述待查重视频重复的视频，并为所述待查重视频分配新的重复组标识。
可选的，所述装置还包括：
提取模块，用于采用特征提取网络提取所述多个预设视频中每个帧的卷积特征，所述特征提取网络是由数据增强处理后的训练视频所训练得到的；
第一确定模块，用于根据所述卷积特征，确定所述多个预设视频对应的所述预设视频特征和所述预设帧特征；
建立模块，用于根据所述预设帧特征和所述预设视频特征，建立所述索引库。
可选的，所述第一确定模块，用于采用预设核函数，对所述卷积特征的中间特征进行加权处理，得到加权后的卷积特征；对所述加权后的卷积特征进行特征编码，得到预设帧特征；根据各个预设视频对应的所述预设帧特征，确定所述各个预设视频的预设视频特征。
第三方面，本发明实施例还提供了一种视频查重设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的视频查重方法。
第四方面，本发明实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面任一项所述的视频查重方法。
本发明的有益效果是：本发明实施例提供一种视频查重方法，包括：获取待查重视频的待查重视频特征和待查重帧特征；根据待查重视频特征在索引库的预设视频特征中，检索与待查重视频特征匹配的目标视频特征，索引库中包括多个预设视频对应的预设视频特征；根据目标视频特征对应的目标帧特征和待查重帧特征，确定索引库中是否存在与待查重视频重复的视频。基于待查重视频的待查重视频特征检索得到匹配的目标视频特征，继而再根据目标视频特征对应的目标帧特征和待查重帧特征确定索引库中是否存在与待查重视频重复的视频。采用视频特征和帧特征结合查找与待查重视频重复的视频，提高了查找准确率，进而提高了用户体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种视频查重方法的流程示意图；
图2为本发明实施例提供的一种视频查重方法的流程示意图；
图3为本发明实施例提供的一种视频查重方法的流程示意图；
图4为本发明实施例提供的一种视频查重方法的流程示意图；
图5为本发明实施例提供的一种视频查重方法的流程示意图；
图6为本发明实施例提供的一种视频查重方法的流程示意图；
图7为本发明实施例提供的一种视频查重装置的结构示意图；
图8为本发明实施例提供的一种视频查重设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
针对相关技术中采用视频特征进行查找重复视频，容易出现查找准确率较低的问题，降低了用户体验的问题。本申请实施例提供一种视频查重方法，基于待查重视频的待查重视频特征检索得到匹配的目标视频特征，继而再根据目标视频特征对应的目标帧特征和待查重帧特征确定索引库中是否存在与待查重视频重复的视频。采用视频特征和帧特征结合查找与待查重视频重复的视频，提高了查找准确率，进而提高了用户体验。
本申请实施例提供一种视频查重方法，其执行主体可以为视频查重设备，该视频查重设备可以为终端或者服务器，还可以为其他类型具备处理功能的设备。例如，当视频查重设备为终端时，视频查重设备可以为台式电脑、笔记本电脑或者平板电脑等，以下以终端为执行主体，对本申请实施例提供的视频查重方法进行解释说明。
图1为本发明实施例提供的一种视频查重方法的流程示意图，如图1所示，该方法可以包括：
S101、获取待查重视频的待查重视频特征和待查重帧特征。
其中，待查重视频也可以称为待检索视频，待查重视频可以为长视频或者短视频，本申请实施例对于待查重视频的时长或者大小不进行具体限制。
在一些实施方式中，终端可以采用特征提取网络提取待查重视频的卷积特征，根据待查重视频的卷积特征确定待查重帧特征，基于待查重帧特征确定待查重视频的待查重视频特征。
需要说明的是，一待查重视频可以包括至少一待查重帧，每个待查重帧均具有对应的待查重帧特征，即存在至少一个待查重帧特征，将至少一个待查重帧特征取平均处理，可以得到待查重视频特征。
S102、根据待查重视频特征在索引库的预设视频特征中，检索与待查重视频特征匹配的目标视频特征。
其中，索引库中包括多个预设视频对应的预设视频特征。
在一种可能的实施方式中，终端可以计算各个预设视频特征与待查重视频特征之间的相似度，得到相似度排序，基于相似度排序确定与待查重视频特征匹配的目标视频特征。
可选的，目标视频特征可以为与预设视频特征中，与待查重视频特征相似度最高的预设视频特征，或者，目标视频特征可以为根据相似度最高的预设视频特征所确定的视频特征。
S103、根据目标视频特征对应的目标帧特征和待查重帧特征，确定索引库中是否存在与待查重视频重复的视频。
其中，终端在确定目标视频特征后，可以根据目标视频特征进行实时计算，确定目标视频特征对应的目标帧特征。目标视频中的每个目标帧对应一个目标帧特征，则存在至少一个目标帧特征；待查重视频中的每个待查重帧对应一个待查重帧特征，则存在至少一个待查重帧特征。
在一些实施方式中，终端可以对各个目标帧特征和待查重帧特征进行匹配得到至少一个匹配结果，判断至少一个匹配结果是否满足预设条件；若满足，则确定索引库中存在与待查重视频重复的视频；若不满足，则确定索引库中不存在与待查重视频重复的视频。其中，每个匹配结果用于表征对应的目标帧特征和待查重帧特征相似或者不相似。
另外，若索引库中存在与待查重视频重复的视频，目标视频特征所对应的目标视频可以为与待查重视频重复的视频。
综上所述，本发明实施例提供一种视频查重方法，包括：获取待查重视频的待查重视频特征和待查重帧特征；根据待查重视频特征在索引库的预设视频特征中，检索与待查重视频特征匹配的目标视频特征，索引库中包括多个预设视频对应的预设视频特征和预设帧特征；根据目标视频特征对应的目标帧特征和待查重帧特征，确定索引库中是否存在与待查重视频重复的视频。基于待查重视频的待查重视频特征检索得到匹配的目标视频特征，继而再根据目标视频特征对应的目标帧特征和待查重帧特征确定索引库中是否存在与待查重视频重复的视频。采用视频特征和帧特征结合查找与待查重视频重复的视频，提高了查找准确率，进而提高了用户体验。
可选的，上述关于S101的描述中，根据待查重视频的卷积特征确定待查重帧特征的过程可以包括：采用预设核函数，对待查重视频的卷积特征的中间特征进行加权处理，得到待查重视频的加权后的卷积特征，对待查重视频的加权后的卷积特征进行特征编码，得到待查重帧特征。
需要说明的是，对待查重视频的卷积特征的中间特征进行加权处理，所获取的待查重视频特征和待查重帧特征更加准确，更能准确的表示待查重视频，也进一步的可以提高查找的准确率。
可选的，图2为本发明实施例提供的一种视频查重方法的流程示意图，如图2所示，上述S102中根据待查重视频特征在索引库中，检索与待查重视频特征匹配的目标视频特征的过程，可以包括：
S201、根据待查重视频特征在索引库中，查找与待查重视频特征匹配的重复视频特征。
其中，重复视频特征可以为预设视频特征中的其中一个。
在一些实施方式中，终端可以对待查重视频特征和各个预设视频特征之间的相似度，得到相似度排序，将相似度排序中最高相似度对应的预设视频特征直接作为重复视频特征。
可选的，终端还可以根据最高相似度对应的预设视频特征，确定重复视频特征，本申请实施例对此不进行具体限制。
S202、确定重复视频特征所在的重复组，重复组中包括存在重复的多个预设视频特征。
其中，索引库中可以包括：多个预设重复组，每个预设重复组可以包括：存在重复的至少一个个预设视频特征，每个预设重复组均具有对应的预设重复组标识。
在本申请实施例中，终端可以确定重复视频特征所在的重复组标识，确定重复视频特征所在的重复组，其中，重复组可以为多个预设重复组中的其中一个。
S203、将重复组中，最早存入的预设视频特征作为目标视频特征。
需要说明的是，重复组中的多个预设视频特征均具有对应的存储时间，将存储时间最早的预设视频特征作为目标视频特征。
综上所述，将最早存入的预设视频特征作为目标视频特征，可以使得确定的目标视频特征与待查重视频特征更加匹配，即可以使得确定的目标视频特征更加准确。
可选的，图3为本发明实施例提供的一种视频查重方法的流程示意图，如图3所示，上述S103中根据目标视频特征对应的目标帧特征和待查重帧特征，确定索引库中是否存在与待查重视频重复的视频的过程，可以包括：
S301、根据目标帧特征和待查重帧特征，确定匹配帧的数量。
其中，目标帧特征的数量可以为至少一个，待查重帧特征的数量也可以为至少一个。
在一种可能的实施方式中，对一目标帧特征和对应的待查重帧特征分别进行匹配，得到至少一个匹配结果，每个匹配结果表示一目标帧特征和对应的待查重帧特征匹配或者不匹配，统计至少一个匹配结果中表征匹配的匹配结果，得到匹配帧的数量。
S302、判断匹配帧的数量，是否大于或者等于预设帧阈值。
需要说明的是，预设帧阈值可以根据实际需求进行设定，可以根据经验值进行设定，还可以采用其他方式进行设定，本申请实施例对此不进行具体限制。
S303、若匹配帧的数量大于或者等于预设帧阈值，则确定索引库中存在与待查重视频重复的视频。
在本申请实施例中，若匹配帧的数量大于或者等于预设帧阈值，说明待查重帧特征和目标帧特征的匹配程度较高，确定索引库中存在与待查重视频重复的视频，并将目标帧特征所在的重复组标识作为待查重视频的重复组标识。
S304、若匹配帧的数量小于预设帧阈值，则确定索引库中不存在与待查重视频重复的视频，并为待查重视频分配新的重复组标识。
可选的，终端可以采用预设算法执行上述S301至S304的过程，其中，预设算法可以为smith waterman(史密斯-沃特曼)算法，可以用来做帧匹配，即使视频存在有错位的情况，仍然可以有很好的匹配结果，从而可以提高帧匹配的准确率，从而可以提高视频查重的准确率。
可选的，图4为本发明实施例提供的一种视频查重方法的流程示意图，如图4所示，上述S201中根据待查重视频特征在索引库中，查找与待查重视频特征匹配的重复视频特征的过程，可以包括：
S401、根据待查重视频特征在索引库中，召回得到匹配率最高的原始视频特征。
S402、判断原始视频特征与待查重视频特征的欧式距离，是否小于或者等于预设距离阈值。
S403、若欧式距离小于或者等于预设距离阈值，则确定原始视频特征为重复视频特征。
其中，在确定原始视频特征为重复视频特征后，终端可以继续执行S202至S203的过程。
需要说明的是，预设距离阈值可以根据实际需求进行设定，可以根据经验值进行设定，还可以采用其他方式进行设定，本申请实施例对此不进行具体限制。
可选的，该方法还包括：
若欧式距离大于预设距离阈值，则确定索引库中不存在与待查重视频重复的视频，并为待查重视频分配新的重复组标识。
可选的，图5为本发明实施例提供的一种视频查重方法的流程示意图，如图5所示，在上述S102中根据待查重视频特征在索引库的预设视频特征中，检索与待查重视频特征匹配的目标视频特征的过程之前，该方法还可以包括：
S501、采用特征提取网络提取多个预设视频中每个帧的卷积特征，特征提取网络是由数据增强处理后的训练视频所训练得到的。
其中，由数据增强处理后的训练视频所训练得到的特征提取网络，可以更好的贴近实际业务需求。数据增强处理可以包括下述至少一项的组合：加黑边、加模糊边、裁剪、加logo(徽标)等。
另外，终端可以采用基于无监督学习的方式进行特征提取，例如，无监督学习的方式可以为MOCO v2的方式。
在一些实施方式中，终端可以采用resnet34作为MOCO v2主干网络，即特征提取网络，通过特征提取网络提取多个预设视频中每个帧的卷积特征，其中，resnet34可以很好的平衡速度和精度。
需要说明的是，全连接特征更加关注全局特征，相比于使用全连接特征，选择卷积特征用可以更关注空间信息表达，同时局部特征的表达对视频去重更重要。
S502、根据卷积特征，确定多个预设视频对应的预设视频特征和预设帧特征。
其中，终端可以先对卷积特征进行处理得到预设帧特征，基于预设帧特征可以获取预设视频特征，从而可以确定预设视频特征和预设帧特征。
S503、根据预设帧特征和预设视频特征，建立索引库。
在本申请实施例中，终端可以对预设帧特征和预设视频特征进行存储，并使用预设帧特征和预设视频特征进行索引，得到建立好的索引库。其中，终端可以采用预设框架建立索引，预设框架可以为faiss(一种框架)。
可选的，图6为本发明实施例提供的一种视频查重方法的流程示意图，如图6所示，上述S502中根据卷积特征，确定多个预设视频对应的预设视频特征和预设帧特征的过程，可以包括：
S601、采用预设核函数，对卷积特征的中间特征进行加权处理，得到加权后的卷积特征。
需要说明的是，卷积特征对裁剪，黑边，模糊边，logo，水印等特效不敏感，容易导致大量的漏召，终端可以采用预设核函数，对卷积特征的中间特征进行加权处理，得到的加权后的卷积特征，可以突出视频特征的中央区域。
S602、对加权后的卷积特征进行特征编码，得到预设帧特征。
其中，加权后的卷积特征对后续的存储和计算都带来较大负担，所以要做特征编码。例如，加权后的卷积特征为[14，14，512]，预设帧特征可以为[1，512]。
在一些实施方式中，终端可以采用滑窗的方式对加权后的卷积特征进行特征编码，以保留了局部特征及空间表达，同时特征表达也更佳。可选的，终端可以采用RmacPooling进行特征编码。
S603、根据各个预设视频对应的预设帧特征，确定各个预设视频的预设视频特征。
其中，各个预设视频可以对应至少一个预设帧特征。
在本申请实施例中，终端可以对各个预设视频对应的至少一个预设帧特征取平均处理，得到各个预设视频的预设视频特征。
需要说明的是，采用预设核函数，对卷积特征的中间特征进行加权处理，可以突出视频特征的中央区域，使得确定预设视频特征和预设帧特征更加准确，从而使得视频查重更加准确。
综上所述，本发明实施例提供一种视频查重方法，包括：获取待查重视频的待查重视频特征和待查重帧特征；根据待查重视频特征在索引库的预设视频特征中，检索与待查重视频特征匹配的目标视频特征，索引库中包括多个预设视频对应的预设视频特征和预设帧特征；根据目标视频特征对应的目标帧特征和待查重帧特征，确定索引库中是否存在与待查重视频重复的视频。基于待查重视频的待查重视频特征检索得到匹配的目标视频特征，继而再根据目标视频特征对应的目标帧特征和待查重帧特征确定索引库中是否存在与待查重视频重复的视频。采用视频特征和帧特征结合查找与待查重视频重复的视频，提高了查找准确率，进而提高了用户体验。
而且，还可以突出视频特征的中央区域，使得确定预设视频特征和预设帧特征更加准确，从而使得视频查重更加准确，极大的提高了视频查重的准确率和召回率。
下述对用以执行本申请所提供的视频查重方法的视频查重装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述视频查重方法的相关内容，下述不再赘述。
图7为本发明实施例提供的一种视频查重装置的结构示意图，如图7所示，该装置可以包括：
获取模块701，用于获取待查重视频的待查重视频特征和待查重帧特征；检索模块702，用于根据待查重视频特征在索引库的预设视频特征中，检索与待查重视频特征匹配的目标视频特征，索引库中包括多个预设视频对应的预设视频特征；
确定模块703，用于根据目标视频特征对应的目标帧特征和待查重帧特征，确定索引库中是否存在与待查重视频重复的视频。
可选的，检索模块702，还用于根据待查重视频特征在索引库中，查找与待查重视频特征匹配的重复视频特征；确定重复视频特征所在的重复组，重复组中包括存在重复的多个预设视频特征；将重复组中，最早存入的预设视频特征作为目标视频特征。
可选的，确定模块703，还用于根据目标帧特征和待查重帧特征，确定匹配帧的数量；判断匹配帧的数量，是否大于或者等于预设帧阈值；若匹配帧的数量大于或者等于预设帧阈值，则确定索引库中存在与待查重视频重复的视频；若匹配帧的数量小于预设帧阈值，则确定索引库中不存在与待查重视频重复的视频，并为待查重视频分配新的重复组标识。
可选的，检索模块702，还用于根据待查重视频特征在索引库中，召回得到匹配率最高的原始视频特征；判断原始视频特征与待查重视频特征的欧式距离，是否小于或者等于预设距离阈值；若欧式距离小于或者等于预设距离阈值，则确定原始视频特征为重复视频特征。
可选的，该装置还包括：
分配模块，用于若欧式距离大于预设距离阈值，则确定索引库中不存在与待查重视频重复的视频，并为待查重视频分配新的重复组标识。
可选的，该装置还包括：
提取模块，用于采用特征提取网络提取多个预设视频中每个帧的卷积特征，特征提取网络是由数据增强处理后的训练视频所训练得到的；
第一确定模块，用于根据卷积特征，确定多个预设视频对应的预设视频特征和预设帧特征；
建立模块，用于根据预设帧特征和预设视频特征，建立索引库。
可选的，第一确定模块，用于采用预设核函数，对卷积特征的中间特征进行加权处理，得到加权后的卷积特征；对加权后的卷积特征进行特征编码，得到预设帧特征；根据各个预设视频对应的预设帧特征，确定各个预设视频的预设视频特征。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。
图8为本发明一实施例提供的视频查重设备的结构示意图，如图8所示，该视频查重设备可以包括：处理器801、存储器802。
存储器802用于存储程序，处理器801调用存储器802存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种视频查重方法，其特征在于，包括：
获取待查重视频的待查重视频特征和待查重帧特征；
根据所述待查重视频特征在索引库的预设视频特征中，检索与所述待查重视频特征匹配的目标视频特征，所述索引库中包括多个预设视频对应的所述预设视频特征；
根据所述目标视频特征对应的目标帧特征和所述待查重帧特征，确定所述索引库中是否存在与所述待查重视频重复的视频。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待查重视频特征在索引库中，检索与所述待查重视频特征匹配的目标视频特征，包括：
根据所述待查重视频特征在所述索引库中，查找与所述待查重视频特征匹配的重复视频特征；
确定所述重复视频特征所在的重复组，所述重复组中包括存在重复的多个预设视频特征；
将所述重复组中，最早存入的预设视频特征作为所述目标视频特征。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标视频特征对应的目标帧特征和所述待查重帧特征，确定所述索引库中是否存在与所述待查重视频重复的视频，包括：
根据所述目标帧特征和所述待查重帧特征，确定匹配帧的数量；
判断所述匹配帧的数量，是否大于或者等于预设帧阈值；
若所述匹配帧的数量大于或者等于所述预设帧阈值，则确定所述索引库中存在与所述待查重视频重复的视频；
若所述匹配帧的数量小于所述预设帧阈值，则确定所述索引库中不存在与所述待查重视频重复的视频，并为所述待查重视频分配新的重复组标识。
4.根据权利要求2所述的方法，其特征在于，所述根据所述待查重视频特征在所述索引库中，查找与所述待查重视频特征匹配的重复视频特征，包括：
根据所述待查重视频特征在所述索引库中，召回得到匹配率最高的原始视频特征；
判断所述原始视频特征与待查重视频特征的欧式距离，是否小于或者等于预设距离阈值；
若所述欧式距离小于或者等于所述预设距离阈值，则确定所述原始视频特征为所述重复视频特征。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述欧式距离大于所述预设距离阈值，则确定所述索引库中不存在与所述待查重视频重复的视频，并为所述待查重视频分配新的重复组标识。
6.根据权利要求1所述的方法，其特征在于，在所述根据所述待查重视频特征在索引库的预设视频特征中，检索与所述待查重视频特征匹配的目标视频特征之前，所述方法还包括：
采用特征提取网络提取所述多个预设视频中每个帧的卷积特征，所述特征提取网络是由数据增强处理后的训练视频所训练得到的；
根据所述卷积特征，确定所述多个预设视频对应的所述预设视频特征和预设帧特征；
根据所述预设帧特征和所述预设视频特征，建立所述索引库。
7.根据权利要求6所述的方法，其特征在于，所述根据所述卷积特征，确定所述多个预设视频对应的所述预设视频特征和预设帧特征，包括：
采用预设核函数，对所述卷积特征的中间特征进行加权处理，得到加权后的卷积特征；
对所述加权后的卷积特征进行特征编码，得到所述预设帧特征；
根据各个预设视频对应的所述预设帧特征，确定所述各个预设视频的预设视频特征。
8.一种视频查重装置，其特征在于，包括：
获取模块，用于获取待查重视频的待查重视频特征和待查重帧特征；
检索模块，用于根据所述待查重视频特征在索引库的预设视频特征中，检索与所述待查重视频特征匹配的目标视频特征，所述索引库中包括多个预设视频对应的所述预设视频特征；
确定模块，用于根据所述目标视频特征对应的目标帧特征和所述待查重帧特征，确定所述索引库中是否存在与所述待查重视频重复的视频。
9.一种视频查重设备，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的视频查重方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-7任一项所述的视频查重方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352954.9A CN113065025A (zh) | 2021-03-31 | 2021-03-31 | 视频查重方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110352954.9A CN113065025A (zh) | 2021-03-31 | 2021-03-31 | 视频查重方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113065025A true CN113065025A (zh) | 2021-07-02 |
Family
ID=76565029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110352954.9A Pending CN113065025A (zh) | 2021-03-31 | 2021-03-31 | 视频查重方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113065025A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156200A (zh) * | 2023-06-06 | 2023-12-01 | 青岛尘元科技信息有限公司 | 海量视频的去重方法、***、电子设备和介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617233A (zh) * | 2013-11-26 | 2014-03-05 | 烟台中科网络技术研究所 | 一种基于语义内容多层表示的重复视频检测方法与装置 |
| CN107665261A (zh) * | 2017-10-25 | 2018-02-06 | 北京奇虎科技有限公司 | 视频查重的方法及装置 |
| CN107705805A (zh) * | 2017-10-25 | 2018-02-16 | 北京奇虎科技有限公司 | 音频查重的方法及装置 |
| CN107943849A (zh) * | 2017-11-03 | 2018-04-20 | 小草数语（北京）科技有限公司 | 视频文件的检索方法及装置 |
| CN109189991A (zh) * | 2018-08-17 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 重复视频识别方法、装置、终端及计算机可读存储介质 |
| CN109275008A (zh) * | 2018-09-17 | 2019-01-25 | 青岛海信电器股份有限公司 | 一种音视频同步的方法和装置 |
| CN109816011A (zh) * | 2019-01-21 | 2019-05-28 | 厦门美图之家科技有限公司 | 生成人像分割模型的方法和视频关键帧提取方法 |
| CN110490119A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 重复视频标记方法、装置和计算机可读存储介质 |
| CN110502664A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 视频标签索引库创建方法、视频标签生成方法及装置 |
| CN110688524A (zh) * | 2019-09-24 | 2020-01-14 | 深圳市网心科技有限公司 | 视频检索方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-31 CN CN202110352954.9A patent/CN113065025A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617233A (zh) * | 2013-11-26 | 2014-03-05 | 烟台中科网络技术研究所 | 一种基于语义内容多层表示的重复视频检测方法与装置 |
| CN107665261A (zh) * | 2017-10-25 | 2018-02-06 | 北京奇虎科技有限公司 | 视频查重的方法及装置 |
| CN107705805A (zh) * | 2017-10-25 | 2018-02-16 | 北京奇虎科技有限公司 | 音频查重的方法及装置 |
| CN107943849A (zh) * | 2017-11-03 | 2018-04-20 | 小草数语（北京）科技有限公司 | 视频文件的检索方法及装置 |
| CN109189991A (zh) * | 2018-08-17 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 重复视频识别方法、装置、终端及计算机可读存储介质 |
| CN109275008A (zh) * | 2018-09-17 | 2019-01-25 | 青岛海信电器股份有限公司 | 一种音视频同步的方法和装置 |
| CN109816011A (zh) * | 2019-01-21 | 2019-05-28 | 厦门美图之家科技有限公司 | 生成人像分割模型的方法和视频关键帧提取方法 |
| CN110490119A (zh) * | 2019-08-14 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 重复视频标记方法、装置和计算机可读存储介质 |
| CN110502664A (zh) * | 2019-08-27 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 视频标签索引库创建方法、视频标签生成方法及装置 |
| CN110688524A (zh) * | 2019-09-24 | 2020-01-14 | 深圳市网心科技有限公司 | 视频检索方法、装置、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117156200A (zh) * | 2023-06-06 | 2023-12-01 | 青岛尘元科技信息有限公司 | 海量视频的去重方法、***、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491433B (zh) | 聊天应答方法、电子装置及存储介质 | |
| CN108334533B (zh) | 关键词提取方法和装置、存储介质及电子装置 | |
| WO2020006835A1 (zh) | 智能客服多轮问答方法、设备、存储介质及装置 | |
| CN109086394B (zh) | 搜索排序方法、装置、计算机设备和存储介质 | |
| US9348898B2 (en) | Recommendation system with dual collaborative filter usage matrix | |
| CN109634698B (zh) | 菜单显示方法、装置、计算机设备及存储介质 | |
| CN110377558B (zh) | 文档查询方法、装置、计算机设备和存储介质 | |
| CN108512883B (zh) | 一种信息推送方法、装置及可读介质 | |
| CN106033455B (zh) | 一种处理用户操作信息的方法与设备 | |
| CN112883258A (zh) | 信息推荐方法、装置、电子设备及存储介质 | |
| CN111428120B (zh) | 一种信息确定方法、装置、电子设备及存储介质 | |
| CN111177436A (zh) | 一种人脸特征检索方法、装置及设备 | |
| CN115809371A (zh) | 基于数据分析的学习需求确定方法及*** | |
| CN110083731B (zh) | 图像检索方法、装置、计算机设备及存储介质 | |
| CN109299238B (zh) | 一种数据查询方法和装置 | |
| CN113065025A (zh) | 视频查重方法、装置、设备及存储介质 | |
| CN110674388A (zh) | 推送项目的配图方法、装置、存储介质和终端设备 | |
| CN113032524A (zh) | 商标侵权识别方法、终端设备及存储介质 | |
| CN115687790B (zh) | 基于大数据的广告推送方法、***及云平台 | |
| CN108170664B (zh) | 基于重点关键词的关键词拓展方法和装置 | |
| CN110895538A (zh) | 数据检索方法、装置、存储介质和处理器 | |
| CN115130455A (zh) | 文章处理方法、装置、电子设备以及存储介质 | |
| CN114741489A (zh) | 文档检索方法、装置、存储介质以及电子设备 | |
| CN111078972B (zh) | 提问行为数据的获取方法、装置和服务器 | |
| US20180276294A1 (en) | Information processing apparatus, information processing system, and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |