CN103257992A

CN103257992A - 一种相似视频检索的方法及***

Info

Publication number: CN103257992A
Application number: CN2013100340117A
Authority: CN
Inventors: 朱明�; 曹海傧; 冯伟国; 汪昀
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2013-01-29
Filing date: 2013-01-29
Publication date: 2013-08-21

Abstract

本发明公开了一种相似视频检索的方法及***，其中，该方法包括：利用颜色空间模型计算视频库中每一视频关键帧集合的特征矢量；通过哈希函数映射所述特征矢量，根据映射后的矢量值所在区间构建索引；根据待检索视频每一运动矢量映射后的各个矢量值所在区间确定对应索引的编号，提取对应索引下所有特征矢量对应的视频信息，根据待检索视频与对应索引下提取出的视频中相似关键帧的个数进行相似度的计算；将大于阈值的计算结果对应的视频作为检索结果输出。通过采用本发明公开的方法提高了相似视频检索的效率及准确度。

Description

一种相似视频检索的方法及***

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种相似视频检索的方法及***。

背景技术

随着网络流媒体技术的快速发展，互联网中出现了越来越多的视频及多媒体数据，这些视频以几何级数的方式增长，成为了互联网中信息发布和娱乐的主流。面对海量的多媒体数据，如何快速从海量视频中查找出相似甚至相同的视频成为了一个热点研究问题。

传统的基于文本的检索视频方法存在很多不足之处。其主要通过对视频周边文本进行索引来完成对视频来进行相似视频的检索，但视频内容不同于文本内容，视频数据与其语义信息之间存在很大差别，单纯依赖周边文本的方式不能准确描述视频内容也忽略了视频视觉感知等多媒体特征和信息。另一方面，采用单纯基于文本的方式需要对网络中海量视频数据进行手工标注，工作量巨大，同时标注视频存在一定主观性，对于同一段视频不同人可能有不同的理解。由此造成相似性检索的准确率很低，效果很难得到进一步的提高。

发明内容

本发明的目的是提供一种相似视频检索的方法及***，提高了相似视频检索的效率及准确度。

一种相似视频检索的方法，该方法包括：

利用颜色空间模型计算视频库中每一视频关键帧集合的特征矢量；

通过哈希函数映射所述特征矢量，根据映射后的矢量值所在区间构建索引；

根据待检索视频每一运动矢量映射后的各个矢量值所在区间确定对应索引的编号，提取对应索引下所有特征矢量对应的视频信息，根据待检索视频与对应索引下提取出的视频中相似关键帧的个数进行相似度的计算；

将大于阈值的计算结果对应的视频作为检索结果输出。

一种相似视频检索的***，该***包括：

特征矢量计算模块，用于利用颜色空间模型计算视频库中每一视频关键帧集合的特征矢量；

索引构建模块，用于通过哈希函数映射所述特征矢量，根据映射后的矢量值所在区间构建索引；

相似度计算模块，用于根据待检索视频每一运动矢量映射后的各个矢量值所在区间确定对应索引的编号，提取对应索引下所有特征矢量对应的视频信息，根据待检索视频与对应索引下提取出的视频中相似关键帧的个数进行相似度的计算；

检索结果输出模块，用于将大于阈值的计算结果对应的视频作为检索结果输出。

由上述本发明提供的技术方案可以看出，通过视频的内容提取特征矢量，利用这些特征矢量建立索引，并以此为基础与待检索视频进行相似度的计算；可高效及准确的在海量视频库中实现相似视频的检索。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例一提供的一种相似视频检索的方法的流程图；

图2为本发明实施例一提供的一种聚类算法的流程图；

图3为本发明实施例二提供的一种相似视频检索的***的示意图；

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

图1为本发明实施例一提供的一种相似视频检索的方法的流程图。如图1所示，主要包括如下步骤：

步骤11、提取视频库中每一视频的关键帧集合。

由于视频中相邻帧的差异性不大，如果采用等时间间隔提取关键帧的方法，提取频率过高会造成特征数据量巨大影响特征提取速度；且相邻帧的差异不大，相似性过高，造成特征冗余；但是，若提取频率过低，虽然可以减少特征数据量、加快特征提取速度但抽取的特征集合不能全面反应视频的总体特征从而降低了检索的准确率。

因此，对于视频库中的每一视频数据均先提取关键帧，例如，采用聚类算法，其通过判断相邻图像帧之间的特征是否发生剧烈变化，来完成视频镜头的边缘检测任务，即用最精简的特征集合全面反映视频总体特征。

如图2所示，聚类算法主要包括如下步骤：

步骤111、从第n帧开始提取视频帧，并以该帧为中心计算后续各帧与其帧间距离。

本步骤基于帧间距离的算法，来判定相邻帧之间内容是否存在突变，考虑到视频开头的若干帧存在噪声信息，故将其过滤，从第n帧开始提取视频帧，并以该帧为中心计算后续各帧与第n帧的距离。

步骤112、判断第n+i（i>0）帧与第n帧的帧间距离是否大于阈值，若是，则转入步骤113；否则转入步骤114。

步骤113、将第n帧作为关键帧，并转入步骤114。

若第n+i帧与第n帧的帧间距离大于阈值，则第n+i帧相对于第n帧为一突变帧，将第n帧至第n+i的前一帧（n+i-1）作为同一个类别，并选择第n帧作为关键帧提取。

步骤114、判断剩余帧数是否小于S。

若当前视频剩余帧数是小于S（例如，2），则结束关键帧的提取操作，否则，可按照重复上述步骤直至剩余帧数小于S。

从上述步骤可以看出聚类中选取得到的关键帧能较好地反映出该段视频镜头的内容且计算复杂度低。需要说明的是，上面介绍的聚类算法仅为举例，用户在实际工作中还可使用其他方法从视频中选择具有代表性的关键帧。

步骤12、利用颜色空间模型计算视频库中每一视频关键帧集合的特征矢量。

示例性的，可通过HSV（色调饱和度亮度）颜色空间模型计算特征矢量，以充分反映色彩空间分布和信息变化状况的能力，增强图片之间的区别能力，提高检索性能。

当通过HSV颜色空间模型将关键帧的图像转换后，其每一个像素的颜色用色调h，饱和度s，亮度v值表示。

为提高颜色模型的准确性，可将图像中与黑色、白色相近的颜色分别作为同一种颜色对待，即(1)黑色区域：所有v<15％的颜色均归入黑色，令h=0，s=0，v=0；(2)白色区域：所有s<10％且v>80％的颜色归入白色，令h=0，s=0，v=1；(3)彩色区域：位于黑色区域和白色区域以外的颜色，其h，s，v值保持不变。

进一步的，为了减少直方图矢量的维数，对HSV空间进行适当的量化后再计算直方图，减少计算量。例如，可将h，s，v这3个分量按照人的颜色感知进行非等间隔的量化，制作出量化标准表，再分别提取图像中的每个像素颜色的h，s，v值，根据量化表得到各像素点量化后的颜色h，s，v值，统计出整个图片HSV颜色直方图矢量，即该关键帧的特征矢量。

步骤13、构建索引。

数据库中的视频文件较多，即使通过上面两个步骤过滤掉了较多冗余数据，但计算量依旧较大。因此，需要构建索引，来进一步减少计算量。

示例性的，可采用基于内存约束的分布式LSH（局部敏感哈希）结构进行索引的构建。

分布式LSH结构采用Master-Slaver（主-从）架构。Master负责维护LSH表的划分策略，Slaver（可作为存储节点）负责维护LSH表中的数据。

通过哈希映射函数，将特征矢量映射为一维矢量，存放到对应的slaver维护的哈希表中。以特征矢量b为例，master首先划分各个slaver维护的哈希表数值范围，将特征矢量b经过哈希函数变换，映射到一维空间其值为C，根据各个slaver节点维护的哈希表数据范围检索C所属区间，由master将该矢量及映射后的值分配到所属slaver下的哈希桶中。每一哈希桶均有独立的编号，并且每一哈希桶中均包含每一特征矢量对应的视频及帧的编号。

当每一特征矢量均通过上述操作后，则完成分布式LSH结构索引的构建。

另外，可由多台数据服务器维护哈希桶中的数据信息并保存在内存中，较好地克服了维数灾难，降低了检索的复杂性，快速可靠。

步骤14、检索相似视频。

检索过程主要包括如下步骤：1）将待检索的视频按照步骤11-步骤12的方式处理获得对应的特征矢量。2）将待检索视频的每一特征矢量经过哈希函数映射，根据映射后的值由master定位其所属slaver及哈希桶编号。3）提取确定编号的哈希桶中所有特征矢量对应的视频信息，并分别统计每一视频包含的关键帧的个数。4）根据待检索视频与对应索引下提取出的视频中相似关键帧的个数并结合下述公式计算待检索视频与哈希桶中提取出的特征矢量所属视频的相似度：

sim (V_{i}, V_{j}) = (\frac{| {KF}_{i} \cap {KF}_{j} |}{| {KF}_{i} |} + \frac{| {KF}_{i} \cap {KF}_{j} |}{{| KF}_{j} |}) / 2;

以上可知，基于分布式LSH索引结构将非相似、不可能成为结果的数据对象过滤掉，可进一步减少计算量。

步骤15、输出检索结果。

按照上述公式可计算待检索视频与当前哈希桶中各个视频的相关度，结果越大表明相关度越高，因此，将大于阈值的计算结果对应的视频作为检索结果输出。

本发明实施例通过使用视觉特征提取技术，并基于内存约束的分布式哈希结构对高维特征矢量建立索引，根据返回的相似关键帧集合对待检索的视频进行相似度计算，实现了海量相似视频的快速检索。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例二

图4为本发明实施例二提供的一种相似视频检索的***的示意图，如图4所示，主要包括：

特征矢量计算模块41，用于利用颜色空间模型计算视频库中每一视频关键帧集合的特征矢量；

索引构建模块42，用于通过哈希函数映射所述特征矢量，根据映射后的矢量值所在区间构建索引；

相似度计算模块43，根据待检索视频每一运动矢量映射后的各个矢量值所在区间确定对应索引的编号，提取对应索引下所有特征矢量对应的视频信息，根据待检索视频与对应索引下提取出的视频中相似关键帧的个数进行相似度的计算；

检索结果输出模块44，用于将大于阈值的计算结果对应的视频作为检索结果输出。

所述特征矢量计算模块41包括：

关键帧集合提取模块411，用于通过聚类算法提取所述视频库中每一视频关键帧集合，且该模块包括：聚类模块412，用于从第n帧开始提取视频帧，并以该帧为中心计算后续各帧与其帧间距离；当第n+i帧与第n帧的帧间距离大于阈值时，则第n帧至第n+i-1帧构成一聚类，将第n帧作为关键帧。

所述特征矢量计算模块41包括：

图像颜色转换模块412，用于利用色调饱和度亮度HSV颜色模型对关键帧中的图像颜色进行转换；

图像特征矢量计算模块413，用于利用HSV空间对颜色转换后的图像进行非等间隔量化，并进行直方图计算获得图像的特征矢量。

所述索引构建模块42包括：

矢量值获取模块421，用于将特征矢量通过哈希函数映射到一维空间，获得对应的矢量值；

特征矢量分配模块422，用于按照矢量值所在的区间确定所属的存储节点编号，并将特征矢量分配到该存储节点对应的哈希桶中；所述哈希桶中包含每一特征矢量对应的视频及帧的信息。

所述相似度计算模块43包括：

信息提取模块431，用于根据待检索视频每一运动矢量映射后的各个矢量值所在区间确定所属的存储节点及对应哈希桶的编号，并提取对应编号哈希桶中所有特征矢量对应视频的信息；

视频相似度计算模块432，用于计算待检索视频与从哈希桶中提取出的特征矢量所属视频的相似度，其公式为：

sim (V_{i}, V_{j}) = (\frac{| {KF}_{i} \cap {KF}_{j} |}{| {KF}_{i} |} + \frac{| {KF}_{i} \cap {KF}_{j} |}{{| KF}_{j} |}) / 2;

其中，|KF_i|为待检索视频V_i的关键帧的数量；|KF_j|为哈希桶中提取出的特征矢量所属视频V_j的关键帧的数量；|KF_i∩KF_j|表示V_i和V_j相似的关键帧的个数。

需要说明的是，上述装置中包含的各个处理单元所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。

本发明实施例通过使用视觉特征提取技术，并基于内存约束的分布式哈希结构对高维特征矢量分类及建立索引，根据返回的相似关键帧集合对待检索的视频进行相似度计算，实现了海量相似视频的快速检索。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种相似视频检索的方法，其特征在于，该方法包括：

将大于阈值的计算结果对应的视频作为检索结果输出。

2.根据权利要求1所述的方法，其特征在于，该方法还包括通过聚类算法提取视频关键帧集合的步骤，且其步骤包括：

从第n帧开始提取视频帧，并以该帧为中心计算后续各帧与其帧间距离；

当第n+i帧与第n帧的帧间距离大于阈值时，则第n帧至第n+i-1帧构成一聚类，并将第n帧作为关键帧。

3.根据权利要求1所述的方法，其特征在于，所述利用颜色空间模型计算视频库中每一视频关键帧集合的特征矢量的步骤包括：

利用色调饱和度亮度HSV颜色模型对关键帧中的图像颜色进行转换；

利用HSV空间对颜色转换后的图像进行非等间隔量化，并进行直方图计算获得图像的特征矢量。

4.根据权利要求1所述的方法，其特征在于，所述根据映射后的矢量值所在区间构建索引的步骤包括：

将特征矢量通过哈希函数映射到一维空间，获得对应的矢量值；

按照矢量值所在的区间确定所属的存储节点编号，并将特征矢量分配到该存储节点对应的哈希桶中；所述哈希桶中包含每一特征矢量对应的视频及帧的信息。

5.根据权利要求4所述的方法，其特征在于，所述进行相似度计算的步骤包括：

根据待检索视频每一运动矢量映射后的各个矢量值所在区间确定所属的存储节点及对应哈希桶的编号，并提取对应编号哈希桶中所有特征矢量对应视频的信息；

计算待检索视频与从哈希桶中提取出的特征矢量所属视频的相似度，其公式为：

sim (V_{i}, V_{j}) = (\frac{| {KF}_{i} \cap {KF}_{j} |}{| {KF}_{i} |} + \frac{| {KF}_{i} \cap {KF}_{j} |}{{| KF}_{j} |}) / 2;

6.一种相似视频检索的***，其特征在于，该***包括：

7.根据权利要求6所述的***，其特征在于，所述特征矢量计算模块包括：

关键帧集合提取模块，用于通过聚类算法提取视频关键帧集合，且该模块包括：聚类模块，用于从第n帧开始提取视频帧，并以该帧为中心计算后续各帧与其帧间距离；当第n+i帧与第n帧的帧间距离大于阈值时，则第n帧至第n+i-1帧构成一聚类，并将第n帧作为关键帧。

8.根据权利要求6所述的***，其特征在于，所述特征矢量计算模块包括：

图像颜色转换模块，用于利用色调饱和度亮度HSV颜色模型对关键帧中的图像颜色进行转换；

图像特征矢量计算模块，用于利用HSV空间对颜色转换后的图像进行非等间隔量化，并进行直方图计算获得图像的特征矢量。

9.根据权利要求6所述的***，其特征在于，所述索引构建模块包括：

矢量值获取模块，用于将特征矢量通过哈希函数映射到一维空间，获得对应的矢量值；

特征矢量分配模块，用于按照矢量值所在的区间确定所属的存储节点编号，并将特征矢量分配到该存储节点对应的哈希桶中；所述哈希桶中包含每一特征矢量对应的视频及帧的信息。

10.根据权利要求9所述的***，其特征在于，所述相似度计算模块包括：

信息提取模块，用于根据待检索视频每一运动矢量映射后的各个矢量值所在区间确定所属的存储节点及对应哈希桶的编号，并提取对应编号哈希桶中所有特征矢量对应视频的信息；

视频相似度计算模块，用于计算待检索视频与从哈希桶中提取出的特征矢量所属视频的相似度，其公式为：

sim (V_{i}, V_{j}) = (\frac{| {KF}_{i} \cap {KF}_{j} |}{| {KF}_{i} |} + \frac{| {KF}_{i} \cap {KF}_{j} |}{{| KF}_{j} |}) / 2;