CN101394522A - 一种视频拷贝的检测方法和*** - Google Patents

Abstract

本发明公开了一种视频拷贝的检测方法和***。该方法包括下列步骤：将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行视频拷贝的初步查找，得到与查询视频的关键帧具有相似内容的被检测视频，并将这些被检测视频作为下一步匹配的备选视频；计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。其减小视频拷贝检测的搜索空间，有效提高了检测效率。

Description

一种视频拷贝的检测方法和***

技术领域

本发明涉及视频检测领域，特别是涉及一种视频拷贝的检测方法和***。

背景技术

数字化技术极大地方便了视频信息的存储、传输和复制，使得数字视频内容的数量飞速增长。而在实际应用中受到网络传输带宽、视频质量要求等条件的限制，相同的视频内容经常被编码为不同的格式，以适应不同的需求。

一般地，称这种在内容上与原视频相同，而在格式上发生改变的视频为视频拷贝，或者拷贝视频。

检测拷贝视频在视觉信息处理中有着重要的实际用途：首先视频拷贝检测在视频信息检索和对搜索结果进行过滤、排序方面具有重要意义；其次，在媒体追踪方面，视频拷贝检测可以用来自动地监控特定内容视频的播出状况；此外，在数字视频版权保护方面，相对于传统的数字水印技术而言，由于具有无需在媒体中加入附加信息，特征提取可在媒体发布之后进行等良好的特性，拷贝检测也开始受到关注。

要检测出经过格式变化后的拷贝视频，检测方法必须满足两个要求，即一方面要对因格式转变而产生的视频数据变化鲁棒，另一方面又要对因视频内容变化产生的视频数据变化敏感。

为此，研究人员提出了多种视频拷贝检测方法，但由于视频格式和内容的多样性，如何选取有效的特征，准确地检测视频拷贝依然是一个未解决的问题。

发明内容

本发明的目的在于提供一种视频拷贝的检测方法和***，其减小视频拷贝检测的搜索空间，有效提高了检测效率。

为实现本发明目的而提供的一种视频拷贝的检测方法，包括下列步骤：

步骤A，将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；

步骤B，对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行视频拷贝的初步查找，得到与查询视频的关键帧具有相似内容的被检测视频，并将这些被检测视频作为下一步匹配的备选视频；

步骤C，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。

所述步骤A中，所述提取关键帧，包括下列步骤：

步骤A1，计算视频中各帧的HSI值；

步骤A2，生成并统计整个视频的各帧HSI值的直方图，估算得到视频信息熵；

步骤A3，确定较佳的关键帧帧数。

所述步骤A3之后，还包括下列步骤：

步骤A4，根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。

所述步骤B中，对被检测视频的关键帧的特征建立索引，包括下列步骤：

步骤B1，对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维；

步骤B2，对降维后的被检测视频关键帧的特征采用R^*树结构建立索引。

所述步骤C中，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，包括下列步骤：

步骤C1，将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为时间序列，即随时间变化的一组值，将查询视频的关键帧序列和备选视频的关键帧序列分别视为两个关键帧时间序列；

步骤C2，按特征对时间序列进行动态时间规整相似度计算，对关键帧序列进行匹配。

为实现本发明目的还提供一种视频拷贝的检测***，包括分析提取模块，索引模块，检测模块，其中：

所述分析提取模块，用于将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；

所述索引模块，用于对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行视频拷贝的初步查找，得到与查询视频的关键帧具有相似内容的被检测视频的关键帧以及该被检测视频的视频号，并将这些被检测视频作为下一步匹配的备选视频；

检测模块，用于计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频。

所述提取关键帧，包括：

计算视频中各帧的HSI值；

生成并统计整个视频的各帧HSI值的直方图，估算得到视频信息熵；

确定较佳的关键帧帧数。

根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。

所述对被检测视频的关键帧的特征建立索引，包括：

对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维；

对降维后的被检测视频关键帧的特征采用R^*树结构建立索引。

所述计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，是指：

将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为时间序列，即随时间变化的一组值，将查询视频的关键帧序列和备选视频的关键帧序列分别视为两个关键帧时间序列；

按特征对时间序列进行动态时间规整相似度计算，对关键帧序列进行匹配。

本发明的有效效果是：本发明的视频拷贝的检测方法和***，对视频进行关键帧提取，以此作为分析的基础，提高了效率和处理速率；对关键帧提取SIFT特征，该特征对视频拷贝过程中对视频信号带来的噪声比较鲁棒，从而在进行关键帧序列匹配时不受噪声影响。在进行关键帧匹配时采用时间序列匹配中的DTW方法，能有效克服关键帧位置不完全对应而带来的序列匹配问题。

附图说明

图1是本发明视频拷贝的检测方法流程图；

图2是本发明视频拷贝的检测***结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种视频拷贝的检测方法和***进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的视频拷贝的检测方法和***，是对视频片段是否为另一视频内容拷贝进行检测，其对已经得到的数字视频进行内容分析，得到内容单元，对各单元提取能表达单元主要内容的视频关键帧，通过分析关键帧序列的相似度来确定一个视频片段是不是另一视频的全部或者部分的视频拷贝。

在本发明实施例中，以具有版权的视频(称为被检测视频)，对来自于互联网上的查询视频，检测其中的查询视频是否包含被检测视频中的内容(即查询视频是否拷贝了被检测视频的部分或全部内容)为例，说明本发明的视频拷贝检测方法，但其不是对本发明应用范围的限定，本发明也可以适用于其他视频拷贝的检测。

下面详细说明本发明的一种视频拷贝的检测方法，如图1所示，包括下列步骤：

步骤S100，将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧。

将被检测视频和从互联网上下载的多个查询视频，转化为统一格式的数字视频格式，使得视频的尺寸、编码格式是统一的，如从AVI、DV-AVI、MOV格式转化为MPEG格式等。这种转化是本领域的现有技术，本领域技术人员在可以依照本发明公开的内容，实现其转化过程，因此，在本发明中不再一一详细描述。

对被检测视频和查询视频均进行视频结构分析，分割视频中的镜头(shot)，提取关键帧。。

视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理。

镜头分割的关键在于确定镜头的边界。现有镜头分割方法多以视频内容的不连续性为划分镜头的依据，通常选取视频的某种特征来度量视频内容的不连续性，如颜色特征、运动矢量特征、边缘特征等。

通过镜头分割，可对视频内容进行基于镜头单元的简洁表达，从而在保持视频基本内容的前提下对视频内容进行基于镜头单元的关键帧表达；

镜头分割后，对每个镜头可提取若干关键帧，并用关键帧来简洁地表示镜头。

由于同一个镜头中的各帧图像之间的内容有相当程度的冗余，因此可以选取反映镜头中主要信息内容的帧图像作为关键帧。这样关键帧之间的冗余度被降低了，可以提高基于内容的视频处理的效率。

其中，在本发明实施例中，所述视频的关键帧提取的具体方法是：

步骤S110，计算视频中各帧的HSI值；

其中，HSI(Hue，Saturation，Intensity，或称HSV)表示色相、饱和度和亮度。

HSI的计算方法是一种现有技术，作为一种可实施方式，可以利用如《多媒体计算机技术基础及应用》(钟玉琢等，高等教育出版社，1999年)中描述的方法来实现。

以每帧图像的中各个像素点HSV的均值表示该图像，同时把HSI非均匀量化到0～165共166个等级。量化方法也是一种现有技术，作为一种可实施的方式，可以利用如《VIP：Vision tool for comparing Images of People》(MichelLantage，Marc Parizeau and Robert Bergevin，In：Vision Interface 2003)中描述的方法来实现。

步骤S120，生成并统计整个视频的各帧HSI值的直方图，估算得到视频信息熵H(X)；

其中信息熵的计算方法为：

$H\left(X\right)=-\underset{i=0}{\overset{N}{\mathrm{\Σ}}}\frac{{\mathrm{FrameNum}}_i}{\mathrm{totalFrameNum}}{\log }_2\frac{{\mathrm{FrameNum}}_i}{\mathrm{totalFrameNum}}$ 比特/符号

其中totalFrameNum表示该视频流的总帧数，FrameNumi表示视频流中被量化到第i阶的帧数，N＝1，2，……。

步骤S130，确定较佳的关键帧帧数；

关键帧个数与信息熵的关系可以表述如下：

对于关键帧，从关键帧精简的需要来看，关键帧是各不相同，对于K个关键帧，可以视为等概率出现的K个符号，这时的信息熵为 $H\left(\tilde{X}\right)={\log }_{2}K$ 比特；从反映视频内容的角度来看，基于图像帧在视频中出现越多越重要的假设，若 $H\left(X\right)>H\left(\tilde{X}\right),$ 视频流信源的随机性大于精简后关键帧的随机性，关键帧的个数不足以反映视频的变化，而若 $H\left(X\right)<H\left(\tilde{X}\right),$ 视频流信源的随机性小于精简后关键帧的随机性，关键帧的个数过多，可能选取了在视频中出现很少的帧作为关键帧。因此，较佳的情况是使关键帧的帧数K与视频的信息熵满足： $H\left(\tilde{X}\right)={\log }_{2}K=H\left(X\right),$ 即K＝2^H(X)。

步骤S140，根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。

聚类是以数字公式为基础的在不同对象之间的相似性的度量。K-均值是简单的非监督学***直的分类。其通过事先固定的聚类的给定数目(例如，K个聚类)把给定的数据集进行分类。其是一种现有技术，本领域技术人员根据本发明公开的内容，能够实现对视频中各帧的K-均值聚类过程，因此，在本发明中不再一一详细描述。

步骤S200，对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行初步查找，得到与查询视频的关键帧具有相似内容的被检测视频的关键帧以及该被检测视频的视频号，并将这些被检测视频作为下一步匹配的备选视频。

本发明实施例中，对被检测视频的关键帧建立索引，是对关键帧提取SIFT(Scale Invariant Feature Transform)特征，并建立索引，用来初步查找被检测视频中是否存在与查询视频匹配的内容。

其对关键帧提取能表达视频内容的鲁棒(robustness)特征，通过以这些特征建立高维索引，加快查找相似关键帧的速度。

在进行初步查找时，记录经查找，与查询视频(即所提交视频)的关键帧具有相似内容的被检测视频的关键帧，以及该被检测视频的视频号，将这些被检测视频作为下一步匹配的备选视频，依据关键帧查找的结果来初步选定进一步进行视频拷贝检测的初步范围。

其中，在本发明实施例中，对被检测视频的关键帧建立索引的具体方法是：

步骤S210，对提取的被检测视频的关键帧的SIFT特征进行降维；

因为生成的SIFT特征点比较多，数据量大，因此，对SIFT特征点的描述构成的矩阵进行降维。

较佳地，鉴于主成分分析(Principal Component Analysis，PCA)在能量集中意义方面最为有效，本发明实施例采用PCA对SIFT特征矩阵进行降维。

本发明实施例中，将各点SIFT特征看作是特征矩阵的一行，则一帧图像的特征成为一个特征矩阵，对该特征矩阵进行PCA变换.取变换后的低维特征向量作为低维度的关键帧特征。作为一种可实施方式，PCA变换可以利用如《The Complete Reference(2nd Edition)》(David Salomon；Data Compression：The Complete Reference(2nd Edition)，Springer，ISBN 0-387-95045-1，2000)中描述的方法实现。

步骤S220，对降维后的被检测视频关键帧的特征采用R^*树结构建立索引。

其中，R^*树是R树(region tree，区域树)的变形结构，是目前大规模数据库中的常用索引结构，具有结构稳定、检索迅速等优点。本发明针对图像特征数据的特点，采用了R^*树结构来实现图像库的索引。

R^*树是基于不同数据分布提出的R树变种。它不同于R树仅在小的叶子区域体积优化，R^*树还优化了：(1)叶子节点区域之间的覆盖；(2)叶子节点区域的表面；(3)存储利用率。与R树***算法不同，R^*树在为一个数据目标选择合适的***叶子节点时，当点未被包括在任何叶子节点区域内时，叶子节点和目录节点的处理方法是不同的。对于叶子节点，选择使覆盖产生最小扩大值的区域，扩大值相同时，进一步比较叶子节点的体积扩大值和自身体积大小。对于目录节点，先判断最小体积扩大区域，若不能判定时，则由自身的体积决定。R^*树***算法的特点在于提出了一种“强行再***”的概念，即如果一个节点溢出，就删除一定百分比的远离中心区域的目标，再按***方法重新***这些目标。虽然R^*树的“再***”算法会增加运算复杂度和访问磁盘次数，但这种增加量避免了很多节点的***。

步骤S300，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源，即认为来自于网上的查询视频拷贝了被检测视频中的这个匹配上的视频。

本发明中，将视频之间相似度的计算转化为关键帧序列相似性计算，通过时间序列匹配方法，可以有效计算关键帧序列之间的相似度，从而依据相似度来有效判断一视频是否是另一视频的全部或者部分的视频拷贝。

其中，在本发明实施例中计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配的具体方法是：

步骤S310，将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为时间序列，即随时间变化的一组值。将查询视频的关键帧序列和备选视频的关键帧序列分别视为两个关键帧时间序列；

时间序列是一类重要的数据对象，在经济、水文、气象等许多应用领域广泛存在。时间序列具有维数高、数据量大以及噪声干扰严重等特点，时间序列的模式表示有三方面的好处：一是对时间序列进行压缩，换来更小的存储和计算代价；二是只保留了时间序列的主要形态，去除了细节干扰，更能反映出时间序列的自身特征，有利于提高数据挖掘的效率和准确性；三是很多应用领域关心的是时间序列一段时间内的变化模式和规律，而不是时间序列中单个序列点的值，模式表示更能符合其特点。

步骤S320，按特征对时间序列进行动态时间规整(Dynamic Time Warping，DTW)相似度计算，对关键帧序列进行匹配。

在进行DTW方法计算时，采用引入Keogh下界的快速算法来进行DTW距离计算；

按特征对时间序列进行DTW相似度计算是一种现有技术，作为一种可实施方式，可以利用如《Indexing Multi-Dimensional Time-Series with SupportforMultiple Distance Measures》(Michail Vlachos，Marios Hadjieleftheriou，Dimitrios Gunopulos，Eamonn Keogh，SIGKDD＇03，August 24-27，2003，Washington，DC，USA)中描述的方法来实现。

最后，可以通过预先设定一阀值，当相似度高于预先设定阀值的视频，则作为查询视频的拷贝视频。

本发明的视频拷贝的检测方法，通过确定备选视频，缩小了要进行视频片段匹配的视频的范围；对该范围内的视频逐个进行关键帧序列匹配，从而得到最终的判定结果，所选中的视频即作为查询视频的拷贝视频。

相应地，本发明还提供一种视频拷贝的检测***20，如图2所示，该***包括分析提取模块21，索引模块22，检测模块23。其中：

所述分析提取模块21，用于将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧。

所述索引模块22，用于对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行初步查找，得到与查询视频的关键帧具有相似内容的被检测视频的关键帧以及该被检测视频的视频号，并将这些被检测视频作为下一步匹配的备选视频。

检测模块23，用于计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。

本发明的视频拷贝的检测***，以与本发明的视频拷贝的检测方法相同的过程进行工作，因此，在本发明实施例中，不再一一重复详细。

本发明实施例的视频拷贝的检测方法和***，对视频进行关键帧提取，以此作为分析的基础，提高了效率和处理速率；对关键帧提取SIFT特征，该特征对视频拷贝过程中对视频信号带来的噪声比较鲁棒，从而在进行关键帧序列匹配时不受噪声影响。在进行关键帧匹配时采用时间序列匹配中的DTW方法，能有效克服关键帧位置不完全对应而带来的序列匹配问题。

通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。

以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。

Claims (10)

1、一种视频拷贝的检测方法，其特征在于，包括下列步骤：

步骤A，将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；

步骤B，对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行初步查找，得到与查询视频的关键帧具有相似内容的被检测视频，并将这些被检测视频作为下一步匹配的备选视频；

步骤C，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。

2、根据权利要求1所述的视频拷贝的检测方法，其特征在于，所述步骤A中，所述提取关键帧，包括下列步骤：

步骤A1，计算视频中各帧的HSI值；

步骤A2，生成并统计整个视频的各帧HSI值的直方图，估算得到视频信息熵；

步骤A3，确定较佳的关键帧帧数。

3、根据权利要求2所述的视频拷贝的检测方法，其特征在于，所述步骤A3之后，还包括下列步骤：

步骤A4，根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。

4、根据权利要求1所述的视频拷贝的检测方法，其特征在于，所述步骤B中，对被检测视频的关键帧的特征建立索引，包括下列步骤：

步骤B1，对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维；

步骤B2，对降维后的被检测视频关键帧的特征采用R^*树结构建立索引。

5、根据权利要求1所述的视频拷贝的检测方法，其特征在于，所述步骤C中，计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，包括下列步骤：

步骤C1，将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为时间序列，即随时间变化的一组值，将查询视频的关键帧序列和备选视频的关键帧序列分别视为两个关键帧时间序列；

步骤C2，按特征对时间序列进行动态时间规整相似度计算，对关键帧序列进行匹配。

6、一种视频拷贝的检测***，其特征在于，包括分析提取模块，索引模块，检测模块，其中：

所述分析提取模块，用于将查询视频和被检测视频转化为统一格式的数字视频；对所述查询视频和被检测视频进行视频结构分析，分割视频中的镜头，提取关键帧；

所述索引模块，用于对被检测视频的关键帧建立索引，利用查询视频的关键帧在索引中进行初步查找，得到与查询视频的关键帧具有相似内容的被检测视频，并将这些被检测视频作为下一步匹配的备选视频；

检测模块，用于计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，确认视频之间的相似度，相似度高的视频作为查询视频的拷贝视频源。

7、根据权利要求6所述的视频拷贝的检测***，其特征在于，所述提取关键帧，包括：

计算视频中各帧的HSI值；

生成并统计整个视频的各帧HSI值的直方图，估算得到视频信息熵；

确定较佳的关键帧帧数。

8、根据权利要求7所述的视频拷贝的检测***，其特征在于，所述提取关键帧，还包括：

根据较佳的关键帧数，用自适应无监督聚类方法的聚类中心作为K-均值聚类的初始中心，对视频中各帧进行K-均值聚类。

9、根据权利要求6所述的视频拷贝的检测***，其特征在于，所述对被检测视频的关键帧的特征建立索引，包括：

对提取的被检测视频的关键帧的SIFT特征进行主成分分析降维；

对降维后的被检测视频关键帧的特征采用R^*树结构建立索引。

10、根据权利要求6所述的视频拷贝的检测***，其特征在于，所述计算查询视频的关键帧和备选视频的关键帧序列之间的相似度，对关键帧序列进行匹配，是指：

将一个关键帧作为时间序列上一时间点上的取值，则关键帧序列可视为时间序列，即随时间变化的一组值，将查询视频的关键帧序列和备选视频的关键帧序列分别视为两个关键帧时间序列；

按特征对时间序列进行动态时间规整相似度计算，对关键帧序列进行匹配。

Images