CN104331450B

CN104331450B - 基于多模式特征和张量分解的视频拷贝检测方法

Info

Publication number: CN104331450B
Application number: CN201410593572.5A
Authority: CN
Inventors: 聂秀山
Original assignee: Shandong University of Finance and Economics
Current assignee: Shandong University of Finance and Economics
Priority date: 2014-10-29
Filing date: 2014-10-29
Publication date: 2017-11-24
Anticipated expiration: 2034-10-29
Also published as: CN104331450A

Abstract

本发明提供了一种基于张量分解的视频拷贝提取方法，包括以下步骤：(1)视频预处理：通过时空采样是视频片段标准化；(2)视频张量建模和张量分解：分别提取视频的全局、局部和时域特征，进行张量建模，利用Tucker模型进行张量分解，得到核张量和低阶张量；(3)视频指纹匹配：利用核张量进行粗匹配，利用视频指纹在粗选集中进行精细匹配。与现有技术相比，本发明实现了视频多模式特征的真正互补融合，不仅克服了单一模式特征构造视频指纹鲁棒性差的缺点，而且还实现了多种模式特征之间的时序关联共生性，提高了视频拷贝检测的精确性和效率。

Description

基于多模式特征和张量分解的视频拷贝检测方法

技术领域

本发明涉及一种视频拷贝检测方法，尤其涉及一种基于多模式特征和张量分解的视频拷贝检测方法，属于视频、多媒体信号处理技术领域。

背景技术

数字视频因其直观、具体和生动而逐渐成为用户首要关注的多媒体形式。随着网络技术的发展和网络带宽的不断提高，视频的传输和存储已经变得越来越便捷，因此，互联网视频网站越来越多，视频内容变得越来越丰富，但随之而来的网络信息安全问题也变得日渐突出。网络用户可以随意地下载、编辑视频并再次上传，由此网络中出现大量重复视频，极大的影响了视频检索的效率。同时，由于互联网上对于海量视频的管理缺乏规划和统一性，而用户又可以非常容易地编辑和修改视频的内容，因此网络中出现了很多盗版视频，常常引起一些知识产权等的纠纷，盗版和非法下载的出现极大地危害了版权所有者的利益，挫伤了创新的积极性。基于内容的视频拷贝检测技术正是解决上述问题的主要方法。

基于内容的视频指纹技术，或称为鲁棒视频哈希技术是基于内容的视频拷贝检测技术的具体表现形式，这类技术与数字视频水印不同，它不需要在视频发布或传播之前，人工地在视频对象中嵌入附加信息，因此，基于内容的视频拷贝检测对于尚未发布和已经发布的视频都有效；同时，由于不需要在视频上嵌入附加信息，它解决了数字视频水印技术中水印的不可见性和鲁棒性之间的矛盾，从而提高了对于常见攻击的鲁棒性。利用基于内容的视频拷贝检测技术不但可以在视频检索中搜索到多余的视频拷贝，并将其屏蔽，而且有助于规范数字视频版权和传播的管理；同时，从另一个方面，也可以通过这类技术来对商业视频及其视频拷贝进行跟踪分析，以获得有价值的营销策略信息。因此，在个人视频制作与网络传播日益流行的情况下，基于内容的视频拷贝检测技术具有重要的理论价值和应用价值，近年来已经成为了多媒体信息处理领域的研究热点，目前基于内容的视频拷贝检测技术从不同的角度可以有不同的种类划分，但总体来说，可分为两大类，一类是基于全局特征的方法，例如颜色直方图、分块灰度顺序度量等等，基于频域的方法也属于此类别，此类方法的优点是速度快，运算量小，缺点是对于视频的一些局部攻击和后期处理攻击(例如添加视频字幕，局部剪切等)的效果不好；第二类是基于局部特征的方法，主要是帧局部特征点描述子，例如Harris特征点、SIFT(Scale Invariant Feature Transform)和SURF(Speed-up Robust Feature)，此类方法对视频局部攻击具有较好的鲁棒性，但有时算法的复杂度较高。

发明内容

本发明针对现有视频拷贝检测技术方法的不足，提供一种利用张量分解融合多模式特征的视频拷贝检测方法，本发明分别提取视频的全局特征、局部特征和时域特征，利用张量分析理论，把视频多模式特征进行融合来计算视频指纹。与现有技术相比，本发明克服了单一特征构造视频指纹的局限性，提高了视频拷贝检索的效率和精确性，同时，本发明利用高阶张量表示视频，实现了视频特征的真正互补融合。现有的文献和技术中，也有基于多特征融合的视频拷贝检测方法，此类方法一部分是利用同一模式下的不同特征(例如利用不同的全局特征或不同的局部特征)，另一部分是对多特征简单拼接综合或者利用线性、非线性的加权来融合特征，这些方法不仅忽视了不同特征之间的量纲的不同，而且还减弱甚至忽略了视频中这些多种模式特征之间的时序关联共生性。与传统融合特征方法相比，本发明的方法利用多线性几何即高阶张量来表达和分析视频，张量分解过程中由于对组成张量的所有阶按交错次序采样,并非简单先采样完某一类型特征再采样另外类型特征,而是在采样过程中对不同类型特征混合在一起交错采样,这样的采样展开过程体现了不同类型特征的传递和融合，这是传统的“拼接”和“加权”无法实现的。

本发明采用的技术方案为：

一种基于多模式特征和张量分解的视频拷贝检测方法，其特征在于该方法包括以下步骤：

(1)视频预处理：利用时空采样把待测视频转换为标准视频；

(2)多模式视频特征提取：提取视频的全局特征、局部特征和时域特征；

(3)多模式特征融合：对多模式视频特征构造高阶张量，并进行张量分解获得高阶张量的低阶逼近，利用低阶张量构造视频指纹；

(4)视频指纹匹配：利用张量分解中的核张量缩小匹配范围，利用视频指纹进行详细匹配。

优选地，所述步骤(1)的具体实现步骤是：

①对视频进行空域和时域下采样，把视频转化为标准视频W、H和K的值根据具体***设定，使得预处理过程不会更改视频的主要内容。

优选地，所述步骤(2)的具体实现步骤是：

①提取视频的全局特征，所述全局特征从帧颜色直方图、帧分块灰度秩序列和DCT系数等特征中选择；

②提取视频的局部特征，所述局部特征从Harris特征点，SIFT特征点、SURF特征点等特征中选择；

③提取时域特征，利用相邻帧之间的归一化灰度差作为时域特征。

优选地，所述步骤(3)的具体实现步骤是：

①对于步骤(2)提取的三种模式的特征构造三阶张量，其中，张量的三阶分别为融合特征、特征向量索引和帧序列索引；

②对视频张量进行Tucker分解，Tucker分解把一个高阶张量分解为核张量和低阶张量的外积的形式，如式(1)所示：

where:A＝[a₁,a₂,…,a_P]∈R^I×P

B＝[b₁,b₂,…,b_Q]∈R^J×Q

C＝[c₁,c₂,…,c_R]∈R^K×R

κ∈R^P×Q×R (1)

其中κ为核张量，A,B和C是一阶张量a_p,b_q和c_r组成的矩阵，P＝Q＝R＝1。

③选取一阶张量A作为视频指纹，一阶张量A融合了视频的全局、局部和时域特征。

优选地，所述步骤(4)的具体实现步骤是：

①数据库中除了存储视频指纹还存储相应视频指纹的核张量，设待测视频的核张量为κ，在视频指纹数据库中搜索核张量的数值范围在[κ-aκ,κ+aκ]的视频指纹，a∈(0,1)是一个参数，由此得到一个粗选指纹集合；

②在粗选指纹集合中，利用视频指纹进行详细匹配，从而判定待测视频拷贝是否存在于数据库。

优选地，取a＝0.2，能保证与待测视频内容相似的视频落入粗选指纹集的概率在99.5％以上，而且粗选集合的大小在原指纹数据库大小的三分之一以下。

上述方法首先对视频进行预处理，然后提取处理后视频的全局、局部和时域特征，利用多模式特征并对视频张量建模，并进行张量分解，分解后的核张量作为视频指纹粗匹配标签，分解后的低阶张量构造视频指纹，在视频拷贝检索中，首先利用核张量缩小匹配范围，最后在小范围内再利用视频指纹进行详细匹配，从而判定视频拷贝是否存在。

本发明既克服了单一特征作为视频指纹的局限性，又实现了多模式特征的融合和互补，提高了视频拷贝检测的精确率，同时，本发明引入核张量对视频指纹进行二级匹配，从而提高了视频检索的效率。

附图说明

图1是本发明的步骤框架示意图。

图2是视频张量建模示意图。

图3是视频攻击示意图：(a)原始帧；(b)噪声攻击；(c)对比度增强；(d)黑盒；(e)logo和字幕添加；(f)画中画；(g)翻转；(h)仿射变换。

图4在各种攻击下的ROC曲线：(a)旋转；(b)字幕添加；(c)裁剪；(d)翻转。

表1本发明在各种攻击下的D-score统计。

具体实施方式

下面结合附图对本发明加以详细的说明。

本发明的方法按图1所示流程，包括如下具体步骤：

(1)视频预处理

①视频在传输的过程中，因为干扰和攻击会导致视频帧率和分辨率发生变化，为了解决这个问题，增加算法的鲁棒性，同时为了下一步张量建模的需要，首先在预处理的过程中通过均匀采样的方法，使视频具有相同帧数，本文实验中统一帧数为64帧。然后对每帧的尺寸标准化，标准化的过程使视频的分辨率改变，但是不改变视频内容。视频指纹的目的是实行视频内容的安全认证，因此，分辨率的改变不会影响内容认证的效果。在本发明方法中，帧分辨率设定为64x64，也可根据具体应用修改相应参数。

(2)多模式视频特征提取

①全局特征提取。对于处理后视频的每一帧，按照64等级计算该帧的归一化灰度直方图，每帧得到一个长度为64的全局特征向量；

②局部特征提取。对于视频每一帧，提取帧的SURF特征点，若该帧的SURF特征点大于10，取前10个特征点作为局部特征，若帧的特征点小于10，则不足的特征点用零向量来表示，每个特征点的维数为64；

③时域特征提取。处理后的视频共64帧，计算相邻帧像素的灰度差，并归一化后作为时域特征，该向量的长度为63，为使得该特征与全局和局部特征的长度对应，在时域特征向量的末尾补一个零。

(3)多模式特征融合：对多模式视频特征构造高阶张量，并进行张量分解获得高阶张量的低阶逼近，利用低阶张量构造视频指纹，具体步骤为：

①张量建模。根据图2所示，把视频的多模式特征建模成一个三阶张量，并利用Tucker模型进行张量分解，Tucker分解是把一个高阶张量分解为核张量和低阶张量的外积的形式，如下式所示：

where:A＝[a₁,a₂,…,a_P]∈R^I×P

B＝[b₁,b₂,…,b_Q]∈R^J×Q

C＝[c₁,c₂,…,c_R]∈R^K×R

κ∈R^P×Q×R (2)

其中κ为核张量，A,B和C是一阶张量a_p,b_q和c_r组成的矩阵。Tucker模型分解可以

通过下：

这个优化问题可利用交替最小二乘算法(ALS)来解决。在本发明中P＝Q＝R＝1。

②指纹计算。张量分解后，核张量κ作为粗匹配标签，供粗匹配使用。低阶张量A作为视频指纹。

(4)视频指纹匹配

①粗匹配。根据待测视频的核张量(记为κ)，数据库中除了存储视频指纹还存储相应视频指纹的核张量，设待测视频的核张量为κ，在视频指纹数据库中搜索核张量的数值范围在[κ-aκ,κ+aκ]的视频指纹，a∈(0,1)是一个参数，本发明根据实验，选定为0.2，由此得到一个粗选指纹集合，当a＝0.2时，能保证与待测视频内容相似的视频落入粗选指纹集的概率在99.5％以上，而且粗选集合的大小在原指纹数据库大小的三分之一以下。此参数可以根据具体的数据调节；得到较小的一个视频指纹集合；

②在粗匹配后的集合里利用待测视频指纹进行详尽匹配。详尽匹配可采用穷尽搜索的方式。

图3、图4和表1是本发明方法的一个仿真实验，图3是对视频进行攻击处理的示意图，图4是利用本方法在包含400个视频的数据库的漏检率(Miss probability)和预警率(False alarm probability)的ROC曲线，并与现有三种方法比较(分别记为LRTA、CGO和3DDCT)，可以看出本发明方法的性能较好。表1是利用D-score定量的与现有方法比较的结果，D-score的定义如下：

F(V)和F_A(V)分别代表原始视频和攻击后视频提取的指纹。N表示视频数据库的大小。

表1.D-score统计表

攻击方法	本发明方法	LRTA	CGO	3D-DCT
					商标添加	0.1389	0.7048	0.4771	0.4681
噪声	0.1011	0.3518	0.5264	0.2301
					对比度增强加模糊	0.3347	0.4316	0.5024	0.4876
旋转加字幕添加	0.2007	0.5252	0.4942	0.4798
					剪切加噪声	0.43	0.5547	0.5791	0.8816

Claims

1.一种基于多模式特征和张量分解的视频拷贝检测方法，其特征在于该方法包括以下步骤：

(1)视频预处理：利用时空采样把待测视频转换为标准视频；

(3)多模式特征融合：对多模式视频特征构造高阶张量，并进行张量分解获得高阶张量的低阶逼近，利用低阶张量构造视频指纹，具体实现步骤是：

②对视频张量进行Tucker分解，Tucker分解把一个高阶张量分解为核张量和低阶张量的外积的形式，如下式所示：

where:A＝[a₁,a₂,…,a_P]∈R^I×P

B＝[b₁,b₂,…,b_Q]∈R^J×Q

C＝[c₁,c₂,…,c_R]∈R^K×R

κ∈R^P×Q×R

其中κ为核张量，A,B和C是一阶张量a_p,b_q和c_r组成的矩阵，

P＝Q＝R＝1；

选取一阶张量A作为视频指纹，一阶张量A融合了视频的全局、局部和时域特征；

2.如权利要求1所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在于：所述步骤(1)的具体实现步骤是：

对视频进行空域和时域下采样，把视频转化为标准视频W、H和K的值根据具体***设定，使得预处理过程不会更改视频的主要内容。

3.如权利要求1所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在于：所述步骤(2)的具体实现步骤是：

①提取视频的全局特征，所述全局特征从帧颜色直方图、帧分块灰度秩序列和DCT系数中选择；

②提取视频的局部特征，所述局部特征从Harris特征点、SIFT特征点、

SURF特征点中选择；

4.如权利要求1所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在于：所述步骤(4)的具体实现步骤是：

5.如权利要求4所述的基于多模式特征和张量分解的视频拷贝检测方法，其特征在于：取a＝0.2，能保证与待测视频内容相似的视频落入粗选指纹集的概率在99.5％以上，而且粗选集合的大小在原指纹数据库大小的三分之一以下。