CN114549270A - 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 - Google Patents
结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 Download PDFInfo
- Publication number
- CN114549270A CN114549270A CN202210109380.7A CN202210109380A CN114549270A CN 114549270 A CN114549270 A CN 114549270A CN 202210109380 A CN202210109380 A CN 202210109380A CN 114549270 A CN114549270 A CN 114549270A
- Authority
- CN
- China
- Prior art keywords
- image
- watermark
- video
- watermarking
- robust
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 title claims description 38
- 230000006870 function Effects 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 3
- 238000005070 sampling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明针对现有技术的局限性，提出了一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，巧妙地利用了监控视频中通常有部分背景内容基本不变的特点，选取部分背景图像作为水印载体；其使用的深度鲁棒水印网络能够往水印载体图像中嵌入肉眼不可见且抗拍摄的鲁棒水印；同时通过加大纹理简单区域的水印嵌入代价，引导网络尽量将水印信息嵌入在纹理复杂区域，改进了StegaStamp嵌入痕迹在图像平滑区域较明显的缺点，显著提升了水印的视觉质量。
Description
技术领域
本发明涉及多媒体内容安全技术领域，具体地，涉及针对监控视频的拍摄溯源技术；更具体的，涉及一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法。
背景技术
现有的监控溯源大多数都是以可见水印的形式显示在监控屏幕上，例如显示在屏幕左上角的时间信息，通过直接将水印信息的明文用纯白色或者其他颜色的字体直接覆盖到监控视频内容上。翻拍人员在使用相机等设备对监控屏幕中的显示内容进行翻拍时，便会将水印信息一并拍摄下来，由此可以根据翻拍视频中的水印信息进行监控溯源。这种水印虽然易于生成，但是无疑会影响整个监控视频的视觉效果；另一方面，由于水印信息肉眼可见，偷拍者能够轻易使用后期处理等手段破坏水印信息，导致视频难以溯源。
公告日为2016.12.07的中国发明专利：一种基于SIFT的抗几何攻击的鲁棒视频水印方法提供了一种视频鲁棒水印方案；尽管现有的鲁棒视频水印方法在一定程度上可以抵御一些轻微的几何攻击，但是在翻拍盗摄的过程中，拍摄的角度和视频内容大小都是任意的，且容易发生剧烈的角度变化。在这种场景下，上述方法在水印同步时容易产生同步位置错误、同步疏漏的问题，因此这些现有技术并没有有效解决水印同步的问题，仍有一定的局限性。
而在图像水印的技术领域中，存在一种基于深度学***滑区域嵌入信息时，会留下比较明显的痕迹，严重影响水印图像的视觉效果；另外，该方法只能处理图像水印，无法应用在视频水印上。
发明内容
针对现有技术的局限，本发明提出一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，本发明采用的技术方案是：
一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，通过以下步骤在监控视频中嵌入水印信息：
S11，从监控视频中的背景区域，选取背景图像内容相对固定的矩形区域，作为水印嵌入的模板区域；
S12，提取所述监控视频在流缓冲区中的视频帧，根据所述模板区域，从所述视频帧中获取截取图像作为载体图像；
S13，获取所述监控视频的设备号信息以及当前时间戳，编码为二进制比特序列；将所述二进制比特序列与对应的CRC校验码以及BCH纠错码拼接，生成水印信息；
S14，将所述载体图像以及水印信息，输入预设的深度鲁棒水印网络，通过所述深度鲁棒水印网络中的编码器生成水印图像；其中，所述深度鲁棒水印网络为以StegaStamp为基础、结合了图像块感知相似损失函数以及基于图像纹理模板的YUV空间差分损失函数的深度学习框架训练获得；
S15，以所述水印图像对所述视频帧在模板区域的图像进行替换。
相较于现有技术，本发明巧妙地利用了监控视频中通常有部分背景内容基本不变的特点，选取部分背景图像作为水印载体；其使用的深度鲁棒水印网络能够往水印载体图像中嵌入肉眼不可见且抗拍摄的鲁棒水印；同时通过加大纹理简单区域的水印嵌入代价，引导网络尽量将水印信息嵌入在纹理复杂区域，改进了StegaStamp嵌入痕迹在图像平滑区域较明显的缺点，显著提升了水印的视觉质量。
作为一种优选方案，所述图像块感知相似损失函数按以下公式表示：
LP＝LPIPS(Io,Iw)；
其中，Io表示载体图像；Iw表示水印图像。
作为一种优选方案，所述基于图像纹理模板的YUV空间差分损失函数按以下公式表示：
其中，Y，U，V表示载体图像Io以及水印图像Iw转换到YUV空间的分量，I(i,j,c)表示图像在c通道中，位于横坐标为i、纵坐标为j位置的像素值大小。
作为一种优选方案，所述深度学习框架的整体损失函数按以下公式表示：
L＝λPLP+λTLT+λCLC+λMLM；
其中，λ表示损失权重；LP表示所述图像块感知相似损失函数；LT表示所述基于图像纹理模板的YUV空间差分损失函数；LC表示判别器损失函数；LM表示交叉熵损失函数。
进一步的，所述判别器损失函数LC按以下公式表示：
LC＝D(Io)-D(Iw)；
其中，D(·)表示判别器网络；Io表示载体图像；Iw表示水印图像；
所述交叉熵损失函数LM按以下公式表示：
其中，Bi(i＝1,2,...,64)表示训练过程中输入网络的比特序列；Mi(i＝1,2,...,64)表示训练过程中网络输出的比特序列。
作为一种优选方案，所述深度学习框架在训练时在失真层引入了包括透视变换和/或模糊和/或噪声和/或色彩变化和/或光照和/或JPEG压缩引起的失真变换。
作为一种优选方案，对于对嵌入了所述水印信息的监控视频进行翻拍得到的翻拍视频，通过以下步骤从所述翻拍视频中提取水印信息：
S21，通过提取所述翻拍视频的视频帧，计算所述翻拍视频的sift特征点；
S22，获取所述载体图像的sift特征点，与所述翻拍视频的sift特征点进行匹配；
S23，以所述步骤S22的匹配结果求解出单应性矩阵H，根据所述单应性矩阵H对所述翻拍视频的视频帧进行透视变换；
S24，将所述步骤S23的透视变换结果裁剪至与所述载体图像相同的尺寸；
S25，将所述步骤S24的裁剪结果输入所述深度鲁棒水印网络，通过所述深度鲁棒水印网络中的解码器获得水印信息。
本发明还提供以下内容：
一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印***，包括用于在监控视频中嵌入水印信息的水印信息嵌入模块，所述水印信息嵌入模块包括模板区域选取单元、载体图像截取单元、水印信息生成单元、水印图像生成单元、视频图像替换单元，其中：
所述模板区域选取单元用于从监控视频中的背景区域，选取背景图像内容相对固定的矩形区域，作为水印嵌入的模板区域；
所述载体图像截取单元用于提取所述监控视频在流缓冲区中的视频帧，根据所述模板区域，从所述视频帧中获取截取图像作为载体图像；
所述水印信息生成单元用于获取所述监控视频的设备号信息以及当前时间戳，编码为二进制比特序列；将所述二进制比特序列与对应的CRC校验码以及BCH纠错码拼接，生成水印信息；
所述水印图像生成单元用于将所述载体图像以及水印信息，输入预设的深度鲁棒水印网络，通过所述深度鲁棒水印网络中的编码器生成水印图像；其中，所述深度鲁棒水印网络为以StegaStamp为基础、结合了图像块感知相似损失函数以及基于图像纹理模板的YUV空间差分损失函数的深度学习框架训练获得；
所述视频图像替换单元用于以所述水印图像对所述视频帧在模板区域的图像进行替换。
一种存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现前述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法的步骤。
一种计算机设备，包括存储介质、处理器以及储存在所述存储介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现前述结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法的步骤。
附图说明
图1为本发明实施例1提供的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法在监控视频中嵌入水印信息的流程示意图；
图2为本发明实施例1中的水印信息示例；
图3为本发明实施例1的水印方法运行示例；
图4为本发明实施例1提供的深度鲁棒水印网络结构示意图；
图5为本发明实施例1提供的深度鲁棒水印网络的编码器结构示意图；
图6为本发明实施例1提供的深度鲁棒水印网络的解码器结构示意图；
图7为本发明实施例1提供的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法在从所述翻拍视频中提取水印信息的流程示意图；
图8为本发明实施例2提供的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印***示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。以下结合附图和实施例对本发明做进一步的阐述。
为了解决现有技术的局限性，本实施例提供了一种技术方案，下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
请参考图1，一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，通过以下步骤在监控视频中嵌入水印信息：
S11，从监控视频中的背景区域，选取背景图像内容相对固定的矩形区域，作为水印嵌入的模板区域；
S12，提取所述监控视频在流缓冲区中的视频帧，根据所述模板区域，从所述视频帧中获取截取图像作为载体图像；
S13，获取所述监控视频的设备号信息以及当前时间戳，编码为二进制比特序列；将所述二进制比特序列与对应的CRC校验码以及BCH纠错码拼接，生成水印信息；
S14，将所述载体图像以及水印信息，输入预设的深度鲁棒水印网络，通过所述深度鲁棒水印网络中的编码器生成水印图像；其中，所述深度鲁棒水印网络为以StegaStamp为基础、结合了图像块感知相似损失函数以及基于图像纹理模板的YUV空间差分损失函数的深度学习框架训练获得；
S15，以所述水印图像对所述视频帧在模板区域的图像进行替换。
相较于现有技术，本发明巧妙地利用了监控视频中通常有部分背景内容基本不变的特点，选取部分背景图像作为水印载体；其使用的深度鲁棒水印网络能够往水印载体图像中嵌入肉眼不可见且抗拍摄的鲁棒水印；同时通过加大纹理简单区域的水印嵌入代价，引导网络尽量将水印信息嵌入在纹理复杂区域，改进了StegaStamp嵌入痕迹在图像平滑区域较明显的缺点，显著提升了水印的视觉质量。
具体的，在本领域中，视频水印方法指对视频水印的处理方法，可以包括将水印信息嵌入视频的过程，也可以包括将水印信息从视频中提取出来的过程。
本实施例所提供的方案在将水印信息嵌入视频时，会生成抗拍摄、抗转码且肉眼无法感知的水印图像。
可以认为，本实施例所提供的方案主要在于：首先，由于在水印嵌入视频后，会经过监控屏幕显示，相机翻拍的过程，会使得水印经受不同程度的失真，本实施例采用基于深度学***滑区域的嵌入代价，引导网络尽量将水印信息嵌入在纹理复杂区域，以提升水印视频的视觉质量。
更具体的，作为一种优选实施例，请参阅图2，步骤S13中生成的水印信息可以选用64比特的二进制水印信息序列的形式。其中，前32位用来存储有效信息，有效信息包括时间戳信息和设备号信息，其中年、月、日、时、分，分别占6、4、5、5、6位，设备号占6位；中间的8位存储根据所述有效信息得到的CRC校验码；最后24位为监督信息，存储存储根据所述有效信息得到的24位BCH纠错码，该BCH纠错码最多可纠正3个错误比特。
为了更便于所述深度鲁棒水印网络对所述载体图像进行处理，作为一种优选实施例，所述载体图像在输入所述深度鲁棒水印网络前，可以先缩放至适合网络处理的尺寸大小；相应的，如果所述水印图像的尺寸与所述载体图像的原始尺寸不同，也可以缩放至与所述载体图像原始大小一样的尺寸后，再进行步骤S15。
具体示例请参阅图3，该示例中首先从高清监控视频的背景图像中选取一块内容几乎不变的矩形区域作为水印载体，例如以视频帧的固定坐标(0，0)作为矩形区域左上角，截取大小为300×300的3通道RGB图像；将该载体图像缩放到适合网络的512×512大小，再连同64bit的二进制水印信息序列一起输入深度鲁棒水印网络的编码器，经由卷积神经网络计算后，输出一张含水印信息的水印图像。将该水印图像缩放到原矩形区域的300×300大小，然后使用缩小后的水印图像替换原视频帧中的模板区域图像，便得到含水印信息的视频帧。对监控视频缓冲区中的每一帧都进行相同的嵌入操作，最终经由缓冲区将水印视频帧显示到监控屏幕上，便得到了一段连续且含水印的监控视频流。
进一步的，所述深度鲁棒水印网络主要包括了编码器、解码器、判别器三部分，网络结构可参阅图4；其中编码器的输入为512×512的3通道RGB载体图像以及64比特的二进制信息序列，输出为与输入尺寸相同的残差图像，残差图像是水印图像与载体图像的差值，表示为了嵌入水印信息而需在载体图像对应像素上修改的幅值。残差图像与载体图像相加便得到了水印图像，得到水印图像后，为了使水印图像被显示到监控屏幕上再被拍摄后依然能被准确地解码信息，设计了模拟该过程的失真层。水印图像在经过模拟失真函数的作用后，再被输入解码器，解码器的输出是64比特的二进制信息序列。在另一条支路，载体图像和水印图像被分别作为正样本和负样本输入到判别器中，用判别损失引导编码器生成更加真实的水印图像。
编码器的具体网络结构参阅图5，其采用了类U-Net的结构，其输入为512×512的RGB图像和64比特的二进制信息序列，输出为512×512的残差图像。首先，为了将一维64比特序列变成二维，通过全连接层将64位比特序列扩展成长度为12288的向量，再通过向量折叠的方式将其重塑为大小64×64的三通道图像，并用最近邻插值上采样到与输入图像一样的大小，与输入图像拼接作为编码器网络主体的输入。网络的主要结构包括下采样和上采样两个部分。网络首先不断对特征图用3×3卷积进行下采样，缩小尺寸的同时，不断地增加特征图的通道数，提取图像的抽象特征；紧接着是一系列最近邻插值的上采样操作，来扩大特征图尺寸，在每次上采样后，都会与下采样过程中同样大小的特征图进行拼接，再对拼接后的特征图进行步长为1的卷积运算，输出尺寸相同的特征图，在此过程中特征图尺寸不断变大，通道数不断减少，直到输出与原图像尺寸相同的残差图像。最后将残差图像和原图像相加，便得到了含水印信息的水印图像。
解码器的具体网络结构参阅图6，其输入为大小512×512、含水印信息的三通道RGB水印图像，对其不断地采用步长为2的卷积核来进行下采样，同时不断地增加特征图的通道数，以提取图像的特征，最后使用全连接层输出64比特的二进制信息序列。判别器的结构与解码器类似，同样采用步长为2的卷积核来进行下采样，同时不断地增加特征图的通道数，以提取图像的特征，但是其最后输出为长度为2的向量，分别代表了预测为真与假的概率。
特别的，图像在显示到监控屏幕上再被拍摄的过程中会造成不同程度的失真，而网络的目的是训练解码器对于一定程度失真的图像，同样能解码出正确的信息。因此需要在训练时用函数模拟这种失真，为此在失真层引入了透视变换、模糊、噪声、色彩变化、光照、JPEG压缩六种可导的失真变换。
因此，作为一种优选实施例，所述深度学习框架在训练时在失真层引入了包括透视变换和/或模糊和/或噪声和/或色彩变化和/或光照和/或JPEG压缩引起的失真变换。
整个网络架构的主要目标是使得嵌入的水印不被肉眼感知，此外要保证解码的准确率要高且对图像失真具有鲁棒性。
为了使水印不被肉眼感知，本实施例使用了两种损失函数来限制水印图像和载体图像的差别：第一种是图像块感知相似(Learned Perceptual Image Patch Similarity,LPIPS)损失来作为损失函数，这是一种基于网络学习的图像相似度评估函数，两个图像在视觉上越相似，则损失越小。
作为一种优选实施例，所述图像块感知相似损失函数按以下公式表示：
LP＝LPIPS(Io,Iw)；
其中，Io表示载体图像；Iw表示水印图像。
第二种是基于图像纹理模板的YUV空间差分损失函数。如果在图像的平滑区域嵌入水印信息，会使得该区域有明显的水印痕迹，因此需要对图像平滑区域赋予更大的嵌入代价。为此，网络在处理图像时，首先会用Canny算子提取边缘图像，再对边缘图像进行形态学的膨胀运算，这样便得到了复杂区域高亮度，平滑区域亮度几乎为零的纹理模板It，并将其归一化到0到1之间。将载体图像Io和水印图像Iw从RGB空间转换到YUV空间，则该损失LT的计算公式为逐像素损失的和；作为一种优选实施例，所述基于图像纹理模板的YUV空间差分损失函数按以下公式表示：
其中，Y，U，V表示载体图像Io以及水印图像Iw转换到YUV空间的分量，I(i,j,c)表示图像在c通道中，位于横坐标为i、纵坐标为j位置的像素值大小。
为使解码准确率高，要对错误解码的结果进行惩罚，因此还可以使用交叉熵作为损失函数，错误率越高，损失就越大，而训练的目的就是最小化损失函数。此外还有判别器损失，具体可以采用Wasserstein GAN的损失函数形式
因此，作为一种优选实施例，所述深度学习框架的整体损失函数按以下公式表示：
L＝λPLP+λTLT+λCLC+λMLM；
其中，λ表示损失权重；LP表示所述图像块感知相似损失函数；LT表示所述基于图像纹理模板的YUV空间差分损失函数；LC表示判别器损失函数；LM表示交叉熵损失函数。
进一步的，所述判别器损失函数LC按以下公式表示：
LC＝D(Io)-D(Iw)；
其中，D(·)表示判别器网络；Io表示载体图像；Iw表示水印图像；
所述交叉熵损失函数LM按以下公式表示：
其中，Bi(i＝1,2,...,64)表示训练过程中输入网络的比特序列；Mi(i＝1,2,...,64)表示训练过程中网络输出的比特序列。
特别的，实际训练网络时，使用MIRFLICKR自然图像数据集来进行训练，该数据集包含了25000张自然图像，在单张图形计算卡上训练200000次迭代后模型可收敛。使用2080ti显卡时，单张图片的编码速度为10毫秒，能够满足实时编码的需求。
作为一种优选实施例，请参阅图7，对于对嵌入了所述水印信息的监控视频进行翻拍得到的翻拍视频，通过以下步骤从所述翻拍视频中提取水印信息：
S21，通过提取所述翻拍视频的视频帧，计算所述翻拍视频的sift特征点；
S22，获取所述载体图像的sift特征点，与所述翻拍视频的sift特征点进行匹配；
S23，以所述步骤S22的匹配结果求解出单应性矩阵H，根据所述单应性矩阵H对所述翻拍视频的视频帧进行透视变换；
S24，将所述步骤S23的透视变换结果裁剪至与所述载体图像相同的尺寸；
S25，将所述步骤S24的裁剪结果输入所述深度鲁棒水印网络，通过所述深度鲁棒水印网络中的解码器获得水印信息。
具体的，当监控视频被翻拍时，由于水印模板的图像内容是几乎不变的，利用sift特征匹配进行对翻拍帧和嵌入水印时使用的模板(即所述载体图像)进行图像配准，能够实现快速而且准确的水印同步。
具体示例同样可参阅图3，在从翻拍视频提取到水印信息后，利用其中的BCH监督比特对提取到的水印信息进行纠错，根据CRC校验码验证水印信息的有效性；若有效，则可以成功提取出其中的时间戳以及设备号信息，从而实现对监控视频的溯源。
实施例2
一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印***，请参阅图8，包括用于在监控视频中嵌入水印信息的水印信息嵌入模块1，所述水印信息嵌入模块1包括模板区域选取单元11、载体图像截取单元12、水印信息生成单元13、水印图像生成单元14、视频图像替换单元15，其中：
所述模板区域选取单元11用于从监控视频中的背景区域，选取背景图像内容相对固定的矩形区域，作为水印嵌入的模板区域；
所述载体图像截取单元12用于提取所述监控视频在流缓冲区中的视频帧，根据所述模板区域，从所述视频帧中获取截取图像作为载体图像；
所述水印信息生成单元13用于获取所述监控视频的设备号信息以及当前时间戳，编码为二进制比特序列；将所述二进制比特序列与对应的CRC校验码以及BCH纠错码拼接，生成水印信息；
所述水印图像生成单元14用于将所述载体图像以及水印信息，输入预设的深度鲁棒水印网络，通过所述深度鲁棒水印网络中的编码器生成水印图像；其中，所述深度鲁棒水印网络为以StegaStamp为基础、结合了图像块感知相似损失函数以及基于图像纹理模板的YUV空间差分损失函数的深度学习框架训练获得；
所述视频图像替换单元15用于以所述水印图像对所述视频帧在模板区域的图像进行替换。
作为一种优选实施例，还包括用于从翻拍视频中提取水印信息的水印信息提取模块2；所述翻拍视频通过对嵌入了所述水印信息的监控视频进行翻拍得到；所述水印信息提取模块2包括特征点计算单元21、体征点匹配单元22、透视变换单元23、裁剪单元24以及解码单元25；其中：
所述特征点计算单元21用于通过提取所述翻拍视频的视频帧，计算所述翻拍视频的sift特征点；
所述体征点匹配单元22用于获取所述载体图像的sift特征点，与所述翻拍视频的sift特征点进行匹配；
所述透视变换单元23用于以所述体征点匹配单元22的匹配结果求解出单应性矩阵H，根据所述单应性矩阵H对所述翻拍视频的视频帧进行透视变换；
所述裁剪单元24用于将所述透视变换单元23的透视变换结果裁剪至与所述载体图像相同的尺寸；
所述解码单元25用于将所述裁剪单元24的裁剪结果输入所述深度鲁棒水印网络，通过所述深度鲁棒水印网络中的解码器获得水印信息。
实施例3
一种存储介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现实施例1中的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法的步骤。
实施例4
一种计算机设备，包括存储介质、处理器以及储存在所述存储介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现实施例1中的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法的步骤。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，其特征在于，通过以下步骤在监控视频中嵌入水印信息：
S11，从监控视频中的背景区域，选取背景图像内容相对固定的矩形区域，作为水印嵌入的模板区域；
S12，提取所述监控视频在流缓冲区中的视频帧，根据所述模板区域，从所述视频帧中获取截取图像作为载体图像；
S13，获取所述监控视频的设备号信息以及当前时间戳，编码为二进制比特序列；将所述二进制比特序列与对应的CRC校验码以及BCH纠错码拼接，生成水印信息；
S14，将所述载体图像以及水印信息，输入预设的深度鲁棒水印网络，通过所述深度鲁棒水印网络中的编码器生成水印图像；其中，所述深度鲁棒水印网络为以StegaStamp为基础、结合了图像块感知相似损失函数以及基于图像纹理模板的YUV空间差分损失函数的深度学习框架训练获得；
S15，以所述水印图像对所述视频帧在模板区域的图像进行替换。
2.根据权利要求1所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，其特征在于，所述图像块感知相似损失函数按以下公式表示：
LP＝LPIPS(Io,Iw)；
其中，Io表示载体图像；Iw表示水印图像。
3.根据权利要求1所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，其特征在于，所述基于图像纹理模板的YUV空间差分损失函数按以下公式表示：
其中，Y，U，V表示载体图像Io以及水印图像Iw转换到YUV空间的分量，I(i,j,c)表示图像在c通道中，位于横坐标为i、纵坐标为j位置的像素值大小。
4.根据权利要求1所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，其特征在于，所述深度学习框架的整体损失函数按以下公式表示：
L＝λPLP+λTLT+λCLC+λMLM；
其中，λ表示损失权重；LP表示所述图像块感知相似损失函数；LT表示所述基于图像纹理模板的YUV空间差分损失函数；LC表示判别器损失函数；LM表示交叉熵损失函数。
5.根据权利要求4所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，其特征在于，所述判别器损失函数LC按以下公式表示：
LC＝D(Io)-D(Iw)；
其中，D(·)表示判别器网络；Io表示载体图像；Iw表示水印图像；
所述交叉熵损失函数LM按以下公式表示：
其中，Bi(i＝1,2,...,64)表示训练过程中输入网络的比特序列；Mi(i＝1,2,...,64)表示训练过程中网络输出的比特序列。
6.根据权利要求1所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，其特征在于，所述深度学习框架在训练时在失真层引入了包括透视变换和/或模糊和/或噪声和/或色彩变化和/或光照和/或JPEG压缩引起的失真变换。
7.根据权利要求1所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法，其特征在于，对于对嵌入了所述水印信息的监控视频进行翻拍得到的翻拍视频，通过以下步骤从所述翻拍视频中提取水印信息：
S21，通过提取所述翻拍视频的视频帧，计算所述翻拍视频的sift特征点；
S22，获取所述载体图像的sift特征点，与所述翻拍视频的sift特征点进行匹配；
S23，以所述步骤S22的匹配结果求解出单应性矩阵H，根据所述单应性矩阵H对所述翻拍视频的视频帧进行透视变换；
S24，将所述步骤S23的透视变换结果裁剪至与所述载体图像相同的尺寸；
S25，将所述步骤S24的裁剪结果输入所述深度鲁棒水印网络，通过所述深度鲁棒水印网络中的解码器获得水印信息。
8.一种结合深度鲁棒水印和模板同步的抗拍摄监控视频水印***，其特征在于，包括用于在监控视频中嵌入水印信息的水印信息嵌入模块(1)，所述水印信息嵌入模块(1)包括模板区域选取单元(11)、载体图像截取单元(12)、水印信息生成单元(13)、水印图像生成单元(14)、视频图像替换单元(15)，其中：
所述模板区域选取单元(11)用于从监控视频中的背景区域，选取背景图像内容相对固定的矩形区域，作为水印嵌入的模板区域；
所述载体图像截取单元(12)用于提取所述监控视频在流缓冲区中的视频帧，根据所述模板区域，从所述视频帧中获取截取图像作为载体图像；
所述水印信息生成单元(13)用于获取所述监控视频的设备号信息以及当前时间戳，编码为二进制比特序列；将所述二进制比特序列与对应的CRC校验码以及BCH纠错码拼接，生成水印信息；
所述水印图像生成单元(14)用于将所述载体图像以及水印信息，输入预设的深度鲁棒水印网络，通过所述深度鲁棒水印网络中的编码器生成水印图像；其中，所述深度鲁棒水印网络为以StegaStamp为基础、结合了图像块感知相似损失函数以及基于图像纹理模板的YUV空间差分损失函数的深度学习框架训练获得；
所述视频图像替换单元(15)用于以所述水印图像对所述视频帧在模板区域的图像进行替换。
9.一种存储介质，其上储存有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法的步骤。
10.一种计算机设备，其特征在于：包括存储介质、处理器以及储存在所述存储介质中并可被所述处理器执行的计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109380.7A CN114549270A (zh) | 2022-01-28 | 2022-01-28 | 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210109380.7A CN114549270A (zh) | 2022-01-28 | 2022-01-28 | 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549270A true CN114549270A (zh) | 2022-05-27 |
Family
ID=81672983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210109380.7A Pending CN114549270A (zh) | 2022-01-28 | 2022-01-28 | 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549270A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095411A (zh) * | 2023-10-16 | 2023-11-21 | 青岛文达通科技股份有限公司 | 一种基于图像故障识别的检测方法及*** |
-
2022
- 2022-01-28 CN CN202210109380.7A patent/CN114549270A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095411A (zh) * | 2023-10-16 | 2023-11-21 | 青岛文达通科技股份有限公司 | 一种基于图像故障识别的检测方法及*** |
| CN117095411B (zh) * | 2023-10-16 | 2024-01-23 | 青岛文达通科技股份有限公司 | 一种基于图像故障识别的检测方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10176545B2 (en) | Signal encoding to reduce perceptibility of changes over time | |
| CN111028308B (zh) | 一种图像中信息的隐写及读取方法 | |
| Zhang et al. | Robust invisible video watermarking with attention | |
| Jia et al. | RIHOOP: Robust invisible hyperlinks in offline and online photographs | |
| CN107888925B (zh) | 一种视频数字隐藏信息的嵌入方法和检测方法 | |
| Pramila et al. | Toward an interactive poster using digital watermarking and a mobile phone camera | |
| EP3477578B1 (en) | Watermark embedding and extracting method for protecting documents | |
| WO2007055492A1 (en) | Animated image code, apparatus for generating/decoding animated image code, and method thereof | |
| US9270846B2 (en) | Content encoded luminosity modulation | |
| CN111161181A (zh) | 图像数据的增强方法、模型的训练方法、设备和存储介质 | |
| CN112911341B (zh) | 图像处理方法、解码器网络训练方法、装置、设备和介质 | |
| CN113095992A (zh) | 一种新型的条码截图隐写溯源组合算法 | |
| CN116152173A (zh) | 一种图像篡改检测定位方法及装置 | |
| CN115482142A (zh) | 暗水印添加方法、提取方法、***、存储介质及终端 | |
| CN102737240A (zh) | 分析数字文档图像的方法 | |
| US10664940B2 (en) | Signal encoding to reduce perceptibility of changes over time | |
| Yang et al. | Language universal font watermarking with multiple cross-media robustness | |
| CN114549270A (zh) | 结合深度鲁棒水印和模板同步的抗拍摄监控视频水印方法 | |
| CN114037596A (zh) | 一种抗物理传输形变的端到端图像隐写方法 | |
| CN114207659A (zh) | 光场消息传递 | |
| CN114066709A (zh) | 一种基于深度学习的抗拍屏鲁棒水印***及算法 | |
| CN116391200A (zh) | 缩放不可知水印提取 | |
| CN117597702A (zh) | 缩放无关的水印提取 | |
| Yakushev et al. | Docmarking: Real-Time Screen-Cam Robust Document Image Watermarking | |
| CN117351032B (zh) | 一种***去除方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |