CN115170378A - 一种基于深度学习的视频数字水印嵌入与提取方法及*** - Google Patents
一种基于深度学习的视频数字水印嵌入与提取方法及*** Download PDFInfo
- Publication number
- CN115170378A CN115170378A CN202210661160.5A CN202210661160A CN115170378A CN 115170378 A CN115170378 A CN 115170378A CN 202210661160 A CN202210661160 A CN 202210661160A CN 115170378 A CN115170378 A CN 115170378A
- Authority
- CN
- China
- Prior art keywords
- watermark
- video
- extracting
- img
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明涉及一种基于深度学习的视频数字水印嵌入与提取方法及***，其方法包括：S1：使用公开视频构建图像的训练集；S2：将训练集输入视频数字水印嵌入与提取网络进行训练，得到训练好的模型；视频数字水印嵌入与提取网络包括：水印嵌入网络、图像变换模块以及水印提取网络；S3：提取待嵌入水印视频的关键帧，并与水印一起输入到训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，再放回待嵌入水印视频；S4：抽取含数字水印视频的待检测帧，进行校正后，输入到训练好的视频数字水印提取网络，提取水印。本发明提供了可追溯源头的视频数字水印嵌入和提取方法，鲁棒性强，为新媒体环境下数字视频泄露溯源以及视频知识产权保护做出贡献。
Description
技术领域
本发明涉及数字水印领域，具体涉及一种基于深度学习的视频数字水印嵌入与提取方法及***。
背景技术
随着计算机和网络技术的发展，多媒体产品正日益数字化，数字化音像产品正日益走进人们的生活。虽然数字化使多媒体信息更容易编辑、制作、保存、传输，提高了音像制品的质量，但也带来了新的版权问题。如，在未得到作品所有者同意情况下，对具有高度价值的作品，无限制地复制将会给制作者和内容提供者造成相当大的经济损失。而且由于数字化的优点使其对视频信息的篡改变得异常容易，更使原作品的完整性受到严重威胁。而一些具有特殊意义的信息，如涉及司法诉讼、政府机要等等信息，则会遭到恶意攻击和篡改伪造。这一系列数字化技术本身特性所带来的负面效应，已成为信息产业健康持续发展的一大障碍。
因此，对于数字产品的版权保护便显得日益重要。人们常常认为版权保护的实现可以通过加密来完成。即首先将多媒体数据文件加密成密文后发布，使得网络传递过程中出现的非法攻击者无法从密文获得机密信息，从而达到版权保护和信息安全的目的，但这并不能完全解决问题。一方面加密后的文件因其不可理解性妨碍多媒体信息的传播；另一方面多媒体信息经过加密后容易引起攻击者的好奇和注意，并有被破解的可能性而且一旦加密文件经过破解后其内容就完全透明了。密码学一直被认为是在通信研究应用领域中主要的信息安全手段并受到极大重视，直到最近几年这种情况才有了改变。现有版权保护***多采用密码认证技术(例如DVD光盘的安全密码)，但仅采用密码并不能完全解决版权保护问题，密码仅能在数据从发送者到接受者的传输过程中进行数据加密保护。但当信息被接收并进行解密后，所有加密的文档就与普通文档一样，将不再受到保护，无法幸免于盗版。因此，如何进行数字产品版权保护和数据安全维护成为一个亟待解决的问题。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的视频数字水印嵌入与提取方法及***。
本发明技术解决方案为：一种基于深度学习的视频数字水印嵌入与提取方法，包括：
步骤S1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成随机二进制串作为水印信息数据，将所述输入图像和所述水印信息数据一起构建训练集；
步骤S2：将所述训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，所述视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印W嵌入输入图像Img，得到含水印的图像Imgencoded；图像变换模块用于将Imgencoded进行攻击变换，得到Img'encoded；以及视频数字水印提取网络用于提取Img'encoded中水印W'，基于Imgencoded与Img以及W'与W分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
步骤S3：抽取待嵌入水印视频的关键帧，与包含用户信息的水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将所述嵌入水印的关键帧放回至所述待嵌入水印视频中；
步骤S4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
本发明与现有技术相比，具有以下优点：
本发明公开了一种基于深度学习的视频数字水印嵌入与提取方法，通过基于DWT(Discrete Wavelet Transform)域以及深度学习的视频数字水印算法以及基于SIFT特征的图像配准方法实现，本发明提供的方法对抵抗裁剪、翻拍、打印、JPEG图像压缩和模糊等攻击具有强鲁棒性，提供了可追溯源头的数字水印嵌入和提取方法，为新媒体环境下数字视频泄露溯源以及视频知识产权保护做出贡献。
附图说明
图1为本发明实施例中一种基于深度学习的视频数字水印嵌入与提取方法的流程图；
图2为本发明实施例中视频数字水印嵌入网络结构示意图；
图3为本发明实施例中视频数字水印提取网络结构示意图；
图4为本发明实施例中一种基于深度学习的视频数字水印嵌入与提取***的结构框图。
具体实施方式
本发明提供了一种基于深度学习的视频数字水印嵌入与提取方法，为视频嵌入与提取可追溯源头的水印，为新媒体环境下数字视频泄露溯源以及视频知识产权保护做出贡献。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
为了更好地理解本发明实施例，对本发明实施例中所用的离散小波变换(DWT)进行阐述：
离散小波变换(Discrete Wavelet Transform,DWT)可以同时在频域以及时域表示图像的信息，是一种便捷的图像处理方式。小波变换是对傅里叶变换和短时傅里叶变换的一个突破，其改变在于使用有限长的会衰减的小波替代了无限长的三角函数基，在数值分析和泛函分析中，离散小波变换是对小波进行离散采样的任意小波变换。与其他小波变换一样，离散小波变换与傅里叶变换相比的一个关键优势是时间分辨能力，即离散小波变换基于时间捕获频率和位置信息。在计算机视觉***中，为了便于存储和计算，需要对输入变量进行离散化，这就要求对小波进行离散化，也就是DWT。DWT是将小波变换中的比例因子和移动因子离散化而得到的。
其中，DWT的变换公式如下：
其中
为近似系数，Wψ为小波细节系数；
为尺度函数，ψ(t)为小波函数，求和范围n为0,1,2,...,M-1，基本的尺度函数与小波函数的表示如下：
ψj,k(t)＝2j/2ψ(2jt-k),j,k≥0
其中j表示频域上小波函数的伸缩及尺度，k表示时域中函数的平移。
二维图像经过DWT变换，被分解为四个不同的分量，分别为水平LH(低频、高频)、垂直HL(高频、低频)、对角HH(高频、高频)和低频LL(低频、低频)，其中低频分量集中在左侧，可以继续递归的对四个分量进行DWT变换。其中低频分量包含的图像信息更为重要，若扰动过大会很强的影响图像的质量；高频分量则为图像的一些细节，若进行图像压缩时舍去也不会很影响图像的质量。
逆变换IDWT的公式如下：
其中在计算时，一般将j0置0，M为2的幂，求和范围k为0,1,2,...,2j-1。
通过对DWT变换过的图像进行分析发现，若图像收到攻击，一般低频区域是不会受到太大影响的，几乎能保留完整的信息，所以基于DWT的水印通常将内容写在低频区域，以应对可能出现的攻击。但随之而来的问题是图像的质量可能会受到比较大的影响。
实施例一
如图1所示，本发明实施例提供的一种基于深度学习的视频数字水印嵌入与提取方法，包括下述步骤：
步骤S1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成随机二进制串作为水印信息数据，将输入图像和水印信息数据一起构建训练集；
步骤S2：将训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印W嵌入输入图像Img，得到含水印的图像Imgencoded；图像变换模块用于将Imgencoded进行攻击变换，得到Img'encoded；以及视频数字水印提取网络用于提取Img'encoded中水印W'，基于Imgencoded与Img以及W'与W分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
步骤S3：抽取待嵌入水印视频的关键帧，与包含用户信息的水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将嵌入水印的关键帧嵌入至待嵌入水印视频；
步骤S4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
在一个实施例中，上述步骤S1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到关键帧构建输入图像的训练集，具体包括：
从公开视频中抽取一定数量的视频帧作为关键帧，将这些关键帧按照预定的尺寸进行裁剪，并进行归一化，得到预处理后的关键帧，得到输入图像；同时，生成包含用户信息的随机二进制串作为水印信息数据，将输入图像和水印信息数据一起构建训练集。
在一个实施例中，上述步骤S2中视频数字水印嵌入网络将水印W嵌入输入图像Img，得到含水印的图像Imgencoded，具体包括：
步骤S201：获取水印信息数据并转换为水印数组W∈{0,1}N，N为W长度；若水印数组长度不足时，在其后补0直到预定长度N；在W的第一位设有标志位，用于标识是否为正确的水印；
步骤S202：获取训练集中图片Img，在Img中心选出预设大小的区域，将该区域从RGB色彩空间变换到YCbCr色彩空间，提取其中的Y分量矩阵H，其中H大小为h×w；将分量矩阵H分割成8×8大小的子块集By(i)，i∈N，N＝(h×w)/(8×8)；对By(i)进行DWT变换得到变换子块集Bdwt(i)；
如图2所示，W(i)表示水印数组W中的第i位二进制水印，W(i)经过扩展后变成1×4×4的数据块；By(i)表示YCbCr色彩空间的Y通道数据分块，大小为1×8×8；By(i)经过DWT变换后变成4×4×4的数据块；
步骤S203：将二维水印数组W和变换子块集Bdwt(i)输入视频数字水印嵌入网络，经过水印嵌入卷积模块运算后输出含水印的变换子块集B'dwt(i)，其中，如图2所示，水印嵌入卷积模块中包含5个二维卷积层，二维卷积层间使用批标准化(Batch Normalization)层和ReLU激活层，5个二维卷积层的输出通道深度分别为16、16、16、16和4；
将步骤S202得到的1×4×4的数据块和4×4×4的数据块一起输入视频数字水印嵌入网络后，在第一维度上进行拼接后，生成大小为5×4×4的数据块；然后经过5个二维卷积层生成大小为4×4×4的数据块B'dwt(i)。
步骤S204：对编码后的变换子块集B'dwt(i)中每个子块分别进行逆DWT变换得到含有水印的Y'分量，将其合并到YCbCr色彩空间后再转换到RGB色彩空间；得到含水印的图像Imgencoded；
步骤S205：根据公式(1)计算Imgencoded与Img损失值Lossimg：
Lossimg＝LPIPS(Img,Imgencoded) (1)。
在一个实施例中，上述步骤S2中图像变换模块用于将Imgencoded进行变换增强，得到Img'encoded，具体包括：
将Imgencoded输入图像变换模块，对Imgencoded添加随机噪声、高斯模糊、JPEG图像压缩或者改变亮度，得到变换增强后的含水印图像Img'encoded。
为了在训练过程中提高视频数字水印提取网络的鲁棒性，对含水印图像添加攻击性，比如增加随机噪声、高斯模糊、JPEG图像压缩或者改变亮度。使用训练好的视频数字水印嵌入与提取网络时，无需使用图像变换模块。
在一个实施例中，上述步骤S2中视频数字水印提取网络用于提取Img'encoded中水印W'，具体包括：
步骤S211：将Img'encoded从RGB色彩空间变换到YCbCr色彩空间，提取其中的Y分量矩阵H，其中H大小为h×w；将分量矩阵H分割成8×8大小的子块集By(i)，i∈N，N＝(h×w)/(8×8)；对B(i)进行DWT变换得到变换子块集Bdwt(i)；
如图3所示，By(i)表示YCbCr色彩空间的Y通道数据分块，大小为1×8×8；By(i)经过DWT后变成4×4×4的数据块Bdwt(i)；
步骤S212：将变换子块集Bdwt(i)传入视频数字水印提取网络，经过水印提取卷积模块运算后输出水印数组W'，其中，如图3所示，水印提取卷积模块中包含4个二维卷积层、1个平均池化层和1个全连接层，4个二维卷积层间使用批标准化(Batch Normalization)层和ReLU激活层，4个二维卷积层的输出通道深度分别为16、16、16和1；
将步骤S211得到4×4×4的数据块Bdwt(i)输入视频数字水印提取网络，经过4个二维卷积生成大小为1×4×4的数据块B'dwt(i)；然后经过全局平均池化(mean pooling)和全连接层(fully connected layers)生成大小为1的W'(i)；
步骤S213：根据公式(2)计算W'与W均方差损失值Lossmsg；
步骤S214：构建总损失函数如公式(3)所示，通过反向传播，更新视频数字水印嵌入网络和视频数字水印提取网络的参数：
Losstotal＝γimgLossimg+γmsgLossmsg (3)
其中，γimg、γmsg分别为Lossimg和Lossmsg权重。
利用，根据总损失函数，不断更新和优化视频数字水印嵌入网络和视频数字水印提取网络的参数，直到得到训练好的视频数字水印嵌入与提取网络。
在一个实施例中，上述步骤S3：抽取待嵌入水印视频的关键帧，与水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将嵌入水印的关键帧嵌入至待嵌入水印视频，具体包括：
步骤S301：对待嵌入水印视频按照抽取帧规则：每间隔预定帧，抽取一帧作为关键帧Forigin，将待嵌入的水印字符串转换为二进制串水印数组W；
步骤S302：将Forigin和W输入训练好的视频数字水印嵌入网络，得到含水印视频帧Fwater；
步骤S303：按照抽取帧规则将含水印视频帧Fwater放回待嵌入水印视频中。
在一个实施例中，上述步骤S4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，具体包括：
步骤S401：获取含水印视频的前200帧作为水印待检测帧F；
步骤S402：将F输入训练好的视频数字水印提取网络，当提取出来的水印序列的标志位与嵌入的水印标志位相匹配，则结束水印提取操作，转至步骤S406；若对F提取结束仍无法提取出匹配的水印，则转至步骤S403，进行视频深度提取水印；
步骤S403：将每个待检测视频帧F与所有关键帧Forigin进行比对和校正；
步骤S404：基于SIFT特征比对图像相似度，使用K近邻算法匹配，再使用单应性矩阵将待检测视频通过旋转、变换方式将其与校正帧进行对齐；其中，单应性矩阵H如公式(4)所示：
其中，[x1 y11]T和[x2 y21]T分别表示待检测视频帧和校正帧的齐次坐标，将h22设为1，则单应性矩阵有8个未知参数，每一个对应的像素点可以产生2个方程，一个x方程，一个y方程，因此总共需要四个像素点来求解单应性矩阵H；通过随机抽样一致算法选取符合条件的像素点作为内群点；
步骤S405：比对每个待检测视频帧F与校正帧Forigin的内群点值，若设定内群点数量小于等于全部特征点的25％则会跳过当前校正帧；若大于25％，则将匹配到的校正帧暂存；在该待检测视频帧与所有校正帧比对完成之后，将上述待检测视频帧前后的帧按照由内到外的匹配策略依次通过与校正帧对齐后通过步骤S401、S402提取水印，若没有提取出来，则切换到下一个待检测视频帧重复以上步骤，直到提取出水印或检测完全部待检测视频帧为止；
步骤S406：提取水印所包含的用户信息。
本发明公开了一种基于深度学习的视频数字水印嵌入与提取方法，通过基于DWT(Discrete Wavelet Transform)域以及深度学习的视频数字水印算法以及基于SIFT特征的图像配准方法实现，本发明提供的方法对抵抗裁剪、翻拍、打印、JPEG图像压缩和模糊等攻击具有较强鲁棒性，提供了可追溯源头的水印嵌入和提取方法，为新媒体环境下数字视频泄露溯源以及视频知识产权保护做出贡献。
实施例二
如图4所示，本发明实施例提供了一种基于深度学习的视频数字水印嵌入与提取***，包括下述模块：
构建训练集模块1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成随机二进制串作为水印信息数据，将输入图像和水印信息数据一起构建训练集；
网络训练模块2：将训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印W嵌入输入图像Img，得到含水印的图像Imgencoded；图像变换模块用于将Imgencoded进行攻击变换，得到Img'encoded；以及视频数字水印提取网络用于提取Img'encoded中水印W'，基于Imgencoded与Img以及W'与W分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
视频数字水印嵌入模块3：抽取待嵌入水印视频的关键帧，与包含用户信息的水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将嵌入水印的关键帧放回至待嵌入水印视频中；
视频数字水印提取模块4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (7)
1.一种基于深度学习的视频数字水印嵌入与提取方法，其特征在于，包括：
步骤S1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成包含用户信息的随机二进制串作为水印信息数据，将所述输入图像和所述水印信息数据一起构建训练集；
步骤S2：将所述训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，所述视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印W嵌入输入图像Img，得到含水印的图像Imgencoded；图像变换模块用于将Imgencoded进行攻击变换，得到Img'encoded；以及视频数字水印提取网络用于提取Img'encoded中水印W'，基于Imgencoded与Img以及W'与W分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
步骤S3：抽取待嵌入水印视频的关键帧，与包含用户信息的水印数据一起输入到训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将所述嵌入水印的关键帧放回至所述待嵌入水印视频中；
步骤S4：抽取含水印视频的待检测帧，输入到训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
2.根据权利要求1所述的基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述步骤S2中视频数字水印嵌入网络将水印W嵌入输入图像Img，得到含水印的图像Imgencoded，具体包括：
步骤S201：获取所述水印信息数据并转换为水印数组W∈{0,1}N，N为W的长度；若所述水印数组长度不足时，在其后补0直到预定长度N；在W的第一位设有标志位，用于标识是否为正确的水印；
步骤S202：获取所述训练集中图像Img，在Img中心选出预设大小的区域，将该区域从RGB色彩空间变换到YCbCr色彩空间，提取其中的Y分量矩阵H，其中H大小为h×w；将所述分量矩阵H分割成8×8大小的子块集B(i)，i∈N，N＝(h×w)/(8×8)；对B(i)进行DWT变换得到变换子块集Bdwt(i)；
步骤S203：将所述二维水印数组W和所述变换子块集Bdwt(i)输入所述视频数字水印嵌入网络，经过水印嵌入卷积模块运算后输出含水印的变换子块集B'dwt(i)，其中，所述水印嵌入卷积模块包含：5个二维卷积层，所述二维卷积层之间使用批标准化层和ReLU激活层；
步骤S204：对所述编码后的变换子块集B'dwt(i)中每个子块分别进行逆DWT变换得到含有所述水印的Y'分量，将其合并到YCbCr色彩空间后再转换到RGB色彩空间；得到含水印的图像Imgencoded；
步骤S205：根据公式(1)计算Imgencoded与Img损失值Lossimg：
Lossimg＝LPIPS(Img,Imgencoded) (1)。
3.根据权利要求2所述的基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述步骤S2中图像变换模块用于将Imgencoded进行变换攻击，得到Img'encoded，变换攻击具体包括：
将Imgencoded输入所述图像变换模块，对Imgencoded添加随机噪声、高斯模糊、JPEG图像压缩或者改变亮度，得到变换增强后的含水印图像Img'encoded。
4.根据权利要求3所述的基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述步骤S2中视频数字水印提取网络用于提取Img'encoded中水印W'，具体包括：
步骤S211：将Img'encoded从RGB色彩空间变换到YCbCr色彩空间，提取其中的Y分量矩阵H，其中H大小为h×w；将所述分量矩阵H分割成8×8大小的子块集B(i)，i∈N，N＝(h×w)/(8×8)；对B(i)进行DWT变换得到变换子块集Bdwt(i)；
步骤S212：将变换子块集Bdwt(i)传入所述视频数字水印提取网络，经过水印提取卷积模块运算后输出水印数组W'，其中，所述水印卷积模块包含：4个二维卷积层、1个平均池化层和1个全连接层，所述二维卷积层间使用批标准化层和ReLU激活层；
步骤S213：根据公式(2)计算W'与W均方差损失值Lossmsg；
步骤S214：构建总损失函数如公式(3)所示，通过反向传播，更新所述视频数字水印嵌入网络和所述视频数字水印提取网络的参数：
Losstotal＝γimgLossimg+γmsgLossmsg (3)
其中，γimg、γmsg分别为Lossimg和Lossmsg权重。
5.根据权利要求4所述的基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述步骤S3：抽取待嵌入水印视频的关键帧，与水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将所述嵌入水印的关键帧放回至所述待嵌入水印视频中，具体包括：
步骤S301：对待嵌入水印视频按照抽取帧图像规则：每间隔预定帧，抽取一帧作为关键帧Forigin，将待嵌入的水印字符串转换为二进制串水印数组W；
对待嵌入水印视频每间隔120帧，抽取一帧作为关键帧Forigin；并将含有用户信息的将待嵌入的水印字符串转换为二进制串水印数组W；
步骤S302：将Forigin和W输入所述训练好的视频数字水印嵌入网络，得到含水印视频帧Fwater；
步骤S303：按照所述抽取帧规则将含水印视频帧Fwater放回所述待嵌入水印视频中。
对待嵌入水印视频每间隔120帧，放回含水印视频帧Fwater。
6.根据权利要求4所述的基于深度学习的视频数字水印嵌入与提取方法，其特征在于，所述步骤S4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，具体包括：
步骤S401：获取含水印视频的前200帧作为水印待检测帧F；
步骤S402：将F输入所述训练好的视频数字水印提取网络，当提取出来的所述水印序列的标志位与嵌入的水印标志位相匹配，则结束水印提取操作，转至步骤S406；若对F提取结束仍无法提取出匹配的水印，则转至步骤S403，进行视频深度提取水印；
步骤S403：将每个所述待检测视频帧F与所有关键帧Forigin进行对比和校正；
步骤S404：基于SIFT特征比对图像相似度，使用K近邻算法匹配，再使用单应性矩阵将所述待检测视频通过旋转、变换方式将其与所述校正帧进行对齐校正；其中，所述单应性矩阵H如公式(4)所示：
其中，[x1 y1 1]T和[x2 y2 1]T分别表示所述待检测视频帧和所述校正帧的齐次坐标，将h22设为1，则所述单应性矩阵有8个未知参数，每一个对应的像素点可以产生2个方程，一个x方程，一个y方程，因此总共需要四个像素点来求解所述单应性矩阵H；通过随机抽样一致算法选取符合条件的像素点作为内群点；
步骤S405：比对每个所述待检测视频帧F与所述校正帧Forigin的内群点值，若设定内群点数量小于等于全部特征点的25％则会跳过当前所述校正帧；若大于25％，则将匹配到的所述校正帧暂存；在该待检测视频帧与所有所述校正帧比对完成之后，将上述待检测视频帧前后的帧按照由内到外的匹配策略依次通过与所述校正帧对齐后通过步骤S401、S402提取水印，若没有提取出来，则切换到下一个所述待检测视频帧重复以上步骤，直到提取出水印或检测完全部所述待检测视频帧为止；
步骤S406：提取所述水印包含的用户信息。
7.一种基于深度学习的视频数字水印嵌入与提取***，其特征在于，包括：
构建训练集模块：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成随机二进制串作为水印信息数据，将所述输入图像和所述水印信息数据一起构建训练集；
网络训练模块：将所述训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，所述视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印W嵌入到输入图像Img，得到含水印的图像Imgencoded；图像变换攻击模块用于将Imgencoded进行变换攻击，得到Img'encoded；以及视频数字水印提取网络用于提取Img'encoded中水印W'，基于Imgencoded与Img以及W'与W分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
视频数字水印嵌入模块：抽取待嵌入水印视频的关键帧，与包含用户信息的水印二进制串一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将所述嵌入水印的关键帧放回至所述待嵌入水印视频中；
视频数字水印提取模块：抽取含水印视频的待检测帧，输入到训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210661160.5A CN115170378A (zh) | 2022-06-13 | 2022-06-13 | 一种基于深度学习的视频数字水印嵌入与提取方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210661160.5A CN115170378A (zh) | 2022-06-13 | 2022-06-13 | 一种基于深度学习的视频数字水印嵌入与提取方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170378A true CN115170378A (zh) | 2022-10-11 |
Family
ID=83485030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210661160.5A Pending CN115170378A (zh) | 2022-06-13 | 2022-06-13 | 一种基于深度学习的视频数字水印嵌入与提取方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170378A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094872A (zh) * | 2023-10-20 | 2023-11-21 | 中科亿海微电子科技（苏州）有限公司 | 一种用于数字水印的fpga处理***及方法 |
| CN117395474A (zh) * | 2023-12-12 | 2024-01-12 | 法序(厦门)信息科技有限公司 | 一种本地存储的防篡改的视频取证存证方法、*** |
| CN117974414A (zh) * | 2024-03-28 | 2024-05-03 | 中国人民解放军国防科技大学 | 基于融合新闻素材的数字水印签名校验方法、装置和设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311472A (zh) * | 2020-01-15 | 2020-06-19 | 中国科学技术大学 | 一种图像处理模型与图像处理算法的产权保护方法 |
| CN111445378A (zh) * | 2020-04-21 | 2020-07-24 | 焦点科技股份有限公司 | 一种基于神经网络的图像盲水印嵌入及检测的方法及*** |
| CN113613073A (zh) * | 2021-08-04 | 2021-11-05 | 北京林业大学 | 一种端到端的视频数字水印***及方法 |
| CN114255151A (zh) * | 2020-09-25 | 2022-03-29 | 浙江工商大学 | 一种基于关键点检测和深度学习的高分辨率图像鲁棒数字水印方法 |
-
2022
- 2022-06-13 CN CN202210661160.5A patent/CN115170378A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311472A (zh) * | 2020-01-15 | 2020-06-19 | 中国科学技术大学 | 一种图像处理模型与图像处理算法的产权保护方法 |
| CN111445378A (zh) * | 2020-04-21 | 2020-07-24 | 焦点科技股份有限公司 | 一种基于神经网络的图像盲水印嵌入及检测的方法及*** |
| CN114255151A (zh) * | 2020-09-25 | 2022-03-29 | 浙江工商大学 | 一种基于关键点检测和深度学习的高分辨率图像鲁棒数字水印方法 |
| CN113613073A (zh) * | 2021-08-04 | 2021-11-05 | 北京林业大学 | 一种端到端的视频数字水印***及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117094872A (zh) * | 2023-10-20 | 2023-11-21 | 中科亿海微电子科技（苏州）有限公司 | 一种用于数字水印的fpga处理***及方法 |
| CN117094872B (zh) * | 2023-10-20 | 2023-12-26 | 中科亿海微电子科技（苏州）有限公司 | 一种用于数字水印的fpga处理***及方法 |
| CN117395474A (zh) * | 2023-12-12 | 2024-01-12 | 法序(厦门)信息科技有限公司 | 一种本地存储的防篡改的视频取证存证方法、*** |
| CN117395474B (zh) * | 2023-12-12 | 2024-02-27 | 法序(厦门)信息科技有限公司 | 一种本地存储的防篡改的视频取证存证方法、*** |
| CN117974414A (zh) * | 2024-03-28 | 2024-05-03 | 中国人民解放军国防科技大学 | 基于融合新闻素材的数字水印签名校验方法、装置和设备 |
| CN117974414B (zh) * | 2024-03-28 | 2024-06-07 | 中国人民解放军国防科技大学 | 基于融合新闻素材的数字水印签名校验方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Reddy et al. | High capacity and security steganography using discrete wavelet transform | |
| Shen et al. | A DWT-SVD based adaptive color multi-watermarking scheme for copyright protection using AMEF and PSO-GWO | |
| Amrit et al. | Survey on watermarking methods in the artificial intelligence domain and beyond | |
| CN115170378A (zh) | 一种基于深度学习的视频数字水印嵌入与提取方法及*** | |
| Gulve et al. | An image steganography method hiding secret data into coefficients of integer wavelet transform using pixel value differencing approach | |
| Shen et al. | A novel data hiding for color images based on pixel value difference and modulus function | |
| Hajjaji et al. | A Watermarking of Medical Image: Method Based" LSB" | |
| CN112085016A (zh) | 基于roi和iwt医学图像篡改认证及恢复的鲁棒水印方法 | |
| Avci et al. | A novel reversible data hiding algorithm based on probabilistic XOR secret sharing in wavelet transform domain | |
| Thanikaiselvan et al. | High security image steganography using IWT and graph theory | |
| AlShaikh et al. | A novel CT scan images watermarking scheme in DWT transform coefficients | |
| Narula et al. | Comparative analysis of DWT and DWT-SVD watermarking techniques in RGB images | |
| CN104156909B (zh) | 基于图像内容的鲁棒可逆水印嵌入与检测方法 | |
| Ouyang et al. | A semi-fragile reversible watermarking method based on qdft and tamper ranking | |
| Kumar et al. | Image steganography using index based chaotic mapping | |
| Ling et al. | Watermarking for image authentication | |
| Juang et al. | Histogram modification and wavelet transform for high performance watermarking | |
| Alkhliwi | Huffman encoding with white tailed eagle algorithm-based image steganography technique | |
| Prajwalasimha et al. | Digital image watermarking based onSine hyperbolic transformation | |
| Kejgir et al. | Robust multichannel colour image watermarking using lifting wavelet transform with singular value decomposition | |
| Li et al. | A robust watermarking scheme based on maximum wavelet coefficient modification and optimal threshold technique | |
| Roy et al. | A robust reversible image watermarking scheme in DCT domain using Arnold scrambling and histogram modification | |
| Ayubi et al. | A chaos based blind digital image watermarking in the wavelet transform domain | |
| Jabbar et al. | Medical image authentication by combining hash signature and watermarking based on frequency domains | |
| Madhi et al. | Pixel steganography method for grayscale image steganography on colour images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221011 |
|
| WD01 | Invention patent application deemed withdrawn after publication |