CN114648436A - 一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法 - Google Patents
一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法 Download PDFInfo
- Publication number
- CN114648436A CN114648436A CN202210256878.6A CN202210256878A CN114648436A CN 114648436 A CN114648436 A CN 114648436A CN 202210256878 A CN202210256878 A CN 202210256878A CN 114648436 A CN114648436 A CN 114648436A
- Authority
- CN
- China
- Prior art keywords
- watermark
- image
- convolution
- layer
- screen shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 84
- 230000004913 activation Effects 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 30
- 238000010586 diagram Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 15
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法，该方法具体为：步骤1：准备训练集与测试集；步骤2：建立抗屏摄文本图像水印模型，步骤3：对抗屏摄文本图像水印模型进行训练；步骤4：将测试集中的图像按张输入至步骤3中训练好的抗屏摄文本图像水印模型中，检测模型的正确率；步骤5：将需要进行水印嵌入的载体图像输入至训练好的抗屏摄文本图像水印模型中，得到水印嵌入后的载体图像，和水印信息。本发明的方法具有水印容量高、鲁棒性高和实用性强的特点。在实际使用过程中，成本更低、检测精度更高、耗时更短。
Description
技术领域
本发明属于数字媒体版权保护领域。
背景技术
随着商业化进程的加速，商业秘密泄露事件频繁发生，导致商业秘密的泄露源跟踪越来越受到关注。对于传统的窃取信息的方式，如扫描和使用电子邮件发送商业文件或复制电子文件等，人们可以通过使用传统鲁棒图像水印方案来跟踪泄漏源。然而，随着智能手机的普及，拍摄已经成为最简单、最有效的信息传输方式，给泄露源跟踪带来了新的挑战。任何有权访问文件的人(如授权员工)可以简单地通过拍照泄露信息，而不留下任何记录。抗屏摄文本图像水印方案可作为泄露源跟踪的有力保证。我们可以在文本图像中嵌入设备标识或员工标识等信息。当偷偷拍摄这些图像时，我们可以从照片中提取相应的信息。然后根据信息查找泄露的设备或员工编号，缩小调查范围，实现问责流程。
现有的抗屏摄文本图像水印算法主要是通过寻找变换不变域，将水印信息嵌入到不变域内，以期望抵抗屏幕拍摄带来的一系列图像失真，如亮度失真，对比度失真，饱和度失真和图像压缩等失真。通过寻找变换不变域方法来嵌入水印，图像质量取得了一定的效果。然而，这些算法并未考虑文本图像纹理简单的特点，水印信息易受屏摄过程影响，提取精度较低，并不能适用于现实场景。
发明内容
发明目的：为了解决上述现有技术存在的问题，本发明提供了一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法。
技术方案：一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法，其特征在于，具体包括如下步骤：
步骤1：准备训练集与测试集；
步骤2：建立抗屏摄文本图像水印模型，所述抗屏摄文本图像水印模型包括依次连接的水印嵌入网络，屏幕拍摄模拟网络和水印提取网络；
步骤3：对抗屏摄文本图像水印模型进行训练：每次训练时，在训练集中选取n张载体图像作为一组载体数据，同时随机生成n个水印信息作为一组水印数据，将该载体数据和水印数据输入至抗屏摄文本图像水印模型中，水印信息通过水印嵌入网络嵌入至相应的载体图像中，得到含水印图像，并通过屏幕拍摄模拟网络对含水印图像进行噪声攻击，得到含水印的噪声图像，最后采用水印提取网络提取噪声图像中的水印；
步骤4：将测试集中的图像按张输入至步骤3中训练好的抗屏摄文本图像水印模型中，首先测试含水印图像在屏摄情况下的水印信息提取的正确率，若正确率大于预设的阈值，则保留步骤3中训练好的抗屏摄文本图像水印模型；否则采用训练集对步骤3中训练好的抗屏摄文本图像水印模型中的参数进行优化。
步骤5：将需要进行水印嵌入的载体图像输入至训练好的抗屏摄文本图像水印模型中，得到水印嵌入后的载体图像，和水印信息。
进一步的，所述水印嵌入网络包括第一全连接层和依次连接的第一～十九卷积层；水印信息输入至第一全连接层后，对第一全连接层输出的水印特征图进行上采样，将上采样后的水印特征图与载体图像进行拼接操作，生成张量图Input；将该张量图Input输入至第一卷积层，经过第一～十卷积层的卷积操作，每个卷积层输出相应的张量图conv1～conv10，第十卷积层输出张量图conv10，对conv10进行上采样后输入至第十一卷积层，得到张量图conv11，将conv11与conv8拼接后输入至第十二卷积层，得到张量图conv12；对conv12进行上采样后输入至第十三卷积层，得到张量图conv13，将conv13与conv6拼接后输入至第十四卷积层，得到张量图conv14；对conv14进行上采样后输入至第十五卷积层，得到张量图conv15，将conv15与conv4拼接后输入至第十六卷积层，得到张量图conv16；对conv16进行上采样后输入至第十七卷积层，得到张量图conv17，将conv17与conv2拼接后输入至第十八卷积层，得到张量图conv18，将conv18输入到第十九卷积层后得到含水印掩膜图像，将含水印掩膜图像与相应的载体图像相加后得到含水印图像。
进一步的，所述第一全连接层中的激活函数为采用relu函数，卷积核初始化使用he_normal方法；第一～第十九中的卷积层均采用relu函数，初始化使用he_normal方法，池化层像素填充使用“same”方式。
进一步的，所述屏幕拍摄模拟网络包括变换层和噪声层，所述变换层对含水印图像进行仿射变换，并将仿射变换后的图像输入至噪声层，所述噪声层对收到图像进行噪声攻击最终得到含水印的噪声图像。
进一步的，所述水印提取网络包括第二全连接层和依次连接的第二十～第二十七卷积层将含水印的噪声图像输入至第二十卷积层，经过第二十～第二十七卷积层，得到第二十七卷积层输出的张量图conv27，对conv27进行Flatten操作后输入至第二全连接层，采用sigmoid函数对第二全连接层的输出进行激活，得到水印信息。
进一步的，所述第二十～第二十七卷积层的激活函数为relu函数，卷积核初始化使用he_normal方法，池化层像素填充使用same方法，第二十一～第二十七卷积层的水平滑动和垂直滑动步长值均为2。
进一步的，所述抗屏摄文本图像水印模型训练时的损失函数包括水印图像损失函数LC(Ico,Ien)，文本图像损失函数Lt(Ico,Ien)和水印信息损失函数LW(Win,Wout)；每个损失函数的表达式如下所示：
LC(Ico,Ien)＝MSE(Ico,Ien)
LW(Win,Wout)＝-(Win*log(Wout)+(1-Win)*log(1-Wout)
其中，MSE表示均方误差，Ico表示载体图像，Ien表示含水印的图像，
表示载体图像的按位反转；Win是表示水印信息，Wout表示提取出的水印信息。
有益效果：本发明的方法具有水印容量高、鲁棒性高和实用性强的特点。在实际使用过程中，成本更低、检测精度更高、耗时更短。
附图说明
图1为本发明模型的总体框架示意图。
图2为深度神经网络的文本图像实例图。
图3为水印图像实例图。
图4为水印嵌入网络结构图。
图5为深度神经网络的含水印的文本图像实例图。
图6为屏幕拍摄模拟网络结构图。
图7为深度神经网络的含水印的噪声文本图像实例图。
图8为水印提取网络结构图。
图9为深度神经网络提取的水印图像实例图。
具体实施方式
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
如图1所示，本发明的方法包括如下步骤：
本发明所采用方法如图1所示，包括如下步骤：
(1)准备适合深度学习训练和测试的文本图像集，其中要求训练集和测试集互不相同，保证测试集的独立性。
(2)将训练集中的文本图像样本分批次放入图1所示的框架内对抗屏摄文本图像水印模型展开训练，利用深度学习训练出一个文本图像水印模型。抗屏摄文本图像水印模型需要使得载体图像(原始图像、文本图像)损失差异不影响使用要求，并保证载密图像(含水印信息的文本图像、含水印图像)在屏幕拍摄过程中抵抗各种噪声攻击。
(3)将准备好的测试集放入文本图像水印模型中进行测试。测试集与训练集互不相同，不存在过拟合问题，即在测试集的文本图像中嵌入水印依然能以相当高的准确率提取出水印信息。
在步骤(1)中，准备训练集与测试集的方法如下：在数字化媒体使用过程中，以文本图像为载体的数据内容是数字化文本传播的主体部分，其格式有电子文档，电子签名、电子***、电子合同、电子证明等载体。因此本实施例选择具有代表性不同期刊的论文集及电子书籍，将其截图为文本图像，图像内容各不相同，具体尺寸为400×400像素，图像样本总数达到11万张，其中训练集10万张，测试集为1万张。
在步骤(2)中，将训练集中的文本图像样本分批次放入框架内对抗屏摄文本图像水印模型展开训练，深度学习出一个抗屏摄文本图像水印模型：将制作好的含有10万张文本图像的训练集按批次随机分出n张图像(本实施例中n＝4)，同时随机生成4个100bit大小的水印信息，将其作为1个批次送进抗屏摄文本图像水印框架内展开训练，训练次数设置为15万批次。在训练过程中，模型利用AdamOptimizer优化器对含水印文本图像进行图像质量的优化，缩减载体图像与含水印文本图像之间的差异，使人眼无法分辨出文本载体图像与含水印文本图像之间的差异性。同时，缩减水印信息与被恢复的水印信息之间的差异。在训练过程中，引入屏幕拍摄模拟网络以模拟屏幕拍摄过程带来的一系列图像失真，使得算法能够适应于实际使用的环境，对所涉及的攻击达到较高的鲁棒性。
在步骤(3)中，将准备好的测试集放入模型中进行测试：将准备好的1万张文本图像的测试集按张送入抗屏摄文本图像水印模型中，生成含水印文本图像后，对含水印文本图像进行恢复水印信息的操作。将测试集中的图像按张输入至步骤3中训练好的抗屏摄文本图像水印模型中，首先测试含水印图像在屏摄情况下的水印信息提取的正确率，若正确率大于预设的阈值，则训练好的抗屏摄文本图像水印模型建立完成；否则采用训练集对抗屏摄文本图像水印模型中的参数进行优化。
下面结合附图和具体实例，对本发明的方法做进一步说明。
本发明所用的文本图像数据集分为训练集和测试集(如下表1所示)，分别用来训练和测试水印***，文本图像数据集的部分样本如图2所示。
表1
| 数据集 | 数量(张) | 尺寸(像素) |
| 训练集 | 100000 | 400×400 |
| 测试集 | 10000 | 400×400 |
在本发明实现过程中，采用了基于神经网络的AutoEncoder模型架构，使用Python语言进行编程。基于神经网络的AutoEncoder模型架构使用图描述计算过程，通过构建和运行图即可实现对数据的计算。
如图1所示，算法框架所示的是本发明公开的一种基于深度学习的抗屏摄文本图像水印模型建立方法：首先，水印***在嵌入阶段时，水印信息与载体图像送入水印嵌入网络，生成一张含水印图像。然后，含水印图像经过屏幕拍摄过程时，会受到一系列的图像失真攻击，此时的含水印图像含有一些噪声，变成含水印的噪声图像。最后，含水印的噪声图像经过水印提取算法网络，提取出水印信息。其具体步骤如下：
(1)分批训练数据流程：首先，定义一个文本图像集合和一个水印信息集合。然后，利用随机函数随机从文本图像训练集中选择4张文本图像样本，转化为RGB格式图像，设置尺寸为400×400，接着将其转化为浮点型数据类型，并进行归一化操作，最后存放到文本图像集合。对于水印信息，使用二项式分布原理随机生成4组长度为100bit的一维0、1二进制数组，存放到水印信息集合。一般来说，水印信息在使用场景下可以嵌入为有意义的信息，必要时可以用二值图像转换为水印信息，如图3所示。
其中将训练集数据分批次进行训练是常见的图像训练方式，是为了加快训练文本图像水印模型。例如单个3通道图像尺寸为H×W×C＝400×400×3，4张3通道图像尺寸为4×400×400×3。本发明对训练集数据进行分为4张文本图像作为一个批次训练，一方面可以加快训练文本图像水印模型，另一方面可以缩短文本图像水印模型训练时间。
(2)水印嵌入网络：
(2.1)如图4所示，首先，长度为100bit的水印信息经过一个全连接层，生成7500个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将这7500个单元重定义尺寸为50×50×3的特征图。接下来，对卷积结果进行上采样从而将特征图放大8倍，特征图尺寸为400×400×3，与载体图像尺寸相同。随后，将扩大8倍后的水印信息特征图与载体图像进行拼接操作，生成尺寸为400×400×6的Input张量图。
(2.2)对Input张量图进行卷积操作，卷积通道为32，卷积核尺寸为1×1，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv1尺寸大小为400×400×32。
(2.3)经过卷积层的张量图conv1进行卷积操作，卷积通道为32，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv2尺寸大小为400×400×32。
(2.4)经过卷积层的张量图conv2进行卷积操作，卷积通道为32，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3尺寸大小为200×200×32。
(2.5)经过卷积层的张量图conv3进行卷积操作，卷积通道为32，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv4尺寸大小为200×200×32。
(2.6)经过卷积层的张量图conv4进行卷积操作，卷积通道为64，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv5尺寸大小为100×100×64。
(2.7)经过卷积层的张量图conv5进行卷积操作，卷积通道为64，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv6尺寸大小为100×100×64。
(2.8)经过卷积层的张量图conv5进行卷积操作，卷积通道为128，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv7尺寸大小为50×50×128。
(2.9)经过卷积层的张量图conv7进行卷积操作，卷积通道为128，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv8尺寸大小为50×50×128。
(2.10)经过卷积层的张量图conv8进行卷积操作，卷积通道为256，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv9尺寸大小为25×25×256。
(2.11)经过卷积层的张量图conv9进行卷积操作，卷积通道为256，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv10尺寸大小为25×25×256。
(2.12)经过卷积层的张量图conv10进行UpSampling2D上采样，上采样尺寸为2×2，然后进行卷积操作，卷积通道为128，卷积核尺寸为2×2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv11尺寸大小为50×50×128。
(2.13)经过卷积层的张量图conv11与conv8进行拼接操作，尺寸大小为50×50×256，然后进行卷积操作，卷积通道为128，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv12尺寸大小为50×50×128。
(2.14)经过卷积层的张量图conv12进行UpSampling2D上采样，上采样尺寸为2×2，然后进行卷积操作，卷积通道为64，卷积核尺寸为2×2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv13尺寸大小为100×100×64。
(2.15)经过卷积层的张量图conv13与conv6进行拼接操作，尺寸大小为100×100×128，然后进行卷积操作，卷积通道为64，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv14尺寸大小为100×100×64。
(2.16)经过卷积层的张量图conv14进行UpSampling2D上采样，上采样尺寸为2×2，然后进行卷积操作，卷积通道为32，卷积核尺寸为2×2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv15尺寸大小为200×200×32。
(2.17)经过卷积层的张量图conv15与conv4进行拼接操作，尺寸大小为200×200×64，然后进行卷积操作，卷积通道为32，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv16尺寸大小为200×200×32。
(2.18)经过卷积层的张量图conv16进行UpSampling2D上采样，上采样尺寸为2×2，然后进行卷积操作，卷积通道为32，卷积核尺寸为2×2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv17尺寸大小为400×400×32。
(2.19)经过卷积层的张量图conv17与conv2进行拼接操作，尺寸大小为400×400×64，然后进行卷积操作，卷积通道为32，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv18尺寸大小为400×400×32。
(2.20)经过卷积层的张量图conv18进行卷积操作，卷积通道为3，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法,池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的尺寸大小为400×400×3，即含水印掩膜图像。
(2.21)含水印掩膜图像与文本图像原图相加，生成含水印图像，如图5所示。
(3)屏幕拍摄模拟网络：
(3.1)如图6所示，屏幕拍摄模拟网络是一个端到端的网络结构，用于模拟文本图像屏幕拍摄过程中受到的噪声攻击。变换层用于模拟屏摄时图像经受的仿射变换操作，噪声层用于模拟图像在拍摄过程中受到的图像失真，如亮度失真，对比度失真，去饱和度失真和图像压缩等失真。
(3.2)首先，为了模拟含水印图像受到的仿射变换操作，我们均匀地在一个固定的范围内随机扰动含水印图像的四个顶点坐标，然后求解透视变换矩阵。然后，求解透视变换矩阵的逆矩阵，将透视变换后的含水印图像重新反变换回原始坐标含水印图像经过变换层的仿射变换操作后的含水印图像尺寸大小为400×400×3。
(3.3)然后，为了模拟含水印图像受到的噪声干扰，在噪声层中在一定阈值下加入随机强度的高斯模糊噪声、高斯噪声、对比度失真、亮度失真、色调失真、去饱和度失真和图像压缩失真。含水印图像最终经过屏幕拍摄模拟网络后，生成含水印的噪声图像如图7所示。
(4)水印提取网络：
(4.1)水印提取网络如图8所示，首先经过卷积层对张量图进行卷积操作，卷积通道为16，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv1尺寸大小为400×400×16。
(4.2)经过卷积层的张量图conv1进行卷积操作，卷积通道为16，卷积核尺寸为3×3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv2尺寸大小为400×400×16。
(4.3)经过卷积层的张量图conv2进行卷积操作，卷积通道为32，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3尺寸大小为200×200×32。
(4.4)经过卷积层的张量图conv3进行卷积操作，卷积通道为32，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv4尺寸大小为100×100×32。
(4.5)经过卷积层的张量图conv4进行卷积操作，卷积通道为32，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv5尺寸大小为50×50×32。
(4.6)经过卷积层的张量图conv5进行卷积操作，卷积通道为64，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv6尺寸大小为25×25×64。
(4.7)经过卷积层的张量图conv6进行卷积操作，卷积通道为128，卷积核尺寸为3×3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv7尺寸大小为13×13×128。
(4.8)经过卷积层的张量图conv7进行Flatten操作，将3维数据一维化，从而生成13×13×128个单元。
(4.9)最后，经过一个全连接层，默认按行的方向降维为1维数组，生成100个单元，利用sigmoid函数对其(100个单元)激活后，即为所提取出的水印信息。一般来说，为了提取内容直观，可将所提取出的水印信息转换为二值图像，如图9所示。
(5)损失函数：
(5.1)在网络训练过程中，使用了三种损失函数，如水印图像损失、载体图像损失和水印信息损失。
(5.2)首先，水印图像损失是为了缩小载体图像与含水印图像之间的视觉误差，设计的损失函数如下：
LC(Ico,Ien)＝MSE(Ico,Ien) (1)
其中MSE指的是均方误差，Ico指的是载体文本图像，Ien指的是含水印文本图像.
(5.3)随后，针对文本图像的前、后背景区别明显的特征，为了减少在训练过程对文本内容像素值的修改，设计了载体图像损失函数，如下所示：
其中
指的是载体图像的按位反转。
(5.4)最后，水印信息损失函数是为了缩小水印信息与所提取出的水印信息之间的误差，由二分类的交叉熵函数构成，具体如下所示：
LW(Win,Wout)＝-(Win*log(Wout)+(1-Win)*log(1-Wout) (3)
其中Win是原始水印信息，Wout指的是所提取出的水印信息。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
Claims (7)
1.一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法，其特征在于，具体包括如下步骤：
步骤1：准备训练集与测试集；
步骤2：建立抗屏摄文本图像水印模型，所述抗屏摄文本图像水印模型包括依次连接的水印嵌入网络，屏幕拍摄模拟网络和水印提取网络；
步骤3：对抗屏摄文本图像水印模型进行训练：每次训练时，在训练集中选取n张载体图像作为一组载体数据，同时随机生成n个水印信息作为一组水印数据，将该载体数据和水印数据输入至抗屏摄文本图像水印模型中，水印信息通过水印嵌入网络嵌入至相应的载体图像中，得到含水印图像，并通过屏幕拍摄模拟网络对含水印图像进行噪声攻击，得到含水印的噪声图像，最后采用水印提取网络提取噪声图像中的水印；
步骤4：将测试集中的图像按张输入至步骤3中训练好的抗屏摄文本图像水印模型中，测试含水印图像在屏摄情况下的水印信息提取的正确率，若正确率大于预设的阈值，则保留步骤3中训练好的抗屏摄文本图像水印模型；否则采用训练集对步骤3中训练好的抗屏摄文本图像水印模型中的参数进行优化。
步骤5：将需要进行水印嵌入的载体图像输入至训练好的抗屏摄文本图像水印模型中，得到水印嵌入后的载体图像，和水印信息。
2.根据权利要求1所述的一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法，其特征在于，所述水印嵌入网络包括第一全连接层和依次连接的第一～第十九卷积层；水印信息输入至第一全连接层后，对第一全连接层输出的水印特征图进行上采样，将上采样后的水印特征图与载体图像进行拼接操作，生成张量图Input；将该张量图Input输入至第一卷积层，经过第一～第十卷积层的卷积操作，每个卷积层输出相应的张量图conv1～conv10，第十卷积层输出张量图conv10，对conv10进行上采样后输入至第十一卷积层，得到张量图conv11，将conv11与conv8拼接后输入至第十二卷积层，得到张量图conv12；对conv12进行上采样后输入至第十三卷积层，得到张量图conv13，将conv13与conv6拼接后输入至第十四卷积层，得到张量图conv14；对conv14进行上采样后输入至第十五卷积层，得到张量图conv15，将conv15与conv4拼接后输入至第十六卷积层，得到张量图conv16；对conv16进行上采样后输入至第十七卷积层，得到张量图conv17，将conv17与conv2拼接后输入至第十八卷积层，得到张量图conv18，将conv18输入到第十九卷积层后得到含水印掩膜图像，将含水印掩膜图像与相应的载体图像相加后得到含水印图像。
3.根据权利要求2所述的一种基于深度学***滑动和垂直滑动步长值均为2。
4.根据权利要求1所述的一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法，其特征在于，所述屏幕拍摄模拟网络包括变换层和噪声层，所述变换层对含水印图像进行仿射变换，并将仿射变换后的图像输入至噪声层，所述噪声层对收到图像进行噪声攻击最终得到含水印的噪声图像。
5.根据权利要求1所述的一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法，其特征在于，所述水印提取网络包括第二全连接层和依次连接的第二十～第二十七卷积层，将含水印的噪声图像输入至第二十卷积层，经过第二十～第二十七卷积层，得到第二十七卷积层输出的张量图conv27，对conv27进行Flatten操作后输入至第二全连接层，采用sigmoid函数对第二全连接层的输出进行激活，得到水印信息。
6.根据权利要求5所述的一种基于深度学***滑动和垂直滑动步长值均为2。
7.根据权利要求1所述的一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法，其特征在于，所述抗屏摄文本图像水印模型训练时的损失函数包括水印图像损失函数LC(Ico，Ien)，文本图像损失函数Lt(Ico，Ien)和水印信息损失函数LW(Win，Wout)；每个损失函数的表达式如下所示：
LC(Ico，Ien)＝MSE(Ico，Ien)
LW(Win，Wout)＝-(Win*log(Wout)+(1-Win)*log(1-Wout)
其中，MSE表示均方误差，Ico表示载体图像，Ien表示含水印的图像，
表示载体图像的按位反转，Win是表示水印信息，Wout表示提取出的水印信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210256878.6A CN114648436A (zh) | 2022-03-16 | 2022-03-16 | 一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210256878.6A CN114648436A (zh) | 2022-03-16 | 2022-03-16 | 一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114648436A true CN114648436A (zh) | 2022-06-21 |
Family
ID=81993151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210256878.6A Pending CN114648436A (zh) | 2022-03-16 | 2022-03-16 | 一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648436A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998086A (zh) * | 2022-07-28 | 2022-09-02 | 合肥高维数据技术有限公司 | 屏幕隐形水印嵌入程序测试样本制作方法以及测试方法 |
-
2022
- 2022-03-16 CN CN202210256878.6A patent/CN114648436A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998086A (zh) * | 2022-07-28 | 2022-09-02 | 合肥高维数据技术有限公司 | 屏幕隐形水印嵌入程序测试样本制作方法以及测试方法 |
| CN114998086B (zh) * | 2022-07-28 | 2022-10-21 | 合肥高维数据技术有限公司 | 屏幕隐形水印嵌入程序测试样本制作方法以及测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tang et al. | Median filtering detection of small-size image based on CNN | |
| Zhang et al. | Robust invisible video watermarking with attention | |
| Zimba et al. | DWT-PCA (EVD) based copy-move image forgery detection | |
| WO2022127374A1 (zh) | 一种基于卷积神经网络的彩色图像隐写方法 | |
| Roy et al. | A hybrid domain color image watermarking based on DWT–SVD | |
| Fadl et al. | Robust copy–move forgery revealing in digital images using polar coordinate system | |
| CN113158583B (zh) | 一种端到端的基于深度学习的文本图像水印模型建立方法 | |
| Malonia et al. | Digital image watermarking using discrete wavelet transform and arithmetic progression technique | |
| CN115131188A (zh) | 一种基于生成对抗网络的鲁棒图像水印方法 | |
| CN111292221A (zh) | 一种安全鲁棒的大容量图像隐写方法 | |
| Lu et al. | Wavelet-based CNN for robust and high-capacity image watermarking | |
| Jwaid et al. | An efficient technique for image forgery detection using local binary pattern (hessian and center symmetric) and transformation method | |
| CN114827381A (zh) | 基于条件标准化流模型的强鲁棒性图像隐写方法及*** | |
| CN115345768A (zh) | 基于神经网络的鲁棒水印攻击方法及*** | |
| Liao et al. | GIFMarking: The robust watermarking for animated GIF based deep learning | |
| CN115393698A (zh) | 一种基于改进dpn网络的数字图像篡改检测方法 | |
| Zhu et al. | Generative high-capacity image hiding based on residual CNN in wavelet domain | |
| CN111445378A (zh) | 一种基于神经网络的图像盲水印嵌入及检测的方法及*** | |
| Zhou et al. | Geometric correction code‐based robust image watermarking | |
| Chen et al. | Image steganalysis with multi-scale residual network | |
| CN114648436A (zh) | 一种基于深度学习的抗屏摄文本图像水印嵌入和提取方法 | |
| CN113628090A (zh) | 抗干扰消息隐写与提取方法、***、计算机设备、终端 | |
| Agarwal et al. | Multichannel digital watermarking of color images using SVD | |
| CN116912074A (zh) | 一种基于残差改进mwcnn网络的图像隐写方法 | |
| Pan et al. | A lossless watermarking scheme for halftone image authentication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |