CN113643173A - 水印去除方法、装置、终端设备及可读存储介质 - Google Patents
水印去除方法、装置、终端设备及可读存储介质 Download PDFInfo
- Publication number
- CN113643173A CN113643173A CN202110955089.7A CN202110955089A CN113643173A CN 113643173 A CN113643173 A CN 113643173A CN 202110955089 A CN202110955089 A CN 202110955089A CN 113643173 A CN113643173 A CN 113643173A
- Authority
- CN
- China
- Prior art keywords
- watermark
- file
- target area
- area
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000003062 neural network model Methods 0.000 claims description 59
- 238000004590 computer program Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 26
- 238000005070 sampling Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008602 contraction Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
本申请适用于图像处理技术领域，尤其涉及一种水印去除方法、装置、终端设备及可读存储介质。该方法包括：获取包含水印的文件；确定水印在文件中的位置信息；根据位置信息获取文件中的目标区域，目标区域为文件中包含水印的区域；对目标区域进行水印去除处理，得到去水印后的文件。即本申请通过确定水印在文件中的位置信息；根据位置信息获取文件中的目标区域，并不需要对整个文件进行处理，只需对目标区域进行水印去除处理，即可得到去水印后的文件，提高去除水印的速度，降低去除水印的计算量。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种水印去除方法、装置、终端设备及可读存储介质。
背景技术
当前市场上的书本水印去除方法主要有：使用后期图像修复软件来去除，或者购买相应的付费软件来实现特定水印的批量去除，或者使用传统图像处理的方案来去除水印。
但是使用现有的书本水印去除方法进行水印去除时，需要对包含水印的整个图像的所有像素点进行处理，导致去除水印的速度较慢，以及去除水印的计算量较大。
发明内容
本申请实施例提供的水印去除方法、装置、终端设备及可读存储介质，提高去除水印的速度，降低去除水印的计算量。
第一方面，本申请实施例提供了一种水印去除方法，所述方法包括：
获取包含水印的文件；
确定所述水印在所述文件中的位置信息；
根据所述位置信息获取所述文件中的目标区域，所述目标区域为所述文件中包含所述水印的区域；
对所述目标区域进行水印去除处理，得到去水印后的文件。
在第一方面一种可能实现的方式中，所述确定所述水印在所述文件中的位置信息，包括：
将所述文件输入至第一神经网络模型进行处理，得到所述第一神经网络模型输出的所述水印在所述文件中的位置信息。
其中，所述第一神经网络模型为YOLO v3模型。
其中，所述根据所述位置信息获取所述文件中的目标区域，包括：
根据所述位置信息裁剪所述文件，得到所述目标区域。
其中，所述对所述目标区域进行水印去除处理，得到去水印后的文件，包括：
将所述目标区域输入至第二神经网络模型进行处理，得到所述第二神经网络模型输出的第一区域，所述第一区域为所述目标区域去除水印后的区域；
将所述第一区域与所述文件中的第二区域进行融合，得到去水印后的文件，所述第二区域为所述文件中除所述目标区域以外的区域。
其中，所述将第二神经网络模型对所述目标区域进行处理的过程，包括：
获取与所述目标区域对应的第三区域，所述第三区域为所述目标区域对应的背景区域，且所述第三区域不包含所述水印；
确定所述水印在所述目标区域中的位置信息；
根据所述水印在所述目标区域中的位置信息，确定所述第三区域中与所述水印对应的第四区域；
利用所述第四区域替换所述目标区域中的所述水印。
其中，所述确定所述水印在所述目标区域中的位置信息，包括：
对所述目标区域进行掩码处理，得到所述目标区域的掩码信息，并根据所述掩码信息确定所述水印在所述目标区域中的位置信息。
第二方面，本申请实施例提供一种水印去除装置其特征在于，所述装置包括：
第一获取模块，用于获取包含水印的文件；
确定模块，用于确定所述水印在所述文件中的位置信息；
第二获取模块，用于根据所述位置信息获取所述文件中的目标区域，所述目标区域为所述文件中包含所述水印的区域；
处理模块，用于对所述目标区域进行水印去除处理，得到去水印后的文件。
第三方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的水印去除方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的水印去除方法。
本申请实施例与现有技术相比存在的有益效果是：本申请通过获取包含水印的文件；确定水印在文件中的位置信息；根据位置信息获取文件中的目标区域，目标区域为文件中包含水印的区域；对目标区域进行水印去除处理，得到去水印后的文件。即本申请通过确定水印在文件中的位置信息；根据位置信息获取文件中的目标区域，并不需要对整个文件进行处理，只需对目标区域进行水印去除处理，即可得到去水印后的文件，提高去除水印的速度，降低去除水印的计算量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的水印去除方法的一种网络架构的示意图；
图2是本申请一实施例提供的一种水印去除方法的流程示意图；
图3a是本申请一实施例提供的YOLO v3模型的网络结构的示例图；
图3b是本申请一实施例提供的一种目标检测模型的训练方法的流程示意图；
图3c是本申请一实施例提供的矩形框的位置信息的示例图；
图4是本申请一实施例提供的一种对目标区域进行水印去除处理的方法的流程示意图；
图5a是本申请一实施例提供的第二神经网络模型的网络结构的示例图；
图5b是本申请一实施提供的编码器的网络结构的示例图；
图5c是本申请一实施例提供的解码器的网络结构的示例图；
图6是本申请一实施例提供的一种第二神经网络模型的训练方法的流程示意图；
图7是本申请一实施例提供的一种获得去除水印后的第一区域的示例图；
图8是本申请一实施例提供的一种应用第二神经网络模型获得去除水印后的第一区域的方法的流程示意图；
图9是本申请实施例提供的一种水印去除装置的结构示意图；
图10是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述，在其他情况中，各个实施例中的具体技术细节可以互相参考，在一个实施例中没有描述的具体***可参考其他实施例。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本申请说明书中描述的参考“本申请实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在另一些实施例中”、“本申请一实施例”、“本申请其他实施例”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
现有的书本水印去除方法进行水印去除时，需要对包含水印的整个图像的所有像素点进行处理，导致去除水印的速度较慢，以及去除水印的计算量较大。
为了解决上述缺陷，本申请的发明构思为：
通过确定水印在文件中的位置信息，根据位置信息获取文件中的目标区域，并不需要对整个文件进行处理，只需对目标区域进行水印去除处理，即可得到去水印后的文件，提高去除水印的速度，降低去除水印的计算量。
为了说明本申请的技术方案，下面通过具体实施例来进行说明。
请参阅图1，图1是本申请一实施例提供的水印去除方法的一种网络架构的示意图。为了方便说明，仅示出与本申请相关的部分。该网络架构包括：终端设备100和服务器200。
在该网络架构中，终端设备100可以包括但不限于手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等。终端设备100可用于部署第一神经网络模型和第二神经网络模型。
在该网络架构中，服务器200本质上是具备计算能力的电子设备，该服务器200部署在云端，也可用于部署第一神经网络模型和第二神经网络模型。该服务器200主要为终端设备100提供服务。
终端设备100通过公知的网络接入方式接入互联网，与云端的服务器200建立数据通信链路，以便启动对第一神经网络模型和第二神经网络模型的训练、对包含水印区域的文件进行水印处理等操作。
请参阅图2，图2是本申请一实施例提供的一种水印去除方法的流程示意图。作为一实现方式，图2中的方法的执行主体可以为图1中的终端设备100，作为其他实现方式，图2中的方法的执行主体也可以为图1中的服务器200，如图2所示，该方法包括：S201至S204。
S201、获取包含水印的文件。
具体的，本申请实施例中包含水印的文件可以是包含水印的图像、包含水印的便携式文档格式(Portable Document Format，PDF)和包含水印的网页等，本申请实施例对包含水印的文件类型不作限定。
本申请实施例中，当需要对一组包含水印的文件进行去除水印操作时，将一组包含水印的文件输入至终端设备或服务器，终端设备或服务器即可获取一组包含水印的文件。
本申请其他实施例中，当需要对多组包含水印的文件进行去除水印操作时，将多组包含水印的文件输入至终端设备或服务器，终端设备或服务器即可获取多组包含水印的文件。即本申请实施例的终端设备或服务器可以对多组包含水印的文件进行批量处理，提高去除水印的速度。
S202、确定水印在文件中的位置信息。
具体的，本申请实施例中，在获取包含水印的文件之后，通过第一神经网络模型确定水印在文件中的位置信息。
本申请实施例中，第一神经网络模型为目标检测模型，目标检测模型包括更快速的基于区域的卷积神经网络模型(Faster R-CNN模型)、单个深层神经网络检测模型(Single Shot MultiBox Detector，SSD模型)模型和先进的实时目标检测模型(Real-TimeObject Detetion，YOLO模型)等。其中，YOLO模型包含YOLO v1模型、YOLO v2模型和YOLO v3模型。本申请实施例用YOLOv3模型进行举例说明。请参考图3a，图3a是本申请一实施例提供的YOLO v3模型的网络结构的示例图。
YOLO v3模型的基础网络是Darknet53网络，Darknet53网络包括52层卷积层，1个平均池化层，1个全连接层和1个激活函数层(softmax)。
其中，52层卷积层包括：1个具有32个过滤器的卷积核，5个下采样层以及5组重复的残差单元resblock_body(这5组残差单元采用残差网络(Residual Neural Network，ResNet)这种跳层连接方式，每个单元由1个单独的卷积层与一组重复执行的卷积层构成，重复执行的卷积层分别重复1次、2次、8次、8次和4次；在每个重复执行的卷积层中，先执行1x1的卷积操作，再执行3x3的卷积操作)，一共是52层。
卷积层计算方法为：
52＝1+5+(1*2)+(2*2)+(8*2)+(8*2)+(4*2)。
YOLO v3模型中设置的Darknet53网络是为了得到输入文件的不同尺寸的特征。示例性的，输入文件为图像文件，图像文件的尺寸为416*416*3，416*416表示图像的分辨率，3表示图像的通道数。图像文件经过5个下采样层以及5组重复的残差单元的处理，即图像分别经过了2倍下采样(2)得到208*208*64尺寸的特征图像，4倍下采样(22)得到104*104*128尺寸的特征图像、8倍下采样(23)得到52*52*256尺寸的特征图像，16倍下采样(24)得到26*26*512尺寸的特征图像，32倍下采样(25)得到13*13*1024尺寸的特征图像。
YOLO v3模型的网络结构中还包括3个预测层，3个预测层与Darknet53网络中最后3层残差单元通过多个卷积层、多个上采样层与多个张量拼接层进行连接。
在YOLO v3模型中设置3个预测层是为了对输入文件的多尺寸的特征进行检测。示例性的，利用YOLO v3模型中的3个预测层对输入文件进行了3次检测，分别是在32倍下采样，16倍下采样，8倍下采样时进行检测，进而实现对输入文件不同尺寸的特征进行检测，输出检测结果。
在YOLO v3模型中设置上采样层是为了扩大经过低倍下采样处理得到的特征，使经过低倍下采样得到的特征表达效果更好。示例性的，经过低倍下采样处理得到的特征为13*13，经过上采样层的扩大操作，得到的特征为26*26。
本申请实施例中，在YOLO v3模型中设置张量拼接层是为了将Darknet53网络输出的特征图像与经过上采样处理得到的特征图像进行拼接。
请参考图3b，图3b是本申请一实施例提供的一种目标检测模型的训练方法的流程示意图。如图3a所示，该方法包括：S301至S303。
S301、获取多组样本文件。
具体的，样本文件为包含水印的文件。在一些实施例中，可以预先收集一批需要去除水印的文件，示例性的，预先收集1000张至3000张(例如1500张)需要去除水印的图像。本申请实施例对需要去除水印的文件数量不作限定。
获取多组样本文件即获取预先收集的1000张至3000张需要去除水印的图像。
S302、对各样本文件中的水印进行标注，得到各样本文件的目标区域信息。
具体的，目标区域为样本文件中包含水印的区域。在获取多组样本文件之后，需要对各样本文件进行标注，示例性的，本申请实施例可以利用通用文本标注工具(Labelme)在1500张图像中分别标注水印(例如可以利用标注框标注水印)，将标注结果以json文件格式进行存储，即可得到1500组json文件，json文件包括水印的标注框的位置信息。本申请实施例中将这1500组json文件包含的信息称为各样本文件的目标区域信息。
本申请实施例中，标注框的形式包括：多边形、矩形和圆形等，本申请实施例以标注框为矩形框进行举例说明。
本申请实施例中，矩形框的位置信息为水印在样本文件中的位置信息，该水印在样本文件中的位置信息可用矩形框的四个顶点坐标进行表示。示例性的，请参考图3c，图3c是本申请一实施例提供的矩形框的位置信息的示例图。在图3c中，w表示矩形框。H表示样本文件。坐标系是以图像左上角为坐标原点，以图像宽度方向为x轴的正方向，以图像高度方向为y轴的正方向建立坐标系，在该坐标系中，四个顶点坐标表示为(x_top_left，y_top_left)，(x_top_right，y_top_right)，(x_bottom_left，y_bottom_left)和(x_bottom_right，y_bottom_right)。
本申请实施例中，将S301中获取的各样本文件和S302中获取的各样本文件的目标区域信息作为数据集，从数据集中随机挑选一定比例的数据作为第一神经网络模型的训练集，将剩余比例的数据作为第一神经网络模型的验证集。示例性的，从数据集中随机挑选70％至90％，例如可以是80％的数据作为第一神经网络模型的训练集，将30％至10％，例如可以是20％的数据作为第一神经网络模型的验证集。
S303、将训练集和验证集输入第一神经网络模型中进行训练，保存训练参数。
具体的，将训练集中的各样本文件和各样本文件的目标区域信息输入YOLO v3模型中。YOLO v3模型中的Darknet53网络将各样本文件和各样本文件的目标区域信息生成不同尺寸的特征图像。对不同尺寸的特征图像进行检测时，将特征图划分为S*S个网格单元(例如：16*16尺寸的特征图像被划分为16*16个网格单元)，特征图像中的目标区域落入任一网格单元，则由该网格单元对目标区域进行检测。
本申请实施例中，每个网格单元均设定3个边界框。YOLO v3模型对目标区域进行检测时，利用各特征图像的边界框分别与提前标注的目标区域的矩形框进行计算，得到测量标准(Intersection Over Union，IOU)，只用IOU最大的边界框才能用来预测该目标区域。
IOU是一种测量在特定数据集中检测相应物体准确度的一个标准，这个标准用于测量真实与预测之间的相关度，IOU的值越大，则相关度越高。
IOU的计算公式为：
本申请实施例通过上述IOU的计算公式，即可分别计算出边界框与目标区域的IOU。
本申请实施例中的YOLO v3模型是在多个尺寸的图像特征上做检测。预测得到的输出特征有两个维度是提取到的特征图像的维度(比如13*13)，还有一个维度(深度)是B*(5+C)，其中B表示每个网格单元预测的边界框的数量，C表示边界框的类别数，5表示4个边界框的坐标信息和一个目标区域的置信度。
本申请实施例中，将训练集和验证集中各样本文件和各样本文件的目标区域信息输入模型中进行训练，当训练的次数(epoch)达到100次，或者训练的验证集准确率到达某个阈值(如90％)，则认为模型训练完毕。保存最优的模型权重参数用于提取水印在样本文件中的位置信息。
本申请实施例中，将文件输入至第一神经网络模型进行处理，得到第一神经网络模型输出的水印在文件中的位置信息。
具体的，将需要去除水印的文件输入至已训练完成的YOLO v3模型中进行处理，即可识别文件中包含水印的目标区域以及获得目标区域的信息，目标区域的信息包括水印的标注框的位置信息，即标注框的顶点坐标信息。
S203、根据位置信息获取文件中的目标区域。
具体的，根据位置信息裁剪文件，得到目标区域。
在一些实施例中，根据S202获取的矩形框的4个顶点坐标区域信息裁剪文件，即可得到文件的目标区域。
在一些实施例中，根据位置信息裁剪文件，得到目标区域之后，对目标区域进行掩码处理，得到目标区域的掩码信息。
该掩码信息中，水印区域的像素值不为0，其他区域的像素值为0。
S204、对目标区域进行水印去除处理，得到去水印后的文件。
具体的，请参考图4，图4是本申请一实施例提供的一种对目标区域进行水印去除处理的方法的流程示意图。作为一实现方式，图4中的方法的执行主体可以为图1中的终端设备100，作为其他实现方式，图4中的方法的执行主体也可以为图1中的服务器200。如图4所示，该方法包括：S401至S402。
S401、将目标区域输入至第二神经网络模型进行处理，得到第二神经网络模型输出的第一区域。
具体的，本申请实施例中，第一区域为目标区域去除水印后的区域。
本申请实施例中，第二神经网络模型是具有编码解码结构的神经网络模型。请参考图5a，图5a是本申请一实施例提供的第二神经网络模型的网络结构的示例图。
第二神经网络模型包括一个由多个编码器构成的收缩路径、一个由多个解码器构成的扩展路径以及替换模块，本申请实施例的编码器为6个，为了便于描述，将这6个编码器记为A、B、C、D、E、F，本申请实施例的解码器为5个，为了便于描述，将这5个解码器记为a、b、c、d、e，为了便于描述，将替换模块记为G。
收缩路径主要通过各级编码器实施下采样来逐步进行特征提取，扩展路径主要通过各级解码器实施上采样来逐步还原出越来越高分辨率的特征图像。在扩展路径逐级下采样的过程中会选择上下文信息，因此，为了补偿特征丢失，每个解码器将其上一级的上采样特征与其同级的编码器的上采样特征的级联作为输入，用于补偿上下文信息，以便确保所还原的图像质量。最后一级解码器还原的图片再经过一个后处理步骤便可还原出更接近原图的色彩。
本申请实施例中，每个编码器的网络结构请参考图5b，图5b是本申请一实施提供的编码器的网络结构的示例图。
每个编码器均包含卷积层，激活函数层(Relu)，批量归一化层(BatchNorm)和最大池化层。在每个编码器中，特征图像的通道数变为原来通道数量的2倍且逐层增加，但空间尺寸逐层减少，变为原特征图像的空间尺寸的1/2。
本申请实施例中，每个解码器的网络结构请参考图5c，图5c是本申请一实施例提供的解码器的网络结构的示例图。
每个解码器均包含张量拼接层、转置卷积层、卷积层，激活函数层(Relu)和批量归一化层(BatchNorm)，张量拼接层用于连接与该解码器同级的编码器，转置卷积层用于扩大特征图像的尺寸。在每个解码器中，特征图像的通道数变为原来通道数量的1/2且逐层减少，但空间尺寸逐层增加，变为原特征图像的空间尺寸的2倍。
对于第二神经网络模型，其残差连接体现在每一个编码器和解码器的网络结构中，如图5b和图5c所示，repeat x 3表示的意思是残差连接重复3次，这样做的好处是可以扩大感受野，同时有助于提升恢复图像的质量。
本申请实施例中，替换模块G与解码器连接，替换模块中包含1*1的卷积层，激活函数层(sigmoid)。替换模块对处理编码器和解码器的输出的特征图像进行处理。
请参考图6，图6是本申请一实施例提供的一种第二神经网络模型的训练方法的流程示意图。如图6所示，该方法包括：S601至S604。
S601、获取训练样本。
具体的，本申请实施例对文件中的水印进行去除时，为了提高去除水印的速度，并不需要对整个文件进行处理，而是通过第一神经网络模型的输出结果，确定水印在文件中的位置信息。根据位置信息获取文件中的目标区域，进而只需在第二神经网络模型中对目标区域进行水印去除处理。因此，本申请实施例中，可以将S301中多组样本文件经过第一神经网络模型的处理，进而得到的多组样本文件中的目标区域作为第二神经网络模型的训练样本。
S602、将训练样本输入至第二神经网络模型的收缩路径中的多个编码器，逐步下采样提取训练样本的多尺寸的特征图像。
示例性的，请参考图5a，将训练样本中各目标区域为128*128*3(长*宽*高，其中，高可理解为通道数)的尺寸特征，经过编码器A下采样提取特征之后变成64*64*32的特征图像输出给编码器B，同理，经过编码器C之后，输出32*32*64的特征图像，再经过编码器D即成为16*16*128的特征图像，经编码器E即成为8*8*256的特征图像，经编码器F即成为4*4*512的特征图像，获得的多尺寸的特征图像被传入扩展路径。
步骤S603、将多尺寸的特征图输入第二神经网络模型的扩展路径中的多个解码器，逐步上采样还原为更高分辨率的特征图像。
具体的，每个解码器以其对应的一个编码器所获得的特征图像为参照实施还原。
请参照图5a，第二神经网络模型中除了中间的编码器F外，两侧的编码器与解码器呈对称结构，其中，每个解码器均获取两路输入，一路为其上一级的解码器的上采样的图像特征，另一路为其对称级的编码器的上采样的图像特征的级联。
本申请实施例中，4*4*512的特征图像经过解码器a之后，被还原为8*8*256的特征图像，然后经解码器b还原为16*16*128的特征图像，再经解码器c还原为32*32*64的特征图像，再经编码器d还原为64*64*32，最后经编码器e还原为128*128*3，与编码器输入时的特征图像的尺寸相同。
S604、对解码器的输出和编码器最后阶段的输出进行处理，获得去除水印后的第一区域。
具体的，本申请实施例中，解码器输出的特征图像及编码器输出的特征图像均被传输到一个替换模块G中进行替换，在替换模块中，根据该第二神经网络模型固有的原理运用sigmoid函数和正则化处理对解码器输出的特征图像及编码器输出的特征图像进行处理，以便获得去除水印后的第一区域。
请参考图7，图7是本申请一实施例提供的一种获得去除水印后的第一区域的示例图，在图7中，目标区域Cr，经过解码器处理，输出的特征图中包含与目标区域对应的第三区域
目标区域的特征图像
等。
在一些实施例中，第三区域为目标区域对应的背景区域，且第三区域不包含水印。在一些实施例中，目标区域的特征图像为掩码图像，在掩码图像中，水印区域的像素值不为0，其他区域的像素值为0。
本申请实施例中，在替换模块G中，确定水印在目标区域中的位置信息。
具体的，对目标区域进行掩码处理，得到目标区域的掩码信息，并根据掩码信息确定水印在目标区域中的位置信息
在一些实施例中，通过对目标区域进行掩码处理，获得掩码图像，根据掩码图像中水印区域的掩码即可确定水印在目标区域中的位置信息。
本申请实施例中，根据水印在目标区域中的位置信息，确定第三区域中与水印对应的第四区域。
具体的，通过将第三区域与目标区域中的水印图像进行异或处理，即可确定第三区域中与水印对应的第四区域
具体公式如下：
本申请实施例中，利用第四区域替换目标区域中的水印。
具体的，利用下述公式，即可完成第四区域对目标区域的替换，获得去除水印后的第一区域。
其中，
表示第一区域。
本申请实施例中，在第二神经网络模型训练的迭代次数达到一定次数时(例如100次)，神经网络模型即完成训练，保存的模型权重参数用于获得去除水印后的第一区域。
在一些实施例中，为了监督第二神经网络模型的训练效果，将第三区域作为目标值，将去除水印后的第一区域作为预测值，采用由多个损失函数线性叠加而成的总损失函数监督样本训练过程，以使训练所得的预测值随迭代次数的增加而最大化趋近于目标值。
请参考图8，图8是本申请一实施例提供的一种应用第二神经网络模型获得去除水印后的第一区域的方法的流程示意图。作为一实现方式，图8中的方法的执行主体可以为图1中的终端设备100，作为其他实现方式，图8中的方法的执行主体也可以为图1中的服务器200。如图8所示，该方法包括：S801至S804。
S801、获取与目标区域对应的第三区域。
本申请实施例中，将目标区域输入已训练完成的第二神经网络模型，第二神经网络模型经过训练，其相关参数得到优化，其解码器输出的特征图像即为与目标区域对应的第三区域。
S802、确定水印在目标区域中的位置信息。
本申请实施例中，确定水印在目标区域中的位置信息的方法与S604中确定水印在目标区域中的位置信息的方法相同，此处不再赘述。
S803、根据水印在目标区域中的位置信息，确定第三区域中与水印对应的第四区域。
本申请实施例中，确定第四区域的方法与S604中确定第四区域的方法相同，此处不再赘述。
S804、利用第四区域替换目标区域中的水印。
本申请实施例中，利用第四区域替换目标区域中的水印进而获得去除水印后的第一区域。
利用第四区域替换目标区域中的水印的方法与S604中利用第四区域替换目标区域中的水印的方法相同，此处不再赘述。
S402、将第一区域与文件中的第二区域进行融合，得到去水印后的文件。
具体的，第一区域为目标区域去除水印后的区域。第二区域为文件中除目标区域以外的区域。
本申请实施例中，目标区域的信息包括水印的标注框的位置信息，即标注框的顶点坐标信息，根据标注框的顶点坐标信息将第一区域与第二区域进行融合，得到去水印后的文件。
本申请实施例中。可以利用加权平均、小波变换、模糊神经网络、塔形分解等方法将第一区域与第二区域进行融合，本申请实施例对第一区域与第二区域的融合方法不作限定。
综上所述，本申请实施例通过获取包含水印的文件；利用第一神经网络模型确定水印在文件中的位置信息；根据位置信息获取文件中的目标区域，目标区域为文件中包含水印的区域；利用第二神经网络模型对目标区域进行水印去除处理，得到去水印后的文件。即本申请通过确定水印在文件中的位置信息；根据位置信息获取文件中的目标区域，并不需要对整个文件进行处理，只需对目标区域进行水印去除处理，即可得到去水印后的文件，提高去除水印的速度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
请参阅图9，图9是本申请实施例提供的一种水印去除装置的结构示意图，作为一实现方式，该装置可以应用于图1的终端设备100，作为其他实现方式，该装置也可以应用于图1的服务器200。该装置包括：
第一获取模块91，用于获取包含水印的文件。
确定模块92，用于确定水印在文件中的位置信息。
第二获取模块93，用于根据位置信息获取文件中的目标区域，目标区域为文件中包含水印的区域。
处理模块94，用于对目标区域进行水印去除处理，得到去水印后的文件。
其中，确定模块92，包括：
第一处理单元921，用于将文件输入至第一神经网络模型进行处理，得到第一神经网络模型输出的水印在文件中的位置信息。
其中，第二获取模块93，包括：
裁剪单元931，用于根据位置信息裁剪文件，得到目标区域。
其中，处理模块94，包括：
第二处理单元941，用于将目标区域输入至第二神经网络模型进行处理，得到第二神经网络模型输出的第一区域，第一区域为目标区域去除水印后的区域。
融合单元942，用于将第一区域与文件中的第二区域进行融合，得到去水印后的文件，第二区域为文件中除目标区域以外的区域。
其中，第二处理单元941，包括：
第一获取子单元9411，用于获取与目标区域对应的第三区域，第三区域为目标区域对应的背景区域，且第三区域不包含水印。
第二获取子单元9412，用于确定水印在目标区域中的位置信息。
确定子单元9413，用于根据水印在目标区域中的位置信息，确定第三区域中与水印对应的第四区域。
替换子单元9414，用于利用第四区域替换目标区域中的水印。
其中，第二获取子单元9412，包括：
掩码处理子单元9415，用于对目标区域进行掩码处理，得到目标区域的掩码信息，并根据掩码信息确定水印在目标区域中的位置信息。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图10所示，本申请实施例还提供一种终端设备20，包括存储器21、处理器22以及存储在存储器21中并可在处理器22上运行的计算机程序23，处理器22执行计算机程序23时实现上述各实施例的显示屏瑕疵定位方法。
所述处理器22可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器21可以是终端设备200的内部存储单元。所述存储器21也可以是终端设备200的外部存储设备，例如终端设备200上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器21还可以既包括终端设备200的内部存储单元也包括外部存储设备。存储器21用于存储计算机程序以及终端设备200所需的其他程序和数据。存储器21还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述各实施例的水印去除方法。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述各实施例的水印去除方法。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种水印去除方法，其特征在于，所述方法包括：
获取包含水印的文件；
确定所述水印在所述文件中的位置信息；
根据所述位置信息获取所述文件中的目标区域，所述目标区域为所述文件中包含所述水印的区域；
对所述目标区域进行水印去除处理，得到去水印后的文件。
2.根据权利要求1所述的方法，其特征在于，所述确定所述水印在所述文件中的位置信息，包括：
将所述文件输入至第一神经网络模型进行处理，得到所述第一神经网络模型输出的所述水印在所述文件中的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述第一神经网络模型为YOLO v3模型。
4.根据权利要求1所述的方法，其特征在于，所述根据所述位置信息获取所述文件中的目标区域，包括：
根据所述位置信息裁剪所述文件，得到所述目标区域。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述对所述目标区域进行水印去除处理，得到去水印后的文件，包括：
将所述目标区域输入至第二神经网络模型进行处理，得到所述第二神经网络模型输出的第一区域，所述第一区域为所述目标区域去除水印后的区域；
将所述第一区域与所述文件中的第二区域进行融合，得到去水印后的文件，所述第二区域为所述文件中除所述目标区域以外的区域。
6.根据权利要求5所述的方法，其特征在于，所述第二神经网络模型对所述目标区域进行处理的过程，包括：
获取与所述目标区域对应的第三区域，所述第三区域为所述目标区域对应的背景区域，且所述第三区域不包含所述水印；
确定所述水印在所述目标区域中的位置信息；
根据所述水印在所述目标区域中的位置信息，确定所述第三区域中与所述水印对应的第四区域；
利用所述第四区域替换所述目标区域中的所述水印。
7.根据权利要求6所述的方法，其特征在于，所述确定所述水印在所述目标区域中的位置信息，包括：
对所述目标区域进行掩码处理，得到所述目标区域的掩码信息，并根据所述掩码信息确定所述水印在所述目标区域中的位置信息。
8.一种水印去除装置，其特征在于，所述装置包括：
第一获取模块，用于获取包含水印的文件；
确定模块，用于确定所述水印在所述文件中的位置信息；
第二获取模块，用于根据所述位置信息获取所述文件中的目标区域，所述目标区域为所述文件中包含所述水印的区域；
处理模块，用于对所述目标区域进行水印去除处理，得到去水印后的文件。
9.一种终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的水印去除方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的水印去除方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955089.7A CN113643173A (zh) | 2021-08-19 | 2021-08-19 | 水印去除方法、装置、终端设备及可读存储介质 |
| PCT/CN2021/119725 WO2023019682A1 (zh) | 2021-08-19 | 2021-09-22 | 水印去除方法、装置、终端设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955089.7A CN113643173A (zh) | 2021-08-19 | 2021-08-19 | 水印去除方法、装置、终端设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113643173A true CN113643173A (zh) | 2021-11-12 |
Family
ID=78422893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110955089.7A Pending CN113643173A (zh) | 2021-08-19 | 2021-08-19 | 水印去除方法、装置、终端设备及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113643173A (zh) |
| WO (1) | WO2023019682A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495110A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像处理方法、生成器训练方法、装置及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342363B (zh) * | 2023-05-31 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 基于两阶段深度神经网络的可见水印去除方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050025337A1 (en) * | 2003-07-29 | 2005-02-03 | Wei Lu | Techniques and systems for embedding and detecting watermarks in digital data |
| CN111160335A (zh) * | 2020-01-02 | 2020-05-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像水印处理方法、装置及电子设备 |
| CN111626912A (zh) * | 2020-04-09 | 2020-09-04 | 智者四海（北京）技术有限公司 | 水印去除方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105898322A (zh) * | 2015-07-24 | 2016-08-24 | 乐视云计算有限公司 | 一种视频去水印方法及装置 |
| US10169838B2 (en) * | 2016-08-01 | 2019-01-01 | International Business Machines Corporation | Multiple source watermarking for surveillance |
| CN111062854B (zh) * | 2019-12-26 | 2023-08-25 | Oppo广东移动通信有限公司 | 检测水印的方法、装置、终端及存储介质 |
| CN111798360B (zh) * | 2020-06-30 | 2023-08-15 | 百度在线网络技术（北京）有限公司 | 一种水印检测方法、装置、电子设备及存储介质 |
| CN111932431B (zh) * | 2020-07-07 | 2023-07-18 | 华中科技大学 | 基于水印分解模型的可见水印去除方法和电子设备 |
| CN112419132B (zh) * | 2020-11-05 | 2024-06-18 | 广州海外扛把子网络科技有限公司 | 视频水印检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-08-19 CN CN202110955089.7A patent/CN113643173A/zh active Pending
- 2021-09-22 WO PCT/CN2021/119725 patent/WO2023019682A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050025337A1 (en) * | 2003-07-29 | 2005-02-03 | Wei Lu | Techniques and systems for embedding and detecting watermarks in digital data |
| CN111160335A (zh) * | 2020-01-02 | 2020-05-15 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像水印处理方法、装置及电子设备 |
| CN111626912A (zh) * | 2020-04-09 | 2020-09-04 | 智者四海（北京）技术有限公司 | 水印去除方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114495110A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像处理方法、生成器训练方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023019682A1 (zh) | 2023-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681273A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN111127468A (zh) | 一种道路裂缝检测方法和装置 | |
| CN109816659B (zh) | 图像分割方法、装置及*** | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN110942071A (zh) | 一种基于车牌分类和lstm的车牌识别方法 | |
| CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
| CN112070649A (zh) | 一种去除特定字符串水印的方法及*** | |
| CN114429637B (zh) | 一种文档分类方法、装置、设备及存储介质 | |
| CN112308866A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| CN110852980A (zh) | 交互式图像填充方法及***、服务器、设备及介质 | |
| CN111709879B (zh) | 图像处理方法、图像处理装置及终端设备 | |
| CN113781510A (zh) | 边缘检测方法、装置及电子设备 | |
| CN113239925A (zh) | 一种文本检测模型训练方法、文本检测方法及装置、设备 | |
| CN112700460A (zh) | 图像分割方法及*** | |
| WO2023211543A1 (en) | Generating an inpainted image from a masked image using a patch-based encoder | |
| CN114418937B (zh) | 路面裂缝检测方法以及相关设备 | |
| CN114926734A (zh) | 基于特征聚合和注意融合的固体废弃物检测装置及方法 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN117409057A (zh) | 全景图深度估计方法、设备及介质 | |
| Zheng et al. | Joint residual pyramid for joint image super-resolution | |
| CN115375715A (zh) | 目标提取方法、装置、电子设备及存储介质 | |
| CN117523219A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN115019321A (zh) | 一种文本识别、模型训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230829 Address after: 523860 No. 168 Dongmen Middle Road, Xiaobian Community, Chang'an Town, Dongguan City, Guangdong Province Applicant after: Guangdong GENIUS Technology Co., Ltd. Address before: 523000 east side of the 15th floor, 168 dongmenzhong Road, Xiaobian community, Chang'an Town, Dongguan City, Guangdong Province Applicant before: GUANGDONG AIMENG ELECTRONIC TECHNOLOGY CO.,LTD. |
|
| TA01 | Transfer of patent application right |