CN115879516A - 一种数据取证方法 - Google Patents
一种数据取证方法 Download PDFInfo
- Publication number
- CN115879516A CN115879516A CN202310188408.5A CN202310188408A CN115879516A CN 115879516 A CN115879516 A CN 115879516A CN 202310188408 A CN202310188408 A CN 202310188408A CN 115879516 A CN115879516 A CN 115879516A
- Authority
- CN
- China
- Prior art keywords
- data
- generator
- discriminator
- network
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种数据取证方法,具体包括以下子步骤:获取原始电子数据;对原始电子数据进行处理;将处理后的原始电子数据输入取证网络,输出高质量图像数据;在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据,完成数据取证。本申请在确保数据不可检测性的前提下,不仅能够保存数据的视觉质量,还提升了数据的视觉质量,从而能够生成具有高不可检测性和视觉质量的反取证图像数据。
Description
技术领域
本申请涉及数据处理领域,具体地,涉及一种数据取证方法。
背景技术
图像和视频数据已经成为我们日常生活中传达视觉信息的重要媒体。然而,这些数据信息很容易被伪造、制造和篡改。伪造的图像数据如果被恶意地用于科学研究发现,新闻媒体报道,社交网络等时,便可能会导致灾难性的后果。更加严重的是,在大多数情况下,伪造的图像数据都是生动的,以至于我们不能依靠我们的眼睛来区分。因此,每年都有许多的取证工具被开发出来,以保护数字数据的真实性和完整性。将这些工具应用于图像,来跟踪图像的来源,暴露伪造痕迹等。研究人员过去常常建立数学模型和手动选择特征,用于分析图像的统计数据以进行取证。然而,如今大多数取证工具都是用深度学***衡是现在DeepFake反取证的挑战。因此在现有技术中提供的取证方法中,基本上只针对图像的不可检测性进行研究,而没有注重图像的视觉质量上的要求。而完美的反取证攻击,应该是可以同时欺骗取证算法和人眼。
因此,如何提供一种解决上述挑战的方法,来取证并处理图像数据从而增强视觉质量,是本领域技术人员急需解决的问题。
发明内容
本申请提供了一种数据取证方法,其特征在于,包括以下步骤:获取原始电子数据;对原始电子数据进行处理,原始电子数据为未经过处理的原始图像;将处理后的原始电子数据输入取证网络,输出高质量图像数据;在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据,完成数据取证;取证网络包括第一判别器D1和第一生成器G1,视觉增强网络包括第二生成器G2和第二判别器D2;其中在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据,完成数据取证的过程中,使用U型网络作为视觉增强网络的骨干网络。
如上的,其中,将处理后的原始电子数据输入取证网络,输出高质量图像数据,具体包括以下子步骤:对第一生成器G1进行预训练,确定第一生成器G1的损失函数;响应于确定第一生成器G1的损失函数后,确定第一判别器D1的损失函数;根据第一生成器G1的损失函数和第一判别器D1的损失函数,确定取证网络的损失函数。
其中E表示期望符号,表示伪造图像,/>表示给第一生成器G1输入/>后的输出的合成图像,/>表示第一生成器 G1 输入伪造图像/>的输出,/>表示对原始图像锐化后的图像,/>表示当第一判别器 D1 输入伪造图像/>与合成图像/>后的交叉熵损失,/>表示第一判别器 D1 输入伪造图像/>与输出的合成图像的交叉熵损失。
如上的,其中,在视觉增强网络中引入了移动视觉模块,通过引入移动视觉模块后的视觉增强网络进行高质量图像数据重建。
如上的,其中,在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据的过程包括,确定第二生成器G2的损失函数。
本申请具有以下有益效果:
本申请在确保数据不可检测性的前提下,不仅能够保存数据的视觉质量,相比于DeepFake图像,还提升了数据的视觉质量,从而能够生成具有高不可检测性和视觉质量的反取证图像,对现有图像数据的反取证技术进行了进一步的优化和补充。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的数据取证框架图;
图2是根据本申请实施例提供的数据取证框架图中第一判别器D1的结构示意图;
图3是根据本申请实施例提供的数据取证框架图中第一生成器G1的结构示意图;
图4是根据本申请实施例提供的数据取证框架图中第二生成器G2的结构示意图;
图5是根据本申请实施例提供的数据取证框架图中第二生成器G2中的MobileViT块的结构示意图;
图6是根据本申请实施例提供的数据取证方法的流程图。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提出了一种数据取证方法,与许多现有方法不同,注入这种扰动,DeepFake图像可以实现高反取证性能,同时表现出令人满意的锐化视觉效果。
实施例一
如图1所示,为本申请提供的进行数据取证的框架,该框架具体包括取证网络FDN以及视觉增强网络VEN。
其中取证网络包括第一判别器D1和第一生成器G1,D1作为FDN中与G1博弈的判别器,视觉增强网络包括第二生成器G2和第二判别器D2。
其中如图2所示,判别器D1和D2的结构相同,均由5个卷积块组成,判别器D1和D2的所有卷积层的内核大小,步幅和填充分别为4,2和1。其中A1 表示卷积(k4s2p1)+激活函数(0.2);A2表示卷积(k4s2p1)+归一化+激活函数(0.2);A3表示卷积(k4s2p1)。
具体地,其中取证网络FDN主要是为了从不可检测性方面提高DeepFake图像的反取证性能。但是,减少视觉质量损失也很重要。在许多已发表的著作中,U-Net适合生成高质量的图像,并保留更多细节和纹理。
因此,本实施例采用U-Net(U 型网络)作为第一生成器G1的基础架构,所有卷积层和转置卷积层的内核大小、步幅和填充分别为4、2和1。编码器中的每个视觉组都与解码器中的对称对应视觉组连接在一起,G1的具体结构如图3所示,其中T1表示经过下采样后的特征图,T2表示卷积(K4s2p1)+Instan归一化+Leak激活函数,T3表示转置卷积(K4s2p1)+Instans归一化+激活函数,T4表示经过上采样后的特征图,T5表示上采用(2倍)+卷积(k4s1p1)+Tanh激活函数,其中每两个T1连接表示将经过下采样后的特征图进行拼接。
其中本实施例还在视觉增强网络VEN的生成器G2中引入了MobileVit(A mobile-friendly Transformer-based model for image classification,移动视觉模块)块和MV2块。其中MobileVit块是一个轻量级的通用型网络模块。MV2为MobileNetV2(InvertedResiduals and Linear Bottlenecks)的核心模块。基于MobileViT和U-Net的生成器G2的结构如图4所示,G2其中所有卷积层、 转置卷积层、串联结构与图中的G1相同。在图4中,Q1表示卷积(k3s2p1)+MV2块,Q2表示经过下采样后的特征图,Q3表示MV2(2倍下采样)+MV2块+MV2块,Q4表示MV2(2倍下采样),Q5表示经过MV2 块后的特征图,Q6表示MobileViT块,Q7表示卷积(k1s1p0),Q8表示转置卷积(k4s2p1)+归一化+激活函数,Q9表示经过上采样后的特征图,Q10表示上采样(2倍)+卷积(k4s1p1)+Tanh激活函数。
其中MV2(2倍下采样)表示MV2块中的深度卷积步幅为2,MV2表示步幅为1。
进一步地,图5为MobileViT块的具体结构,包括多个窗口,各窗口的尺寸分别为(C,H,W)、(d,H,W)、(d,N,P)以及(2C,H,W),其中MobileViT块中具有相同类型输入和输出(CXHXW)的残余结构。卷积层-nxn(Con-nxn)用于对局部空间信息进行编码,而卷积层-1x1(Con-1x1)将张量投影到高维空间(dXHXW)。张量展开成N个不重叠的扁平化补丁,并将每个新部分(类型:1XNXd)输入transformer以学习补丁间的关系。之后张量将被折叠并与输入张量融合作为MobileViT块的输出。
如图6所示,为本申请提供的基于上述数据取证框架的数据取证方法,该方法的应用场景是信号处理过的图像的反取证场景,该方法具体包括以下步骤:
步骤S610:获取原始电子数据。
步骤S620:对原始电子数据进行处理。
步骤S630:将处理后的原始电子数据输入取证网络,输出高质量图像数据。
其中将处理后的原始电子数据输入取证网络前,还包括对第一生成器G1进行预训练以及确定取证网络的损失函数,因此步骤S6301具体包括以下子步骤:
步骤S6301:对第一生成器G1进行预训练,确定第一生成器G1的损失函数。
其中E表示期望符号,表示DeepFake生成的伪造图像,/>表示给第一生成器G1输入/>后的输出的合成图像,/>表示给G1输入/>后的输出的合成图像即/>,/>表示真是图像使用现有USM锐化方法生成的图像。
步骤S6302:响应于确定第一生成器G1的损失函数,确定第一判别器D1的损失函数。
步骤S6303:根据第一生成器G1的损失函数和第一判别器D1的损失函数,确定取证网络的损失函数。
步骤S640:在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据,完成数据取证。
其中,在通过取证网络FDN进行图像数据转换期间,产生信息数据丢失是不可避免的,因此,有必要重建高质量的反取证图像。此外,本实施例除了恢复更多细节外,还将在反取证图像中增加锐化的视觉效果。因此,本实施例将取证网络中预训练后的第一生成器G1作为视觉增强网络的一部分,并在视觉增强网络VEN中设计了另一个生成器G2,通过更新反取证掩码m来合成对抗性锐化掩码m'。并进一步通过叠加对抗性锐化掩码m',DeepFake图像可以转换为具有高不易检测性和视觉质量的重新合成图像/>。
具体地,本实施例使用了U-Net作为视觉增强网络的骨干网络,并在视觉增强网络中引入了MobilVit块,MobilVit块是一个轻量级的通用型网络模块。
其中步骤S640具体包括以下子步骤:
步骤S6401:确定第二生成器G2的损失函数。
由于第一生成器G1在取证网络FDN中进行了预训练,在FDN中学习的参数被冻结以用于训练视觉增强网络VEN。因此,第二生成器G2的完整形式可以用以下公式表示:
这里的表示G1表示取证网络FDN的对抗训练中学习到的梯度(参数),其中p表示G1中的固定参数,固定参数p是从FDN网络中学习到的,视觉增强网络在VEN训练期间通过最小化/>来推导参数/>。/>表示第二生成器G2输入/>的输出,表示把伪造图像/>输入G2的输出再输入G1后的输出图像即再合成图像/>,表示判别器D2输入伪造图像/> 输出的交叉熵。
步骤S6402:响应于确定第二生成器G2的损失函数,确定第二判别器D2的损失函数。
步骤S6403:根据第二生成器G2的损失函数和第二判别器D2的损失函数,确定视觉增强网络的损失函数。
步骤S6404:响应于确定视觉增强网络的损失函数,获得重建后的图像数据。
此时第二判别器D2指导第二生成器G2更新反取证掩码m来合成对抗性锐化掩码m',并进一步通过叠加对抗性锐化掩码m',DeepFake图像经过第二生成器G2得到输出后,再将输出输入第一生成器G1,最终得到具有高不易检测性和视觉质量的重新合成图像/>,即为重建后的图像数据。
本申请具有以下有益效果:
本申请在确保数据不可检测性的前提下,不仅能够保存数据的视觉质量,相比于DeepFake图像,还提升了数据的视觉质量,从而能够生成具有高不可检测性和视觉质量的反取证图像,对现有图像数据的反取证技术进行了进一步的优化和补充。
虽然当前申请参考的示例被描述,其只是为了解释的目的而不是对本申请的限制,对实施方式的改变,增加和/或删除可以被做出而不脱离本申请的范围。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种数据取证方法,其特征在于,包括以下步骤:
获取原始电子数据,原始电子数据为未经过处理的原始图像;
对原始电子数据进行处理;
将处理后的原始电子数据输入取证网络,输出高质量图像数据;
在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据,完成数据取证;
其中取证网络包括第一判别器D1和第一生成器G1,视觉增强网络包括第二生成器G2和第二判别器D2;
其中在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据,完成数据取证的过程中,使用U型网络作为视觉增强网络的骨干网络。
2.如权利要求1所述的数据取证方法,其特征在于,将处理后的原始电子数据输入取证网络,输出高质量图像数据,具体包括以下子步骤:
对第一生成器G1进行预训练,确定第一生成器G1的损失函数;
响应于确定第一生成器G1的损失函数后,确定第一判别器D1的损失函数;
根据第一生成器G1的损失函数和第一判别器D1的损失函数,确定取证网络的损失函数。
8.如权利要求1所述的数据取证方法,其特征在于,在视觉增强网络中引入了移动视觉模块,通过引入移动视觉模块后的视觉增强网络进行高质量图像数据重建。
9.如权利要求8所述的数据取证方法,其特征在于,在视觉增强网络中对高质量图像数据进行重建,得到重建后的图像数据的过程包括,确定第二生成器G2的损失函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310188408.5A CN115879516B (zh) | 2023-03-02 | 2023-03-02 | 一种数据取证方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310188408.5A CN115879516B (zh) | 2023-03-02 | 2023-03-02 | 一种数据取证方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115879516A true CN115879516A (zh) | 2023-03-31 |
CN115879516B CN115879516B (zh) | 2023-05-16 |
Family
ID=85761776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310188408.5A Active CN115879516B (zh) | 2023-03-02 | 2023-03-02 | 一种数据取证方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115879516B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664880A (zh) * | 2023-07-31 | 2023-08-29 | 南昌大学 | 深度伪造反取证图像的生成方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016132153A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Offline training of hierarchical algorithms |
CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
CN111161191A (zh) * | 2019-12-31 | 2020-05-15 | 华南理工大学 | 一种图像增强方法 |
CN111563841A (zh) * | 2019-11-13 | 2020-08-21 | 南京信息工程大学 | 一种基于生成对抗网络的高分辨率图像生成方法 |
CN112001868A (zh) * | 2020-07-30 | 2020-11-27 | 山东师范大学 | 基于生成对抗性网络的红外和可见光图像融合方法及*** |
CN113034417A (zh) * | 2021-04-07 | 2021-06-25 | 湖南大学 | 基于生成对抗网络的图像增强***和图像增强方法 |
-
2023
- 2023-03-02 CN CN202310188408.5A patent/CN115879516B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016132153A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Offline training of hierarchical algorithms |
CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
CN111563841A (zh) * | 2019-11-13 | 2020-08-21 | 南京信息工程大学 | 一种基于生成对抗网络的高分辨率图像生成方法 |
CN111161191A (zh) * | 2019-12-31 | 2020-05-15 | 华南理工大学 | 一种图像增强方法 |
CN112001868A (zh) * | 2020-07-30 | 2020-11-27 | 山东师范大学 | 基于生成对抗性网络的红外和可见光图像融合方法及*** |
CN113034417A (zh) * | 2021-04-07 | 2021-06-25 | 湖南大学 | 基于生成对抗网络的图像增强***和图像增强方法 |
Non-Patent Citations (3)
Title |
---|
FENG DING ET AL.: ""An efficient weak sharpening detection method for image forensics"", 《ELSEVIER》 * |
FENG DING ET AL.: ""An efficient weak sharpening detection method for image forensics"", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 * |
亢伉;: "利用对抗生成网络的视觉显著性预测研究", 电子设计工程 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664880A (zh) * | 2023-07-31 | 2023-08-29 | 南昌大学 | 深度伪造反取证图像的生成方法 |
CN116664880B (zh) * | 2023-07-31 | 2023-11-28 | 南昌大学 | 深度伪造反取证图像的生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115879516B (zh) | 2023-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109587372B (zh) | 一种基于生成对抗网络的不可见图像隐写术 | |
Hussain et al. | A survey on deep convolutional neural networks for image steganography and steganalysis | |
CN109993678B (zh) | 一种基于深度对抗生成网络的鲁棒信息隐藏方法 | |
Subramanian et al. | End-to-end image steganography using deep convolutional autoencoders | |
Wei et al. | Generative steganography network | |
CN113077377B (zh) | 一种基于生成对抗网络的彩色图像隐写方法 | |
CN112115490B (zh) | 一种基于gan的载体图像合成隐写方法 | |
CN112381716B (zh) | 一种基于生成式对抗网络的图像增强方法 | |
CN112330522A (zh) | 水印去除模型训练方法、装置、计算机设备和存储介质 | |
CN115879516A (zh) | 一种数据取证方法 | |
CN115311720A (zh) | 一种基于Transformer的deepfake生成方法 | |
CN116612211B (zh) | 一种基于gan和3d系数重建的人脸图像身份合成方法 | |
Ye et al. | Heard more than heard: An audio steganography method based on gan | |
Yang et al. | A Novel Universal Steganalysis Algorithm Based on the IQM and the SRM. | |
CN114157773B (zh) | 基于卷积神经网络和频域注意力的图像隐写方法 | |
Liu et al. | Facial image inpainting using multi-level generative network | |
CN114494387A (zh) | 一种生成数据集网络模型及雾图生成方法 | |
CN115880203A (zh) | 图像真伪检测方法、图像真伪检测模型训练方法 | |
Li et al. | Multi-modality ensemble distortion for spatial steganography with dynamic cost correction | |
Zhang et al. | A blind watermarking system based on deep learning model | |
CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
CN111524060B (zh) | 一种实时人像背景虚化的***、方法、存储介质和设备 | |
Aminy et al. | A Reversible Data Hiding Approach in Medical Images Using Difference Expansion | |
CN116402719A (zh) | 一种基于潜在扩散模型的人盲脸图像恢复***及其方法 | |
Basak et al. | Steganography in grey scale animated GIF using hash based pixel value differencing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |