CN115130531A - 图像生成模型网络结构溯源方法 - Google Patents

图像生成模型网络结构溯源方法 Download PDF

Info

Publication number
CN115130531A
CN115130531A CN202210079925.4A CN202210079925A CN115130531A CN 115130531 A CN115130531 A CN 115130531A CN 202210079925 A CN202210079925 A CN 202210079925A CN 115130531 A CN115130531 A CN 115130531A
Authority
CN
China
Prior art keywords
image
training
classification
network structure
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210079925.4A
Other languages
English (en)
Other versions
CN115130531B (zh
Inventor
曹娟
杨天韵
黄子尧
谢添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Ruijian Technology Co ltd
Original Assignee
Beijing Zhongke Ruijian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Ruijian Technology Co ltd filed Critical Beijing Zhongke Ruijian Technology Co ltd
Priority to CN202210079925.4A priority Critical patent/CN115130531B/zh
Publication of CN115130531A publication Critical patent/CN115130531A/zh
Application granted granted Critical
Publication of CN115130531B publication Critical patent/CN115130531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像生成模型网络结构溯源方法，其特征在于：获取待溯源生成图像，在生成图像上随机选取图像块；将图像块输入经训练的图像块对比学习模型进行分类，该图像块对比学习模型经图像转换类型分类预训练和结构分类训练；根据图像块的分类结果确定生成图像的类别标签，根据类别标签与图像生成模型网络结构对应关系确定待溯源生成图像对应图像生成模型的网络结构。本发明的网络结构溯源方法采用图像块对比学习和图像转换类型分类的预训练任务，提高结构溯源的准确性。本发明将现有的生成图像溯源从模型级别扩展到结构级别，需要在生成模型的训练种子、损失函数、训练集发生改变的情况下，将生成图像溯源到其生成模型的结构上。

Description

图像生成模型网络结构溯源方法
技术领域
本发明涉及一种图像生成模型网络结构溯源方法。适用于数字图像取证领域。
背景技术
DeepFake技术视觉取证领域带来了巨大的挑战，现有的工作大多集中在检测深度伪造图像的真假。深度伪造图像被恶意或违法使用，会给社会带来严重的危害。对于恶意违法的生成图像，执法人员需要尽可能识别伪造内容的来源，其首要步骤就是确定产生内容的模型或算法。
一些生成网络的设计和训练需要耗费大量的人力、财力和时间，具备很高的商业价值，例如2018年一副名为《Edmond de Belamy》的生成画像被拍出了 43.25万美元的价格。对于高价值的生成模型，需要避免模型遭到窃取导致知识产权流失。因此，生成图像溯源成为了数字取证领域的一个重要的问题。
针对生成图像溯源，现有工作还只能对特定权重的模型进行溯源，属于模型级别的溯源，无法在结构级别对模型进行溯源。具体而言，现有的方法可以准确溯源到同一网络结构、参数不同的不同模型，但不能将参数不同但网络结构相同的模型溯源为同一类。在实际场景中，造假者往往会使用现有的生成算法与模型结构，在自己收集到的数据上进行微调或者重新训练，以此得到生成效果更好的伪造图像和视频。此时，因为经过微调或重训，模型权重发生改变，现有溯源到特定权重的方法不能使用，需要在结构级别对生成方法进行溯源。
发明内容
本发明要解决的技术问题是：针对上述存在的问题，提供一种图像生成模型网络结构溯源方法，以能在生成模型的训练种子、损失函数、训练集发生改变的情况下，确定生成图像对应生成模型的网络结构。
本发明所采用的技术方案是：一种图像生成模型网络结构溯源方法，其特征在于：
获取待溯源生成图像，在生成图像上随机选取图像块；
将图像块输入经训练的图像块对比学习模型进行分类，该图像块对比学习模型经图像转换类型分类预训练和结构分类训练；
根据图像块的分类结果确定生成图像的类别标签，根据类别标签与图像生成模型网络结构对应关系确定待溯源生成图像对应图像生成模型的网络结构。
所述图像块对比学习模型包括：
编码器，用于从图像块提取图像特征；
投影头，用于采用监督对比损失约束同类型图像块的特征接近，不同类型图像块的特征远离；
分类头，用于采用交叉熵损失进行类别分类。
所述图像块对比学习模型的训练包括：
从离散数据集中随机选择各图像转换的参数，将每一种参数的图像转换作为一种图像转换类型；
将经图像转换的图像和相应图像转换类型输入图像块对比学习模型进行转换类型分类训练；
将图像及相应的类别标签输入经转换类型分类预训练的图像块对比学习模型进行训练。
一种图像生成模型网络结构溯源装置，其特征在于，包括：
图像获取模块，用于获取待溯源生成图像，在生成图像上随机选取图像块；
模型分类模块，用于将图像块输入经训练的图像块对比学习模型进行分类，该图像块对比学习模型经图像转换类型分类预训练和结构分类训练；
结构确定模块，用于根据图像块的分类结果确定生成图像的类别标签，根据类别标签与图像生成模型网络结构对应关系确定待溯源生成图像对应图像生成模型的网络结构。
所述图像块对比学习模型包括：
编码器，用于从图像块提取图像特征；
投影头，用于采用监督对比损失约束同类型图像块的特征接近，不同类型图像块的特征远离；
分类头，用于采用交叉熵损失进行类别分类训练。
所述图像块对比学习模型的训练包括：
从离散数据集中随机选择各图像转换的参数，将每一种参数的图像转换作为一种图像转换类型；
将经图像转换的图像和相应图像转换类型输入图像块对比学习模型进行转换类型分类训练；
将图像及相应的类别标签输入经转换类型分类预训练的图像块对比学习模型进行训练。
一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：该计算机程序被执行时实现所述图像生成模型网络结构溯源方法的步骤。
一种电子设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：该计算机程序被执行时实现所述图像生成模型网络结构溯源方法的步骤。
本发明的有益效果是：本发明的网络结构溯源方法采用图像块对比学习和图像转换类型分类的预训练任务，提高结构溯源的准确性。本发明将现有的生成图像溯源从模型级别扩展到结构级别，需要在生成模型的训练种子、损失函数、训练集发生改变的情况下，将生成图像溯源到其生成模型的结构上。
附图说明
图1为实施例的流程框图。
具体实施方式
本实施例为一种图像生成模型网络结构溯源方法，包括以下步骤：
获取待溯源生成图像，在生成图像上随机选取若干不同大小的图像块；
将图像块输入经训练的图像块对比学习模型进行分类，该图像块对比学习模型经图像转换类型分类预训练和结构分类训练；
根据该若干图像块结构的分类结果确定生成图像的类别标签，根据类别标签与图像生成模型网络结构对应关系确定待溯源生成图像对应图像生成模型的网络结构。
本实施例中图像块对比学习模型包括编码器和连接编码器的一个投影头和一个分类头，图像块作为编码器的输入；对投影头的输出计算有监督对比损失，对于一个锚点图像块，将同类型的图像块作为正样本，不同类型的图像块作为负样本，采用监督对比损失约束同类型图像块的特征接近，不同类型图像块的特征远离；分类头将特征映射到标签空间，计算交叉熵损失进行类别分类训练。
本例中图像块对比学习模型的训练，包括：
采用压缩、模糊、重采样和去噪四种图像转换对真实图像数据集进行处理，从一个离散参数集合中随机选择这些转换的参数，将每一种参数的图像转换作为一种图像转换类型；
将经图像转换的训练集中真图图像随机选取图像块后与相应图像转换类型输入图像块对比学习模型进行转换类型分类训练；本例通过图像块对比学习对转换后的图像的特征进行约束，约束采用同转换类型的图像特征接近，不同转换类型的图像特征远离；
将训练集中真图和生成图像随机选取图像块后与相应的类别标签输入经转换类型分类预训练的图像块对比学习模型进行训练。
本实施例将现有的生成图像溯源从模型级别扩展到结构级别，需要在生成模型的训练种子、损失函数、训练集发生改变的情况下，将生成图像溯源到其生成模型的结构上。
本实施例设计了基于图像块对比学习和图像转换类型分类预训练任务的方法来解决问题，构建了包含大量生成模型的数据集来测试有效性，本例在跨随机种子、损失函数、微调和数据集的四种设置下较现有生成图像溯源方法大幅提升(见下表)，测试指标为准确率。
Figure BDA0003485473660000051
本实施例为一种图像生成模型网络结构溯源装置，包括图像获取模块、模型分类模块和结构确定模块，其中图像获取模块用于获取待溯源生成图像，在生成图像上随机选取图像块；模型分类模块用于将图像块输入经训练的图像块对比学习模型进行分类，该图像块对比学习模型经图像转换类型分类预训练和结构分类训练；结构确定模块用于根据图像块的分类结果确定生成图像的类别标签，根据类别标签与图像生成模型网络结构对应关系确定待溯源生成图像对应图像生成模型的网络结构。
本例中图像块对比学习模型包括编码器、投影头和分类头，编码器用于从图像块提取图像特征；投影头用于采用监督对比损失约束同类型图像块的特征接近，不同类型图像块的特征远离；分类头用于采用交叉熵损失进行类别分类训练。
本实施例中图像块对比学习模型的训练包括：
从离散数据集中随机选择各图像转换的参数，将每一种参数的图像转换作为一种图像转换类型；
将经图像转换的图像和相应图像转换类型输入图像块对比学习模型进行转换类型分类训练；
将图像及相应的类别标签输入经转换类型分类预训练的图像块对比学习模型进行训练。
本例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中图像生成模型网络结构溯源方法的步骤。
本实施例还提供一种电子设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中图像生成模型网络结构溯源方法的步骤。

Claims (8)

1.一种图像生成模型网络结构溯源方法，其特征在于：
获取待溯源生成图像，在生成图像上随机选取图像块；
将图像块输入经训练的图像块对比学习模型进行分类，该图像块对比学习模型经图像转换类型分类预训练和结构分类训练；
根据图像块的分类结果确定生成图像的类别标签，根据类别标签与图像生成模型网络结构对应关系确定待溯源生成图像对应图像生成模型的网络结构。
2.根据权利要求1所述的图像生成模型网络结构溯源方法，其特征在于，所述图像块对比学习模型包括：
编码器，用于从图像块提取图像特征；
投影头，用于采用监督对比损失约束同类型图像块的特征接近，不同类型图像块的特征远离；
分类头，用于采用交叉熵损失进行类别分类。
3.根据权利要求1或2所述的图像生成模型网络结构溯源方法，其特征在于，所述图像块对比学习模型的训练包括：
从离散数据集中随机选择各图像转换的参数，将每一种参数的图像转换作为一种图像转换类型；
将经图像转换的图像和相应图像转换类型输入图像块对比学习模型进行转换类型分类训练；
将图像及相应的类别标签输入经转换类型分类预训练的图像块对比学习模型进行训练。
4.一种图像生成模型网络结构溯源装置，其特征在于，包括：
图像获取模块，用于获取待溯源生成图像，在生成图像上随机选取图像块；
模型分类模块，用于将图像块输入经训练的图像块对比学习模型进行分类，该图像块对比学习模型经图像转换类型分类预训练和结构分类训练；
结构确定模块，用于根据图像块的分类结果确定生成图像的类别标签，根据类别标签与图像生成模型网络结构对应关系确定待溯源生成图像对应图像生成模型的网络结构。
5.根据权利要求4所述的图像生成模型网络结构溯源装置，其特征在于，所述图像块对比学习模型包括：
编码器，用于从图像块提取图像特征；
投影头，用于采用监督对比损失约束同类型图像块的特征接近，不同类型图像块的特征远离；
分类头，用于采用交叉熵损失进行类别分类训练。
6.根据权利要求4或5所述的图像生成模型网络结构溯源装置，其特征在于，所述图像块对比学习模型的训练包括：
从离散数据集中随机选择各图像转换的参数，将每一种参数的图像转换作为一种图像转换类型；
将经图像转换的图像和相应图像转换类型输入图像块对比学习模型进行转换类型分类训练；
将图像及相应的类别标签输入经转换类型分类预训练的图像块对比学习模型进行训练。
7.一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：该计算机程序被执行时实现权利要求1～3任意一项所述图像生成模型网络结构溯源方法的步骤。
8.一种电子设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：该计算机程序被执行时实现权利要求1～3任意一项所述图像生成模型网络结构溯源方法的步骤。
CN202210079925.4A 2022-01-24 2022-01-24 图像生成模型网络结构溯源方法 Active CN115130531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210079925.4A CN115130531B (zh) 2022-01-24 2022-01-24 图像生成模型网络结构溯源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210079925.4A CN115130531B (zh) 2022-01-24 2022-01-24 图像生成模型网络结构溯源方法

Publications (2)

Publication Number Publication Date
CN115130531A true CN115130531A (zh) 2022-09-30
CN115130531B CN115130531B (zh) 2023-05-05

Family

ID=83375580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210079925.4A Active CN115130531B (zh) 2022-01-24 2022-01-24 图像生成模型网络结构溯源方法

Country Status (1)

Country Link
CN (1) CN115130531B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474713B1 (en) * 2018-10-26 2019-11-12 StradVision, Inc. Learning method and learning device using multiple labeled databases with different label sets and testing method and testing device using the same
CN110543884A (zh) * 2018-05-29 2019-12-06 国际关系学院 一种基于图像的网络攻击组织溯源方法
CN112149690A (zh) * 2020-09-29 2020-12-29 厦门大学 一种基于生物图像特征识别的溯源方法和溯源***
CN112990374A (zh) * 2021-04-28 2021-06-18 平安科技（深圳）有限公司 图像分类方法、装置、电子设备及介质
CN113627503A (zh) * 2021-07-30 2021-11-09 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543884A (zh) * 2018-05-29 2019-12-06 国际关系学院 一种基于图像的网络攻击组织溯源方法
US10474713B1 (en) * 2018-10-26 2019-11-12 StradVision, Inc. Learning method and learning device using multiple labeled databases with different label sets and testing method and testing device using the same
CN112149690A (zh) * 2020-09-29 2020-12-29 厦门大学 一种基于生物图像特征识别的溯源方法和溯源***
CN112990374A (zh) * 2021-04-28 2021-06-18 平安科技（深圳）有限公司 图像分类方法、装置、电子设备及介质
CN113627503A (zh) * 2021-07-30 2021-11-09 中国科学院计算技术研究所 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115130531B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
Zhuang et al. Image tampering localization using a dense fully convolutional network
US8750573B2 (en) Hand gesture detection
CN106650740B (zh) 一种车牌识别方法及终端
Kong et al. Detect and locate: Exposing face manipulation by semantic-and noise-level telltales
US20120027252A1 (en) Hand gesture detection
WO2017088537A1 (zh) 一种元件分类方法及装置
Amerini et al. Blind image clustering based on the normalized cuts criterion for camera identification
CN106530200A (zh) 一种基于深度学习模型的隐写图像检测方法及***
CN108960088A (zh) 特定环境的面部活体特征检测、识别方法
Sun et al. A face spoofing detection method based on domain adaptation and lossless size adaptation
CN110493262B (zh) 一种改进分类的网络攻击检测方法及***
Rabbani et al. Hand drawn optical circuit recognition
Wang et al. Towards feature representation for steganalysis of spatial steganography
JP2022550195A (ja) テキスト認識方法、装置、機器、記憶媒体及びコンピュータプログラム
Nirmal Jothi et al. Tampering detection using hybrid local and global features in wavelet-transformed space with digital images
CN112949469A (zh) 针对人脸篡改图像特点分布的图像识别方法、***及设备
Luo et al. SMD anomaly detection: a self-supervised texture–structure anomaly detection framework
Wang et al. Comprehensive criteria-based generalized steganalysis feature selection method
Banerjee et al. Deep learning based blind source identification of whatsapp and facebook images
CN109829887B (zh) 一种基于深度神经网络的图像质量评估方法
CN115130531A (zh) 图像生成模型网络结构溯源方法
CN111898570A (zh) 基于双向特征金字塔网络的图像中文本识别方法
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
CN106529542A (zh) 示功图识别方法和装置
Berrahal et al. Investigating the effectiveness of deep learning approaches for deep fake detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant