CN114882220A - 基于域自适应先验知识引导gan的图像生成方法及*** - Google Patents

基于域自适应先验知识引导gan的图像生成方法及*** Download PDF

Info

Publication number
CN114882220A
CN114882220A CN202210548444.3A CN202210548444A CN114882220A CN 114882220 A CN114882220 A CN 114882220A CN 202210548444 A CN202210548444 A CN 202210548444A CN 114882220 A CN114882220 A CN 114882220A
Authority
CN
China
Prior art keywords
image
domain
translated
target domain
adaptive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210548444.3A
Other languages
English (en)
Other versions
CN114882220B (zh
Inventor
张凯
史洋
聂秀山
逯天斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Liju Robot Technology Co ltd
Original Assignee
Shandong Liju Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Liju Robot Technology Co ltd filed Critical Shandong Liju Robot Technology Co ltd
Priority to CN202210548444.3A priority Critical patent/CN114882220B/zh
Publication of CN114882220A publication Critical patent/CN114882220A/zh
Application granted granted Critical
Publication of CN114882220B publication Critical patent/CN114882220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于域自适应先验知识引导生成对抗网络的图像生成方法及***，该方法包括：数据集准备、数据集预处理、训练源域网络模型中的源域生成器、训练目标域网络模型中的目标域生成器、图像增广、训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器。本发明提出的GAN中，生成器包括源域分支和目标域分支。源域分支用于学习大量与目标域相似数据的内容信息，利用BN层的仿射参数迁移和域混合技术，将源域的知识迁移到目标域中，解决了目标域数据有限的问题。为了进一步提升生成图像的质量，通过在目标域分支中引入空间自适应归一化模块，在目标域图像生成过程中引入主要目标的先验知识，提升了生成图像中目标的准确性。

Description

基于域自适应先验知识引导GAN的图像生成方法及***
技术领域
本发明涉及图像生成技术，属于计算机视觉、人工智能领域，特别涉及一种基于域自适应先验知识引导生成对抗网络的图像生成方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
随着生成对抗网络(Generative Adversarial Networks，GAN)的提出，图像生成领域迎来研究热潮，基于GAN的图像生成模型已在风格迁移、图像修复、超分辨率、图像翻译等任务领域都取得令人满意的效果。
一般来说，GAN模型由两部分网络组成，其一是生成器子网络，用于生成图像，另一部分是判决器子网络，用于保证生成的图像与目标图像保持一致。网络的训练过程也是两个子网络相互博弈并共同优化的过程。GAN网络的复杂结构使得其参数较为庞大，因此训练GAN往往需要较为大量的数据。如果数据量不足，则将导致图像生成质量不高，生成图像模式崩溃(mode collapse)等问题。然而在某些特定任务中（例如医学图像生成），很难收集到大量的数据，将导致模型性能下降。
针对数据有限的情况，采用迁移学习是提升网络性能的一个有效思路。在迁移学习中，域自适应技术火热，该技术能够将源域训练数据和目标域数据在潜空间内的特征表示进行对齐。可以认为两个域的数据被网络提取出同样或相似的特征，因此大量的源域数据提取特征能有效帮助目标域数据的训练，从而提升在数据有限情况下训练出的模型的性能。
GAN在一定的训练策略下虽然能生成符合训练集图像分布的数据，但生成图像的质量难以保证，常会出现内容模糊等情况。这通常由于网络中的正则化方式不恰当引起。空间自适应归一化(Spatially-Adaptive Normalization，SPADE)一定程度解决了该问题，它通过对额外的语义分割标签进行卷积计算得到正则化层中的仿射参数。语义标签中具有实例的区域，会在网络提取的特征图中更加显著，从而加强了特征图的语义性，使得生成图像的结果更加逼真。
发明内容
为了解决成对数据及数据标签难以获得的问题，本发明提出一种基于域自适应的先验知识引导GAN的图像生成方法和***。本发明提出的GAN中，生成器包括两个分支，源域分支和目标域分支。源域分支用于学习大量与目标域相似数据的内容信息，利用批次正则化层的仿射参数迁移和域混合技术，将源域的知识迁移到目标域中，解决了目标域数据有限的问题。为了进一步提升生成图像的质量，通过在目标域分支中引入空间自适应归一化模块，在目标域图像生成过程中引入主要目标的先验知识，提升了生成图像中目标的准确性。为了提高重要目标区域在判别过程中的重要性，在判别器中引入空间自适应归一化模块，使其能够重点关注目标区域。
为实现上述内容，本发明采用如下技术方案：
本发明提供一种基于域自适应先验知识引导生成对抗网络的图像生成方法，包括以下步骤：
S1. 数据集准备：针对任务需求收集成对的图像和所述图像对应的语义分割标签，作为训练时的目标域数据；从互联网收集与目标域中翻译后的图像相似或相关的图像，不需要标签，作为训练时的源域数据；
S2. 数据集预处理：统一所述的目标域数据和源域数据中所有图像数据的尺寸；
S3. 训练源域网络模型中的源域生成器：使用所述的源域数据训练模型时，模型的输入为一个噪声向量，该噪声向量经过一个全连接层处理后，将新的向量重组成统一的尺寸，此时模型使用批次正则化（Batch Normalization）作为正则化层。
本发明的期望是使得网络能够生成一张相似于目标域中的翻译后图像。当网络具备这个能力时，可认为该网络保存了生成翻译后图像的内容信息。
S4. 训练目标域网络模型中的目标域生成器：使用所述的目标域数据训练模型时，模型接受的输入数据为待翻译图像和待翻译图像的语义分割标签，该语义分割标签用于为空间自适应归一化正则化做条件正则化，加强待翻译图像对生成的翻译后图像的约束；
S5. 图像增广：使用自适应判决器进行增强，输入自适应判决器前的图像经过随机的增强，自适应判决器只判决增强后的图像。这种方式可以扩宽图像的分布，提供更大的梯度帮助训练；
S6. 训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器：源域网络模型中的源域判决器与目标域网络模型中的目标域判决器不共享正则化层；训练目标域网络模型中的目标域判决器时，该目标域网络模型中的目标域判决器接受的是目标域真实图像或合成图像，和真实图像的语义分割标签，所述的语义分割标签同样用于空间自适应正则化层作条件正则化。以此来更加关注局部的目标。
优选地，在所述的数据集准备步骤中，收集的图像分为待翻译图像，待翻译图像语义分割标签，翻译后图像和翻译后图像语义分割标签，对应放置于四个文件夹中，作为目标域数据；使用与翻译后图像有关的公开数据集或从互联网上收集与翻译后图像相关的图像，作为源域图像，单独放置在一个文件夹中。
优选地，在所述的数据集预处理步骤中，为所述的目标域数据中每一组的四个数据设定好命名规则，方便成组。
优选地，在训练源域网络模型中的源域生成器的步骤中，所述的噪声向量经过一个全卷积层升维，成为一个65536维度的向量，然后将65536维度的向量转换成256*256维的矩阵，之后输入到卷积层中，卷积后的正则化使用批次正则化层；源域生成器生成图像的过程需要经过降采样后再上采样生成256*256的假源域图像；源域判决器接收的图像是真实源域图像或假的源域图像，但是源域判决器接收的图像是经过增强后的图像。
优选地，在所述的训练目标域网络模型中的目标域生成器步骤中，翻译前的图像和翻译后的图像并不处于同一分布，因此空间自适应正则化层不对目标域生成器的最后的上采样层进行约束，只在前面的下采样层和特征提取层进行约束。这样最后几层可以被目标域判决器更好的指导，从而使生成结果更接近翻译后图像，且保留翻译前图像的特征。由于源域具有大量数据，且批次正则化层可以学习到图像域的内容不变信息，因此训练时，将对应层的批次正则化层的仿射参数迁移到空间自适应归一化层中，帮助加强源域和目标域的联系。
优选地，在所述的训练目标域网络模型中的目标域生成器步骤中，目标域生成器接收待翻译图像和待翻译图像语义分割标签，待翻译图像的尺寸为256*256像素，不需要像训练源域网络时经过全连接层，直接进入卷积层网络；经过卷积后的特征图使用空间自适应归一化，在空间自适应归一化正则化中的特征图（feature map）基础正则化使用实例正则化（Instance Normalization）的计算方式，仿射变换则通过额外输入的待翻译图像语义分割标签进行，首先输入的待翻译图像语义分割标签经过一次卷积得到输出后，分别经过两个卷积得到两个张量，这两个张量作为仿射变换参数中的偏移量（β）和缩放量（γ），然后先用源域批次正则化层的仿射参数对特征图分布进行还原，之后用γ和β对特征图进行元素级的相乘和相加，得到最终输出；空间自适应归一化层只用在下采样和中间的卷积块中，上采样和源域网络模型共享批次正则化层，最终得到假目标域的翻译后图像。
优选地，在所述的图像增广的步骤中，采用自适应判决器增强，图像的增广变化发生在输入自适应判决器之前，而不是自适应生成器之前；图像送入到自适应判决器之前要随机经过颜色变化或随机遮挡的增广方式，采用的随机概率为安全值0.8；判决的图像都将是经过0.8概率增广后的图像。
优选地，在所述的训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器的步骤中，自适应判决器接收真实的翻译后图像或假的翻译后图像，和真实翻译后图像的语义分割标签；自适应判决器接收到的图像进入卷积层提取特征；真实翻译后图像的语义分割标签则用作空间自适应归一化层进行条件正则化；在自适应判决器中使用空间自适应归一化层能够使得自适应判决器关注关键的目标区域；最后得到判决结果。
本发明还提供一种基于域自适应先验知识引导生成对抗网络的图像生成***，包括数据集准备模块、数据集预处理模块、训练源域网络模块、训练目标域生成网络模块、图像增广模块和训练目标域判决网络模块，所述的数据集准备模块用于针对任务需求收集成对的图像和所述图像对应的语义分割标签，作为训练时的目标域数据；从互联网收集与目标域中翻译后的图像相似或相关的图像，不需要标签，作为训练时的源域数据；所述的数据集预处理模块用于统一所述的目标域数据和源域数据中所有图像数据的尺寸；所述的训练源域网络模块使用所述的源域数据训练模型，模型的输入为一个噪声向量，该噪声向量经过一个全连接层处理后，将新的向量重组成统一的图像尺寸，此时模型使用批次正则化层；所述的训练目标域生成网络模块使用所述的目标域数据训练模型，模型接受的输入数据为待翻译图像和待翻译图像的语义分割标签，该语义分割标签用于空间自适应归一化层做条件正则化，加强待翻译图像对生成的翻译后图像的约束；所述的图像增广模块使用自适应判决器进行增强，输入自适应判决器前的图像经过随机的增强，自适应判决器只判决增强后的图像；所述的训练目标域判决网络模块采用自适应判决器接收真实的翻译后图像或假的翻译后图像，和真实翻译后图像的语义分割标签；自适应判决器接收到的真实图像或合成图像进入卷积层提取特征；真实翻译后图像的语义分割标签则用作空间自适应归一化层进行条件正则化；在自适应判决器中使用空间自适应归一化层能够使得自适应判决器关注关键的目标区域。
与现有技术相比，本发明的有益效果是：
本发明基于GAN搭建图像生成模型，结合域自适应技术，帮助小样本情况下的图像生成。模型的训练过程具有两条线路同时训练，其中源域生成分支用于源域数据生成，源域数据都相似于翻译后的图像，对于该条线路的需求是生成一张逼真的图像，这张图像类似翻译后的图像。此时该条线路中保存了大量的生成图像所需的信息。线路二用于目标域图像翻译，模型接受待翻译图像作为输入，使用空间自适应归一化层注入待翻译图像的语义分割标签信息。通过这些额外的信息，帮助建立与翻译后图像之间的关系。由于线路一可以生成类似翻译后的图像，其批次正则化层仿射参数中保存了与翻译后图像分布相关的信息，因此迁移仿射参数帮助线路二贴近翻译后图像的分布。本发明将域自适应引入GAN网络，帮助提升小样本数据训练网络的能力。在实验中仅用160张图像即可达到生成逼真图像的目的。
附图说明
下面描述中的附图是为了更清晰地理解本发明实施例以及技术方案，应注意的是，本发明的示意性实施例及其说明仅用于解释本发明，并不构成对本发明的不当限定。
图1为本发明中一批数据训练模型的流程图。
图 2 为本发明所述的生成器的结构示意图。
图 3 为本发明所述的自适应判决器的结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的解释。除非另有说明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明提供一种基于域自适应先验知识引导生成对抗网络的图像生成方法，包括以下步骤：
S1.数据集准备：
收集与任务相关的图像数据，分为待翻译图像images_B，待翻译图像语义分割标签labels_B，翻译后图像images_A，翻译后图像语义分割标签labels_A，对应放置于四个文件夹中，这些数据作为目标域数据。使用与翻译后图像images_A有关的公开数据集或从互联网上收集与翻译后图像images_A相关的图像，作为源域图像source_images，单独放置在一个文件夹中。
S2.数据集预处理：
切割出图像主要区域，然后对图像数据进行尺寸变换，缩放到256*256大小，最后对图像进行归一化，归一化参数都是0.5。
S3. 训练源域网络模型中的源域生成器：
在源域数据上训练模型时，将模型设置为源域模式。源域生成器接收的输入是一个噪声向量，该噪声向量经过一个全卷积层升维，成为一个65536维度的向量，然后将65536维度的向量转换成256*256维的矩阵，之后输入到卷积层中，卷积后的正则化使用批次正则化。生成的过程需要经过降采样层，尺寸不变的卷积层，最后再上采样生成256*256的假源域图像（fake source_images）。源域判决器接收的图像是真实源域图像（real source_images）或合成的假源域图像（fake source_images），但是图像是经过增强后的图像，增强方式在S5中详细描述。源域判决器尽力区分输入的图像是真实图像还是合成的假图像。以此反馈交替更新源域生成器和源域判决器的参数。
S4. 训练目标域网络模型中的目标域生成器：
在目标域数据上训练网络时，目标域生成器接收待翻译图像images_B和待翻译图像语义分割标签labels_B，模型设置为目标域模式。待翻译图像Images_B的尺寸为256*256像素，不需要像训练源域网络时经过全连接层，直接进入卷积层网络。经过卷积后的特征图使用空间自适应归一化，在空间自适应归一化中使用的基础正则化为实例正则化的计算方式，仿射变换则通过额外输入的待翻译图像语义分割标签labels_B进行，首先输入的待翻译图像语义分割标签labels_B经过一次卷积得到输出后，分别经过两个卷积得到两个张量，这两个张量作为仿射变换参数中的缩放值（γ）和偏移值（β），然后先用源域模型中的批次正则化层的仿射参数对特征图分布进行还原，之后用γ和β对特征图进行元素级的相乘和相加，得到最终输出。空间自适应归一化层只用在下采样和中间的卷积块中，上采样和源域共享BN层（批次正则化层，Batch Normalization），最终得到假目标域的翻译后图像（fake images_A）。
S5.图像增广：
常规的增广的方式不适用于GAN网络，本发明采用专门针对GAN提出的自适应判决器增强。即图像的增广变化发生在输入自适应判决器之前，而不是自适应生成器之前。图像送入到自适应判决器之前要随机经过颜色变化，随机遮挡等增广方式。该方法原来设置的随机概率是根据过拟合程度自动调整的，但过拟合的判断标准不适用于本发明，本发明采用的随机概率为安全值0.8。判决的图像都将是经过0.8概率增广后的图像。
S6. 训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器：
判决器接收真实的翻译后图像（real images_A）或假的翻译后图像（fakeimages_B），和真实翻译后图像的语义分割标签Labels_A。模型同样设置为目标域模式。接收到的真实图像或假图像进入卷积层提取特征。Labels_A则用作空间自适应归一化层进行条件正则化，计算过程如S4所描述。在判决器中使用空间自适应归一化可以使得判决器关注关键的目标区域。最后得到输入图像是真实的翻译后图像还是假的翻译后图像。
本发明还提供一种基于域自适应先验知识引导生成对抗网络的图像生成***，包括数据集准备模块、数据集预处理模块、训练源域网络模块、训练目标域生成网络模块、图像增广模块和训练目标域判决网络模块，所述的数据集准备模块用于针对任务需求收集成对的图像和所述图像对应的语义分割标签，作为训练时的目标域数据；从互联网收集与目标域中翻译后的图像相似或相关的图像，不需要标签，作为训练时的源域数据；所述的数据集预处理模块用于统一所述的目标域数据和源域数据中所有图像数据的尺寸；所述的训练源域网络模块使用所述的源域数据训练模型，模型的输入为一个噪声向量，该噪声向量经过一个全连接层处理后，将新的向量重组成统一的图像尺寸，此时模型使用批次正则化作为正则化层；所述的训练目标域生成网络模块使用所述的目标域数据训练模型，模型接受的输入数据为待翻译图像和待翻译图像的语义分割标签，该语义分割标签用于空间自适应归一化层做条件正则化，加强待翻译图像对生成的翻译后图像的约束；所述的图像增广模块使用自适应判决器进行增强，输入自适应判决器前的图像经过随机的增强，自适应判决器只判决增强后的图像；所述的训练目标域判决网络模块采用自适应判决器接收真实的翻译后图像或假的翻译后图像，和真实翻译后图像的语义分割标签；判决器接收到的真实图像或假图像进入卷积层提取特征；真实翻译后图像的语义分割标签则用作空间自适应归一化层进行条件正则化；在自适应判决器中使用空间自适应归一化能够使得自适应判决器关注关键的目标区域。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于，包括以下步骤：
S1. 数据集准备：针对任务需求收集成对的图像和所述图像对应的语义分割标签，作为训练时的目标域数据；从互联网收集与目标域中翻译后的图像相似或相关的图像，不需要标签，作为训练时的源域数据；
S2. 数据集预处理：统一所述的目标域数据和源域数据中所有图像数据的尺寸；
S3. 训练源域网络模型中的源域生成器：使用所述的源域数据训练模型时，模型的输入为一个噪声向量，该噪声向量经过一个全连接层处理后，将新的向量重组统一成图像的尺寸，此时模型使用批次正则化层；
S4. 训练目标域网络模型中的目标域生成器：使用所述的目标域数据训练模型时，模型接受的输入数据为待翻译图像和待翻译图像的语义分割标签，该语义分割标签用于空间自适应归一化层做条件正则化，加强待翻译图像对生成的翻译后图像的约束；
S5. 图像增广：使用自适应判决器进行增强，输入自适应判决器前的图像经过随机的增强，自适应判决器只判决增强后的图像；
S6. 训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器：源域网络模型中的源域判决器与目标域网络模型中的目标域判决器不共享正则化层；训练目标域判决网络时，目标域判决器接受的是目标域真实图像或合成图像，和真实图像的语义分割标签，所述的语义分割标签同样用于空间自适应归一化层作条件正则化；最后得到判决结果。
2.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于，在所述的数据集准备步骤中，收集的图像分为待翻译图像，待翻译图像语义分割标签，翻译后图像和翻译后图像语义分割标签，对应放置于四个文件夹中，作为目标域数据；使用与翻译后图像有关的公开数据集或从互联网上收集与翻译后图像相关的图像，作为源域图像，单独放置在一个文件夹中。
3.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于，在所述的训练源域网络模型中的源域生成器的步骤中，所述的噪声向量经过一个全卷积层升维，成为一个65536维度的向量，然后将65536维度的向量转换成256*256维的矩阵，之后输入到卷积层中，卷积后的正则化使用批次正则化层；源域生成器生成图像的过程需要经过降采样后再上采样生成256*256的假源域图像；源域判决器接收的图像是真实源域图像或假的源域图像，但是源域判决器接收的图像是经过增强后的图像。
4.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于， 在所述的训练目标域网络模型中的目标域生成器的步骤中，翻译前的图像和翻译后的图像并不处于同一分布，因此空间自适应归一化不对目标域生成器的最后上采样层进行约束，只对不包含上采样的其他层进行约束。
5.如权利要求4所述的基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于，在所述的训练目标域网络模型中的目标域生成器的步骤中，将对应层的批次正则化层的仿射参数迁移到空间自适应归一化中，帮助加强源域和目标域的联系。
6.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于，在所述的训练目标域网络模型中的目标域生成器的步骤中，目标域生成器接收待翻译图像和待翻译图像语义分割标签，待翻译图像的尺寸为256*256像素，不需要像训练源域网络时经过全连接层，直接进入卷积层网络；经过卷积后的特征图使用空间自适应归一化正则化，在空间自适应归一化正则化中使用实例正则化做基础正则化的方式进行计算，仿射变换则通过额外输入的待翻译图像语义分割标签进行，首先输入的待翻译图像语义分割标签经过一次卷积得到输出后，分别经过两个卷积得到两个张量，这两个张量作为仿射变换参数中的缩放量和偏移量，然后先用源域网络模型中的批次正则化层的仿射参数对特征图分布进行还原，之后用缩放量和偏移量对特征图进行元素级的相乘和相加，得到最终输出；空间自适应归一化层只用在下采样和中间的卷积块中，上采样和源域共享批次正则化层，最终得到假目标域的翻译后图像。
7.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于，在所述的图像增广的步骤中，采用自适应判决器增强，图像的增广变化发生在输入自适应判决器之前，而不是自适应生成器之前；图像送入到自适应判决器之前要随机经过颜色变化或随机遮挡的增广方式，采用的随机概率为安全值0.8；判决的图像都将是经过0.8概率增广后的图像。
8.如权利要求1所述的基于域自适应先验知识引导生成对抗网络的图像生成方法，其特征在于，在所述的训练源域网络模型中的源域判决器和目标域网络模型中的目标域判决器的步骤中，自适应判决器接收真实的翻译后图像或假的翻译后图像，和真实翻译后图像的语义分割标签；自适应判决器接收的真实图像或假的图像进入卷积层提取特征；真实翻译后图像的语义分割标签则用作空间自适应归一化层进行条件正则化；在自适应判决器中使用空间自适应归一化能够使得自适应判决器关注关键的目标区域；最后得到判决结果。
9.一种基于域自适应先验知识引导生成对抗网络的图像生成***，其特征在于，包括数据集准备模块、数据集预处理模块、训练源域网络模块、训练目标域生成网络模块、图像增广模块和训练目标域判决网络模块，所述的数据集准备模块用于针对任务需求收集成对的图像和所述图像对应的语义分割标签，作为训练时的目标域数据；从互联网收集与目标域中翻译后的图像相似或相关的图像，不需要标签，作为训练时的源域数据；所述的数据集预处理模块用于统一所述的目标域数据和源域数据中所有图像数据的尺寸；所述的训练源域网络模块使用所述的源域数据训练模型，模型的输入为一个噪声向量，该噪声向量经过一个全连接层处理后，将新的向量重组成统一的图像尺寸，此时模型使用批次正则化作为正则化层；所述的训练目标域生成网络模块使用所述的目标域数据训练模型，模型接受的输入数据为待翻译图像和待翻译图像的语义分割标签，该语义分割标签用于空间自适应归一化层做条件正则化，加强待翻译图像对生成的翻译后图像的约束；所述的图像增广模块使用自适应判决器进行增强，输入自适应判决器前的图像经过随机的增强，自适应判决器只判决增强后的图像；所述的训练目标域判决网络模块采用自适应判决器接收真实的翻译后图像或假的翻译后图像，和真实翻译后图像的语义分割标签；自适应判决器接收到的真实图像或假图像进入卷积层提取特征；真实翻译后图像的语义分割标签则用作空间自适应归一化层进行条件正则化；在自适应判决器中使用空间自适应归一化能够使得自适应判决器关注关键的目标区域。
CN202210548444.3A 2022-05-20 2022-05-20 基于域自适应先验知识引导gan的图像生成方法及*** Active CN114882220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210548444.3A CN114882220B (zh) 2022-05-20 2022-05-20 基于域自适应先验知识引导gan的图像生成方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210548444.3A CN114882220B (zh) 2022-05-20 2022-05-20 基于域自适应先验知识引导gan的图像生成方法及***

Publications (2)

Publication Number Publication Date
CN114882220A true CN114882220A (zh) 2022-08-09
CN114882220B CN114882220B (zh) 2023-02-28

Family

ID=82678479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210548444.3A Active CN114882220B (zh) 2022-05-20 2022-05-20 基于域自适应先验知识引导gan的图像生成方法及***

Country Status (1)

Country Link
CN (1) CN114882220B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110570433A (zh) * 2019-08-30 2019-12-13 北京影谱科技股份有限公司 基于生成对抗网络的图像语义分割模型构建方法和装置
CN111242157A (zh) * 2019-11-22 2020-06-05 北京理工大学 联合深度注意力特征和条件对抗的无监督域自适应方法
CN111597946A (zh) * 2020-05-11 2020-08-28 腾讯科技（深圳）有限公司 图像生成器的处理方法、图像生成方法及装置
CN112150469A (zh) * 2020-09-18 2020-12-29 上海交通大学 一种基于无监督领域自适应的激光散斑衬比图像分割方法
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN113837290A (zh) * 2021-09-27 2021-12-24 上海大学 一种基于注意力生成器网络的无监督非成对图像翻译方法
CN113836330A (zh) * 2021-09-13 2021-12-24 清华大学深圳国际研究生院 基于生成对抗性自动增强网络的图像检索方法及装置
CN113850813A (zh) * 2021-09-16 2021-12-28 太原理工大学 基于空间分辨率域自适应的无监督遥感图像语义分割方法
CN113888547A (zh) * 2021-09-27 2022-01-04 太原理工大学 基于gan网络的无监督域自适应遥感道路语义分割方法
US20220028038A1 (en) * 2020-07-22 2022-01-27 Zhejiang University Method and system for directed transfer of cross-domain data based on high-resolution remote sensing images
US20220138495A1 (en) * 2020-11-05 2022-05-05 University Of Electronic Science And Technology Of China Model and method for multi-source domain adaptation by aligning partial features

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN110310221A (zh) * 2019-06-14 2019-10-08 大连理工大学 一种基于生成对抗网络的多域图像风格迁移方法
CN110570433A (zh) * 2019-08-30 2019-12-13 北京影谱科技股份有限公司 基于生成对抗网络的图像语义分割模型构建方法和装置
CN111242157A (zh) * 2019-11-22 2020-06-05 北京理工大学 联合深度注意力特征和条件对抗的无监督域自适应方法
CN111597946A (zh) * 2020-05-11 2020-08-28 腾讯科技（深圳）有限公司 图像生成器的处理方法、图像生成方法及装置
US20220028038A1 (en) * 2020-07-22 2022-01-27 Zhejiang University Method and system for directed transfer of cross-domain data based on high-resolution remote sensing images
CN112150469A (zh) * 2020-09-18 2020-12-29 上海交通大学 一种基于无监督领域自适应的激光散斑衬比图像分割方法
US20220138495A1 (en) * 2020-11-05 2022-05-05 University Of Electronic Science And Technology Of China Model and method for multi-source domain adaptation by aligning partial features
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN113836330A (zh) * 2021-09-13 2021-12-24 清华大学深圳国际研究生院 基于生成对抗性自动增强网络的图像检索方法及装置
CN113850813A (zh) * 2021-09-16 2021-12-28 太原理工大学 基于空间分辨率域自适应的无监督遥感图像语义分割方法
CN113837290A (zh) * 2021-09-27 2021-12-24 上海大学 一种基于注意力生成器网络的无监督非成对图像翻译方法
CN113888547A (zh) * 2021-09-27 2022-01-04 太原理工大学 基于gan网络的无监督域自适应遥感道路语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAOHENG L.等: "Context-related video anomaly detection via generative adversarial network", 《PATTERN RECOGNITION LETTERS》 *
刘文 等: "基于局部生成对抗网络的水上低照度图像增强", 《计算机工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385330A (zh) * 2023-06-06 2023-07-04 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置
CN116385330B (zh) * 2023-06-06 2023-09-15 之江实验室 一种利用图知识引导的多模态医学影像生成方法和装置

Also Published As

Publication number Publication date
CN114882220B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN111311518B (zh) 基于多尺度混合注意力残差网络的图像去噪方法及装置
Bulat et al. To learn image super-resolution, use a gan to learn how to do image degradation first
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN109410239B (zh) 一种基于条件生成对抗网络的文本图像超分辨率重建方法
WO2018153322A1 (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
CN111583210B (zh) 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
Ye et al. Underwater image enhancement using stacked generative adversarial networks
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN113724354B (zh) 基于参考图颜色风格的灰度图像着色方法
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及***
Cong et al. Discrete haze level dehazing network
CN114882220B (zh) 基于域自适应先验知识引导gan的图像生成方法及***
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
CN110415176A (zh) 一种文本图像超分辨率方法
CN115731214A (zh) 一种基于人工智能的医学图像分割方法及装置
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
Zhang et al. Dynamic multi-scale network for dual-pixel images defocus deblurring with transformer
CN113763300B (zh) 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
Yu et al. Cnsnet: A cleanness-navigated-shadow network for shadow removal
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN116958766B (zh) 图像处理方法及计算机可读存储介质
CN116091885A (zh) 一种基于rau-gan的肺结节数据增强方法
CN113421212B (zh) 一种医学影像的增强方法、装置、设备和介质
Huang et al. Single image super-resolution reconstruction of enhanced loss function with multi-gpu training
Deng et al. UCT‐GAN: underwater image colour transfer generative adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 1409, Floor 14, Building 1, High tech Zone Entrepreneurship Center, No. 177, Gaoxin 6th Road, Rizhao, Shandong 276801

Patentee after: Shandong Liju Robot Technology Co.,Ltd.

Address before: 276808 No.99, Yuquan 2nd Road, antonwei street, Lanshan District, Rizhao City, Shandong Province

Patentee before: Shandong Liju Robot Technology Co.,Ltd.