CN110335193B - 一种基于生成对抗网络的目标域导向的无监督图像转换方法 - Google Patents
一种基于生成对抗网络的目标域导向的无监督图像转换方法 Download PDFInfo
- Publication number
- CN110335193B CN110335193B CN201910516012.2A CN201910516012A CN110335193B CN 110335193 B CN110335193 B CN 110335193B CN 201910516012 A CN201910516012 A CN 201910516012A CN 110335193 B CN110335193 B CN 110335193B
- Authority
- CN
- China
- Prior art keywords
- image
- source domain
- real
- network
- domain image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title abstract description 19
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 17
- 230000009466 transformation Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- GMBQZIIUCVWOCD-WWASVFFGSA-N Sarsapogenine Chemical compound O([C@@H]1[C@@H]([C@]2(CC[C@@H]3[C@@]4(C)CC[C@H](O)C[C@H]4CC[C@H]3[C@@H]2C1)C)[C@@H]1C)[C@]11CC[C@H](C)CO1 GMBQZIIUCVWOCD-WWASVFFGSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于生成对抗网络的目标域导向的无监督图像转换方法，属于计算机视觉领域。本发明用来实现无监督的跨领域图像到图像的转换任务，属于计算机视觉领域。本方法设计了一个自编码重构网络，通过最小化源域图像的重构损失来提取源域图像的分层表征。同时，通过权值共享策略，共享网络模型中的两组生成对抗网络中编码和解码高层语义信息的网络层的权值，以保证输出图像能够保留输入图像的基本结构和特征。然后，两个判别器分别用来区分输入图像是各自领域的真实图像还是生成的图像。本方法能够有效进行无监督的跨域图像转换，生成高质量的图像。实验证明所提方法在CelebA等标准数据集上取得了很好的结果。
Description
技术领域
本发明属于计算机视觉领域，涉及一种基于生成对抗网络的无监督图像转换方法。
背景技术
随着移动设备的普及以及互联网带宽的快速增长，图形图像数据呈现***式地增长，它们承载着海量待挖掘的信息。近年来，计算机视觉领域的研究迅速发展，特别是随着生成对抗网络的发展，图像转换问题也引起了广泛的关注。
图像转换是指将图像从一种表示场景转换到另一种表示场景，同时保持图像的内容不发生改变。很多计算机视觉、计算机图形学和图像处理领域的问题其实都可以理解为是图像转换问题，例如，图像着色可以看做是将灰度图转换为其对应的彩色图；图像修复可以看做是将有缺失的图像补全到其对应的完整图像；图像高分辨率可以看做是将低分辨率的图像转换为其相对应的高分辨率的图像，图像风格转换则可以看做是在保留原图像基本特征的情况下，将图像转化为另一种风格的图像等等，诸如此类的工作还有很多。而这些任务，在我们的生产生活中都是广泛存在的。
传统的算法大多是针对特定的问题而设计，并且只能用于特定的应用场景。后来，随着卷积神经网络(Convolutional Neural Networks，CNNs)的发展，越来越多的图像转换问题得以解决。但由于不同任务的建模方式以及其优化设计都不尽相同，这使得图像转换问题的任务负担仍十分巨大。
一种解决图像转换任务的方法是训练一个有监督的前向卷积神经网络，通过使用像素损失函数来测量输出图像与真实图像之间的差异，这也是最直观的方法之一。例如Dong等人提出了一种深度卷积神经网络模型来学***均值。
使用像素级损失函数的方法可以生成合理的图像，但是这些损失函数在很多情况下不能够捕获输出图像和真实图像之间的感知差异。最近的一些理论分析和实验结果表明，从预训练好的分类网络中提取的高层特征可以捕获真实图像的感知信息，而使用感知信息可以生成更高质的图像。特别是，这些从预训练好的网络的隐藏层中提取的特征有助于解读输入图像的语义信息，而且隐藏特征的格拉姆矩阵可以捕获图像风格的分布。
Mahendran和Vedaldi通过最小化特征重建损失来反演卷积网络的特征，以便理解由不同的网络层保留的图像信息(Mahendran A,Vedaldi A:Understanding deep imagerepresentations by inverting them[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2015.)。这种优化方法还可以通过生成图像以最大化类预测分数或单个特征，以便理解在训练的网络中编码的功能，解决特征可视化问题。Gatys等人则用该方法来处理风格迁移和纹理合成问题(Gatys L A,Ecker AS,Bethge M:Texture synthesis using convolutional neural networks[C]//Proceedings of the Neural Information Processing Systems Conference.2015.)。这些能够方法生成高质量的图像，但是由于推理需要解决优化问题，所以速度很慢。
近几年，生成对抗网络(Generative Adversarial Networks,GANs)相关的研究呈现出蓬勃的发展态势(Goodfellow I J,Pouget-Abadie J,Mirza M,et al.Generativeadversarial nets[C]//Proceedings of the Conference on Neural InformationProcessing Systems.2014,2672-2680.)。鉴于GAN具有很好的生成能力以及其灵活的设计，GAN及其衍生模型被广泛地用于图像转换问题，并且已在图像转换问题上取得了显著的成绩。很多实验研究表明，融入GAN可以生成更加真实的图像。
Pix2pix为图像转换任务提供了一个通用的框架，该框架可以解决许多在过去需要使用不同损失函数才能解决的问题(Isola P,Zhu J Y,Zhou T,et al.Image-to-imagetranslation with conditional adversarial networks[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2017,5967-5976.)。Pix2pix使用两个配对的数据集，数据集A是一种样式的图像的集合，数据集B是数据集A中图像的另一种样式的集合。Pix2pix学习两个数据集之间的映射并生成图像。生成的图像和目标之间的误差通过损失函数计算，进一步调整参数以生成与目标图像类似的逼真图像。而在Pix2pix模型的基础之上，又有许多新的衍生模型被提出，在提升转换图像质量的同时，能够解决更多的图像转换问题。
这些方法可以生成很优秀的图像，但存在一个关键的问题，即需要配对数据来提供有监督的学习，然而，配对数据在很多问题上很难获得，因为人工标注的代价高昂。
为了解决这一问题，CycleGAN直接使用两组生成器和判别器来学习源域和目标域之间的映射和逆映射(Zhu J Y,Park T,Isola P,et al.Unpaired image-to-imagetranslation using cycle-consistent adversarial networks[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2017,2242-2251.)。两个生成器分别将各自领域的输入图像转换为对应领域的输出图像，两个判别器则在各自的领域内判断输入图像是真实图像还是由生成器生成的图像。此外，CycleGAN提出了一种循环一致性损失，即通过双向转换来进行图像重构。这种循环一致性可以减少可能的映射空间，不仅能够让模型生成更高质量的图像，还可以减轻GAN模型的崩溃问题。
CoGAN则是考虑到两个域的图像具有相同的基本特征，提出了一种权重共享策略，通过共享生成器和判别器中与高级语义信息相对应的权重，可以学习不同域中的一个联合分布，从而实现跨领域图像到图像的转换(Liu M Y,Tuzel O.Coupled generativeadversarial networks[C]//Proceedings of the Conference on Neural InformationProcessing Systems.2016,469-477.)。然而，在CoGAN中使用随机向量z作为输入来生成高分辨率图像时，很可能遇到模型崩溃问题。
使用GAN来进行图像转换有两个问题需要注意：(1)虽然采用配对数据来进行此类任务能够取得很好的结果，但是，在许多任务中，配对的训练数据很难获得。(2)由于GAN自身的问题，训练过程中可能会出现训练不稳定、模型塌陷的问题。
针对上述问题，本发明提出了一种基于GAN的目标域导向的无监督转换网络(UTN-GAN)，用于实现无监督的图像转换任务。UTN-GAN采用了分层表征和权值共享机制，将图像从源域转换到目标域而不需要配对图像。在UTN-GAN中，我们设计了一个自编码重构网络，通过最小化源域图像的重构损失来提取源域图像中的分层表征。同时，UTN-GAN还共享了两个GAN中编码和解码高层语义信息的网络层的权值，用来保证输入图像和输出图像在不同域中的匹配。我们在几个图像转换任务上进行了定性和定量的实验研究，并与一些最先进的算法进行相比，实验证明提出的UTN-GAN算法是有效的且具有竞争力的。
发明内容
针对传统的方法需要配对数据和GAN自身训练困难等问题，本发明提出一种基于GAN的目标域导向的无监督图像转换方法，用于实现无监督的图像转换。该方法借助分层表征和权值共享的理论，充分发挥了GAN的优势，在无监督的情况下，提升了模型训练的稳定性，生成高质量的图像。
本发明的技术方案：
一种基于生成对抗网络的无监督图像转换方法，包括如下步骤：
步骤一图像的预处理：从真实的源域数据分布pdata(x)中采样得到真实的源域图像x，从真实的目标域数据分布pdata(y)中采样得到真实的目标域图像y，对真实的源域图像x和真实的目标域图像y进行统一的处理，把它们缩放为统一的像素大小，同时对图像像素值进行归一化处理；
步骤二生成图像：将归一化处理好的真实的源域图像x分别输入到两个生成器中，两个生成器为自编码重构网络Gr和转换网络Gt。其中，Gr通过重构输入的真实的源域图像x，来获得源域图像的分层表征。Gt则将输入的真实的源域图像x转换为目标域的图像。通过共享Gr与Gt中与高层语义信息相关的层级的参数，以保证源域图像和目标域图像的语义信息一致；
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Gt表示转换网络，Dr与Dt表示相应的判别器，L(Gr)表示Gr的生成对抗损失，Lre(Gr)表示重构损失，L(Gt)表示Gt的生成对抗损失；
步骤三判别图像：Gr与Gt生成的图像被分别输入到两个判别器Dr与Dt中进行判别。Dr判别输入图像是真实的源域图像x还是Gr重构后的图像Gr(x)，而Dt则区分输入的图像是真实的目标域图像y还是Gt转换后的图像Gt(x)；
其中，L(Dr)表示Dr的生成对抗损失，L(Dt)表示Dt的生成对抗损失；
步骤四网络优化参数调整：通过联合损失函数，采用Adam优化算法进行模型训练，更新生成器和判别器的网络参数；
其中，L(Gr,Gt,Dr,Dt)表示联合损失函数，λ为超参数；
步骤五重复T次步骤二至步骤四；
步骤六在测试阶段，将真实的源域图像x直接输入到Gt中，经过Gt的转换后，输出结果Gt(x)。
本发明的有益效果：基于GAN的目标域导向的无监督图像转换方法充分利用图像的分层表征，使模型训练无需任何配对数据，并使模型能够稳定地进行训练，而且在对抗损失的约束下，该方法能够生产接近真实的图像。
附图说明
图1是基于生成对抗网络的目标域导向的无监督图像转换方法示意图；
图2是自编码重构网络的结构示意图；
图3是判别器的结构示意图；
图4基于生成对抗网络的目标域导向的无监督图像转换方法在人脸属性转换任务上的结果样例。其中，(a-1)到(a-10)为输入的金发女性的照片，(b-1)到(b-10)为转换后对应输出的黑发女性的照片；(c-1)到(c-10)为输入的嘴巴闭合的照片，(d-1)到(d-10)为转换后对应输出的微笑的照片；(e-1)到(e-10)为输入的平眉女性的照片，(f-1)到(f-10)为转换后对应输出的柳叶眉女性的照片。
具体实施方式
本发明提供一种基于生成对抗网络的目标域导向的无监督图像转换方法。所论述的具体实施例仅用于说明本发明的实现方式，而不限制本发明的范围。下面结合附图对本发明的实施方式进行详细说明，具体包括以下步骤：
1.图像的预处理。以人脸面部属性转换实验为例。从真实的源域数据分布pdata(x)中采样得到真实的源域图像x，像素大小为178*178的黑发女性照片，从真实的目标域数据分布pdata(y)中采样得到真实的目标域图像y，像素大小为178*178的金发女性照片。使用Python的图像处理模块，对真实的源域图像x和真实的目标域图像y进行统一的处理。首先将它们中心裁剪为128*128大小，接着缩放为统一的64*64大小，同时对图像像素值进行了归一化处理。
2.生成图像。将归一化好的真实的源域图像x分别输入到两个生成器中，两个生成器为编码重构网络Gr和转换网络Gt，如图1中所示。Gr通过重构输入的真实的源域图像x，来获得源域图像的分层表征，其中Gr(x)为x重构后的结果，大小为64*64。Gr的生成对抗损失函数L(Gr)如公式(1)所示。
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Dr表示判别器，L(Gr)表示Gr的生成对抗损失。
此外，除了生成对抗损失外，我们还设计了一个重构损失，来辅助Gr提取更加准确的分层表征。这是因为Gr是通过判别器Dr的反馈来进行学习的，一旦Dr的训练出现问题，将直接影响Gr的学习。而添加了重构损失后，可以在一定程度上避免在特征提取过程中，由于判别器Dr引发的错误。该策略可以让生成器Gr能够更有效地学习，并有助于提升图像转换的效果。重构损失Lre(Gr)如公式(2)所示。
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Lre(Gr)表示重构损失。
Gt的主要任务是将输入的源域图像x转换为目标域的图像Gt(x)，Gt(x)是与x相对应的金发的女性图像，像素大小为64*64。Gt的生成对抗损失函数L(Gt)如公式(3)所示。考虑到源域图像和目标域图像有着相同的语义信息，我们共享Gr与Gt中那些与高层语义信息相关的层级的参数，以保证源域图像和目标域图像的语义信息一致，图1中的虚线表示权重共享。
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gt表示转换网络，Dt表示判别器，L(Gt)表示Gt的生成对抗损失。
尽管Gr和Gt扮演着不同的角色，但它们的网络结构是相同的编码器-解码器网络。生成器首先使用一系列Convolution-BatchNorm-LeakyReLU层，将输入图像编码为高维特征，然后这些特征又通过一系列Deconvolution-BatchNorm-ReLU层，最终解码为输出图像。生成器Gr的结构如图2所示。BN代表是Batch Normalization，每层的通道数如图2中所示，步长为2。编码器的激活函数使用LeakyReLU，其斜率设为0.2。解码器最后一层之后，再加一个Convolution-Tanh层将结果映射到输出通道数。
随着编码器逐渐从输入样本中提取抽象信息，而在解码器中解码信息，我们在这些对高层语义信息进行编码和解码的层级中应用权重共享策略，连接两个生成器并共享双方共同的表征，以保持基础信息的一致性。然后，解码低层细节的层级将这个信息映射到各自领域，反映不同领域各自的特征。
3.判别图像。两个生成器生成的图像被分别输入两个判别器中进行判别。Dr用于判别输入图像是真实的源域图像x还是Gr重构后的图像Gr(x)，而Dt则旨在区分输入的图像是真实的目标域图像y还是Gt转换后的图像Gt(x)。Dr与Dt的目标函数如公式(4)和公式(5)所示。
其中，pdata(x)表示真实的源域数据分布，pdata(y)表示真实的目标域数据分布，x表示真实的源域图像，y表示真实的目标域图像，Gr表示重构网络，Gt表示转换网络，Dr与Dt表示相应的判别器，L(Dr)表示Dr的生成对抗损失，L(Dt)表示Dt的生成对抗损失。
Dr和Dt的网络结构也是相同的，由类似于生成器中编码器部分的CNN网络层Convolution-BatchNorm-LeakyReLU构成。具体的网络结构如图3所示。其中，每层的通道数如图3中所示，步长为2。激活函数LeakyReLU的斜率设为0.2。此外，判别器的最后一层之后，一个带有Sigmoid函数的卷积层将输出映射到1维。由于判别器的前几层提取细节特征，后几层提取高层语义特征，我们同样在Dr和Dt的后几层中使用权重共享机制，这样能够减少网络中的参数总数。
4.网络优化参数调整。我们通过联合损失函数，采用Adam优化算法进行模型训练，更新生成器和判别器的网络参数。其中，学习率设为0.0002，指数衰减率β1＝0.5，β2＝0.999。损失函数如公式(6)所示。
其中，L(Gr,Gt,Dr,Dt)表示联合损失函数，λ是控制重构损失相比于对抗损失的重要性的超参数，在全部是实验中设置为100。
5.重复T次步骤2至步骤4。
6.在测试阶段，将真实的源域图像x，如图4中的(a-1)金发女性照片，直接输入到Gt中，经过Gt的转换后，输出结果Gt(x)即可，如图4中的(b-1)即为(a-1)转换后的黑发女性图像。
Claims (1)
1.一种基于生成对抗网络的目标域导向的无监督图像转换方法，其特征在于，包括如下步骤：
步骤一图像的预处理：从真实的源域数据分布pdata(x)中采样得到真实的源域图像x，从真实的目标域数据分布pdata(y)中采样得到真实的目标域图像y，对真实的源域图像x和真实的目标域图像y进行统一的处理，把它们缩放为统一的像素大小，同时对图像像素值进行归一化处理；
步骤二生成图像：将归一化处理好的真实的源域图像x分别输入到两个生成器中，两个生成器为自编码重构网络Gr和转换网络Gt；其中，Gr通过重构输入的真实的源域图像x，来获得源域图像的分层表征；Gt则将输入的真实的源域图像x转换为目标域的图像；通过共享Gr与Gt中与高层语义信息相关的层级的参数，以保证源域图像和目标域图像的语义信息一致；
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Gt表示转换网络，Dr与Dt表示相应的判别器，L(Gr)表示Gr的生成对抗损失，Lre(Gr)表示重构损失，L(Gt)表示Gt的生成对抗损失；
步骤三判别图像：Gr与Gt生成的图像被分别输入到两个判别器Dr与Dt中进行判别；Dr判别输入图像是真实的源域图像x还是Gr重构后的图像Gr(x)，而Dt则区分输入的图像是真实的目标域图像y还是Gt转换后的图像Gt(x)；
其中，L(Dr)表示Dr的生成对抗损失，L(Dt)表示Dt的生成对抗损失；
步骤四网络优化参数调整：通过联合损失函数，采用Adam优化算法进行模型训练，更新生成器和判别器的网络参数；
其中，L(Gr,Gt,Dr,Dt)表示联合损失函数，λ为超参数；
步骤五重复T次步骤二至步骤四；
步骤六在测试阶段，将真实的源域图像x直接输入到Gt中，经过Gt的转换后，输出结果Gt(x)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516012.2A CN110335193B (zh) | 2019-06-14 | 2019-06-14 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516012.2A CN110335193B (zh) | 2019-06-14 | 2019-06-14 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110335193A CN110335193A (zh) | 2019-10-15 |
| CN110335193B true CN110335193B (zh) | 2022-09-20 |
Family
ID=68142446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910516012.2A Active CN110335193B (zh) | 2019-06-14 | 2019-06-14 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335193B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853012B (zh) * | 2019-11-11 | 2022-09-06 | 苏州锐一仪器科技有限公司 | 获得心脏参数的方法、装置及计算机存储介质 |
| CN110910486B (zh) * | 2019-11-28 | 2021-11-19 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN111260620B (zh) * | 2020-01-14 | 2023-08-18 | 三峡大学 | 图像异常检测方法、装置和电子设备 |
| CN111292384B (zh) * | 2020-01-16 | 2022-05-20 | 西安交通大学 | 基于生成式对抗网络的跨域多样性图像生成方法及*** |
| CN111489287B (zh) * | 2020-04-10 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
| CN111539287B (zh) * | 2020-04-16 | 2023-04-07 | 北京百度网讯科技有限公司 | 训练人脸图像生成模型的方法和装置 |
| CN111882055B (zh) * | 2020-06-15 | 2022-08-05 | 电子科技大学 | 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 |
| CN111860618B (zh) * | 2020-07-01 | 2024-05-14 | 杭州健培科技有限公司 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
| CN112001838B (zh) * | 2020-07-23 | 2022-09-20 | 浙江大学 | 基于自交叉编码器的跨域图像转换方法、装置、计算机设备和存储介质 |
| CN112001839B (zh) * | 2020-07-23 | 2022-09-13 | 浙江大学 | 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质 |
| CN113628103B (zh) * | 2021-08-26 | 2023-09-29 | 深圳万兴软件有限公司 | 基于多级损失的高细粒度卡通人脸生成方法及其相关组件 |
| CN114092610B (zh) * | 2021-11-22 | 2023-04-07 | 哈尔滨工业大学（深圳） | 一种基于生成对抗网络的人物视频生成方法 |
| CN115797611B (zh) * | 2023-02-10 | 2023-04-28 | 真健康（北京）医疗科技有限公司 | 三维医学图像模态转换模型训练方法及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
| CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
-
2019
- 2019-06-14 CN CN201910516012.2A patent/CN110335193B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
| CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 生成式对抗网络及其计算机视觉应用研究综述;曹仰杰等;《中国图象图形学报》;20181016(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110335193A (zh) | 2019-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335193B (zh) | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 | |
| CN110310221B (zh) | 一种基于生成对抗网络的多域图像风格迁移方法 | |
| Xu et al. | Adversarially approximated autoencoder for image generation and manipulation | |
| Pan et al. | Loss functions of generative adversarial networks (GANs): Opportunities and challenges | |
| Nguyen et al. | Plug & play generative networks: Conditional iterative generation of images in latent space | |
| Hui et al. | Unsupervised multi-domain image translation with domain-specific encoders/decoders | |
| Pu et al. | Jointgan: Multi-domain joint distribution learning with generative adversarial nets | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN112766217B (zh) | 基于解纠缠和特征级差异学习的跨模态行人重识别方法 | |
| Wang et al. | Semi-supervised student-teacher learning for single image super-resolution | |
| CN111489405B (zh) | 基于条件增强生成对抗网络的人脸草图合成*** | |
| Mutlu et al. | Training bidirectional generative adversarial networks with hints | |
| Song et al. | Face attribute editing based on generative adversarial networks | |
| KR102288759B1 (ko) | 적대적 생성신경망에서의 조절 가능한 데이터셋 생성 방법 및 장치 | |
| Ning et al. | Continuous learning of face attribute synthesis | |
| Wang et al. | Super-resolution reconstruction of single image for latent features | |
| CN112581550A (zh) | 一种基于生成对抗网络的非匹配图像风格转换方法 | |
| CN111382871A (zh) | 基于数据扩充一致性的领域泛化和领域自适应学习方法 | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| Li et al. | Facial attribute editing by latent space adversarial variational autoencoders | |
| Khan et al. | Face recognition via multi-level 3D-GAN colorization | |
| Chen et al. | Infrared images augmentation based on images generation with generative adversarial networks | |
| Li et al. | Improving CoatNet for spatial and JPEG domain steganalysis | |
| Yan et al. | Optimized single-image super-resolution reconstruction: A multimodal approach based on reversible guidance and cyclical knowledge distillation | |
| Mao et al. | Enhancing style-guided image-to-image translation via self-supervised metric learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |