CN108171320A - 一种基于生成式对抗网络的图像域转换网络和转换方法 - Google Patents
一种基于生成式对抗网络的图像域转换网络和转换方法 Download PDFInfo
- Publication number
- CN108171320A CN108171320A CN201711273921.5A CN201711273921A CN108171320A CN 108171320 A CN108171320 A CN 108171320A CN 201711273921 A CN201711273921 A CN 201711273921A CN 108171320 A CN108171320 A CN 108171320A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- input
- true
- false
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 97
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 45
- 238000000576 coating method Methods 0.000 claims description 38
- 238000010606 normalization Methods 0.000 claims description 28
- 239000011248 coating agent Substances 0.000 claims description 27
- 238000003475 lamination Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000007423 decrease Effects 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000012546 transfer Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成式对抗网络的图像域转换网络和转换方法，包括U型生成网络、真假鉴别网络和配对鉴别网络，图像域转换过程主要包括以下步骤：1）、训练U型生成网络，建立U型生成网络的网络模型；2）将待转换的图像经过归一化处理后输入经步骤1）建立的网络模型，完成待转换图像的图像域转换；本发明能够实现图像中局部区域的图像域转换任务，且图像局部域转换质量高，网络判断能力强，图像转换的稳定性强，大大提高了生成的图像的真实性。
Description
技术领域
本发明涉及图像域转换技术领域，尤其涉及一种基于生成式对抗网络的图像域转换网络和转换方法。
背景技术
图像域转换是计算机视觉里一个重要的研究方向，有着广阔的应用前景。目前，对抗式生成网络(Generative Adversarial Networks,GAN)的出现，在图像生成领域取得了令人瞩目的成就，这也为图像域转换提供了新的解决方法。利用生成式对抗网络，将图像输入并生成网络生成目标域的图像，网络的训练基于生成网络和鉴别网络之间的博弈完成。生成式对抗网络最初提出时是无监督的学习方法，通过生成网络和鉴别网络之间的博弈，逐步学习到训练集中的数据分布，从而实现输入一个随机值使生成网络可以按照学习到的数据分布去随机的生成数据，其最早的应用即图像的生成。之后，Conditional GAN通过给GAN的输入增加人为的条件，使其生成的数据不再是随机生成，而是根据输入的条件不同生成不同的数据，Conditional GAN的提出，使得图像域的转换可以使用生成式对抗网络进行。
之后，改进自原始的GAN的Conditional GAN出现，目前研究的Conditional GAN通过给GAN的输入增加人为的条件，能对特定的输入生成特定的图像数据，而不再是输入随即的数据生成随即的图像数据。Conditional GAN的提出使得图像域的转换可以使用生成式对抗网络进行，即在其框架下输入为原始域图像，通过训练学习使其能够输出目标域图像。在该框架下实现的图像域转换GAN有：(1)pix2pix GAN，其使用的是有监督的方法，网络基于一个生成网络和一个对抗鉴别网络，解决的是图像整体域的转换任务；(2)Cycle GAN，使用了无监督的方法，通过两个生成网络两个对抗网络，利用cycle-consistency loss循环的训练生成网络和对抗鉴别网络实现图像域的转换。其中，无监督的方法尽管不再需要一一配对的训练数据，但转换效果差于有监督的pix2pix网络，且针对的仍然是图像整体域的转换，在现有的图像域转换中，对于图像中局部区域的域转换任务，并没有专门的GAN。
发明内容
本发明的目的是提供一种基于生成式对抗网络的图像域转换网络和转换方法，能够实现图像中局部区域的图像域转换任务，且图像局部域转换质量高，网络判断能力强，图像转换的稳定性强，大大提高了生成的图像的真实性。
本发明采用的技术方案为：
一种基于生成式对抗网络的图像域转换网络，包括U型生成网络、真假鉴别网络和配对鉴别网络，U型生成网络包括编码网络和解码网络，编码网络的输入端接入输入图像Input，编码网络的输出端连接解码网络的输入端，解码网络的输出端输出网络生成图像Output；设与输入图像Input一一配对的真实的目标域图像为目标域图像target；网络生成图像Output作为真假鉴别网络的训练负样本输入真假鉴别网络的负样本输入端，目标域图像target作为真假鉴别网络的训练正样本输入真假鉴别网络的正样本输入端，真假鉴别网络输出的值作为真假损失值反馈至解码网络的真假损失输入端；网络生成图像Output和对应输入图像Input作为训练负样本输入配对鉴别网络的负样本输入端，目标域图像target和对应输入图像Input作为训练正样本输入配对鉴别网络的正样本输入端，配对鉴别网络输出的值作为配对损失值反馈至解码网络的配对损失输入端；将网络生成图像Output与目标域图像target之间结构相似性值作为补偿损失值反馈至解码网络的补偿损失输入端。
所述编码网络包括八层卷积网络，每层卷积网络的卷积核大小为3*3，步长为2*2，每层卷积网络均包括卷积层、Batch Normalization层和Leak ReLU激活层，Leak ReLU激活层的α参数为0.2；所述解码网络包括八层反卷积网络，每层反卷积网络的反卷积核大小为3*3，步长为2*2，每层反卷积网络包括反卷积层、Batch Normalization层和激活层，第一至第七层反卷积网络的激活层采用ReLU激活层，第八层反卷积网络的激活层采用tanh激活层。
所述真假鉴别网络包括多层依次传递的真假鉴别卷积网络，每层真假鉴别卷积网络均包括卷积层、Batch Normalization层和激活层，最后一层真假鉴别卷积网络的激活层采用Sigmoid激活函数，其他层真假鉴别卷积网络的激活层采用ReLU函数。
所述配对鉴别网络包括依次传递的Concat层和多层配对鉴别卷积网络，每层配对鉴别卷积网络均包括卷积层、Batch Normalization层和激活层，最后一层配对鉴别卷积网络的激活层采用Sigmoid激活函数，其它层配对鉴别卷积网络的激活层采用ReLU函数。
一种基于生成式对抗网络的图像域转换方法，包括以下步骤：
1)、训练U型生成网络，建立U型生成网络的网络模型；具体包括以下步骤：
A、收集待转换域的训练图像集，训练图像集中包括一一配对的原始域图像和目标域图像，对训练图像集中的原始域图像进行归一化，归一化后的图像即为网络训练时的输入图像Input，训练图像集中目标域图像为与输入图像Input对应的目标域图像target；
B、将步骤A所得的输入图像Input经U型生成网络转换成为训练网络的网络生成图像Output；
C、利用步骤A和步骤B所得输入图像Input、目标域图像target和网络生成图像Output进行多对抗鉴别网络的训练：多对抗鉴别网络的训练包括真假鉴别网络的训练和配对鉴别网络的训练，其中，真假鉴别网络的训练包括以下步骤：
C11：采用随机初始化方法对真假鉴别网络的网络权重进行初始化；
C12：将网络生成图像Output作为负样本，与输入图像Input对应的目标域图像target作为正样本，在真假鉴别网络中进行训练，使用交叉互信息熵损失函数以及adam优化算法更新真假鉴别网络的网络权重；
配对鉴别网络的训练包括以下步骤：
C21：采用随机初始化方法对配对鉴别网络的网络权重进行初始化：
C22：将网络生成图像Output和对应的输入图像Input作为负样本，将输入图像Input和对应的目标域图像target作为正样本，在配对鉴别网络中进行训练，使用交叉互信息熵损失函数以及adam优化算法更新配对鉴别网络的网络权重；
D、重复步骤C，经过两次多对抗鉴别网络训练后，固定真假鉴别网络和配对鉴别网络的网络权重；
E、利用经过步骤D训练后所得的多对抗鉴别网络，对U型生成网络进行训练；具体包括以下步骤：
E1：采用哈维尔随机初始化方法对U型生成网络的网络权重进行初始化；
E2：将网络生成图像Output输入真假鉴别网络，真假鉴别网络输出真假损失值，并将输出的真假损失值反馈给U型生成网络中的解码网络，用于更新其网络权重：真假鉴别网络输出30*30*1图像，用于返回网络生成图像Output接近真实图像的损失值，其中，真假鉴别网络输出的每个图像像素点值的范围为0到1，像素点值越接近1表示输入图像Input在该像素点感受野区域越接近真实的图像，像素点值越接近0表示输入图像Input在该像素点感受野区域越不接近真实的图像；
E3：将输入图像Input和对应的网络生成图像Output输入配对鉴别网络，配对鉴别网络输出配对损失值，并将输出的配对损失值反馈给U型生成网络中的解码网络，用于更新其网络权重：配对鉴别网络输出30*30*1图像，用于返回输入图像Input和网络生成图像Output是否是输入图像Input与目标域图像target配对的损失值；其中，配对鉴别网络输出的每个图像像素点值的范围为0到1，越接近1表示输入图像Input和网络生成图像Output越匹配，越接近0表示越不匹配；
E4：计算出网络生成图像Output与目标域图像target之间的结构相似数值，并将计算出的结构相似性数值作为损失反馈给U型生成网络中的解码网络，用于更新其网络权重；结构相似性数值包括SSIM损失函数计算结果以及L1正则化计算结果，其中，SSIM损失函数来源于SSIM算法，SSIM算法的输出值SSIM(x,y)表示两幅图像之间的相似性，即输入图像x和目标域图像y之间的结构相似性，SSIM(x,y)的范围为-1到1，接近1表示两幅图像的相似度越高，当输入图像x和目标域图像y一模一样时，SSIM(x,y)的值等于1；
SSIM算法输出值的计算公式如下：
公式(1)中，x为输入图像Input，y为与输入图像Input对应的目标域图像target，μx是x的平均值，μy是y的平均值，是x的方差，是y的方差，σxy是x和y的协方差，c1＝(k1L)2和c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01,2＝0.03；
F、步骤C～E为一次U型生成网络的权重训练，重复步骤C～E，完成两次U型生成网络的权重训练后，即完成U型生成网络的训练，所得生成网络即为U型生成网络的网络模型；2)、将待转换的图像经过归一化处理后输入经步骤1)建立的网络模型，即可完成待转换图像的图像域转换：归一化后的图像作为输入图像Input输入步骤1)中建立的网络模型中，编码网络提取输入图像Input的高维特征，然后通过解码网络输出网络生成图像Output，输出的网络生成图像Output即为经图像域转换后的目标域图像。
所述步骤E中U型生成网络的整体损失函数为：
LGAN(G,D1,D2)＝LD1+λ1LD2+λ2Lssim+λ3L1 (2)
整个生成式对抗网络中需要优化的整体损失函数为：
G*＝argminGANmaxD1maxD2(LGAN(G,D1,D2)+LD1+LD2) (3)
公式(2)和(3)中，表示真假鉴别网络输出的真假损失， 表示配对鉴别网络输出的配对损失，表示SSIM损失函数计算的损SSIM损失，表示L1正则项损失，x表示输入图像Input，y表示与输入图像Input对应的目标域图像target，λ1为配对损失占U型生成网络整体损失中权重的参数，λ2表示SSIM损失占U型生成网络整体损失中权重的参数，λ3表示L1正则项的值占U型生成网络整体损失中权重的参数；
U型生成网络的训练初期，真假损失、配对损失、SSIM损失和L1正则项损失的比例为1:1:4:1，随着网络训练次数的增加，真假损失、配对损失、SSIM损失和L1正则项损失的比例逐渐变为1:1：0.5:1，即SSSIM损失占U型生成网络整体损失中权重的参数按照设置的总体训练次数逐渐降低。
所述步骤C中的交叉互信息熵损失函数为带有平滑项的交叉互信息熵损失函数；带有平滑项的交叉互信息熵损失函数的公式为：
公式(4)中，i为batch的大小，ti为预测的样本值，yi为真实的样本值，为添加的平滑项，的值选取为0.005。
所述的网络生成图像Output的生成过程包括以下步骤：
a)、将待转换的图像归一化为256*256*3像素的图像，将归一化后的图像作为输入图像Input输入编码网络中，输入图像Input依次经过编码网络中的8层卷积网络，最后输出的数据为1*1*1024的特征图像；编码网络中每层卷积网络的卷积核大小为3*3，步长为2*2；
b)、将步骤a)中生成的1*1*1024的特征图像输入解码网络，特征图像依次经过解码网络的8层反卷积网络，同时将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算，最终生成完整的网络生成图像Output，即反卷积层的输入不但有来自上一层反卷积运算的特征图像，还有对应张量大小的卷积运算特征图像；其中，每层反卷积网络的反卷积核大小为3*3，步长为2*2。
所述步骤b)中，在前三层的反卷积网络输入的特征图像中，在将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算的过程中加入Dropout操作；其中，Dropout操作的参数使用为0.2，即随机关闭两个连接层中20％的连接节点。
所述步骤E4中SSIM算法的计算采用卷积核的滑窗形式，滑窗大小为7*7。
本发明具有以下优点：
(1)通过包括U型生成网络、配对鉴别网络和真假鉴别网络的对抗式生成网络，建立U型生成网络的网络模型，再通过建立的网络模型实现局部图像的图像域的转换，填补了当下没有针对局部图像转换的对抗式生成网络的空缺，提高了对抗式生成网络在图像域转换领域的使用范围，并提高了图像域转换的效果和可靠性能；
(2)在生成网络的网络模型训练过程中，采用配对鉴别网络和真假鉴别网络的多对抗方式进行，为了提高网络在训练初期鉴别网络判断能力差的问题，增加了SSIM损失函数，使用SSIM算法计算图像的相似度，并将其计算结果作为损失用以更新生成网络的权重，使用SSIM算法的计算结果作为损失，可以弥补对抗网络初期对抗能力低的问题，使得生成网络能更好地收敛，从未获得更好的图像域转换效果；
(3)通过在多对抗鉴别网络的训练过程中使用交叉互信息熵损失函数，使得多对抗鉴别网络的训练更加稳定，由于传统的交叉熵损失函数含有log运算，在计算损失的初期阶段使得损失的波动大，进而使得在训练阶段有可能出现损失函数为0的结果出现，导致训练的失败，通过增加平滑项，减少了训练时的波动，防止了训练的失败情况发生，提升了深度对抗网络训练的稳定性；
(4)通过设置在生成网络中，反卷积层的输入不但有来自上一层反卷积运算的特征图像，还有对应张量大小的卷积运算特征图像，使得图像的信息在最大程度上得到了保留，更好、更完整地保存原图像中的特征信息，提高了图像域转换的效果和真实性，而且在编码网络的前三层卷积层向对应反卷积层输入特征图像的运算中加入Dropout操作，有效防止解码后得到的图像单一化，进一步提高图像域转换质量；
(3)通过采用Leak ReLU激活层并将Leak ReLU的参数为0.2，更好地保留了生成网络原图像域的信息，并使网络在反向传播时尽可能的保留残差信息，提高了转换图像的完整度，保证了转换效果；
附图说明
图1为本发明的网络结构图；
图2为图1中U型生成网络结构图；
图3为图1中真假鉴别网络的网络结构图；
图4为图1中配对鉴别网络的网络结构图；
图5为图1中U型生成网络训练图；
图6为图1中真假鉴别网络的网络训练图；
图7为图1中配对鉴别网络的网络训练图。
具体实施方式
为了更好地理解本发明，下面结合附图对本发明的技术方案做进一步说明。
如图1所示，本发明包括U型生成网络U-net、真假鉴别网络D1-net和配对鉴别网络D2-net，还包括了结构相似性数值计算部分，结构相似性数值计算包括SSIM损失函数计算部分和L1正则化部分；U型生成网络U-net用于图像域的转换，真假鉴别网络D1-net是用于判断网络生成图像Output是否真实的鉴别器，鉴别网络D2-net是用于判断网络生成图像Output与原图像的是否配对的鉴别器；
如图2所示，U型生成网络U-net包括编码网络F-net和解码网络G-net，编码网络F-net对图像进行卷积操作输出其高维的特征图，解码网络G-net使用反卷积网络，通过对特征图进行反卷积完成图像的生成。
编码网络F-net的输入端接入输入图像Input，编码网络F-net的输出端连接解码网络G-net的输入端，解码网络G-net的输出端生成网络生成图像Output。
编码网络F-net包括八层卷积网络，每层卷积网络的卷积核大小为3*3，步长为2*2，每层卷积网络均包括卷积层、Batch Normalization层和Leak ReLU激活层，由于生成网络需要尽量的保留原图像域信息，以及为了使网络在反向传播时尽可能的保留残差信息，因此本发明对于生成网络中编码网络F-net每层激活函数的选取采用的是Leak ReLU激活函数，其中Leak ReLU激活层的α参数为0.2。
解码网络G-net包括八层反卷积网络，每层反卷积网络的反卷积核大小为3*3，步长为2*2，每层反卷积网络包括反卷积层、Batch Normalization层和激活层，第一至第七层反卷积网络的激活层采用ReLU激活层，第八层反卷积网络的激活层采用tanh激活层。
如图3所示，真假鉴别网络D1-net是用于鉴别生成的图像是否为真实的图像，故其输入为一副图像，输出为真假；真假鉴别网络D1-net包括多层依次传递的真假鉴别卷积网络，每层真假鉴别卷积网络均包括卷积层、Batch Normalization层和激活层。
ReLU激活函数能有效的传递残差且能保持非线性拟合，tanh激活函数输出值在-1到1之间，而sigmoid激活函数值输出的值在0到1之间便于与标签进行计算，故真假鉴别网络D1-net的除最后一层的其余每层使用的激励函数为ReLU函数，最后一层输出层使用的是sigmoid激活函数，即最后一层真假鉴别卷积网络的激活层采用Sigmoid激活函数，其他层真假鉴别卷积网络的激活层采用ReLU函数。
每层真假鉴别卷积网络的卷积核的设计遵循小卷积核的原则，采用的是3*3的卷积核，除去32*32*256真假鉴别卷积网络到30*30*1真假鉴别卷积网络之间每层步长stride为1的卷积运算，其余步长stride均为2。为了防止梯度弥散现象的发生，在每层的网络中加入了Bacth Normalization层，同时考虑到部分层卷积计算的步长为2起到了池化作用，因此网络中未添加了pooling层。
配对鉴别网络D2-net用于鉴别生成的图像同输入的图像是否配对，因此其输入为两幅图像；配对鉴别网络D2-net包括依次传递的Concat层和多层配对鉴别卷积网络，每层配对鉴别卷积网络均包括卷积层、Batch Normalization层和激活层，最后一层配对鉴别卷积网络的激活层采用Sigmoid激活函数，其它层配对鉴别卷积网络的激活层采用ReLU函数。
如图4所示，配对鉴别网络D2-net同真假鉴别网络D1-net的结构相似，只在第一层的输入时多了一副图像，即第一层的输入为256*256*6的张量，同样选择ReLU和sigmoid激活函数，使用Bacth Normalization层，并且使用的损失函数同D1-net一样带有平滑项。
设与输入图像Input一一配对的真实的目标域图像为目标域图像target；网络生成图像Output作为真假鉴别网络D1-net的训练负样本输入真假鉴别网络D1-net的负样本输入端，目标域图像target作为真假鉴别网络D1-net的训练正样本输入真假鉴别网络D1-net的正样本输入端，真假鉴别网络D1-net输出的值作为真假损失值反馈至解码网络G-net的真假损失输入端；网络生成图像Output和对应输入图像Input作为训练负样本输入配对鉴别网络D2-net的负样本输入端，目标域图像target和对应输入图像Input作为训练正样本输入配对鉴别网络D2-net的正样本输入端，配对鉴别网络D2-net输出的值作为配对损失值反馈至解码网络G-net的配对损失输入端；将网络生成图像Output与目标域图像target之间的结构相似性数值作为补偿损失值反馈至解码网络G-net的补偿损失输入端，其中，结构相似性数值的计算包括SSIM损失函数和L1正则化。
本发明还包括一种基于生成式对抗网络的图像域转换方法，包括以下步骤：
1)、训练U型生成网络U-net，建立U型生成网络U-net的网络模型；具体包括以下步骤：
A、收集待转换域的训练图像集，训练图像集中包括一一配对的原始域图像和目标域图像，将训练图像集中的原始域图像归一化为256*256*3像素的图像，归一化后的图像即为网络训练时的输入图像Input，训练图像集中目标域图像为与输入图像Input对应的目标域图像target；
B、将步骤A所得的输入图像Input经U型生成网络U-net转换成为训练网络的网络生成图像Output；
C、利用步骤A和步骤B所得输入图像Input、目标域图像target和网络生成图像Output进行多对抗鉴别网络的训练：多对抗鉴别网络的训练包括真假鉴别网络D1-net的训练和配对鉴别网络D2-net的训练；
如图6所示，真假鉴别网络D1-net的训练包括以下步骤：
C11：采用随机初始化方法对真假鉴别网络D1-net的网络权重进行初始化；
C12：将网络生成图像Output作为负样本，与输入图像Input对应的目标域图像target作为正样本，在真假鉴别网络D1-net中进行二分类训练，使用带有平滑项的交叉互信息熵损失函数以及adam优化算法更新真假鉴别网络D1-net的网络权重；
交叉互信息熵在计算损失的开始阶段值会较大，同时在训练阶段有可能出现0导致训练失败，增加平滑项减少了训练时的波动，防止了训练的失败情况发生，改进的带有平滑项的交叉互信息熵函数，提升了深度对抗网络训练的稳定性；
在二分类训练中，首先，要为正、负样本生成one-hot类型的标签，然后根据最后一层sigmoid激活函数输出的0到1的值，利用添加平滑项的SigmoidCrossEntropy计算交叉熵损失，最后根据反馈的损失更新真假鉴别网络D1-net权重；
其中，带有平滑项的交叉互信息熵损失函数的公式为
公式(1)中，i为batch的大小，ti为预测的样本值，yi为真实的样本值，为添加的平滑项，的值选取为0.005；
如图7所示，配对鉴别网络D2-net的训练包括以下步骤：
C21：采用随机初始化方法对配对鉴别网络D2-net的网络权重进行初始化：
C22：将网络生成图像Output和对应的输入图像Input作为负样本，将输入图像Input和对应的目标域图像target作为正样本，在配对鉴别网络D2-net中进行二分类的训练，使用带有平滑项的交叉互信息熵损失函数以及adam优化算法更新配对鉴别网络D2-net的网络权重；
D、重复步骤C，经过两次多对抗鉴别网络训练后，固定真假鉴别网络D1-net和配对鉴别网络D2-net的网络权重：为了使U型生成网络U-net的训练更加稳定，采用多次训练真假鉴别网络D1-net和配对鉴别网络D2-net，再训练U型生成网络U-net的策略；
E、利用经过步骤D训练后所得的多对抗鉴别网络，对U型生成网络U-net进行训练；如图5所示，U型生成网络U-net的训练包括以下步骤：
E1：采用哈维尔随机初始化方法对U型生成网络U-net的网络权重进行初始化；
E2：将网络生成图像Output输入真假鉴别网络D1-net，真假鉴别网络D1-net输出真假损失值，并将输出的真假损失值反馈给U型生成网络U-net中的解码网络G-net，用于更新其网络权重：真假鉴别网络D1-net输出30*30*1图像，用于返回网络生成图像Output接近真实图像的损失值，其中，真假鉴别网络D1-net输出的每个图像像素点值的范围为0到1，像素点值越接近1表示输入图像Input在该像素点感受野区域越接近真实的图像，像素点值越接近0表示输入图像Input在该像素点感受野区域越不接近真实的图像；
E3：将输入图像Input和对应的网络生成图像Output输入配对鉴别网络D2-net，配对鉴别网络D2-net输出配对损失值，并将输出的配对损失值反馈给U型生成网络U-net中的解码网络G-net，用于更新其网络权重：配对鉴别网络D2-net输出30*30*1图像，用于返回输入图像Input和网络生成图像Output是否是输入图像Input与目标域图像target配对的损失值；其中，配对鉴别网络D2-net输出的每个图像像素点值的范围为0到1，越接近1表示输入图像Input和网络生成图像Output越匹配，越接近0表示越不匹配；
E4：计算出网络生成图像Output与目标域图像target之间的结构相似性数值，并将计算出的结构相似性数值作为损失反馈给U型生成网络U-net中的解码网络G-net，用于更新其网络权重；结构相似性数值的计算包括SSIM损失函数以及L1正则化，其中，SSIM损失函数来源于SSIM算法，是一种衡量两幅图像相似性的指标，SSIM算法的输出值SSIM(x,y)表示两幅图像之间的相似性，即输入图像x和目标域图像y之间的结构相似性，SSIM(x,y)的范围为-1到1，接近1表示两幅图像的相似度越高，当输入图像x和目标域图像y一模一样时，SSIM(x,y)的值等于1；使用SSIM作为损失函数，能够使得生成网络能更好的收敛，从而获得更好的图像域转换效果；
SSIM算法输出值的计算公式如下：
公式(2)中，x为输入图像Input，y为与输入图像Input对应的目标域图像target，μx是x的平均值，μy是y的平均值，是x的方差，是y的方差，σxy是x和y的协方差，c1＝(k1L)2和 2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01,2＝0.03；
F、步骤C～E为一次U型生成网络U-net的权重训练，重复步骤C～E，完成两次U型生成网络U-net的权重训练后，即完成U型生成网络U-net的训练，所得生成网络即为U型生成网络U-net的网络模型；
然而，在计算两幅图像SSIM值时需要转化成滑窗的形式，导致选择不同大小的滑窗以及参数δ的不同，所得到的结果均存在差异。Wang et.al等人最初提出的SSIM算法采用的是11*11的滑窗，然而由于生成网络在最初的阶段生成的图像与目标图像相差较大，大尺寸的滑窗计算出的两幅图像之间的SSIM值在最初阶段数值非常接近于0，使得损失无法有效回传到生成网络，导致对抗式生成网络GAN的训练失败。鉴于此问题并考虑到网络输入的是256*256像素的照片，最终本发明中SSIM算法的计算采用卷积核的滑窗形式，选择的滑窗大小为7*7。
在上述对U型生成网络U-net进行训练的步骤E中，U型生成网络U-net的整体损失函数为：
LGAN(G,D1,D2)＝LD1+λ1LD2+λ2Lssim+λ3L1 (3)
整个生成式对抗网络中需要优化的整体损失函数为：
G*＝argminGANmaxD1maxD2(LGAN(G,D1,D2)+LD1+LD2) (4)
公式(3)和(4)中，表示真假鉴别网络D1-net输出的真假损失，表示配对鉴别网络D2-net输出的配对损失，表示SSIM损失函数计算的SSIM损失，表示L1正则项损失，x表示输入图像Input，y表示与输入图像Input对应的目标域图像target，λ1为配对损失占整体生成网络的解码网络G-net中权重的参数，λ2表示SSIM损失占整体生成网络的解码网络G-net中权重的参数，λ3表示L1正则项的值占整体生成网络的解码网络G-net中权重的参数。
在U型生成网络U-net的训练初期，真假损失、配对损失、SSIM损失和L1正则项损失的比例为1:1:4:1，随着网络训练次数的增加，真假损失、配对损失、SSIM损失和L1正则项损失的比例逐渐变为1:1：0.5:1，即SSSIM损失占U型生成网络U-net整体损失中权重的参数按照设置的总体训练次数逐渐降低。
在网络训练初期真假鉴别网络D1-net和配对鉴别网络D2-net鉴别能力低时可使用SSIM损失函数反馈U型生成网络U-net的残差，使其能有效的生成目标域图像，当真假鉴别网络D1-net和配对鉴别网络D2-net在训练中能力不断提升后，再降低SSIM损失函数在反馈生成网络残差中所占的权重，使得生成网络的残差较大部分的来自真假鉴别网络D1-net和配对鉴别网络D2-net反馈回来的损失，以获得比现有图像域转换方法的效果更好，生成的图像更真实的效果。
2)、将待转换的图像经过归一化处理，归一化后的像素为256*256，归一化后的图像输入经步骤1)建立的网络模型，即可完成待转换图像的图像域转换：归一化后的图像作为输入图像Input输入步骤1)中建立的网络模型中，编码网络F-net提取输入图像Input的高维特征，然后通过解码网络G-net输出网络生成图像Output，输出的网络生成图像Output即为经图像域转换后的目标域图像。
在U型生成网络的图像域转换过程中，需要将图像输入编码网络F-net先进行卷积操作，然后再进行反卷积操作，实现图像域的转换；但是；以往的U型生成网络，原图在卷积过程中图像的部分信息难以保留，因此，为了能更好的、更完整的保存原图像中的特征信息，本发明网络生成图像Output的生成过程包括以下步骤：
a)、将待转换的图像归一化为256*256*3像素的图像，将归一化后的图像作为输入图像Input输入编码网络F-net中，输入图像Input依次经过编码网络F-net中的8层卷积网络，最后输出的数据为1*1*1024的特征图像；编码网络F-net中每层卷积网络的卷积核大小为3*3，步长为2*2；
b)、将步骤a)中生成的1*1*1024的特征图像输入解码网络G-net，特征图像依次经过解码网络G-net的8层反卷积网络，同时将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算，最终生成完整的网络生成图像Output，即反卷积层的输入不但有来自上一层反卷积运算的特征图像，还有对应张量大小的卷积运算特征图像；其中，每层反卷积网络的反卷积核大小为3*3，步长为2*2。
在前三层的反卷积网络输入的特征图像中，在将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算的过程中加入Dropout操作；其中，Dropout操作的参数使用为0.2，即随机关闭两个连接层中20％的连接节点。
反卷积层的输入不但有来自上一层反卷积运算的特征图像，还有对应张量大小的卷积运算特征图像，使得图像的信息在最大程度上得到了保留，更好、更完整地保存原图像中的特征信息，提高了图像域转换的效果和真实性，而且为了防止解码网络G-net得到的图像单一化，在编码网络F-net的前三层卷积层向对应反卷积层输入特征图像的运算中加入Dropout操作，有效防止解码后得到的图像单一化，进一步提高图像域转换质量。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (10)
1.一种基于生成式对抗网络的图像域转换网络，其特征在于：包括U型生成网络、真假鉴别网络和配对鉴别网络，U型生成网络包括编码网络和解码网络，编码网络的输入端接入输入图像Input，编码网络的输出端连接解码网络的输入端，解码网络的输出端输出网络生成图像Output；设与输入图像Input一一配对的真实的目标域图像为目标域图像target；网络生成图像Output作为真假鉴别网络的训练负样本输入真假鉴别网络的负样本输入端，目标域图像target作为真假鉴别网络的训练正样本输入真假鉴别网络的正样本输入端，真假鉴别网络输出的值作为真假损失值反馈至解码网络的真假损失输入端；网络生成图像Output和对应输入图像Input作为训练负样本输入配对鉴别网络的负样本输入端，目标域图像target和对应输入图像Input作为训练正样本输入配对鉴别网络的正样本输入端，配对鉴别网络输出的值作为配对损失值反馈至解码网络的配对损失输入端；将网络生成图像Output与目标域图像target之间结构相似性值作为补偿损失值反馈至解码网络的补偿损失输入端。
2.根据权利要求1所述的基于生成式对抗网络的图像域转换网络，其特征在于：所述编码网络包括八层卷积网络，每层卷积网络的卷积核大小为3*3，步长为2*2，每层卷积网络均包括卷积层、Batch Normalization层和Leak ReLU激活层，Leak ReLU激活层的α参数为0.2；所述解码网络包括八层反卷积网络，每层反卷积网络的反卷积核大小为3*3，步长为2*2，每层反卷积网络包括反卷积层、BatchNormalization层和激活层，第一至第七层反卷积网络的激活层采用ReLU激活层，第八层反卷积网络的激活层采用tanh激活层。
3.根据权利要求2所述的基于生成式对抗网络的图像域转换网络，其特征在于：所述真假鉴别网络包括多层依次传递的真假鉴别卷积网络，每层真假鉴别卷积网络均包括卷积层、Batch Normalization层和激活层，最后一层真假鉴别卷积网络的激活层采用Sigmoid激活函数，其他层真假鉴别卷积网络的激活层采用ReLU函数。
4.根据权利要求3所述的基于生成式对抗网络的图像域转换网络，其特征在于：所述配对鉴别网络包括依次传递的Concat层和多层配对鉴别卷积网络，每层配对鉴别卷积网络均包括卷积层、Batch Normalization层和激活层，最后一层配对鉴别卷积网络的激活层采用Sigmoid激活函数，其它层配对鉴别卷积网络的激活层采用ReLU函数。
5.一种权利要求4所述的基于生成式对抗网络的图像域转换网络的图像域转换方法，其特征在于：包括以下步骤：
1)、训练U型生成网络，建立U型生成网络的网络模型；具体包括以下步骤：
A、收集待转换域的训练图像集，训练图像集中包括一一配对的原始域图像和目标域图像，对训练图像集中的原始域图像进行归一化，归一化后的图像即为网络训练时的输入图像Input，训练图像集中目标域图像为与输入图像Input对应的目标域图像target；
B、将步骤A所得的输入图像Input经U型生成网络转换成为训练网络的网络生成图像Output；
C、利用步骤A和步骤B所得输入图像Input、目标域图像target和网络生成图像Output进行多对抗鉴别网络的训练：多对抗鉴别网络的训练包括真假鉴别网络的训练和配对鉴别网络的训练，其中，真假鉴别网络的训练包括以下步骤：
C11：采用随机初始化方法对真假鉴别网络的网络权重进行初始化；
C12：将网络生成图像Output作为负样本，与输入图像Input对应的目标域图像target作为正样本，在真假鉴别网络中进行训练，使用交叉互信息熵损失函数以及adam优化算法更新真假鉴别网络的网络权重；
配对鉴别网络的训练包括以下步骤：
C21：采用随机初始化方法对配对鉴别网络的网络权重进行初始化：
C22：将网络生成图像Output和对应的输入图像Input作为负样本，将输入图像Input和对应的目标域图像target作为正样本，在配对鉴别网络中进行训练，使用交叉互信息熵损失函数以及adam优化算法更新配对鉴别网络的网络权重；
D、重复步骤C，经过两次多对抗鉴别网络训练后，固定真假鉴别网络和配对鉴别网络的网络权重；
E、利用经过步骤D训练后所得的多对抗鉴别网络，对U型生成网络进行训练；具体包括以下步骤：
E1：采用哈维尔随机初始化方法对U型生成网络的网络权重进行初始化；
E2：将网络生成图像Output输入真假鉴别网络，真假鉴别网络输出真假损失值，并将输出的真假损失值反馈给U型生成网络中的解码网络，用于更新其网络权重：真假鉴别网络输出30*30*1图像，用于返回网络生成图像Output接近真实图像的损失值，其中，真假鉴别网络输出的每个图像像素点值的范围为0到1，像素点值越接近1表示输入图像Input在该像素点感受野区域越接近真实的图像，像素点值越接近0表示输入图像Input在该像素点感受野区域越不接近真实的图像；
E3：将输入图像Input和对应的网络生成图像Output输入配对鉴别网络，配对鉴别网络输出配对损失值，并将输出的配对损失值反馈给U型生成网络中的解码网络，用于更新其网络权重：配对鉴别网络输出30*30*1图像，用于返回输入图像Input和网络生成图像Output是否是输入图像Input与目标域图像target配对的损失值；其中，配对鉴别网络输出的每个图像像素点值的范围为0到1，越接近1表示输入图像Input和网络生成图像Output越匹配，越接近0表示越不匹配；
E4：计算出网络生成图像Output与目标域图像target之间的结构相似数值，并将计算出的结构相似性数值作为损失反馈给U型生成网络中的解码网络，用于更新其网络权重；结构相似性数值包括SSIM损失函数计算结果以及L1正则化计算结果，其中，SSIM损失函数来源于SSIM算法，SSIM算法的输出值SSIM(x，y)表示两幅图像之间的相似性，即输入图像x和目标域图像y之间的结构相似性，SSIM(x，y)的范围为-1到1，接近1表示两幅图像的相似度越高，当输入图像x和目标域图像y一模一样时，SSIM(x，y)的值等于1；
SSIM算法输出值的计算公式如下：
公式(1)中，x为输入图像Input，y为与输入图像Input对应的目标域图像target，μx是x的平均值，μy是y的平均值，是x的方差，是y的方差，σxy是x和y的协方差，c1＝(k1L)2和c2＝(k2L)2是用来维持稳定的常数，L是像素值的动态范围，k1＝0.01，k2＝0.03；
F、步骤C～E为一次U型生成网络的权重训练，重复步骤C～E，完成两次U型生成网络的权重训练后，即完成U型生成网络的训练，所得生成网络即为U型生成网络的网络模型；
2)、将待转换的图像经过归一化处理后输入经步骤1)建立的网络模型，即可完成待转换图像的图像域转换：归一化后的图像作为输入图像Input输入步骤1)中建立的网络模型中，编码网络提取输入图像Input的高维特征，然后通过解码网络输出网络生成图像Output，输出的网络生成图像Output即为经图像域转换后的目标域图像。
6.根据权利要求5所述的基于生成式对抗网络的图像域转换方法，其特征在于：所述步骤E中U型生成网络的整体损失函数为：
LGAN(G，D1，D2)＝LD1+λ1LD2+λ2Lssim+λ3L1 (2)
整个生成式对抗网络中需要优化的整体损失函数为：
G*＝arg minGANmaxD1maxD2(LGAN(G，D1，D2)+LD1+LD2) (3)
公式(2)和(3)中，表示真假鉴别网络输出的真假损失， 表示配对鉴别网络输出的配对损失，表示SSIM损失函数计算的损SSIM损失，表示L1正则项损失，x表示输入图像Input，y表示与输入图像Input对应的目标域图像target，λ1为配对损失占U型生成网络整体损失中权重的参数，λ2表示SSIM损失占U型生成网络整体损失中权重的参数，λ3表示L1正则项的值占U型生成网络整体损失中权重的参数；
U型生成网络的训练初期，真假损失、配对损失、SSIM损失和L1正则项损失的比例为1∶1∶4∶1，随着网络训练次数的增加，真假损失、配对损失、SSIM损失和L1正则项损失的比例逐渐变为1∶1∶0.5∶1，即SSSIM损失占U型生成网络整体损失中权重的参数按照设置的总体训练次数逐渐降低。
7.根据权利要求5所述的基于生成式对抗网络的图像域转换方法，其特征在于：所述步骤C中的交叉互信息熵损失函数为带有平滑项的交叉互信息熵损失函数；带有平滑项的交叉互信息熵损失函数的公式为：
公式(4)中，i为batch的大小，ti为预测的样本值，yi为真实的样本值，EPS为添加的平滑项，EPS的值选取为0.005。
8.根据权利要求5所述的基于生成式对抗网络的图像域转换方法，其特征在于：所述的网络生成图像Output的生成过程包括以下步骤：
a)、将待转换的图像归一化为256*256*3像素的图像，将归一化后的图像作为输入图像Input输入编码网络中，输入图像Input依次经过编码网络中的8层卷积网络，最后输出的数据为1*1*1024的特征图像；编码网络中每层卷积网络的卷积核大小为3*3，步长为2*2；
b)、将步骤a)中生成的1*1*1024的特征图像输入解码网络，特征图像依次经过解码网络的8层反卷积网络，同时将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算，最终生成完整的网络生成图像Output，即反卷积层的输入不但有来自上一层反卷积运算的特征图像，还有对应张量大小的卷积运算特征图像；其中，每层反卷积网络的反卷积核大小为3*3，步长为2*2。
9.根据权利要求8所述的基于生成式对抗网络的图像域转换方法，其特征在于：所述步骤b)中，在前三层的反卷积网络输入的特征图像中，在将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算的过程中加入Dropout操作；其中，Dropout操作的参数使用为0.2，即随机关闭两个连接层中20％的连接节点。
10.根据权利要求5所述的基于生成式对抗网络的图像域转换方法，其特征在于：所述步骤E4中SSIM算法的计算采用卷积核的滑窗形式，滑窗大小为7*7。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711273921.5A CN108171320B (zh) | 2017-12-06 | 2017-12-06 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711273921.5A CN108171320B (zh) | 2017-12-06 | 2017-12-06 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108171320A true CN108171320A (zh) | 2018-06-15 |
| CN108171320B CN108171320B (zh) | 2021-10-19 |
Family
ID=62525151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711273921.5A Expired - Fee Related CN108171320B (zh) | 2017-12-06 | 2017-12-06 | 一种基于生成式对抗网络的图像域转换网络和转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108171320B (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109166144A (zh) * | 2018-07-20 | 2019-01-08 | 中国海洋大学 | 一种基于生成对抗网络的图像深度估计方法 |
| CN109190524A (zh) * | 2018-08-17 | 2019-01-11 | 南通大学 | 一种基于生成对抗网络的人体动作识别方法 |
| CN109215014A (zh) * | 2018-07-02 | 2019-01-15 | 中国科学院深圳先进技术研究院 | Ct图像预测模型的训练方法、装置、设备及存储介质 |
| CN109272486A (zh) * | 2018-08-14 | 2019-01-25 | 中国科学院深圳先进技术研究院 | Mr图像预测模型的训练方法、装置、设备及存储介质 |
| CN109543674A (zh) * | 2018-10-19 | 2019-03-29 | 天津大学 | 一种基于生成对抗网络的图像拷贝检测方法 |
| CN109639710A (zh) * | 2018-12-29 | 2019-04-16 | 浙江工业大学 | 一种基于对抗训练的网络攻击防御方法 |
| CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
| CN109711254A (zh) * | 2018-11-23 | 2019-05-03 | 北京交通大学 | 基于对抗生成网络的图像处理方法和装置 |
| CN109740682A (zh) * | 2019-01-08 | 2019-05-10 | 南京大学 | 一种基于域转化和生成模型的图像识别方法 |
| CN110211035A (zh) * | 2019-04-18 | 2019-09-06 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
| CN110210422A (zh) * | 2019-06-05 | 2019-09-06 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
| CN110225260A (zh) * | 2019-05-24 | 2019-09-10 | 宁波大学 | 一种基于生成对抗网络的立体高动态范围成像方法 |
| CN110276811A (zh) * | 2019-07-02 | 2019-09-24 | 厦门美图之家科技有限公司 | 图像转换方法、装置、电子设备及可读存储介质 |
| CN110472528A (zh) * | 2019-07-29 | 2019-11-19 | 江苏必得科技股份有限公司 | 一种地铁环境目标训练集生成方法及*** |
| CN110517705A (zh) * | 2019-08-29 | 2019-11-29 | 北京大学深圳研究生院 | 一种基于深度神经网络和卷积神经网络的双耳声源定位方法和*** |
| CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、***及介质 |
| CN110660020A (zh) * | 2019-08-15 | 2020-01-07 | 天津中科智能识别产业技术研究院有限公司 | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 |
| CN110674335A (zh) * | 2019-09-16 | 2020-01-10 | 重庆邮电大学 | 一种基于多生成多对抗的哈希码与图像双向转换方法 |
| CN111047525A (zh) * | 2019-11-18 | 2020-04-21 | 宁波大学 | Sar遥感图像到光学遥感图像的翻译方法 |
| CN111161239A (zh) * | 2019-12-27 | 2020-05-15 | 上海联影智能医疗科技有限公司 | 医学图像分析方法、装置、存储介质及计算机设备 |
| CN111210409A (zh) * | 2019-12-30 | 2020-05-29 | 浙江大学 | 一种基于条件生成对抗网络的结构损伤识别方法 |
| CN111241614A (zh) * | 2019-12-30 | 2020-06-05 | 浙江大学 | 基于条件生成对抗网络模型的工程结构荷载反演方法 |
| CN111241725A (zh) * | 2019-12-30 | 2020-06-05 | 浙江大学 | 基于条件生成对抗网络的结构响应重构方法 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111597946A (zh) * | 2020-05-11 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像生成器的处理方法、图像生成方法及装置 |
| CN112001397A (zh) * | 2020-08-25 | 2020-11-27 | 广东光速智能设备有限公司 | 一种智慧工地的身份证字符识别训练数据生成方法及*** |
| CN112183325A (zh) * | 2020-09-27 | 2021-01-05 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像对比的公路车辆检测方法 |
| CN112465115A (zh) * | 2020-11-25 | 2021-03-09 | 科大讯飞股份有限公司 | Gan网络压缩方法、装置、设备及存储介质 |
| CN112633306A (zh) * | 2019-09-24 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 对抗图像的生成方法及装置 |
| CN113221897A (zh) * | 2020-02-06 | 2021-08-06 | 马上消费金融股份有限公司 | 图像矫正方法、图像文本识别方法、身份验证方法及装置 |
| CN113837048A (zh) * | 2021-09-17 | 2021-12-24 | 南京信息工程大学 | 基于少样本注意力的车辆重识别方法 |
| CN114638745A (zh) * | 2022-03-16 | 2022-06-17 | 江南大学 | 一种基于多借鉴信息的医学影像智能转换方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279506A1 (en) * | 2013-03-14 | 2014-09-18 | Bank Of America Corporation | User interface for mobile payment via transfer network |
| CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
| CN107123151A (zh) * | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
-
2017
- 2017-12-06 CN CN201711273921.5A patent/CN108171320B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279506A1 (en) * | 2013-03-14 | 2014-09-18 | Bank Of America Corporation | User interface for mobile payment via transfer network |
| CN106845471A (zh) * | 2017-02-20 | 2017-06-13 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的视觉显著性预测方法 |
| CN107123151A (zh) * | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
Cited By (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109215014A (zh) * | 2018-07-02 | 2019-01-15 | 中国科学院深圳先进技术研究院 | Ct图像预测模型的训练方法、装置、设备及存储介质 |
| CN109215014B (zh) * | 2018-07-02 | 2022-03-04 | 中国科学院深圳先进技术研究院 | Ct图像预测模型的训练方法、装置、设备及存储介质 |
| CN109166144B (zh) * | 2018-07-20 | 2021-08-24 | 中国海洋大学 | 一种基于生成对抗网络的图像深度估计方法 |
| CN109166144A (zh) * | 2018-07-20 | 2019-01-08 | 中国海洋大学 | 一种基于生成对抗网络的图像深度估计方法 |
| CN109272486A (zh) * | 2018-08-14 | 2019-01-25 | 中国科学院深圳先进技术研究院 | Mr图像预测模型的训练方法、装置、设备及存储介质 |
| CN109272486B (zh) * | 2018-08-14 | 2022-07-08 | 中国科学院深圳先进技术研究院 | Mr图像预测模型的训练方法、装置、设备及存储介质 |
| CN109190524A (zh) * | 2018-08-17 | 2019-01-11 | 南通大学 | 一种基于生成对抗网络的人体动作识别方法 |
| CN109190524B (zh) * | 2018-08-17 | 2021-08-13 | 南通大学 | 一种基于生成对抗网络的人体动作识别方法 |
| CN109543674B (zh) * | 2018-10-19 | 2023-04-07 | 天津大学 | 一种基于生成对抗网络的图像拷贝检测方法 |
| CN109543674A (zh) * | 2018-10-19 | 2019-03-29 | 天津大学 | 一种基于生成对抗网络的图像拷贝检测方法 |
| CN109711254A (zh) * | 2018-11-23 | 2019-05-03 | 北京交通大学 | 基于对抗生成网络的图像处理方法和装置 |
| CN109711254B (zh) * | 2018-11-23 | 2020-12-15 | 北京交通大学 | 基于对抗生成网络的图像处理方法和装置 |
| CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及*** |
| CN109639710B (zh) * | 2018-12-29 | 2021-02-26 | 浙江工业大学 | 一种基于对抗训练的网络攻击防御方法 |
| CN109639710A (zh) * | 2018-12-29 | 2019-04-16 | 浙江工业大学 | 一种基于对抗训练的网络攻击防御方法 |
| CN109740682A (zh) * | 2019-01-08 | 2019-05-10 | 南京大学 | 一种基于域转化和生成模型的图像识别方法 |
| CN109740682B (zh) * | 2019-01-08 | 2020-07-28 | 南京大学 | 一种基于域转化和生成模型的图像识别方法 |
| CN110211035B (zh) * | 2019-04-18 | 2023-03-24 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
| CN110211035A (zh) * | 2019-04-18 | 2019-09-06 | 天津中科智能识别产业技术研究院有限公司 | 融合互信息的深度神经网络的图像超分辨率方法 |
| CN110225260B (zh) * | 2019-05-24 | 2021-02-19 | 宁波大学 | 一种基于生成对抗网络的立体高动态范围成像方法 |
| CN110225260A (zh) * | 2019-05-24 | 2019-09-10 | 宁波大学 | 一种基于生成对抗网络的立体高动态范围成像方法 |
| CN110210422A (zh) * | 2019-06-05 | 2019-09-06 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
| CN110210422B (zh) * | 2019-06-05 | 2021-04-27 | 哈尔滨工业大学 | 一种基于光学图像辅助的舰船isar像识别方法 |
| CN110276811B (zh) * | 2019-07-02 | 2022-11-01 | 厦门美图之家科技有限公司 | 图像转换方法、装置、电子设备及可读存储介质 |
| CN110276811A (zh) * | 2019-07-02 | 2019-09-24 | 厦门美图之家科技有限公司 | 图像转换方法、装置、电子设备及可读存储介质 |
| CN110472528B (zh) * | 2019-07-29 | 2021-09-17 | 江苏必得科技股份有限公司 | 一种地铁环境目标训练集生成方法及*** |
| CN110472528A (zh) * | 2019-07-29 | 2019-11-19 | 江苏必得科技股份有限公司 | 一种地铁环境目标训练集生成方法及*** |
| CN110660020B (zh) * | 2019-08-15 | 2024-02-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 |
| CN110660020A (zh) * | 2019-08-15 | 2020-01-07 | 天津中科智能识别产业技术研究院有限公司 | 一种基于融合互信息的对抗生成网络的图像超分辨率方法 |
| CN110544239B (zh) * | 2019-08-19 | 2021-12-17 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、***及介质 |
| CN110544239A (zh) * | 2019-08-19 | 2019-12-06 | 中山大学 | 基于条件生成对抗网络的多模态mri转换方法、***及介质 |
| CN110517705B (zh) * | 2019-08-29 | 2022-02-18 | 北京大学深圳研究生院 | 一种基于深度神经网络和卷积神经网络的双耳声源定位方法和*** |
| CN110517705A (zh) * | 2019-08-29 | 2019-11-29 | 北京大学深圳研究生院 | 一种基于深度神经网络和卷积神经网络的双耳声源定位方法和*** |
| CN110674335B (zh) * | 2019-09-16 | 2022-08-23 | 重庆邮电大学 | 一种基于多生成多对抗的哈希码与图像双向转换方法 |
| CN110674335A (zh) * | 2019-09-16 | 2020-01-10 | 重庆邮电大学 | 一种基于多生成多对抗的哈希码与图像双向转换方法 |
| CN112633306A (zh) * | 2019-09-24 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 对抗图像的生成方法及装置 |
| CN112633306B (zh) * | 2019-09-24 | 2023-09-22 | 杭州海康威视数字技术股份有限公司 | 对抗图像的生成方法及装置 |
| CN111047525A (zh) * | 2019-11-18 | 2020-04-21 | 宁波大学 | Sar遥感图像到光学遥感图像的翻译方法 |
| CN111161239A (zh) * | 2019-12-27 | 2020-05-15 | 上海联影智能医疗科技有限公司 | 医学图像分析方法、装置、存储介质及计算机设备 |
| CN111161239B (zh) * | 2019-12-27 | 2024-02-27 | 上海联影智能医疗科技有限公司 | 医学图像分析方法、装置、存储介质及计算机设备 |
| CN111241614A (zh) * | 2019-12-30 | 2020-06-05 | 浙江大学 | 基于条件生成对抗网络模型的工程结构荷载反演方法 |
| CN111241725A (zh) * | 2019-12-30 | 2020-06-05 | 浙江大学 | 基于条件生成对抗网络的结构响应重构方法 |
| CN111210409A (zh) * | 2019-12-30 | 2020-05-29 | 浙江大学 | 一种基于条件生成对抗网络的结构损伤识别方法 |
| CN113221897A (zh) * | 2020-02-06 | 2021-08-06 | 马上消费金融股份有限公司 | 图像矫正方法、图像文本识别方法、身份验证方法及装置 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111325661B (zh) * | 2020-02-21 | 2024-04-09 | 京工慧创(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111597946A (zh) * | 2020-05-11 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 图像生成器的处理方法、图像生成方法及装置 |
| CN112001397A (zh) * | 2020-08-25 | 2020-11-27 | 广东光速智能设备有限公司 | 一种智慧工地的身份证字符识别训练数据生成方法及*** |
| CN112183325A (zh) * | 2020-09-27 | 2021-01-05 | 哈尔滨市科佳通用机电股份有限公司 | 基于图像对比的公路车辆检测方法 |
| CN112465115A (zh) * | 2020-11-25 | 2021-03-09 | 科大讯飞股份有限公司 | Gan网络压缩方法、装置、设备及存储介质 |
| CN112465115B (zh) * | 2020-11-25 | 2024-05-31 | 科大讯飞股份有限公司 | Gan网络压缩方法、装置、设备及存储介质 |
| CN113837048B (zh) * | 2021-09-17 | 2023-08-01 | 南京信息工程大学 | 基于少样本注意力的车辆重识别方法 |
| CN113837048A (zh) * | 2021-09-17 | 2021-12-24 | 南京信息工程大学 | 基于少样本注意力的车辆重识别方法 |
| CN114638745A (zh) * | 2022-03-16 | 2022-06-17 | 江南大学 | 一种基于多借鉴信息的医学影像智能转换方法 |
| CN114638745B (zh) * | 2022-03-16 | 2023-08-18 | 江南大学 | 一种基于多借鉴信息的医学影像智能转换方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108171320B (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108171320A (zh) | 一种基于生成式对抗网络的图像域转换网络和转换方法 | |
| CN113469356B (zh) | 一种基于迁移学习的改进vgg16网络猪的身份识别方法 | |
| CN107220657B (zh) | 一种面向小数据集的高分辨率遥感影像场景分类的方法 | |
| CN108564119A (zh) | 一种任意姿态行人图片生成方法 | |
| CN110543846B (zh) | 一种基于生成对抗网络的多姿态人脸图像正面化方法 | |
| CN108304826A (zh) | 基于卷积神经网络的人脸表情识别方法 | |
| CN108921123A (zh) | 一种基于双重数据增强的人脸识别方法 | |
| CN105095870B (zh) | 基于迁移学习的行人重识别方法 | |
| CN109858466A (zh) | 一种基于卷积神经网络的人脸关键点检测方法及装置 | |
| CN106504064A (zh) | 基于深度卷积神经网络的服装分类与搭配推荐方法及*** | |
| CN108171266A (zh) | 一种多目标深度卷积生成式对抗网络模型的学习方法 | |
| CN109063724A (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
| CN108711141A (zh) | 利用改进的生成式对抗网络的运动模糊图像盲复原方法 | |
| CN106651915B (zh) | 基于卷积神经网络的多尺度表达的目标跟踪方法 | |
| CN110378208B (zh) | 一种基于深度残差网络的行为识别方法 | |
| CN108052884A (zh) | 一种基于改进残差神经网络的手势识别方法 | |
| CN107423678A (zh) | 一种提取特征的卷积神经网络的训练方法及人脸识别方法 | |
| CN106991408A (zh) | 一种候选框生成网络的生成方法及人脸检测方法 | |
| CN108985464A (zh) | 基于信息最大化生成对抗网络的人脸连续特征生成方法 | |
| CN113627376B (zh) | 基于多尺度密集连接深度可分离网络的人脸表情识别方法 | |
| CN109598341A (zh) | 一种基于遗传算法的卷积神经网络训练成果检测及可视化方法 | |
| CN110288029A (zh) | 基于Tri-LSTMs模型的图像描述方法 | |
| CN110175248A (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
| CN107423727A (zh) | 基于神经网络的人脸复杂表情识别方法 | |
| CN109583942A (zh) | 一种基于密集网络的多任务卷积神经网络顾客行为分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211019 |