CN110930295A - 一种图像风格迁移方法、***、装置和存储介质 - Google Patents
一种图像风格迁移方法、***、装置和存储介质 Download PDFInfo
- Publication number
- CN110930295A CN110930295A CN201911022576.7A CN201911022576A CN110930295A CN 110930295 A CN110930295 A CN 110930295A CN 201911022576 A CN201911022576 A CN 201911022576A CN 110930295 A CN110930295 A CN 110930295A
- Authority
- CN
- China
- Prior art keywords
- style
- content
- image
- picture
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005012 migration Effects 0.000 title claims abstract description 68
- 238000013508 migration Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 claims abstract description 46
- 230000008447 perception Effects 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像风格迁移方法、***、装置和存储介质，其中方法包括以下步骤：获取内容图片；将内容图片输入预训练好的图像风格迁移模型进行风格迁移处理后，输出具有特定风格而保留原内容的目标图片；图像转换网络与判别网络组成一个生成式对抗网络(GAN)，在模型训练过程中进行交替更新。本发明通过感知对抗损失函数对网络进行持续更新优化，直至损失最小化，得到效果更优的图像风格迁移模型，如此可获得与内容图片和风格图片更加接近的输出图片，有效地避免了图片背景扭曲问题，可广泛应用于数据图像处理领域。
Description
技术领域
本发明涉及数据图像处理领域，尤其涉及一种基于深度学习的图像风格迁移方法、***、装置和存储介质。
背景技术
近年来，深度学习作为人工智能领域最热门的方向，显示出强大的学习和处理能力，甚至在部分领域超过人类的表现。图像风格迁移是深度学习的一项典型应用，也是国内外的热门研究方向。图像风格迁移是将一张图像在保持内容不变的同时换成另一种风格，使普通的人或景物图片转换为各种艺术风格效果，此技术可广泛应用于图像处理、计算机图片合成和计算机视觉等方面。
最初的图像风格迁移是Gatys等提出的基于优化的方法，利用深度卷积神经网络(CNN)的反向传播，用逐像素对比的方法得到最优的图像转换模型，速度非常慢。2016年Johnson等通过网络中间层的特征图差异作为感知损失函数，进行风格迁移和超分图像的生成任务，实现实时风格化和四倍清晰度，显著提升了风格化的速度和效果，这成为图像风格化研究的标志性成果。2017年6月Wang等提出感知损失与GAN相结合的感知对抗网络(PAN)模型，实现多种图像转换方法。
Johnson的风格化网络作为深度学习领域的标志性成果，它通过ImageNet数据集预训练好的固定损失网络，已被证实能从高维度的视觉感知层面衡量图像之间的差异，但其使用的固定损失网络(VGG16)存在一定的局限性。VGG16网络本是被训练用于分类，所以对于图片的主体(人类和动物)能明显识别，但对背景的识别能力较弱，因此背景通常被扭曲。
名词解释：
深度卷积网络：一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
生成式对抗(GAN)：一种深度学习模型，包括生成模型(G)和判别模型(D)，利用两者对抗训练产生良好的输出。
感知对抗网络(PAN)：基于生成式对抗网络(GAN)框架，使用感知损失函数进行对抗训练的深度学习模型。
图像风格迁移：将一张图像在保持内容不变的同时换成另一种风格，使普通的人或景物图片转换为各种艺术风格效果，是深度学习应用的热门研究方向。
发明内容
为了解决上述技术问题之一，本发明的目的是提供一种识别能力更强的图像风格迁移方法、***、装置和存储介质。
本发明所采用的第一技术方案是：
一种图像风格迁移方法，包括以下步骤：
获取内容图片；
将内容图片输入预训练好的图像风格迁移模型进行风格迁移处理后，输出具有特定风格而原内容不变的目标图片；
所述图像风格迁移模型由图像转换网络和判别网络根据感知对抗损失进行交替更新后获得。
进一步，还包括图像风格迁移模型的训练步骤，所述图像风格迁移模型的训练步骤具体包括以下步骤：
获取风格图片和内容图片；
将内容图片输入预设的图像转换网络后，获得输出图片；
将内容图片、输出图片、风格图片输入判别网络，采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失；
根据感知对抗损失对图像转换网络与判别网络进行交替更新，以不断缩小内容和风格的差异，直到差异最小化，获得图像风格迁移模型。
进一步，所述感知对抗损失函数包括内容损失函数和风格损失函数。
进一步，所述判别网络包括10层卷积神经网络，且第一层卷积神经网络、第四层卷积神经网络、第六层卷积神经网络和第八层卷积神经网络均用于更新感知对抗损失函数。
进一步，所述采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失这一步骤，具体包括以下步骤：
结合内容图片、输出图片和内容损失函数衡量内容损失；
结合输出图片、风格图片和风格损失函数衡量风格损失；
结合内容损失和风格损失衡量感知对抗损失。
进一步，所述感知对抗损失函数具体为：
Lperc(Y,(X,Ys))＝λcLcontent(X,Y)+λsLstyle(Ys,Y)
其中，Lcontent为内容损失函数，Lstyle为风格损失函数，λ为权重参数。
本发明所采用的第二技术方案是：
一种图像风格迁移***，包括：
获取模块，用于获取内容图片；
迁移模块，用于将内容图片输入预训练好的图像风格迁移模型进行风格迁移处理后，输出具有特定风格而原内容不变的目标图片；
所述图像风格迁移模型由图像转换网络和判别网络根据感知对抗损失进行交替更新后获得。
进一步，还包括模型建立模块，所述模型建立模块包括：
获取单元，用于获取风格图片和内容图片；
转换单元，用于将内容图片输入预设的图像转换网络后，获得输出图片；
计算单元，用于将内容图片、输出图片、风格图片输入判别网络，采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失；
优化单元，用于根据感知对抗损失对图像转换网络与判别网络进行交替更新，以不断缩小内容和风格的差异，直到差异最小化，获得图像风格迁移模型。
本发明所采用的第三技术方案是：
一种图像风格迁移装置，包括：
至少一个GPU处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个GPU处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的第四技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过感知对抗损失函数，图像转换网络与判别网络进行对抗训练，不断更新优化，获得效果更好的图像风格迁移网络模型，输出图片的效果更加接近内容图片和风格图片，有效地避免了图片背景扭曲问题。
附图说明
图1是本发明一种图像风格迁移方法的步骤流程图；
图2是具体实施例方式中实现图像风格迁移方法的示意图；
图3是具体实施例方式中判别网络的结构示意图。
图4是一种图像风格迁移***的结构框图。
具体实施方式
如图1所示，本实施例提供了一种图像风格迁移方法，包括以下步骤：
S1、训练图像迁移网络模型。在训练过程中，图像转换网络与判别网络根据感知对抗损失函数进行交替更新。
S2、获取内容图片。
S3、将内容图片输入预训练好的图像风格迁移模型进行风格迁移处理后，输出具有特定风格而原内容不变的目标图片。
所述判别网络和图像转换模型都是深度卷积网络，在Johnson的风格化网络中，其采用的损失函数是固定的函数，所以到得到的图像转换模型具有一定的局限性。因此，在本实施例方法，在训练过程中，判别网络与图像转换网络组成生成式对抗网络(GAN)，不断交替优化，其中，判别网络根据感知对抗损失函数衡量内容损失和风格损失，与图像转换网络进行对抗训练，直至损失最小化，最终获得最优的图像风格模型。由该图像转换模型，可使输出图片与输入的真实图片更加接近，同时使输出图片与风格图片更加接近，有效地避免了图片背景的扭曲。其中，所述内容图片为需要进行风格转换的图片，所述目标图片为经过图像转换模型进行风格转换输出的图片。
其中，所述步骤S1具体包括步骤S11～S14：
S11、获取风格图片和内容图片；
S12、将内容图片输入预设的图像转换网络后，获得输出图片；
S13、将内容图片、输出图片、风格图片输入判别网络，采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失；
S14、根据感知对抗损失对图像转换网络与判别网络进行交替更新，以不断缩小内容和风格的差异，直到差异最小化，获得图像风格迁移模型。
其中，所述感知对抗损失函数包括内容损失函数和风格损失函数。步骤S13具体包括步骤A1～A3：
A1、结合内容图片、输出图片和内容损失函数衡量内容损失；
A2、结合输出图片、风格图片和风格损失函数衡量风格损失；
A3、结合内容损失和风格损失衡量感知对抗损失。
进一步作为优选的实施方式，所述判别网络包括10层卷积神经网络，且第一层卷积神经网络、第四层卷积神经网络、第六层卷积神经网络和第八层卷积神经网络均用于更新感知对抗损失函数。
判别网络和图像转换网络均为深度卷积网络，它们组成一个生成式对抗网络(GAN)，判别网络希望最大化地输出概率值，而图像转换网络则希望尽可能蒙蔽损失网络。因此，在判别网络中计算感知对抗损失，再将感知对抗损失反馈至图像转换网络，从而不断地优化图像转换网络，最终获得最优的图像风格迁移模型。由该模型可获得与原始图片内容一致、在风格上又接近风格图片的输出图片。
进一步作为优选的实施方式，所述感知对抗损失函数具体为：
Lperc(Y,(X,Ys))＝λcLcontent(X,Y)+λsLstyle(Ys,Y)
其中，Lcontent为内容损失函数，Lstyle为风格损失函数，λ为权重参数。
以下结合图2和图3对上述方法进行详细的解释说明。
本实施例主要包括两个阶段：训练阶段和执行阶段。参照图2，在训练阶段，包括图像转换网络T与判别网络D，判别网络D通过感知对抗损失函数判断内容图片X和输出图片Y的差异、风格图片YS和输出图片Y之间的差异，最后目的是生成具有特定风格的图像转换网络模型。其中，所述感知对抗损失函数在图像转换网络和判别网络之间，不断地进行参数更新使差异达到最小化，在网络的多个层次上衡量生成图和真实图之间的差异。所述图像转换网络T沿用Johnson提出的网络结构，而判别网络D则是基于PAN模型框架设计的多层卷积神经网络。参照图3，判别网络D具体包括10层的卷积神经网络，每个隐藏层后面都加入Batch-Normality和LeakyReLU线性激活函数。第1、4、6、8层用于衡量生成图与目标图之间的感知对抗损失。判别网络输出一个概率，判断图片是来自于真实数据集的内容图片(TRUE)还是由转换网络生成的输出图片(FAKE)。
训练过程中，图像转换网络T把内容图片X转换为输出图片Y，并把内容图片X和输出图片Y随机输入到判别网络D，判别网络D辨别图片是真实内容图片X还是图像转换网络T的输出图片Y。由于判别网络D通过参数更新不断优化，最大化判别出图片来自训练集的图片还是转换网络生成的概率。而图像转换网络T则希望尽可能蒙蔽损失网络，使损失函数最小化。基于判别网络D的最大化和图像转换网络T的最小化，通过以下公式1进行交替更新，以解决对抗性的最大最小化问题。
其中，x表示随机输入图，T(x)表示网络T生成的图片，y表示真实图片；D(T(x))表示判别网络对生成图片的判断，D(y)表示判别网络对真实图片的判断，E是它们判断为真实图片的概率。
具体地，判别网络D利用在隐藏层上的参数，使图像转换网络T训练生成的图像与真实图像具有相同的高级特征。同时，如果在当前层次上的误差足够小时，判别网络D的隐藏层将被更新，上升到更高层次，进一步发掘生成图和真实图之间仍然存在的差异。
不同于Johnson已预训练好的固定知觉损失网络，本实施例的感知对抗损失，在图像转换网络和判别网络之间持续进行参数更新使差异达到最小化，在网络的多个层次上衡量生成图和真实图之间的差异。
针对于上述的感知对抗损失，在本实施例中，感知对抗损失由内容(特征)损失和风格损失组成。在N层的判别网络中，把图像特征看成N个维度的特征图，每层特征图的尺寸是Hi*Wi，特征图谱的尺寸就是Ci*Hi*Wi，C表示特征图的数量。那么图像的每一个网格位置都可以当作一个独立的样本，从而能抓住关键特征。感知对抗损失是内容损失和风格损失的加权和，它在判别网络D的第1、4、6、8隐藏层中不断地动态更新，惩罚生成图与目标图之间的差异，以使生成图具有最优的内容和风格合成效果。其中，内容损失函数、风格损失函数和感知对抗损失函数具体如下所示：
1)内容损失函数
内容损失函数Pi使用曼哈顿距离计算隐藏层生成的输出图片Y与真实的内容图X的图像空间损失(L2)，见公式2，其中Hi()表示判别网络第i个隐藏层的L2值。
其中，多个层次的内容损失表示如公式3所示，其中
表示判别网络N个隐藏层i的平衡因子。通过最小化感知损失函数Lcontent使生成图与内容图具有相似的内容结构。
2)风格损失函数
风格损失函数惩罚输出图像在风格上的偏离，包括颜色和纹理等方面，这里我们使用Gatys等人提出了风格重建方法，通过输出图片与风格图片gram矩阵的距离获得。把φi(x)设为第i个隐藏层的特征图，这样φi(x)的形状为Ci*(Hi*Wi)，判别网络第i层特征图的风格损失值可表示为公式4。
为了表示从多个层次进行的风格重建，把Gi(Ys,Y)定义成一个损失的集合(针对每一个层的损失求和)，见公式5。
3)感知对抗损失函数
整体感知损失由以上内容损失和风格损失组合为线性函数，见公式6。是根据人为经验设定的权重参数。转换网络T与判别网络D基于整体感知损失值进行交替优化。
Lperc(Y,(X,Ys))＝λcLcontent(X,Y)+λsLstyle(Ys,Y) (6)
两个网络之间的交替优化根据上述感知对抗网络的方法，实现最大化和最小化(min-max)对抗。对于生成图Y与内容图X、风格图片YS，网络T的损失函数与网络D的损失函数如公式7所示。
LT＝log(1-D(T(x)))+Lperc
LD＝-log(D(y))-log(1-D(T(x)))+[m-Lperc]+ (7)
在公式7中，设定了一个正数边界值m。通过网络T的参数最小化LT可同时使LD的第2和3项最大化，因为正数边界值m能使LD的第3项实现梯度下降。当LT小于m时，损失函数LD将会使判别网络更新至一个新的高维度层次去计算尚存的差异。因此，通过感知对抗损失，生成图与目标图之间的多样化差异能被持续感知和发掘。
在执行阶段，把任意一张内容图输入到训练好的Y风格转换模型，可把内容图实时转换成Y风格的效果，而原本的内容和结构不变。
综上所述，本发明至少包括以下有益效果：
(1)、改进了Johnson的固定损失网络的局限性，损失网络与图像转换网络进行对抗训练并持续更新，能动态地发掘输出图与原图的差异。
(2)、与Johnson网络相比，输出效果在结构和语义上更接近原图，尤其解决了背景扭曲的问题。
(3)、训练后的内容损失值和风格损失值均低于Gatys和Johnson的网络，输出图像的内容和风格更接近原图。
(4)、在训练效率上，与Johnson网络的训练时长差不多，明显优于Gatys的方法。
如图4所示，本实施例还提供了一种图像风格迁移***，包括：
一种图像风格迁移***，包括：
获取模块，用于获取内容图片；
迁移模块，用于将内容图片输入预训练好的图像风格迁移模型进行风格迁移处理后，输出具有特定风格而原内容不变的目标图片；
所述图像转换网络与判别网络在模型训练过程中根据感知对抗损失函数进行交替更新。
进一步作为优选的实施方式，还包括模型建立模块，所述模型建立模块包括：
获取单元，用于获取风格图片和内容图片；
转换单元，用于将内容图片输入预设的图像转换网络后，获得输出图片；
计算单元，用于将内容图片、输出图片、风格图片输入判别网络，采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失；
优化单元，用于根据感知对抗损失对图像转换网络与判别网络进行交替更新，以不断缩小内容和风格的差异，直到差异最小化，获得图像风格迁移模型。
进一步作为优选的实施方式，所述感知对抗损失函数包括内容损失函数和风格损失函数。
本实施例的一种图像风格迁移***，可执行本发明方法实施例所提供的一种图像风格迁移方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种图像风格迁移装置，包括：
至少一个GPU处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本实施例的一种图像风格迁移装置，可执行本发明方法实施例所提供的一种图像风格迁移方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本实施例的一种存储介质，可执行本发明方法实施例所提供的一种图像风格迁移方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种图像风格迁移方法，其特征在于，包括以下步骤：
获取内容图片；
将内容图片输入预训练好的图像风格迁移模型进行风格迁移处理后，输出具有特定风格而原内容不变的目标图片；
所述图像风格迁移模型由图像转换网络和判别网络根据感知对抗损失进行交替更新后获得。
2.根据权利要求1所述的一种图像风格迁移方法，其特征在于，还包括建立图像风格化模型的训练步骤，所述图像风格化模型的训练步骤具体包括以下步骤：
获取风格图片和内容图片；
将内容图片输入预设的图像转换网络后，获得输出图片；
将内容图片、输出图片、风格图片输入判别网络，采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失；
根据感知对抗损失对图像转换网络与判别网络进行交替更新，以不断缩小内容和风格的差异，直到差异最小化，获得图像风格迁移模型。
3.根据权利要求2所述的一种图像风格迁移方法，其特征在于，所述感知对抗损失函数包括内容损失函数和风格损失函数。
4.根据权利要求2所述的一种图像风格迁移方法，其特征在于，所述判别网络包括10层卷积神经网络，且第一层卷积神经网络、第四层卷积神经网络、第六层卷积神经网络和第八层卷积神经网络均用于计算感知对抗损失。
5.根据权利要求3所述的一种图像风格迁移方法，其特征在于，所述采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失这一步骤，具体包括以下步骤：
结合内容图片、输出图片和内容损失函数衡量内容损失；
结合输出图片、风格图片和风格损失函数衡量风格损失；
结合内容损失和风格损失衡量感知对抗损失。
6.根据权利要求3所述的一种图像风格迁移方法，其特征在于，所述感知对抗损失函数具体为：
Lperc(Y,(X,Ys))＝λcLcontent(X,Y)+λsLstyle(Ys,Y)
其中，Lcontent为内容损失函数，Lstyle为风格损失函数，λ为权重参数。
7.一种图像风格迁移***，其特征在于，包括：
获取模块，用于获取内容图片；
迁移模块，用于将内容图片输入预训练好的图像风格迁移模型进行风格迁移处理后，输出具有特定风格而原内容不变的目标图片；
所述图像风格迁移模型由图像转换网络和判别网络根据感知对抗损失进行交替更新后获得。
8.根据权利要求3所述的一种图像风格迁移***，其特征在于，还包括模型建立模块，所述模型建立模块包括：
获取单元，用于获取风格图片和内容图片；
转换单元，用于将内容图片输入预设的图像转换网络后，获得输出图片；
计算单元，用于将内容图片、输出图片、风格图片输入判别网络，采用感知对抗损失函数衡量内容和风格的差异，以及获得感知对抗损失；
优化单元，用于根据感知对抗损失对图像转换网络与判别网络进行交替更新，以不断缩小内容和风格的差异，直到差异最小化，获得图像风格迁移模型。
9.一种图像风格迁移装置，其特征在于，包括：
至少一个GPU处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个GPU处理器执行，使得所述至少一个处理器实现权利要求1-6任一项所述的一种图像风格迁移方法。
10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-6任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911022576.7A CN110930295B (zh) | 2019-10-25 | 2019-10-25 | 一种图像风格迁移方法、***、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911022576.7A CN110930295B (zh) | 2019-10-25 | 2019-10-25 | 一种图像风格迁移方法、***、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110930295A true CN110930295A (zh) | 2020-03-27 |
| CN110930295B CN110930295B (zh) | 2023-12-26 |
Family
ID=69849511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911022576.7A Active CN110930295B (zh) | 2019-10-25 | 2019-10-25 | 一种图像风格迁移方法、***、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110930295B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111494946A (zh) * | 2020-04-23 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111723780A (zh) * | 2020-07-22 | 2020-09-29 | 浙江大学 | 基于高分辨率遥感图像的跨域数据的定向迁移方法及*** |
| CN111815506A (zh) * | 2020-07-17 | 2020-10-23 | 上海眼控科技股份有限公司 | 图像生成方法、装置、计算机设备和存储介质 |
| CN111932438A (zh) * | 2020-06-18 | 2020-11-13 | 浙江大华技术股份有限公司 | 图像风格迁移方法、设备及存储装置 |
| CN112232485A (zh) * | 2020-10-15 | 2021-01-15 | 中科人工智能创新技术研究院(青岛)有限公司 | 漫画风格图像转换模型的训练方法、图像生成方法及装置 |
| CN112380780A (zh) * | 2020-11-27 | 2021-02-19 | 中国运载火箭技术研究院 | 一种用于非对称对抗场景自博弈训练的对称场景嫁接方法 |
| CN112819686A (zh) * | 2020-08-18 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像风格处理方法、装置及电子设备 |
| CN112884679A (zh) * | 2021-03-26 | 2021-06-01 | 中国科学院微电子研究所 | 一种图像转换方法、装置、存储介质和电子设备 |
| CN112991148A (zh) * | 2020-10-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型的训练方法、装置、设备及介质 |
| CN113344772A (zh) * | 2021-05-21 | 2021-09-03 | 武汉大学 | 一种用于地图艺术化的迁移模型的训练方法和计算机设备 |
| CN113378923A (zh) * | 2021-06-09 | 2021-09-10 | 烟台艾睿光电科技有限公司 | 图像生成装置获取方法及图像生成装置 |
| CN113538218A (zh) * | 2021-07-14 | 2021-10-22 | 浙江大学 | 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法 |
| CN113656121A (zh) * | 2021-07-28 | 2021-11-16 | 中汽创智科技有限公司 | 应用程序显示方法、装置、介质及设备 |
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理*** |
| CN113793258A (zh) * | 2021-09-18 | 2021-12-14 | 超级视线科技有限公司 | 监控视频图像的隐私保护方法及其装置 |
| CN114693809A (zh) * | 2022-02-25 | 2022-07-01 | 智己汽车科技有限公司 | 一种汽车电子内饰风格主题切换方法及设备 |
| CN114765692A (zh) * | 2021-01-13 | 2022-07-19 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| WO2022218396A1 (zh) * | 2021-04-16 | 2022-10-20 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| WO2023146466A3 (zh) * | 2022-01-29 | 2023-10-12 | 脸萌有限公司 | 视频生成方法以及视频生成模型的训练方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464210A (zh) * | 2017-07-06 | 2017-12-12 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
| CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
| CN109859096A (zh) * | 2018-12-28 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
| CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及*** |
-
2019
- 2019-10-25 CN CN201911022576.7A patent/CN110930295B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464210A (zh) * | 2017-07-06 | 2017-12-12 | 浙江工业大学 | 一种基于生成式对抗网络的图像风格迁移方法 |
| CN107705242A (zh) * | 2017-07-20 | 2018-02-16 | 广东工业大学 | 一种结合深度学习与深度感知的图像风格化迁移方法 |
| CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
| CN109859096A (zh) * | 2018-12-28 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移方法、装置、电子设备及存储介质 |
| CN109949214A (zh) * | 2019-03-26 | 2019-06-28 | 湖北工业大学 | 一种图像风格迁移方法及*** |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111494946A (zh) * | 2020-04-23 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及计算机可读存储介质 |
| CN111932438A (zh) * | 2020-06-18 | 2020-11-13 | 浙江大华技术股份有限公司 | 图像风格迁移方法、设备及存储装置 |
| CN111932438B (zh) * | 2020-06-18 | 2024-06-18 | 浙江大华技术股份有限公司 | 图像风格迁移方法、设备及存储装置 |
| CN111815506A (zh) * | 2020-07-17 | 2020-10-23 | 上海眼控科技股份有限公司 | 图像生成方法、装置、计算机设备和存储介质 |
| CN111723780A (zh) * | 2020-07-22 | 2020-09-29 | 浙江大学 | 基于高分辨率遥感图像的跨域数据的定向迁移方法及*** |
| CN111723780B (zh) * | 2020-07-22 | 2023-04-18 | 浙江大学 | 基于高分辨率遥感图像的跨域数据的定向迁移方法及*** |
| CN112819686B (zh) * | 2020-08-18 | 2024-03-29 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像风格处理方法、装置及电子设备 |
| CN112819686A (zh) * | 2020-08-18 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像风格处理方法、装置及电子设备 |
| CN112232485A (zh) * | 2020-10-15 | 2021-01-15 | 中科人工智能创新技术研究院(青岛)有限公司 | 漫画风格图像转换模型的训练方法、图像生成方法及装置 |
| CN112232485B (zh) * | 2020-10-15 | 2023-03-24 | 中科人工智能创新技术研究院(青岛)有限公司 | 漫画风格图像转换模型的训练方法、图像生成方法及装置 |
| CN112991148A (zh) * | 2020-10-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型的训练方法、装置、设备及介质 |
| CN112991148B (zh) * | 2020-10-30 | 2023-08-11 | 抖音视界有限公司 | 风格图像生成方法、模型的训练方法、装置、设备及介质 |
| CN112380780A (zh) * | 2020-11-27 | 2021-02-19 | 中国运载火箭技术研究院 | 一种用于非对称对抗场景自博弈训练的对称场景嫁接方法 |
| CN114765692B (zh) * | 2021-01-13 | 2024-01-09 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN114765692A (zh) * | 2021-01-13 | 2022-07-19 | 北京字节跳动网络技术有限公司 | 一种直播数据处理方法、装置、设备及介质 |
| CN112884679A (zh) * | 2021-03-26 | 2021-06-01 | 中国科学院微电子研究所 | 一种图像转换方法、装置、存储介质和电子设备 |
| WO2022218396A1 (zh) * | 2021-04-16 | 2022-10-20 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置和计算机可读存储介质 |
| CN113344772A (zh) * | 2021-05-21 | 2021-09-03 | 武汉大学 | 一种用于地图艺术化的迁移模型的训练方法和计算机设备 |
| CN113378923A (zh) * | 2021-06-09 | 2021-09-10 | 烟台艾睿光电科技有限公司 | 图像生成装置获取方法及图像生成装置 |
| CN113538218A (zh) * | 2021-07-14 | 2021-10-22 | 浙江大学 | 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法 |
| CN113656121A (zh) * | 2021-07-28 | 2021-11-16 | 中汽创智科技有限公司 | 应用程序显示方法、装置、介质及设备 |
| CN113793258A (zh) * | 2021-09-18 | 2021-12-14 | 超级视线科技有限公司 | 监控视频图像的隐私保护方法及其装置 |
| CN113780483B (zh) * | 2021-11-12 | 2022-01-28 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理*** |
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理*** |
| WO2023146466A3 (zh) * | 2022-01-29 | 2023-10-12 | 脸萌有限公司 | 视频生成方法以及视频生成模型的训练方法 |
| CN114693809A (zh) * | 2022-02-25 | 2022-07-01 | 智己汽车科技有限公司 | 一种汽车电子内饰风格主题切换方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110930295B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930295A (zh) | 一种图像风格迁移方法、***、装置和存储介质 | |
| CN111667399B (zh) | 风格迁移模型的训练方法、视频风格迁移的方法以及装置 | |
| CN108229381B (zh) | 人脸图像生成方法、装置、存储介质和计算机设备 | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| CN109255769A (zh) | 图像增强网络的训练方法和训练模型、及图像增强方法 | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN111819568A (zh) | 人脸旋转图像的生成方法及装置 | |
| CN111166290A (zh) | 一种健康状态检测方法、设备和计算机存储介质 | |
| CN109657582A (zh) | 人脸情绪的识别方法、装置、计算机设备及存储介质 | |
| CN114387366A (zh) | 一种感知联合空间注意力文本生成图像方法 | |
| CN110706303A (zh) | 基于GANs的人脸图像生成方法 | |
| CN113343771B (zh) | 一种基于自适应元学习的人脸防伪方法 | |
| CN116310693A (zh) | 基于边缘特征融合和高阶空间交互的伪装目标检测方法 | |
| CN116391209A (zh) | 现实的音频驱动的3d化身生成 | |
| US11138812B1 (en) | Image processing for updating a model of an environment | |
| CN110021049A (zh) | 一种面向深度神经网络的基于空间约束的高隐蔽性对抗性图像攻击方法 | |
| CN112950505B (zh) | 一种基于生成对抗网络的图像处理方法、***和介质 | |
| CN113313133A (zh) | 一种生成对抗网络的训练方法、动画图像生成方法 | |
| CN110782408A (zh) | 一种基于卷积神经网络的智能美型方法及*** | |
| CN110866866A (zh) | 图像仿色处理方法、装置、电子设备及存储介质 | |
| CN116109505A (zh) | 图像去模糊方法、装置、电子设备及存储介质 | |
| CN100474341C (zh) | 自适应闭群漫画生成 | |
| CN115908602A (zh) | 一种将风景照片转换为中国山水画的风格迁移方法 | |
| CN111489361B (zh) | 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法 | |
| CN116030181A (zh) | 3d虚拟形象生成方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |