CN110458750B - 一种基于对偶学习的无监督图像风格迁移方法 - Google Patents
一种基于对偶学习的无监督图像风格迁移方法 Download PDFInfo
- Publication number
- CN110458750B CN110458750B CN201910552097.XA CN201910552097A CN110458750B CN 110458750 B CN110458750 B CN 110458750B CN 201910552097 A CN201910552097 A CN 201910552097A CN 110458750 B CN110458750 B CN 110458750B
- Authority
- CN
- China
- Prior art keywords
- style
- image
- network
- loss
- dual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005012 migration Effects 0.000 title claims abstract description 58
- 238000013508 migration Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000009977 dual effect Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000001902 propagating effect Effects 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于对偶学***衡技术,自适应地调节模型不同风格迁移方向上的收敛速度;最后应用ST对输入图像进行风格迁移。对比现有方法,本发明能生成更高质量的目标图像,具有良好的普适性,同时使模型的训练过程更加稳定,网络结构的选择和设计更加灵活。
Description
技术领域
本发明设计一种基于对偶学习的无监督图像风格迁移方法,尤其涉及一种基于被称作生成对抗网络、运用多种损失函数训练来进行无监督图像风格迁移的方法,属于计算机视觉技术领域。
背景技术
随着人工智能时代深入,大量的图像应用如雨后春笋般涌现,代表之一就是主打滤镜功能的各种图像美化App,而滤镜功能的关键技术就是图像风格迁移。
图像风格迁移,是指把原图像转换为另一种风格的图像,同时保持图像主体内容不变,比如不同季节风景的转换,不同绘画风格的转换等。基于神经网络的无监督图像风格迁移,是指模型结构使用神经网络,但训练时采用无标签数据,具体实现通常采用生成对抗网络;无监督学习主要是为了应对缺乏大量标注样本的难题。
一些研究人员已经对无监督图像风格迁移进行了部分尝试,通常采用生成对抗网络的形式。但是,单独基于对抗网络的方法得到风格迁移图像往往存在噪点较多、局部畸变等缺点。
发明内容
本发明的目的是克服现有技术的不足,提出一种基于对偶学习的无监督图像风格迁移方法,能够获得更加清晰真实的风格迁移图像。
本发明的目的是通过以下技术方案实现的。
一种基于对偶学习的无监督图像风格迁移方法:包括:
步骤1:预处理训练数据;
准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;
作为优选,m=n=256。
步骤2:设计网络结构模型;
网络结构模型共包含五个网络:风格迁移网络GA、GB,判别网络DA、DB,美学评分网络Ns;
其中,GA、GB具有相同的网络结构,分别用于不同方向的图像风格迁移;DA、DB具有相同的网络结构,分别判断不同风格的某图像是否真实;Ns是预训练的美学评分模型,作为整个网络的插件使用,本身不参与更新;整个模型由端到端训练的深度卷积神经网络构成;
对于A风格原始图像a0,首先经GB生成B风格生成图像b1,再经GA生成A风格重建图像a2;对于B风格原始图像b0,首先经GA生成A风格生成图像a1,再经GB生成B风格重建图像b2;
步骤3:设计用于训练网络的损失函数;
采用多种损失函数相结合,网络的损失函数包含四部分:对抗损失Ladv、美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle;整体损失函数Loss为:
Loss=Ladv+λ1Laes+λ2Ldual+λ3Lstyle
其中,λ1、λ2、λ3分别表示美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle的权重;
对抗损失Ladv使用最小二乘损失,对于DA和GA,分别表示如下:
对于DB和GB,则分别表示如下:
其中,DA(·)表示判别网络DA对图像·的判别结果,DB(·)表示判别网络DB对图像·的判别结果;GA(·)表示图像·经过风格迁移网络GA转换后的结果,GB(·)表示图像·经过风格迁移网络GB转换后的结果;表示·关于a0的数学期望,表示·关于b0的数学期望。
美学损失Laes通过美学模型进行计算,表示如下:
其中,K是自然数,Ns分别给出评分为1-K分的概率,pi表示评分为i的概率;美学损失通过最大化生成图像的美学评分期望,指导风格迁移网络的训练,以消除图像噪点和畸变;
对偶一致性损失Ldual同时使用基本像素特征和高级语义特征,并进行一阶范式约束(以下简称L1约束),用于约束风格迁移后的图像与原图像在内容上有对应关系,表示如下:
Ldual=θpLp+θsLs
其中,Lp、Ls分别表示基本像素特征的L1约束和来自判别网络的高级语义特征的L1约束,θp、θs用于动态调整像素约束和语义约束的权重;
像素约束Lp表示如下:
语义约束Ls表示如下:
其中,||·||1表示·的L1约束;
风格平衡损失Lstyle主要用于平衡不同方向上的训练速度,以保证联合训练时的模型可以取得较好的效果;对于风格迁移网络,表示如下:
对于判别网络,表示如下:
步骤4:用步骤1的预处理训练数据、步骤3的损失函数,训练步骤2的网络模型得到无监督图像风格迁移网络ST;
作为优选,本步骤通过以下过程实现:
Step1:初始化模型参数,将风格迁移网络GA、GB和网络判别器DA、DB的参数进行高斯分布初始化,使用预处理训练数据集开始训练;
Step2:将生成图像输入到判别网络DA、DB,计算对抗损失Ladv;
Step3:计算重建图像与原始图像的对偶一致性损失Ldual;
Step4:将生成图像不经缩放直接输入美学模型NS,计算美学损失Laes;
Step5:计算整个模型的风格平衡损失Lstyle;
Step6:按步骤3的整体损失函数Loss进行计算,得到最终的损失函数,然后反向传播计算梯度,并更新风格迁移网络与判别网络的参数值,同时保持美学模型的参数值始终不变;
Step7:重复Step2-Step6,直到损失函数趋于稳定。
针对每个数据集,采用无监督方式,经过上述端到端训练后,得到一个无监督图像风格迁移模型ST;
步骤5:进行风格迁移应用,将待转换图像输入步骤4得到的风格迁移网络ST,得到风格迁移后的图像。
有益效果
本发明方法,与现有技术相比,具有以下有益效果:
本发明引入了美学评分模型,通过最大化美学质量评分,能够更有效地消除图像噪点与图像畸变。
本发明针重新定义了对偶一致性约束,动态调整像素特征与语义特征的权重,可以加速风格迁移模型的收敛,生成更高质量的风格迁移图像。
本发明使用风格平衡技术,可以自适应调节模型不同风格迁移方向上的收敛速度,极大的提高模型的稳定性,使模型的网络结构选择和设计更加灵活。
本发明在多个数据集上的效果均比较理想,具有良好的普适性。
附图说明
图1为本发明方法的工作流程图;
图2为本发明方法的整体网络架构图;
图3为本发明方法的普通卷积单元CIR;
图4为本发明方法的残差块单元ResBlock;
图5为本发明方法的普通转置卷积单元DIR。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明
实施例
本实施例为无监督图像风格迁移模型的整体流程和网络结构。
一种基于对偶学习的无监督图像风格迁移方法,如图1所示,包括以下步骤:
步骤1:预处理训练数据。在公共数据集上获取高分辨率图像,作为训练数据;训练数据集中包含多张不同尺寸的图片,为方便网络结构设计,减少计算量,首先忽略原图像的长宽比例,统一缩放为284×284的尺寸;为弥补训练数据量不足的问题,在缩放图像上随机裁剪出256×256的区域,以实现数据增强;采用此一尺寸是为了方便模型运算时内部的多次下采样操作(每进行一次下采样,图像尺寸都会减半,因此只有奇数尺寸图像可以下采样;而256x256可以保证经过多次下采样后,图像尺寸依然不会变成奇数)。
步骤2:设计网络结构模型。如图2所示,网络的输入分别为A风格原始图像a0和B风格原始图像b0,输出分别为风格迁移后的B风格生成图像b1和A风格生成图像a1;在训练阶段,还需要使用A风格重建图像a2和B风格重建图像b2。在训练阶段,生成图像a1、b1除输入各自风格的判别网络DA、DB进行对抗训练外,还输入美学评分模型NS,通过最大化NS的美学质量评分,指导风格迁移网络GA、GB的训练。
图3、图4、图5分别展示了普通卷积单元CIR、残差块单元ResBlock、普通转置卷积单元DIR的实现细节,主要包括卷积Conv、实例归一化InstanceNorm、转置卷积Deconv和激活函数ReLU。
表1、表2分别展示了风格迁移网络和判别网络的网络结构,风格迁移网络主要由卷积模块、特征提取模块、输出模块、双曲正切激活层Tanh构成,其中,卷积模块是多个普通卷积单元CIR的堆叠,主要用于初步特征提取及特征图降维;特征提取模块是多个相同尺度残差块ResBlock的堆叠,主要用于高效特征提取;输出模块是多个转置卷积单元DIR的堆叠,主要用于生成目标风格的图像。K、M、N表示卷积核尺寸、输入通道数、输出通道数;H、W、C表示特征图高、宽、通道数。判别网络使用分块网络,输出是一个32×32的矩阵,分别表示每一块属于真实样本的标签。
美学评分模型使用基于MobileNet的NIMA模型,评分类别数K=10。
表1
操作 | 卷积核(KKMN) | 输入(HWC) | 输出(HWC) |
CIR | 7×7×3×64 | 256×256×3 | 256×256×64 |
CIR | 3×3×64×128 | 256×256×64 | 128×128×128 |
CIR | 3×3×128×256 | 128×128×128 | 64×64×256 |
9×ResBlock | 3×3×256×256 | 64×64×256 | 64×64×256 |
DIR | 3×3×256×128 | 64×64×256 | 128×128×128 |
DIR | 3×3×128×64 | 128×128×128 | 256×256×64 |
Conv | 7×7×64×3 | 256×256×64 | 256×256×3 |
Tanh | N/A | 256×256×3 | 256×256×3 |
表2
步骤3:设计用于训练网络的损失函数。包括对抗损失Ladv、美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle;整体损失函数Loss是上述四项损失的加权,即:
Loss=Ladv+λ1Laes+λ2Ldual+λ3Lstyle
其中λ1从0.0线性递增至0.5,λ2固定为10,λ3固定为1;在计算Ldual时,像素约束权重θp从0.6线性减小至0.4,语义约束权重θs从0.4线性递增至0.6。
具体的,对抗损失Ladv采用最小二乘损失,用于激励生成图像尽量接近真实图像;对抗损失用于生成对抗网络的对抗训练,是模型最基本的损失函数;美学损失Laes最大化生成图像的美学质量评分数学期望,用于消除图像噪点与畸变;对偶一致性损失Ldual是原始图像与重建图像的像素特征、语义特征的L1范式约束加权,用于保证风格迁移后的图像与原图像存在内容上的对应关系;风格平衡损失Lstyle总是等于A风格对抗损失与B风格对抗损失中的较大值,通过额外的参数更新幅度来维持不同风格迁移方向的收敛速度。
步骤4:用步骤1的预处理训练数据、步骤3的损失函数,端到端地训练步骤2的网络模型;具体步骤如下:
Step1:初始化模型参数,将网络GA、GB和网络DA、DB的参数进行高斯分布初始化(均值为0,方差为0.01),使用两千张图片的训练数据集,进行固定尺寸缩放并进行随机裁剪,用于训练无监督图像风格迁移网络;
Step2:考虑到显存消耗,每次将1~2张图像输入到风格迁移网络ST,将生成图像输入到判别网络DA、DB,计算对抗损失Ladv;
Step3:计算重建图像与原始图像的对偶一致性损失Ldual;
Step4:将生成图像不经缩放直接输入NIMA美学模型,计算美学损失Laes;
Step5:计算整个模型的风格平衡损失Lstyle;
Step6:按步骤3的整体损失函数Loss进行计算,得到最终的损失函数,然后使用Adam反向传播梯度并更新风格迁移网络和判别网络的参数,Adam的一阶矩系数设置为0.5,二阶矩系数设置为0.99,同时保持美学模型的参数值始终不变;
Step7:重复Step2-Step6,直到损失函数趋于稳定。
针对每个数据集,采用无监督方式,经过上述端到端训练后,得到一个无监督图像风格迁移模型ST;
步骤5:进行风格迁移应用,将待转换图像输入步骤4得到的风格迁移网络ST,得到风格迁移后的图像。
本发明方法在apple2orange、summer2winter_yosemite等数据集上,风格迁移网络ST都有良好的迁移效果;在保持图像主体内容不变的前提下,通过色彩、纹理等的变换,可以实现不同风格的图像之间的风格迁移。
为了说明本发明的内容及实施方法,本说明书给出了上述具体实施例。但是,本领域技术人员应理解,本发明不局限于上述最佳实施方式,任何人在本发明的启示下都可得出其他各种形式的产品,但不论在其形状或结构上作任何变化,凡是具有与本申请相同或相近似的技术方案,均落在本发明的保护范围之内。
Claims (3)
1.一种基于对偶学习的无监督图像风格迁移方法,其特征在于,包括以下步骤:
步骤1:预处理训练数据;
准备两种风格的一定数目的图像作为训练数据;将训练数据集中所有图像统一缩放为m×n的固定尺寸;其中,m和n为自然数;
步骤2:设计网络结构模型;
网络结构模型共包含五个网络:风格迁移网络GA、GB,判别网络DA、DB,美学评分网络Ns;
其中,GA、GB具有相同的网络结构,分别用于不同方向的图像风格迁移;DA、DB具有相同的网络结构,分别判断不同风格的某图像是否真实;Ns是预训练的美学评分模型,作为整个网络的插件使用,本身不参与更新;整个模型由端到端训练的深度卷积神经网络构成;
对于A风格原始图像a0,首先经GB生成B风格生成图像b1,再经GA生成A风格重建图像a2;对于B风格原始图像b0,首先经GA生成A风格生成图像a1,再经GB生成B风格重建图像b2;
步骤3:设计用于训练网络的损失函数;
采用多种损失函数相结合,网络的损失函数包含四部分:对抗损失Ladv、美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle;整体损失函数Loss为:
Loss=Ladv+λ1Laes+λ2Ldual+λ3Lstyle
其中,λ1、λ2、λ3分别表示美学损失Laes、对偶一致性损失Ldual、风格平衡损失Lstyle的权重;
对抗损失Ladv使用最小二乘损失,对于DA和GA,分别表示如下:
对于DB和GB,则分别表示如下:
其中,DA(·)表示判别网络DA对图像·的判别结果,DB(·)表示判别网络DB对图像·的判别结果;GA(·)表示图像·经过风格迁移网络GA转换后的结果,GB(·)表示图像·经过风格迁移网络GB转换后的结果;表示·关于a0的数学期望,表示·关于b0的数学期望。
美学损失Laes通过美学模型进行计算,表示如下:
其中,K是自然数,Ns分别给出评分为1-K分的概率,pi表示评分为i的概率;美学损失通过最大化生成图像的美学评分期望,指导风格迁移网络的训练,以消除图像噪点和畸变;
对偶一致性损失Ldual同时使用基本像素特征和高级语义特征,并进行一阶范式约束,即L1约束,用于约束风格迁移后的图像与原图像在内容上有对应关系,表示如下:
Ldual=θpLp+θsLs
其中,Lp、Ls分别表示基本像素特征的L1约束和来自判别网络的高级语义特征的L1约束,θp、θs用于动态调整像素约束和语义约束的权重;
像素约束Lp表示如下:
语义约束Ls表示如下:
其中,||·||1表示·的L1约束;
风格平衡损失Lstyle主要用于平衡不同方向上的训练速度,以保证联合训练时的模型可以取得较好的效果;对于风格迁移网络,表示如下:
对于判别网络,表示如下:
步骤4:用步骤1的预处理训练数据、步骤3的损失函数,训练步骤2的网络模型得到无监督图像风格迁移网络ST;
步骤5:进行风格迁移应用,将待转换图像输入步骤4得到的风格迁移网络ST,得到风格迁移后的图像。
2.根据权利要求1所述的一种基于对偶学习的无监督图像风格迁移方法,其特征在于,所述m=n=256。
3.根据权利要求1或2任一所述的一种基于对偶学习的无监督图像风格迁移方法,其特征在于,步骤4中所述训练的过程如下:
Step1:初始化模型参数,将风格迁移网络GA、GB和网络判别器DA、DB的参数进行高斯分布初始化,使用预处理训练数据集开始训练;
Step2:将生成图像输入到判别网络DA、DB,计算对抗损失Ladv;
Step3:计算重建图像与原始图像的对偶一致性损失Ldual;
Step4:将生成图像不经缩放直接输入美学模型NS,计算美学损失Laes;
Step5:计算整个模型的风格平衡损失Lstyle;
Step6:按步骤3的整体损失函数Loss进行计算,得到最终的损失函数,然后反向传播计算梯度,并更新风格迁移网络与判别网络的参数值,同时保持美学模型的参数值始终不变;
Step7:重复Step2-Step6,直到损失函数趋于稳定。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910469536 | 2019-05-31 | ||
CN2019104695360 | 2019-05-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110458750A CN110458750A (zh) | 2019-11-15 |
CN110458750B true CN110458750B (zh) | 2021-05-25 |
Family
ID=68480807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910552097.XA Active CN110458750B (zh) | 2019-05-31 | 2019-06-25 | 一种基于对偶学习的无监督图像风格迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110458750B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047507B (zh) * | 2019-11-29 | 2024-03-26 | 北京达佳互联信息技术有限公司 | 图像生成模型的训练方法、图像生成方法及装置 |
CN111127309B (zh) * | 2019-12-12 | 2023-08-11 | 杭州格像科技有限公司 | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 |
CN111161137B (zh) * | 2019-12-31 | 2023-04-11 | 四川大学 | 一种基于神经网络的多风格国画花生成方法 |
CN111275713B (zh) * | 2020-02-03 | 2022-04-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
CN111429342B (zh) * | 2020-03-31 | 2024-01-05 | 河南理工大学 | 一种基于风格语料库约束的照片风格迁移方法 |
CN111597972B (zh) * | 2020-05-14 | 2022-08-12 | 南开大学 | 基于集成学习的妆容推荐方法 |
CN111739115B (zh) * | 2020-06-23 | 2021-03-16 | 中国科学院自动化研究所 | 基于循环一致性的无监督人体姿态迁移方法、***及装置 |
CN112418310B (zh) * | 2020-11-20 | 2024-06-28 | 第四范式(北京)技术有限公司 | 文本风格迁移模型训练方法和***及图像生成方法和*** |
CN112581360B (zh) * | 2020-12-30 | 2024-04-09 | 杭州电子科技大学 | 一种基于结构约束的多风格图像美学质量增强的方法 |
CN113066114A (zh) * | 2021-03-10 | 2021-07-02 | 北京工业大学 | 一种基于Retinex模型的卡通风格迁移方法 |
CN113283444B (zh) * | 2021-03-30 | 2022-07-15 | 电子科技大学 | 一种基于生成对抗网络的异源图像迁移方法 |
CN113222114B (zh) * | 2021-04-22 | 2023-08-15 | 北京科技大学 | 一种图像数据增广方法及装置 |
CN113256513B (zh) * | 2021-05-10 | 2022-07-01 | 杭州格像科技有限公司 | 一种基于对抗神经网络的人像美化方法和*** |
CN113538218B (zh) * | 2021-07-14 | 2023-04-07 | 浙江大学 | 基于位姿自监督对抗生成网络的弱配对图像风格迁移方法 |
CN115641253B (zh) * | 2022-09-27 | 2024-02-20 | 南京栢拓视觉科技有限公司 | 一种面向内容美学质量提升的材料神经风格迁移方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345446A (zh) * | 2018-09-18 | 2019-02-15 | 西华大学 | 一种基于对偶学习的图像风格转移算法 |
CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108875794B (zh) * | 2018-05-25 | 2020-12-04 | 中国人民解放军国防科技大学 | 一种基于迁移学习的图像能见度检测方法 |
-
2019
- 2019-06-25 CN CN201910552097.XA patent/CN110458750B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109345507A (zh) * | 2018-08-24 | 2019-02-15 | 河海大学 | 一种基于迁移学习的大坝图像裂缝检测方法 |
CN109345446A (zh) * | 2018-09-18 | 2019-02-15 | 西华大学 | 一种基于对偶学习的图像风格转移算法 |
Non-Patent Citations (3)
Title |
---|
"DualGAN: Unsupervised Dual Learning for Image-to-Image Translation";Zili Yi et al.;《2017 IEEE International Conference on Computer Vision (ICCV)》;20171029;第2849-2853页 * |
"NIMA: Neural Image Assessment";Hossein Talebi et al.;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20180430;第27卷(第8期);第3998-4001页 * |
"基于CNN和DLTL的步态虚拟样本生成方法";支双双 等;《计算机应用研究》;20181201;第291-294页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110458750A (zh) | 2019-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110458750B (zh) | 一种基于对偶学习的无监督图像风格迁移方法 | |
CN109087273B (zh) | 基于增强的神经网络的图像复原方法、存储介质及*** | |
CN110929602B (zh) | 一种基于卷积神经网络的地基云图云状识别方法 | |
Zhang et al. | Learning deep CNN denoiser prior for image restoration | |
CN112070209B (zh) | 基于w距离的稳定可控图像生成模型训练方法 | |
CN111986075B (zh) | 一种目标边缘清晰化的风格迁移方法 | |
CN113362250B (zh) | 一种基于双树四元小波与深度学习的图像去噪方法及*** | |
CN112686817B (zh) | 一种基于不确定性估计的图像补全方法 | |
CN109903236A (zh) | 基于vae-gan与相似块搜索的人脸图像修复方法及装置 | |
CN112686816A (zh) | 一种基于内容注意力机制和掩码先验的图像补全方法 | |
CN115187706B (zh) | 一种人脸风格迁移的轻量化方法、***、存储介质和电子设备 | |
CN113392711A (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及*** | |
CN111861939A (zh) | 一种基于无监督学习的单张图像去雾方法 | |
CN116523794A (zh) | 一种基于卷积神经网络的低光照图像增强方法 | |
CN115311144A (zh) | 一种基于小波域的标准流超分辨率图像重建方法 | |
CN111260585A (zh) | 基于类凸集投影算法的图像恢复方法 | |
CN114219701A (zh) | 敦煌壁画艺术风格转换方法、***、计算机设备及存储介质 | |
CN113436101A (zh) | 基于高效通道注意力机制的龙格库塔模块去雨的方法 | |
CN112837212A (zh) | 一种基于流形对齐的图像任意风格迁移方法 | |
CN111667401B (zh) | 多层次渐变图像风格迁移方法及*** | |
CN112132922A (zh) | 一种将在线课堂中的图像和视频卡通化的方法 | |
CN109887023B (zh) | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 | |
CN111161134A (zh) | 基于伽马变换的图像艺术风格转换方法 | |
CN113344771B (zh) | 基于深度学习的多功能图像风格迁移方法 | |
An et al. | Fast universal style transfer for artistic and photorealistic rendering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |