CN111161134A - 基于伽马变换的图像艺术风格转换方法 - Google Patents

基于伽马变换的图像艺术风格转换方法 Download PDF

Info

Publication number
CN111161134A
CN111161134A CN201911392568.1A CN201911392568A CN111161134A CN 111161134 A CN111161134 A CN 111161134A CN 201911392568 A CN201911392568 A CN 201911392568A CN 111161134 A CN111161134 A CN 111161134A
Authority
CN
China
Prior art keywords
image
style
content
new
gamma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911392568.1A
Other languages
English (en)
Inventor
叶汉民
刘文杰
钟姿伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Technology
Original Assignee
Guilin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Technology filed Critical Guilin University of Technology
Priority to CN201911392568.1A priority Critical patent/CN111161134A/zh
Publication of CN111161134A publication Critical patent/CN111161134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于伽马变换的图像风格转换方法。它包括输入内容图像和风格图像；获取风格图像的风格特征和内容图像的内容特征；定义新的白噪声源图像X，分别于风格特征和内容特征进行匹配，并进行融合；在像素级别对融合后图像进行伽马变换，实现去噪；重复上述步骤，一定次数得到最终图像。本发明最后获取的图像减少了图像噪点，而且还减少了算法的迭代次数。

Description

基于伽马变换的图像艺术风格转换方法
技术领域
本发明属于计算视觉和图像处理领域，具体地说是一种基于伽马变换的图像艺术风格转换方法。
背景技术
人们的想象力和创造能力通常使用艺术来表达，这是自古以来最令人着迷的活动。获取到一幅图片，通常希望使用后期编辑获取到具有特定艺术风格的图像。但是后期编辑需要超高的使用技巧，普通人不经过***的学习难以实现风格转换的功能。
现在，有许多技术关于风格转换的工作。2016年，Gatys等人首次使用神经网络完成图像风格转换。Ulyanov等人训练一个紧凑的前馈神经网络来生成多个相同纹理任意大小的样品，将给定的图像转换成具有艺术风格的另一幅图像，每一轮次达到了500倍提速。Johnson等人使用感知损失替代像素损失，使用VGG网络模型计算损失，生成风格化图像，每一轮能够做到三个数量级的提速。Frigo等人提出了一种无监督方法，将图像风格的局部纹理认为是局部的纹理转移，最终于全局颜色转移相结合。Li等人首次将风格转移应用在人脸上，与此同时最大化的保留原图像的身份特征。当前，每一轮次的风格转换图像都有大量的噪声。
发明内容
本发明的目的在于针对风格转换技术中存在的高噪声问题，提出一种基于伽马变换的图像风格转换方法，该方法能够减少风格转移后图像的噪声，并且额外减少迭代次数。
本发明为了达到上述目的，采用的技术方案如下：
一种基于伽马变换的图像艺术风格转换方法，具体步骤如下：
步骤S1：输入内容图像C和风格图像S；
步骤S2：获取风格图像的风格特征和内容图像的内容特征；
步骤S3：定义新的白噪声源图像X，分别于风格特征和内容特征进行匹配，并进行融合，得到第一目标图；
步骤S4：在像素级别对第一目标图进行伽马变换，实现去噪，得到第二目标图；
步骤S5：将第二目标图作为新的源图像X，重复执行特征提取步骤到伽马变换步骤一定次数，得到最终图像。
上述步骤S2具体步骤如下：
对于风格图像S，利用Gram矩阵存储风格图像的风格特征：
Figure BDA0002345405900000021
对于内容图像C，利用神经网络获取其内容特征：
Figure BDA0002345405900000022
上述步骤S3具体步骤如下：
为了使白噪声图像具备图像S的风格特征，最小化下面的公式：
Figure BDA0002345405900000023
并求解图像X在第l层的梯度：
Figure BDA0002345405900000024
用来迭代更新转换图像风格，其中l为卷积层的层数，Ml为每个滤波器的尺寸，Nl为第l卷积层滤波器的个数；
为了使白噪声图像具有图像C的内容特性，最小化下面的公式：
Figure BDA0002345405900000025
并求解图像X在第l层的滤波响应的梯度为：
Figure BDA0002345405900000026
用来迭代更新转换图像内容；
为了生成一张新的风格转换图，使其拥有图像S的风格特征和图像C的内容特征，最小化下面的公式：
Figure BDA0002345405900000031
其中αl和βl分别是每一层内容损失函数和风格损失函数的权值因子，ω用来平衡风格和内容的权值，得到新的图像X1。
上述步骤S4具体步骤如下
使用下面公式：
Figure BDA0002345405900000032
对第L层的图像X1进行像素级别的去噪操作，总的伽马变换损失函数为：
Figure BDA0002345405900000033
得到新的图像X2。
本方法使用VGG-19神经网络，采用L-BFGS的反向传播最小化。
本发明的基于伽马变换的图像艺术风格转换方法与现有的技术相比，具有如下优点：
白噪声图像分别匹配风格图像的风格特征和内容图像的内容特征，合成新的图像X1,然后对图像X1的每一个像素进行伽马变换，用于像素之间的去噪处理，将伽马变换处理过的图像重新输入到神经网络中。最后获取到的图像噪声减少，而且在五次迭代左右就可以获取与现在方法相同的图像效果。
附图说明
下面结合附图和实施列对本发明做进一步说明。
图1是本发明的基于伽马变换的图像风格转换方法的流程图。
图2(a)是本发明输入的内容图像C。
图2(b)是本发明输入的风格图像S。
图3是本发明获取到的未进行伽马变换的融合图X1。
图4是本发明优化后的最后输出图像X3。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示，本发明的一种基于伽马变换的图像风格转换方法，其具体步骤如下：
S1：输入内容图像C和风格图像S，如图2(a)和图2(b)所示。
S2：获取风格图像的风格特征和内容图像的内容特征；
对于风格图像S，利用Gram矩阵存储风格图像的风格特征：
Figure BDA0002345405900000041
对于内容图像C，利用神经网络获取其内容特征：
Figure BDA0002345405900000042
S3：定义新的白噪声源图像X，分别于风格特征和内容特征进行匹配，并进行融合，得到第一目标图X1；
为了使白噪声图像具备图像S的风格特征，最小化下面的公式：
Figure BDA0002345405900000043
并求解图像X在第l层的梯度：
Figure BDA0002345405900000044
用来迭代更新转换图像风格，其中l为卷积层的层数，Ml为每个滤波器的尺寸，Nl为第l卷积层滤波器的个数；
为了使白噪声图像具有图像C的内容特性，最小化下面的公式：
Figure BDA0002345405900000045
并求解图像X在第l层的滤波响应的梯度为：
Figure BDA0002345405900000051
用来迭代更新转换图像内容；
为了生成一张新的风格转换图，使其拥有图像S的风格特征和图像C的内容特征，最小化下面的公式：
Figure BDA0002345405900000052
其中αl和βl分别是每一层内容损失函数和风格损失函数的权值因子，ω用来平衡风格和内容的权值，得到新的图像X1，如图(3)所示。
S4：在像素级别对图像X1进行伽马变换，实现去噪，得到第二目标图X2；
使用下面公式：
Figure BDA0002345405900000053
对第L层的图像X1进行像素级别的去噪操作，总的伽马变换损失函数为：
Figure BDA0002345405900000054
对第L层的图像X1进行像素级别的去噪操作，总的伽马变换损失函数为：
Figure BDA0002345405900000055
得到新的图像X2。
S5：将第二目标图作为新的源图像X，重复执行步骤S2到步骤S4迭代一定次数，得到最终图像X3，如图(4)所示。
可以理解的是，本发明迭代5次左右即可获取到良好的风格转移后的图像。
从上述实例结果可以看出，本发明在实现风格转移的同时对风格转移后的图像进行去噪处理，在5次左右迭代轮次获取到风格转移后的图像与传统的神经网络方法效果相近。

Claims (5)

1.一种基于伽马变换的图像艺术风格转换方法，其特征在于，具体步骤如下：
S1：输入内容图像C和风格图像S；
S2：获取风格图像的风格特征和内容图像的内容特征；
S3：定义新的白噪声源图像X，分别于风格特征和内容特征进行匹配，并进行融合，得到第一目标图X1；
S4：在像素级别对图像X1进行伽马变换，实现去噪，得到第二目标图X2；
S5：将第二目标图作为新的源图像X，重复执行步骤S2到步骤S4一定次数，得到最终图像X3。
2.根据权利要求1所述的一种基于伽马变换的图像艺术风格转换方法，其特征在于，所步骤S2具体如下：
对于风格图像S，利用Gram矩阵存储风格图像的风格特征：
Figure FDA0002345405890000011
对于内容图像C，利用神经网络获取其内容特征：
Figure FDA0002345405890000012
3.根据权利要求1所述的一种基于伽马变换的图像艺术风格转换方法，其特征在于，所述步骤S3具体如下：
为了使白噪声图像具备图像S的风格特征，最小化下面的公式：
Figure FDA0002345405890000013
并求解图像X在第l层的梯度：
Figure FDA0002345405890000014
用来迭代更新转换图像风格，其中l为卷积层的层数，Ml为每个滤波器的尺寸，Nl为第l卷积层滤波器的个数；
为了使白噪声图像具有图像C的内容特性，最小化下面的公式：
Figure FDA0002345405890000015
并求解图像X在第l层的滤波响应的梯度为：
Figure FDA0002345405890000016
用来迭代更新转换图像内容；
为了生成一张新的风格转换图，使其拥有图像S的风格特征和图像C的内容特征，最小化下面的公式：
Figure FDA0002345405890000017
其中αl和βl分别是每一层内容损失函数和风格损失函数的权值因子，ω用来平衡风格和内容的权值，得到新的图像X1。
4.根据权利要求1所述的一种基于伽马变换的图像艺术风格转换方法，其特征在于，步骤S4具体为：使用下面公式：
Figure FDA0002345405890000021
对第L层的图像X1进行像素级别的去噪操作，总的伽马变换损失函数为：
Figure FDA0002345405890000022
得到新的图像X2。
5.权利要求1所述的一种基于伽马变换的图像艺术风格转换方法，其特征在于:所述的神经网络为VGG-19神经网络，采用L-BFGS的反向传播最小化Ltotal。
CN201911392568.1A 2019-12-30 2019-12-30 基于伽马变换的图像艺术风格转换方法 Pending CN111161134A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911392568.1A CN111161134A (zh) 2019-12-30 2019-12-30 基于伽马变换的图像艺术风格转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911392568.1A CN111161134A (zh) 2019-12-30 2019-12-30 基于伽马变换的图像艺术风格转换方法

Publications (1)

Publication Number Publication Date
CN111161134A true CN111161134A (zh) 2020-05-15

Family

ID=70558926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911392568.1A Pending CN111161134A (zh) 2019-12-30 2019-12-30 基于伽马变换的图像艺术风格转换方法

Country Status (1)

Country Link
CN (1) CN111161134A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837926A (zh) * 2021-09-05 2021-12-24 桂林理工大学 基于均值标准差的图像迁移方法
US11948279B2 (en) 2020-11-23 2024-04-02 Samsung Electronics Co., Ltd. Method and device for joint denoising and demosaicing using neural network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373099A (zh) * 2016-08-31 2017-02-01 余姚市泗门印刷厂 一种图像处理方法
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN110111291A (zh) * 2019-05-10 2019-08-09 衡阳师范学院 基于局部和全局优化融合图像卷积神经网络风格迁移方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373099A (zh) * 2016-08-31 2017-02-01 余姚市泗门印刷厂 一种图像处理方法
CN108711137A (zh) * 2018-05-18 2018-10-26 西安交通大学 一种基于深度卷积神经网络的图像色彩表达模式迁移方法
CN110111291A (zh) * 2019-05-10 2019-08-09 衡阳师范学院 基于局部和全局优化融合图像卷积神经网络风格迁移方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEON A. GATYS 等: "A Neural Algorithm of Artistic Style", 《COMPUTER SIENCE》 *
机器学习入坑者: "风格迁移A Neural Algorithm of Artistic Style与pytorch实现", 《知乎》 *
郑茗化 等: "基于局部均方差的神经网络图像风格转换", 《现代电子技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948279B2 (en) 2020-11-23 2024-04-02 Samsung Electronics Co., Ltd. Method and device for joint denoising and demosaicing using neural network
CN113837926A (zh) * 2021-09-05 2021-12-24 桂林理工大学 基于均值标准差的图像迁移方法

Similar Documents

Publication Publication Date Title
CN107123089B (zh) 基于深度卷积网络的遥感图像超分辨重建方法及***
CN108376387B (zh) 基于聚合膨胀卷积网络的图像去模糊方法
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及***
CN110458750B (zh) 一种基于对偶学习的无监督图像风格迁移方法
CN111275643B (zh) 基于通道和空间注意力的真实噪声盲去噪网络***及方法
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN110570377A (zh) 一种基于组归一化的快速图像风格迁移方法
CN110211035B (zh) 融合互信息的深度神经网络的图像超分辨率方法
CN106683056A (zh) 一种机载光电红外数字图像处理方法及装置
CN109801218B (zh) 基于多层耦合卷积神经网络的多光谱遥感图像Pan-sharpening方法
CN113902658B (zh) 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN106851102A (zh) 一种基于捆绑测地线路径优化的视频稳像方法
CN111161134A (zh) 基于伽马变换的图像艺术风格转换方法
CN110148088A (zh) 图像处理方法、图像去雨方法、装置、终端及介质
CN111835983A (zh) 一种基于生成对抗网络的多曝光图高动态范围成像方法及***
CN110428382A (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
CN108596865B (zh) 一种用于卷积神经网络的特征图增强***及方法
CN110809126A (zh) 一种基于自适应可变形卷积的视频帧插值方法及***
CN115100039B (zh) 一种基于深度学习的轻量级图像超分辨率重建方法
CN111414988B (zh) 基于多尺度特征自适应融合网络的遥感影像超分辨率方法
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN111553856A (zh) 基于深度估计辅助的图像去雾方法
CN113706407B (zh) 基于分离表征的红外可见光图像融合方法
CN110580726A (zh) 基于动态卷积网络的自然场景下人脸素描生成模型及方法
CN111951171A (zh) Hdr图像生成方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200515

WD01 Invention patent application deemed withdrawn after publication