CN111145290B - 一种图像彩色化方法、***和计算机可读存储介质 - Google Patents
一种图像彩色化方法、***和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111145290B CN111145290B CN201911409982.9A CN201911409982A CN111145290B CN 111145290 B CN111145290 B CN 111145290B CN 201911409982 A CN201911409982 A CN 201911409982A CN 111145290 B CN111145290 B CN 111145290B
- Authority
- CN
- China
- Prior art keywords
- image
- encoder
- layer
- channel data
- color space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000006870 function Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 27
- 238000004040 coloring Methods 0.000 abstract description 20
- 230000008030 elimination Effects 0.000 abstract description 3
- 238000003379 elimination reaction Methods 0.000 abstract description 3
- 238000009877 rendering Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明公开了一种图像彩色化方法、***和计算机可读存储介质。方法包括:A.将待彩色化的图像由RGB彩色空间转换到YUV彩色空间,并分离出Y通道数据;B.复制Y通道数据,与Y通道数据一起构造出两通道数据;C.利用两通道数据作为深度卷积自编码器的输入,以分别预测出UV通道;其中,深度卷积自编码器由若干重跳层连接组成;D.将Y通道数据与步骤C中预测出的UV通道数据结合,构造出完整的YUV彩色空间图像;E.将所述YUV彩色空间图像转换为RGB彩色空间图像,即得到最终的彩色化图像。本发明可以更好地解决模型梯度消失和过拟合问题,具有更佳的着色效果和更好的图像清晰度,并且能够有效的减少图像生成的伪影和增强色彩饱和度。
Description
技术领域
本发明涉及计算机视觉领域,尤其是一种基于深度卷积自编码器和多重跳层的图像彩色化方法、计算机可读存储介质和相应***。
背景技术
图像彩色化是为目标灰度图像的每个像素分配合适的颜色,使其看起来真实自然的一种技术。图像彩色化技术可以为人类提供丰富的目标场景信息,因此该技术已经广泛应用于各种领域,如老照片色彩复原,辅助艺术家设计草图的色彩方案,遥感图像和夜视成像***等等。并且在过去几年里,图像彩色化方法得到越来越多研究人员的关注和研究。然而,由于现实世界中物体颜色的多样性以及人类对于色彩感知的模糊性,图像彩色化仍然是一项非常具有挑战性的任务,至今仍未找到完美的解决方案。
目前,针对图像彩色化问题存在各种各样的解决方案,这些方法大致可以分为四类:基于涂鸦的方法、基于色彩转换(基于示例)的方法、基于学习的方法和混合方法。(1)基于涂鸦的图像着色方法需要手动向目标图像添加颜色线条。由于真实图像的复杂性和多样性,人类很难通过颜色线条为每个特定区域指定合适的色彩。(2)基于色彩转换的图像彩色化方法通常需要参考图像为目标灰度图像着色,因此该类方法的性能严重依赖于给定的彩色参考图像。在实际应用中,合适的彩色参考图像的选择非常困难。(3)近年来,随着深度学习的引入,基于深度学习的图像着色方法开始蓬勃发展。这些方法通常需要一个庞大的数据集来训练模型,来学习如何给灰度图像着色。一般来说,基于深度学习的图像着色方法通常具有令人满意的性能,但是该模型在训练时所用到的数据集通常需要包含各类场景,但是在现实世界中我们很难找到这样的庞大数据集。(4)由于深度学习具有很好的特征提取能力,因此也将其与基于涂鸦或基于色彩转换的图像着色方法相结合,称之为混合方法。
虽然上述工作探索了基于深度学习的图像彩色化方法正确着色灰度图像的可能性,并在一定程度上能够取得良好的着色性能,但上色后的彩色图像仍然存在一些问题。例如,细节损失和颜色失真等等,因此设计一种全自动、高效的图像着色方法仍然是一个难点。同时,研究人员还探索了在图像或视频处理中应用深度卷积自编码器的可能性。然而,在各种卷积层的处理过程中,一些有用特征的丢失,极大地影响了图像着色的性能。另外,自编码器用于复杂模式分类或特征提取(如图像着色)时,梯度消失问题也是一个限制。因此,图像彩色化方法仍然存在很大的研究空间。
目前,基于深度学习的图像着色技术的应用可分为自然图像着色、卡通图像着色和不可见光图像着色。自然图像着色是最常见的研究领域,该技术可用于老照片、老电影等历史照片和视频的着色。在2018年,Chen等人在VGG-16的基础上,提出了一种基于卷积神经网络(CNN)的中国黑白胶片图像自动着色方法,该方法可以看作是自然图像着色的一种。Nazeri等人使用条件深度卷积生成对抗网络(DCGAN)进行自然图像着色,该模型使用U-Net结构作为生成器,改进的U-Net结构作为鉴别器。
另外,图像彩色化技术可以通过为动漫草图提供色彩方案从而提高动漫制作的效率,同时减轻动漫产业中动漫设计师的负担。在2019年,Chybicki等人提出了一种基于卷积编解码器神经网络的老式卡通图像着色方法。在2017年,Hensman等人采用条件生成对抗网络(cGAN)对灰度动漫图像进行着色,该方法在训练过程中,仅需要一个彩色参考图像,避免了大数据集的选择;此外,为了提高图像质量,他们提出了一种分割和颜色校正的方法。在2018年,Ren等人提出了一种从素描生成彩色图像的两阶段方法,首先使用cGAN从素描图像生成灰度图像,然后将生成的灰度图像通过cGAN的训练来获得最终的彩色漫画图像。
由于光谱图像的反射特性,单个不可见光图像只能呈现物体或感官的有限特征;而彩色化可以增强不可见光图像的主要特征,从而有助于人眼识别和计算机处理。因此彩色化技术可用于合成孔径雷达(SAR)图像的彩色化,包括单偏振、双偏振、紧致偏振和全偏振雷达图像。2018年,Song等人提出了一种基于深度神经网络(DCNN)的方法,将单偏振灰度SAR图像转化为全偏振图像,即彩色图像。从而使得SAR图像获得更显著的特征。Liu等人提出了一种多任务深度神经网络,实现了单卫星图像的超分辨率和彩色同步处理;在该方法中,由于没有与卫星图像相对应的完美彩色图像,因此使用非卫星图像来优化最终图像的颜色。此外,彩色化技术也被用于夜视成像***。Suarez等人提出了一种用于近红外图像着色的GAN变体结构;该模型由三个生成器模型和一个判别器模型组成。在2018年,Dong等人引入了一种编码器-解码器架构,并结合了一个用于增强输出图像边缘的辅助网络,从而实现红外图像彩色化。
发明内容
本发明的发明目的在于:针对上述存在的问题,提供一种基于深度卷积自编码器和多重跳层的图像彩色化方法、计算机可读存储介质和相应***。以解决基于神经网络进行图像彩色化过程中,学习模型梯度消失和过拟合问题。
本发明采用的技术方案如下:
一种基于深度卷积自编码器和多重跳层的图像彩色化方法,包括以下步骤:
A.将待彩色化的图像由RGB彩色空间转换到YUV彩色空间,并分离出Y通道数据;
B.复制Y通道数据,与Y通道数据一起构造出两通道数据;
C.利用两通道数据作为深度卷积自编码器的输入,以分别预测出UV通道;其中,深度卷积自编码器由若干重跳层连接组成;
D.将Y通道数据与步骤C中预测出的UV通道数据结合,构造出完整的YUV彩色空间图像;
E.将所述YUV彩色空间图像转换为RGB彩色空间图像,即得到最终的彩色化图像。
将图像从RGB空间转换到YUV空间进行处理,可以获得更好的着色效果和更高的图像清晰度。此外,本发明利用深度卷积自编码器结合多重跳层的方式,可以更好的提取图像的关键特征,解决学习模型梯度消失和过拟合问题。
进一步的,所述步骤C中的深度卷积自编码器的若干重跳层连接包括无跳层的主体连接、三层一次跳层的连接和六层一次跳层的连接中的至少一种。
即深度卷积自编码器由三种连接中的一种或多种连接组成,Y通道和UV通道分别作为输入和输出,以端到端方式训练模型。多种跳层连接相结合(各种跳层连接并行运行)的方式,在解决学习模型梯度消失和过拟合问题上,可以取得极好的效果。
进一步的,所述步骤C中的深度卷积自编码器的损失函数设置为:
Lmodel=λmseLmse+λGradLGrad;其中,
其中,λmse为均方误差损失所占权重,λGrad为梯度损失所占权重。
进一步的,λmse=1,λGrad=0.0001。
进一步的,所述步骤C中,在执行步骤C前,先对两通道数据中各通道数据进行归一化处理。
进一步的,所述归一化处理为将输入的通道数据归一化为128*128像素。
进一步的,步骤C中所用到的深度卷积神经网络的训练参数为:epochs为10000,学习率为0.0001,批大小为32,跳层的卷积核尺寸为2*2。
本发明还提供了一种计算机可读存储介质,其特征在于,其存储有计算机程序,运行所述计算机程序可执行上述的方法。
本发明还提供了一种基于深度卷积自编码器和多重跳层的图像彩色化***,所述***配置有处理器和上述的计算机可读存储介质,所述处理器用于运行所述计算机可读存储介质中存储的计算机程序。
本发明还提供了一种基于深度卷积自编码器和多重跳层的图像彩色化***,该***用于运行上述的基于深度卷积自编码器和多重跳层的图像彩色化方法。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1、本发明采用深度卷积自编码器和多重跳层相结合的彩色化方法来解决灰度图上色、图像色彩恢复、动漫草图上色等问题,可以更好地解决模型梯度消失和过拟合问题,使得所着色的图像与真实图像更加匹配。
2、本发明先将RGB图像转换为YUV图像在进行后续处理,较直接在RGB彩色空间着色具有更佳的着色效果和更好的图像清晰度,并且能够有效的减少图像生成的伪影和增强色彩饱和度。
3、本发明的过程为全自动化的着色过程,在上色过程中,不需要任何的参考图和人工交互,使模型具有更大的实际应用价值。经实验表明,与其他现有的方法相比,本发明能够获得更好的图像彩色化效果和更高的图像清晰度,从而有助于计算机视觉领域的应用。
附图说明
本发明将通过例子并参照附图的方式说明,其中:
图1是基于彩色空间转换(RGB转YUV)的图像数据预处理的具体实施方式流程图。
图2是利用基于深度卷积的自动编码器与多重跳层相结合的方法,学习彩色通道的色彩信息的流程图。
图3是利用基于图像通道整合和彩色空间转换(YUV转RGB)的图像处理方法生成图像的具体实施方式流程图。
图4是本发明所提图像彩色化方法的总体架构。
图5是本发明所采用的深度神经网络的结构。
图6是采用不同跳层方式的模型的图像彩色化效果图。
图7是采用不同卷积核尺寸的模型的图像彩色化效果图。
图8是设置不同损失函数的权重参数的模型所获得的上色效果图。
图9是本发明和不同对比方法在LSUN数据集上的图像彩色化效果对比图。
图10是本发明和不同对比方法在LFW数据集上的图像彩色化效果对比图。
图11是使用不同的方法的彩色化图像及其放大示图。
图12是在LSUN和LFW两个数据集上,本发明与其他方法进行比较的峰值信噪比(PSNR)的对比图。
图13是在LSUN和LFW两个数据集上,本发明与其他方法进行比较的均方误差(RMSE)的对比图。
图14是在LSUN和LFW两个数据集上,本发明与其他方法进行比较的结构相似性(SSIM)的对比图。
图15在LSUN和LFW两个数据集上,本发明与其他方法进行比较的皮尔森相关系数(PEARSON)的对比图。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
实施例一
参见图4的彩色化方法的架构,本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化方法,其包括以下步骤:
A.将图像由RGB彩色空间转换为YUV彩色空间,并分离出Y通道数据。
B.复制Y通道数据,与Y通道数据一起构造出两通道数据。以确保与将要预测的UV通道保持相同大小。
C.利用两通道数据作为深度卷积自编码器的输入,以分别预测出UV通道;其中,深度卷积自编码器由若干重跳层连接组成。
D.将Y通道数据与步骤C中学习得到的UV通道数据结合,构造出完整的YUV彩色空间图像。
E.将所述YUV彩色空间图像转换为RGB彩色空间图像,即得到最终的彩色化图像。
实施例二
参见图4的彩色化方法的架构,本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化方法,其包括以下步骤:
A.将图像由RGB彩色空间转换为YUV彩色空间,并分离出Y通道作为灰度图。RGB彩色空间转换为YUV彩色空间的方法如下:
Y=0.299R+0.587G+0.114B;
U=-0.147R-0.289G+0.436B;
V=0.615R-0.515G+0.100B。
其中R是红色通道,G是绿色通道,B是蓝色通道。Y、U、V分别是YUV彩色空间的三个通道。
B.复制Y通道数据得到Y’通道,与Y通道数据一起构造出两通道数据YY’。从而数据尺寸与输出保持相同的大小。
通过对步骤A中分离出来的Y通道进行通道复制,得到Y’通道,构造出两通道YY’。这样,就使得输入通道数据的数据大小与后续重构的UV通道数据大小相同。
C.利用两通道数据作为深度卷积自编码器的输入,以分别预测出UV通道。
自编码器的无跳层连接(自编码函数)可以表示如下:h=fθ(x)=σ(Wx+b)
其中x∈Rd是编码器的输入图像,h∈Rd'是潜在表示,参数θ={W,b},w表示权重,b表示偏差,Rd是输入图像的集合,Rd′是输出图像的数据集合,σ(x)是卷积函数,表示学习特征。
然后将数据用编码表示,按照以下步骤重构输出:
f:y=fθ'(h)=σ(W'h+b')
其中,参数θ={W',b'},W'表示权重,b'表示偏差,通常W'=WT,每个模式xi被映射为hi,被重构为yi,通过给定训练集上的损失函数对参数进行优化。
本实施例中的深度卷积自编码器由若干重跳层连接组成。具体为包含无跳层连接(主体连接)、3层一次跳层连接和6层一次跳层连接。3层一次跳层连接和6层一次跳层连接并行运行。对应的深度神经网络结构如图5所示。
自编码器的3层一次跳层连接的跳层连接具体可用以下公式表示:
F(xl)=h(xl)-xl (1)
其中xi是输入,h(xl)是跳层连接,对于每个残差块,可以得到:
yl=h(xl)+F1(xl,Wl) (2)
xl+1=f1(yl) (3)
其中xl和xl+1分别表示第l个残差块的输入和输出,F1为残差函数,表示学习残差,yl是通过跳层连接和残差函数后的输出结果,f1为激活函数,Wl为权值,经反复多次实验,我们已经将权值调整为最适合本实验的值。根据公式(2)(3),从高层L到低层l的学习特征可以表示为如下公式:
自编码器的6层一次跳层连接的跳层连接具体可用以下公式表示:
F(yk)=p(yk)-yk (5)
其中yk是输入,p(yk)是跳层连接。对于每个残差块,可以得到:
zk=p(yk)+F2(yk,Wk) (6)
yk+1=f2(zk) (7)
其中yk和yk+1分别表示第k个残差块的输入和输出,F2为残差函数,表示学习残差,Zk是通过跳层连接和残差函数后的输出结果,f2为激活函数,wk为权值,经反复多次实验,我们已经将权值调整为最适合本实验的值。根据公式(6)(7),从高层K到低层k的学习特征可以表示为如下公式:
自编码器的全部跳层连接具体可用以下公式表示:
根据公式(4)和公式(8),当yk=xl且k=l时,即6层一跳与3层一跳的起始层数相同时,通过高层K到低层k的学习特征可以表示为如下公式:
a=(K-k)/(L-l) (9)
其中xl为输入,yK为输出,a为每6层一次跳跃连接中,包含的3层一次跳跃连接的次数。公式(10)根据(4)和(8),将3层一次跳层连接和6层一次跳层连接整合到一起,即为本实验中多重跳层连接的整体函数。
在本实施例的模型中,对于所提出的编码器-解码器,编码器在处理对应的通道数据前,需要将通道数据进行归一化处理。将Y通道的大小归一化为128×128像素(Y’通道一样),输入到模型中生成U和V通道,输出的图像与Y通道具有相同的分辨率,从而恢复出最终的彩色图像。对于其他的训练参数,epochs设置为10000,Adamax优化器的学习率为0.0001,批大小设置为32,跳层的卷积核尺寸设置为2*2。
如图7所示为采用不同卷积核尺寸的模型的图像彩色化效果图。其中,(a)为灰度图像,(b)为彩色原图像,(c)的卷积核尺寸为1*1,(d)的卷积核尺寸为2*2,(e)的卷积核尺寸为3*3,(f)的卷积核尺寸为4*4。由图可知,卷积核为2*2时(图d)在清晰度、图像还原度和色彩饱和度上,与彩色原图像(b)的色彩匹配度更高。
在本发明的学习模型中,所使用到的损失函数由Lmse和Lgrad两部分组成,公式可以表示为:
此损失函数表示均方误差损失函数。其中,F表示彩色原图像的图像数值,f(z,θ)表示通过模型学***方,最终再求和,即为均方误差损失函数。
此损失函数表示对应像素损失函数。其中,F表示彩色原图像的每个像素的数值,f(z,θ)表示通过模型学***方向逐个像素依次求彩色图像与学***方向和竖直方向分别求对应像素的差值,并通过求和,平方等数学运算,作为最终的对应像素损失函数。
总的损失函数则可以表示为:
Lmodel=λmseLmse+λGradLGrad
其中λmse为均方误差损失所占权重,λGrad为梯度损失所占权重。经多次实验发现,两种损失函数的权重设置为λmse=1,λGrad=0.0001,实验效果最好。
D.将Y通道数据与步骤C中学习得到的UV通道数据结合,构造出完整的YUV彩色空间图像。其中,Y通道数据包含图像的亮度,UV通道数据包含图像的彩色信息。
E.将所述YUV彩色空间图像转换为RGB彩色空间图像,即得到最终的彩色化图像。YUV彩色空间图像转换为RGB彩色空间图像的方法如下:
R=Y+1.14
G=Y-0.39U-0.58V
B=Y+2.03U
其中R是红色通道,G是绿色通道,B是蓝色通道。Y、U、V分别是YUV彩色空间的三个通道。
实施例三
如图1~3所示,本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化方法,包括以下步骤:
S101:获取灰度图像:
获取已经准备好的灰度图像,并将图像转换成Numpy的数据格式。
S102:将图像由RGB彩色空间转换成YUV彩色空间:
从RGB颜色空间到YUV颜色空间的转换可以描述为:
Y=0.299R+0.587G+0.114B
U=-0.147R-0.289G+0.436B
V=0.615R-0.515G+0.100B
其中R是红色通道,G是绿色通道,B是蓝色通道。Y,U,V是YUV颜色空间的三个通道。
S103:分离出Y通道数据:
首先将灰度图像的YUV数据信息分离成3个通道,分别是Y、U、V三个通道,取Y通道的数据进行操作。
S104:复制Y通道数据,将复制的数据命名为Y’:
复制Y通道的信息,为下面的通道信息整合成两通道数据信息做准备。
S105:将Y与Y’整合到一起,构成YY’的双通道数据:
本发明将Y与Y’整合到一起,构成YY’的双通道数据,以便与输出保持相同的大小,这有助于保持图像特征来重构UV通道。
图2是本发明基于深度卷积的自动编码器与多重跳层连接相结合的方法,学习彩色通道的色彩信息的流程图。具体步骤包括:
S201:将YY’数据传入深层自编码机模型:
将已经合成后的YY’通道数据,传入深层自编码机模型进行学习,以预测UV通道的色彩信息。
S202:通过模型的多重跳层连接的方法,学习UV通道的彩色信息:
本发明提出的深度卷积自动编码机由三种连接中的一种或多种组成,分别是无跳层的主体连接、3层一次跳层的连接和6层一次跳层的连接。其中以同时包括三种连接的效果最佳,即除主体连接外,还同时包括3层一次跳层的连接和6层一次跳层的连接。Y通道和UV通道分别作为输入和输出,以端到端方式训练模型。
第一种方式:无跳层的连接。描述如下:
h=fθ=σ(Wx+b)
其中x∈Rd是编码器的输入图像,h∈Rd'是潜在表示,参数θ={W,b}。然后用编码表示,按照以下步骤重构输出:
f:y=fθ'(h)=σ(W'h+b')
其中参数θ={W',b'},通常W'=WT每个模式xi被映射为hi,被重构为yi,通过给定训练集上的损失函数对参数进行优化,即Dn={(x0,t0),...,(xn,tn)}。
第二种方式:3层一次跳层的连接。描述如下:
F(xl)=h(xl)-xl,
其中xl为输入,h(xl)为快捷映射。对于每个残差块,我们可以得到:
yl=h(xl)+F(xl,Wl) (11),
xl+1=f(yl) (12),
其中xl和xl+1分别表示第L个残差块的输入和输出,F为残差函数,表示学习残差,f为激活函数,Wl是权重。根据公式(11)和公式(12),从高层L到低层l的学习特征可以表示为:
第三种方式:6层一次跳层的连接。描述如下:
F(yk)=p(yk)+yk
其中yk是输入,p(yk)是快捷映射。对于每个残差块,我们可以得到:
zk=p(yk)+F2(yk,Wk) (14)
yk+1=f2(zk) (15)
其中yk和yk+1分别表示第k个残差块的输入和输出,F2为残差函数,表示学习残差,Zk是通过跳层连接和残差函数后的输出结果,f2是激活函数,wk是权值。根据公式(14)和公式(15),从高层K到低层k的学习特征可以表示为式(16):
根据式(13)和式(16),当yk=xL且k=l时,高层K到低层k的学习特征可以表示为公式(17)和公式(18):
a=(K-k)/(L-l) (17)
如图6所示为采用不同跳层方式的模型的图像彩色化效果图。其中(a)为灰度图像,(b)为彩色原图像,(c)为不做任何跳层连接,(d)为只有3层一次跳层连接,(e)为是既有3层一次跳层连接,又有6层一次跳层连接。由图6可知,取三种连接方式并行运行(图e)的着色效果最佳。
本发明中的模型损失函数由Lmse和Lgrad两部分组成,公式可以表示为:
总的损失函数则可以表示为:
Lmodel=λmseLmse+λGradientLGradient
其中,λmse为均方误差损失所占权重,λGradient为梯度损失所占权重。
如图8所示,为取不同权重的损失函数所对应的着色效果对比图。图中(a)为灰度图像,(b)为彩色原图像,(c)为权重取0.1的效果(Lmse+0.1*Lgrad),(d)为权重取0.01的效果(Lmse+0.01*Lgrad)(e)为权重取0.001的效果(Lmse+0.001*Lgrad)(f)为权重取0.0001的效果(Lmse+0.0001*Lgrad)。由图8可知,权重λGradient取0.0001进行彩色化的效果(图f)与彩色原图像最为相似。
S203:通过本发明模型的学习,生成U’V’通道的数据:
通过本发明种模型的多重跳层连接进行学习,可以将YY’的信息学习成U’V’信息,即学习到了图像的色彩信息。
图3是本发明基于图像通道整合和彩色空间转换(YUV转RGB)的图像处理方法,最后生成图像的具体实施方式流程图。具体步骤包括:
S301:将U’V’通道的信息与Y’通道的信息整合到一起,构成YUV彩色空间的完整数据。
S302:将Y’U’V’数据转换成RGB彩色空间的数据:
从YUV颜色空间到RGB颜色空间的转换可以表示为:
R=Y+1.14
G=Y-0.39U-0.58V
B=Y+2.03U
其中R是红色通道,G是绿色通道,B是蓝色通道。Y、U、V是YUV颜色空间的三个通道。
S303:将生成的数据通过编译显示为彩色图像并保存。
本发明将生成的RGB彩色图像数据通过编译显示为彩色图像,并保存成高精度的图像导出,以便技术人员使用。
后期可通过多种指标,将生成的图像与彩色原图对比,分析图像上色效果。
实施例四
本实施例公开了一种计算机可读存储介质,其存储有计算机程序,运行该计算机程序可执行上述任一实施例中的基于深度卷积自编码器和多重跳层的图像彩色化方法。
实施例五
本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化***,该***包括处理器和实施例四中的计算机可读存储介质,处理器用于运行计算机可读存储介质中的计算机程序,以对待彩色化的图像进行彩色化处理。
实施例六
本实施例公开了一种基于深度卷积自编码器和多重跳层的图像彩色化***,该***用于运行如实施例一~三中任一实施例的方法。
实施例七
本实施例将本发明方法与现有的若干种图像彩色化方法的着色效果进行对比,以凸显本发明方法的优势。
如图9、10、11所示,为本发明方法与其他算法在相应数据集上的图像彩色化效果对比结果。其中,如图9,图10,图11所示,其中(a)、(b)、(c)、(d)、(e)、(f)、(g)分别是灰度图像、彩色源图像、Zhang等人提出的方法、Larsson等人提出的方法,Iizuka等人提出的方法,本发明在RGB彩色空间中提出的方法,和本发明在YUV彩色空间中提出的方法(即最终模型的彩色化效果)。
由图9、10可知,在着色效果上,本发明较其他方法在彩色原图的还原度更高。如图11可知,在着色的清晰度上,本发明较其他方法同样具有较大的优势。
为了更好的对图像彩色化结果进行分析和对比,本发明使用了多种图像效果指标:PSNR、RMSE、SSIM和PEARSON对上色后的图像进行客观评价,并将客观指标数据画成柱状图,以方便参考,如图12,图13,图14,图15所示。其中各图中横坐标分别代表Zhang等人提出的方法、Larsson等人提出的方法、Iizuka等人提出的方法、本发明在RGB彩色空间中提出的方法、本发明在YUV彩色空间中提出的方法。本发明提出的最终方法的彩色化结果在各项客观评价指标上均优于其他方法,这也从客观角度有效地说明了本发明提出方法的彩色化性能要优于其它各种方法。从图中可知,本发明提出的方法在图像细节、清晰度和色彩饱和度方面具有较强竞争力,且和源彩色图像最为接近。在客观指标方面,本方法也同样具有竞争优势,优于大多数对比方案。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (9)
1.一种基于深度卷积自编码器和多重跳层的图像彩色化方法,其特征在于,包括以下步骤:
A.将待彩色化的图像由RGB彩色空间转换到YUV彩色空间,并分离出Y通道数据;
B.复制Y通道数据,与Y通道数据一起构造出两通道数据;
C.利用两通道数据作为深度卷积自编码器的输入,以分别预测出UV通道;其中,深度卷积自编码器由若干重跳层连接组成,包括无跳层的主体连接、三层一次跳层的连接和六层一次跳层的连接中的至少一种;
深度卷积自编码器的无跳层连接表示为:
h=σ(Wx+b),其中x∈Rd是编码器的输入图像,h∈Rd'是潜在表示,W表示权重,b表示偏差,Rd是输入图像的集合,Rd'是输出图像的数据集合,σ(x)是卷积函数,表示学习特征;
深度卷积自编码器的三层一次跳的连接表示为:
F(xl)=h(xl)-xl,其中xl是输入,h(xl)是跳层连接,从高层L到低层l的学习特征表示为:
深度卷积自编码器的六层一次跳的连接表示为:
F(yk)=p(yk)-yk,其中yk是输入,p(yk)是跳层连接,从高层K到低层k的学习特征表示为:
D.将Y通道数据与步骤C中预测出的UV通道数据结合,构造出完整的YUV彩色空间图像;
E.将所述YUV彩色空间图像转换为RGB彩色空间图像,即得到最终的彩色化图像。
3.如权利要求2所述的基于深度卷积自编码器和多重跳层的图像彩色化方法,其特征在于,所述λmse=1,λGrad=0.0001。
4.如权利要求1所述的基于深度卷积自编码器和多重跳层的图像彩色化方法,其特征在于,所述步骤C中,在执行步骤C前,先对两通道数据中各通道数据进行归一化处理。
5.如权利要求4所述的基于深度卷积自编码器和多重跳层的图像彩色化方法,其特征在于,所述归一化处理为将输入的通道数据归一化为128*128像素。
6.如权利要求1所述的基于深度卷积自编码器和多重跳层的图像彩色化方法,其特征在于,步骤C中所用到的深度卷积神经网络的训练参数为:epochs为10000,学习率为0.0001,批大小为32,跳层的卷积核尺寸为2*2。
7.一种计算机可读存储介质,其特征在于,其存储有计算机程序,运行所述计算机程序可执行如权利要求1~6任一所述的方法。
8.一种基于深度卷积自编码器和多重跳层的图像彩色化***,其特征在于,所述***配置有处理器和如权利要求7所述的计算机可读存储介质,所述处理器用于运行所述计算机可读存储介质中存储的计算机程序。
9.一种基于深度卷积自编码器和多重跳层的图像彩色化***,其特征在于,所述***用于运行如权利要求1~6任一所述的基于深度卷积自编码器和多重跳层的图像彩色化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911409982.9A CN111145290B (zh) | 2019-12-31 | 2019-12-31 | 一种图像彩色化方法、***和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911409982.9A CN111145290B (zh) | 2019-12-31 | 2019-12-31 | 一种图像彩色化方法、***和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111145290A CN111145290A (zh) | 2020-05-12 |
CN111145290B true CN111145290B (zh) | 2022-09-20 |
Family
ID=70522486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911409982.9A Active CN111145290B (zh) | 2019-12-31 | 2019-12-31 | 一种图像彩色化方法、***和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111145290B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112164017B (zh) * | 2020-09-27 | 2023-11-17 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于深度学习的偏振彩色化方法 |
CN112802137B (zh) * | 2021-01-28 | 2022-06-21 | 四川大学 | 一种基于卷积自编码器的颜色恒常性方法 |
US11941081B2 (en) | 2021-06-18 | 2024-03-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for training a style model |
CN113724162B (zh) * | 2021-08-31 | 2023-09-29 | 南京邮电大学 | 一种零补光实时全彩夜视成像方法及*** |
CN114862705B (zh) * | 2022-04-25 | 2022-11-25 | 陕西西影数码传媒科技有限责任公司 | 影像色彩修复的图像质量评价方法 |
CN116740211B (zh) * | 2023-06-15 | 2024-01-30 | 云南大学 | 一种面向边缘设备的近红外图像彩色化方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09312776A (ja) * | 1996-05-20 | 1997-12-02 | Seiko Epson Corp | カラーイメージ処理装置 |
CN104978708A (zh) * | 2015-04-24 | 2015-10-14 | 云南大学 | 交互式绝版套色木刻数字合成技术 |
CN105745913A (zh) * | 2013-11-29 | 2016-07-06 | 爱克发印艺公司 | 着色剂分色方法 |
CN107743627A (zh) * | 2015-04-21 | 2018-02-27 | F·吉斯特斯 | 用人造3d重建技术辨识安全图样的方法 |
AU2018100325A4 (en) * | 2018-03-15 | 2018-04-26 | Nian, Xilai MR | A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks |
CN109544662A (zh) * | 2018-11-29 | 2019-03-29 | 文创智慧科技(武汉)有限公司 | 一种基于SRUnet的动漫风格线稿上色方法及*** |
CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10929987B2 (en) * | 2017-08-16 | 2021-02-23 | Nvidia Corporation | Learning rigidity of dynamic scenes for three-dimensional scene flow estimation |
-
2019
- 2019-12-31 CN CN201911409982.9A patent/CN111145290B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09312776A (ja) * | 1996-05-20 | 1997-12-02 | Seiko Epson Corp | カラーイメージ処理装置 |
CN105745913A (zh) * | 2013-11-29 | 2016-07-06 | 爱克发印艺公司 | 着色剂分色方法 |
CN107743627A (zh) * | 2015-04-21 | 2018-02-27 | F·吉斯特斯 | 用人造3d重建技术辨识安全图样的方法 |
CN104978708A (zh) * | 2015-04-24 | 2015-10-14 | 云南大学 | 交互式绝版套色木刻数字合成技术 |
AU2018100325A4 (en) * | 2018-03-15 | 2018-04-26 | Nian, Xilai MR | A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks |
CN109544662A (zh) * | 2018-11-29 | 2019-03-29 | 文创智慧科技(武汉)有限公司 | 一种基于SRUnet的动漫风格线稿上色方法及*** |
CN110349103A (zh) * | 2019-07-01 | 2019-10-18 | 昆明理工大学 | 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法 |
Non-Patent Citations (2)
Title |
---|
Extended Performance Comparison of Pixel Window Size for Colorization of Grayscale Images using YUV Color Space;Dr Mandalapu Sarada Devi;《2012 NIRMA UNIVERSITY INTERNATIONAL CONFERENCE ON ENGINEERING》;20121208;1-5 * |
基于卷积神经网络的多波段融合图像彩色化方法;韩泽等;《测试技术学报》;20180630(第03期);23-28 * |
Also Published As
Publication number | Publication date |
---|---|
CN111145290A (zh) | 2020-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111145290B (zh) | 一种图像彩色化方法、***和计算机可读存储介质 | |
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
Huang et al. | Deep learning for image colorization: Current and future prospects | |
Faridul et al. | A Survey of Color Mapping and its Applications. | |
CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及*** | |
Salmona et al. | Deoldify: A review and implementation of an automatic colorization method | |
CN115187480A (zh) | 一种基于Transformer的图像颜色校正方法 | |
CN115880663A (zh) | 一种低照度环境交通标志检测与识别方法 | |
CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
CN115546505A (zh) | 一种基于深度学习的无监督单目图像深度估计方法 | |
Boutarfass et al. | Improving cnn-based colorization of b&w photographs | |
Kiani et al. | Automatic grayscale image colorization using a deep hybrid model | |
CN117314808A (zh) | 一种结合Transformer与CNN双编码器的红外与可见光图像融合方法 | |
CN117078544A (zh) | 一种基于双重约束生成对抗网络的水下图像增强方法 | |
Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
US11997246B2 (en) | Trained artificial intelligence model for raw to RGB image transformation | |
Kumar et al. | Underwater image enhancement using deep learning | |
CN114862707A (zh) | 一种多尺度特征恢复图像增强方法、装置及存储介质 | |
Zhou et al. | Near-infrared image colorization with weighted UNet++ and auxiliary color enhancement Gan | |
CN116740261B (zh) | 图像重建方法和装置、图像重建模型的训练方法和装置 | |
Kekre et al. | Colorization of grayscale images using LBG VQ codebook for different color spaces | |
CN116152117B (zh) | 一种基于Transformer的井下低光照图像增强方法 | |
Wang et al. | Shed various lights on a low-light image: Multi-level enhancement guided by arbitrary references | |
KR102670870B1 (ko) | 딥러닝 기반 영상 노이즈 저감 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
OL01 | Intention to license declared |