CN115272527A - 基于色盘对抗网络的图像上色方法 - Google Patents
基于色盘对抗网络的图像上色方法 Download PDFInfo
- Publication number
- CN115272527A CN115272527A CN202210924523.XA CN202210924523A CN115272527A CN 115272527 A CN115272527 A CN 115272527A CN 202210924523 A CN202210924523 A CN 202210924523A CN 115272527 A CN115272527 A CN 115272527A
- Authority
- CN
- China
- Prior art keywords
- palette
- color
- image
- generator
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004040 coloring Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims description 28
- 230000003993 interaction Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 101100412102 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) rec2 gene Proteins 0.000 claims description 3
- 101100356020 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) recA gene Proteins 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims 1
- 239000003086 colorant Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000002124 flame ionisation detection Methods 0.000 description 1
- 235000008216 herbs Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- ZFMRLFXUPVQYAU-UHFFFAOYSA-N sodium 5-[[4-[4-[(7-amino-1-hydroxy-3-sulfonaphthalen-2-yl)diazenyl]phenyl]phenyl]diazenyl]-2-hydroxybenzoic acid Chemical compound C1=CC(=CC=C1C2=CC=C(C=C2)N=NC3=C(C=C4C=CC(=CC4=C3O)N)S(=O)(=O)O)N=NC5=CC(=C(C=C5)O)C(=O)O.[Na+] ZFMRLFXUPVQYAU-UHFFFAOYSA-N 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明总的来说涉及图像上色技术领域。具体而言,本发明涉及一种基于色盘对抗网络(PalGAN)的图像上色方法。
背景技术
图像上色是指从灰度图像中预测缺失的色彩信息,其广泛应用于老照片处理和其他视觉编辑应用领域。另外由于图像上色在很大程度上依赖于场景理解,因此其也被用作自我监督学习的代理任务。在图像上色任务中,由于一个输入灰度可能对应于多种可能的颜色变体,因此即使有真实颜色用于监督,从灰度图像中预测像素颜色仍然非常具有挑战性。
下面对现有的图像上色方法做介绍:
用户指引型上色方法包括基于参考图像的指引进行上色的方法,其中将颜色统计信息传输到给定的灰度图像,基于深度学习其可以在神经特征空间中引入语义一致性,当参考图像和输入的灰度图像共享相似的语义时,基于参考图像的指引进行上色的方法表现得很好,但其应用会受到参考检索质量的限制,这一缺陷在处理复杂场景时尤为明显。除了基于参考图像的指引,用户指引型上色方法还包括基于局部颜色提示指引和语言指引进行上色的方法。基于局部颜色提示指引进行上色的方法需要用户以例如涂鸦形式提供足够的局部颜色提示,并且根据局部颜色提示的局部亲和力传播给定的颜色。基于语言指引进行上色的方法通过语言指示使用哪些颜色以及颜色是如何分布的。
基于学***衡和多模态输出。此外可以将额外的输入提示通过模拟集成到学习***中,提供自动和半自动的图像上色方式,还可以基于在非局部建模上的表现力,考率transformer架构。
在利用来自预训练模型的额外先验进行上色的方法中,Su等人(Su J W,Chu H K,Huang J B.Instance-aware image colorization[C]//Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2020:7968-7977.)提出使用现成的检测器利用实例级注释(例如,实例边界框和类),其中使上色模型专注于颜色渲染,而不需要识别高级语义。除了提到的预训练判别模型外,预训练生成模型也可用于提高多样性的上色性能。Wu等人(Wu Y,Wang X,Li Y,et al.Towards vivid and diverseimage colorization with generative color prior[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.2021:14377-14386.)提出从预训练的BigGAN中结合生成颜色,以帮助深度模型产生具有多样性的彩色结果,其中提出了一个额外的编码器,将给定的灰度图像投影到潜在代码中,然后从BigGAN估计彩色图像,借由这样的初步预测,其通过BigGAN中的中间特征进一步细化了颜色结果。Afifi等人(AfifiM,Brubaker M A,Brown M S.Histogan:Controlling colors of gan-generated andreal images via color histograms[C]//Proceedings of the IEEE/CVF conferenceon computer vision and pattern recognition.2021:7941-7950)使用预训练的StyleGAN进行图像重新上色,其中颜色由直方图特征控制。
然而现有技术仍存在下列问题:现有技术通常将上色制定为像素级回归任务,而这会受到多模态表示的影响。例如通过大规模的训练数据和端到端的学***均颜色。针对多模态问题,现有技术提出将颜色预测公式化为像素级颜色分类,其中根据后验概率为每个像素分配多种颜色,然而由于独立的逐像素采样机制,它们存在区域颜色不一致的问题。虽然利用顺序建模的手段可以部分帮助采样问题,当二维扁平像素图元的单向顺序依赖性会导致错误累积并阻碍学习效率。
发明内容
为至少部分解决现有技术中的上述问题,本发明提出一种基于色盘对抗网络的图像上色方法,包括下列步骤:
向所述色盘对抗网络中输入灰度图像L;
在本发明一个实施例中规定,所述色度注意模块包括全局交互模块以及局部描述模块,其中由所述色度注意模块输入特征图F、高层特征图S和灰度图像L,通过所述全局交互模块执行全局交互操作以生成第一特征图Fg,通过所述局部描述模块执行局部描述操作以生成第二特征图Fl,将第一特征图Fg和所述第二特征图Fl融合以生成特征图残差F′,并且将所述特征图残差F′添加回所述特征图F,表示为下式:
在本发明一个实施例中规定,所述全局交互操作包括使用其它区域特征点的加权在所述特征图F中重建每个区域特征点,并根据区域特征点之间的语义相似性计算局部权重,表示为下式:
其中p和q分别表示在所述特征图F内以像素位置p和q为中心的补丁,SK和SQ表示使用卷积从所述高层特征图S转换而来的特征图;以及
所述局部描述操作包括通过局部仿射变换{A,B}将所述灰度图像L映射到对应的ab特征地图,表示为下式:
Fl=A⊙L↓+B
其中⊙表示逐元素乘法运算符、↓表示下采样操作、Ψ表示可学***滑处理,∈表示正数参数。
其中Ca(x)和Cb(x)分别表示a和b通道中像素x的值,k表示核函数,σ表示控制相邻bin的平滑度的参数;以及
其中W表示可学习的线性投影。
其中reconstruction项表示调色板重建的学***衡参数;以及
本发明还提出一种计算机***,包括:
处理器,其被配置为执行机器可执行指令;以及
存储器,其上存储有机器可执行指令,所述机器可执行指令在被处理器执行时执行根据所述方法的步骤。
本发明至少具有如下有益效果:本发明提出一种基于色盘对抗网络的图像上色方法,其中将上色分解为调色板估计和像素分配,可以有效地规避色彩模糊和区域同质性的挑战,支持自然的多样化和可控的上色。本发明针对现有技术中较少研究的颜色相似度,提出了色彩注意的模块来考虑语义和局部细节对应,并且将这种相关性应用于颜色生成,有效减轻了的颜色渗色效果。此外本发明通过颜色归一化可以增强上色的保真度和真实感,进一步提升了生成颜色的多样性。
附图说明
为进一步阐明本发明的各实施例中具有的及其它的优点和特征,将参考附图来呈现本发明的各实施例的更具体的描述。可以理解,这些附图只描绘本发明的典型实施例,因此将不被认为是对其范围的限制。在附图中,为了清楚明了,相同或相应的部件将用相同或类似的标记表示。
图1示出了实现根据本发明的方法的计算机***。
图2示出了本发明一个实施例中一个基于色盘对抗网络的图像上色方法。
图3示出了本发明一个实施例中一个色盘对抗网络的框架示意图。
图4示出了本发明一个实施例中一个色彩注意模块的框架示意图。
具体实施方式
应当指出,各附图中的各组件可能为了图解说明而被夸大地示出,而不一定是比例正确的。在各附图中,给相同或功能相同的组件配备了相同的附图标记。
在本发明中,除非特别指出,“布置在…上”、“布置在…上方”以及“布置在…之上”并未排除二者之间存在中间物的情况。此外,“布置在…上或上方”仅仅表示两个部件之间的相对位置关系,而在一定情况下、如在颠倒产品方向后,也可以转换为“布置在…下或下方”,反之亦然。
在本发明中,各实施例仅仅旨在说明本发明的方案,而不应被理解为限制性的。
在本发明中,除非特别指出,量词“一个”、“一”并未排除多个元素的场景。
在此还应当指出,在本发明的实施例中,为清楚、简单起见,可能示出了仅仅一部分部件或组件,但是本领域的普通技术人员能够理解,在本发明的教导下,可根据具体场景需要添加所需的部件或组件。另外,除非另行说明,本发明的不同实施例中的特征可以相互组合。例如,可以用第二实施例中的某特征替换第一实施例中相对应或功能相同或相似的特征,所得到的实施例同样落入本申请的公开范围或记载范围。
在此还应当指出,在本发明的范围内,“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等,而是允许一定的合理误差,也就是说,所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。以此类推,在本发明中,表方向的术语“垂直于”、“平行于”等等同样涵盖了“基本上垂直于”、“基本上平行于”的含义。
另外,本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出,各方法步骤可以以不同顺序执行。
下面结合具体实施方式参考附图进一步阐述本发明。
图1示出了实现根据本发明的方法的计算机***100。如非特殊说明,根据本发明的方法可以在图1所示的计算机***100中执行以实现本发明目的,或者本发明可以在多个根据本发明的计算机***100中通过网络、如局域网或因特网分布式地实现。本发明的计算机***100可以包括各种类型的计算机***、例如手持式设备、膝上型计算机、个人数字助理(PDA)、多处理器***、基于微处理器或可编程消费者电子设备、网络PC、小型机、大型机、网络服务器、平板计算机等等。
如图1所示,计算机***100包括处理器111、***总线101、***存储器102、视频适配器105、音频适配器107、硬盘驱动器接口109、光驱接口113、网络接口114、通用串行总线(USB)接口112。***总线101可以是若干种总线结构类型的任一种,例如存储器总线或存储器控制器、***总线以及使用各类总线体系结构的局部总线。***总线101用于各个总线设备之间的通信。除了图1中所示的总线设备或接口以外,其它的总线设备或接口也是可设想的。***存储器102包括只读存储器(ROM)103和随机存取存储器(RAM)104,其中ROM 103例如可以存储用于在启动时实现信息传输的基本例程的基本输入/输出***(BIOS)数据,而RAM 104用于为***提供存取速度较快的运行内存。计算机***100还包括用于对硬盘110进行读写的硬盘驱动器109、用于对诸如CD-ROM之类的光介质进行读写光驱接口113等等。硬盘110例如可以存储有操作***和应用程序。驱动器及其相关联的计算机可读介质为计算机***100提供了计算机可读指令、数据结构、程序模块和其它数据的非易失性存储。计算机***100还可以包括用于图像处理和/或图像输出的视频适配器105,其用于连接显示器106等输出设备。计算机***100还可以包括用于音频处理和/或音频输出的音频适配器107,其用于连接扬声器108等输出设备。此外,计算机***100还可以包括用于网络连接的网络接口114,其中网络接口114可以通过诸如路由器115之类的网络装置连接到因特网116,其中所述连接可以是有线或无线的。另外,此外,计算机***100还可以包括用于连接***设备的通用串行总线接口(USB)112,其中所述***设备例如包括键盘117、鼠标118以及其它***设备、例如麦克风、摄像头等。
当本发明在图1所述的计算机***100上实现时,可以将上色分解为调色板估计和像素分配,有效地规避色彩模糊和区域同质性的挑战,支持自然的多样化和可控的上色。
此外,可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可读介质的计算机程序产品,这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时,可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(紧致盘只读存储器)和磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。
此外,可以作为计算机程序产品下载各实施例,其中可以经由通信链路(例如,调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如,服务器)传输给请求计算机(例如,客户机)。因此,在此所使用的机器可读介质可以包括这样的载波,但这不是必需的。
图2示出了本发明一个实施例中一个基于色盘对抗网络的图像上色方法的流程示意图。如图2所示,该方法可以包括下列步骤:
步骤202、向所述色盘对抗网络中输入灰度图像L。
图3示出了本发明一个实施例中一个色盘对抗网络的框架示意图。如图3所示,PalGAN旨在为灰度图像上色,其将上色分解为调色板预测和颜色分配问题。与大多数基于学习的方法采用的直接学习从灰度到颜色的像素到像素映射相比,这种求解方式不仅带来了上色效果上改进,而且使得能够通过调整或正则化调色板来操纵全局颜色。
调色板生成器估计给定灰度图像的全局调色板概率,表示为可以使用2D色度直方图来表示调色板概率(和表示a和b轴),对色彩信息统计进行建模,而不是学习确定性统计信息。在调色板生成器中是一个具有多个卷积层和几个多层感知(MLP)的编码器网络,以sigmoid函数结束。前者是提取特征,后者是将空间特征转换为直方图(向量形式)。通过直方图形式的调色板的显式表示,它仅使全局颜色分布更可预测,而且可以引入适当的正则化来进行操作。
现有技术中用户指引型上色已经证明了利用参考图像的颜色直方图对图像进行上色的有效性。与现有技术相比本发明是合成一个以输入灰度为条件的调色板直方图,而不是从用户指定的参考图像中获取。这使得本方法成为一个独立的全自动上色***,而不依赖于任何外部指导(即参考图像)来工作,另外,估计每个特定灰度的调色板直方图可以为上色过程提供比在野外选择的参考图像更准确和有指导意义的信息。
调色板分配生成器通过条件图像生成进行颜色分配任务,其根据调色板直方图和额外的潜在代码z(从正态分布采样)生成相应的ab,表示为调色板分配生成器是一个卷积生成器,由图像翻译中使用的常见残差块以及定制的调色板归一化(PN)层和色度注意(CA)模块组成。调色板归一化旨在促进生成的色彩通道与调色板指导的一致性,该指导与每个Batch Normalization层一起使用。具体来说,PN层首先对其输入特征进行归一化,然后执行由参数化的仿射变换(其中g(.)是全连接层)。
图4示出了本发明一个实施例中一个色彩注意模块的框架示意图。所述色彩注意模块可以明确地将颜色亲和力与其相应的语义和低级特征对齐,从而有效地减轻潜在的颜色渗色或语义误解。
色度注意模块将语义和低级相似性结合到构建颜色关系中,而这是是通过全局交互和局部描述子模块实现的。具体来说,CA的输入是高分辨率特征图F(大小为来自)、高层特征图S和调整大小的灰色输入L。它分别从全局交互和局部描绘中输出两个特征图Fg和Fl,并将它们融合成特征图残差,添加回输入特征图,表示为下式:
在全局交互子模块中使用其他特征点的加权和从输入特征图中重建每个区域特征点,并根据它们的语义相似性计算这种局部权重。形式上,它写成其中p和q分别表示以F内的像素位置p和q为中心的补丁。并且wpq是根据从输入灰度图像中学习到的高级特征图中的区域交互来计算的。区域特征交互通过归一化区域特征之间的余弦相似度来衡量,表示为下式:
虽然纹理和边缘的颜色变化很微妙,但忽略这些细微的差异会导致明显的视觉退化。为了保留这些细节,可以通过局部描述子模块来补充全局交互。假设局部颜色亲和度与其对应的强度呈线性相关,可以引导过滤器方式学习这种局部关系,它很好地保留了引导的边缘。局部描述子模块计算一个可学习的局部仿射变换以便将灰度图像映射到其对应的ab特征地图,表示为下式:
Fl=A⊙L↓+B
其中⊙是逐元素乘法运算符,↓是下采样操作以确保L的空间大小与Fl相同。{A,B}由L和F之间的可学习局部相关性参数化,表示为下式:
其中Ψ是由小型卷积网络参数化的可学***滑版本。∈是一个小的正数,用于计算稳定性。
为了进一步确保所提出的调色板分配生成器对给定的调色板做出响应,可以最小化从预测的色彩通道中提取的调色板与从相应的地面实况中提取的调色板之间的差异。然而,由于硬阈值来自图像的常见直方图是不可微的,可以将调色板直方图视为a和b上的联合分布,由核的加权和表示。
形式上,颜色直方图表示为:
其中Ca(x)和Cb(x)分别表示a和b通道中像素x的值。k是用于测量(Ca(x),Cb(x))和给定(a,b),$Z$之间差异的核函数是归一化因子。可以采用反二次核,表示为下式:
其中σ控制相邻bin的平滑度。根据经验σ=0.1效果最好。
为了使预测颜色多样化可以引入调色板正则化,以便对抗颜色分布不平衡带来的暗淡颜色。一方面,可以采用概率调色板形式的ab直方图来测量预测颜色图和地面实况中的颜色分布。将它们的差异最小化明确地考虑了不同的颜色比例,避免收敛到几个占主导地位的比例。另一方面,可以通过增加稀有颜色的可能性(在训练样本中进行统计)来使产生的颜色多样化。可以利用概率调色板的熵来控制这种多样性。形式上,的熵表示为为了提高的颜色多样性可以最大化
颜色鉴别器可以改善对抗训练的结果,其中以条件投影方式将调色板合并到鉴别器中。可以使用卷积鉴别器D,将输入(ab图像与其转换后的RGB图像之间的连接)转换为一维特征g∈R256×1。然后通过内积将这种特征与调色板融合在一起。输入真实性的可能性如下:
可以使用不同的优化目标训练调色板估计和分配。对于调色板估计,关于调色板重建和正则化的学习如下式所示:
其中λrec1和λrg平衡了不同术语的影响,分别设置为5.0和1.0。
调色板分配的优化目标由像素级回归、调色板重建和对抗训练形成,如:
对于使用的对抗性损失可以采用hinge损失版本,它的生成器训练目标表示为下式:
判别器的优化目标表示为下式:
其中PI表示rgb图像分布,C是从I转换而来的。
可以以渐进的方式联合训练调色板生成器和调色板分配生成器具体来说,对于{Li}到的输入,是 其中1是一个指示函数,如果它的条件成立,则值为1,否则为0。ph是从均匀分布中采样的。可以从τ=1开始训练,然后在接近学习结束时将其线性减少到0。
可以使用谱归一化并在训练中使用两个时间尺度的更新规则(生成器和鉴别器的学习率分别为1e-4和4e-4来稳定学习.使用β1=0和β1=0.9的Adam优化器。对于应用的批量标准化,可以采用同步版本。在ImageNet的训练集上训练本方法,一共使用8个TiTAN2080ti过了40遍训练数据,批量大小为64。训练中的图像从调整大小的图像中随机裁剪为固定大小(256×256),纵横比不变。在测试中,可以将图像大小调整为256×256个并进行评估。
可以评估本方法以及ImageNet和COCO-Stuff上的现有代表性作品。在ImageNet上,采用两种评估协议。一种是按照(Larsson G,Maire M,Shakhnarovich G.Learningrepresentations for automatic colorization[C]//European conference oncomputer vision.Springer,Cham,2016:577-593)中的协议评估其验证数据(有50K张图片)的选择性子集ctest10k(有10K张图片)上的所有方法。另一个是在完整的验证集上运行。对于COCO-Stuff,可以在其5K验证图像上测试所有方法。
可以将本方法与现有的基于学习的上色方法进行比较,现有的基于学习的上色方法包括Deoldify、ClColor、UGColor、视频上色、InstColor、ColTrans和GPColor,其中注意InstColor是通过预训练的对象检测模型(需要标签和边界框)学习的,而GPColor利用预训练的(在带有标签的ImageNet上)BigGAN。对于包括本方法在内的其他方法仅使用成对的灰色彩色图像进行训练,对于UGColor使用不使用颜色提示的全自动版本。。
可以采用像素级相似性度量PSNR、SSIM、图像级感知度量LPIPS和FrechetInception Distance(FID)来定量评估上色结果。与PSNR和SSIM相比,LPIPS和FID更符合人工评估。
与其他方法相比,本发明提出的Pal GAN在ImageNet(FID:4.60and 2.78,LPIPS:0.161and 0.161from ctest10K和val50K)和COCO-Stuff(FID:7.70,LPIPS:0.148)没有利用任何注释或提示,这优于其他方法,其验证了结果的真实性和多样性的优越性。并且本方法还获得了具有竞争力的保真度分数(PSNR和SSIM),其显示了PalGAN良好的颜色恢复能力。如果给定地面实况调色板,本方法可以提供令人印象深刻的保真度性能以及生成性能,其显示了本方法的上限性能以供参考。考虑到保真度和感知结果之间的权衡,可以在所有基准测试中获得两全其美的结果。
此外考虑到语义对应和局部梯度变化,本方法的上色结果给出了自然、多样和精细的颜色预测。由于色彩注意力,与其他方法相比,它较少遭受常见的颜色渗色。
此外可以对现有的方法和本方法进行人工评估,其中根据(Zhang R,lsola P,Efros A A.Colorful image colorization[C]//European conference on computervision.Springer,Cham,2016:649-666.)和(Kumar M,Weissenborn D,KalchbrennerN.Colorization transformer[J].arXiv preprint arXiv:2102.04432,2021.)中的协议进行上色图灵测试。具体来说,地面实况彩色图像及其相应的上色结果(来自本方法的或其他方法)以随机顺序提供给20个参与者。这些参与者需要在不超过2秒的时间内确定哪个比另一个更现实。每种方法有40个上色预测,从lmageNet ctest10k中随机选择标签。在测试中本方法以很大的优势击败了竞争对手。
尽管本方法是使用合成数据以自我监督的方式进行训练的,但它也可以很好地处理现实世界的黑白历史图片,其中对颜色边界和一致性得到了很好的处理,在对象和肖像上效果很好。此外也可以通过使用来自参考颜色图像的调色板来进行基于参考(或基于示例)的上色,即使使用与输入没有语义相关性的图像调色板,PalGAN仍然可以根据给定图像的语义很好地调整给定的颜色分布,保持颜色区域一致。
在本发明的其它实施例中,色度注意力可以换成常用的全局自注意力;色盘(图像在Lab颜色空间下ab通道的统计量)可以替换成其他颜色特征如颜色聚合向量,将所有像素的颜色向量聚类成k类,然后k个每类的中值或者均值可以当成颜色特征;调色板生成器可以从一般的逐渐降采样的图像编码器改成保持分辨率最后降维的图像编码器或者U型网络结构;调色板分配生成器也可以从一般的逐渐上采样的图像解码器改成U型网络结构,其中采用的先上采样再卷积的操作可以由转置卷积替换。
尽管上文描述了本发明的各实施例,但是,应该理解,它们只是作为示例来呈现的,而不作为限制。对于相关领域的技术人员显而易见的是,可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此,此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制,而应当仅根据所附权利要求书及其等同替换来定义。
Claims (10)
10.一种计算机***,其特征在于,包括:
处理器,其被配置为执行机器可执行指令;以及
存储器,其上存储有机器可执行指令,所述机器可执行指令在被处理器执行时执行根据权利要求1-9之一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210924523.XA CN115272527B (zh) | 2022-08-02 | 2022-08-02 | 基于色盘对抗网络的图像上色方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210924523.XA CN115272527B (zh) | 2022-08-02 | 2022-08-02 | 基于色盘对抗网络的图像上色方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115272527A true CN115272527A (zh) | 2022-11-01 |
CN115272527B CN115272527B (zh) | 2024-08-13 |
Family
ID=83746591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210924523.XA Active CN115272527B (zh) | 2022-08-02 | 2022-08-02 | 基于色盘对抗网络的图像上色方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115272527B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3142024A1 (fr) * | 2022-11-14 | 2024-05-17 | Lynred | Procede de colorisation d’une image infrarouge |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730568A (zh) * | 2017-10-31 | 2018-02-23 | 山东师范大学 | 基于权重学习的着色方法和装置 |
CN109859288A (zh) * | 2018-12-25 | 2019-06-07 | 北京飞搜科技有限公司 | 基于生成对抗网络的图像上色方法及装置 |
WO2019153741A1 (zh) * | 2018-02-07 | 2019-08-15 | 京东方科技集团股份有限公司 | 图像着色方法和装置 |
CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
-
2022
- 2022-08-02 CN CN202210924523.XA patent/CN115272527B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730568A (zh) * | 2017-10-31 | 2018-02-23 | 山东师范大学 | 基于权重学习的着色方法和装置 |
WO2019153741A1 (zh) * | 2018-02-07 | 2019-08-15 | 京东方科技集团股份有限公司 | 图像着色方法和装置 |
CN109859288A (zh) * | 2018-12-25 | 2019-06-07 | 北京飞搜科技有限公司 | 基于生成对抗网络的图像上色方法及装置 |
CN111524205A (zh) * | 2020-04-23 | 2020-08-11 | 北京信息科技大学 | 基于循环生成对抗网络的图像着色处理方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3142024A1 (fr) * | 2022-11-14 | 2024-05-17 | Lynred | Procede de colorisation d’une image infrarouge |
WO2024105312A1 (fr) * | 2022-11-14 | 2024-05-23 | Lynred | Procede de colorisation d'une image infrarouge |
Also Published As
Publication number | Publication date |
---|---|
CN115272527B (zh) | 2024-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | PDR-Net: Perception-inspired single image dehazing network with refinement | |
Fu et al. | Uncertainty inspired underwater image enhancement | |
Lim et al. | DSLR: Deep stacked Laplacian restorer for low-light image enhancement | |
CN107818554B (zh) | 信息处理设备和信息处理方法 | |
Bellavia et al. | Dissecting and reassembling color correction algorithms for image stitching | |
CN109949255A (zh) | 图像重建方法及设备 | |
Kolesnikov et al. | PixelCNN models with auxiliary variables for natural image modeling | |
CN112581370A (zh) | 人脸图像的超分辨率重建模型的训练及重建方法 | |
CN112132739A (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
Saleh et al. | Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement | |
Hu et al. | Face hallucination from low quality images using definition-scalable inference | |
Wang et al. | PalGAN: Image colorization with palette generative adversarial networks | |
Zheng et al. | Truncated low-rank and total p variation constrained color image completion and its moreau approximation algorithm | |
Ahmed et al. | PIQI: perceptual image quality index based on ensemble of Gaussian process regression | |
Liu et al. | Hallucinating color face image by learning graph representation in quaternion space | |
Chaurasiya et al. | Deep dilated CNN based image denoising | |
CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
CN116740261B (zh) | 图像重建方法和装置、图像重建模型的训练方法和装置 | |
CN112651333A (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
Yang et al. | Blind image quality assessment of natural distorted image based on generative adversarial networks | |
Xu et al. | Generative image completion with image-to-image translation | |
Liu et al. | Attentive semantic and perceptual faces completion using self-attention generative adversarial networks | |
CN115272527A (zh) | 基于色盘对抗网络的图像上色方法 | |
Pajot et al. | Unsupervised adversarial image inpainting | |
Chen et al. | Face super resolution based on parent patch prior for VLQ scenarios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |