CN115131447A - 图像着色方法、装置、设备及存储介质 - Google Patents

图像着色方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115131447A
CN115131447A CN202210045016.9A CN202210045016A CN115131447A CN 115131447 A CN115131447 A CN 115131447A CN 202210045016 A CN202210045016 A CN 202210045016A CN 115131447 A CN115131447 A CN 115131447A
Authority
CN
China
Prior art keywords
image
color
images
gray level
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210045016.9A
Other languages
English (en)
Inventor
叶年进
饶青
贾澜鹏
颉毅
赵龙
陈现岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202210045016.9A priority Critical patent/CN115131447A/zh
Publication of CN115131447A publication Critical patent/CN115131447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于图像处理技术领域，提供了图像着色方法、装置、设备及存储介质，包括：获取特定场景下的灰度图像；确定与灰度图像对应的参考图像；将灰度图像和参考图像输入到已训练的图像着色模型中处理，得到灰度图像对应的彩色图像。上述方案中，获取特定场景下的灰度图像，确定该灰度图像对应的参考图像。由于确定的参考图像与灰度图像的图像场景一致，使确定的参考图像更准确，进而在通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到成像效果好、质量高的彩色图像，实现了对灰度图像快速、准确、高质量地着色。

Description

图像着色方法、装置、设备及存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及图像着色方法、图像着色装置、图像着色设备及存储介质。
背景技术
图像着色是指对灰度图像进行合理的色彩填充，从而得到一张彩色图像。在图像着色过程中，单个灰度图像可能对应许多合理的彩色图像。因此，传统的着色模型通常依赖于用户输入(如用户指定整张图像的颜色)以及输入的灰度图像内容，实现图像着色。
随着计算机的发展，近年来，深度神经网络在自动图像着色方面取得了显着的成功——从灰度到彩色，无需额外的人工干预，即可以通过参考彩色图像对灰度图像进行相似风格着色。然而，这种图像着色方式，由于选取的参考图像不准确，导致在对灰度图像着色时，得到的彩色图像成像效果差、质量低。
发明内容
有鉴于此，本申请实施例提供了图像着色方法、图像着色装置、图像着色设备及存储介质，以解决现有的图像着色方式，由于选取的参考图像不准确，导致在对灰度图像着色时，得到的彩色图像成像效果差、质量低的问题。
本申请实施例的第一方面提供了一种图像着色方法，该图像着色方法包括：
获取特定场景下的灰度图像；确定与所述灰度图像对应的参考图像，所述参考图像与所述灰度图像的图像场景一致；将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像；所述图像着色模型是基于多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像之间的对应关系训练得到的。
第一方面提供的图像着色方法，获取特定场景下的灰度图像，确定该灰度图像对应的参考图像。由于确定的参考图像与灰度图像的图像场景一致，使确定的参考图像更准确，进而在通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到成像效果好、质量高的彩色图像，实现了对灰度图像快速、准确、高质量地着色。
可选地，在一种可能的实现方式中，所述将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像，包括：
确定所述灰度图像对应的第一亮度通道图；确定所述参考图像对应的第二亮度通道图和ab通道图；通过所述图像着色模型、所述第一亮度通道图以及所述第二亮度通道图，确定所述灰度图像和所述参考图像之间的相似度特征；转换所述ab通道图，得到目标ab通道图；通过所述图像着色模型提取所述第一亮度通道图中的亮度通道特征、所述相似度特征中的高维特征以及所述目标ab通道图中的ab通道特征；将所述亮度通道特征、所述高维特征以及所述ab通道特征融合，得到所述彩色图像。
在该实现方式中，一方面由于参考图像非常准确，即参考图像中的图像场景与灰度图像中的图像场景一致，另一方面通过已训练的图像着色模型可以快速提取到参考图像和灰度图像中准确、丰富的深层特征，进而根据提取到的特征更好地为灰度图像着色，高度还原灰度图像的色彩，从而得到成像效果好、质量高的彩色图像。
可选地，在一种可能的实现方式中，所述通过所述图像着色模型、所述第一亮度通道图以及所述第二亮度通道图，确定所述灰度图像和所述参考图像之间的相似度特征，包括：
通过所述图像着色模型，提取所述第一亮度通道图和所述第二亮度通道图分别对应的高阶特征；采用预设算法计算所述灰度图像和所述参考图像之间的位移特征；根据所述高阶特征和所述位移特征，确定所述相似度特征。
在该实现方式中，通过图像着色模型可以快速提取到第一亮度通道图和第二亮度通道图中准确、丰富的深层特征，计算灰度图像和参考图像之间的位移特征，再根据高阶特征和位移特征，确定相似度特征，提升了相似度特征的准确性。
可选地，在一种可能的实现方式中，所述确定与所述灰度图像对应的参考图像，包括：
在预设数据库中查找多个候选参考图像；计算每个所述候选参考图像与所述灰度图像的相似度；根据每个所述相似度，对所述多个候选参考图像排序；根据排序结果，在所述多个候选参考图像中确定所述参考图像。
在该实现方式中，将预先采集的与灰度图像的图像场景一致的多个彩色图像作为多个候选参考图像，并存储在预设数据库中。计算候选参考图像与待着色的灰度图像之间的相似度，选取相似度最高或者相似度靠前的候选参考图像作为灰度图像的参考图像，便于后续通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到高质量的彩色图像。
可选地，在一种可能的实现方式中，所述确定与所述灰度图像对应的参考图像，包括：
在显示界面显示所述多个候选参考图像；接收用户的选择操作，所述选择操作用于在所述多个候选参考图像中确定所述参考图像。
在该实现方式中，提供了交互界面，用户可通过该交互界面自行选择参考图像，提升了用户的交互体验。同时，由于用户能够直观地看到显示的多个候选参考图像的图像内容，可以在多个候选参考图像中，准确地选取出与灰度图像的图像场景一致的参考图像，便于后续通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到高质量的彩色图像。
可选地，在一种可能的实现方式中，所述将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像之前，所述图像着色方法还包括：
获取样本训练集，所述样本训练集包括多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像；将所述样本训练集中的所述样本灰度图像和所述样本彩色图像输入训练前的图像着色模型中处理，得到所述样本灰度图像对应的测试彩色图像；基于预设的损失函数计算所述测试彩色图像对应的损失值，所述损失函数包括色度损失函数和感知损失函数；当所述损失值不满足预设条件时，调整训练中的图像着色模型的模型参数，并利用所述样本训练集继续训练所述训练中的图像着色模型；当所述损失值满足预设条件时，停止训练所述训练中的图像着色模型，并将训练后的图像着色模型作为所述已训练的图像着色模型。
在该实现方式中，在训练图像着色模型的过程中，一方面在获取样本训练集时，采用的样本彩色图像与样本灰度图像的图像场景一致，利用这样的样本训练集进行训练，使训练得到的图像着色模型学到了优秀的基于准确的样本彩色图像对样本灰度图像的能力。另一方面，通过控制色度损失和感知损失两部分损失，使训练好的图像着色模型无论在着色的准确性，还是着色的合理性方面都非常优秀，进而后续根据该已训练的图像着色模型对灰度图像进行着色时，处理速度更快，着色效果更好。
可选地，在一种可能的实现方式中，所述将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像之后，所述图像着色方法还包括：
调整所述彩色图像的色彩属性，得到改变色彩后的目标彩色图像，所述色彩属性包括饱和度、明度以及色相。
在该实现方式中，用户可根据自己的喜好调节彩色图像的色彩，实现了快速改变彩色图像的整体色彩，实现了快速更换车舱内饰配色，丰富了彩色图像的色彩，使其有多种显示效果，提升了用户体验。
本申请实施例的第二方面提供了一种图像着色装置，包括：
获取单元，用于获取特定场景下的灰度图像；
确定单元，用于确定与所述灰度图像对应的参考图像，所述参考图像与所述灰度图像的场景一致；
处理单元，用于将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像；所述图像着色模型是基于多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像之间的对应关系训练得到的。
本申请实施例的第三方面提供了一种图像着色设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像着色方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的图像着色方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在图像着色设备上运行时，使得该图像着色设备执行上述第一方面所述的图像着色方法的步骤。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例提供的图像着色方法的示意性流程图；
图2是本申请另一示例性实施例示出的一种图像着色方法的步骤S103的具体流程图；
图3是本申请示出的图像着色模型的结构图；
图4是本申请又一示例性实施例示出的一种图像着色方法的步骤S1033的具体流程图；
图5是本申请再一示例性实施例示出的训练图像着色模型的方法的具体流程图；
图6是本申请一实施例提供的一种图像着色装置的示意图；
图7是本申请另一实施例提供的图像着色设备的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为更好地理解本申请实施例，以下对实施例中可能涉及的术语或概念进行介绍。
1.灰度图像(gray image)
或称灰度数字图像。是指每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑白两种颜色，而灰度图像在黑色与白色之间还有许多级的颜色深度。
2.彩色图像
是指每个像素由红(R)、绿(G)、蓝(B)分量构成的图像。其中R、G、B是由不同的灰度级来描述的。
3.乘客监控***(Occupancy Monitoring System，OMS)
OMS可以监测车舱内乘客的感知数据，并通过该感知数据进一步提升汽车的安全性能。例如，可以通过OMS帮助判断车内乘客是否已经安全坐好、是否有儿童或宠物单独遗留、乘客是否系安全带等。OMS中包含摄像头，可通过摄像头采集车舱的图像。
4.神经网络(neural network，NN)
在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经***，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络可以包括卷积神经网络(convolutional neural network，CNN)、深度神经网络(deep neuralnetwork，DNN)、多层感知器(multilayer perceptron，MLP)等神经网络。
近年来，图像着色应用越来越广泛。例如，对以前的黑白图像进行图像着色处理，以恢复黑白图像的色彩。又例如，车主想要记录车舱内的情况，可以通过拍摄车舱的图像实现。然而，在夜间行车时，车舱内光线较弱，使用闪光灯或者其他灯光照亮车舱进行拍摄，会影响行车安全。这种情况下，可以通过OMS中的摄像头采集车舱的灰度图像，对该灰度图像进行图像着色处理，得到彩色的车舱图像。
现有技术中，以彩色图像为参考，利用深度神经网络对灰度图像进行相似风格着色。然而，这种图像着色方式，随机选取的参考图像与待着色的灰度图像背景差异较大，导致在对弱光/无光条件下产生的灰度图像着色时，得到的彩色图像成像效果差、质量低。
有鉴于此，本申请实施例提供了一种图像着色方法，获取特定场景下的灰度图像，确定该灰度图像对应的参考图像。由于确定的参考图像与灰度图像的图像场景一致，使确定的参考图像更准确，进而在通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到成像效果好、质量高的彩色图像，实现了对灰度图像快速、准确、高质量地着色。
请参见图1，图1是本申请一示例性实施例提供的图像着色方法的示意性流程图。本申请提供的图像着色方法的执行主体为图像着色设备，其中，该图像着色设备包括但不限于车载电脑、平板电脑、计算机、个人数字助理(Personal Digital Assistant，PDA)、等设备，还可以包括各种类型的服务器。例如，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务。
如图1所示的图像着色方法可包括：S101～S103，具体如下：
S101：获取特定场景下的灰度图像。
示例性地，特定场景可以包括弱光环境、无光环境、暗光环境等。相应地，灰度图像可包括在弱光、无光或暗光环境下采集的图像。例如，灰度图像可以包括在弱光、无光或暗光环境下采集的车舱的图像、地下车库的图像等。
例如，汽车在隧道行驶或者夜间行车时，车舱内光线较弱，可以通过OMS中的摄像头采集车舱的灰度图像。通过OMS将车舱的灰度图像发送至图像着色设备，图像着色设备接收车舱的灰度图像。或者，将OMS预先部署在图像着色设备中，通过图像着色设备控制OMS中的摄像头采集车舱的灰度图像。此处仅为示例性说明，对此不做限定。
又例如，通常地下车库光线较弱，在偏僻的位置甚至无光，可以通过预先安装在地下车库的监控摄像头采集地下车库的图像，将地下车库的图像发送至图像着色设备，图像着色设备接收该图像。
可选地，在一种可能的实现方式中，车舱内光线较弱时，也可以通过OMS中的摄像头采集车舱的彩色图像。通过OMS将车舱的彩色图像发送至图像着色设备，图像着色设备接收到车舱的彩色图像后，将弱光环境下采集的车舱的彩色图像转换为灰度图像。
例如，获取弱光环境下采集的车舱的彩色图像中每个像素点对应的R、G、B值，通过第一转换公式对每个像素点对应的R、G、B值进行计算，得到每个像素点对应的灰度值。将灰度值赋值到新图像的相应位置，所有像素点遍历一遍后得到的新图像即为灰度图像。第一转换公式如下：
Grey＝0.299*R+0.587*G+0.114*B,(1)
上述(1)式中，Grey表示每个像素点对应的灰度值，R表示每个像素点对应红色通道值、G表示每个像素点对应绿色通道值、B表示每个像素点对应蓝色通道值。
可选地，在一种可能的实现方式中，获取特定场景下的灰度图像这一操作可以由用户触发。例如，用户在图像着色设备的显示界面点击获取灰度图像的选项，图像着色设备接收到用户的该操作后，获取特定场景下的灰度图像。
可选地，也可以预先设置获取条件，当满足获取条件时，自动获取灰度图像。例如，获取条件可以包括：检测到当前时间晚于20:30时，自动获取灰度图像；检测到车舱内的光照强度低于预设强度阈值时，自动获取灰度图像等。此处仅为示例性说明，对此不做限定。
S102：确定与灰度图像对应的参考图像。
示例性地，参考图像为彩色图像。参考图像与灰度图像的图像场景一致。例如，灰度图像采集的是车舱这一场景的图像，参考图像也是采集的同一车舱这一场景的图像。又例如，灰度图像采集的是地下车库这一场景的图像，参考图像也是采集的同一地下车库这一场景的图像。
不同的是，参考图像与灰度图像在采集时光线环境不同。例如，参考图像包括在光线充足环境下采集的图像。具体地，参考图像可以包括在光线充足环境下采集的车舱的图像、地下车库的图像等。
例如，白天车舱内光线充足，可以通过OMS中的摄像头采集多个车舱的彩色图像。通过OMS将车舱的彩色图像发送至图像着色设备，图像着色设备接收车舱的彩色图像。或者，将OMS预先部署在图像着色设备中，通过图像着色设备控制OMS中的摄像头采集多个车舱的彩色图像。此处仅为示例性说明，对此不做限定。
值得说明的是，参考图像与灰度图像的图像场景一致，是指场景大致相同，场景中的细节可不相同。例如，灰度图像与参考图像采集的是同一车舱的图像即可，对车舱内的乘客人数、乘客配饰、乘客衣服等是否相同不做限定。
可选地，在本申请一些可能的实现方式中，上述S102可以包括S1021～S1024，具体如下：
S1021：在预设数据库中查找多个候选参考图像。
示例性地，候选参考图像为在光线充足环境下采集的彩色图像。每个灰度图像对应有一个或多个候选参考图像。灰度图像以及该灰度图像对应的候选参考图像，可以理解为，在不同光线条件下，采集同一环境得到的一组图像。
例如，对于同一辆汽车，在弱光或无光条件下采集该汽车车舱内的图像，得到车舱的灰度图像。在光线充足条件下采集多个该汽车车舱内的图像，得到多个彩色图像，这些彩色图像即为该灰度图像对应的候选参考图像。
又例如，对于同一个地下车库，在弱光或无光条件下采集该地下车库的图像，得到地下车库的灰度图像。在光线充足条件下采集多个该地下车库的图像，得到多个彩色图像，这些彩色图像即为该灰度图像对应的候选参考图像。
值得说明的是，在光线充足条件下采集彩色图像时，应尽可能覆盖各种场景细节。例如，在光线充足条件下采集汽车车舱内的图像时，根据车舱内乘客的数量、年龄、发型、配饰、体型、衣着、车舱内的内饰(如座椅颜色、座椅数量、方向盘颜色等)以及车舱内放置的物体等的变化，抓拍不同的彩色图像。
在该实现方式中，将采集的这些彩色图像作为候选参考图像。由于采集的是同一汽车的车舱图像，且覆盖了不同场景细节，便于后续在这些候选参考图像中，选取出的参考图像与灰度图像场景完全相同或高度相似，进而通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到高质量的彩色图像。
将多个候选参考图像预先存储在预设数据库中。可选地，可将多个候选参考图像在预设数据库中分类存储。例如，根据汽车型号对多个候选参考图像进行分类，将同一汽车型号对应的多个候选参考图像存储在一个文件夹中。在该实现方式中，便于后续对该汽车型号的灰度图像着色时，在该文件夹中能够快速确定参考图像。
又例如，根据车主的身份信息对多个候选参考图像进行分类，将采集同一车主的车舱的图像得到的多个候选参考图像存储在一个文件夹中。在该实现方式中，便于后续对该车主的车舱的灰度图像着色时，在该文件夹中能够快速确定参考图像，且确定的参考图像与灰度图像场景完全相同或高度相似。进而便于后续通过图像着色模型处理时，得到成像效果好、质量高的彩色图像。
可选地，为了保护用户的隐私，在光线充足环境下采集彩色图像时，需要预先取得用户的授权。例如，在图像着色设备的显示界面弹出提示信息，该提示信息用于提示用户授予采集彩色图像操作。
可选地，也可以是图像着色设备在获取到光线充足环境下采集的彩色图像时，对彩色图像中的敏感信息进行打码处理。此处仅为示例性说明，对此不做限定。
S1022：计算每个候选参考图像与灰度图像的相似度。
示例性地，当预设数据库中的多个候选参考图像未分类存储时，直接在预设数据库中查找所有的候选参考图像。
当预设数据库中的多个候选参考图像分类存储时，获取当前的灰度图像对应的汽车型号，根据该汽车型号在预设数据库中查询与该汽车型号匹配的多个候选参考图像。或者，获取当前的灰度图像对应的车主的身份信息，根据该身份信息在预设数据库中查询与该身份信息匹配的多个候选参考图像。此处仅为示例性说明，对此不做限定。
根据获取到的多个候选参考图像，计算每个候选参考图像与灰度图像之间的相似度。例如，可以通过余弦距离公式、欧式距离计算公式、差分算法等计算每个候选参考图像与灰度图像的相似度。
S1023：根据每个相似度，对多个候选参考图像排序。
示例性地，基于每个候选参考图像与灰度图像之间的相似度，按照预设排列顺序，对多个候选参考图像排序。例如，按照相似度从大到小的顺序，对多个候选参考图像排序。又例如，按照相似度从小到大的顺序，对多个候选参考图像排序。此处仅为示例性说明，对此不做限定。
S1024：根据排序结果，在多个候选参考图像中确定参考图像。
示例性地，当按照相似度从大到小的顺序，对多个候选参考图像排序时，选取排序最前的候选参考图像，将该候选参考图像确定为灰度图像对应的参考图像。
可选地，也可选取排序靠前的若干个候选参考图像，在这若干个候选参考图像中，将其中任意一个候选参考图像确定为灰度图像对应的参考图像。例如，选取排序前三的三个候选参考图像，在这三个候选参考图像中，选取任意一个候选参考图像作为灰度图像对应的参考图像。
示例性地，当按照相似度从小到大的顺序，对多个候选参考图像排序时，选取排序最后的候选参考图像，将该候选参考图像确定为灰度图像对应的参考图像。
可选地，也可选取排序靠后的若干个候选参考图像，在这若干个候选参考图像中，将其中任意一个候选参考图像确定为灰度图像对应的参考图像。例如，选取排序后四的四个候选参考图像，在这四个候选参考图像中，选取任意一个候选参考图像作为灰度图像对应的参考图像。
在该实现方式中，将预先采集的与灰度图像的图像场景一致的多个彩色图像作为多个候选参考图像，并存储在预设数据库中。计算候选参考图像与待着色的灰度图像之间的相似度，选取相似度最高或者相似度靠前的候选参考图像作为灰度图像的参考图像，便于后续通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到高质量的彩色图像。
可选地，在本申请一些可能的实现方式中，上述S102还可包括S1025～S1026。值得说明的是，S1025～S1026与S1021～S1024并列，根据不同的情况选择执行S1025～S1026或S1021～S1024，并非在S1021～S1024后执行S1025～S1026。S1025～S1026具体如下：
S1025：在显示界面显示多个候选参考图像。
例如，在汽车的车载电脑的显示界面显示多个候选参考图像。
示例性地，当预设数据库中的多个候选参考图像未分类存储时，直接在预设数据库中查找所有的候选参考图像，并将这些候选参考图像都显示在显示界面。
当预设数据库中的多个候选参考图像分类存储时，获取当前的灰度图像对应的汽车型号，根据该汽车型号在预设数据库中查询与该汽车型号匹配的多个候选参考图像，并将这些候选参考图像都显示在显示界面。
当候选参考图像的数量过多时，可以多页显示，每一页显示的数量可以自行设定。此处仅为示例性说明，对此不做限定。
S1026：接收用户的选择操作。
该选择操作用于在多个候选参考图像中确定参考图像。选择操作可以包括点击操作、触摸操作、语音操作等，其中，点击操作可以包括单击操作和双击操作。
例如，用户在显示界面显示的多个候选参考图像中，挑选想作为参考图像的候选参考图像。当选中某个候选参考图像后，点击该候选参考图像。图像着色设备接收用户的该选择操作，将用户选中的候选参考图像作为灰度图像对应的参考图像。
在该实现方式中，提供了交互界面，用户可通过该交互界面自行选择参考图像，提升了用户的交互体验。同时，由于用户能够直观地看到显示的多个候选参考图像的图像内容，可以在多个候选参考图像中，准确地选取出与灰度图像场景一致的参考图像，便于后续通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到高质量的彩色图像。
可选地，在一种可能的实现方式中，还可以通过人脸识别的方式，在多个候选参考图像中确定参考图像。例如，通过人脸识别的方式识别灰度图像中人物的身份，同样通过人脸识别的方式识别候选参考图像中人物的身份。
判断灰度图像中人物的身份与候选参考图像中人物的身份是否相同。当灰度图像中人物的身份与候选参考图像中人物的身份相同时，将该候选参考图像作为该灰度图像的参考图像。
值得说明的是，当灰度图像中的人物有多个时，选择人物身份匹配最多的候选参考图像作为该灰度图像的参考图像。例如，某个灰度图像中有三个人物，第一个候选参考图像中有一个人物身份与该灰度图像中的一个人物身份匹配，第二个候选参考图像中有两个人物身份与该灰度图像中的两个人物身份匹配，第三个候选参考图像中有三个人物身份与该灰度图像中的这三个人物身份匹配，则将第三个候选参考图像作为该灰度图像的参考图像。此处仅为示例性说明，对此不做限定。
在该实现方式中，根据人脸识别的方式在多个候选参考图像中确定参考图像，有助于后续图像着色模型根据该参考图像对灰度图像着色时，可以根据参考图像中的人物对灰度图像中的人物进行准确着色，从而高度还原灰度图像中人物的肤色、发色、衣服颜色、饰品颜色等。
S103：将灰度图像和参考图像输入到已训练的图像着色模型中处理，得到灰度图像对应的彩色图像。
在本实施例中，图像着色设备中预先存储有预先训练好的图像着色模型。该图像着色模型是使用机器学习算法，基于多个样本灰度图像和每个样本灰度图像对应的样本彩色图像之间的对应关系，对训练前的图像着色模型进行训练得到。其中，训练前的图像着色模型是本申请提供的一种基于参考图像对灰度图像进行着色的卷积神经网络模型。
可以理解的是，图像着色模型可以由图像着色设备预先训练好，也可以由其他设备预先训练好后将图像着色模型对应的文件移植至图像着色设备中。也就是说，训练该图像着色模型的执行主体与使用该图像着色模型进行图像着色的执行主体可以是相同的，也可以是不同的。例如，当采用其他设备训练图像着色模型时，其他设备对图像着色模型结束训练后，固定图像着色模型的模型参数，得到训练好的图像着色模型对应的文件。然后将该文件移植到图像着色设备中。
图像着色设备在获取到待着色的灰度图像后，确定该灰度图像对应的参考图像，利用图像着色模型以参考图像为依据，对灰度图像进行着色，得到该灰度图像对应的彩色图像。
可选地，可将着色后得到的彩色图像实时显示在显示界面，便于用户查看、记录。
本申请提供的图像着色方法，获取特定场景下的灰度图像，确定该灰度图像对应的参考图像。由于确定的参考图像与灰度图像的图像场景一致，使确定的参考图像更准确，进而在通过图像着色模型对灰度图像和参考图像进行着色处理时，可以根据该参考图像高度还原灰度图像的色彩，得到成像效果好、质量高的彩色图像，实现了对弱光、无光或暗光环境下的灰度图像，快速、准确、高质量地着色。
可选地，在本申请一些可能的实现方式中，在上述S103之后，本申请提供的图像着色方法还可包括：调整彩色图像的色彩属性，得到改变色彩后的目标彩色图像。
示例性地，色彩属性包括饱和度、明度以及色相。其中，饱和度用于改变彩色图像的鲜明程度，饱和度越高，彩色图像越鲜明，饱和度越低，彩色图像越暗淡。明度越高，彩色图像越亮；明度越低，彩色图像越暗。色相用于改变彩色图像的色泽。
具体地，在显示界面显示可调节的当前的彩色图像的饱和度、明度以及色相。例如，在当前的彩色图像的下方显示饱和度状态栏、明度状态栏以及色相状态栏。当用户触摸饱和度状态栏、明度状态栏以及色相状态栏中任意一栏时，可随意改变每个状态栏对应的数值。例如，用户滑动饱和度状态栏，可以改变该彩色图像的饱和度；用户滑动明度状态栏，可以改变该彩色图像的明度；用户滑动色相状态栏，可以改变该彩色图像的色相。
用户可根据自己的喜好，调节彩色图像的饱和度、明度以及色相，调节这些属性后得到的图像即为改变色彩后的目标彩色图像。
在该实现方式中，用户可根据自己的喜好调节彩色图像的色彩，实现了快速改变彩色图像的整体色彩，实现了快速更换车舱内饰配色，丰富了彩色图像的色彩，使其有多种显示效果，提升了用户体验。
请参见图2，图2是本申请另一示例性实施例示出的一种图像着色方法的步骤S103的具体流程图；可选地，在本申请一些可能的实现方式中，上述S103可包括S1031～S1036，具体如下：
S1031：确定灰度图像对应的第一亮度通道图。
示例性地，在灰度图像中，其每个像素点对应的亮度值等于每个像素点对应的灰度值。因此，可以将该灰度图像作为第一亮度通道图。
S1032：确定参考图像对应的第二亮度通道图和ab通道图。
示例性地，参考图像为彩色图像，该参考图像的每个像素由红(R)、绿(G)、蓝(B)分量构成。获取该彩色图像中每个像素点对应的R、G、B值，通过第二转换公式对每个像素点对应的R、G、B值进行计算，得到每个像素点对应的L值、a值、b值。将L值赋值到新图像的相应位置，所有像素点遍历一遍后得到的新图像即为第二亮度通道图。同理，将a值和b值共同赋值到另一个新图像的相应位置，所有像素点遍历一遍后得到的该新图像即为ab通道图。第二转换公式如下：
L＝0.2126*R+0.7152*G+0.0722*B
a＝1.4749*(0.2213*R-0.3390*G+0.1177*B)+128
b＝0.6245*(0.1949*R+0.6057*G-0.8006*B)+128,(2)
上述(2)式中，L表示每个像素点对应的亮度值，a表示颜色由绿色渐变到红色，b表示颜色由蓝色渐变到黄色。R表示每个像素点对应红色通道值、G表示每个像素点对应绿色通道值、B表示每个像素点对应蓝色通道值。例如，当a对应的数值从负数变到正数时，对应颜色由绿色渐变到红色，当b对应的数值从负数变到正数时，对应颜色由蓝色渐变到黄色。
S1033：通过图像着色模型、第一亮度通道图以及第二亮度通道图，确定灰度图像和参考图像之间的相似度特征。
示例性地，图像着色模型可以包括卷积神经网络。例如，该卷积神经网络可以为VGG16网络、VGG19网络等。其中，VGG是Oxford的VisualGeometryGroup组提出的，因此命名为VGG，16和19分别表示该VGG16网络、VGG19网络的隐藏层的数量。例如，VGG19包含了19个隐藏层，其中16个为卷积层，3个为全连接层。
请参见图3，图3是本申请示出的图像着色模型的结构图。如图3所示，图3左边区域展示的即为卷积神经网络。TL表示灰度图像对应的第一亮度通道图，RL表示参考图像对应的第二亮度通道图，φR→T表示灰度图像和参考图像之间的位移特征，SimT→R表示灰度图像和参考图像之间的相似度特征。
本示例中以卷积神经网络为VGG19网络为例进行说明。通过VGG19网络提取第一亮度通道图以及第二亮度通道图分别对应的特征；计算灰度图像和参考图像之间的位移特征；再根据提取到的第一亮度通道图和第二亮度通道图分别对应的特征，以及该位移特征，确定灰度图像和参考图像之间的相似度特征。
请参见图4，图4是本申请又一示例性实施例示出的一种图像着色方法的步骤S1033的具体流程图；可选地，在本申请一些可能的实现方式中，上述S1033可包括S10331～S10333，具体如下：
S10331：通过图像着色模型，提取第一亮度通道图和第二亮度通道图分别对应的高阶特征。
示例性地，第一亮度通道图对应的高阶特征和第二亮度通道图对应的高阶特征均可以包括：亮度特征、对比度特征、颜色特征、全局结构特征以及纹理细节特征等。
示例性地，图像着色模型可以包括VGG19网络，将第一亮度通道图和第二亮度通道图输入VGG19网络中，通过VGG19网络中的卷积层对第一亮度通道图和第二亮度通道图分别进行卷积操作。
开始卷积时提取到的是第一亮度通道图和第二亮度通道图分别对应的低阶特征(如边缘特征、轮廓特征等)，随着卷积网络的加深，在低阶特征的基础上进行卷积操作，可以提取到第一亮度通道图和第二亮度通道图分别对应的更深层次的特征，通过VGG19网络中的全连接层对提取到的更深层次的特征进行特征组合，得到第一亮度通道图和第二亮度通道图分别对应的高阶特征。
S10332：采用预设算法计算灰度图像和参考图像之间的位移特征。
预设算法可以包括块匹配算法、光流算法等。可通过块匹配算法或光流算法，计算灰度图像和参考图像之间的位移特征。其中，位移特征包括参考图像到灰度图像的各像素/像素块进行匹配时的位移信息。
以块匹配算法为例进行说明。基于参考图像预先设定好匹配块形状，从参考图像逐块取内容与灰度图像中的所有内容进行相关性计算，找到相关性最高的匹配块后，记录该匹配块对应的像素位置的位移信息。
S10333：根据高阶特征和位移特征，确定相似度特征。
示例性地，根据第一亮度通道图对应的高阶特征、第二亮度通道图对应的高阶特征以及灰度图像和参考图像之间的位移特征，确定灰度图像和参考图像之间的相似度特征。其中，相似度特征以矩阵的形式表现，该相似度特征用于引导图像着色模型以参考图像为依据对灰度图像着色。
具体地，可通过第一预设公式计算相似度特征，第一预设公式如下：
Figure BDA0003471774120000141
Figure BDA0003471774120000142
上述(3)式和(4)式中，Fi表示参考图像和灰度图像输入VGG19网络后输出的第i层中间特征，R表示参考图像，T表示灰度图像，φR→T、φT→R均表示灰度图像和参考图像之间的位移特征，p表示某个像素点的位置。
d(x,y)用于计算余弦距离，具体地，
Figure BDA0003471774120000151
在上述(3)式中，x为
Figure BDA0003471774120000152
y为
Figure BDA0003471774120000153
将(3)式中的
Figure BDA0003471774120000154
Figure BDA0003471774120000155
代入
Figure BDA0003471774120000156
中进行计算。
在上述(4)式中，x为
Figure BDA0003471774120000157
y为
Figure BDA0003471774120000158
将(4)式中的
Figure BDA0003471774120000159
代入
Figure BDA00034717741200001510
中进行计算。
在该实现方式中，通过图像着色模型可以快速提取到第一亮度通道图和第二亮度通道图中准确、丰富的深层特征，计算灰度图像和参考图像之间的位移特征，再根据高阶特征和位移特征，确定相似度特征，提升了相似度特征的准确性。
S1034：转换ab通道图，得到目标ab通道图。
如图3所示，Rab表示参考图像对应的ab通道图，Ra′b表示目标ab通道图。具体地，将参考图像对应的ab通道图进行φR→T变换，变换后得到的图像即为目标ab通道图。
图3中的变换模块可以包括Warp模块，通过Warp模块进行Warp操作，Warp操作本质是一种数学运算，是根据坐标映射关系进行像素重新插值定位的过程。可选地，在本实施方式中，Warp的上一层输入的是φR→T，描述的是匹配像素之间的位移信息，可以用来计算得到参考图像和灰度图像之间的匹配像素坐标的映射关系，从而完成Warp操作，进而得到目标ab通道图。
S1035：通过图像着色模型提取第一亮度通道图中的亮度通道特征、相似度特征中的高维特征以及目标ab通道图中的ab通道特征。
示例性地，图像着色模型可以包括着色(Colorization)网络。如图3所示，图3右边区域展示的即为着色网络，该着色网络可以包括卷积层(Conv Layers)和4个自注意力(Self-Attention，SA)模块。SA模块具有下采样性质，可以提取到更有效的特征。
如图3所示，将第一亮度通道图输入第一个(从上到下)SA模块中，通过第一个SA模块提取第一亮度通道图中的有效特征(如亮度通道特征)。将灰度图像和参考图像之间的相似度特征输入第二个SA模块中，通过第二个SA模块提取相似度特征中的高维特征。将目标ab通道图输入第三个SA模块中，通过第三个SA模块提取目标ab通道图中的有效特征(如ab通道特征)。
S1036：将亮度通道特征、高维特征以及ab通道特征融合，得到彩色图像。
示例性地，每个SA模块将各自提取到的特征输入到卷积层中。例如，第一个SA模块将亮度通道特征输入到卷积层中；第二个SA模块将高维特征输入到卷积层中；第三个SA模块将ab通道特征输入到卷积层中。
特征融合包括卷积操作和下采样操作。具体地，卷积层对输入的亮度通道特征、高维特征以及ab通道特征做卷积操作和下采样操作。将该卷积层的处理结果输入到第四个SA模块中进行处理，第四个SA模块输出的结果即为灰度图像对应的彩色图像。
在该实现方式中，先确定灰度图像对应的第一亮度通道图、参考图像对应的第二亮度通道图和ab通道图；再通过图像着色模型、第一亮度通道图以及第二亮度通道图，确定灰度图像和参考图像之间的相似度特征；转换ab通道图，得到目标ab通道图；通过图像着色模型提取第一亮度通道图中的亮度通道特征、相似度特征中的高维特征以及目标ab通道图中的ab通道特征；将亮度通道特征、高维特征以及ab通道特征融合，得到彩色图像。一方面由于参考图像非常准确，即参考图像中的场景与灰度图像的图像场景一致，另一方面通过已训练的图像着色模型可以快速提取到参考图像和灰度图像中准确、丰富的深层特征，进而根据提取到的特征更好地为灰度图像着色，高度还原灰度图像的色彩，从而得到成像效果好、质量高的彩色图像。
请参见图5，图5是本申请再一示例性实施例示出的训练图像着色模型的方法的具体流程图；可选地，在本申请一些可能的实现方式中，在执行如图1所示的方法之前，还可包括训练图像着色模型的方法，训练图像着色模型的方法可包括：S201～S205，具体如下：
S201：获取样本训练集。
样本训练集包括多个样本灰度图像和每个样本灰度图像对应的样本彩色图像。示例性地，样本训练集中的样本灰度图像和样本灰度图像对应的样本彩色图像，可以是预先采集得到的。
示例性地，针对同一场景，在弱光或无光环境下采集的图像可以作为样本灰度图像，在光线充足环境下采集的图像可以作为该样本灰度图像对应的样本彩色图像。
例如，对于同一辆汽车，在弱光或无光条件下采集该汽车车舱内的图像，将该图像作为样本灰度图像。在光线充足条件下采集多个该汽车车舱内的图像，将多个图像作为该样本灰度图像对应的样本彩色图像。
值得说明的是，在光线充足条件下采集样本彩色图像时，应尽可能覆盖各种场景类型。例如，在光线充足条件下采集汽车车舱内的图像时，根据车舱内乘客的数量、年龄、发型、配饰、体型、衣着、车舱内的内饰(如座椅颜色、座椅数量、方向盘颜色等)以及车舱内放置的物体等的变化，抓拍不同的图像作为样本彩色图像。
上述实现方式中，自己预先采集样本灰度图像和样本灰度图像对应的样本彩色图像，可以丰富训练样本的类型，且在采集样本时可以有针对性地采集车舱的图像作为训练样本，让训练中的图像着色模型有效地学习到对车舱的灰度图像的着色能力。后续利用训练好的图像着色模型对车舱的灰度图像进行着色处理时，处理速度更快，着色效果更好。
可选地，在一种可能的实现方式中，可在网络中获取公开数据集作为样本训练集。例如，在网络中获取COCO-stuff dataset数据集，PASCAL VOC dataset数据集、CIFARdatasets数据集、ImageNet ILSVRC2012数据集、Palette-and-Text dataset数据集等作为样本训练集。
上述实现方式中，在网络中获取样本训练集，由于网络中的数据集数量多、图像类型多样化，可以让训练中的图像着色模型有效地学习到对各种灰度图像的着色能力，便于后续利用训练好的图像着色模型对各种类型的灰度图像着色。
S202：将样本训练集中的样本灰度图像和样本彩色图像输入训练前的图像着色模型中处理，得到样本灰度图像对应的测试彩色图像。
示例性地，一个样本灰度图像和该样本灰度图像对应的样本彩色图像作为一组样本图像，每次将一组样本图像输入到训练前的图像着色模型中处理，该训练前的图像着色模型此时输出的图像即为该样本灰度图像对应的测试彩色图像。
训练前的图像着色模型对样本灰度图像和该样本灰度图像对应的样本彩色图像的具体处理过程，可以参考S103中的描述，此处不再赘述。
S203：基于预设的损失函数计算测试彩色图像对应的损失值。
示例性地，损失函数可以包括色度损失函数和感知损失函数。其中，色度损失函数用于计算着色的准确性；感知损失函数用于计算着色的合理性，因为对于一个灰度图像而言，往往正确的着色方案并不是唯一的。
通过预设的损失函数计算测试彩色图像对应的损失值。预设的损失函数如下：
Figure BDA0003471774120000171
上述(5)式中，θ*表示需要优化的网络参数，可以理解为需要调整的模型参数。
Figure BDA0003471774120000181
表示色度损失函数。色度损失函数具体如下：
Figure BDA0003471774120000182
上述(6)式中，smooth_L1为平滑L1函数，具体包括：
Figure BDA0003471774120000183
Figure BDA0003471774120000184
上述(7)式中，x为
Figure BDA0003471774120000185
y为Tab(p)，将
Figure BDA0003471774120000186
Tab(p)代入(7)式中进行计算。
此外，
Figure BDA0003471774120000187
表示灰度图像训练时使用被扰乱的Tab色度图T′ab作为参考色，这样能避免图像着色模型学习到固定的着色搭配。可以理解为
Figure BDA0003471774120000188
表示以T′ab为ref重建得到的色彩信息，C表示神经网络。
R′ab(p)＝Rab(φT→R(p))，T′ab(p)＝Tab(φR→T(p))，
Figure BDA0003471774120000189
Pab表示以R′ab为ref重建得到的色彩信息。
Figure BDA00034717741200001810
表示感知损失函数，感知损失函数具体如下：
Figure BDA00034717741200001811
上述(8)式中，F表示从VGG19中提取出来的特征，FP和FT代表输入的是P还是T，p表示某个像素点的位置。
基于上述损失函数计算得到测试彩色图像对应的损失值时，判断损失值是否满足预设条件。当损失值不满足预设条件时，执行S204；当损失值满足预设条件时，执行S205。预设条件可以是损失值小于或等于预设的损失值阈值，也可以是损失值属于预设的误差范围，但并不限于此，还可以根据实际情况进行设置，此处不做限制。
S204：当损失值不满足预设条件时，调整训练中的图像着色模型的模型参数，并利用样本训练集继续训练训练中的图像着色模型。
例如，假设预设条件为损失值小于或等于预设的损失值阈值。那么，当执行训练过程的设备(例如，图像着色设备，或者其他设备)在确认当前的损失值大于预设的损失值阈值时，判定当前正在训练中的图像着色模型还未达到要求。此时，需要调整训练中的图像着色模型的模型参数，之后返回继续执行S202，继续训练图像着色模型。直到在S203中确定的损失值小于或等于预设的损失值阈值时，执行S205。
S205：当损失值满足预设条件时，停止训练训练中的图像着色模型，并将训练后的图像着色模型作为已训练的图像着色模型。
例如，假设预设条件为损失值小于或等于预设的损失值阈值。那么，当执行训练过程的设备在确认当前的损失值小于或者等于预设的损失值阈值时，判定当前的训练中的图像着色模型符合预期要求，停止训练该训练中的图像着色模型，并固定此时图像着色模型中的模型参数，将此时的图像着色模型作为已训练的图像着色模型。
在该实现方式中，在训练图像着色模型的过程中，一方面在获取样本训练集时，采用的样本彩色图像与样本灰度图像的图像场景一致，利用这样的样本训练集进行训练，使训练得到的图像着色模型学到了优秀的基于准确的样本彩色图像对样本灰度图像的能力。另一方面，通过控制色度损失和感知损失两部分损失，使训练好的图像着色模型无论在着色的准确性，还是着色的合理性方面都非常优秀，进而后续根据该已训练的图像着色模型对灰度图像进行着色时，处理速度更快，着色效果更好。
可选地，在一种可能的实现方式中，本申请还提供了一种图像增强方法，用于对弱光环境下的彩色图像进行色彩恢复。例如，采集弱光环境下的彩色图像，通过图像增强的方式对该弱光环境下的彩色图像进行色彩恢复。其中，图像增强的方式可以包括降噪处理、灰度变换等。这种处理方式无需训练模型，大大的节省了成本。
请参见图6，图6是本申请一实施例提供的一种图像着色装置的示意图。该图像着色装置包括的各单元用于执行图1、图2、图4、图5对应的实施例中的各步骤。具体请参阅图1、图2、图4、图5各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，包括：
获取单元310，用于获取特定场景下的灰度图像；
确定单元320，用于确定与所述灰度图像对应的参考图像，所述参考图像与所述灰度图像的图像场景一致；
处理单元330，用于将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像；所述图像着色模型是基于多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像之间的对应关系训练得到的。
可选地，所述处理单元330具体用于：
确定所述灰度图像对应的第一亮度通道图；
确定所述参考图像对应的第二亮度通道图和ab通道图；
通过所述图像着色模型、所述第一亮度通道图以及所述第二亮度通道图，确定所述灰度图像和所述参考图像之间的相似度特征；
转换所述ab通道图，得到目标ab通道图；
通过所述图像着色模型提取所述第一亮度通道图中的亮度通道特征、所述相似度特征中的高维特征以及所述目标ab通道图中的ab通道特征；
将所述亮度通道特征、所述高维特征以及所述ab通道特征融合，得到所述彩色图像。
可选地，所述处理单元330还用于：
通过所述图像着色模型，提取所述第一亮度通道图和所述第二亮度通道图分别对应的高阶特征；
采用预设算法计算所述灰度图像和所述参考图像之间的位移特征；
根据所述高阶特征和所述位移特征，确定所述相似度特征。
可选地，所述确定单元320具体用于：
在预设数据库中查找多个候选参考图像；
计算每个所述候选参考图像与所述灰度图像的相似度；
根据每个所述相似度，对所述多个候选参考图像排序；
根据排序结果，在所述多个候选参考图像中确定所述参考图像。
可选地，所述确定单元320还用于：
在显示界面显示所述多个候选参考图像；
接收用户的选择操作，所述选择操作用于在所述多个候选参考图像中确定所述参考图像。
可选地，所述图像着色装置还包括训练单元，所述训练单元用于：
获取样本训练集，所述样本训练集包括多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像；
将所述样本训练集中的所述样本灰度图像和所述样本彩色图像输入训练前的图像着色模型中处理，得到所述样本灰度图像对应的测试彩色图像；
基于预设的损失函数计算所述测试彩色图像对应的损失值，所述损失函数包括色度损失函数和感知损失函数；
当所述损失值不满足预设条件时，调整训练中的图像着色模型的模型参数，并利用所述样本训练集继续训练所述训练中的图像着色模型；
当所述损失值满足预设条件时，停止训练所述训练中的图像着色模型，并将训练后的图像着色模型作为所述已训练的图像着色模型。
可选地，所述图像着色装置还包括：
调整单元，用于调整所述彩色图像的色彩属性，得到改变色彩后的目标彩色图像，所述色彩属性包括饱和度、明度以及色相。
请参见图7，图7是本申请另一实施例提供的图像着色设备的示意图。如图7所示，该实施例的图像着色设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个图像着色方法实施例中的步骤，例如图1所示的S101至S103。或者，所述处理器40执行所述计算机程序42时实现上述各实施例中各单元的功能，例如图6所示单元310至330功能。
示例性地，所述计算机程序42可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机指令段，该指令段用于描述所述计算机程序42在所述图像着色设备4中的执行过程。例如，所述计算机程序42可以被分割为获取单元、确定单元以及处理单元，各单元具体功能如上所述。
所述设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图7仅仅是图像着色设备4的示例，并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述设备的内部存储单元，例如设备的硬盘或内存。所述存储器41也可以是所述设备的外部存储终端，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。进一步地，所述存储器41还可以既包括所述设备的内部存储单元也包括外部存储终端。所述存储器41用于存储所述计算机指令以及所述终端所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机存储介质，计算机存储介质可以是非易失性，也可以是易失性，该计算机存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各个图像着色方法实施例中的步骤。
本申请还提供了一种计算机程序产品，当计算机程序产品在设备上运行时，使得该设备执行上述各个图像着色方法实施例中的步骤。
本申请实施例还提供了一种芯片或者集成电路，该芯片或者集成电路包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片或者集成电路的设备执行上述各个图像着色方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像着色方法，其特征在于，包括：
获取特定场景下的灰度图像；
确定与所述灰度图像对应的参考图像，所述参考图像与所述灰度图像的图像场景一致；
将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像；所述图像着色模型是基于多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像之间的对应关系训练得到的。
2.如权利要求1所述的图像着色方法，其特征在于，所述将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像，包括：
确定所述灰度图像对应的第一亮度通道图；
确定所述参考图像对应的第二亮度通道图和ab通道图；
通过所述图像着色模型、所述第一亮度通道图以及所述第二亮度通道图，确定所述灰度图像和所述参考图像之间的相似度特征；
转换所述ab通道图，得到目标ab通道图；
通过所述图像着色模型提取所述第一亮度通道图中的亮度通道特征、所述相似度特征中的高维特征以及所述目标ab通道图中的ab通道特征；
将所述亮度通道特征、所述高维特征以及所述ab通道特征融合，得到所述彩色图像。
3.如权利要求2所述的图像着色方法，其特征在于，所述通过所述图像着色模型、所述第一亮度通道图以及所述第二亮度通道图，确定所述灰度图像和所述参考图像之间的相似度特征，包括：
通过所述图像着色模型，提取所述第一亮度通道图和所述第二亮度通道图分别对应的高阶特征；
采用预设算法计算所述灰度图像和所述参考图像之间的位移特征；
根据所述高阶特征和所述位移特征，确定所述相似度特征。
4.如权利要求1所述的图像着色方法，其特征在于，所述确定与所述灰度图像对应的参考图像，包括：
在预设数据库中查找多个候选参考图像；
计算每个所述候选参考图像与所述灰度图像的相似度；
根据每个所述相似度，对所述多个候选参考图像排序；
根据排序结果，在所述多个候选参考图像中确定所述参考图像。
5.如权利要求4所述的图像着色方法，其特征在于，所述确定与所述灰度图像对应的参考图像，包括：
在显示界面显示所述多个候选参考图像；
接收用户的选择操作，所述选择操作用于在所述多个候选参考图像中确定所述参考图像。
6.如权利要求1至5任一项所述的图像着色方法，其特征在于，所述将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像之前，所述图像着色方法还包括：
获取样本训练集，所述样本训练集包括多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像；
将所述样本训练集中的所述样本灰度图像和所述样本彩色图像输入训练前的图像着色模型中处理，得到所述样本灰度图像对应的测试彩色图像；
基于预设的损失函数计算所述测试彩色图像对应的损失值，所述损失函数包括色度损失函数和感知损失函数；
当所述损失值不满足预设条件时，调整训练中的图像着色模型的模型参数，并利用所述样本训练集继续训练所述训练中的图像着色模型；
当所述损失值满足预设条件时，停止训练所述训练中的图像着色模型，并将训练后的图像着色模型作为所述已训练的图像着色模型。
7.如权利要求1至5任一项所述的图像着色方法，其特征在于，所述将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像之后，所述图像着色方法还包括：
调整所述彩色图像的色彩属性，得到改变色彩后的目标彩色图像，所述色彩属性包括饱和度、明度以及色相。
8.一种图像着色装置，其特征在于，包括：
获取单元，用于获取特定场景下的灰度图像；
确定单元，用于确定与所述灰度图像对应的参考图像，所述参考图像与所述灰度图像的图像场景一致；
处理单元，用于将所述灰度图像和所述参考图像输入到已训练的图像着色模型中处理，得到所述灰度图像对应的彩色图像；所述图像着色模型是基于多个样本灰度图像和每个所述样本灰度图像对应的样本彩色图像之间的对应关系训练得到的。
9.一种图像着色设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202210045016.9A 2022-01-14 2022-01-14 图像着色方法、装置、设备及存储介质 Pending CN115131447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210045016.9A CN115131447A (zh) 2022-01-14 2022-01-14 图像着色方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210045016.9A CN115131447A (zh) 2022-01-14 2022-01-14 图像着色方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115131447A true CN115131447A (zh) 2022-09-30

Family

ID=83375710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210045016.9A Pending CN115131447A (zh) 2022-01-14 2022-01-14 图像着色方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115131447A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533740A (zh) * 2019-07-31 2019-12-03 成都旷视金智科技有限公司 一种图像着色方法、装置、***及存储介质
US20210133932A1 (en) * 2019-11-01 2021-05-06 Lg Electronics Inc. Color restoration method and apparatus
CN113421312A (zh) * 2021-05-12 2021-09-21 北京邮电大学 一种对黑白视频的着色方法、装置、存储介质及终端
CN113724354A (zh) * 2021-09-06 2021-11-30 浙江大学 基于参考图颜色风格的灰度图像着色方法
CN113888560A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533740A (zh) * 2019-07-31 2019-12-03 成都旷视金智科技有限公司 一种图像着色方法、装置、***及存储介质
US20210133932A1 (en) * 2019-11-01 2021-05-06 Lg Electronics Inc. Color restoration method and apparatus
CN113421312A (zh) * 2021-05-12 2021-09-21 北京邮电大学 一种对黑白视频的着色方法、装置、存储介质及终端
CN113724354A (zh) * 2021-09-06 2021-11-30 浙江大学 基于参考图颜色风格的灰度图像着色方法
CN113888560A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
US11302033B2 (en) Classifying colors of objects in digital images
US10600171B2 (en) Image-blending via alignment or photometric adjustments computed by a neural network
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN109684959B (zh) 基于肤色检测和深度学习的视频手势的识别方法及装置
US11887215B2 (en) Image processing apparatus and method for style transformation
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
CN104915972A (zh) 图像处理装置、图像处理方法以及程序
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN111192277A (zh) 一种实例分割的方法及装置
US11468571B2 (en) Apparatus and method for generating image
CN116457776A (zh) 图像处理方法、装置、计算设备及介质
CN116385832A (zh) 双模态生物特征识别网络模型训练方法
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN115937949A (zh) 一种表情识别的方法、装置、电子设备及存储介质
CN110909582B (zh) 一种人脸识别的方法及设备
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN113205045A (zh) 行人重识别方法、装置、电子设备和可读存储介质
CN112016592A (zh) 基于交叉领域类别感知的领域适应语义分割方法及装置
CN116701706A (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN115131447A (zh) 图像着色方法、装置、设备及存储介质
CN111178370A (zh) 车辆检索方法及相关装置
KR102430742B1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
KR101867586B1 (ko) 영상 처리 장치 및 방법
US20230410553A1 (en) Semantic-aware auto white balance
US20230306714A1 (en) Chromatic undertone detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination