CN113298177A - 夜间图像着色方法、装置、介质和设备 - Google Patents

Abstract

本发明公开了一种夜间图像着色方法、装置、介质和设备，包括：构建着色网络，并且对着色网络进行训练，得到着色模型；获取夜间同一视角拍摄的可见光图像和红外图像；根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。本发明通过将可见光图像和红外图像进行特征融合，综合可见光图像中的场景细节信息和红外图像中的目标特征信息，并且基于训练后的着色模型，实现无参考夜间图像的着色的方法，可以有效地提升夜间图像的着色质量。

Description

夜间图像着色方法、装置、介质和设备

技术领域

本发明涉及图像处理技术领域，特别涉及一种夜间图像着色方法、装置、介质和设备。

背景技术

夜间成像技术是指在夜间低照明度的条件下，通过利用光电探测或成像设备，将人眼不可视的场景转化为可视图像，从而扩展人眼在夜间低照度下的视力观察范围，实现夜间低照度下隐蔽信息的采集、处理和显示。

夜视成像技术在生产生活、交通、军事等领域有着重要的应用。例如，在交通出行领域，夜间技术的使用可以有效地扩大人眼的观察范围，进一步增强对目标的识别能力，极大地避免在低照度环境下交通事故的发生；而在军事领域，夜间技术可以让士兵在夜间克服复杂地形等环境障碍，提高夜间侦察、瞄准、射击等能力，强化军事技能。

然而，传统的微光夜视仪和红外成像仪等成像设备所生成的图像均为单色图像，缺乏色彩信息，难以观察目标的细节，使得观察者分辨不出目标之间的颜色差别，限制了对目标的识别和判断的能力。因此，通过利用计算机视觉技术，实现对夜间图像的着色，可以有效提升人眼对低照度场景的感知能力，增强对场景信息的认识和判断，有着重要的意义。

现有的夜间图像着色方法通常是利用一些参考图像着色方法进行着色。这种方法的问题在于参考图像的选取需要一定的工作量，好的参考图像可以实现较为准确的着色，而不好的参考图像则容易导致跟现实不符的着色效果，具有比较大的主观性。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，提供一种夜间图像着色方法，该方法通过将可见光图像和红外图像进行特征融合，实现无参考夜间图像的着色的方法，可以有效地提升夜间图像的着色质量。

本发明的第二目的在于提供一种夜间图像着色装置。

本发明的第三目的在于提供一种存储介质。

本发明的第四目的在于提供一种计算设备。

本发明的第一目的通过下述技术方案实现：一种夜间图像着色方法，步骤包括：

构建着色网络，并且对着色网络进行训练，得到着色模型；

获取夜间同一视角拍摄的可见光图像和红外图像；

根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；

将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

优选的，所述着色网络包括编码器、解码器、全连接层和softmax层，所述编码器用于从融合图像中提取特征；所述解码器用于从编码器所提取的特征中获取到颜色分布；

所述编码器包括第一嵌入模块和第一自注意力模块；

所述第一嵌入模块输入融合图像，对融合图像进行嵌入操作处理；第一嵌入模块嵌入操作后的图像输入到第一自注意力模块，由第一自注意力模块进行特征提取，提取的特征作为编码器的输出；

所述解码器包括第二嵌入模块和第二自注意力模块；

所述第二嵌入模块作为解码器的输入，输入图像进行嵌入操作处理；第二嵌入模块嵌入操作后的图像输入到第二自注意力模块；

所述编码器输出的特征输入到第二自注意力模块，第二自注意力模块对于第二嵌入模块嵌入操作后的图像，以编码器输出的特征作为条件，进行特征提取；第二自注意力模块提取的特征作为解码器的输出；

着色网络中，编码器的输出特征和解码器的输出特征进行叠加后输入到全连接层，由全连接层进行映射后，通过softmax层预测出图像颜色的分布。

更进一步的，着色网络中，编码器的第一嵌入模块针对于融合图像通过卷积完成嵌入操作，得到嵌入向量e∈R^H×W×D；其中融合图像的大小为H×W，D为嵌入维度；

第一自注意力模块包括行注意力模块和列注意力模块；第一自注意力模块的个数为一个或多个，分别为S1到SN，N为第一自注意力模块的个数，N大于等于1；当第一自注意力模块为多个时，第一自注意力模块S1至SN依次连接；

针对第一嵌入模块得到的嵌入向量e∈R^H×W×D，第一自注意力模块S1进行如下操作，以提取特征：

第一自注意力模块S1中行注意力模块对嵌入向量的每一行e_i,·∈R^W×D进行操作，如下：

利用第一自注意力模块S1行注意力模块的全连接层得到查询向量q∈R^W×D、键向量k∈R^W×D和值向量v∈R^W×D，然后执行自注意力操作：

[q,k,v]＝e_i,·U_qkv

r_i,·＝av

其中，U_qkv为行注意力模块中全连接层的参数矩阵，r_i,·为嵌入向量第i行应用行注意力模块得到的输出特征；对嵌入向量的每一行依次执行上述行注意力操作，得到行注意力模块的输出特征r∈R^H×W×D；

针对第一自注意力模块行注意力模块得到的输出特征r∈R^H×W×D，第一自注意力模块S1中列注意力模块对行注意力模块的输出特征的每一列r_.,j∈R^H×D进行操作，如下：

利用第一自注意力模块S1列注意力模块的全连接层得到查询向量q′∈R^H×D、键向量k′∈R^H×D和值向量v′∈R^H×D，然后执行自注意力操作：

[q′,k′,v′]＝r_.,jU′_qkv

c_·,j＝a′v′

其中，U′_qkv为第一自注意力模块S1中列注意力模块中全连接层的参数矩阵，c_·,j为第一自注意力模块S1中列注意力模块的第j列的输出特征；对行注意力模块的输出特征r∈R^H×W×D的每一列执行上述列注意力操作，得到列注意力模块的输出特征c∈R^H×W×D；

当第一自注意力模块包括多个时，即N大于1时，当前第一注意力模块Sn的输入即为上一第一注意力模块Sn-1的列注意力模块的输出，以此类推，n＝2,3，…，N。

更进一步的，着色网络中，解码器的第二嵌入模块针对于输入图像通过带掩码的卷积完成嵌入操作，得到嵌入向量e'∈R^H×W×D；其中融合图像的大小为H×W，D为嵌入维度；

第二自注意力模块包括行注意力模块和列注意力模块；第二自注意力模块的个数为一个或多个，分别为W1到WM，N为第二自注意力模块的个数，M大于等于1；当第一自注意力模块为多个时，第一自注意力模块W1至WM依次连接；

针对第二嵌入模块得到的嵌入向量e'∈R^H×W×D，第二自注意力模块W1进行如下操作，以提取特征：

第二自注意力模块W1中行注意力模块对嵌入向量的每一行e'_i,·∈R^W×D进行操作，如下：

利用全连接层得到查询向量Q∈R^W×D、键向量K∈R^W×D和值向量V∈R^W×D，然后执行自注意力操作：

[Q,K,V]＝[e'_i,·+c_i,·]U_QKV

r'_i,·＝AV

其中，U_QKV为行注意力模块中全连接层的参数矩阵，c_i,·为编码器最后一个第一自注意力模块的列注意力模块输出特征的第i行；对e'∈R^H×W×D的每一行执行上述自注意力操作，得到行注意力模块的输出特征c'∈R^H×W×D；

针对行注意力模块得到的输出特征c'∈R^H×W×D，第二自注意力模块W1中列注意力模块对c'的每一列c'_·,j∈R^H×D进行操作，如下：

利用全连接层得到查询向量Q′∈R^H×D、键向量K′∈R^H×D和值向量V′∈R^H×D，然后执行自注意力操作：

[Q′,K′,V′]＝[r'_·,j+c_.,j]U_QKV

c'_·,j＝A′V′

其中，U′_QKV为第二自注意力模块W1中列注意力模块中全连接层的参数矩阵，c_·,j为编码器最后一个第一自注意力模块的列注意力模块输出特征的第j列。

当第二自注意力模块包括多个时，即M大于1时，当前第二注意力模块Wn的输入即为上一第二注意力模块Wn-1的列注意力模块的输出，以此类推，n＝2,3，…，M。

更进一步的，着色网络进行训练的具体过程如下：

获取多个同一视角下的夜间可见光图像和红外图像，根据预设融合规则进行融合处理后，得到融合图像，作为训练样本；同时获取白天场景下同一视角的图像，作为着色图像；

将作为训练样本的融合图像输入到着色网络编码器第一嵌入模块，将对应着色图像作为标签图像输入到着色网络解码器第二嵌入模块，对着色网络进行训练，得到着色模型；

在训练得到着色模型后，通过以下进行夜间图像的着色：

针对于待着色的融合图像，将其输入到着色模型编码器第一嵌入模块中，通过着色模型依次预测到融合图像中每个像素的颜色分布；其中，当着色模型针对融合图像当前位置像素预测颜色分布时，从融合图像上一位置像素的颜色分布中采样出一种颜色，填补到解码器第二嵌入模块输入的当前位置像素中。

更进一步的，在训练着色网络的过程中，采用负对数似然作为模型训练的损失函数L：

其中，g为融合图像，x为同一视角的白天场景的图像，即对应着色图像，x_i为着色图像中第i个像素点，I为像素点总数，p指的是概率。

更进一步的，夜间可见光图像和红外图像在经过亮度调整后再进行融合处理得到融合图像，其中通过以下方式进行夜间可见光图像和红外图像的亮度值调整：

其中，vis(x)为可见光图像的亮度值，ir(x)为红外图像的亮度值，vis(x)'为可见光图像调整后的亮度值，ir(x)'为红外图像调整后的亮度值；

根据预设融合规则对夜间可见光图像和红外图像进行图像融合处理的过程如下：

将夜间可见光图像和红外图像输入到卷积神经网络中，分别对夜间可见光图像和红外图像进行特征提取，得到相应的特征图后进行特征图的连接，得到融合后的图像。

本发明的第二目的通过以下技术方案实现，一种夜间图像着色装置，包括：

网络构建模块，用于构建着色网络；

训练模块，用于对着色网络进行训练，得到着色模型；

图像获取模块，用于获取夜间同一视角拍摄的可见光图像和红外图像；

融合模块，用于根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；

着色模块，用于将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

本发明的第三目的通过以下技术方案实现，一种存储介质，存储有程序，所述程序被处理器执行时，实现本发明第一目的所述的夜间图像着色方法。

本发明的第四目的通过以下技术方案实现，一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第一目的所述的任一项所述的夜间图像着色方法。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明夜间图像着色方法，首先构建着色网络，并且对着色网络进行训练，得到着色模型；获取夜间可见光图像和红外图像，并且对夜间可见光图像和红外图像进行融合，得到待着色的融合图像；将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。本发明通过将可见光图像和红外图像进行特征融合，其中红外图像为通过感知物体表面的红外光线所得到，能够反映图像的热目标特性，得到目标特征信息，而可见光图像反应图像的场景细节信息，因此本发明通过将可见光图像和红外图像进行融合，可综合可见光图像中的场景细节信息和红外图像中的目标特征信息，并且基于训练后的着色模型，实现无参考夜间图像的着色的方法，可以有效地提升夜间图像的着色质量。

(2)本发明夜间图像着色方法中，着色网络包括编码器、解码器、全连接层和softmax层，编码器包括第一嵌入模块和第一自注意力模块，用于从融合图像中提取特征；解码器包括第二嵌入模块和第二自注意力模块，用于从编码器所提取的特征中获取到颜色分布；着色网络中，编码器的输出特征和解码器的输出特征进行叠加后输入到全连接层，由全连接层进行映射后，通过softmax层预测出图像颜色的分布；其中编码器通过N个注意力模块的处理后，每个像素都集中了其他所有像素的特征，此时再对特征进行解码操作，预测每个像素的颜色，能够有效提高图像颜色预测的准确度。

(3)本发明夜间图像着色方法中，针对于待着色的融合图像，将其输入到着色模型中，通过着色模型依次预测到融合图像中每个像素的颜色分布；当着色模型针对融合图像当前位置像素预测颜色分布时，将融合图像当前位置像素作为着色模型编码器第一嵌入模块的输入，同时从融合图像上一位置像素的颜色分布中采样出一种颜色，填补到解码器第二嵌入模块输入的当前位置像素中，即解码器的输入采用自回归的形式，基于此，可以进一步提高夜间图像的着色质量。

(4)本发明夜间图像着色方法中，夜间可见光图像和红外图像在融合前进行亮度的调整操作；在夜间场景下，通常待融合的可见光图像为低照度下的图像，其亮度较低，而红外图像则是红外爆闪或强红外光下的图像，其亮度较高，本发明方法对夜间可见光图像和红外图像融合之前的亮度调整，可以实现对亮度较低的可见光图像进行亮度补偿，对亮度较高的红外图像进行亮度抑制，使得两者在亮度上差距不会太大，避免造成融合过程的偏色问题。

附图说明

图1是本发明方法流程图。

图2是本发明中构建的着色网络结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例公开了一种夜间图像着色方法，基于该方法能够实现在无参考情况下夜间图像的着色，如图1所示，具体步骤包括：

步骤1)、构建着色网络。本实施例中，如图2所示，着色网络包括编码器、解码器、全连接层和softmax层，编码器用于从融合图像中提取特征；解码器用于从编码器所提取的特征中获取到颜色分布。其中：

编码器包括第一嵌入模块和第一自注意力模块。第一嵌入模块输入融合图像，对融合图像进行嵌入操作处理；第一嵌入模块嵌入操作后的图像输入到第一自注意力模块，由第一自注意力模块进行特征提取，提取的特征作为编码器的输出。

解码器包括第二嵌入模块和第二自注意力模块；第二嵌入模块作为解码器的输入，输入图像进行嵌入操作处理；第二嵌入模块嵌入操作后的图像输入到第二自注意力模块。

编码器输出的特征输入到第二自注意力模块，第二自注意力模块对于第二嵌入模块嵌入操作后的图像，以编码器输出的特征作为条件，进行特征提取；第二自注意力模块提取的特征作为解码器的输出；

在本实施例中，着色网络编码器的输出特征和解码器的输出特征进行叠加后输入到全连接层，由全连接层进行映射后，通过softmax层预测出图像颜色的分布。

步骤2)、对步骤1)中构建的着色网络进行训练，得到着色模型，具体过程如下：

步骤21)、获取多个同一视角下的夜间可见光图像和红外图像。

步骤22)、针对获取到的夜间可见光图像和红外图像进行亮度调整，如下：

其中，vis(x)为可见光图像的亮度值，ir(x)为红外图像的亮度值，vis(x)'为可见光图像调整后的亮度值，ir(x)'为红外图像调整后的亮度值。通过对可见光图像和红外图像的亮度进行折中处理，调整可见光图像和红外图像的亮度值，使得两者不至于差距太大，造成融合过程的偏色问题。

步骤23)、针对于步骤22)获取到的同一视角下的夜间可见光图像和红外图像，根据预设融合规则进行融合处理后，得到融合图像，作为训练样本；同时获取白天场景下同一视角的图像，作为着色图像。

在本实施例中，根据预设融合规则对夜间可见光图像和红外图像进行图像融合处理的过程如下：

将夜间可见光图像和红外图像输入到卷积神经网络中，分别对夜间可见光图像和红外图像进行特征提取，得到相应的特征图后进行特征图的连接，得到融合后的图像。

步骤24)、将作为训练样本的融合图像输入到着色网络编码器第一嵌入模块，将对应着色图像作为标签图像输入到着色网络解码器第二嵌入模块，对着色网络进行训练，得到着色模型。

本实施例着色网络在上述训练过程中，在采用负对数似然作为模型训练的损失函数L：

其中，g为融合图像，x为同一视角的白天场景的图像，即对应着色图像，x_i为着色图像中第i个像素点，I为像素点总数，p指的是概率。

步骤3)、针对于要进行夜间图像着色的地方，获取夜间同一视角拍摄的可见光图像和红外图像，并且进行如步骤22所述的亮度调整处理

在本实施例中，可见光图像可通过可见光成像传感器获得，比如现有的摄像头模组所拍摄的图像，多数为可见光图像。红外图像为通过感知物体表面的红外光线所得到，可通过红外镜头或红外传感器获得，比如将红外光通过成像***照射数字相机传感器所得到的图像。

步骤4)、根据预设融合规则，针对步骤3)中获取到的夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像。

本步骤中，图像融合处理的方式可以采用步骤23)所述的具体方式。

步骤5)、将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色，具体为：

针对于待着色的融合图像，将其输入到着色模型编码器第一嵌入模块中，通过着色模型依次预测到融合图像中每个像素的颜色分布；其中，当着色模型针对融合图像当前位置像素预测颜色分布时，从融合图像上一位置像素的颜色分布中采样出一种颜色，填补到解码器第二嵌入模块输入的当前位置像素中，着色模型基于此实现当前位置像素颜色分布的预测。

在本实施例上述步骤1)所构建的着色网络中，编码器的第一嵌入模块针对于融合图像通过3×3卷积完成嵌入操作，得到嵌入向量e∈R^H×W×D；其中融合图像的大小为H×W，D为嵌入维度。

本实施例中，如图2中所示，编码器的第一自注意力模块包括行注意力模块和列注意力模块；第一自注意力模块的个数为一个或多个，分别为S1到SN，N为第一自注意力模块的个数，N大于等于1；当第一自注意力模块为多个时，第一自注意力模块S1至SN依次连接。

针对编码器第一嵌入模块得到的嵌入向量e∈R^H×W×D，第一自注意力模块S1进行如下操作，以提取特征：

(1)第一自注意力模块S1中行注意力模块对嵌入向量的每一行e_i,·∈R^W×D进行操作，如下：

利用第一自注意力模块S1行注意力模块的全连接层得到查询向量q∈R^W×D、键向量k∈R^W×D和值向量v∈R^W×D，然后执行自注意力操作：

[q,k,v]＝e_i,·U_qkv

r_i,·＝av

其中，U_qkv为行注意力模块中全连接层的参数矩阵，r_i,·为嵌入向量第i行应用行注意力模块得到的输出特征；对嵌入向量的每一行依次执行上述行注意力操作，得到行注意力模块的输出特征r∈R^H×W×D。

(2)针对第一自注意力模块行注意力模块得到的输出特征r∈R^H×W×D，第一自注意力模块S1中列注意力模块对行注意力模块的输出特征的每一列r_·,j∈R^H×D进行操作，如下：

利用第一自注意力模块S1列注意力模块的全连接层得到查询向量q′∈R^H×D、键向量k′∈R^H×D和值向量v′∈R^H×D，然后执行自注意力操作：

[q′,k′,v′]＝r_·,jU′_qkv

c_·,j＝a′v′

其中，U′_qkv为第一自注意力模块S1中列注意力模块中全连接层的参数矩阵，c_·,j为第一自注意力模块S1中列注意力模块的第j列的输出特征；对行注意力模块的输出特征r∈R^H×W×D的每一列执行上述列注意力操作，得到列注意力模块的输出特征c∈R^H×W×D。；

当第一自注意力模块包括多个时，即N大于1时，当前第一注意力模块Sn的输入即为上一第一注意力模块Sn-1的列注意力模块的输出，以此类推，n＝2,3，…，N。

在本实施例上述步骤1)所构建的着色网络中，解码器的第二嵌入模块针对于输入图像通过带掩码的3×3卷积完成嵌入操作，得到嵌入向量e'∈R^H×W×D；其中融合图像的大小为H×W，D为嵌入维度。

本实施例中，如图2中所示，解码器的第二自注意力模块包括行注意力模块和列注意力模块；第二自注意力模块的个数为一个或多个，分别为W1到WM，N为第二自注意力模块的个数，M大于等于1；当第一自注意力模块为多个时，第一自注意力模块W1至WM依次连接。

针对第二嵌入模块得到的嵌入向量e'∈R^H×W×D，第二自注意力模块W1进行如下操作，以提取特征：

(1)第二自注意力模块W1中行注意力模块对嵌入向量的每一行e'_i,·∈R^W×D进行操作，如下：

利用全连接层得到查询向量Q∈R^W×D、键向量K∈R^W×D和值向量V∈R^W×D，然后执行自注意力操作：

[Q,K,V]＝[e'_i,·+c_i,·]U_QKV

r'_i,.＝AV

其中，U_QKV为行注意力模块中全连接层的参数矩阵，c_i,.为编码器最后一个第一自注意力模块的列注意力模块输出特征的第i行；对e'∈R^H×W×D的每一行执行上述自注意力操作，得到行注意力模块的输出特征c'∈R^H×W×D；

(2)针对行注意力模块得到的输出特征c'∈R^H×W×D，第二自注意力模块W1中列注意力模块对c'的每一列c'_.,j∈R^H×D进行操作，如下：

利用全连接层得到查询向量Q′∈R^H×D、键向量K′∈R^H×D和值向量V′∈R^H×D，然后执行自注意力操作：

[Q′,K′,V′]＝[r'_·,j+c_.,j]U_QKV

c'_·,j＝A′V′

其中，U′_QKV为第二自注意力模块W1中列注意力模块中全连接层的参数矩阵，c_·,j为编码器最后一个第一自注意力模块的列注意力模块输出特征的第j列。

当第二自注意力模块包括多个时，即M大于1时，当前第二注意力模块Wn的输入即为上一第二注意力模块Wn-1的列注意力模块的输出，以此类推，n＝2,3，…，M。

本领域技术人员可以理解，实现本实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。应当注意，尽管在附图中以特定顺序描述了本实施例1的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序，有些步骤也可以同时执行，附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2

本实施例公开了一种夜间图像着色装置，该装置包括网络构建模块、训练模块、图像获取模块、融合模块和着色模块，上述各模块的功能如下：

网络构建模块，用于构建着色网络。本实施例中，如图2所示，本实施例着色网络包括编码器、解码器、全连接层和softmax层，编码器用于从融合图像中提取特征；解码器用于从编码器所提取的特征中获取到颜色分布，着色网络的具体结构如实施例1中所述。

训练模块，用于对着色网络进行训练，得到着色模型。

图像获取模块，用于获取夜间同一视角拍摄的可见光图像和红外图像。

融合模块，用于根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像。

着色模块，用于将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

本实施例上述各个模块的具体实现可以参见上述实施例1，在此不再一一赘述。需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3

本实施例公开了一种存储介质，存储有程序，所述程序被处理器执行时，实现实施例1所述的夜间图像着色方法，如下：

构建着色网络，并且对着色网络进行训练，得到着色模型；

获取夜间同一视角拍摄的可见光图像和红外图像；

根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；

将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

本实施例中，上述各个过程具体实现可以参见上述实施例1，在此不再一一赘述。

在本实施例中，存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、U盘、移动硬盘等介质。

实施例4

本实施例公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例1所述的夜间图像着色方法，如下：

构建着色网络，并且对着色网络进行训练，得到着色模型；

获取夜间同一视角拍摄的可见光图像和红外图像；

根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；

将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

本实施例中，上述各个过程具体实现可以参见上述实施例1，在此不再一一赘述。

本实施例中，计算设备可以是台式电脑、笔记本电脑、PDA手持终端、平板电脑等终端设备。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种夜间图像着色方法，其特征在，步骤包括：

构建着色网络，并且对着色网络进行训练，得到着色模型；

获取夜间同一视角拍摄的可见光图像和红外图像；

根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；

将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

2.根据权利要求1所述的夜间图像着色方法，其特征在于，所述着色网络包括编码器、解码器、全连接层和softmax层，所述编码器用于从融合图像中提取特征；所述解码器用于从编码器所提取的特征中获取到颜色分布；

所述编码器包括第一嵌入模块和第一自注意力模块；

所述第一嵌入模块输入融合图像，对融合图像进行嵌入操作处理；第一嵌入模块嵌入操作后的图像输入到第一自注意力模块，由第一自注意力模块进行特征提取，提取的特征作为编码器的输出；

所述解码器包括第二嵌入模块和第二自注意力模块；

所述第二嵌入模块作为解码器的输入，输入图像进行嵌入操作处理；第二嵌入模块嵌入操作后的图像输入到第二自注意力模块；

所述编码器输出的特征输入到第二自注意力模块，第二自注意力模块对于第二嵌入模块嵌入操作后的图像，以编码器输出的特征作为条件，进行特征提取；第二自注意力模块提取的特征作为解码器的输出；

着色网络中，编码器的输出特征和解码器的输出特征进行叠加后输入到全连接层，由全连接层进行映射后，通过softmax层预测出图像颜色的分布。

3.根据权利要求2所述的夜间图像着色方法，其特征在于，着色网络中，编码器的第一嵌入模块针对于融合图像通过卷积完成嵌入操作，得到嵌入向量e∈R^H×W×D；其中融合图像的大小为H×W，D为嵌入维度；

第一自注意力模块包括行注意力模块和列注意力模块；第一自注意力模块的个数为一个或多个，分别为S1到SN，N为第一自注意力模块的个数，N大于等于1；当第一自注意力模块为多个时，第一自注意力模块S1至SN依次连接；

针对第一嵌入模块得到的嵌入向量e∈R^H×W×D，第一自注意力模块S1进行如下操作，以提取特征：

第一自注意力模块S1中行注意力模块对嵌入向量的每一行e_i,·∈R^W×D进行操作，如下：

利用第一自注意力模块S1行注意力模块的全连接层得到查询向量q∈R^W×D、键向量k∈R^W×D和值向量v∈R^W×D，然后执行自注意力操作：

[q,k,v]＝e_i,·U_qkv

r_i,·＝av

其中，U_qkv为行注意力模块中全连接层的参数矩阵，r_i,·为嵌入向量第i行应用行注意力模块得到的输出特征；对嵌入向量的每一行依次执行上述行注意力操作，得到行注意力模块的输出特征r∈R^H×W×D；

针对第一自注意力模块行注意力模块得到的输出特征r∈R^H×W×D，第一自注意力模块S1中列注意力模块对行注意力模块的输出特征的每一列r_·,j∈R^H×D进行操作，如下：

利用第一自注意力模块S1列注意力模块的全连接层得到查询向量q′∈R^H×D、键向量k′∈R^H×D和值向量v′∈R^H×D，然后执行自注意力操作：

[q′,k′,v′]＝r_·,jU′_qkv

c_·,j＝a′v′

其中，U′_qkv为第一自注意力模块S1中列注意力模块中全连接层的参数矩阵，c_·,j为第一自注意力模块S1中列注意力模块的第j列的输出特征；对行注意力模块的输出特征r∈R^{H ×W×D}的每一列执行上述列注意力操作，得到列注意力模块的输出特征c∈R^H×W×D；

当第一自注意力模块包括多个时，即N大于1时，当前第一注意力模块Sn的输入即为上一第一注意力模块Sn-1的列注意力模块的输出，以此类推，n＝2,3，…，N。

4.根据权利要求2所述的夜间图像着色方法，其特征在于，着色网络中，解码器的第二嵌入模块针对于输入图像通过带掩码的卷积完成嵌入操作，得到嵌入向量e'∈R^H×W×D；其中融合图像的大小为H×W，D为嵌入维度；

第二自注意力模块包括行注意力模块和列注意力模块；第二自注意力模块的个数为一个或多个，分别为W1到WM，N为第二自注意力模块的个数，M大于等于1；当第一自注意力模块为多个时，第一自注意力模块W1至WM依次连接；

针对第二嵌入模块得到的嵌入向量e'∈R^H×W×D，第二自注意力模块W1进行如下操作，以提取特征：

第二自注意力模块W1中行注意力模块对嵌入向量的每一行e'_i,·∈R^W×D进行操作，如下：

利用全连接层得到查询向量Q∈R^W×D、键向量K∈R^W×D和值向量V∈R^W×D，然后执行自注意力操作：

[Q,K,V]＝[e'_i,·+c_i,·]U_QKV

r'_i,·＝AV

其中，U_QKV为行注意力模块中全连接层的参数矩阵，c_i,·为编码器最后一个第一自注意力模块的列注意力模块输出特征的第i行；对e'∈R^H×W×D的每一行执行上述自注意力操作，得到行注意力模块的输出特征c'∈R^H×W×D；

针对行注意力模块得到的输出特征c'∈R^H×W×D，第二自注意力模块W1中列注意力模块对c'的每一列c'_·,j∈R^H×D进行操作，如下：

利用全连接层得到查询向量Q′∈R^H×D、键向量K′∈R^H×D和值向量V′∈R^H×D，然后执行自注意力操作：

[Q′,K′,V′]＝[r'_·,j+c_.,j]U_QKV

c'_·,j＝A′V′

其中，U′_QKV为第二自注意力模块W1中列注意力模块中全连接层的参数矩阵，c_·,j为编码器最后一个第一自注意力模块的列注意力模块输出特征的第j列；

当第二自注意力模块包括多个时，即M大于1时，当前第二注意力模块Wn的输入即为上一第二注意力模块Wn-1的列注意力模块的输出，以此类推，n＝2,3，…，M。

5.根据权利要求2所述的夜间图像着色方法，其特征在于，着色网络进行训练的具体过程如下：

获取多个同一视角下的夜间可见光图像和红外图像，根据预设融合规则进行融合处理后，得到融合图像，作为训练样本；同时获取白天场景下同一视角的图像，作为着色图像；

将作为训练样本的融合图像输入到着色网络编码器第一嵌入模块，将对应着色图像作为标签图像输入到着色网络解码器第二嵌入模块，对着色网络进行训练，得到着色模型；

在训练得到着色模型后，通过以下进行夜间图像的着色：

针对于待着色的融合图像，将其输入到着色模型编码器第一嵌入模块中，通过着色模型依次预测到融合图像中每个像素的颜色分布；其中，当着色模型针对融合图像当前位置像素预测颜色分布时，从融合图像上一位置像素的颜色分布中采样出一种颜色，填补到解码器第二嵌入模块输入的当前位置像素中。

6.根据权利要求5所述的夜间图像着色方法，其特征在于，在训练着色网络的过程中，采用负对数似然作为模型训练的损失函数L：

其中，g为融合图像，x为同一视角的白天场景的图像，即对应着色图像，x_i为着色图像中第i个像素点，I为像素点总数，p指的是概率。

7.根据权利要求1所述的夜间图像着色方法，其特征在于，夜间可见光图像和红外图像在经过亮度调整后再进行融合处理得到融合图像，其中通过以下方式进行夜间可见光图像和红外图像的亮度值调整：

其中，vis(x)为可见光图像的亮度值，ir(x)为红外图像的亮度值，vis(x)'为可见光图像调整后的亮度值，ir(x)'为红外图像调整后的亮度值；

根据预设融合规则对夜间可见光图像和红外图像进行图像融合处理的过程如下：

将夜间可见光图像和红外图像输入到卷积神经网络中，分别对夜间可见光图像和红外图像进行特征提取，得到相应的特征图后进行特征图的连接，得到融合后的图像。

8.一种夜间图像着色装置，其特征在于，包括：

网络构建模块，用于构建着色网络；

训练模块，用于对着色网络进行训练，得到着色模型；

图像获取模块，用于获取夜间同一视角拍摄的可见光图像和红外图像；

融合模块，用于根据预设融合规则，针对夜间可见光图像和红外图像进行图像融合处理，得到待着色的融合图像；

着色模块，用于将待着色的融合图像输入到着色模型中，进行特征提取和无参考着色。

9.一种存储介质，其特征在于，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1～7中任一项所述的夜间图像着色方法。

10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1～7中任一项所述的夜间图像着色方法。

Images