CN109242928A - 一种轻量级具有融合层的近红外图像彩色化深度学习模型 - Google Patents

Abstract

涉及一种由轻量化图像识别网络模块和具有融合层的图像彩色化CNN模块共同组成的的自动近红外图像彩色化模型，该方法首先对近红外图像使用轻量级Faster‑RCNN进行图像识别，然后从网络上搜集选取与之场景类似的图像集，使用具有融合层的彩色化CNN模块进行训练后，再输入近红外图像进行彩色化。从而输出彩色化后的近红外图像。本发法利用轻量化图像识别模型与带有融合层的图像彩色化模型相结合，不仅能对大部分近红外图像进行彩色化，同时改善了以往彩色化模型上色后图像中出现边界漫色，色彩灰暗，着色错误等问题。

Description

一种轻量级具有融合层的近红外图像彩色化深度学习模型

技术领域

涉及一种对近红外图像自动彩色化的方法，该方法对低分辨率，高分辨率近红外图像，以及在白天或夜晚拍摄的进红外图像都具有较好的彩色化效果，属于图像处理技术领域，可应用于安防领域中的近红外图像的自动彩色化。

背景技术

由于近红外图像(NIR)能反应场景目标的热辐射信息，对场景亮度变化不敏感的良好探测性能，很多重要的夜视或低照度场景，如矿井、野外动物观测点、军事基地等，都使用近红外图像实现全面的监控。但是，由于近红外获得的是灰度图，同时具有边缘模糊及细节不丰富的缺点，故需要对其进行彩色化，以增加其色彩与纹理信息，达到提高目标探测效率、减少判断时间、增强对场景的判断力和减少视觉疲劳感的目的。

图像彩色化方法大致可以分为基于参考图像的颜色迁移方法；基于线条着色的颜色传播方法以及基于卷积神经网络的深度学习方法三类

目前较好的彩色化方法大都采用把近红外图像输入进已训练好的彩色化网络模型的方法，但仍存在一些问题。首先现有的使用深度学习的彩色化模型需要训练网络极深的网络模型，对设备的的硬件要求极高，很难实现量产。此外利用深度学习彩色化模型对图像彩色化的效果高度依赖训练集图像质量及丰富程度，现有的深度学习彩色化模型大多采用ImageNet等大数据集作为训练集，此训练集虽然图像数量众多，但是也使得网络训练时间大大增加，而且对于某型特殊场景图像(珍稀动植物，特色食物等)无与之场景类似图像对应，故对此种场景图像无法进行彩色化。

发明内容

本方法的目的是克服现有技术的上述不足，提供一种能够准确快速以及精确上色的全自动近红外图像彩色化的方法，所述方法包括下列步骤：

步骤1：输入近红外图像；

步骤2：使用轻量级Faster-RCNN对其进行图像识别；

步骤3：在全网搜索与之场景相似的图像集；

步骤4：利用步骤3得到的图像集输入带有融合层的彩色化CNN网络模块中进行训练；

步骤5：把近红外图像输入进训练好的彩色化网络模块中进行测试，得到彩色化后红外图像。

本方法具有如下的技术效果：

1.方法简单，易于实施。本发明利用轻量级Faster-RCNN图像识别网络模块与具有融合层的结合图像彩色化网络模块相结合，网络层数较少，训练时间快，方法简单实用。

2.彩色化图像赋色准确。本发明着色神经网络由编码器，融合层和解码器组成，对NIR图像通过下采样层与卷积层提取局部特征，同时通过分类器进行场景分类从而得到全局特征，再与局部特征融合，经过卷积层和上采样层进行着色以及恢复图像尺寸。由于加入了局部特征，故彩色化后的图像细节更加丰富，物体颜色更加一致。

附图说明

图1：本发明的近红外彩色化方法流程图

图2：图像识别网络模型结构图

图3：彩色化模型整体示意图

图4：彩色化模型编码器网络图

图5：利用轻量化图像识别模型识别结果

图6：低分辨率图像与彩色化结果

图7：高分辨率图像与彩色化结果

具体实施方式

本方法的流程如图1所示，该方法首先采用轻量化的Faseter-RCNN图像识别模块对近红外图像进行识别，然后在全网范围内寻找与之场景相似的图像500张，用此作为训练集，输入进彩色化网络模块进行训练，最后输入近红外图像作为测试集完成图像彩色化下面结合附图，对本方法技术方案的网络结构及流程和步骤加以说明。

1.图像识别网络模块

图像识别网络模型结构如图2所示。①首先向VGG-16输入NIR图像；②NIR经过CNN前向传播至最后共享的卷积层，得到供RPN网络输入的特征图，继续前向传播至最后一个卷积层，产生更高维特征图；③特征图经过RPN获得区域建议和区域得分，并对区域得分采用非极大值抑制(阈值为0.7)，输出Top-N得分(本文设定最高得分为300) 的区域给RoI池化层；④第②步得到的高维特征图和第③步输出的区域同时输入进ROI 池化层，提取对应区域建议的特征；⑤第④步得到的区域建议特征通过全连接层后，最后输出该区域的目标类别及其概率以及精标的目标边界框。

2.图像彩色化网络模块

彩色化网络模块示意图如图3所示。

彩色化神经网络由编码器，融合层和解码器组成：先对NIR图像通过下采样层与卷积层提取局部特征，再通过分类器进行场景分类从而得到全局特征，再与局部特征融合。

融合层具体公式如下其中是通过Encoder得到的特征， y^classifer是通过Inception Resnet V2得到的特征，代表在图像坐标(u，v)上的融合特征，w 是256*512的权重矩阵，b是偏移量；最后经过卷积层和上采样层进行着色以及恢复图像尺寸。

Claims (1)

1.一种根据卷积神经网路构建近红外图像自动彩色化的方法，所述方法包括以下步骤：

A.近红外图像用改进的Faster-RCNN模型进行目标识别：

识别模型的3个卷积层参数设置为32@3*3、64@2*2和64@2*2，步长均为1，池化层采用大小为2*2，步长为2的最大池化，三个全连接层的节点个数分别设置为256和128，最后以Softmax层作为网络的输出层；整个网络的学习率初始化为0.1，采用指数衰减法，衰减因子为0.1，权重衰减因子为0.98，Dropout参数训练时设置为0.5，测试时设置为1，采用Adam优化算法；具体流程如下：

1.首先向CNN网络(VGG-16)输入任意大小图片；

2.经过CNN网络前向传播至最后共享的卷积层，一方面得到供RPN网络输入的特征图，另一方面继续前向传播至特有卷积层，产生更高维特征图；

3.供RPN网络输入的特征图经过RPN网络得到区域建议和区域得分，并对区域得分采用非极大值抑制(阈值为0.7)，输出其Top-N(本文设定300)得分的区域给RoI池化层；

4.第2步得到的高维特征图和第3步输出的区域同时输入进RoI池化层，提取对应区域建议的特征；

5.第4步得到的区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的边界框(bounding-box)；

B.近红外图像彩色化方法

近红外图像着色神经网络由三个部分组成；分别是编码器，融合层和解码器，并且引入分类器学习效果迁移到着色网络上，可更好理解图片中的内容；我们将上章通过目标识别得到的与待上色场景类似的图像集作为进行此网络的训练集；

①编码器

编码器输入为H×W灰度图像，输出为H/32×W/32×512的特征矩阵；编码器由一个归一化层，14个卷积层组成，其中卷积层参数设置为64@3×3、128@3×3，256@3×3和512@3×3层；

②融合层

本层的目的在于把分类器融入在网络中，通过将不同网络的特征融合到一起，学习到不同的特征，提升上色图像质量；Inception Resnet V2是目前最强大的分类器之一；故本文提取了它的分类层，并将其与编码器的输出进行合并作为融合层，融合层采用InceptionResnet V2中的特征向量，复制HW/82次，并将其沿深度轴附加到编码器的特征量上，具体如图4所示，最后我们使用256个尺寸为1×1的卷积核，生成尺寸为H/8×W/8×256的特征矩阵；融合层的数学表达式为：

代表在坐标(u，v)上的融合特征，是编码器在坐标(u，v)的特征，y^classifer∈R²⁵⁶是图像通过分类器得到的特征向量，W是256*512的权重矩阵，b是偏移值，在这里，W和b都可以通过网络学习得到；

③解码器

解码器输入为H/32×W/32×256特征矩阵，并应用一系列卷积层和上采样层以获得尺寸为H×W×2的最终层；上采样采用基本最近邻域法，因此输出图像的长度和宽度是输入图像的两倍；编码器由5个上采样层，5个卷积层组成，其中上采样层参数设置均为2×2，卷积层64@3×3、32@2×2、16@2×2、2@2×2、2@2×2；

彩色化网络目标函数与训练：

卷积神经网络训练过程，就相当于人脑的学习过程；分为两个阶段：

前向传播，实现样本从输入层到输出层的特征学习；

反向传播，依据损失函数L(W，b)来计算输出值；

式中：为第i个训练样本的期望值，为第i个训练样本第j个类别的预测概率，C为训练样本的总类别数，N为训练样本的总数；卷积神经网络的训练目标是通过梯度下降法最小化网络的损失函数L(W，b)；在整个训练过程中，经过前向传播计算损失值，然后通过梯度下降进行反向传播，逐层更新每一层的训练参数W和b；参数更新公式定义为：

式中：η为网络学习率，用来控制损失值反向传播的强度。