CN109785279B - 一种基于深度学习的图像融合重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图像融合重建方法，该方法具体步骤如下：(1)获取源图像，对源图像分别进行不同程度的模糊处理，构建测试与训练数据集；(2)对测试图像的预处理操作得到图像A和B，将两幅源图像进行分块，编纂成新的矩阵，再按列组成联合矩阵；(3)特征提取，将步骤(2)中得到的联合矩阵作为输入信号输入到深度学习网络框架中，得到一幅与目标差值图像相似的预测残差图像；(4)图像的重构，将测试图像A与预测残差图像相加重构得到高分辨率的融合图。

Description

一种基于深度学习的图像融合重建方法

技术领域

本发明属于图像融合及超分辨技术领域，尤其涉及一种基于深度学习的图像融合重建方法。

背景技术

图像融合可以将同一场景的多幅图像集成到人工图像中，其中包含的有用信息比任何单个图像都多。经过多年的研究，大多数方法都是通过选择一个分析工具提取图像的特征，然后根据人工规则将其组合起来，因此其性能在一定程度上取决于用户的体验。图像的空间分辨率是度量图像质量的一个重要指标，高分辨率的图像往往包含着更加丰富的细节信息，对于观赏体验的提升以及后续的图像处理步骤都有着较大的帮助。拥有高分辨率的高清图像，一直是学术界和工业界不懈追求的目标。

融合过程主要包含三个步骤：特征提取、特征合并、图像重构。超分辨率过程也主要包含三个步骤：低分辨率图像特征提取、低分辨率图像特征向高分辨率图像特征转换、图像重构。特征提取、合并与转换过程都具有较强的盲目性，提取特征的方法、合并规则与转换的方法都是通过经验选择再通过测试验证确定的，这样的算法无法得到最优的融合及超分辨率效果。图像融合是一个多个图像向一个图像转换的过程，必然丢弃大量图像信息。图像超分辨率是一个欠定信号处理问题，将需要信息或图像特性的补充。因此融合及超分辨率是一个互补的过程，可将融合中丢弃的信息用于超分辨率中的信息补充。而现有方法通常将这两个问题分别处理，造成了信息的浪费，丧失了同时解决融合和超分辨率两大技术难题的机遇。

发明内容

发明目的：为了克服上述现有技术的缺点，本发明提供一种基于深度学习的图像融合重建方法，最大程度提取测试图像的特征信息，保障了融合重构图像的清晰度以及准确性。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于深度学习的图像融合重建方法，该方法包括如下步骤：

(1)获取源图像，将得到的源图像按照一定比例选取构成训练图像数据集和测试图像数据集；

(2)构建深度学习网络框架，网络框架是一个7层框架，包括3个卷积层和3个relu层以及回归层；

(3)使用训练图像数据集对网络框架进行训练；

(4)将测试图像数据输入到步骤(3)训练好的框架中，输出预测残差图像；

(5)将预测残差图像与相对应的测试图像依行依列相加得到最终的融合高分辨率图像。

进一步的，步骤(2)中的深度学习网络框架，具体设计如下：

(2.1)基于卷积核的大小随机初始化参数w_i，b_i，w代表权重矩阵，即每个卷积核内参数组成的矩阵，b代表偏置矩阵，i代表对应的卷积层，设置直接误差项、权值惩罚项均为0；

(2.2)采用前向传播算法计算出神经网络各节点的线性组合值和激活值，公式(1)为卷积层内的卷积操作，公式(2)，(3)为relu层内操作，具体如下所示：

z_i＝W_i×x_i+b_i (1)

a_i＝relu(z_i) (2)

其中，relu函数表示为：

x_i是每个卷积层的输入特征矩阵，x_i在卷积层内的进行卷积操作后输出为z_i，也即relu层的输入特征矩阵，每一层输出的特征矩阵，也是下一层的输入矩阵，网络框架通过训练进行自主学习，实现对框架参数的更新。

进一步的，步骤(3)中，使用训练图像数据集对网络框架进行训练前，需对训练图像数据集进行如下处理：

(3.1)对训练集内的源图像使用下采样操作变成原来大小的二分之一和四分之一，将下采样后的图像用双三次插值法变成和源图像一样大小，将同一张源图像变成二分之一模糊训练图像A1和四分之一模糊训练图像B1，大小均为128×128；

(3.2)对两幅训练图像用滑动窗进行分块，采用的是大小为8×8且滑动步长为1的滑动小块，滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1，大小都变成了64×14641。

进一步的，步骤(3)中，学习网络框架训练时，设置如下损失函数：

r⁽ⁱ⁾是第i个源图像X与其训练图像A1之间的残差图像，

是预测残差图像，也即框架的输出；其中，

和

分别表示两幅输入图像的特征矩阵，i取值为1到n，n代表批量训练图像的数量。

进一步的，步骤(3)中，训练时，如果L小于预设的值，则停止训练。

进一步的，步骤(4)，将测试图像数据输入到步骤(3)训练好的框架中进行训练之前，先对测试图像数据进行如下处理：

(4.1)对测试集内的源图像使用下采样操作变成原来大小的二分之一和四分之一，将下采样后的图像用双三次插值法变成和源图像一样大小，将同一张源图像变成二分之一模糊测试图像A2和四分之一模糊测试图像B2，大小均为128×128；

(4.2)对两幅测试图像用滑动窗进行分块，采用的是大小为8×8且滑动步长为1的滑动小块，滑动得到的小块经过编纂成列向量组合形成新的矩阵aa2和bb2，大小都变成了64×14641，作为两个分支同时输入深度学习网络框架。

进一步的，步骤(5)将预测残差图像与相对应的测试图像依行依列相加得到最终的融合高分辨率图像，方法如下：将网络框架输出的残差图像与相对应的测试图像A2依行依列相加得到最终的融合高分辨率图像。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

本方法利用残差学习思想直接得到残差图像，减轻网络框架的负担。利用卷积神经网络的自主学习能力，通过输入训练数据自动更新网络参数。通过卷积神经网络对图像进行特征提取，避免手动提取特征的麻烦，最大程度提取图像的深层特征，保证图像融合的清晰度与准确性。

附图说明

图1为本发明算法的框图；

图2为本发明网络框架结构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示，一种基于深度学习的图像融合重建方法，具体步骤如下：

首先，源图像的获取，采取的是从开源的图像库里面的源图像。将得到的源图像按照九比一的比例构成训练数据集和测试数据集。

然后，对网络框架的构建与训练。网络框架为一个7层结构，包括3个卷积层，3个relu层和回归层。框架的训练利用深度学习的自主学习能力，通过反向传播算法实现对框架内参数的调整。

其中，本方法中网络框架就是一种基于自我监督特征学习和特征层次结构的学习结构模型。深度学习其实就是神经网络的一种延伸，网络框架是一个7层框架，包括3个卷积层和3个relu层以及回归层。第一个卷积层含有64个大小为3x3x2的卷积核，第二个卷积层含有64个大小为3x3x64的卷积核，最后一个卷积层含有1个大小为3x3x64的卷积核。将图像信息直接输入，让网络框架获取图像的基础信息，利用卷积神经网络提取图像特征，利用relu函数增加***的非线性，通过反向传播算法对框架进行训练，通过数据反馈实现对网络参数的调整，得到最终的目标效果。

1、网络框架的训练

对训练集内的源图像使用下采样操作变成原来大小的二分之一和四分之一，将下采样后的图像用双三次插值法变成和源图像一样大小，将同一张源图像变成二分之一模糊训练图像A1和四分之一模糊训练图像B1，大小均为128×128，对两幅训练图像用滑动窗进行分块，这里采用的是大小为8×8且滑动步长为1的滑动小块，滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1，大小都变成了64×14641，作为两个分支同时输入深度学习网络框架，将源图像与二分之一模糊训练图像A1的差值图像作为目标残差图像。这里，训练集与测试集选取的是同一个数据库的数据，训练图像经过网络框架训练后得到的是一张预测残差图像。想要利用网络框架提取测试图像特征，不是将图片直接输入框架就可以得到特征图像，网络参数是随机设定的，需要利用训练图片对网络参数进行调整，得到可以实现目标效果的参数。

具体地，首先基于卷积核的大小随机初始化参数w_i，b_i，w代表权重矩阵，也就是每个卷积核内参数组成的矩阵，b代表偏置矩阵，i代表对应的卷积层，定直接误差项、权值惩罚项均为0；

然后采用前向传播算法计算出神经网络各节点的线性组合值和激活值，前向传播算法就是把网络正向的运行一遍，即输入层到中间层到输出层，计算每个结点对其下一层结点的影响。一组向量乘一组系数的操作就叫做线性组合，输入矩阵与卷积核进行卷积操作输出就是线性组合值。激活函数并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来，去除一些数据中的冗余信息，将卷积层输出的特征矩阵输入relu层，输出就是激活值，公式(1)为卷积层内的卷积操作，计算各节点的线性组合值，公式(2)，(3)为relu层内操作，计算各节点的激活值，具体内容如下所示：

z_i＝W_i×x_i+b_i (1)

a_i＝relu(z_i) (2)

其中，relu函数表示为：

网络框架采用7层的结构，w是权值矩阵，b是偏置矩阵，分别是对应的框架层数的参数，x_i是每个卷积层的输入特征矩阵，z_i代表relu层的输入特征矩阵。每一层输出的特征矩阵，也是下一层的输入矩阵，在开始时会对w和b进行随机初始化，网络框架通过训练进行自主学习，实现对框架内参数的更新。

图像的训练采用反向传播算法实现对网络框架参数的更新，利用梯度下降法将误差见到最少，利用均方误差作为损失函数。本方法创造一个r＝X-A1来体现源图像X与训练图像A1之间的差异，也就是目标残差图像，图片输入计算机后会自动识别为矩阵，X-A1是两个矩阵的相减，因为目标残差图像只有一张，选择A1还是选择B1与源图像的差值做目标残差图像是没有本质区别的，因为网络框架的输出是一张预测残差图像，融合图像的重构就是预测残差与测试图像依行依列相加，选择不同图像与源图像做差值得到的是不同的目标残差图像，框架训练目的是框架输出图像与目标图像越来越相似，最终输出图像要与相对应的测试图像相加作为融合图像，所以目标残差图像也可以使用r＝X-B1求得，即在训练时使用r＝X-B1作为目标残差图像进行训练。这个方法选择A1与源图像差值做目标残差图像，那么测试图像B1的作用是对框架训练和测试的信息补充，因为单单由一种模糊程度的测试图像训练训练得到残差图像是很困难的，此方法采用两种不同模糊程度训练图像做框架输入，其中一种训练图像与源图像的差值作为目标残差图像，另外一种训练图像为框架训练提供有用的图像信息。残差图像中的像素值大多为零或较小，因此整个剩余图像是稀疏的。可以忽略图像的冗余信息，只关注提高图像分辨率的特征。拟选择均方误差函数做为损失函数，损失函数表示为：

r⁽ⁱ⁾是第i个源图像X与其对应的训练图像A1之间的实际残差图像，

是预测残差图像g这个函数就代表了整个框架，将

输入框架中，

就是框架的输出，

就是输入的训练图像A1，B1；其中，i代表1到n的数字，n代表批量训练图像的数量。当L数值低于预设值时，说明训练达到理想状态，训练结束。

再次，对测试图像的预处理操作，对测试集内的源图像使用下采样操作变成原来大小的二分之一和四分之一，将下采样后的图像用双三次插值法变成和源图像一样大小,双三次插值的作用就是放大图像，降低图像的质量，将同一张源图像变成二分之一模糊测试图像A2和四分之一模糊测试图像B2，大小均为128×128，对两幅测试图像用滑动窗进行分块，这里采用的是大小为8×8且滑动步长为1的滑动小块，滑动得到的小块经过编纂成列向量组合形成新的矩阵aa2和bb2，大小都变成了64×14641，作为两个分支同时输入深度学习网络框架，将源图像与二分之一模糊测试图像A2的差值图像作为目标残差图像。

其次，对测试图像进行特征提取，将上述得到的联合矩阵作为输入信号输入到深度学习网络框架中，对于深度学习网络框架而言，它的输出是预测残差图像，不是最终的融合图像。

最后，进行图像的重构，将测试图像输入到网络框架中得到预测残差图像与相对应的测试图像A2依行依列相加，就是最终的融合高分辨率图像。如果训练的时候使用的是r＝X-B1作为目标残差图像，那么此处进行图像的重构时，将测试图像输入到网络框架中得到预测残差图像与相对应的测试图像B2依行依列相加，就是最终的融合高分辨率图像。

Claims (2)

1.一种基于深度学习的图像融合重建方法，其特征在于，该方法包括如下步骤：

(1)获取源图像，将得到的源图像按照一定比例选取构成训练图像数据集和测试图像数据集；

(2)构建深度学习网络框架，网络框架是一个7层框架，包括3个卷积层和3个relu层以及回归层；

(3)使用训练图像数据集对网络框架进行训练；

(4)将测试图像数据输入到步骤(3)训练好的框架中，输出预测残差图像；

(5)将预测残差图像与相对应的测试图像依行依列相加得到最终的融合高分辨率图像；

步骤(2)中的深度学习网络框架，具体设计如下：

(2.1)基于卷积核的大小随机初始化参数w_i，b_i，w代表权重矩阵，即每个卷积核内参数组成的矩阵，b代表偏置矩阵，i代表对应的卷积层，设置直接误差项、权值惩罚项均为0；

(2.2)采用前向传播算法计算出神经网络各节点的线性组合值和激活值，公式(1)为卷积层内的卷积操作，公式(2)，(3)为relu层内操作，具体如下所示：

z_i＝W_i×x_i+b_i (1)

a_i＝relu(z_i) (2)

其中，relu函数表示为：

其中，x_i是每个卷积层的输入特征矩阵，x_i在卷积层内的进行卷积操作后输出为z_i，也即relu层的输入特征矩阵，每一层输出的特征矩阵，也是下一层的输入矩阵，网络框架通过训练进行自主学习，实现对框架参数的更新；

步骤(3)中，使用训练图像数据集对网络框架进行训练前，需对训练图像数据集的图像进行如下处理：

(3.1)对训练集内的源图像使用下采样操作变成原来大小的二分之一和四分之一，将下采样后的图像用双三次插值法变成和源图像一样大小，将同一张源图像变成二分之一模糊训练图像A1和四分之一模糊训练图像B1，大小均为128×128；

(3.2)对两幅训练图像用滑动窗进行分块，采用的是大小为8×8且滑动步长为1的滑动小块，滑动得到的小块经过编纂成列向量组合形成新的矩阵aa1和bb1，大小都变成了64×14641；

步骤(3)中，学习网络框架训练时，设置如下损失函数：

r⁽ⁱ⁾是第i个源图像X与其训练图像A1之间的残差图像，

是预测残差图像，也即框架的输出；其中，

和

分别表示两幅输入图像的特征矩阵，i取值为1到n，n代表批量训练图像的数量；

步骤(4)，将测试图像数据输入到步骤(3)训练好的框架中进行训练之前，先对测试图像数据进行如下处理：

(4.1)对测试集内的源图像使用下采样操作变成原来大小的二分之一和四分之一，将下采样后的图像用双三次插值法变成和源图像一样大小，将同一张源图像变成二分之一模糊测试图像A2和四分之一模糊测试图像B2，大小均为128×128；

(4.2)对两幅测试图像用滑动窗进行分块，采用的是大小为8×8且滑动步长为1的滑动小块，滑动得到的小块经过编纂成列向量组合形成新的矩阵aa2和bb2，大小都变成了64×14641，作为两个分支同时输入深度学习网络框架；

步骤(5)将预测残差图像与相对应的测试图像依行依列相加得到最终的融合高分辨率图像，方法如下：将网络框架输出的残差图像与相对应的测试图像A2依行依列相加得到最终的融合高分辨率图像。

2.根据权利要求1所述的一种基于深度学习的图像融合重建方法，其特征在于，步骤(3)中，训练时，如果L小于预设的值，则停止训练。

Images