CN112750076A - 一种基于深度学习的光场多视角图像超分辨率重建方法 - Google Patents

Abstract

一种基于深度学习的光场多视角图像超分辨率重建方法，采用从光场相机或光场相机阵列获得的呈N×N阵列状分布的多视角图像构建高分辨率和低分辨率图像对的训练集；构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络；将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征；构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系；基于该多尺度特征融合网络构建损失函数并进行训练，微调网络参数；将低分辨率N×N光场多视角图像输入该训练后的网络，得到高分辨率N×N光场多视角图像。

Description

一种基于深度学习的光场多视角图像超分辨率重建方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于深度学习的光场多视角图像超分辨率重建的方法。

背景技术

光场相机能够同时捕获光线的空间位置和入射角度，然而其记录的光场存在空间分辨率和角度分辨率之间的权衡制约关系，多视角图像有限的空间分辨率一定程度上限制了光场相机的应用范围。相机阵列同样由于存在成本和分辨率的制约，限制了3D光场显示、3D建模、3D测量等领域的发展。随着图像处理领域的不断发展，对光场多视角图像的超分辨率技术的需求亟待满足。

近年来，神经卷积网络的发展和进步为超分辨率提供了更好的解决方案。作为一种非线性的优化方法，神经卷积网络的出现为常规图像的超分辨率提供了很多很好的解决方案和思路。然而，现有的方案中，基于卷积神经网络的光场多视角超分辨方法，仅仅基于光场多视角图像本身具有的特点，使用光场多视角之间的相互关系，没有考虑到多尺度下图像纹理信息的特征丢失；其次，由于过于简单地使用4D光场中隐含的特征信息，造成超分辨效果不佳。

发明内容

本发明提供的基于深度学习的光场多视角图像超分辨率重建方法，目的在于解决现有对于光场多视角图像超分辨方法无法满足技术指标的问题。

本发明实施例之一，一种基于深度学习的光场多视角图像超分辨率重建方法，该方法包含以下步骤：

A1，采用从光场相机或光场相机阵列获得的呈N×N阵列状分布的多视角图像构建高分辨率和低分辨率图像对的训练集；

A2，构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络；

A3，将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征；

A4，构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系；

A5，基于该多尺度特征融合网络构建损失函数并进行训练，微调网络参数；A6，将低分辨率N×N光场多视角图像输入该训练后的网络，得到高分辨率N×N光场多视角图像。

本发明实施例提供的一种基于多尺度融合特征的光场多视角图像超分辨率方法具有如下优点：

1、充分利用光场多视角图像的特点，通过多尺度特征提取模块探索4D光场中的固有结构信息，然后采用融合模块融合和增强所提取到的纹理信息，最终使用上采样模块实现光场多视角图像阵列的超分辨率。

2、本发明的光场多视角图像超分辨结果可用于光场深度估计，发现其能够为遮挡或边缘区域提供更多的线索，在一定程度上增强了视差图计算的准确性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是根据本发明实施例之一的基于多尺度融合特征的光场多视角图像超分辨率方法流程图。

图2是根据本发明实施例之一的光场多视角图像超分辨网络结构示意图。

图3是根据本发明实施例之一的原子空洞卷积和不同扩张率原子空洞卷积组成的原子空间金字塔池化块示意图。

图4是根据本发明实施例之一的融合块的网络结构示意图。

图5是根据本发明实施例之一的双三次插值与本发明实施例中的方法在合成数据集不同的三种图像上分别在PSNR和SSIM两种评价指标下的对比表。

图6是根据本发明实施例之一的双三次插值与本发明实施例方法在真实数据集不同的三种图像上分别在PSNR和SSIM两种评价指标下的对比表。

具体实施方式

根据一个或者多个实施例，如图1所示，一种基于多尺度融合特征的光场多视角图像超分辨率方法，包含如下步骤：

A1，采用光场相机多视角图像或光场相机阵列图像(N×N阵列状分布的多视角图像)构建高分辨率和低分辨率图像对的训练集；

A2，构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络；

A3，将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征；

A4，构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系；

A5，基于该多尺度特征融合网络构建损失函数并进行训练，微调网络参数；

A6，将低分辨率N×N光场多视角图像输入该训练后的网络，得到高分辨率N×N光场多视角图像。

根据一个或者多个实施例，步骤A1中所述采用光场相机多视角图像或光场相机阵列图像(N×N阵列状分布的多视角图像)构建高分辨率和低分辨率图像对的训练集的具体过程为：

步骤A1.1,首先对于N×N阵列状分布的多视角图像G^HR进行双三次插值进行2倍降采样以获得低分辨率N×N光场多视角图像G^LR；

步骤A1.2,然后对低分辨率光场多视角图像G^LR被以K像素的步长裁剪成了空间大小为M×M像素的小块，高分辨率光场多视角图像G^HR也对应地被裁剪成大小为2M×2M像素的小块；

步骤A1.3,分别对两种光场多视角图像进行归一化及正则化处理，每个像素取值在[0,1]的范围内，由此构成本实施例中的深度学习网络模型的输入数据和真实数据。

根据一个或者多个实施例，如图2所示，步骤A2中构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络的具体过程为：

步骤A2.1,低分辨率光场中的多视角图像经由1个常规卷积和1个残差块(residual block，ResB)以实现对低级特征提取；

步骤A2.2，提取得到的低级特征由交替出现两次的(residual atrous spatialpyramid pooling，ResASPP)ResASPP块和残差块对其进行多尺度特征提取及特征融合，从而得到每张光场多视角图像的中级特征。

其中ResASPP块是将3个结构参数相同的ASPP块级联并以残差的形式加到上游输入中；如图3所示原子空间金字塔池化块(atrous spatial pyramid pooling，ASPP)采用相互平行的具有不同膨胀率的原子空洞卷积对上游输入进行多尺度特征提取；在每个ASPP块中，首先3个原子空洞卷积分别以d＝1,4,8的膨胀率对上游输入进行特征提取，然后再由1个1×1的卷积核对所得到的多尺度特征进行融合。

根据一个或者多个实施例，步骤A3中将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征的具体过程为：

步骤A3.1,多尺度特征图阵列Q₀∈R^NH×NW×C中的每个视图按照从左上到右下的顺序在通道C上进行堆叠，其中，H表示多视角图像列数，W表示图像行数；N表示多视角图像沿单个方向的数量，总数为N×N张；C表示图像的通道数量。从而得到特征图Q∈R^{H×W×(N×N×C)}。

步骤A3.2,堆叠后的特征图Q∈R^{H×W×(N×N×C)}将作为输入被发送至全局特征融合模块。堆叠后的多尺度特征首先经由3个常规卷积进行特征再提取，接着经由1个残差块进行特征融合；

步骤A3.3,然后进入融合块以实现特征增强。该融合块通过提取4D光场中的角度特征，可以在原有特征上累加更多的纹理细节信息。经过增强的特征将被送至4个级联的残差块进行特征充分融合，并最终生成可用于光场图像超分辨率重建的4D光场结构特征。

其中融合块目的是对所提取到的多尺度特征进行特征融合与增强，采用图4所示的网络结构。将中心视角图像可通过一定的“翘曲变换”生成其他周围视角图像，反之亦然。中心视图生成周围视图的过程可被数学描述为：

G_s',t'＝M_st→s't'·W_st→s't'·G_s,t+N_st→s't'

式中，G_s,t表示中心视角图像，G_s',t'表示其他周围视角图像，W_st→s't'为“翘曲矩阵”，而N_st→s't'为经“翘曲变换”后生成的视图与该视角原本的多视角图像G_s',t'之间的误差项；M_st→s't'是一个“mask”矩阵，用于去除上述遮挡问题的影响。

如图4所示，N×N特征图阵列中的周围视角特征Q_s',t'经过“翘曲变换”W_s't'→st可分别生成中心视角特征Q'_s,t，如标号为①的特征块所示。同样地，中心视角特征Q_s,t经过“翘曲变换”W_st→s't'也可相应地生成周围视角特征W_st→s't'，如图4中标号为②的特征块所示。前述过程可被表示为：

式中，

为分批矩阵乘法。继而，该模块对特征块①和②分别进行“mask”处理以处理不同视角之间存在的遮挡问题。获取“mask”矩阵的方法为：得出生成视图与原本视图之间的误差项的绝对值，绝对值越大，说明该区域为遮挡区域，具体地：

其中，T＝0.9×max(||Q'_s,t-Q_s,t||₁)为算法中设置的经验阈值，“mask”矩阵M_st→s't'的求法与M_s't'→s,t类似。而后，对特征块①和②中的遮挡区域进行过滤：

式中，

和

分别为经过“mask”处理后得到的特征块。由于在上述过程中，共生成了n＝N×N-1个中心视角特征图，故对

进行归一化处理，得到图4中所示的标号为③的特征图

式中，k为N×N特征图阵列中除中心视图外，其他视图按照从左上到右下的顺序排列时的索引值；

则表示由中心视图生成的经过“mask”处理后所得到的第k个其他周围视角特征图。进一步地，将

中心位置的特征图替换为标号③的特征图，即可得到经全局融合后的特征块④。该特征块④将累加至原先输入的多尺度特征上以实现特征增强，从而最终得到经过特征融合与增强的特征块⑤。

根据一个或者多个实施例，步骤A4中构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系的具体过程为：

步骤A4.1,采用了子像素卷积，首先从输入的通道数为C的特征图中产生r²个通道数为C的特征图；

步骤A4.2,然后对得到的通道数为r²×C的特征图进行抽样操作并由此生成分辨率为r倍的高分辨率特征图。

步骤A4.3,该高分辨率特征图接下来被发送至1个常规的卷积层中进行特征融合，并最终生成超分辨后的光场多视角图像阵列。

根据一个或者多个实施例，步骤A5基于该多尺度特征融合网络构建损失函数并进行训练，微调网络参数的具体过程为：

在训练过程中，超分辨后的光场多视角图像分别与实际的高分辨率光场多视角图像进行一一对比，网络采用泄露因子为0.1的带泄露修正线性单元(Leaky ReLU)作为激活函数以避免训练过程中神经元不再进行信息传播的情况：

其中u，v分别表示多视角图像在N×N排列阵列中分别沿横向和纵向的位置；s,t分别表示多视角图像像素在该图像x轴方向和y轴方向的位置。

步骤A6具体将低分辨率N×N光场多视角图像输入该训练后的网络，得到高分辨率N×N光场多视角图像。

根据一个或者多个实施例，对本发明实施所述方法进行论述。

采用德国海德堡大学光场数据集和斯坦福的Lytro Illum光场相机数据集进行训练，使用数量为5×5的光场多视角图像，以32个像素为步长将训练数据切分为64×64像素的低分辨率图像和128×128像素的高分辨率图像小块。通过水平和垂直地随机翻转图像来进行数据增强。搭建的神经网络在Pytorch框架进行训练，模型使用Adam优化方法并使用Xaviers方法初始化每一层卷积层的权重。模型的初始学习率被设置为2×10-4，每20个周期衰减0.5倍，经过80个周期后停止训练。

对训练后的网络分别在合成数据集和真实数据集上进行对比分析。

如图5所示为双三次插值和本发明方法在合成数据集不同的三种图像上分别在PSNR和SSIM两种评价指标下的对比表。

如图6所示为双三次插值和本发明方法在真实数据集不同的三种图像上分别在PSNR和SSIM两种评价指标下的对比表。

PSNR和SSIM参数值越高代表超分辨图像效果越好。本具体实现例结果表明，本发明的方法超分辨率效果显著。

应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于深度学习的光场多视角图像超分辨率重建方法，其特征在于，该方法包含以下步骤：

A1，采用从光场相机或光场相机阵列获得的呈N×N阵列状分布的多视角图像构建高分辨率和低分辨率图像对的训练集；

A2，构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络；

A3，将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征；

A4，构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系；

A5，基于多尺度特征融合网络构建损失函数并进行训练，微调网络参数；

A6，将低分辨率N×N光场多视角图像输入训练后的深度学习网络模型，得到高分辨率N×N光场多视角图像。

2.根据权利要求1所述的方法，其特征在于，所述步骤A1进一步包括：

步骤A1.1,记N×N阵列状分布的多视角图像为高分辨率光场多视角图像G^HR，对G^HR进行双三次插值，并进行2倍降采样以获得低分辨率N×N光场多视角图像G^LR；

步骤A1.2,低分辨率光场多视角图像G^LR被以K像素的步长裁剪成空间大小为M×M像素的小块，高分辨率光场多视角图像G^HR也对应地被裁剪成大小为2M×2M像素的小块；

步骤A1.3,分别对G^HR、G^LR这两种光场多视角图像进行归一化及正则化处理，每个像素取值在[0,1]的范围内，作为所述深度学习网络模型的输入数据和真实数据。

3.根据权利要求2所述的方法，其特征在于，所述步骤A2进一步包括：

步骤A2.1,低分辨率光场多视角图像G^LR经由1个常规卷积和1个残差块以实现对低级特征提取；

步骤A2.2，提取得到的低级特征由交替出现两次的ResASPP块和残差块对其进行多尺度特征提取及特征融合，从而得到每张光场多视角图像的中级特征；

其中，

ResASPP块是将3个结构参数相同的ASPP块级联并以残差的形式加到上游输入中；

ASPP块采用相互平行的具有不同膨胀率的原子空洞卷积对上游输入进行多尺度特征提取；

在每个ASPP块中，3个原子空洞卷积分别以d＝1,4,8的膨胀率对上游输入进行特征提取，然后再由1个1×1的卷积核对所得到的多尺度特征进行融合。

4.根据权利要求3所述的方法，其特征在于，所述步骤A3进一步包括：

步骤A3.1,多尺度特征图阵列Q₀∈R^NH×NW×C中的每个视图按照从左上到右下的顺序在通道C上进行堆叠，从而得到特征图Q∈R^{H×W×(N×N×C)}；

步骤A3.2,堆叠后的特征图Q∈R^{H×W×(N×N×C)}将作为输入被发送至全局特征融合模块，堆叠后的多尺度特征首先经由3个常规卷积进行特征再提取，接着经由1个残差块进行特征融合；

步骤A3.3,进入融合块以实现特征增强，该融合块通过提取4D光场中的角度特征，可以在原有特征上累加更多的纹理细节信息，经过增强的特征将被送至4个级联的残差块进行特征充分融合，并最终生成可用于光场图像超分辨率重建的4D光场结构特征。

5.根据权利要求4所述的方法，其特征在于，所述步骤A4进一步包括：

步骤A4.1,采用子像素卷积，首先从输入的通道数为C的特征图中产生r²个通道数为C的特征图；

步骤A4.2,然后对得到的通道数为r²×C的特征图进行抽样操作并由此生成分辨率为r倍的高分辨率特征图；

步骤A4.3,所述高分辨率特征图被发送至1个常规的卷积层中进行特征融合，并最终生成超分辨后的光场多视角图像阵列。

6.根据权利要求5所述的方法，其特征在于，所述步骤A5的具体过程为：

在训练过程中，超分辨后的光场多视角图像分别与实际的高分辨率光场多视角图像进行一一对比，网络采用泄露因子为0.1的带泄露修正线性单元作为激活函数以避免训练过程中神经元不再进行信息传播的情况：

7.一种光场相机***，其特征在于，该***对于光场多视角图像超分辨率重建方法基于深度学习，所述超分辨率重建方法包括：

A1，采用从光场相机获得的呈N×N阵列状分布的多视角图像构建高分辨率和低分辨率图像对的训练集；

A2，构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络；

A3，将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征；

A4，构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系；

A5，基于该多尺度特征融合网络构建损失函数并进行训练，微调网络参数；

A6，将低分辨率N×N光场多视角图像输入该训练后的网络，得到高分辨率N×N光场多视角图像。

8.一种光场相机阵列***，其特征在于，该***对于光场多视角图像超分辨率重建方法基于深度学习，所述超分辨率重建方法包括：

A1，采用从光场相机阵列获得的呈N×N阵列状分布的多视角图像构建高分辨率和低分辨率图像对的训练集；

A2，构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络；

A3，将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征；

A4，构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系；

A5，基于该多尺度特征融合网络构建损失函数并进行训练，微调网络参数；

A6，将低分辨率N×N光场多视角图像输入该训练后的网络，得到高分辨率N×N光场多视角图像。

9.一种光场多视角图像超分辨率重建方法深度学习模型构建方法，其特征在于，该方法包含以下步骤：

A1，采用从光场相机或光场相机阵列获得的呈N×N阵列状分布的多视角图像构建高分辨率和低分辨率图像对的训练集；

A2，构建从N×N光场多视角图像阵列到N×N光场多视角特征图像的多层特征提取网络；

A3，将特征图像进行堆叠并构建特征融合与增强多层卷积网络，获得可用于重建光场多视角图像的4D光场结构特征；

A4，构建上采样模块获得从4D光场结构特征到高分辨率的N×N光场多视角图像的非线性映射关系；

A5，基于该多尺度特征融合网络构建损失函数并进行训练，微调网络参数。

Images