CN110163246A - 基于卷积神经网络的单目光场图像无监督深度估计方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的单目光场图像无监督深度估计方法。本发明先利用公开的大型光场图像数据集作为训练集，通过数据增强、数据扩充使训练集样本趋于平衡。构建改进的ResNet50网络模型，使用编码器和解码器分别提取模型的高级和低级的特征，再通过密集差结构将编码器和解码器的结果融合，同时另外构建了一个超分辨率遮挡检测网络，能够使用深度学习准确的预测出各个视角之间的遮挡问题；基于光场图像深度估计任务的目标函数是多损失函数，通过预先定义好的网络模型对预处理后的图像进行训练，最后在测试集上对网络模型进行泛化评估。本发明对复杂场景的光场图像预处理效果显著，实现了更精确光场图像无监督深度估计的效果。

Description

基于卷积神经网络的单目光场图像无监督深度估计方法

技术领域

本发明涉及光场图像处理领域，特别是一种基于卷积神经网络的单目光场图像无监督深度估计方法。

背景技术

单幅图像深度估计是三维重建中基于图像获取场景深度的重要技术,也是计算机视觉中的经典问题,近年来,基于监督学习的单幅图像深度估计发展迅速，但是，要获取到监督学习的精确的标签非常困难，会受到诸多例如环境、光照等外界因素影响，要克服这些影响需要付出巨大的代价。基于此，本发明根据图像深度的特点，发明了一种基于深度卷积神经网络的单目无监督深度估计方法，可以快速、准确的估计图像的景深信息。由于是无监督的估计，所以不需要专门制作深度信息标签，这可以大大减少深度估计的前期工作量以及成本。

发明内容

本发明的目的就是为了解决上述单目有监督深度估计数据集标签问题，提供一种基于卷积神经网络的单目光场图像无监督深度估计方法。

本发明考虑了不同视角(3×3的九宫格)的光场图像遮挡问题对深度估计一致性的影响，对数据进行增强、构建卷积神经网络以及提出适用于光场图像的网络的损失函数，实现从图像到深度的准确离散映射，使图像深度估计结果更加准确和快速高效。

为达到上述目的，本发明提供如下技术方案包括以下主要步骤：

1.基于卷积神经网络的单目光场图像无监督深度估计方法，其特征在于包括如下步骤：

步骤1、数据预处理：

实验数据集基于Stanford公开的采用Lytro illum光场相机拍摄真实世界中的实物对象得到的光场图像数据集；

数据预处理包括增强图像亮度、水平/垂直翻转和随机剪切；

经过数据预处理后，光场图像数据集得到进一步扩充，增加训练样本和测试样本的多样性；

步骤2、构建模型，包括卷积神经网络深度估计模型和卷积神经网络遮挡检测模型；

所述的卷积神经网络深度估计模型，具体实现如下：

以ResNet50网络模型作为编码器Eecode，在ResNet50的基础上使用自适配归一化对原网络进行改进以适应光场图像使用；编码器将图像的长宽逐步压缩的同时增加了特征的数量，设原来的输入图像为I_256*256*3，下标表示图像的长宽和通道数，经过编码器逐步编码的中间结果变化过程为：

I^E _256*256*64→I^E _128*128*128→I^E _64*64*256→I^E _32*32*512→I^E _16*16*1024

解码器则刚好相反，将编码器的结果的特征图的长宽一步步恢复到原来图像的尺寸；使用了密集残差结构连接Decode和Encode两个过程，即把I^E _32*32*512和I^D _32*32*512经过跳层连接到一起；

考虑带光场相机的视差范围在[-4,4]的区间内，采用Tanh激活函数提取预测的视差图，由于Tanh的范围是在[-1,1]之间，所以在得到的视差图的基础上再乘以4倍，便得到真实的视差图；采用4层金字塔的结构获取视差图，所以网络最后得到的是具有4种不同尺度的视差图融合的结果；

所述的卷积神经网络遮挡检测模型，用于学习不同视角之间的遮挡关系，同时使用多个损失函数进行约束训练，解决图像遮挡问题和深度估计的一致性问题，并且在每一层结构中使用了自适配正则化；网络由8层全卷积层构成，其中1到3层是编码器负责提取特征，4到6层是解码器根据特征恢复图像，第7层是为了得到超分辨率图像进行的反卷积操作，最后一层是下采样得到原始图像的尺寸；

步骤3、为了优化网络模型估计视差图的质量，将原始的输入图像通过估计的视差图双线性插值Warping估计其它视角的图像，并将其它视角的图像的合成图通过损失函数进行约束；

步骤4、设置优化器，动态优化调整学习率，给模型动态设定一个理想的学习率，初始学习率设定为0.0001，模型训练过程中，学习率随批次数增加而减缓，减缓机制如下：利用基于动量的随机梯度下降类型的网络优化算法对模型进行训练和参数求解，动量因子μ会随着损失的波动性动态进行调整，μ初始值设为0.5，当损失波动变小时，认为网络相对达到稳定，相应的μ也变小，从而达到动态调节学习率细化训练过程的效果；

步骤5、训练卷积神经网络：

首先选取步骤1数据集中60％的数据样本作为训练样本集，设置一个随机值决定每次取到的训练集是无序且分布均匀的样本；

其次定义损失函数和优化器，调整网络参数并统计指标；

最后步骤2的网络模型作为训练模型对数据样本开始进行训练，训练结束之后保存模型，以方便后期快速的模型加载；

步骤8.测试卷积神经网络：使用PSNR和SSIM进行评估，这两个指标是一种对图像质量准确率进行量化的指标，用来呈现合成图像优劣的量化效果，通过将模型预测的数据与测试数据进行对比，使用准确率指标对模型的估计效果进行度量，最终得出模型在测试集上估计深度的准确率。

所述的卷积神经网络中损失函数设置有3个，具体定义如下：

第一个损失函数I是图像一致性约束L_{image_loss}，使得估计的图像和原始图像能够尽可能的接近，还有图像质量约束，这要求的是估计的图像和原始图像在局部上的相似性要一致；

第二个损失函数II是视差图的一致性约束L_consist，解决的是视差图一致性问题以及视差遮挡问题；

第三个损失函数III是视差图平滑性约束损失函数L_Smooth，防止估计的视差图中存在的一些异常点导致最后的结果不佳问题。

损失函数I具体如下：

损失函数I用于衡量估计图像和原始图像的之间的差距，使用L1距离进行比较，采用SSIM对图像质量进行检测，若是估计的图像和原来的图像越相似则SSIM的值就越接近于1，损失函数I表达如下所示：

其中，表示的是视角(i，j)的原始图像，表示的是视角(i，j)的估计图像，α、β、ψ均表示超参；公式第一项是为了检测预测图的质量，局部相似性，公式第二项是为了检测预测图与原始图像的距离，即逐像素点的像素值相似性；

损失函数II具体定义如下：

其中，D_i+x，j+y表示在(i+x，j+y)视角处的视差图，D_i，j+Dx，y表示由(i，j)视角处的视差图经过(x，y)向量Warping得到(i+x，j+y)视角处的视差图；

损失函数III定义如下：

其中，分别表示对(i，j)视差处的视差图横坐标和纵坐标的偏导数，分别表示对(i，j)视差处的原图横坐标和纵坐标的偏导数；

最终总的损失函数如下：

L_totle＝L_{image_loss}+L_consist+L_Smooth。

通过定义多损失函数对光场图像的深度估计，可以从不同方面对结果进行优化，使结果更加精确。

所述步骤1具体实现如下.步骤1是数据增强，对原始的数据进行一些增强操作后可以使得网络具有更强的鲁棒性以及防止网络过拟合，主要使用了随机翻转、颜色增强和随机剪切三种方法，假设原始图像I由9个像素块组成，表示如下：

随机翻转有上下垂直翻转和左右水平翻转两种，设翻转后得到的图像分别为I₁和I₂，则I₁、I₂表示如下：

随机颜色增强是指首先随机生成一个增强的系数，可以是针对RGB单个颜色通道也可以是直接针对三个同道，假设针对三个通道增强的系数为α，则增强后的图像I₃表示如下：

随机剪切是指将原图中的某一区域或某几个区域的像素值变为0或其他值，使得改变后的图像在一些区域语义发生歧义不连续，随机剪切的一个例子I₄如下所示：

虽然只使用了3种增强方法，但是将他们结合起来之后得到的数据样本将是原来样本的数倍，使用增强后的数据训练模型，使模型具有更强的健壮性和泛化能力，也进一步提升模型的预测精度。

本发明的有益效果如下：

本发明基于卷积神经网络的单目光场图像无监督深度估计，由于是无监督的估计，所以不需要专门制作数据集的标签，使得深度估计变得更加方便，同时，使用多损失函数对模型进行约束可以保证模型具有很高预测的精度。基于改进的ResNet50模型具有很好泛化性能，使用深度更深的卷积神经网络模型架构，已具备良好的性能，密集差结构使鲁棒性更强，实例正则化能够稳定学习过程，有效提高模型收敛率，超分辨率遮挡检测网络有效解决遮挡以及边界模糊及遮挡问题，目标函数将多损失函数结合作为网络模型优化器。适当的采取一些训练技巧，选择理想的网络参数、优化算法以及学习率的设置，网络更加稳定，结果更可靠，大幅度提高了光场图像无监督深度估计正确率。

附图说明

图1是本发明流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，基于卷积神经网络的单目光场图像无监督深度估计方法，具体包括如下步骤：

步骤1.本发明的实验数据集基于Stanford公开的采用Lytroillum光场相机拍摄真实世界中的实物对象得到的光场图像数据集，数据集包括大量的植物、花朵、街景以及一些雕塑图像等。对这些图像进行预处理增强，在本发明中主要使用的增强方法有增强图像亮度、水平/垂直翻转和随机剪切等，经过图像增强之后，使得数据集得到进一步扩充，增加训练样本和测试样本的多样性，网络模型的鲁棒性也会进一步增强，模型的泛化能力也更强而不至于出现过拟合现象。另一方面又会在一定程度上带来模型性能的提升。

对原始的数据进行一些增强操作后可以使得网络具有更强的鲁棒性以及防止网络过拟合，主要使用了随机翻转、颜色增强和随机剪切三种方法，假设原始图像I由9个像素块组成，表示如下：

随机翻转有上下垂直翻转和左右水平翻转两种，设翻转后得到的图像分别为I₁和I₂，则I₁、I₂表示如下：

随机颜色增强是指首先随机生成一个增强的系数，可以是针对RGB单个颜色通道也可以是直接针对三个同道，假设针对三个通道增强的系数为α，则增强后的图像I₃表示如下：

随机剪切是指将原图中的某一区域或某几个区域的像素值变为0或其他值，使得改变后的图像在一些区域语义发生歧义不连续，随机剪切的一个例子I₄如下所示：

虽然只使用了3种增强方法，但是将他们结合起来之后得到的数据样本将是原来样本的数倍，使用增强后的数据训练模型，使模型具有更强的健壮性和泛化能力，也进一步提升模型的预测精度。

步骤2.构建一种基于ResNet50的卷积神经网络的无监督深度估计方法，使用编码器Encode和解码器Decode网络进行前景和背景特征区域识别和图像处理方法将特征进行分割，令提取的特征区域实现较高的分割准确性，提高了卷积神经网络进行深度学习图像特征的效率和准确性。使用具有4层结构的金字塔模型和残差结构，将网络学习到的低级特征和高级特征融合到一起，增加网络学习的信息。

步骤3.网络模型后处理，遮挡一直以来都是影响深度估计精度的最大因素，为了使得学习到更好地遮挡信息，本发明构建了一个遮挡学习的超分辨率卷积神经网络模型，学习不同视角之间的遮挡关系，除此之外，使用多个损失函数进行约束训练，解决图像遮挡问题和深度估计的一致性问题，并且在每一层结构中使用了自适配正则化，避免出现过拟合现象，也增加了网络的泛化能力和深度估计的精度。

步骤4.为了检验网络模型估计视差图的质量，将估计的视差图了原始中心图像通过双线性插值法估计其它视角的图像，再将估计的图像和原始的图像做优化。

步骤5.网络模型损失函数定义，为了更好地指导网络进行训练，本发明为光场图像定义了专门的损失函数进行约束，本发明主要使用了3个损失函数进行了约束，第一个是图像一致性约束，使得估计的图像和原始图像能够尽可能的接近，还有图像质量约束，这要求的是估计的图像和原始图像在局部上的相似性要一致；第二个是视差图的一致性约束，解决的是视差图一致性问题；第三个是视差图平滑性约束，防止估计的视差图中存在的一些异常点导致最后的结果精度不佳。这些损失函数需要重新定义以使得能够适用于光场图像。

因为网络的损失函数是用来指导网络优化、衡量预测值与真实样本标记之间的误差，所以损失函数的好坏直接关系网络的最后结果的好坏，对此，本发明设计了3个专门的损失函数以进行指导网络训练优化。

损失函数1.图像一致性约束，衡量估计图像和原始图像的之间的差距，这里使用的L1距离进行比较，采用SSIM对图像质量进行检测，若是估计的图像和原来的图像越相似则SSIM的值就越接近于1，损失函数表达如下所示：

上述式子中，表示的是视角(i,j)的原始图像，表示的是视角(i,j)的估计图像，α、β、Ψ是超参。前面一项是为了检测预测图的质量，局部相似性，后一项是为了检测预测图与原始图像的距离，即逐像素点的像素值相似性。

损失函数2.视差图一致性约束，由于遮挡的原因会导致视差估计错误，本发明训练了一个专门用于遮挡检测的网络用来预测遮挡的部分，此外还定义了一个损失函数约束视差图之间的一致性，损失函数定义如下：

上述式子中D_i+x，j+y表示在(i+x，j+y)视角处的视差图，D_i，j+D_x，y表示由点(i，j)处的视差图经过(x，y)向量Warping得到(i+x，j+y)视角处的视差图，若是视差估计都正确，则两项应该相等，即两项是一致的。

损失函数3.视差平滑性约束，为了消除预测的视差图中的一些异常值对结果的影响，定义了一个视差平滑损失函数对其进行约束，损失函数定义如下：

上述式子中，分别表示对(i，j)处的视差图横坐标和纵坐标的偏导数，分别表示对(i，j)处的原图横坐标和纵坐标的偏导数。即原图的偏导或梯度越大则视差图的偏导系数越小，视差图越平滑，所以，本发明最终总的损失函数如下：

L_totle＝L_{image_loss}+L_consist+L_Smooth

通过定义多损失函数对光场图像的深度估计，可以从不同方面对结果进行优化，使结果更加精确。

步骤6.动态优化调整学习率，给模型动态设定一个理想的学习率，初始学习率设定为0.0001，模型训练过程中，学习率随批次数增加而减缓，减缓机制如下：如果在两个或者更多训练批次数内损失停止下降，学习率按设定规则公式递减为利用基于动量的随机梯度下降类型的网络优化算法对模型进行训练和参数求解，将动量因子μ设为随着损失的波动性动态进行调整，μ初始值设为0.5，当损失波动变小时，认为网络基本达到了稳定，相应的μ也变小，从而达到动态调节学习率细化训练过程的效果，还可在网络训练中后期网络趋于收敛、网络参数在局部最小值附近来回振荡时帮助其跳出局部限制，找到更优的网络参数。

步骤7.所述网络训练模块，在训练卷积神经网络时，首先选取步骤1数据集中60％的数据样本作为训练样本集，设置一个随机值决定每次取到的训练集是无序且分布均匀的样本，这样的处理方式不仅会提高模型收敛速率，同时也会提升模型在测试样本集上的预测结果。定义步骤4损失函数和步骤5优化器，调整网络参数并统计指标。将步骤2的网络模型作为训练模型对数据样本开始进行训练，训练结束之后保存模型，以方便后期快速的模型加载。

步骤8.所述网络测试模块，使用PSNR和SSIM进行评估，这两个指标是一种对图像质量准确率进行量化的指标，用来呈现合成图像优劣的可视化效果，通过将模型预测的数据与测试数据进行对比，使用准确率指标对模型的估计效果进行度量，最终得出模型在测试集上估计深度的准确率。

Claims (3)

1.基于卷积神经网络的单目光场图像无监督深度估计方法，其特征在于包括如下步骤：

步骤1、数据预处理：

实验数据集基于Stanford公开的采用Lytro illum光场相机拍摄真实世界中的实物对象得到的光场图像数据集；

数据预处理包括增强图像亮度、水平/垂直翻转和随机剪切；

经过数据预处理后，光场图像数据集得到进一步扩充，增加训练样本和测试样本的多样性；

步骤2、构建模型，包括卷积神经网络深度估计模型和卷积神经网络遮挡检测模型；

所述的卷积神经网络深度估计模型，具体实现如下：

以ResNet50网络模型作为编码器Eecode，在ResNet50的基础上使用自适配归一化对原网络进行改进以适应光场图像使用；编码器将图像的长宽逐步压缩的同时增加了特征的数量，设原来的输入图像为I_256*256*3，下标表示图像的长宽和通道数，经过编码器逐步编码的中间结果变化过程为：

I^E _256*256*64→I^E _128*128*128→I^E _64*64*256→I^E _32*32*512→I^E _16*16*1024

解码器则刚好相反，将编码器的结果的特征图的长宽一步步恢复到原来图像的尺寸；使用了密集残差结构连接Decode和Encode两个过程，即把I^E _32*32*512和I^D _32*32*512经过跳层连接到一起；

考虑带光场相机的视差范围在[-4,4]的区间内，采用Tanh激活函数提取预测的视差图，由于Tanh的范围是在[-1,1]之间，所以在得到的视差图的基础上再乘以4倍，便得到真实的视差图；采用4层金字塔的结构获取视差图，所以网络最后得到的是具有4种不同尺度的视差图融合的结果；

所述的卷积神经网络遮挡检测模型，用于学习不同视角之间的遮挡关系，同时使用多个损失函数进行约束训练，解决图像遮挡问题和深度估计的一致性问题，并且在每一层结构中使用了自适配正则化；网络由8层全卷积层构成，其中1到3层是编码器负责提取特征，4到6层是解码器根据特征恢复图像，第7层是为了得到超分辨率图像进行的反卷积操作，最后一层是下采样得到原始图像的尺寸；

步骤3、为了优化网络模型估计视差图的质量，将原始的输入图像通过估计的视差图双线性插值Warping估计其它视角的图像，并将其它视角的图像的合成图通过损失函数进行约束；

步骤4、设置优化器，动态优化调整学习率，给模型动态设定一个理想的学习率，初始学习率设定为0.0001，模型训练过程中，学习率随批次数增加而减缓，减缓机制如下：利用基于动量的随机梯度下降类型的网络优化算法对模型进行训练和参数求解，动量因子μ会随着损失的波动性动态进行调整，μ初始值设为0.5，当损失波动变小时，认为网络相对达到稳定，相应的μ也变小，从而达到动态调节学习率细化训练过程的效果；

步骤5、训练卷积神经网络：

首先选取步骤1数据集中60％的数据样本作为训练样本集，设置一个随机值决定每次取到的训练集是无序且分布均匀的样本；

其次定义损失函数和优化器，调整网络参数并统计指标；

最后步骤2的网络模型作为训练模型对数据样本开始进行训练，训练结束之后保存模型，以方便后期快速的模型加载；

步骤8.测试卷积神经网络：使用PSNR和SSIM进行评估，这两个指标是一种对图像质量准确率进行量化的指标，用来呈现合成图像优劣的量化效果，通过将模型预测的数据与测试数据进行对比，使用准确率指标对模型的估计效果进行度量，最终得出模型在测试集上估计深度的准确率。

2.根据权利要求1所述的基于卷积神经网络的单目光场图像无监督深度估计方法，其特征在于所述的卷积神经网络中损失函数设置有3个，具体定义如下：

第一个损失函数Ⅰ是图像一致性约束L_{image_loss}，使得估计的图像和原始图像能够尽可能的接近，还有图像质量约束，这要求的是估计的图像和原始图像在局部上的相似性要一致；

第二个损失函数Ⅱ是视差图的一致性约束L_consist，解决的是视差图一致性问题以及视差遮挡问题；

第三个损失函数Ⅲ是视差图平滑性约束损失函数L_Smooth，防止估计的视差图中存在的一些异常点导致最后的结果不佳问题。

3.根据权利要求2所述的基于卷积神经网络的单目光场图像无监督深度估计方法，其特征在于损失函数Ⅰ具体如下：

损失函数Ⅰ用于衡量估计图像和原始图像的之间的差距，使用L1距离进行比较，采用SSIM对图像质量进行检测，若是估计的图像和原来的图像越相似则SSIM的值就越接近于1，损失函数Ⅰ表达如下所示：

其中，表示的是视角(i,j)的原始图像，表示的是视角(i,j)的估计图像，α、β、ψ均表示超参；公式第一项是为了检测预测图的质量，局部相似性，公式第二项是为了检测预测图与原始图像的距离，即逐像素点的像素值相似性；

损失函数Ⅱ具体定义如下：

其中，D_i+x，j+y表示在(i+x,j+y)视角处的视差图，表示由(i,j)视角处的视差图经过(x,y)向量Warping得到(i+x,j+y)视角处的视差图；

损失函数Ⅲ定义如下：

其中，分别表示对(i,j)视差处的视差图横坐标和纵坐标的偏导数，分别表示对(i,j)视差处的原图横坐标和纵坐标的偏导数；

最终总的损失函数如下：

L_totle＝L_{image_loss}+L_consist+L_Smooth。