CN108764250B - 一种运用卷积神经网络提取本质图像的方法 - Google Patents

Abstract

本发明提供了一种运用卷积神经网络提取本质图像的方法。首先，构建一个从图像到图像的具有平行结构的双流卷积网络；然后，采用特定的训练数据集对该网络进行训练，优化网络参数，以提取具有环境不变性的多层特征，直接重构出本质图像(反射图与光照图)。由于采用了基于深度学习理论构建的双流卷积神经网络具有强大的特征提取能力，可以直接从原始图像中分离出反射图与光照图。同时，该模型是一种从图像到图像的全卷积网络模型，包含两个分支流向，分别用于生成光照图和反射图，且该网络结构将较高层的卷积结果与反卷积操作后的结果相结合，在一定程度上可以降低光照图和反射图的重构误差，提高了网络特征重构的能力。

Description

一种运用卷积神经网络提取本质图像的方法

技术领域

本发明属图像处理技术领域，具体涉及一种运用卷积神经网络提取本质图像的方法。

背景技术

图像的理解与分析是图像处理最根本的任务之一。由于图像成像过程受多种因素如目标物体本身特性、拍摄环境以及采集设备等条件的共同影响，使得图像处理过程需要充分考虑诸多因素的干扰，如阴影、色彩的不连续性、目标姿态的变换等。这些变化因素对图像处理算法带来了较大的挑战，使得现有的图像分析算法在复杂环境下性能受到较大的影响。因此，如何在复杂环境下提高图像分析算法的鲁棒性已经成为近年的研究热点。事实上，如果能够基于现有的观测图像，分析出图像中的本质特征，便可以很好的解决图像分析过程中所遇到的上述问题。本质特征是指与周围环境无关的目标物体所固有的特征，即物体的反射特性(包含颜色、纹理等信息)和物体的形状特性。虽然对于目标物体而言，这两个固有特征本身不会随着周围环境的变化而发生改变，但是，采集到的目标物体的观测图像却会受到环境的影响。因此，若可直接从观测图像中分析出物体的本质特征，便提取出了物体的固有形状、颜色、纹理等信息，消除了环境变化对图像的影响，从而可实现对图像更加准确的理解，同时也为进一步实现复杂环境中鲁棒的图像分析提供了更加可靠的信息基础。

目前已有的算法根据提取目标本质特征的方式可以分为三类：一类算法是隐式的本质特征分析算法，即通过模式识别算法对目标物体的多模态(目标物体在不同光照条件以及不同姿态下的表象)进行学习。在学习的过程中，该类算法并没有特别的考虑各种表象之间的内在联系，而是直接对各种观测结果进行模式分析，从而试图得到该目标在特征空间中的分布函数。该类算法遇到的一个严重问题就是目标描述函数的推广化问题。也就是说，训练样本的分布严重影响着最终学习得到的分布函数。如果学习样本只是目标物体在单一光照状态或姿态下的图像，则训练学习的结果很难推广到目标物体在不同的光照状态或者新的姿态下的图像上。因此，在样本不完善的情况下，该类算法很难推广到目标物体在各种复杂环境中的情况。另一类算法是显式的本质特征分析算法。该类算法会根据目标物体在不同状态下的表象分析其中的内在联系。与第一类隐式算法相比较，该类算法根据物理成像原理以及反射特征和形状的先验知识，直接对物体的反射特征和形状做出分析。从而，根据这些固有特征就可以直接计算得到目标物体在新的状态下的图像。因此，通过显式的分析算法得到的结果更加准确，同时也更具有推广性。然而，该类算法通常采用基于结构、纹理、色彩等约束实现对本质特征的估计，即遵循Retinex的理论框架将信号分类问题转化为能量优化问题，并在单一尺度下完成计算分析。因而，分析结果的准确性很大程度上依赖于优化算法的性能，同时由于不能够保证所建立的待优化函数的凸性求解的过程往往会陷入局部最小值而无法求得最优解，或者要求初始化步骤要尽量接近最优解。这些都限制了该类算法的性能。还有一类算法是采用基于深度学习的神经网络提取本质图像，通过训练一个卷积神经网络，直接从一幅RGB图像中预测出本质图像。但是现有该类算法网络结构比较简单，并且训练集是由计算机图形软件合成的人工图像，所以提取的本质图像并不是很清晰，特别是将它应用到自然图像时。

发明内容

为了克服现有隐式和显式本质特征分析算法特征提取能力不足，以及基于深度学***行结构的双流卷积网络，然后对该网络进行训练，优化网络参数，以提取具有环境不变性的多层特征，直接重构出本质图像(反射图与光照图)。采用多流结构，一方面可以使任务分离，不同的分流提取不同的特征；另一方面，二者互为限制条件，可以提高算法精度。

一种运用卷积神经网络提取本质图像的方法，其特征在于步骤如下：

步骤1：构建具有平行结构的双流卷积神经网络结构模型，该网络结构模型分为一个公有分支、两个专有分支。

其中，公有分支由5个卷积层构成，每个卷积层后接一个池化层。卷积层的卷积核均为3×3，每一层输出一幅特征图像，第一卷积层输出特征图像维度为64，第二卷积层输出特征图像维度为128，第三卷积层输出特征图像维度为256，第四卷积层和第五卷积层输出特征图像维度均为512，池化层采用大小为2×2的平均池化。

两个专有分支结构相同，分别包含3个反卷积层，卷积核均为4×4，一个分支用于重构光照图像，另一个分支用于重构反射图像，所有反卷积层的输出维度均为256。

所述的公有分支的第三卷积层输出的特征图像与专有分支的第二反卷积层的输出作为专有分支的第三反卷积层的输入；所述的公有分支的第四卷积层输出的特征图像与专有分支的第一反卷积层的输出作为专有分支的第二反卷积层的输入。

步骤2：构建训练数据集，由BOLD数据集的每一幅图像的中部截取大小为1280×1280的图像，并在行与列上分别将截取图像五等分，则原数据集中的每一幅图像得到25幅大小为256×256的图像，随机抽取其中的53720组图像构成测试集，剩余图像构成训练集。

步骤3：利用步骤2得到的训练集对步骤1构建的双流卷积神经网络进行训练，首先对网络各层的权值进行随机初始化，然后采用有监督的误差反向传播的训练方法，对网络进行训练，得到训练好的网络。其中，网络的基础学习率为10^-13，采用固定学习率策略，网络的batch size为5，损失函数为SoftmaxwithLoss，网络收敛条件为前后两次迭代的损失函数值之差在其值的±5％范围内。

步骤4：利用训练好的网络对步骤2中得到的测试集进行处理，得到提取的本质图像，即光照图和反射图。

本发明还将该方法在本质图像公共数据集MIT Intrinsic Images dataset上进行了测试，结果表明，该方法依然具有有效性。

本发明的有益效果是：由于采用了基于深度学习理论的本质图像提取的技术路线，运用基于深度学习理论构建的神经网络强大的特征提取能力，可以直接从原始图像中分离出反射图与光照图。此外，本发明提出的双流卷积神经网络是一种从图像到图像的全卷积网络模型，包含两个分支流向，分别用于生成光照图和反射图；并且，该网络结构将较高层的卷积结果与反卷积操作后的结果相结合，可以增强反卷积操作后特征图的细节，在一定程度上降低光照图和反射图的重构误差，提高网络特征重构的能力。

附图说明

图1为本发明的一种运用卷积神经网络提取本质图像的方法流程图

图2为本发明构建的双流卷积神经网络结构图

图3是本发明构建的数据集部分图像示例

具体实施方式

下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。

本发明提供了一种运用卷积神经网络提取本质图像的方法，如图1所示，主要过程如下：

1、构建具有平行结构的双流卷积神经网络结构模型

图像的重构过程实际上是对从图像中提取的特征赋予不同的权重，并将同类型的特征结合起来以完成从原始图像重构出光照图和反射图的目标。换句话说，所有需要的特征都存在于同一个原始图像中。因此特征提取部分可以共享，而两种不同类型的本质图像的重构则需要分开完成。因而，本发明构建的网络分为公共分支和专有分支两个部分。在经过公有分支的卷积运算后，各层输出的特征图大小逐步减少。为了使输入图像与输出图像在空间结构上保持相同大小，分别在两个专有分支上设计了三个反卷积层，使特征图的空间大小逐步恢复到原始大小。受残差网络结构的启发，本发明在实验过程中发现将公有分支中的后面两层与专有分支中的后面两层相组合，可以使网络参数获得更好的优化效果。基于以上原因，本发明构建了如图2所示的具有平行结构的双流卷积神经网络结构。该网络模型分为一个公有分支、两个专有分支。

其中，公有分支由5个卷积层构成，每个卷积层后接一个池化层。卷积层的卷积核均为3×3，每一层输出一幅特征图像，第一卷积层输出特征图像维度为64，第二卷积层输出特征图像维度为128，第三卷积层输出特征图像维度为256，第四卷积层和第五卷积层输出特征图像维度均为512，池化层采用大小为2×2的平均池化。两个专有分支结构相同，分别包含3个反卷积层，卷积核均为4×4，一个分支用于重构光照图像，另一个分支用于重构反射图像，所有反卷积层的输出维度均为256。并且，公有分支的第三卷积层输出的特征图像与专有分支的第二反卷积层的输出共同作为专有分支的第三反卷积层的输入；公有分支的第四卷积层输出的特征图像与专有分支的第一反卷积层的输出共同作为专有分支的第二反卷积层的输入。

2、数据集构建

本发明所提出的网络结构比较复杂，需要训练的网络参数较多。为了使网络发挥其最优性能，本发明在Jiang等人创建的BOLD数据集(Jiang X Y,Schofield A J,Wyatt JL.Correlation-Based Intrinsic Image Extraction from a Single Image[C].European Conference on Computer Vision,2010:58-71)的基础上构建了一个用于研究本质图像提取算法的数据集。该数据集包含268,600组图片，每组图片包含一张原始图片、一张光照图和一张反射图。随机从中抽取了53,720组构成测试集，用于测试本质图像提取算法性能。剩余的214,880组构成训练集，用于训练深度学***台。具体而言，主要包括本质图像提取算法、去光照算法和光源估计算法等。为此，他们提供了光照条件图和物体表面图，即光照图和反射图，并且都是具有线性亮度特性的标准RGB色彩空间图片。本发明从图片数量、图片质量和场景复杂度等多方面综合考虑，最终决定选取以复杂花纹为拍摄对象的图片组为基础去构建用于本研究的数据集，原始图片在每个维度横向上有1280个像素点，纵向上有1350个像素点，对于普通计算机来说数据量过于庞大，而且容易导致过学习的问题，这很不利于深度学习神经网络的训练。本发明选取的图像类别具有一个很明显的特征：关键信息集中在图像中部。因此，本发明在图像中部选取一个1280×1280的特征框，截取原始图像，然后在行与列上分别将图像五等分。这样，一张原始图像可以分成25张256×256的较小的图像。通过这种方式对原始图像进行裁剪，保留了原始图像中的关键信息，实现了数据利用最大化，同时也为本研究提供了多种便利条件：每组图片的数据量适中，对计算机性能没有太高要求；相对合理的图像大小，设计卷积神经网络时更加方便；剪切后的图像同时包含正负样本，可以在一定程度上避免过拟合。

3、网络训练

本实施例在Caffe框架下使用基于BOLD创建的数据集中的训练集来训练所构建的反卷积神经网络。与其它框架对比，Caffe框架不仅安装简便，而且支持所有操作***，还对Python和Matlab有良好的接口支持。由于所构建的网络结构相对较复杂，需要学习的数据量较大，网络需要迭代的次数也比较多，同时也为了避免网络学习过快错过最优解，所以在对网络进行训练的过程中，本发明经过反复试验决定将基础学习率设定为10^-13，学习率策略设定为“fixed”，即固定学习率。考虑到计算机性能，也为了避免网络收敛过快，网络的batch size被设定为5，损失函数为SoftmaxwithLoss。

损失函数用来计算输出结果与真实标签之间的差值随着迭代次数的增加，网络损失越来越小，即估计结果与真实标签越来越接近。单一维度上的损失函数可以写成：

其中，{(x¹,y¹),...,(x^m,y^m)}表示m组标记好的训练数据，x表示输入，y表示对应的标签，且y∈[0,255]。1{F}是指示函数，当F为真的时候函数值为1，为假的时候函数值为0，θ表示卷积神经网络的参数。在训练过程中，估计图像和真实标签之间的误差被反向传播到神经网络中的用以优化其参数，使误差逐渐缩小。对于RGB图像，损失函数为上述损失函数在图像R、G、B三个维度上的误差之和。

大约在迭代210,000次后，损失函数值前后差异在±5％范围内浮动，网络逐步收敛，即在当前网络结构下网络参数趋于最优，网络提取本质图像的能力趋于最佳，得到训练好的网络。虽然两个专有分支虽然在结构上看起来一样，但由于提供给它们的真实标签不同，在网络训练的过程中，它们学习得到的网络参数也会不同。因而，在使用网络提取本质图像的时候，它们对数据的运算也会有相应的差异，使得不同的分支可以提取不同类型的本质图像。

4、运用训练好的网络提取本质图像

利用训练好的网络对步骤2中建立的数据集中包含的测试集进行处理，即将其中包含的RGB图片转化为三维矩阵，作为网络的输入，经过网络的多层运算后得到提取的本质图像，即光照图和反射图。本发明还将该方法在本质图像公共数据集MIT IntrinsicImages dataset上进行了测试，结果表明，该方法依然具有有效性。

Claims (1)

1.一种运用卷积神经网络提取本质图像的方法，其特征在于步骤如下：

步骤1：构建具有平行结构的双流卷积神经网络结构模型，该网络结构模型分为一个公有分支、两个专有分支；

其中，公有分支由5个卷积层构成，每个卷积层后接一个池化层；卷积层的卷积核均为3×3，每一层输出一幅特征图像，第一卷积层输出特征图像维度为64，第二卷积层输出特征图像维度为128，第三卷积层输出特征图像维度为256，第四卷积层和第五卷积层输出特征图像维度均为512，池化层采用大小为2×2的平均池化；

两个专有分支结构相同，分别包含3个反卷积层，卷积核均为4×4，一个分支用于重构光照图像，另一个分支用于重构反射图像，所有反卷积层的输出维度均为256；

所述的公有分支的第三卷积层输出的特征图像与专有分支的第二反卷积层的输出作为专有分支的第三反卷积层的输入；所述的公有分支的第四卷积层输出的特征图像与专有分支的第一反卷积层的输出作为专有分支的第二反卷积层的输入；

步骤2：构建训练数据集，由BOLD数据集的每一幅图像的中部截取大小为1280×1280的图像，并在行与列上分别将截取图像五等分，则原数据集中的每一幅图像得到25幅大小为256×256的图像，随机抽取其中的53720组图像构成测试集，剩余图像构成训练集；

步骤3：利用步骤2得到的训练集对步骤1构建的双流卷积神经网络进行训练，首先对网络各层的权值进行随机初始化，然后采用有监督的误差反向传播的训练方法，对网络进行训练，得到训练好的网络；其中，网络的基础学习率为10^-13，采用固定学习率策略，网络的batch size为5，损失函数为SoftmaxwithLoss，网络收敛条件为前后两次迭代的损失函数值之差在其值的±5％范围内；

步骤4：利用训练好的网络对步骤2得到的测试集进行处理，得到提取的本质图像，即光照图和反射图。

Images