CN110633708A - 一种基于全局模型和局部优化的深度网络显著性检测方法 - Google Patents

Abstract

本发明公开了一种基于全局模型和局部优化的深度网络显著性检测方法，该方法基于深度卷积神经网络和手工提取特征相结合的思路，设计有效的特征向量进行显著性检测。在全局模型中，通过对VGG‑16网络设计额外的卷积层进行训练，生成初始显著图，达到了从图像整体角度预测每一个候选区域显著性的目的。在局部优化模型中，设计区域对比度描述子和区域特征描述子对多级分割的超像素点进行描述，预测每一个区域的显著性值。最后，利用条件随机场拟合的方法将两种模型中产生的显著图进行融合，得到最终的显著图。对4个数据集进行对比测试实验，实验结果验证了本发明的有效性。

Description

一种基于全局模型和局部优化的深度网络显著性检测方法

技术领域

本发明涉及一种基于全局模型和局部优化的深度网络显著性检测方法，属于计算机视觉中显著性检测技术领域。

背景技术

人类的视觉机制在处理高级任务之前，会选择出整幅图像的部分子集来进行深度处理，以此减少场景的复杂度，这种选择部分区域来进行注意的机制称作视觉显著性。

显著性检测是对人类视觉注意机制的研究发展而来的一种图像处理方法，可以优先将计算资源快速而准确地分配给图像中的感兴趣区域，提高处理效率和准确度，因此，该方法可以作为目标识别和检测的一个预处理过程，避免了对目标候选区域定位上的穷尽搜索。显著性检测的方法在计算机视觉的诸多领域都有着广泛的应用，如提取候选区域、探测目标等，该方法可以作为复杂任务的前端处理。

传统的显著性检测方法，往往需要手工设计特征并需要结合一定的先验知识作为判断依据来近似人眼视觉注意机制。近年来，随着深度学习技术的发展和应用，由于其具有类似人脑神经元结构的学习模型，因此，在模拟人类视觉***的显著性检测领域具有天然的优势。此类方法可以自动地在原始图像上提取分层特征，并通过训练的方式来求解。利用深度神经网络的模型可以实现端到端的显著性检测，在处理复杂背景和多目标情况下表现更好，并且具有较好的通用性和移植性，在图像细节描述和复杂图像集上都取得了更为理想的实验效果。

发明内容

本发明要解决的问题是：提供一种融合全局模型和局部优化的图像显著性检测方法，全局模型从整体检测目标轮廓，有助于检测较大的目标并均匀地给所包含的区域分配显著值，局部优化模型对图像中的边缘和噪声等高频内容较为敏感，可对轮廓细节进行优化，综合两个独立卷积神经网络的结果，实现图像端到端的显著性目标检测。

本发明为解决上述技术问题采用以下技术方案：

一种基于全局模型和局部优化的深度网络显著性检测方法，包括如下步骤：

步骤1，在全局模型中，以VGG-16网络为基础通过添加额外的连接层进行训练，设计一个端到端的回归卷积神经网络，可以将输入图像直接映射生成显著图，该网络可在多个尺度上产生多级特征来检测显著性目标，达到从图像整体角度预测每一个候选区域显著性目标的目的，共生成5个基于全局模型的显著图。

步骤2，在局部模型中，利用邻域像素之间的颜色、纹理等特征提取吸引人注意的点或区域设计局部模型进行显著性检测，通过深度网络将显著性的划分转化为二分类问题，学习多级图像块的特征来预测每一个像素的显著性值，生成局部显著图。

步骤3，在显著图融合中，利用条件随机场(CRF)的方法，将全局和局部模型得到的多个初始显著图进行融合，生成最终的显著图。

作为本发明的一种优选方案，步骤1中，首先将224×224尺寸的图像输入卷积神经网络中，本发明中采用的网络模型共有5组13个卷积层和相应的映射单元，5个池化层，2个全连接层和1个输出层。

输入图像经过5层池化操作之后，输出14×14×512维的特征向量。

本发明对该模型进行改进，通过设计合理的卷积核、步长、边缘补充、池化等操作，提取不同层级的特征信息，使其不同层能够生成多个相同尺度的显著图。

作为本发明的一种优选方案，步骤2中，本发明采用固定大小的图像块，以滑动窗口的形式遍历整个图像，生成待训练数据集。

针对每个划分的图像块P和标准显著图G构建训练数据，正样本定义为：当图像块P与G重叠部分满足：

|P∩G|≥0.8×min(|P|，|G|)

负训练样本定义为：当1)P的中心像素不是显著的，2)P与G的重叠部分小于一定比例：

|P∩G|＜0.3×min(|P|，|G|)

本发明设计的局部网络模型由6层结构组成，包括3个卷积层和3个全连接层，三个卷积层均包含Relu非线性激活函数和最大池化层，全连接层中，为了防止过拟合，前两层的全连接层采用dropout方法，并利用softmax分类器作为输出层，生成中心像素显著与否的概率值。

利用标注集{l_i}作为训练集{P_i}的监督，选择softmax函数的交叉熵作为代价函数，通过随机梯度下降的方法对网络进行训练，代价函数定义为：

其中，m为样本数量，θ^L是网络的学习参数，包括所有层的权重和偏差，P(l_i＝j|θ^L)是网络预测第i个训练样本的标注概率，λ是权重延迟参数，

是第k层权重值。

作为本发明的一种优选方案，步骤3中，利用条件随机场对全局和局部模型共得到M个显著图{S₁，S₂，…S_M}进行融合。

将所有显著图构成一个特征向量x(p)＝(S₁(p)，S₂(p)，…，S_m(p))，y(p)表示二值标记，显著记为1，不显著记为0。因此，在特征向量X＝{x_p|p∈I}中标记Y＝{y_p|p∈I}的条件分布概率记为：

其中，p为原图像I中的像素，x_p是p点的显著性特征向量，y_p是显著性标记，θ是CRF模型待训练参数。f_d(·)和f_s(·)是两个特征函数，分别表示独立像素点p的特征和其邻域N_p范围内的特征，η表示一个惩罚项。

生成的多级显著图{S₁，S₂，…S_M}，可以通过CRF回归模型，利用极大似然函数求得融合参数θ，生成最终的显著图。

本发明采用以上技术方案与现有技术相比，具有以下优点：本发明采用的基于深度神经网络训练的显著性检测方法，该方法通过全局模型和局部模型两种网络结构构造多级显著图，再利用条件随机场进行融合，生成最终的精细显著图。其中，全局模型可以有效地利用全局显著性特征预测每一个目标区域的显著性值，局部模型可以从划分的多级超像素点中学习到目标的局部对比度、纹理和形状信息。再结合深度网络的复杂特征进行训练，将图像的局部特征和全局特征进行融合，使得算法更加具有鲁棒性。

本发明可适用于场景复杂多变的图像，检测结果准确，可获得一致性较好的显著性目标。

附图说明

图1是本发明提供的一种基于基于全局模型和局部优化的显著性检测方法流程图；

图2是本发明提供的全局模型中深度神经网络的模型图；

图3是本发明提供的各步骤生成的显著图与最终结果对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清晰，下面对本发明实施方式作进一步地详细描述。

如图1所示，本发明包括以下步骤：

步骤一：针对原始图像I，以VGG-16网络为基础，设计额外的卷积神经网络，生成初始全局显著图SG。

步骤二：针对原始图像I，构建训练数据集，设计6层卷积神经网络，训练预测每一个像素的显著性值，生成局部显著图SL。

步骤三：利用条件随机场的方法将两种模型中产生的显著图进行融合，得到最终显著图S。详细步骤如下：

1、基于全局模型的显著性检测

(1)读取原始图像I，将图像尺寸调整为224×224，送入VGG-16网络。

(2)采用在数据集ILSVRC12上得到的训练模型参数，对网络进行参数初始化。

(3)对VGG-16模型进行改进，具体网络结构如图2所示，具体操作如下：

省略最后两层最大池化操作，并设计增加额外的卷积层；

在Pooling1之后，第一层添加128维的5×5卷积核，设定步长stride＝4，边缘补充pad＝2，可生成56×56×128的特征向量；

为了保证生成显著图的尺寸不进一步压缩，第二层利用1×1的卷积核，将其映射为56×56×64维的特征向量；

第三层同样采用1×1的卷积核生成56×56维的特征图像；

同理，在Pooling2、Pooling3和Pooling4的之后添加相应的卷积层，为了保证最终生成相同尺寸的显著图，卷积核大小均为3×3，步长stride分别为2、1和1，其他参数保持相同，在原网络中，由于省略了Pooling4和Pooling5，conv5之后可直接生成56×56像素的显著图。

(4)新添加的网络层初始学习率设为0.01，原VGG-16网络层为0.001，冲量参数为0.9，权重延迟为0.0005；

(5)在训练阶段，利用标准显著图采用随机梯度下降法进行有监督的学习，再利用额外增加的卷积层和全连接层；

(6)在训练阶段，利用标准显著图采用随机梯度下降法进行有监督的学习，再利用额外增加的卷积层和全连接层，生成5个基于全局模型的显著图

和

(7)本发明设计的全局模型网络可以从图像的全局结构获得显著图，不同卷积层的信息提取也在不同尺度上对原始图像进行内容表述。但是网络结构缺乏对原始图像细节信息的描述，单独的全局模型无论从定量分析还是视觉观察上都无法满足需要，接下来将结合局部信息进行调整，生成更加精细的显著图。

2、局部模型

(1)针对原始图像I，利用大小为51×51的滑动图像窗口进行遍历，滑动步长设为10，从图像的左上角依次遍历至右下角，生成待训练数据集。

(2)利用标准显著图(ground truth)对这些图像块进行标注，生成训练网络的正样本和负样本，正负样本标注规则如下：

正样本定义为：当图像块P与G重叠部分满足|P∩G|≥0.8×min(|P|，|G|)；

类似地，负训练样本定义为：当1)P的中心像素不是显著的，2)P与G的重叠部分小于一定比例，|P∩G|＜0.3×min(|P|，|G|)；

此外，不满足上述条件的图像块将被舍弃，不用于网络训练。

(3)局部模型利用邻域像素之间的颜色、纹理等特征提取吸引人注意的点或区域，因此我们可以利用标准显著图将显著性点的检测问题转换为二分类问题，即相对于邻域，该像素点具有显著性(1)，或不具有显著性(0)。

(4)本发明设计的局部网络模型由6层结构组成，包括3个卷积层和3个全连接层，三个卷积层均包含Relu非线性激活函数和最大池化层，Relu可以使训练数据具有稀疏性，达到快速训练的目的，最大池化操作使得图像具有平移不变性；

在网络的第一层，应用局部响应标准化达到泛化作用。在全连接层中，为了防止过拟合，前两层的全连接层采用dropout方法，并利用softmax分类器作为输出层，生成中心像素显著与否的概率值；

局部模型网络结构如下所示：

(5)该网络训练利用标注集{l_i}作为训练集{P_i}的监督，选择softmax函数的交叉熵作为代价函数，通过随机梯度下降的方法对网络进行训练，代价函数定义为：

其中，θ^L是网络的学习参数，包括所有层的权重和偏差，P(l_i＝j|θ^L)是网络预测第i个训练样本的标注概率，λ是权重延迟参数，

是第k层权重值。

(6)该网络利用反向传播算法进行训练。训练时的网络参数，批处理尺寸(batchsize)取m＝256，momentum＝0.9，权重延迟为0.0005，学习率为0.01，训练周期取80。在测试阶段，对图像利用滑动窗口进行遍历，再利用6层的神经网络预测每一个像素点的概率值p(l＝1|θ)作为局部显著性值。

3、条件随机场融合

(1)通过全局和局部模型共得到M个显著图{S₁，S₂，…S_M}，本发明采用的条件随机场方法是对这些显著图进行有效的融合，生成最终的显著图S。

(2)利用条件随机场的方法，融合这些结果生成显著图S_F，该方法的优点是综合考虑了像素点本身和周边邻域信息。

(3)将所有显著图构成一个特征向量，记为：

x(p)＝(S₁(p)，S₂(p)，…，S_m(p))

y(p)表示二值标记，显著记为1，不显著记为0；

因此，在特征向量X＝{x_p|p∈I)中标记Y＝{y_p|p∈I}的条件分布概率记为：

其中，p为原图像I中的像素，x_p是p点的显著性特征向量，y_p是显著性标记，θ是CRF模型待训练参数。

f_d(·)和f_s(·)是两个特征函数，分别表示独立像素点p的特征和其邻域N_p范围内的特征，η表示一个惩罚项。

f_d(x_p，y_p)仅与待融合显著图S_m有关，定义为：

其中，S_m(p)是p点在显著图S_m中的显著性值，λ_m是CRF模型待训练参数。

特征函数f_s(x_p，x_q，y_p，y_q)依赖于邻域像素，定义为：

其中，1(·)是指示函数，α_m是待训练参数。

(4)在显著图S_m中当像素点p被确定为显著性点，而其邻域像素q为背景像素时，则相应的增加该点的显著性概率为：

当原图中具有相似颜色分布的像素点被标记为不同的显著性时，则增加该项作为惩罚因子；

其中，I(p)-I(q)表示原图中的颜色差异，E(·)表示期望函数。

(5)由此，生成的多级显著图{S₁，S₂，…S_M}，可以通过条件随机场回归模型，利用极大似然函数求得融合参数{λ，α}，生成最终的显著图。

4、实验及评价

(1)本发明在4个通用数据集中进行仿真实验测试，分别为MSRA、CSSD、SOD和PASCAL-S数据集。

MSRA数据集由微软亚洲研究院发布，共5000幅图像，该数据集包含大量不同类别的目标但多数图像仅包含一个显著性目标；

CSSD数据集共1000张来源于网络的图像，其更贴近真实场景下的图像；

SOD数据集来源于伯克利大学的目标分割数据库，共包含300幅图像，每幅图像包含多个不同尺寸和位置的目标；

PASCAL-S是由PASCAL VOC 2012数据集中选出的部分图像，制作的显著性检测数据集，共850幅，图像包含多个目标和复杂背景。

(2)本发明使用准确率(Precision)、召回率(Recall)、F-measure参数和绝对平均误差(Mean Absolute Error，MAE)作为显著性检测算法的定量评价指标；

准确率指检测出的显著性像素与检测的全部像素的百分比，公式为：

召回率定义为检测出的显著性像素与标注的显著像素的百分比，公式为：

其中，B为阈值化后的二值显著图，G为人工标注的标准模板；

F-measure参数对准确率和召回率进行综合考虑，计算公式为：

其中，通常取β²＝0.3

MAE通过计算显著图和其对应的人工标注模板之间的平均绝对差异得到的，计算公式为：

综上所述，本发明实施例通过步骤1-步骤4充分利用深度卷积神经网络构建图像显著性的全局模型和局部优化模型，深入挖掘图像内部各结构之间的关系，生成显著图，得到的结果完整、清晰。

本发明方法的成功之处在于模型包含了两种不同的注意机制，全局模型的训练关注图像的整体，使其可以检测到图像中的多个目标区域，不受孤立噪声的影响；局部模型起到优化的作用，使得检测到的结果更加准确精细。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均属于本发明保护范围之内。

Claims (5)

1.一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，包括如下步骤：

步骤1，在全局模型中，以VGG-16网络为基础通过添加额外的连接层进行训练，设计一个端到端的回归卷积神经网络，可以将输入图像直接映射生成初始显著图，该网络可在多个尺度上产生多级特征来检测显著性目标，达到从图像整体角度预测每一个候选区域显著性目标的目的，共生成5个基于全局模型的初始显著图。

步骤2，在局部模型中，利用邻域像素之间的颜色、纹理等特征提取吸引人注意的点或区域设计局部模型进行显著性检测，将深度网络将显著性的划分转化为二分类问题，通过学习多级图像块的特征来预测每一个像素的显著性值，生成局部显著图。

步骤3，在显著图融合中，利用条件随机场(CRF)的方法，将全局和局部模型得到的多个初始显著图进行融合，生成最终的显著图。

2.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤1中，针对输入图像，本发明中采用的网络模型共有5组13个卷积层和相应的映射单元，以及5个池化层，2个全连接层和1个输出层。

输入图像经过5层池化操作之后，输出14×14×512维的特征向量。

本发明对该模型进行改进，通过设计合理的卷积核、步长、边缘补充、池化等操作，提取不同层级的特征信息，使其不同层能够生成多个相同尺度的初始显著图。

3.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤2中，本发明采用固定大小的图像块，通过滑动的方式生成局部模型训练数据集，利用卷积神经网络进行中心像素点与周围邻域的显著性检测训练。

针对每个划分的图像块P和标准显著图G构建训练数据，正样本定义为：当图像块P与G重叠部分满足：

|P∩G|≥0.8×min(|P|，|G|)

负训练样本定义为：当1)P的中心像素不是显著的，2)P与G的重叠部分小于一定比例：

|P∩G|＜0.3×min(|P|，|G|)

4.据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤2中，本发明设计的局部网络模型由6层结构组成，包括3个卷积层和3个全连接层，三个卷积层均包含Relu非线性激活函数和最大池化层，全连接层中，为了防止过拟合，前两层的全连接层采用dropout方法，并利用softmax分类器作为输出层，生成中心像素显著与否的概率值。

利用标注集{l_i}作为训练集{P_i}的监督，选择softmax函数的交叉熵作为代价函数，通过随机梯度下降的方法对网络进行训练，代价函数定义为：

其中，m为样本数量，θ^L是网络的学习参数，包括所有层的权重和偏差，P(l_i＝j|θ^L)是网络预测第i个训练样本的标注概率，λ是权重延迟参数，

是第k层权重值。

5.根据权利要求1所述的一种基于全局模型和局部优化的深度网络显著性检测方法，其特征在于，步骤3中，利用条件随机场对全局和局部模型共得到M个显著图{S₁，S₂，…S_M}进行融合。

将所有显著图构成一个特征向量x(p)＝(S₁(p)，S₂(p)，…，S_m(p))，y(p)表示二值标记，显著记为1，不显著记为0。因此，在特征向量X＝{x_p|p∈I}中标记Y＝{y_p|p∈I}的条件分布概率记为：

其中，p为原图像I中的像素，x_p是p点的显著性特征向量，y_p是显著性标记，θ是CRF模型待训练参数。f_d(·)和f_s(·)是两个特征函数，分别表示独立像素点p的特征和其邻域N_p范围内的特征，η表示一个惩罚项。

生成的多级显著图{S₁，S₂，…S_M}，可以通过条件随机场回归模型，利用极大似然函数求得融合参数θ，生成最终的显著图。

Images