一种基于残差网络和深度信息融合的显著性检测方法
技术领域
本发明涉及一种视觉显著性检测技术,尤其是涉及一种基于残差网络和深度信息融合的显著性检测方法。
背景技术
视觉显著性可以帮助人类快速地过滤掉不重要的信息,让人们的注意力更加集中在有意义的区域,从而能更好地理解眼前的场景。随着计算机视觉领域的快速发展,人们希望电脑也能拥有和人类相同的能力,即在理解和分析复杂的场景时,电脑可以更加针对性地处理有用的信息,从而能更大的降低算法的复杂度,并且排除杂波的干扰。在传统做法中,研究人员根据观察到的各种先验知识对显著性对象检测算法进行建模,生成显著性图。这些先验知识包括对比度、中心先验、边缘先验、语义先验等。然而,在复杂的场景中,传统做法往往不够准确,这是因为这些观察往往局限于低级别的特征(例如:颜色和对比度等),所以不能准确反映出显著性对象本质的共同点。
近年来,卷积神经网络已广泛运用于计算机视觉的各个领域,许多困难的视觉问题都获得了重大的进展。不同于传统做法,深度卷积神经网络能够从大量的训练样本中建模并自动的端到端(end-to-end)地学习到更为本质的特性,从而有效地避免了传统人工建模和设计特征的弊端。最近,3D传感器的有效应用更加丰富了数据库,人们不但可以获得彩色图片,而且可以获取彩色图片的深度信息。深度信息在现实3D场景中是人眼视觉***中很重要的一环,这是在之前的传统做法中所完全忽略掉的一条重要的信息,因此现在最重要的任务就是如何建立模型从而有效地利用好深度信息。
在RGB-D数据库中采用深度学习的显著性检测方法,直接进行像素级别端到端的显著性检测,只需要将训练集中的图像输入进模型框架中训练,得到权重与模型,即可在测试集进行预测。目前,基于RGB-D数据库的深度学习显著性检测模型主要用的结构为编码-译码架构,在如何利用深度信息的方法上有三种:第一种方法就是直接将深度信息与彩色图信息叠加为一个四维的输入信息或在编码过程中将彩色图信息和深度信息进行相加或者叠加,这类方法称为前融合;第二种方法则是将在编码过程中对应的彩色图信息和深度信息利用跳层(skip connection)的方式相加或者叠加到对应的译码过程中,这类称为后融合;第三种方法则是分别利用彩色图信息和深度信息进行显著性预测,将最后的结果融合。上述第一种方法,由于彩色图信息和深度信息的分布有较大差异,因此直接在编码过程中加入深度信息会在一定程度上添加了噪声。上述第三种方法,分别利用深度信息和彩色图信息进行显著性预测,但是如果深度信息和彩色图信息的预测结果都不准确时,那么最终的融合结果也是相对不够精确的。上述第二种方法不仅避免了在编码阶段直接利用深度信息带来的噪声,而且在网络模型的不断优化中能够充分学习到彩色图信息和深度信息的互补关系。相比于之前的后融合的方案,如RGB-D Saliency Detection by Multi-streamLate Fusion Network(基于多流的后融合RGB-D显著性检测网络模型),以下简称为MLF,MLF分别对彩色图信息和深度信息进行特征提取和下采样操作,并在最高维通过对应位置元素相乘的方法进行融合,在此融合的结果上输出一个尺寸很小的显著性预测图。MLF由于只有下采样操作,因此使得物体的空间细节信息在不断的下采样的操作中变得模糊,而且MLF是在最小的尺寸上进行显著性预测输出,再放大到原始尺寸后会丢失很多的显著物体的信息。
发明内容
本发明所要解决的技术问题是一种基于残差网络和深度信息融合的显著性检测方法,其通过高效地利用深度信息和彩色图信息,从而提升了显著性检测准确率。
本发明解决上述技术问题所采用的技术方案为:一种基于残差网络和深度信息融合的显著性检测方法,其特征在于包括训练阶段和测试阶段两个过程;
所述的训练阶段过程的具体步骤为:
步骤1_1:选取Q幅原始的彩色真实物体图像及每幅原始的彩色真实物体图像对应的深度图像和真实显著性检测标签图像,并构成训练集,将训练集中的第q幅原始的彩色真实物体图像及其对应的深度图像和真实显著性检测标签图像对应记为{I
q(i,j)}、{D
q(i,j)}、
其中,Q为正整数,Q≥200,q为正整数,q的初始值为1,1≤q≤Q,1≤i≤W,1≤j≤H,W表示{I
q(i,j)}、{D
q(i,j)}、
的宽度,H表示{I
q(i,j)}、{D
q(i,j)}、
的高度,W和H均能够被2整除,{I
q(i,j)}为RGB彩色图像,I
q(i,j)表示{I
q(i,j)}中坐标位置为(i,j)的像素点的像素值,{D
q(i,j)}为单通道的深度图像,D
q(i,j)表示{D
q(i,j)}中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j)的像素点的像素值;
步骤1_2:构建卷积神经网络:该卷积神经网络包含输入层、隐层、输出层,输入层包括RGB图输入层和深度图输入层,隐层包括5个RGB图神经网络块、4个RGB图最大池化层、5个深度图神经网络块、4个深度图最大池化层、5个级联层、5个融合神经网络块、4个反卷积层,输出层包括5个子输出层;其中,5个RGB图神经网络块和4个RGB图最大池化层构成RGB图的编码结构,5个深度图神经网络块和4个深度图最大池化层构成深度图的编码结构,RGB图的编码结构和深度图的编码结构构成卷积神经网络的编码层,5个级联层、5个融合神经网络块和4个反卷积层构成卷积神经网络的译码层;
对于RGB图输入层,其输入端接收一幅训练用RGB彩色图像的R通道分量、G通道分量和B通道分量,其输出端输出训练用RGB彩色图像的R通道分量、G通道分量和B通道分量给隐层;其中,要求训练用RGB彩色图像的宽度为W且高度为H;
对于深度图输入层,其输入端接收RGB图输入层的输入端接收的训练用RGB彩色图像对应的训练用深度图像,其输出端输出训练用深度图像给隐层;其中,训练用深度图像的宽度为W且高度为H;
对于第1个RGB图神经网络块,其输入端接收RGB图输入层的输出端输出的训练用RGB彩色图像的R通道分量、G通道分量和B通道分量,其输出端输出32幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为CP1;
对于第1个RGB图最大池化层,其输入端接收CP
1中的所有特征图,其输出端输出32幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
1;
对于第2个RGB图神经网络块,其输入端接收ZC
1中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
2;
对于第2个RGB图最大池化层,其输入端接收CP
2中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
2;
对于第3个RGB图神经网络块,其输入端接收ZC
2中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
3;
对于第3个RGB图最大池化层,其输入端接收CP
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
3;
对于第4个RGB图神经网络块,其输入端接收ZC
3中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
4;
对于第4个RGB图最大池化层,其输入端接收CP
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
4;
对于第5个RGB图神经网络块,其输入端接收ZC
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
5;
对于第1个深度图神经网络块,其输入端接收深度图输入层的输出端输出的训练用深度图像,其输出端输出32幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为DP1;
对于第1个深度图最大池化层,其输入端接收DP
1中的所有特征图,其输出端输出32幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
1;
对于第2个深度图神经网络块,其输入端接收DC
1中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
2;
对于第2个深度图最大池化层,其输入端接收DP
2中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
2;
对于第3个深度图神经网络块,其输入端接收DC
2中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
3;
对于第3个深度图最大池化层,其输入端接收DP
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
3;
对于第4个深度图神经网络块,其输入端接收DC
3中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
4;
对于第4个深度图最大池化层,其输入端接收DP
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
4;
对于第5个深度图神经网络块,其输入端接收DC
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
5;
对于第1个级联层,其输入端接收CP
5中的所有特征图和DP
5中的所有特征图,对CP
5中的所有特征图和DP
5中的所有特征图进行叠加,其输出端输出512幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
1;
对于第1个融合神经网络块,其输入端接收Con
1中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
1;
对于第1个反卷积层,其输入端接收RH
1中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为FJ
1;
对于第2个级联层,其输入端接收FJ
1中的所有特征图、CP
4中的所有特征图和DP
4中的所有特征图,对FJ
1中的所有特征图、CP
4中的所有特征图和DP
4中的所有特征图进行叠加,其输出端输出768幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
2;
对于第2个融合神经网络块,其输入端接收Con
2中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
2;
对于第2个反卷积层,其输入端接收RH
2中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为FJ
2;
对于第3个级联层,其输入端接收FJ
2中的所有特征图、CP
3中的所有特征图和DP
3中的所有特征图,对FJ
2中的所有特征图、CP
3中的所有特征图和DP
3中的所有特征图进行叠加,其输出端输出512幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
3;
对于第3个融合神经网络块,其输入端接收Con
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
3;
对于第3个反卷积层,其输入端接收RH
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为FJ
3;
对于第4个级联层,其输入端接收FJ
3中的所有特征图、CP
2中的所有特征图和DP
2中的所有特征图,对FJ
3中的所有特征图、CP
2中的所有特征图和DP
2中的所有特征图进行叠加,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
4;
对于第4个融合神经网络块,其输入端接收Con
4中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
4;
对于第4个反卷积层,其输入端接收RH4中的所有特征图,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为FJ4;
对于第5个级联层,其输入端接收FJ4中的所有特征图、CP1中的所有特征图和DP1中的所有特征图,对FJ4中的所有特征图、CP1中的所有特征图和DP1中的所有特征图进行叠加,其输出端输出128幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为Con5;
对于第5个融合神经网络块,其输入端接收Con5中的所有特征图,其输出端输出32幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为RH5;
对于第1个子输出层,其输入端接收RH
1中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
1,Out
1中的其中一幅特征图为显著性检测预测图;
对于第2个子输出层,其输入端接收RH
2中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
2,Out
2中的其中一幅特征图为显著性检测预测图;
对于第3个子输出层,其输入端接收RH
3中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
3,Out
3中的其中一幅特征图为显著性检测预测图;
对于第4个子输出层,其输入端接收RH
4中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
4,Out
4中的其中一幅特征图为显著性检测预测图;
对于第5个子输出层,其输入端接收RH5中的所有特征图,其输出端输出2幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为Out5,Out5中的其中一幅特征图为显著性检测预测图;
步骤1_3:将训练集中的每幅原始的彩色真实物体图像作为训练用RGB彩色图像,将训练集中的每幅原始的彩色真实物体图像对应的深度图像作为训练用深度图像,输入到卷积神经网络中进行训练,得到训练集中的每幅原始的彩色真实物体图像对应的5幅显著性检测预测图,将{I
q(i,j)}对应的5幅显著性检测预测图构成的集合记为
步骤1_4:对训练集中的每幅原始的彩色真实物体图像对应的真实显著性检测标签图像进行5种不同尺寸大小的缩放处理,得到宽度为
且高度为
的图像、宽度为
且高度为
的图像、宽度为
且高度为
的图像、宽度为
且高度为
的图像、宽度为W且高度为H的图像,将{I
q(i,j)}对应的真实显著性检测图像经缩放处理后得到的5幅图像构成的集合记为
步骤1_5:计算训练集中的每幅原始的彩色真实物体图像对应的5幅显著性检测预测图构成的集合与该原始的彩色真实物体图像对应的真实显著性检测图像经缩放处理后得到的5幅图像构成的集合之间的损失函数值,将
与
之间的损失函数值记为
采用分类交叉熵获得;
步骤1_6:重复执行步骤1_3至步骤1_5共V次,得到卷积神经网络训练模型,并共得到Q×V个损失函数值;然后从Q×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络训练模型的最优权值矢量和最优偏置项,对应记为Wbest和bbest;其中,V>1;
所述的测试阶段过程的具体步骤为:
步骤2_1:令
表示待显著性检测的彩色真实物体图像,将
对应的深度图像记为
其中,1≤i'≤W',1≤j'≤H',W'表示
和
的宽度,H'表示
和
的高度,
表示
中坐标位置为(i',j')的像素点的像素值,
表示
中坐标位置为(i',j')的像素点的像素值;
步骤2_2:将
的R通道分量、G通道分量和B通道分量以及
输入到卷积神经网络训练模型中,并利用W
best和b
best进行预测,得到
对应的5幅不同尺寸大小的预测显著性检测图像,将尺寸大小与
的尺寸大小一致的预测显著性检测图像作为
对应的最终预测显著性检测图像,并记为
其中,
表示
中坐标位置为(i',j')的像素点的像素值。
所述的步骤1_2中,第1个RGB图神经网络块和第1个深度图神经网络块的结构相同,其由依次设置的第一卷积层、第一批标准化层、第一激活层、第一残差块、第二卷积层、第二批标准化层、第二激活层组成,第一卷积层的输入端为其所在的神经网络块的输入端,第一批标准化层的输入端接收第一卷积层的输出端输出的所有特征图,第一激活层的输入端接收第一批标准化层的输出端输出的所有特征图,第一残差块的输入端接收第一激活层的输出端输出的所有特征图,第二卷积层的输入端接收第一残差块的输出端输出的所有特征图,第二批标准化层的输入端接收第二卷积层的输出端输出的所有特征图,第二激活层的输入端接收第二批标准化层的输出端输出的所有特征图,第二激活层的输出端为其所在的神经网络块的输出端;其中,第一卷积层和第二卷积层的卷积核大小均为3×3、卷积核个数均为32、补零参数均为1,第一激活层和第二激活层的激活方式均为“Relu”,第一批标准化层、第二批标准化层、第一激活层、第二激活层和第一残差块各自的输出端输出32幅特征图;
第2个RGB图神经网络块和第2个深度图神经网络块的结构相同,其由依次设置的第三卷积层、第三批标准化层、第三激活层、第二残差块、第四卷积层、第四批标准化层、第四激活层组成,第三卷积层的输入端为其所在的神经网络块的输入端,第三批标准化层的输入端接收第三卷积层的输出端输出的所有特征图,第三激活层的输入端接收第三批标准化层的输出端输出的所有特征图,第二残差块的输入端接收第三激活层的输出端输出的所有特征图,第四卷积层的输入端接收第二残差块的输出端输出的所有特征图,第四批标准化层的输入端接收第四卷积层的输出端输出的所有特征图,第四激活层的输入端接收第四批标准化层的输出端输出的所有特征图,第四激活层的输出端为其所在的神经网络块的输出端;其中,第三卷积层和第四卷积层的卷积核大小均为3×3、卷积核个数均为64、补零参数均为1,第三激活层和第四激活层的激活方式均为“Relu”,第三批标准化层、第四批标准化层、第三激活层、第四激活层和第二残差块各自的输出端输出64幅特征图;
第3个RGB图神经网络块和第3个深度图神经网络块的结构相同,其由依次设置的第五卷积层、第五批标准化层、第五激活层、第三残差块、第六卷积层、第六批标准化层、第六激活层组成,第五卷积层的输入端为其所在的神经网络块的输入端,第五批标准化层的输入端接收第五卷积层的输出端输出的所有特征图,第五激活层的输入端接收第五批标准化层的输出端输出的所有特征图,第三残差块的输入端接收第五激活层的输出端输出的所有特征图,第六卷积层的输入端接收第三残差块的输出端输出的所有特征图,第六批标准化层的输入端接收第六卷积层的输出端输出的所有特征图,第六激活层的输入端接收第六批标准化层的输出端输出的所有特征图,第六激活层的输出端为其所在的神经网络块的输出端;其中,第五卷积层和第六卷积层的卷积核大小均为3×3、卷积核个数均为128、补零参数均为1,第五激活层和第六激活层的激活方式均为“Relu”,第五批标准化层、第六批标准化层、第五激活层、第六激活层和第三残差块各自的输出端输出128幅特征图;
第4个RGB图神经网络块和第4个深度图神经网络块的结构相同,其由依次设置的第七卷积层、第七批标准化层、第七激活层、第四残差块、第八卷积层、第八批标准化层、第八激活层组成,第七卷积层的输入端为其所在的神经网络块的输入端,第七批标准化层的输入端接收第七卷积层的输出端输出的所有特征图,第七激活层的输入端接收第七批标准化层的输出端输出的所有特征图,第四残差块的输入端接收第七激活层的输出端输出的所有特征图,第八卷积层的输入端接收第四残差块的输出端输出的所有特征图,第八批标准化层的输入端接收第八卷积层的输出端输出的所有特征图,第八激活层的输入端接收第八批标准化层的输出端输出的所有特征图,第八激活层的输出端为其所在的神经网络块的输出端;其中,第七卷积层和第八卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为1,第七激活层和第八激活层的激活方式均为“Relu”,第七批标准化层、第八批标准化层、第七激活层、第八激活层和第四残差块各自的输出端输出256幅特征图;
第5个RGB图神经网络块和第5个深度图神经网络块的结构相同,其由依次设置的第九卷积层、第九批标准化层、第九激活层、第五残差块、第十卷积层、第十批标准化层、第十激活层组成,第九卷积层的输入端为其所在的神经网络块的输入端,第九批标准化层的输入端接收第九卷积层的输出端输出的所有特征图,第九激活层的输入端接收第九批标准化层的输出端输出的所有特征图,第五残差块的输入端接收第九激活层的输出端输出的所有特征图,第十卷积层的输入端接收第五残差块的输出端输出的所有特征图,第十批标准化层的输入端接收第十卷积层的输出端输出的所有特征图,第十激活层的输入端接收第十批标准化层的输出端输出的所有特征图,第十激活层的输出端为其所在的神经网络块的输出端;其中,第九卷积层和第十卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为1,第九激活层和第十激活层的激活方式均为“Relu”,第九批标准化层、第十批标准化层、第九激活层、第十激活层和第五残差块各自的输出端输出256幅特征图。
所述的步骤1_2中,4个RGB图最大池化层和4个深度图最大池化层均为最大池化层,4个RGB图最大池化层和4个深度图最大池化层的池化尺寸均为2、步长均为2。
所述的步骤1_2中,5个融合神经网络块的结构相同,其由依次设置的第十一卷积层、第十一批标准化层、第十一激活层、第六残差块、第十二卷积层、第十二批标准化层、第十二激活层组成,第十一卷积层的输入端为其所在的融合神经网络块的输入端,第十一批标准化层的输入端接收第十一卷积层的输出端输出的所有特征图,第十一激活层的输入端接收第十一批标准化层的输出端输出的所有特征图,第六残差块的输入端接收第十一激活层的输出端输出的所有特征图,第十二卷积层的输入端接收第六残差块的输出端输出的所有特征图,第十二批标准化层的输入端接收第十二卷积层的输出端输出的所有特征图,第十二激活层的输入端接收第十二批标准化层的输出端输出的所有特征图,第十二激活层的输出端为其所在的神经网络块的输出端;其中,第1个和第2个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为1,第1个和第2个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第1个和第2个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出256幅特征图,第3个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为128、补零参数均为1,第3个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第3个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出128幅特征图,第4个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为64、补零参数均为1,第4个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第4个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出64幅特征图,第5个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为32、补零参数均为1,第5个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第5个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出32幅特征图。
所述的步骤1_2中,第1个和第2个反卷积层的卷积核大小均为2×2、卷积核个数均为256、步长均为2、补零参数均为0,第3个反卷积层的卷积核大小为2×2、卷积核个数为128、步长为2、补零参数为0,第4个反卷积层的卷积核大小为2×2、卷积核个数为64、步长为2、补零参数为0。
所述的步骤1_2中,5个子输出层的结构相同,其由第十三卷积层组成;其中,第十三卷积层的卷积核大小为1×1、卷积核个数为2、补零参数为0。
与现有技术相比,本发明的优点在于:
1)本发明方法构建的卷积神经网络,实现了端到端的显著性物体检测,易于训练,方便快捷;使用训练集中的彩色真实物体图像和对应的深度图像输入到卷积神经网络中进行训练,得到卷积神经网络训练模型;再将待显著性检测的彩色真实物体图像和对应的深度图像输入到卷积神经网络训练模型中,预测得到彩色真实物体图像对应的预测显著性检测图像,由于本发明方法在构建卷积神经网络时结合了残差块和反卷积层的特点,因此能够在加深卷积神经网络训练模型的同时,并提升了卷积神经网络训练模型的预测准确率。
2)本发明方法在利用深度信息的时候采用后融合的方式,将在编码层对应的深度信息和彩色图信息与对应译码层进行级联(concatenation),避免了前融合在编码阶段加入噪声信息,同时在卷积神经网络训练模型训练的时候能够充分地学习到彩色图信息和深度信息的互补信息,进而在训练集与测试集上都能得到较好效果。
3)本发明采用了多尺度监督(multi-scale Supervision),即通过反卷积层使得物体的空间细节信息能够在上采样的过程中得到优化,并在不同的尺寸输出预测图,并用相对应尺寸的标签图进行监督,能够指导卷积神经网络训练模型逐步地构建显著性检测预测图,从而使得在训练集和测试集上得到了更好的效果。
附图说明
图1为本发明方法构建的卷积神经网络的组成结构示意图;
图2a为利用本发明方法对真实物体图像数据库NLPR测试集中的每幅彩色真实物体图像进行预测,反映本发明方法的显著性检测效果的类准确率召回率曲线;
图2b为利用本发明方法对真实物体图像数据库NLPR测试集中的每幅彩色真实物体图像进行预测,反映本发明方法的显著性检测效果的平均绝对误差;
图2c为利用本发明方法对真实物体图像数据库NLPR测试集中的每幅彩色真实物体图像进行预测,反映本发明方法的显著性检测效果的F度量值;
图3a为同一场景的第1幅原始的彩色真实物体图像;
图3b为图3a对应的深度图像;
图3c为利用本发明方法对图3a进行预测得到的预测显著性检测图像;
图4a为同一场景的第2幅原始的彩色真实物体图像;
图4b为图4a对应的深度图像;
图4c为利用本发明方法对图4a进行预测得到的预测显著性检测图像;
图5a为同一场景的第3幅原始的彩色真实物体图像;
图5b为图5a对应的深度图像;
图5c为利用本发明方法对图5a进行预测得到的预测显著性检测图像;
图6a为同一场景的第4幅原始的彩色真实物体图像;
图6b为图6a对应的深度图像;
图6c为利用本发明方法对图6a进行预测得到的预测显著性检测图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于残差网络和深度信息融合的显著性检测方法,其包括训练阶段和测试阶段两个过程。
所述的训练阶段过程的具体步骤为:
步骤1_1:选取Q幅原始的彩色真实物体图像及每幅原始的彩色真实物体图像对应的深度图像和真实显著性检测标签图像,并构成训练集,将训练集中的第q幅原始的彩色真实物体图像及其对应的深度图像和真实显著性检测标签图像对应记为{I
q(i,j)}、{D
q(i,j)}、
其中,Q为正整数,Q≥200,如取Q=367,q为正整数,q的初始值为1,1≤q≤Q,1≤i≤W,1≤j≤H,W表示{I
q(i,j)}、{D
q(i,j)}、
的宽度,H表示{I
q(i,j)}、{D
q(i,j)}、
的高度,W和H均能够被2整除,如取W=512、H=512,{I
q(i,j)}为RGB彩色图像,I
q(i,j)表示{I
q(i,j)}中坐标位置为(i,j)的像素点的像素值,{D
q(i,j)}为单通道的深度图像,D
q(i,j)表示{D
q(i,j)}中坐标位置为(i,j)的像素点的像素值,
表示
中坐标位置为(i,j)的像素点的像素值;在此,原始的彩色真实物体图像直接选用数据库NLPR训练集中的800幅图像。
步骤1_2:构建卷积神经网络:如图1所示,该卷积神经网络包含输入层、隐层、输出层,输入层包括RGB图输入层和深度图输入层,隐层包括5个RGB图神经网络块、4个RGB图最大池化层(Maxpooling,Pool)、5个深度图神经网络块、4个深度图最大池化层、5个级联层、5个融合神经网络块、4个反卷积层,输出层包括5个子输出层;其中,5个RGB图神经网络块和4个RGB图最大池化层构成RGB图的编码结构,5个深度图神经网络块和4个深度图最大池化层构成深度图的编码结构,RGB图的编码结构和深度图的编码结构构成卷积神经网络的编码层,5个级联层、5个融合神经网络块和4个反卷积层构成卷积神经网络的译码层。
对于RGB图输入层,其输入端接收一幅训练用RGB彩色图像的R通道分量、G通道分量和B通道分量,其输出端输出训练用RGB彩色图像的R通道分量、G通道分量和B通道分量给隐层;其中,要求训练用RGB彩色图像的宽度为W且高度为H。
对于深度图输入层,其输入端接收RGB图输入层的输入端接收的训练用RGB彩色图像对应的训练用深度图像,其输出端输出训练用深度图像给隐层;其中,训练用深度图像的宽度为W且高度为H。
对于第1个RGB图神经网络块,其输入端接收RGB图输入层的输出端输出的训练用RGB彩色图像的R通道分量、G通道分量和B通道分量,其输出端输出32幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为CP1。
对于第1个RGB图最大池化层,其输入端接收CP
1中的所有特征图,其输出端输出32幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
1。
对于第2个RGB图神经网络块,其输入端接收ZC
1中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
2。
对于第2个RGB图最大池化层,其输入端接收CP
2中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
2。
对于第3个RGB图神经网络块,其输入端接收ZC
2中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
3。
对于第3个RGB图最大池化层,其输入端接收CP
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
3。
对于第4个RGB图神经网络块,其输入端接收ZC
3中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
4。
对于第4个RGB图最大池化层,其输入端接收CP
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为ZC
4。
对于第5个RGB图神经网络块,其输入端接收ZC
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为CP
5。
对于第1个深度图神经网络块,其输入端接收深度图输入层的输出端输出的训练用深度图像,其输出端输出32幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为DP1。
对于第1个深度图最大池化层,其输入端接收DP
1中的所有特征图,其输出端输出32幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
1。
对于第2个深度图神经网络块,其输入端接收DC
1中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
2。
对于第2个深度图最大池化层,其输入端接收DP
2中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
2。
对于第3个深度图神经网络块,其输入端接收DC
2中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
3。
对于第3个深度图最大池化层,其输入端接收DP
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
3。
对于第4个深度图神经网络块,其输入端接收DC
3中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
4。
对于第4个深度图最大池化层,其输入端接收DP
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DC
4。
对于第5个深度图神经网络块,其输入端接收DC
4中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为DP
5。
对于第1个级联(concatenation)层,其输入端接收CP
5中的所有特征图和DP
5中的所有特征图,对CP
5中的所有特征图和DP
5中的所有特征图进行叠加,其输出端输出512幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
1。
对于第1个融合神经网络块,其输入端接收Con
1中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
1。
对于第1个反卷积层,其输入端接收RH
1中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为FJ
1。
对于第2个级联层,其输入端接收FJ
1中的所有特征图、CP
4中的所有特征图和DP
4中的所有特征图,对FJ
1中的所有特征图、CP
4中的所有特征图和DP
4中的所有特征图进行叠加,其输出端输出768幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
2。
对于第2个融合神经网络块,其输入端接收Con
2中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
2。
对于第2个反卷积层,其输入端接收RH
2中的所有特征图,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为FJ
2。
对于第3个级联层,其输入端接收FJ
2中的所有特征图、CP
3中的所有特征图和DP
3中的所有特征图,对FJ
2中的所有特征图、CP
3中的所有特征图和DP
3中的所有特征图进行叠加,其输出端输出512幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
3。
对于第3个融合神经网络块,其输入端接收Con
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
3。
对于第3个反卷积层,其输入端接收RH
3中的所有特征图,其输出端输出128幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为FJ
3。
对于第4个级联层,其输入端接收FJ
3中的所有特征图、CP
2中的所有特征图和DP
2中的所有特征图,对FJ
3中的所有特征图、CP
2中的所有特征图和DP
2中的所有特征图进行叠加,其输出端输出256幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Con
4。
对于第4个融合神经网络块,其输入端接收Con
4中的所有特征图,其输出端输出64幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为RH
4。
对于第4个反卷积层,其输入端接收RH4中的所有特征图,其输出端输出64幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为FJ4。
对于第5个级联层,其输入端接收FJ4中的所有特征图、CP1中的所有特征图和DP1中的所有特征图,对FJ4中的所有特征图、CP1中的所有特征图和DP1中的所有特征图进行叠加,其输出端输出128幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为Con5。
对于第5个融合神经网络块,其输入端接收Con5中的所有特征图,其输出端输出32幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为RH5。
对于第1个子输出层,其输入端接收RH
1中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
1,Out
1中的其中一幅特征图(第2幅特征图)为显著性检测预测图。
对于第2个子输出层,其输入端接收RH
2中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
2,Out
2中的其中一幅特征图(第2幅特征图)为显著性检测预测图。
对于第3个子输出层,其输入端接收RH
3中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
3,Out
3中的其中一幅特征图(第2幅特征图)为显著性检测预测图。
对于第4个子输出层,其输入端接收RH
4中的所有特征图,其输出端输出2幅宽度为
且高度为
的特征图,将输出的所有特征图构成的集合记为Out
4,Out
4中的其中一幅特征图(第2幅特征图)为显著性检测预测图。
对于第5个子输出层,其输入端接收RH5中的所有特征图,其输出端输出2幅宽度为W且高度为H的特征图,将输出的所有特征图构成的集合记为Out5,Out5中的其中一幅特征图(第2幅特征图)为显著性检测预测图。
步骤1_3:将训练集中的每幅原始的彩色真实物体图像作为训练用RGB彩色图像,将训练集中的每幅原始的彩色真实物体图像对应的深度图像作为训练用深度图像,输入到卷积神经网络中进行训练,得到训练集中的每幅原始的彩色真实物体图像对应的5幅显著性检测预测图,将{I
q(i,j)}对应的5幅显著性检测预测图构成的集合记为
步骤1_4:对训练集中的每幅原始的彩色真实物体图像对应的真实显著性检测标签图像进行5种不同尺寸大小的缩放处理,得到宽度为
且高度为
的图像、宽度为
且高度为
的图像、宽度为
且高度为
的图像、宽度为
且高度为
的图像、宽度为W且高度为H的图像,将{I
q(i,j)}对应的真实显著性检测图像经缩放处理后得到的5幅图像构成的集合记为
步骤1_5:计算训练集中的每幅原始的彩色真实物体图像对应的5幅显著性检测预测图构成的集合与该原始的彩色真实物体图像对应的真实显著性检测图像经缩放处理后得到的5幅图像构成的集合之间的损失函数值,将
与
之间的损失函数值记为
采用分类交叉熵(categorical crossentropy)获得。
步骤1_6:重复执行步骤1_3至步骤1_5共V次,得到卷积神经网络训练模型,并共得到Q×V个损失函数值;然后从Q×V个损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络训练模型的最优权值矢量和最优偏置项,对应记为Wbest和bbest;其中,V>1,在本实施例中取V=300。
所述的测试阶段过程的具体步骤为:
步骤2_1:令
表示待显著性检测的彩色真实物体图像,将
对应的深度图像记为
其中,1≤i'≤W',1≤j'≤H',W'表示
和
的宽度,H'表示
和
的高度,
表示
中坐标位置为(i',j')的像素点的像素值,
表示
中坐标位置为(i',j')的像素点的像素值。
步骤2_2:将
的R通道分量、G通道分量和B通道分量以及
输入到卷积神经网络训练模型中,并利用W
best和b
best进行预测,得到
对应的5幅不同尺寸大小的预测显著性检测图像,将尺寸大小与
的尺寸大小一致的预测显著性检测图像作为
对应的最终预测显著性检测图像,并记为
其中,
表示
中坐标位置为(i',j')的像素点的像素值。
在此具体实施例中,步骤1_2中,第1个RGB图神经网络块和第1个深度图神经网络块的结构相同,其由依次设置的第一卷积层(Convolution,Conv)、第一批标准化层(BatchNormalize,BN)、第一激活层(Activation,Act)、第一残差块(Residual Block,RB)、第二卷积层、第二批标准化层、第二激活层组成,第一卷积层的输入端为其所在的神经网络块的输入端,第一批标准化层的输入端接收第一卷积层的输出端输出的所有特征图,第一激活层的输入端接收第一批标准化层的输出端输出的所有特征图,第一残差块的输入端接收第一激活层的输出端输出的所有特征图,第二卷积层的输入端接收第一残差块的输出端输出的所有特征图,第二批标准化层的输入端接收第二卷积层的输出端输出的所有特征图,第二激活层的输入端接收第二批标准化层的输出端输出的所有特征图,第二激活层的输出端为其所在的神经网络块的输出端;其中,第一卷积层和第二卷积层的卷积核大小(kernel_size)均为3×3、卷积核个数(filters)均为32、补零参数(padding)均为1,第一激活层和第二激活层的激活方式均为“Relu”,第一批标准化层、第二批标准化层、第一激活层、第二激活层和第一残差块各自的输出端输出32幅特征图。
在此具体实施例中,第2个RGB图神经网络块和第2个深度图神经网络块的结构相同,其由依次设置的第三卷积层、第三批标准化层、第三激活层、第二残差块、第四卷积层、第四批标准化层、第四激活层组成,第三卷积层的输入端为其所在的神经网络块的输入端,第三批标准化层的输入端接收第三卷积层的输出端输出的所有特征图,第三激活层的输入端接收第三批标准化层的输出端输出的所有特征图,第二残差块的输入端接收第三激活层的输出端输出的所有特征图,第四卷积层的输入端接收第二残差块的输出端输出的所有特征图,第四批标准化层的输入端接收第四卷积层的输出端输出的所有特征图,第四激活层的输入端接收第四批标准化层的输出端输出的所有特征图,第四激活层的输出端为其所在的神经网络块的输出端;其中,第三卷积层和第四卷积层的卷积核大小均为3×3、卷积核个数均为64、补零参数均为1,第三激活层和第四激活层的激活方式均为“Relu”,第三批标准化层、第四批标准化层、第三激活层、第四激活层和第二残差块各自的输出端输出64幅特征图。
在此具体实施例中,第3个RGB图神经网络块和第3个深度图神经网络块的结构相同,其由依次设置的第五卷积层、第五批标准化层、第五激活层、第三残差块、第六卷积层、第六批标准化层、第六激活层组成,第五卷积层的输入端为其所在的神经网络块的输入端,第五批标准化层的输入端接收第五卷积层的输出端输出的所有特征图,第五激活层的输入端接收第五批标准化层的输出端输出的所有特征图,第三残差块的输入端接收第五激活层的输出端输出的所有特征图,第六卷积层的输入端接收第三残差块的输出端输出的所有特征图,第六批标准化层的输入端接收第六卷积层的输出端输出的所有特征图,第六激活层的输入端接收第六批标准化层的输出端输出的所有特征图,第六激活层的输出端为其所在的神经网络块的输出端;其中,第五卷积层和第六卷积层的卷积核大小均为3×3、卷积核个数均为128、补零参数均为1,第五激活层和第六激活层的激活方式均为“Relu”,第五批标准化层、第六批标准化层、第五激活层、第六激活层和第三残差块各自的输出端输出128幅特征图。
在此具体实施例中,第4个RGB图神经网络块和第4个深度图神经网络块的结构相同,其由依次设置的第七卷积层、第七批标准化层、第七激活层、第四残差块、第八卷积层、第八批标准化层、第八激活层组成,第七卷积层的输入端为其所在的神经网络块的输入端,第七批标准化层的输入端接收第七卷积层的输出端输出的所有特征图,第七激活层的输入端接收第七批标准化层的输出端输出的所有特征图,第四残差块的输入端接收第七激活层的输出端输出的所有特征图,第八卷积层的输入端接收第四残差块的输出端输出的所有特征图,第八批标准化层的输入端接收第八卷积层的输出端输出的所有特征图,第八激活层的输入端接收第八批标准化层的输出端输出的所有特征图,第八激活层的输出端为其所在的神经网络块的输出端;其中,第七卷积层和第八卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为1,第七激活层和第八激活层的激活方式均为“Relu”,第七批标准化层、第八批标准化层、第七激活层、第八激活层和第四残差块各自的输出端输出256幅特征图。
在此具体实施例中,第5个RGB图神经网络块和第5个深度图神经网络块的结构相同,其由依次设置的第九卷积层、第九批标准化层、第九激活层、第五残差块、第十卷积层、第十批标准化层、第十激活层组成,第九卷积层的输入端为其所在的神经网络块的输入端,第九批标准化层的输入端接收第九卷积层的输出端输出的所有特征图,第九激活层的输入端接收第九批标准化层的输出端输出的所有特征图,第五残差块的输入端接收第九激活层的输出端输出的所有特征图,第十卷积层的输入端接收第五残差块的输出端输出的所有特征图,第十批标准化层的输入端接收第十卷积层的输出端输出的所有特征图,第十激活层的输入端接收第十批标准化层的输出端输出的所有特征图,第十激活层的输出端为其所在的神经网络块的输出端;其中,第九卷积层和第十卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为1,第九激活层和第十激活层的激活方式均为“Relu”,第九批标准化层、第十批标准化层、第九激活层、第十激活层和第五残差块各自的输出端输出256幅特征图。
在此具体实施例中,步骤1_2中,4个RGB图最大池化层和4个深度图最大池化层均为最大池化层,4个RGB图最大池化层和4个深度图最大池化层的池化尺寸(pool_size)均为2、步长(stride)均为2。
在此具体实施例中,步骤1_2中,5个融合神经网络块的结构相同,其由依次设置的第十一卷积层、第十一批标准化层、第十一激活层、第六残差块、第十二卷积层、第十二批标准化层、第十二激活层组成,第十一卷积层的输入端为其所在的融合神经网络块的输入端,第十一批标准化层的输入端接收第十一卷积层的输出端输出的所有特征图,第十一激活层的输入端接收第十一批标准化层的输出端输出的所有特征图,第六残差块的输入端接收第十一激活层的输出端输出的所有特征图,第十二卷积层的输入端接收第六残差块的输出端输出的所有特征图,第十二批标准化层的输入端接收第十二卷积层的输出端输出的所有特征图,第十二激活层的输入端接收第十二批标准化层的输出端输出的所有特征图,第十二激活层的输出端为其所在的神经网络块的输出端;其中,第1个和第2个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为256、补零参数均为1,第1个和第2个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第1个和第2个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出256幅特征图,第3个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为128、补零参数均为1,第3个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第3个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出128幅特征图,第4个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为64、补零参数均为1,第4个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第4个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出64幅特征图,第5个融合神经网络块中的第十一卷积层和第十二卷积层的卷积核大小均为3×3、卷积核个数均为32、补零参数均为1,第5个融合神经网络块中的第十一激活层和第十二激活层的激活方式均为“Relu”,第5个融合神经网络块中的第十一批标准化层、第十二批标准化层、第十一激活层、第十二激活层和第六残差块各自的输出端输出32幅特征图。
在此具体实施例中,步骤1_2中,第1个和第2个反卷积层的卷积核大小均为2×2、卷积核个数均为256、步长均为2、补零参数均为0,第3个反卷积层的卷积核大小为2×2、卷积核个数为128、步长为2、补零参数为0,第4个反卷积层的卷积核大小为2×2、卷积核个数为64、步长为2、补零参数为0。
在此具体实施例中,步骤1_2中,5个子输出层的结构相同,其由第十三卷积层组成;其中,第十三卷积层的卷积核大小为1×1、卷积核个数为2、补零参数为0。
为了进一步验证本发明方法的可行性和有效性,进行实验。
使用基于python的深度学***均绝对误差(Mean Absolute Error,MAE)、F度量值(F-Measure)来评价预测显著性检测图像的检测性能。
利用本发明方法对真实物体图像数据库NLPR测试集中的每幅彩色真实物体图像进行预测,得到每幅彩色真实物体图像对应的预测显著性检测图像。反映本发明方法的显著性检测效果的类准确率召回率曲线(PR Curve)如图2a所示,反映本发明方法的显著性检测效果的平均绝对误差(MAE)如图2b所示,值为0.058,反映本发明方法的显著性检测效果的F度量值(F-Measure)如图2c所示,值为0.796。从图2a至图2c中可以看出,按本发明方法得到的彩色真实物体图像的显著性检测结果是好的,表明利用本发明方法来获取彩色真实物体图像对应的预测显著性检测图像是可行且有效的。
图3a给出了同一场景的第1幅原始的彩色真实物体图像,图3b给出了图3a对应的深度图像,图3c给出了利用本发明方法对图3a进行预测得到的预测显著性检测图像;图4a给出了同一场景的第2幅原始的彩色真实物体图像,图4b给出了图4a对应的深度图像,图4c给出了利用本发明方法对图4a进行预测得到的预测显著性检测图像;图5a给出了同一场景的第3幅原始的彩色真实物体图像,图5b给出了图5a对应的深度图像,图5c给出了利用本发明方法对图5a进行预测得到的预测显著性检测图像;图6a给出了同一场景的第4幅原始的彩色真实物体图像,图6b给出了图6a对应的深度图像,图6c给出了利用本发明方法对图6a进行预测得到的预测显著性检测图像。对比图3a和图3c,对比图4a和4c,对比图5a和图5c,对比图6a和图6c,可以看出利用本发明方法得到的预测显著性检测图像的检测精度较高。