CN106780476A - 一种基于人眼立体视觉特性的立体图像显著性检测方法 - Google Patents

Abstract

本发明具体涉及一种基于人眼立体视觉特性的立体图像显著性检测方法，本发明包括立体图像的空间以及深度两个不同维度的视图信息进行显著性计算，首先，先采用SLIC算法对单视点视图进行超像素分割，并进行区域相似性进行合并，然后，再采用GBVS算法计算二维空间显著图；接着，结合视差图中的绝对视差特征，局部视差特征和深度对比度特征进行深度显著性计算；最后，结合人眼视觉疲劳特性，对视差分布进行了合理的处理，将两种不同维度的显著图采用线性加权方式进行显著性聚合，生成立体图像显著图。本发明能够在不同的场景下有效的检测出立体图像的显著区域，适用于可疑物计算、图像检索等领域。

Description

一种基于人眼立体视觉特性的立体图像显著性检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于人眼双目立体视觉的立体图像显著性检测的方法。

背景技术

显著性检测技术是立体视频处理技术的一个重要组成部分，也是许多不同的应用程序在图像处理的基础,尤其在目标检测和识别，图像压缩，视觉导航和图像质量评估等重要应用例如，可以通过显着性检测技术获取立体视频的视觉显著区域，进一步对视觉显著区域的视频图像质量进行完善提高，而减少非显著区域(即对人眼视觉***影响较小的区域)的处理时间。

目前大部分的显著性计算模型都是仅仅以图像的颜色、亮度、形状以及纹理等空间二维信息作为输入，然后基于像素点利用降采样或者多尺度变换的方式进行显著性计算，然而，这些计算模型在大多数情况下都没有考虑物体的距离信息，不适用于立体图像的显著性检测。通过上一章的研究分析，我们知道立体图像中的深度信息是人眼视觉***(HSV)的重要感知特征之一，它能够反映物体距离观察者的远近。根据现有的研究分析：距离较近或深度改变较剧烈的场景物体容易引起我们双眼的注意，即表现出更强的视觉显著性。

鉴于上述现状，需要对传统的显著性模型检测进行改进，采取简单有效的方法对立体图像的二维空间以及深度两个不同维度的视图信息进行显著性计算，并且准确的检测出立体图像的显著区域。

发明内容

本发明的目的就是提出了一种基于双目立体视觉的立体图像显著性检测方法，包括如下步骤：

步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著性计算，分别提取二维显著区域和深度显著区域；

其中提取二维显著区域具体包括以下步骤：

首先采用SLIC算法对立体视图的左视图进行预处理，通过区域分割获取超像素区域并进行区域相似性合并，然后，再采用GBVS模型进行二维显著性计算，具体步骤为：

a)采用SLIC算法对输入左视图进行超像素分割获取分割区域,具体公式如下：

其中，(l_i,a_i,b_i)和(l_j,a_j,b_j)分别表示(x_i,y_i)和(x_j,y_j)两点在LAB颜色空间对应的三个分量，d_c表示两点在LAB颜色空间的距离，d_s表示两点在二维平面内的距离，m为表示迭代次数，默认值取10，S为类间最大空间距离，D_s为所求的距离度量。

将超像素分割后的立体图像左视图进行区域相似性合并。经过SLIC算法分割后，图像中的每个分割区域都拥有自己的种子点，基于计算相邻种子点的颜色特征相似性进行区域合并，将超像素图中的n个区域进行合并，得到标签图L^r(x,y)：

其中，1≤i≤n，L^r(x,y)为标签图。

b)对区域相似性合并后的标签图采用GBVS算法对区域合并后的图像进行二维空间显著计算，该模型主要包括两步：

1.二维图像特征的提取：采用线性滤波以及非线性滤波提取图像的亮度颜色以及方向的低阶视觉特征；得到特征图M；

2.二维显著图的生成：

首先给定输入图像的一张特征图：M:[n]²→R，然后定义两个特征点之间的距离公式为：

式中M(i,j)和M(p,q)分别代表节点(i,j)、(p,q)两点的相应特征值。将特征图M中的每一个像素点进行两两相连构建图G_A，然后计算出(i,j)和(p,q)这两个节点的有向边的相应权重大小：

式中σ为一个自定义参数，默认取值为图像宽度大小的0.1到0.15倍左右，反向边具有同样大小的权重值。首先将每个节点的有向边权重大小都归一化到0到1区间，然后在图G_A上定义一条马尔科夫链，通过马尔科夫链的均衡分布反映出每个特征节点之间的差异大小，即对应的显著值，进而得到二维显著图S_img：[n]²→R。

其中深度显著性计算，具体步骤为：

a)采用DERS软件根据输入的左视点图和右视点图计算出相应的原始视差图D；

b)对原始视差图D进行预处理，即首先计算原始视差图D中每行局部视差改变量，初步分离背景与物体：

其中，p表示视差图中的该点像素，d_p′和d_p分别表示预处理后p点像素的视差值和原始图中p点像素值，表示该行像素点的平均像素值，其中包括d_p；得到图像D′；

采用区域对比度算法用于进一步的目标背景的显著性计算，该算法主要包括两大部分：(1)先将图像D′进行图像区域分割，(2)然后计算D′中的每个区域R_i与周围其他区域的视差对比度并进行显著性赋值：

其中，S(R_i)代表区域R_i的显著值，n_i表示区域R_i的像素点个数，n_k表示区域R_k的像素点个数，d_R′(R_i,R_k)表示R_i和R_k两个区域之间的视差对比度大小：

其中，d′(p,q)表示p和q两点之间的视差差值，定义为|d_p′-d_q′|，ω(p,q)表示权重用来计算p和q两点之间的空间距离，其中σ'²为一个控制参数默认值取0.4，最后将计算后的图像归一化到[0,1]区间，基于屏幕前凸显的物体更为显著值进行显著性映射赋值：

其中，S_R′(x,y)代表(x,y)像素点位置的映射显著值，S_max和S_min分别代表S_R(x,y)中的最大显著值以及最小显著值；得到视差显著图S′_R；

c)利用高斯差分滤波器提取重要的深度感知特征—深度对比度，实现公式下：

其中(x,y)代表滤波器位置，σ”和K分别用来控制滤波器的尺度和高斯核的半径比；取σ”＝32，K＝1.6；得到深度对比度图S_E；

d)再将获取的视差显著图S′_R和深度对比度图S_E采用线性加权的融合的方式获取深度显著图S_dep：

S_dep＝w_rS′_R+w_eS_E

其中，w_r和w_e分别为视差显著图S′_R和深度对比度图S_E的权重，这里

w_r＝w_e＝0.5。

步骤二：显著特征融合

将提取的两种不同维度的显著特征图结合人眼视觉疲劳特性，采取线性加权的融合策略进行融合，进而获取立体图像的显著区域。

具体步骤如下：

S_SM(x,y)＝λ(γS_img(x,y)+(1-γ)S_dep(x,y))

其中，S_SM(x,y)，S_img(x,y)和S_dep(x,y)分别表示立体图像显著图，二维空间显著图和深度显著图，γ表示权重默认初始值设为0.5，λ参数表示像素点的视觉舒适特征：

其中，T_neg和T_pos表示视差舒适区域的区域门限值，具体大小值通过实验统计手动设置。

技术效果：对以上技术、步骤简单分析，得出可以实现对立体图像的显著区域检测，本发明提出一种基于双目立体视觉的立体图像显著性检测方法，能解决当前传统检测模型存在复杂场景检测效果不佳等问题。有效地提高了立体图像显著性检测的准确性，而且本发明提出的算法复杂度比较低，符合人眼的视觉感知特性，具有一定的实用价值。

附图说明

图1是本发明基于双目立体视觉的立体图像显著性检测方法的流程图。

图2是立体图像左视图。

图3是立体图像右视图。

图4是立体图像左视图的超像素分割图。

图5是立体图像左视图超像分割区域合并图。

图6是立体图像左视图的二维空间显著图。

图7是立体图像左视图和右视图的视差图。

图8是立体图像视差图的视差预处理图。

图9是立体图像视差图的局部视差显著图。

图10是立体图像视差图的视差显著图。

图11是立体图像视差图的深度对比度图。

图12是立体图像的深度显著图。

图13是立体图像的显著区域检测图。

图14(1-10)是不同的立体图像的检测结果图。

具体实施方式

结合以下具体实施例和附图，对本发明进一步的详细说明。

本发明的目的就是提出了一种基于双目立体视觉的立体图像显著性检测方法，包括如下步骤：

步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著性计算，分别提取二维显著区域和深度显著区域；

其中提取二维显著区域具体包括以下步骤：

首先采用SLIC算法对立体视图的左视图进行预处理，通过区域分割获取超像素区域并进行区域相似性合并，然后，再采用GBVS模型进行二维显著性计算，具体步骤为：

c)采用SLIC算法对输入左视图进行超像素分割获取分割区域,具体公式如下：

其中，(l_i,a_i,b_i)和(l_j,a_j,b_j)分别表示(x_i,y_i)和(x_j,y_j)两点在LAB颜色空间对应的三个分量，d_c表示两点在LAB颜色空间的距离，d_s表示两点在二维平面内的距离，m为表示迭代次数，默认值取10，S为类间最大空间距离，D_s为所求的距离度量，如图4所示。

将超像素分割后的立体图像左视图进行区域相似性合并。经过SLIC算法分割后，图像中的每个分割区域都拥有自己的种子点，基于计算相邻种子点的颜色特征相似性进行区域合并，将超像素图中的n个区域进行合并，得到标签图L^r(x,y)：

其中，1≤i≤n，L^r(x,y)为标签图，如图5所示。

d)对区域相似性合并后的标签图采用GBVS算法对区域合并后的图像进行二维空间显著计算，该模型主要包括两步：

1.二维图像特征的提取：采用线性滤波以及非线性滤波提取图像的亮度颜色以及方向的低阶视觉特征；得到特征图M；

2.二维显著图的生成：

首先给定输入图像的一张特征图：M:[n]²→R，然后定义两个特征点之间的距离公式为：

式中M(i,j)和M(p,q)分别代表节点(i,j)、(p,q)两点的相应特征值。将特征图M中的每一个像素点进行两两相连构建图G_A，然后计算出(i,j)和(p,q)这两个节点的有向边的相应权重大小：

式中σ为一个自定义参数，默认取值为图像宽度大小的0.1到0.15倍左右，反向边具有同样大小的权重值。首先将每个节点的有向边权重大小都归一化到0到1区间，然后在图G_A上定义一条马尔科夫链，通过马尔科夫链的均衡分布反映出每个特征节点之间的差异大小，即对应的显著值，进而得到二维显著图S_img：[n]²→R，如图6所示。

其中深度显著性计算，具体步骤为：

a)采用DERS软件根据输入的左视点图和右视点图计算出相应的原始视差图D，如7所示；

b)对原始视差图D进行预处理，即首先计算原始视差图D中每行局部视差改变量，初步分离背景与物体：

其中，p表示视差图中的该点像素，d_p′和d_p分别表示预处理后p点像素的视差值和原始图中p点像素值，表示该行像素点的平均像素值，其中包括d_p；得到图像D′，如图8所示；

采用区域对比度算法用于进一步的目标背景的显著性计算，该算法主要包括两大部分：(1)先将图像D′进行图像区域分割，(2)然后计算D′中的每个区域R_i与周围其他区域的视差对比度并进行显著性赋值：

其中，S(R_i)代表区域R_i的显著值，n_i表示区域R_i的像素点个数，n_k表示区域R_k的像素点个数，d_R′(R_i,R_k)表示R_i和R_k两个区域之间的视差对比度大小：

其中，d′(p,q)表示p和q两点之间的视差差值，定义为|d_p′-d_q′|，ω(p,q)表示权重用来计算p和q两点之间的空间距离，其中σ'²为一个控制参数默认值取0.4，如图9所示。最后将计算后的图像归一化到[0,1]区间，基于屏幕前凸显的物体更为显著值进行显著性映射赋值：

其中，S_R′(x,y)代表(x,y)像素点位置的映射显著值，S_max和S_min分别代表S_R(x,y)中的最大显著值以及最小显著值；得到视差显著图S′_R，如图10所示；

c)利用高斯差分滤波器提取重要的深度感知特征—深度对比度，实现公式下：

其中(x,y)代表滤波器位置，σ”和K分别用来控制滤波器的尺度和高斯核的半径比；取σ”＝32，K＝1.6；得到深度对比度图S_E，如图11所示；

d)再将获取的视差显著图S′_R和深度对比度图S_E采用线性加权的融合的方式获取深度显著图S_dep：

S_dep＝w_rS′_R+w_eS_E

其中，w_r和w_e分别为视差显著图S′_R和深度对比度图S_E的权重，这里w_r＝w_e＝0.5，如图12所示。

步骤二：显著特征融合

将提取的两种不同维度的显著特征图结合人眼视觉疲劳特性，采取线性加权的融合策略进行融合，进而获取立体图像的显著区域。

具体步骤如下：

S_SM(x,y)＝λ(γS_img(x,y)+(1-γ)S_dep(x,y))

其中，S_SM(x,y)，S_img(x,y)和S_dep(x,y)分别表示立体图像显著图，二维空间显著图和深度显著图，γ表示权重默认初始值设为0.5，λ参数表示像素点(x,y)的视觉舒适特征：

其中，T_neg和T_pos表示视差舒适区域的区域门限值，具体大小值通过实验统计手动设置，融合结果如图13所示。

由于考虑到不同场景下本发明的检测结果，还选取5组不同场景下的立体图像进行实验使用本发明的立体视频显著性检测方法进行检测，检测的结果如图14(1-10)所示。从实验结果验证了本发明能够有效的检测出立体图像的显著区域。

本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (1)

1.一种基于人眼立体视觉特性的立体图像显著性检测方法，其特征在于，该方法具体包括以下步骤：

步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著性计算，分别提取二维显著区域和深度显著区域；

其中提取二维显著区域具体包括以下步骤：

首先采用SLIC算法对立体视图的左视图进行预处理，通过区域分割获取超像素区域并进行区域相似性合并，然后，再采用GBVS模型进行二维显著性计算，具体步骤为：

a)采用SLIC算法对输入左视图进行超像素分割获取分割区域,具体公式如下：

$d_c=\sqrt{{(l_j-l_i)}^2+{(a_j-a_i)}^2+{(b_j-b_i)}^2}$

$d_s=\sqrt{{(x_j-x_i)}^2+{(y_j-y_i)}^2}$

$D_S=\sqrt{{\left(\frac{d_c}{m}\right)}^2+{\left(\frac{d_s}{S}\right)}^2}$

其中，(l_i,a_i,b_i)和(l_j,a_j,b_j)分别表示(x_i,y_i)和(x_j,y_j)两点在LAB颜色空间对应的三个分量，d_c表示两点在LAB颜色空间的距离，d_s表示两点在二维平面内的距离，m为表示迭代次数，默认值取10，S为类间最大空间距离，D_s为所求的距离度量；

将超像素分割后的立体图像左视图进行区域相似性合并；经过SLIC算法分割后，图像中的每个分割区域都拥有自己的种子点，基于计算相邻种子点的颜色特征相似性进行区域合并，将超像素图中的n个区域进行合并，得到标签图L^r(x,y)：

$\begin{array}{cc}{L}^r(x,y)=i& \∀(x,y)\∈R_i^r\end{array}$

其中，1≤i≤n，L^r(x,y)为标签图；

b)对区域相似性合并后的标签图采用GBVS算法对区域合并后的图像进行二维空间显著计算，该模型主要包括两步：

1.二维图像特征的提取：采用线性滤波以及非线性滤波提取图像的亮度颜色以及方向的低阶视觉特征；得到特征图M；

2.二维显著图的生成：

首先给定输入图像的一张特征图：M:[n]²→R，然后定义两个特征点之间的距离公式为：

$d\left(\right(i,j\left)\right|\left|\right(p,q\left)\right)\stackrel{\mathrm{\Δ}}{=}\left|log\frac{M(i,j)}{M(p,q)}\right|$

式中M(i,j)和M(p,q)分别代表节点(i,j)、(p,q)两点的相应特征值；将特征图M中的每一个像素点进行两两相连构建图G_A，然后计算出(i,j)和(p,q)这两个节点的有向边的相应权重大小：

${\mathrm{\ω}}_1\left(\right(i,j),(p,q\left)\right)\stackrel{\mathrm{\Δ}}{=}d\left(\right(i,j\left)\right|\left|\right(p,q\left)\right)\·F(i-p,j-q)$

$F(a,b)\stackrel{\mathrm{\Δ}}{=}\exp (-\frac{a^2+b^2}{2{\mathrm{\σ}}^2})$

式中σ为一个自定义参数，默认取值为图像宽度大小的0.1到0.15倍左右，反向边具有同样大小的权重值；首先将每个节点的有向边权重大小都归一化到0到1区间，然后在图G_A上定义一条马尔科夫链，通过马尔科夫链的均衡分布反映出每个特征节点之间的差异大小，即对应的显著值，进而得到二维显著图S_img：[n]²→R；

其中深度显著性计算，具体步骤为：

a)采用DERS软件根据输入的左视点图和右视点图计算出相应的原始视差图D；

b)对原始视差图D进行预处理，即首先计算原始视差图D中每行局部视差改变量，初步分离背景与物体：

$d_p^{\′}=d_p\·|d_p-{\stackrel{\‾}{d}}_r|$

其中，p表示视差图中的该点像素，d′_p和d_p分别表示预处理后p点像素的视差值和原始图中p点像素值，表示该行像素点的平均像素值，其中包括d_p；得到图像D′；

采用区域对比度算法用于进一步的目标背景的显著性计算，该算法主要包括两大部分：(1)先将图像D′进行图像区域分割，(2)然后计算D′中的每个区域R_i与周围其他区域的视差对比度并进行显著性赋值：

$S\left(R_i\right)=\underset{R_i\≠R_k}{\Σ}{n}_k{d}_R^{\′}(R_i,R_k)$

其中，S(R_i)代表区域R_i的显著值，n_i表示区域R_i的像素点个数，n_k表示区域R_k的像素点个数，d′_R(R_i,R_k)表示R_i和R_k两个区域之间的视差对比度大小：

$d_R^{\′}(R_i,R_k)=\frac{\underset{p\∈R_i,q\∈R_k}{\Σ}\mathrm{\ω}(p,q)\·d^{\′}(p,q)}{n_i{n}_k}$

其中，d′(p,q)表示p和q两点之间的视差差值，定义为|d′_p-d′_q|，ω(p,q)表示权重用来计算p和q两点之间的空间距离，其中σ'²为一个控制参数默认值取0.4，最后将计算后的图像归一化到[0,1]区间，基于屏幕前凸显的物体更为显著值进行显著性映射赋值：

$S_R^{\′}(x,y)=\frac{S_R(x,y)-S_{min}}{S_{max}-S_{min}}$

其中，S′_R(x,y)代表(x,y)像素点位置的映射显著值，S_max和S_min分别代表S_R(x,y)中的最大显著值以及最小显著值；得到视差显著图S′_R；

c)利用高斯差分滤波器提取重要的深度感知特征—深度对比度，实现公式下：

$G(x,y,{\mathrm{\σ}}^{\′\′})=\frac{1}{2{\mathrm{\π\σ}}^{\′\′2}}\[e^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^{\′\′2}}}-\frac{1}{K^2}e\frac{x^2+y^2}{2K^2{\mathrm{\σ}}^{\′\′2}}\]=G(x,y,{\mathrm{\σ}}^{\′\′})-G(x,y,{\mathrm{K\σ}}^{\′\′})$

其中(x,y)代表滤波器位置，σ”和K分别用来控制滤波器的尺度和高斯核的半径比；取σ”＝32，K＝1.6；得到深度对比度图S_E；

d)再将获取的视差显著图S′_R和深度对比度图S_E采用线性加权的融合的方式获取深度显著图S_dep：

S_dep＝w_rS′_R+w_eS_E

其中，w_r和w_e分别为视差显著图S′_R和深度对比度图S_E的权重，这里

w_r＝w_e＝0.5；

步骤二：显著特征融合

将提取的两种不同维度的显著特征图结合人眼视觉疲劳特性，采取线性加权的融合策略进行融合，进而获取立体图像的显著区域；

具体步骤如下：

S_SM(x,y)＝λ(γS_img(x,y)+(1-γ)S_dep(x,y))

其中，S_SM(x,y)，S_img(x,y)和S_dep(x,y)分别表示立体图像显著图，二维空间显著图和深度显著图，γ表示权重默认初始值设为0.5，λ参数表示像素点的视觉舒适特征：

$\mathrm{\&lambda;}=\left\{\begin{array}{cc}1-\frac{|d_p(x,y)-T_{neg}|}{T_{pos}-T_{neg}}& d_p(x,y)<T_{neg}\\ 1& T_{neg}\&le;d_p(x,y)\&le;T_{pos}\\ 1-\frac{d_p(x,y)-T_{pos}}{T_{pos}-T_{neg}}& d_p(x,y)>T_{pos}\end{array}\right.$

其中，T_neg和T_pos表示视差舒适区域的区域门限值，具体大小值通过实验统计手动设置。