CN104778721A - 一种双目图像中显著性目标的距离测量方法 - Google Patents

Abstract

一种双目图像中显著性目标的距离测量方法，本发明涉及一种双目图像中目标的距离测量方法。本发明的目的是提出一种双目图像中显著性目标的距离测量方法，以解决现有的目标距离测量方法处理速度慢的问题。步骤一、利用视觉显著性模型对双目图像进行显著性特征提取，并标出种子点和背景点；步骤二、对双目图像建立加权图；步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图，通过随机游走图像分割算法将双目图像中的显著性目标分割出来；步骤四、通过SIFT算法将显著性目标单独进行关键点匹配；步骤五、将步骤四求出的视差矩阵K'代入双目测距的模型中求出显著性目标距离。本发明可应用于智能汽车行驶中对视野前方图像显著性目标的距离测量。

Description

一种双目图像中显著性目标的距离测量方法

技术领域

本发明涉及一种双目图像中目标的距离测量方法，尤其涉及一种双目图像中显著性目标的距离测量方法，属于图像处理技术领域。

背景技术

距离信息在交通图像处理当中主要应用于为汽车的控制***提供安全判断。在智能汽车的研究过程中，传统的目标测量方法是利用特定波长雷达或激光对目标进行测距。与雷达和激光相比，视觉传感器具有价格上的优势，同时视角也更加开阔。并且利用视觉传感器在测量目标距离的同时，能判断出目标的具体内容。

但是目前的交通图像信息相对繁杂，传统的目标距离测量算法很难在复杂图像中得到理想结果，由于无法找到图像中显著性目标而是全局检测，使得处理速度较慢并增加了很多的无关数据，使得算法无法满足实际应用要求。

发明内容

本发明的目的是提出一种双目图像中显著性目标的距离测量方法，以解决现有的目标距离测量方法处理速度慢的问题。

本发明所述的一种双目图像中显著性目标的距离测量方法，是按照以下步骤实现的：步骤一、利用视觉显著性模型对双目图像进行显著性特征提取，并标出种子点和背景点，具体包括：

步骤一、利用视觉显著性模型对双目图像进行显著性特征提取，并标出种子点和背景点，具体包括：

步骤一一、首先进行预处理，对双目图像进行边缘检测，生成双目图像的边缘图；步骤一二、利用视觉显著性模型对双目图像进行显著性特征提取，生成显著性特征图；

步骤一三、根据显著性特征图找出图中灰度值最大像素点，标记为种子点；并以种子点为中心的25×25的窗口内遍历像素，找出像素点的灰度值小于0.1的且距离种子点最远的像素点标记为背景点；

步骤二、对双目图像建立加权图；

利用经典高斯权函数对双目图像建立加权图：

$W_{\mathrm{ij}}=e^{-\mathrm{\β}{(g_i-g_j)}^2}---\left(1\right)$

其中，W_ij表示顶点i和顶点j之间的权值，g_i表示顶点i的亮度，g_j表示顶点j的亮度，β是自由参数，e为自然底数；

通过下式求出加权图的拉普拉斯矩阵L：

其中，L_ij为拉普拉斯矩阵L中对应顶点i到j的元素，d_i为顶点i与周围点权值的和，d_i＝∑W_ij；

步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图，通过随机游走图像分割算法将双目图像中的显著性目标分割出来；

步骤三一、将双目图像的像素点根据步骤一标记出的种子点和背景点分出两类集合，即标记点集合V_M与未标记点集合V_U，拉普拉斯矩阵L根据V_M和V_U，优先排列标记点然后再排列非标记点；其中，所述L分成L_M、L_U、B、B^T四部分，则将拉普拉斯矩阵表示如下：

$L=\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]---\left(3\right)$

其中，L_M为标记点到标记点的拉普拉斯矩阵，L_U为非标记点到非标记点的拉普拉斯矩阵，B和B^T分别为标记点到非标记点和非标记点到标记点的拉普拉斯矩阵；

步骤三二、根据拉普拉斯矩阵和标记点求解组合狄利克雷积分D[x]；

组合狄利克雷积分公式如下：

$D\left[x\right]=\frac{1}{2}\mathrm{\Σ}{w}_{\mathrm{ij}}{(x_i-x_j)}^2=\frac{1}{2}{x}^T\mathrm{Lx}---\left(4\right)$

其中，x为加权图中顶点到标记点的概率矩阵，x_i和x_j分别为顶点i和j到标记点的概率；

根据标记点集合V_M与未标记点集合V_U，将x分为x_M和x_U两部分，x_M为标记点集合V_M对应的概率矩阵，x_U为未标记点集合V_U对应的概率矩阵；将式(4)分解为：

$D\left[x_U\right]=\frac{1}{2}\left[x_M^T{x}_U^T\right]\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]\left[\begin{array}{c}{x}_M\\ x_U\end{array}\right]=\frac{1}{2}(x_M^T{L}_M{x}_M+2x_U^T{B}^T{x}_M+x_U^T{L}_U{x}_U)---\left(5\right)$

对于标记点s，设定m^s，如果任意顶点i为s，则否则对D[x_u]针对x_U求微分，得到式(5)极小值的解即为标记点s的狄利克雷概率值：

$L_U{x}_i^s=-B{m}^s---\left(6\right)$

其中，表示顶点i首次到达标记点s的概率；

根据通过组合狄利克雷积分求出的按照式(7)进行阈值分割，生成分割图：

其中，s_i为某一顶点i在分割图中对应位置的像素大小；

其中，所述分割图中亮度为1的像素点表示为图像中的显著性目标，亮度为0的即为背景；

步骤三三、将分割图与原图像对应的像素相乘，生成目标图，即提取出分割出的显著性目标，公式如下：

t_i＝s_i·I_i  (8)

其中，t_i为目标图T的某一顶点i的灰度值，I_i为输入图像I(σ)对应位置i的灰度值；

步骤四、通过SIFT算法将显著性目标单独进行关键点匹配；

步骤四一、将目标图建立高斯金字塔，对滤波后的图像两两求差得到DOG图像，DOG图像定义为D(x,y,σ)，求取公式如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*T(x,y)

                                       (9)

＝C(x,y,kσ)-C(x,y,σ)

其中，为一个变化尺度的高斯函数，p，q表示高斯模板的维度，(x,y)为像素点在高斯金字塔图像中的位置，σ是图像的尺度空间因子，k表示某一具体尺度值，C(x,y,σ)定义为G(x,y,σ)与目标图T(x,y)的卷积，即C(x,y,σ)＝G(x,y,σ)*T(x,y)；

步骤四二、在相邻的DOG图像中求出极值点，通过拟合三维二次函数确定极值点的位置和尺度作为关键点，并根据Hessian矩阵对关键点进行稳定性检测以消除边缘响应，具体如下：

(一)对尺度空间DOG通过进行泰勒展开求其曲线拟合D(X)：

$D\left(X\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{\∂X^2}X---\left(10\right)$

其中，X＝(x,y,σ)^T，D为曲线拟合，对式(10)求导并令其为0，得到极值点的偏移量式(11)：

$\hat{X}=-\frac{{\∂}^2{D}^{-1}}{\∂X^2}\frac{\∂D}{\∂X}---\left(11\right)$

为去除低对比度的极值点，将式(11)代入公式(10)，得到式(12)：

$D\left(\hat{X}\right)=D+\frac{1}{2}\frac{\∂D^T}{\∂X}\hat{X}---\left(12\right)$

若式(12)的值大于0.03，保留该极值点并获取该极值点的精确位置和尺度，否则丢弃；

(二)通过关键点处的Hessian矩阵筛选消除不稳定的关键点；

利用Hessian矩阵特征值之间的比率计算曲率；

根据关键点邻域的曲率判断边缘点；

曲率的比率设置为10，大于10则删除，反之，则保留，保留下来的则是稳定的关键点；

步骤四三、利用关键点邻域16×16的窗口的像素为每个关键点指定方向参数；

对于在DOG图像中检测出的关键点，梯度的大小和方向计算公式如下：

$m(x,y)=\sqrt{{(C(x+1,y)-C{(x-1,y)}^2+(C(x,y+1)-C(x,y-1))}^2}$

                                 (13)

θ(x,y)＝tan^-1((C(x,y+1)-C(x,y-1))/(C(x+1,y)-C(x-1,y)))

其中，C为关键点所在的尺度空间，m为关键点的梯度大小，θ为所求点的梯度方向；以关键点为中心，在周围区域划定一个16×16邻域，求出其中像素点的梯度大小和梯度方向，使用直方图来统计这个邻域内点的梯度；直方图的横坐标为方向，将360度分为36份，每份是10度对应直方图当中的一项，直方图的纵坐标为梯度大小，对应为相应梯度方向的点的大小进行相加，其和作为纵坐标的大小；主方向定义为梯度大小最大为hm的区间方向，通过梯度大小在08*hm之上的区间作为主方向的辅助向，以增强匹配的稳定性；

步骤四四、建立描述子表述关键点的局部特征信息

首先在关键点周围的坐标旋转为关键点的方向；

然后选取关键点周围16×16的窗口，在邻域内分为16个4×4的小窗口，在4×4的小窗口中，计算其相对应的梯度的大小和方向，并用一个8个bin的直方图来统计每一个小窗口的梯度信息，通过高斯加权算法对关键点周围16×16的窗口计算描述子如下式：

$h=m_g(a+x,b+y)*e^{-\frac{{(-x^{\′})}^2+{\left(y^{\′}\right)}^2}{2\×{\left(0.5d\right)}^2}}---\left(14\right)$

其中，h为描述子，(a,b)为关键点在高斯金字塔图像的位置，m_g为关键点的梯度大小即步骤四三直方图主方向的梯度大小，d为窗口的边长即16，(x,y)为像素点在高斯金字塔图像中的位置，(x′,y′)为像素在将坐标旋转为关键点的方向的邻域内的新坐标，新坐标的计算公式如式：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos {\mathrm{\θ}}_g& -\sin {\mathrm{\θ}}_g\\ \sin {\mathrm{\θ}}_g& \cos {\mathrm{\θ}}_g\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)---\left(15\right)$

θ_g为关键点的梯度方向；

通过对16×16的窗口计算得到128个关键点的特征向量，记为H＝(h₁,h₂,h₃,...,h₁₂₈)，对特征向量进行归一化处理，归一化后特征向量记为L_g，归一化公式如式：

$l_i=\frac{h_i}{\sqrt{\underset{j=1}{\overset{128}{\mathrm{\Σ}}}{h}_j}},j=\mathrm{1,2,3},...---\left(16\right)$

其中，L_g＝(l₁,l₂,...,l_i,...,l₁₂₈)为归一化之后的关键点的特征向量，l_i,i＝1,2,3,....为某一归一化向量；

采用关键点的特征向量的欧氏距离作为双目图像中关键点的相似度的判定度量，对双目图像中的关键点进行匹配，相互匹配的关键像素点坐标信息作为一组关键信息；

步骤四五、对生成的匹配关键点进行筛选；

求出每对关键点的坐标水平视差，生成视差矩阵，视差矩阵定义为K_n＝{k₁,k₂...k_n}，n为匹配的对数，k₁、k₂、k_n为单个匹配点视差；

求出视差矩阵的中位数k_m，并得到参考视差矩阵，记为K_n'，公式如下：

K_n'＝{k₁-k_m,k₂-k_m,...,k_n-k_m} (17)

设定视差阈值为3，将K_n'中大于阈值的对应视差删除，得到最终视察矩阵结果K'，k_1'、k_2'、k_n'均为筛选后的正确匹配点的视差，n'为最终正确匹配的对数，公式如下：

K'＝{k_1',k_2',...,k_n'} (18)

步骤五、将步骤四求出的视差矩阵K'代入双目测距的模型中求出显著性目标距离；

两个完全相同的成像***的焦距沿水平方向相距J，两个光轴均平行于水平面，图像平面与竖直平面相平行；

假设场景中一目标点M(X，Y，Z)，在左、右两个成像点分别是Pl(x₁,y₁)和Pr(x₂,y₂)，x₁,y₁与x₂,y₂分别为Pl与Pr在成像的竖直平面的坐标，双目模型中视差定义为k＝|pl-pr|＝|x₂-x₁|，由三角形相似关系得到距离公式，X，Y，Z为空间坐标系中横轴，竖轴，纵轴的坐标：

$z=J\frac{f}{k}=J\frac{f}{|x_2-x_1|d{x}^{\′}}---\left(19\right)$

其中dx'表示每一像素在成像的底片中水平轴方向上的物理距离，f为成像***的焦距，z是目标点M到两成像中心连线的距离，将步骤四求出的视差矩阵带入式(19)中，根据双目模型的物理信息求出对应的距离矩阵Z'＝{z₁,z₂,...,z_n'}，z₁，z₂，z_n'为单个匹配视差求出的显著性目标距离，最后求出距离矩阵的平均值即为双目图像中显著性目标的距离Z_f，公式如下：

$Z_f=\frac{1}{n}\underset{k=1}{\overset{n^{\′}}{\mathrm{\Σ}}}{z}_k---\left(20\right).$

本发明的有益效果是：

1、本发明采用模拟人类视觉***的方法，提取人眼感兴趣的区域，算法提取出显著性目标基本与人眼检测结果一致，使得提取出使得本发明能够实现跟人眼一样自动的识别显著性目标。

2、本发明自动完成显著性目标距离测量，无需手工选择显著性目标。

3、本发明对同一目标进行匹配，从而保证关键点匹配的视差结果相近，能有效筛选出错误匹配点，匹配准确度接近100％，视差的相对误差不到2％，增加了测距的准确性。

4、本发明匹配信息较少，可以有效减少额外无关计算，至少减少75％的匹配计算，并减少无关数据的引入，匹配数据利用率在90％以上，使得在复杂图像环境下可实现显著性目标距离测量，提高图像处理效率。

5、本发明对智能汽车行驶中对视野前方图像显著性目标的距离测量，从而为汽车安全行驶提供关键信息，解决了传统的图像距离测量只能对整个图片进行深度检测的缺点，并很好避免了误差较大，噪声过多的问题。

6、本发明通过对双目图像的显著性特征提取并实现对显著性目标的分割，从而使得目标范围缩小，减少匹配所用时间，提高效率，对显著性目标关键点进行匹配从而求出视差，进而实现距离测量，由于目标在一个竖直面上，可以很好地筛选出错误的匹配关键点，使精准度提高，本发明方法能够快速识别显著性目标并准确测量显著性目标的距离。

附图说明

图1为本发明方法的流程图；

图2为视觉显著性分析流程图；

图3为随机游走算法流程图；

图4为SIFT算法流程图；

图5为双目测量***，X,Y,Z为定义的空间坐标系，M为空间某一点，Pl和Pr为M在成像面的成像点，M为空间上一点，f为成像***的焦距。

具体实施方式

结合附图进一步详细说明本发明的具体实施方式。

具体实施方式一：下面结合图1～图5说明本实施方式，本实施方式所述的方法包括以下步骤：

步骤一、利用视觉显著性模型对双目图像进行显著性特征提取，并标出种子点和背景点，具体包括：

利用视觉显著性模型对双目图像进行显著性提取，分别计算双目图像的每个像素点的亮度、颜色、方向三种显著特征，并将三个显著性特征归一化得到图像的加权显著图。在显著图上每个像素代表图像中相应位置的显著性大小。找出图中像素值最大的点，即显著性最强的点，标为种子点；在种子点周围逐步扩大范围找出显著性最弱的点，标为背景点。利用视觉显著性模型提取图像显著性流程如图2所示。

步骤一一、首先进行预处理，对双目图像进行边缘检测，生成视觉显著性模型，边缘信息为图像重要的显著性信息；

步骤一二、利用视觉显著性模型对双目图像进行显著性特征提取，生成显著性特征图；

步骤一三、根据显著性特征图找出图中亮度最大像素点，标记为种子点；并以种子点为中心的25×25的窗口内遍历像素，找出像素点的灰度值小于0.1的且距离种子点最远的像素点标记为背景点；

步骤二、对双目图像建立加权图；

利用经典高斯权函数对双目图像建立加权图，通过像素的灰度不同对双目图像中每个像素点与其周围像素之间赋予一定权重作为边，同时将每个像素点作为顶点，建立包含顶点和边的加权图；

利用图论的理论将整幅图像看成无向的加权图，把每个像素看成加权图中的顶点，其中，所述利用像素的灰度值对加权图的边进行加权，具体采用经典高斯权函数如下：

$W_{\mathrm{ij}}=e^{-\mathrm{\β}{(g_i-g_j)}^2}---\left(1\right)$

其中，W_ij表示顶点i和顶点j之间的权值，g_i表示像素i的亮度，g_j表示像素j的亮度，β是自由参数，e为自然底数；

通过下式求出加权图的拉普拉斯矩阵L：

其中，L_ij为拉普拉斯矩阵L中对应顶点i到j的元素，d_i为顶点i与周围点权值的和，d_i＝∑W_ij；

步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图，通过随机游走图像分割算法将双目图像中的显著性目标分割出来；

步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图，通过随机游走图像分割算法将双目图像中的显著性目标分割出来；

步骤三一、将双目图像的像素点根据步骤一标记出的种子点和背景点分出两类集合，即标记点集合V_M与未标记点集合V_U，拉普拉斯矩阵L根据V_M和V_U，优先排列标记点然后再排列非标记点；其中，所述L分成L_M、L_U、B、B^T四部分，则将拉普拉斯矩阵表示如下：

$L=\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]---\left(3\right)$

其中，L_M为标记点到标记点的拉普拉斯矩阵，L_U为非标记点到非标记点的拉普拉斯矩阵，B和B^T分别为标记点到非标记点和非标记点到标记点的拉普拉斯矩阵；

步骤三二、根据拉普拉斯矩阵和标记点求解组合狄利克雷积分D[x]；

组合狄利克雷积分公式如下：

$D\left[x\right]=\frac{1}{2}\mathrm{\Σ}{w}_{\mathrm{ij}}{(x_i-x_j)}^2=\frac{1}{2}{x}^T\mathrm{Lx}---\left(4\right)$

其中，x为加权图中顶点到标记点的概率矩阵，x_i和x_j分别为顶点i和j到标记点的概率；

根据标记点集合V_M与未标记点集合V_U，将x分为x_M和x_U两部分，x_M为标记点集合V_M对应的概率矩阵，x_U为未标记点集合V_U对应的概率矩阵；将式(4)分解为：

$D\left[x_U\right]=\frac{1}{2}\left[x_M^T{x}_U^T\right]\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]\left[\begin{array}{c}{x}_M\\ x_U\end{array}\right]=\frac{1}{2}(x_M^T{L}_M{x}_M+2x_U^T{B}^T{x}_M+x_U^T{L}_U{x}_U)---\left(5\right)$

设定m^s定义为对于标记点s，如果任意顶点i为s，则否则对D[x_u]针对x_U求微分，得到式(5)极小值的解即为标记点s的狄利克雷概率值：

$L_U{x}_i^s=-B{m}^s---\left(6\right)$

其中，表示顶点i首次到达标记点s的概率；

根据通过组合狄利克雷积分求出的按照式(7)进行阈值分割，生成分割图：

其中，s_i为某一顶点i在分割图中对应位置的像素大小；

其中，所述分割图中亮度为1的像素点表示为图像中的显著性目标，亮度为0的即为背景；

步骤三三、将分割图与原图像对应的像素相乘，生成目标图，即提取出分割出的显著性目标，公式如下：

t_i＝s_i·I_i(8)

其中，t_i为目标图T的对应位置i的灰度值，I_i为输入图像I(σ)对应位置i的灰度值；

步骤四、通过SIFT算法将显著性目标单独进行关键点匹配；

通过SIFT算法将分割出来的显著性目标单独进行关键点检测和匹配，对得到的匹配坐标进行筛选，将错误匹配的结果提出，留下正确匹配结果。

SIFT算法对双目图像进行匹配流程如图4所示。

步骤四一、将目标图建立高斯金字塔，对滤波后的图像两两求差得到DOG图像，DOG图像定义为D(x,y,σ)，求取公式如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*T(x,y)

                                   (9)

＝C(x,y,kσ)-C(x,y,σ)

其中，为一个变化尺度的高斯函数，p，q表示高斯模板的维度，(x,y)为像素点在高斯金字塔图像中的位置，σ是图像的尺度空间因子，k表示某一具体尺度值，C(x,y,σ)定义为G(x,y,σ)与目标图T(x,y)的卷积，即C(x,y,σ)＝G(x,y,σ)*T(x,y)；

步骤四二、在相邻的DOG图像中求出极值点，通过拟合三维二次函数确定极值点的位置和尺度作为关键点，并根据Hessian矩阵对关键点进行稳定性检测以消除边缘响应,具体如下：

关键点为DOG图像的局部极值点组成，遍历DOG图像上每个点，对每个点检测与同尺度的8个相邻点以及相邻上下的2×9个点共26个点的灰度值大小，如果其比周围相邻点都大或者都小则为极值点。

求出的极值点并不是真正的关键点，为了提高稳定性，需要(一)对尺度空间DOG通过进行泰勒展开求其曲线拟合D(X)：

$D\left(X\right)=D+\frac{\∂D^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{\∂X^2}X---\left(10\right)$

其中，X＝(x,y,σ)^T，D为曲线拟合，对式(10)求导并令其为0，得到极值点的偏移量式(11)：

$\hat{X}=-\frac{{\∂}^2{D}^{-1}}{\∂X^2}\frac{\∂D}{\∂X}---\left(11\right)$

为去除低对比度的极值点，将式(11)代入公式(10)，得到式(12)：

$D\left(\hat{X}\right)=D+\frac{1}{2}\frac{\∂D^T}{\∂X}\hat{X}---\left(12\right)$

若式(12)的值大于0.03，保留该极值点并获取该极值点的精确位置和尺度，否则丢弃；

(二)通过关键点处的Hessian矩阵筛选消除不稳定的关键点；

利用Hessian矩阵特征值之间的比率计算曲率；

根据关键点邻域的曲率判断边缘点；

曲率的比率设置为10，大于10则删除，反之，则保留，保留下来的则是稳定的关键点；

若式(12)的值大于0.03，保留该极值点并获取该极值点的精确位置(原位置加上拟合之后的偏移量)和尺度，否则丢弃。为了消除不稳定的关键点，通过关键点处的Hessian矩阵进行筛选：

步骤四三、确定关键点位置和所在尺度之后，需要为关键点赋一个方向，定义关键点描述子是相对于这个方向的。利用关键点邻域16×16的窗口的像素为每个关键点指定方向参数；

对于在DOG图像中检测出的关键点，梯度的大小和方向计算公式如下：

$m(x,y)=\sqrt{{(C(x+1,y)-C{(x-1,y)}^2+(C(x,y+1)-C(x,y-1))}^2}$

                                    (13)

θ(x,y)＝tan^-1((C(x,y+1)-C(x,y-1))/(C(x+1,y)-C(x-1,y)))

其中，C为关键点所在的尺度空间，m为关键点的梯度大小，θ为关键点的梯度方向；以关键点为中心，在周围区域划定一个邻域，使用直方图来统计这个邻域内点的梯度；

直方图的横坐标为方向，将360度分为36份，每份是10度对应直方图当中的一项。直方图的纵坐标为梯度的大小，对应为相应梯度方向的点的大小进行相加，其和作为纵坐标的大小。主方向定义为梯度大小最大为hm的那个区间方向，通过使其他高度为08*hm之上的区间作为主方向的辅助向，以增强匹配的稳定性。

步骤四四、通过上面阶段之后，检测出的每个关键点就都有了位置、方向、所处尺度这三种信息。为每个关键点建立一个描述子以表述关键点的局部特征信息。

首先在关键点周围的坐标旋转为关键点的方向。然后选取关键点周围16×16的窗口，在邻域内分为16个4×4的小窗口。在4×4的小窗口中，计算其相对应的梯度的大小和方向。并用一个8个bin的直方图来统计每一个小窗口的梯度信息。通过高斯加权算法对关键点周围16×16的窗口计算描述子如下式：

$h=m(a+x,b+y)*e^{-\frac{{(-x^{\′})}^2+{\left(y^{\′}\right)}^2}{2\×{\left(0.5d\right)}^2}}---\left(14\right)$

其中，h为描述子，(a,b)为关键点在高斯金字塔图像的位置，d为窗口的边长即16，(x,y)为像素点在高斯金字塔图像中的位置，(x′,y′)为像素在将坐标旋转为关键点的方向的邻域内的新坐标，新坐标的计算公式如式：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)---\left(15\right)$

θ为关键点的方向。

通过对16×16的窗口计算得到128个关键点的特征向量，记为H＝(h₁,h₂,h₃,...,h₁₂₈)，为了减少光线的影响，对特征向量进行归一化处理，归一化后特征向量记为L_g，归一化公式如式：

$l_i=\frac{h_i}{\sqrt{\underset{j=1}{\overset{128}{\mathrm{\Σ}}}{h}_j}},j=\mathrm{1,2,3},....---\left(16\right)$

其中，L_g＝(l₁,l₂,l₃,...,l₁₂₈)为归一化之后的关键点的特征向量；

当双目图像的两幅图的关键点的描述子都生成之后，采用关键点的特征向量的欧氏距离作为双目图像中关键点的相似度的判定度量，对双目图像中的关键点进行匹配，相互匹配的关键像素点坐标信息作为一组关键信息；

步骤四五、为最大程度避免误差的产生，对生成的匹配关键点进行筛选；

由于测量***为双目模型，所以显著性目标的关键点在两个图像中为一个水平面，每对关键点的水平差理论上是相等的。所以求出每对关键点的坐标水平视差，生成视差矩阵，视差矩阵定义为K_n＝{k₁,k₂...k_n}，n为匹配的对数，k₁、k₂、k_n为单个匹配点视差；

求出视差矩阵的中位数k_m，并得到参考视差矩阵，记为K_n'，公式如下：

K_n'＝{k₁-k_m,k₂-k_m,...,k_n-k_m}

设定视差阈值为3，将K_n'中大于阈值的对应视差删除，得到最终视察矩阵结果K'，以避免错误匹配关键点带来的干扰。k_1'、k_2'、k_n'均为筛选后的正确匹配点的视差，n'为最终正确匹配的对数，公式如下：

K'＝{k_1',k_2',...,k_n'}

步骤五、将步骤四求出的视差矩阵K'代入双目测距的模型中求出显著性目标距离；

将显著性目标匹配出的关键点坐标作减求出双目图像中显著性目标的视差。将视差带入双目测距的模型中从而求出显著性目标距离。

双目成像能获取同一场景的两幅不同视角的图像，双目模型如图5。

两个完全相同的成像***的焦距沿水平方向相距B，两个光轴均平行于水平面，图像平面与竖直平面相平行；

假设场景中一点M(X，Y，Z)，在左、右两个成像点分别是Pl(x₁,y₁)和Pr(x₂,y₂)，x₁,y₁与x₂,y₂分别为Pl与Pr在成像的竖直平面的坐标，双目模型中视差定义为k＝|pl-pr|＝|x₂-x₁|，由三角形相似关系得到距离公式，X，Y，Z为空间坐标系中横轴，竖轴，纵轴的坐标：

$z=B\frac{f}{k}=B\frac{f}{|x_2-x_1|dx}---\left(17\right)$

其中dx表示每一像素在成像的底片中水平轴方向上的物理距离，f为成像***的焦距，z是目标点M到两成像中心连线的距离，将步骤四求出的视差矩阵带入式(17)中，根据双目模型的物理信息求出对应的距离矩阵Z'＝{z₁,z₂,...,z_n'}，z₁，z₂，z_n'为单个匹配视差求出的显著性目标距离，最后求出距离矩阵的平均值即为双目图像中显著性目标的距离Z_f，公式如下：

$Z_f=\frac{1}{n}\underset{k=1}{\overset{n^{\′}}{\mathrm{\Σ}}}{z}_k---\left(18\right).$

具体实施方式二：下面结合图说明本实施方式，本实施方式与具体实施方式一不同的是：步骤一一所述的对图像进行边缘检测的具体过程为：

步骤一一一、采用2D高斯滤波模板对双目图像进行卷积运算消除图像的噪声干扰；

步骤一一二、利用水平和竖直方向的一阶偏导的差分分别计算滤波后的双目图像I(x,y)上像素的梯度幅值和梯度方向，其中x方向和y方向的偏导数dx和dy分别为：

dx＝[I(x+1,y)-I(x-1,y)]/2 (21)

dy＝[I(x,y+1)-I(x,y-1)]/2 (22)

则梯度幅值为：

D'＝(dx²+dy²)^1/2 (23)

梯度方向为：

θ'＝arctan(dy/dx) (24)；

D'和θ'分别表示滤波后的双目图像I(x,y)上像素的梯度幅值和梯度方向；

步骤一一三、对梯度进行非极大值抑制，然后对图像进行双阈值处理，生成边缘图像；其中，所述边缘图像的边缘点灰度值为255，非边缘点灰度值为0。

具体实施方式三：下面结合图说明本实施方式，本实施方式与具体实施方式一或二不同的是：步骤一二所述的利用视觉显著性模型对双目图像进行显著性特征提取，生成显著性特征图的具体过程为：

步骤一二一、双目图像边缘检测之后，将原始图像和边缘图像进行叠加：

I₁(σ)＝0.7I(σ)+0.3C(σ) (25)

其中，I(σ)为输入双目图像的原图，C(σ)为边缘图像，I₁(σ)为叠加处理之后的图像；

步骤一二二、采用高斯差函数计算叠加处理之后的图像的九层高斯金字塔，其中第0层为输入的叠加图像，1到8层分别为对上一层采用高斯滤波和降阶采样而成，大小对应着输入图像的1/2到1/256，对高斯金字塔的每一层提取亮度，颜色，方向特征并生成对应的亮度金字塔、颜色金字塔和方向金字塔；

提取亮度特征公式如下：

I_n＝(r+g+b)/3 (26)

其中r、g、b分别对应着输入双目图像颜色的红、绿、蓝三个分量,I_n为亮度特征；

提取颜色特征公式如下：

R＝r-(g+b)/2 (27)

G＝g-(r+b)/2 (28)

B＝b-(r+g)/2 (29)

Y＝r+g-2(|r-g|+b) (30)

R，G，B，Y对应着叠加之后图像的颜色分量；

O(σ,ω)是对亮度特征I_n在尺度方向进行Gabor函数滤波提取的方向特征，ω为Gabor函数的方向即高斯金字塔层数，σ为Gabor函数的总的方向数量，其中σ∈[0,1,2…,8],ω∈[0°,45°,90°,135°]；

步骤一二三、对求出的高斯金字塔的不同尺度的亮度、颜色和方向三个特征进行中央周边对比作差，具体为：

设尺度c(c∈{2,3,4})为中心尺度，尺度u(u＝c+δ,δ∈{3,4})为***尺度；在9层的高斯金字塔中的中心尺度c和外周尺度u之间有6种组合(2-5，2-6，3-6，3-7，4-7，4-8)；

通过尺度c和尺度s的特征图的差值表示中央和周边对比作差的的局部方向特征对比如下式：

I_n(c,u)＝|I_n(c)-I_n(u)| (31)

RG(c,u)＝|(R(c)-G(c))-(G(u)-R(u))| (32)

BY(c,u)＝|(B(c)-Y(c))-(Y(u)-B(u))| (33)

O(c,u,ω)＝|O(c,ω)-O(u,ω)| (34)

其中，在做差之前需要通过插值使两幅图的大小一致再进行作差；

步骤一二四、通过归一化对作差生成的不同特征的特征图进行融合，生成输入双目图像的显著性特征图，具体为：

首先对每个特征的尺度对比特征图进行归一化融合生成该特征的综合特征图 为亮度特征归一化特征图，为颜色特征归一化特征图，为方向特征归一化特征图；计算过程如下面公式所示：

$\stackrel{\‾}{I_n}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}N\left(I_n(c,s)\right)---\left(35\right)$

$\stackrel{\‾}{C}=\underset{c=2}{\overset{4}{\⊕}}\underset{s=c+3}{\overset{c+4}{\⊕}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)]---\left(36\right)$

其中，N(·)代表归一化计算函数，首先对于需计算的特征图，将特征图中每个像素的特征值都归一化到一个闭合区域[0,255]内，然后在归一化的各个特征图中找到全局最大显著值A，再求出特征图中局部极大值的平均值a，最后对特征的每一个像素对应的特征值都乘以2(A-a)；

再利用每个特征的综合特征图进行归一化处理得到最终的显著性特征图S，计算过程如下：

$S=\frac{1}{3}(N\left(\stackrel{\‾}{I_n}\right)+N\left(\stackrel{\‾}{C}\right)+N\left(\stackrel{\‾}{O}\right))---\left(38\right).$

Claims (3)

1.一种双目图像中显著性目标的距离测量方法，其特征在于所述方法包括以下步骤：

步骤一、利用视觉显著性模型对双目图像进行显著性特征提取，并标出种子点和背景点，具体包括：

步骤一一、首先进行预处理，对双目图像进行边缘检测，生成双目图像的边缘图；

步骤一二、利用视觉显著性模型对双目图像进行显著性特征提取，生成显著性特征图；

步骤一三、根据显著性特征图找出图中灰度值最大像素点，标记为种子点；并以种子点为中心的25×25的窗口内遍历像素，找出像素点的灰度值小于0.1的且距离种子点最远的像素点标记为背景点；

步骤二、对双目图像建立加权图；

利用经典高斯权函数对双目图像建立加权图：

$W_{\mathrm{ij}}=e^{-\mathrm{\β}{(g_i-g_j)}^2}---\left(1\right)$

其中，W_ij表示顶点i和顶点j之间的权值，g_i表示顶点i的亮度，g_j表示顶点j的亮度，β是自由参数，e为自然底数；

通过下式求出加权图的拉普拉斯矩阵L：

其中，L_ij为拉普拉斯矩阵L中对应顶点i到j的元素，d_i为顶点i与周围点权值的和， $d_i=\mathrm{\Σ}{W}_{\mathrm{ij}};$

步骤三、利用步骤一中的种子点和背景点和步骤二中的加权图，通过随机游走图像分割算法将双目图像中的显著性目标分割出来；

步骤三一、将双目图像的像素点根据步骤一标记出的种子点和背景点分出两类集合，即标记点集合V_M与未标记点集合V_U，拉普拉斯矩阵L根据V_M和V_U，优先排列标记点然后再排列非标记点；其中，所述L分成L_M、L_U、B、B^T四部分，则将拉普拉斯矩阵表示如下：

$L=\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]---\left(3\right)$

其中，L_M为标记点到标记点的拉普拉斯矩阵，L_U为非标记点到非标记点的拉普拉斯矩阵，B和B^T分别为标记点到非标记点和非标记点到标记点的拉普拉斯矩阵；

步骤三二、根据拉普拉斯矩阵和标记点求解组合狄利克雷积分D[x]；

组合狄利克雷积分公式如下：

$D\left[x\right]=\frac{1}{2}\mathrm{\Σ}{w}_{\mathrm{ij}}{(x_i-x_j)}^2=\frac{1}{2}{x}^T\mathrm{Lx}---\left(4\right)$

其中，x为加权图中顶点到标记点的概率矩阵，x_i和x_j分别为顶点i和j到标记点的概率；

根据标记点集合V_M与未标记点集合V_U，将x分为x_M和x_U两部分，x_M为标记点集合V_M对应的概率矩阵，x_U为未标记点集合V_U对应的概率矩阵；将式(4)分解为：

$D\left[x_U\right]=\frac{1}{2}\left[x_M^T{x}_U^T\right]\left[\begin{array}{cc}{L}_M& B\\ B^T& L_U\end{array}\right]\left[\begin{array}{c}{x}_M\\ x_U\end{array}\right]=\frac{1}{2}(x_M^T{L}_M{x}_M+{2x}_U^T{B}^T{x}_M+x_U^T{L}_U{x}_U)---\left(5\right)$

对于标记点s，设定m^s，如果任意顶点i为s，则否则对D[x_u]针对x_U求微分，得到式(5)极小值的解即为标记点s的狄利克雷概率值：

$L_U{x}_i^s=-{\mathrm{Bm}}^s---\left(6\right)$

其中，表示顶点i首次到达标记点s的概率；

根据通过组合狄利克雷积分求出的按照式(7)进行阈值分割，生成分割图：

其中，s_i为某一顶点i在分割图中对应位置的像素大小；

其中，所述分割图中亮度为1的像素点表示为图像中的显著性目标，亮度为0的即为背景；

步骤三三、将分割图与原图像对应的像素相乘，生成目标图，即提取出分割出的显著性目标，公式如下：

t_i＝s_i·I_i   (8)

其中，t_i为目标图T的某一顶点i的灰度值，I_i为输入图像I(σ)对应位置i的灰度值；

步骤四、通过SIFT算法将显著性目标单独进行关键点匹配；

步骤四一、将目标图建立高斯金字塔，对滤波后的图像两两求差得到DOG图像，DOG图像定义为D(x,y,σ)，求取公式如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*T(x,y)

                                       (9)

＝C(x,y,kσ)-C(x,y,σ)

其中，为一个变化尺度的高斯函数，p，q表示高斯模板的维度，(x,y)为像素点在高斯金字塔图像中的位置，σ是图像的尺度空间因子，k表示某一具体尺度值，C(x,y,σ)定义为G(x,y,σ)与目标图T(x,y)的卷积，即C(x,y,σ)＝G(x,y,σ)*T(x,y)；

步骤四二、在相邻的DOG图像中求出极值点，通过拟合三维二次函数确定极值点的位置和尺度作为关键点，并根据Hessian矩阵对关键点进行稳定性检测以消除边缘响应，具体如下：

(一)对尺度空间DOG通过进行泰勒展开求其曲线拟合D(X)：

$D\left(X\right)=D+\frac{{\∂D}^T}{\∂X}X+\frac{1}{2}{X}^T\frac{{\∂}^{2}D}{{\∂X}^2}X---\left(10\right)$

其中，X＝(x,y,σ)^T，D为曲线拟合，对式(10)求导并令其为0，得到极值点的偏移量式(11)：

$\hat{X}=-\frac{{\∂}^2{D}^{-1}}{{\∂X}^2}\frac{\∂D}{\∂X}---\left(11\right)$

为去除低对比度的极值点，将式(11)代入公式(10)，得到式(12)：

$D\left(\hat{X}\right)=D+\frac{1}{2}\frac{{\∂D}^T}{\∂X}\hat{X}---\left(12\right)$

若式(12)的值大于0.03，保留该极值点并获取该极值点的精确位置和尺度，否则丢弃；

(二)通过关键点处的Hessian矩阵筛选消除不稳定的关键点；

利用Hessian矩阵特征值之间的比率计算曲率；

根据关键点邻域的曲率判断边缘点；

曲率的比率设置为10，大于10则删除，反之，则保留，保留下来的则是稳定的关键点；

步骤四三、利用关键点邻域16×16的窗口的像素为每个关键点指定方向参数；

对于在DOG图像中检测出的关键点，梯度的大小和方向计算公式如下：

$\begin{array}{c}m(x,y)=\sqrt{{(C(x+1,y)-C(x-1,y))}^2+{(C(x,y+1)-C(x,y-1))}^2}\\ \mathrm{\θ}(x,y)={\tan }^{-1}((C(x,y+1)-C(x,y-1))/(C(x+1,y)-C(x+1,y)-C(x-1,y)))\end{array}---\left(13\right)$

其中，C为关键点所在的尺度空间，m为关键点的梯度大小，θ为所求点的梯度方向；以关键点为中心，在周围区域划定一个16×16邻域，求出其中像素点的梯度大小和梯度方向，使用直方图来统计这个邻域内点的梯度；直方图的横坐标为方向，将360度分为36份，每份是10度对应直方图当中的一项，直方图的纵坐标为梯度大小，对应为相应梯度方向的点的大小进行相加，其和作为纵坐标的大小；主方向定义为梯度大小最大为hm的区间方向，通过梯度大小在08*hm之上的区间作为主方向的辅助向，以增强匹配的稳定性；

步骤四四、建立描述子表述关键点的局部特征信息

首先在关键点周围的坐标旋转为关键点的方向；

然后选取关键点周围16×16的窗口，在邻域内分为16个4×4的小窗口，在4×4的小窗口中，计算其相对应的梯度的大小和方向，并用一个8个bin的直方图来统计每一个小窗口的梯度信息，通过高斯加权算法对关键点周围16×16的窗口计算描述子如下式：

$h=m_g(a+x,b+y)*e^{-\frac{{(-x^{\′})}^2+{\left(y^{\′}\right)}^2}{2\×{\left(0.5d\right)}^2}}---\left(14\right)$

其中，h为描述子，(a,b)为关键点在高斯金字塔图像的位置，m_g为关键点的梯度大小即步骤四三直方图主方向的梯度大小，d为窗口的边长即16，(x,y)为像素点在高斯金字塔图像中的位置，(x′,y′)为像素在将坐标旋转为关键点的方向的邻域内的新坐标，新坐标的计算公式如式：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right)=\left(\begin{array}{cc}\cos {\mathrm{\θ}}_g& -\sin {\mathrm{\θ}}_g\\ \sin {\mathrm{\θ}}_g& \cos {\mathrm{\θ}}_g\end{array}\right)\left(\begin{array}{c}x\\ y\end{array}\right)---\left(15\right)$

θ_g为关键点的梯度方向；

通过对16×16的窗口计算得到128个关键点的特征向量，记为H＝(h₁,h₂,h₃,...,h₁₂₈)，对特征向量进行归一化处理，归一化后特征向量记为L_g，归一化公式如式：

$l_i=\frac{h_i}{\sqrt{\underset{j=1}{\overset{128}{\mathrm{\Σ}}}{h}_j}},j=\mathrm{1,2,3},....\left(16\right)$

其中，L_g＝(l₁,l₂,...,l_i,...,l₁₂₈)为归一化之后的关键点的特征向量，l_i,i＝1,2,3,....为某一归一化向量；

采用关键点的特征向量的欧氏距离作为双目图像中关键点的相似度的判定度量，对双目图像中的关键点进行匹配，相互匹配的关键像素点坐标信息作为一组关键信息；

步骤四五、对生成的匹配关键点进行筛选；

求出每对关键点的坐标水平视差，生成视差矩阵，视差矩阵定义为K_n＝{k₁,k₂...k_n}，n为匹配的对数，k₁、k₂、k_n为单个匹配点视差；

求出视差矩阵的中位数k_m，并得到参考视差矩阵，记为K_n'，公式如下：

K_n'＝{k₁-k_m,k₂-k_m,...,k_n-k_m}   (17)

设定视差阈值为3，将K_n'中大于阈值的对应视差删除，得到最终视察矩阵结果K'，k_1'、k_2'、k_n'均为筛选后的正确匹配点的视差，n'为最终正确匹配的对数，公式如下：

K'＝{k_1',k_2',...,k_n'}   (18)

步骤五、将步骤四求出的视差矩阵K'代入双目测距的模型中求出显著性目标距离；

两个完全相同的成像***的焦距沿水平方向相距J，两个光轴均平行于水平面，图像平面与竖直平面相平行；

假设场景中一目标点M(X，Y，Z)，在左、右两个成像点分别是Pl(x₁,y₁)和Pr(x₂,y₂)，x₁,y₁与x₂,y₂分别为Pl与Pr在成像的竖直平面的坐标，双目模型中视差定义为k＝|pl-pr|＝|x₂-x₁|，由三角形相似关系得到距离公式，X，Y，Z为空间坐标系中横轴，竖轴，纵轴的坐标：

$z=J\frac{f}{k}=J\frac{f}{|x_2-x_1|{\mathrm{dx}}^{\′}}---\left(19\right)$

其中dx'表示每一像素在成像的底片中水平轴方向上的物理距离，f为成像***的焦距，z是目标点M到两成像中心连线的距离，将步骤四求出的视差矩阵带入式(19)中，根据双目模型的物理信息求出对应的距离矩阵Z'＝{z₁,z₂,...,z_n'}，z₁，z₂，z_n'为单个匹配视差求出的显著性目标距离，最后求出距离矩阵的平均值即为双目图像中显著性目标的距离Z_f，公式如下：

$Z_f=\frac{1}{n}\underset{k=1}{\overset{n^{\′}}{\mathrm{\Σ}}}{z}_k---\left(20\right).$

2.根据权利要求1所述的一种双目图像中显著性目标的距离测量方法，其特征在于步骤一一所述的对图像进行边缘检测的具体过程为：

步骤一一一、采用2D高斯滤波模板对双目图像进行卷积运算消除图像的噪声干扰；

步骤一一二、利用水平和竖直方向的一阶偏导的差分分别计算滤波后的双目图像I(x,y)上像素的梯度幅值和梯度方向，其中x方向和y方向的偏导数dx和dy分别为：

dx＝[I(x+1,y)-I(x-1,y)]/2  (21)

dy＝[I(x,y+1)-I(x,y-1)]/2  (22)

则梯度幅值为：

D'＝(dx²+dy²)^1/2  (23)

梯度方向为：

θ'＝arctan(dy/dx)  (24)；

D'和θ'分别表示滤波后的双目图像I(x,y)上像素的梯度幅值和梯度方向；

步骤一一三、对梯度进行非极大值抑制，然后对图像进行双阈值处理，生成边缘图像；其中，所述边缘图像的边缘点灰度值为255，非边缘点灰度值为0。

3.根据权利要求2所述的一种双目图像中显著性目标的距离测量方法，其特征在于步骤一二所述的利用视觉显著性模型对双目图像进行显著性特征提取，生成显著性特征图的具体过程为：

步骤一二一、双目图像边缘检测之后，将原始图像和边缘图像进行叠加：

I₁(σ)＝0.7I(σ)+0.3C(σ)  (25)

其中，I(σ)为输入双目图像的原图，C(σ)为边缘图像，I₁(σ)为叠加处理之后的图像；

步骤一二二、采用高斯差函数计算叠加处理之后的图像的九层高斯金字塔，其中第0层为输入的叠加图像，1到8层分别为对上一层采用高斯滤波和降阶采样而成，大小对应着输入图像的1/2到1/256，对高斯金字塔的每一层提取亮度，颜色，方向特征并生成对应的亮度金字塔、颜色金字塔和方向金字塔；

提取亮度特征公式如下：

I_n＝(r+g+b)/3  (26)

其中r、g、b分别对应着输入双目图像颜色的红、绿、蓝三个分量,I_n为亮度特征；

提取颜色特征公式如下：

R＝r-(g+b)/2  (27)

G＝g-(r+b)/2  (28)

B＝b-(r+g)/2  (29)

Y＝r+g-2(|r-g|+b)  (30)

R，G，B，Y对应着叠加之后图像的颜色分量；

O(σ,ω)是对亮度特征In在尺度方向进行Gabor函数滤波提取的方向特征，ω为Gabor函数的方向即高斯金字塔层数，σ为Gabor函数的总的方向数量，其中σ∈[0,1,2…,8],ω∈[0°,45°,90°,135°]；

步骤一二三、对求出的高斯金字塔的不同尺度的亮度、颜色和方向三个特征进行中央周边对比作差，具体为：

设尺度c(c∈{2,3,4})为中心尺度，尺度u(u＝c+δ,δ∈{3,4})为***尺度；在9层的高斯金字塔中的中心尺度c和外周尺度u之间有6种组合(2-5，2-6，3-6，3-7，4-7，4-8)；

通过尺度c和尺度s的特征图的差值表示中央和周边对比作差的的局部方向特征对比如下式：

I_n(c,u)＝|I_n(c)-I_n(u)|  (31)

RG(c,u)＝|(R(c)-G(c))-(G(u)-R(u))|  (32)

BY(c,u)＝|(B(c)-Y(c))-(Y(u)-B(u))|  (33)

O(c,u,ω)＝|O(c,ω)-O(u,ω)|  (34)

其中，在做差之前需要通过插值使两幅图的大小一致再进行作差；

步骤一二四、通过归一化对作差生成的不同特征的特征图进行融合，生成输入双目图像的显著性特征图，具体为：

首先对每个特征的尺度对比特征图进行归一化融合生成该特征的综合特征图 为亮度特征归一化特征图，为颜色特征归一化特征图，为方向特征归一化特征图；计算过程如下面公式所示：

$\stackrel{\‾}{I_n}=\underset{c=2}{\overset{4}{\mathrm{\⊕}}}\underset{s=c+3}{\overset{c+4}{\mathrm{\⊕}}}N\left(I_n(c,s)\right)---\left(35\right)$

$\stackrel{\‾}{C}=\underset{c=2}{\overset{4}{\mathrm{\⊕}}}\underset{s=c+3}{\overset{c+4}{\mathrm{\⊕}}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)]---\left(36\right)$

其中，N(·)代表归一化计算函数，首先对于需计算的特征图，将特征图中每个像素的特征值都归一化到一个闭合区域[0,255]内，然后在归一化的各个特征图中找到全局最大显著值A，再求出特征图中局部极大值的平均值a，最后对特征的每一个像素对应的特征值都乘以2(A-a)；

再利用每个特征的综合特征图进行归一化处理得到最终的显著性特征图S，计算过程如下：

$S=\frac{1}{3}(N\left(\stackrel{\‾}{I_n}\right)+N\left(\stackrel{\‾}{C}\right)+N\left(\stackrel{\‾}{O}\right))---\left(38\right).$