CN102609936A - 基于置信度传播的图像立体匹配方法 - Google Patents

Abstract

本发明涉及基于置信度传播的图像立体匹配方法。包括：a.将输入的图像进行Rank变换后转换为Rank图像；b.通过全局能量函数对图像的平滑项进行优化；c.根据置信度传播算法计算全局能量函数的最小值；d.根据置信度的最小值获得像素点的视差值；e.将所述的视差值作为对应像素点的灰度值，输出视差图像。本发明的方法是通过求取全局能量函数的最小值来达到求得视差的目的。计算过程中，加入了图像的Rank变换，由此增强了邻域像素点间的约束条件，改善了平滑项，从而提高置信度传播过程的抗噪性和图像平滑性，提高了计算的精确度。

Description

基于置信度传播的图像立体匹配方法

技术领域

本发明涉及基于置信度传播的图像立体匹配方法。

背景技术

人类通过视觉感知外界世界，人类的视觉***是一个非常完善、复杂的感知***，视觉感知环境的效率很高，80％以上的外界信息是通过视觉得到的。随着信息技术的发展，让机器模拟人类的视觉功能成为可能。信号处理技术与计算机出现以后，人们试图用摄像机获取环境图像并将其转换成数字信号，用计算机实现对视觉信息处理的全过程，这样，就形成了一门新的学科：计算机视觉。计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的能力，以使计算机能够感受视野内的环境，理解感知的内容，包括形状、位置、姿态运动等，而且能对它们进行描述、存储、识别与理解，并在此基础上做出行为或者决策。

立体匹配是计算机视觉研究领域的重要内容，也是立体视觉中最为关键和困难的一步。它的最终目标是得到匹配图像的视差图。视差图是以图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异。立体匹配问题通常可表达为求全局能量的最小化问题，首先定义能量函数，之后通过各种优化方法，来求其最小值。

立体匹配中的置信度传播算法是基于马尔科夫随机场(MRF)的立体匹配算法。马尔科夫随机场包含着两层意思，一个是马尔科夫性质，一个是随机场。马尔科夫性质是指一个随机变量序列按时间的顺序依次排开的时候，它在第N+1时刻的分布特性与第N时刻以前的随机变量没有任何关系。具备这种性质的问题就符合马尔科夫性质。随机场是指当给每一个位置中按照某种分布随机赋予相空间的一个值后，其全体就称之为随机场。

目前在置信度传播算法中采用像素的实际灰度值进行立体匹配，实际效果经常不准确，因此也影响了最终判断的正确性。

发明内容

针对以上出现的问题，本发明提供了一种基于置信度传播的图像立体匹配方法，增强邻域像素间的约束，提高置信度传播过程的抗噪性和图像平滑性，以提高立体匹配算法的精准度。

本发明基于置信度传播的图像立体匹配方法，包括：

a.将输入的图像进行Rank变换后转换为Rank图像；

b.通过全局能量函数对图像的平滑项进行优化；

c.根据置信度传播算法计算全局能量函数的最小值；

d.根据置信度的最小值获得像素点的视差值；

e.将所述的视差值作为对应像素点的灰度值，输出视差图像。

Rank变换是图像处理中一种常用方法，是以一个矩形窗口内的中心像素为基准，与窗口内其它像素的灰度值做比较，统计小于基准像素(即窗口内的中心像素)灰度值的个数，将基准像素的灰度值用这个个数来表示。本发明的方法不是用像素的实际灰度值进行图像立体匹配，而是采用基准像素在邻域窗口内的灰度值排序的序号进行计算(中心像素灰度的排序序号＝窗口内小于基准像素灰度值的个数+1)，这样就增强了邻域像素间的约束，提高立体匹配的抗噪性；建立全局能量函数时，对平滑项进行优化，提高对图像边缘的处理效果，经过这两项的改进，提高了立体匹配算法的精准度。

具体的，步骤a所述的Rank变换包括：

a1.在预定大小的窗口中，按从左到右和从上倒下的方向统计窗口内像素的灰度值；

a2.根据窗口内中心像素灰度的排序序号替换中心像素的灰度值；

a3.将整幅图像的每个像素的灰度值均用与中心像素的相对灰度值来表示。

优选的，通过大量的试验得知，通过3×3像素大小的窗口进行计算能够取得更准确的结果。

进一步的，步骤c中通过对视差匹配相似性、图像的平滑项和相邻迭代次数时不同像素点的视差信息求和计算所述全局能量函数的最小值。

具体的，步骤c中对所述置信度传播算法的迭代步骤包括：

c1.信息初始化，将不同像素点间传递的节点信息统一赋值为平均概率分布；

c2.从1到设定阈值循环更新所述不同像素点间的节点信息；

c3.计算像素点的置信度；

c4.计算获得的置信度的最大值为像素点的最大后验概率。所述的后验概率指的是在贝叶斯统计中，一个随机事件是在考虑相关证据或者数据后所得到的条件概率。

具体的，步骤c2所述的阈值为50～100。

测试得知，本发明的方法是通过求取全局能量函数的最小值来达到求得视差的目的。计算过程中，加入了图像的Rank变换，由此增强了邻域像素点间的约束条件，改善了平滑项，从而提高置信度传播过程的抗噪性和图像平滑性，提高了计算的精确度。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

具体实施方式

本发明基于置信度传播的图像立体匹配方法，包括：

a.将输入的图像进行Rank变换后转换为Rank图像，包括步骤：

a1.在3×3像素的窗口中，按从左到右和从上倒下的方向统计窗口内像素的灰度值；

a2.根据窗口内中心像素灰度的排序序号替换中心像素的灰度值；

a3.将整幅图像的每个像素的灰度值均用与中心像素的相对灰度值来表示；

b.计算全局能量函数：

$E\left(d\right)=\underset{p\∈P}{\mathrm{\Σ}}{D}_p\left(d_p\right)+\underset{(p,q)\∈N}{\mathrm{\Σ}}V(d_p,d_q),$ 其中

$V(d_i,d_j)=\left\{\begin{array}{cc}0& d_i=d_j\\ {\mathrm{\ρ}}_I\left(\mathrm{\ΔI}\right)& \mathrm{other}\end{array}\right.$

${\mathrm{\&rho;}}_I\left(\mathrm{\&Delta;I}\right)=\left\{\begin{array}{cc}P\&times;|d_i-d_j|& \mathrm{\&Delta;I}<T\\ P^{\&prime;}\&times;|d_i-d_j|& \mathrm{other}\end{array}\right.$

变量说明：

E(d)：全局能量函数。

D_p(d_p)：d_p表示此p位置上的视差，D_p(d_p)是匹配相似性测度函数。

p∈P：P表示全体像素点的集合，p表示像素属于P集合内的像素点。

V(d_p，d_q)：平滑项函数，通常是两个相邻像素视差的差值函数。

N：相邻像素的集合。

V(d_i，d_j)：平滑项函数，通常是两个相邻像素视差的差值函数。

d_j：j点像素视差值。

d_i：i点像素视差值。

ρ_I(ΔI)：邻域像素间的梯度ΔI函数。

P′：设定的参数。

T：设定的阈值。

通过全局能量函数E(d)对图像的平滑项进行优化；

c.通过对视差匹配相似性、图像的平滑项和相邻迭代次数时不同像素点的视差信息求和计算所述全局能量函数的最小值：

$m_{p\&RightArrow;q}^t\left(d_q\right)=\underset{d_p\&Element;\mathrm{\&Omega;}}{\min }(D_p\left(d_p\right)+V(d_p,d_q)+\underset{s\&Element;N\left(p\right)\backslash q}{\mathrm{\&Sigma;}}{m}_{s\&RightArrow;p}^{t-1}\left(d_p\right)).$

其中：

第t次迭代时，像素点p传递给像素点q的视差信息，t从1开始。

d_q：d_p表示此p位置上的视差。

Ω：表示像素点的视差搜索范围。

s：第s次迭代。

N(p)\q：除掉q点之外的p点的邻域像素点。

第t-1次迭代时，像素点s传递给像素点p的视差信息。

在其中的迭代计算中，节点x_i传递给x_j的消息记为m_ij(x_j)，i为节点x_j的邻域像素个数，取值为8，已观测节点y_i传给待观测节点x_i的消息记为m_i(x_i)，x_j的置信度用b_j(x_j)表示。m_ij(x_j)、m_j(x_j)和b_j(x_j)这三者均为L维向量，L表示x_i可能取值的个数。因此迭代的步骤包括：

c1.信息初始化，将节点信息m_ij(x_j)统一赋值为平均概率分布，即m_ij(x_j)＝1/L，且m_j(x_j，y_j)＝φ(x_j，y_j)，φ(x_j，y_j)为局部证据；

c2.从1到设定阈值T循环更新所述不同像素点间的节点信息，其中阈值T的取值为50～100：

$m_{\mathrm{ij}}^{t+1}\left(x_j\right)\&LeftArrow;\underset{x_i}{\max }{\mathrm{\&Psi;}}_{\mathrm{ij}}(x_i,x_j)m_i^t\left(x_i\right)\underset{x_k\&Element;N\left(x_i\right)\backslash x_k}{\mathrm{\&Pi;}}{m}_{\mathrm{ki}}^t\left(x_i\right);$

其中：

t从1开始，t+1次迭代时节点x_i传递给x_j的消息。

←：标识将“←”右边的值传递给“←”左边的变量。

Ψ_ij(x_i，x_j)：节点x_i和x_j之间的兼容依赖性。

第t次迭代时，x_j的邻域N(x_i)范围内除去x_j点后，节点信息的乘积。

c3.计算像素点的置信度：

$b_i\left(x_i\right)\&LeftArrow;m_i\left(x_i\right)\underset{x_k\&Element;N\left(x_i\right)}{\mathrm{\&Pi;}}{m}_{\mathrm{ki}}\left(x_i\right);$

c4.计算获得的置信度的最大值为像素点x_i的最大后验概率：

$x_i^{\mathrm{MAP}}=\underset{x_i}{\arg \max }{b}_i\left(x_i\right),$ b_i(x_i)为节点x_i的置信度；

d.根据置信度的最小值获得像素点的视差值：

$d_p^{*}=\underset{d_p\&Element;\mathrm{\&Omega;}}{\arg \min }{b}_p\left(d_p\right).$

其中：

最终得到的p点位置的视差值。

b_p(d_p)：像素点p的置信度；

e.将所述的视差值作为对应像素点的灰度值，输出视差图像。

Claims (6)

1.基于置信度传播的图像立体匹配方法，其特征包括：

a.将输入的图像进行Rank变换后转换为Rank图像；

b.通过全局能量函数对图像的平滑项进行优化；

c.根据置信度传播算法计算全局能量函数的最小值；

d.根据置信度的最小值获得像素点的视差值；

e.将所述的视差值作为对应像素点的灰度值，输出视差图像。

2.如权利要求1所述的基于置信度传播的图像立体匹配方法，其特征为：步骤a所述的Rank变换包括：

a1.在预定大小的窗口中，按从左到右和从上倒下的方向统计窗口内像素的灰度值；

a2.根据窗口内中心像素灰度的排序序号替换中心像素的灰度值；

a3.将整幅图像的每个像素的灰度值均用与中心像素的相对灰度值来表示。

3.如权利要求2所述的基于置信度传播的图像立体匹配方法，其特征为：所述的窗口为3×3像素的窗口。

4.如权利要求1所述的基于置信度传播的图像立体匹配方法，其特征为：步骤c中通过对视差匹配相似性、图像的平滑项和相邻迭代次数时不同像素点的视差信息求和计算所述全局能量函数的最小值。

5.如权利要求1至4之一所述的基于置信度传播的图像立体匹配方法，其特征为：步骤c中对所述置信度传播算法的迭代步骤包括：

c1.信息初始化，将不同像素点间传递的节点信息统一赋值为平均概率分布；

c2.从1到设定阈值循环更新所述不同像素点间的节点信息；

c3.计算像素点的置信度；

c4.计算获得的置信度的最大值为像素点的最大后验概率。

6.如权利要求5所述的基于置信度传播的图像立体匹配方法，其特征为：步骤c2所述的阈值为50～100。