CN107392950A - 一种基于弱纹理检测的跨尺度代价聚合立体匹配方法 - Google Patents

Abstract

本发明一种基于弱纹理检测的跨尺度代价聚合立体匹配方法属于计算机视觉领域，尤其涉及对弱纹理图像的立体匹配方法，包括以下步骤：输入两幅彩色图像,所述的两幅彩色图像分别为左图像和右图像，利用左图像的梯度信息对图片进行弱纹理检测和分割；根据左图像和右图像的颜色信息和梯度信息计算匹配代价；以上述中的弱纹理检测和分割结果为基准，进行基于高斯滤波的内尺度和跨尺度代价聚合；采用嬴者全取策略计算视差；采用左右一致性检测和基于自适应权重的方法对视差精化，输出视差图像。本发明实现了在保证纹理区域匹配正确率的前提下，提高弱纹理区域匹配正确率，获得更好的视差图的技术目的。

Description

一种基于弱纹理检测的跨尺度代价聚合立体匹配方法

技术领域

本发明一种基于弱纹理检测的跨尺度代价聚合立体匹配方法属于计算机视觉领域，尤其涉及对弱纹理图像的立体匹配方法。

背景技术

双目立体视觉(BinocularStereoVision)是计算机视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。而三维信息获取的好坏主要取决于立体匹配所得视差图正确率的高低。目前立体匹配存在的问题主要有光照不均、曝光过度等外界因素，以及图片本身会存在遮挡、弱纹理、重复纹理等计算机难以区分的图片本身特征。虽然大量学者已经对立体匹配研究多年，但对于弱纹理区域的匹配仍是图像处理领域的一个难点。如何保证纹理区域匹配正确率的前提下，提高弱纹理区域匹配正确率，获得更好的视差图是一重大问题。

发明内容

本发明提供了一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，能够在保证纹理区域匹配正确率的前提下，提高弱纹理区域匹配正确率，获得更好的视差图。

本发明的目的是这样实现的：

一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，包括以下步骤：

步骤a、输入两幅彩色图像,所述的两幅彩色图像分别为左图像和右图像，利用左图像的梯度信息对图片进行弱纹理检测和分割；

步骤b、根据左图像和右图像的颜色信息和梯度信息计算匹配代价；

步骤c、以步骤a中的弱纹理检测和分割结果为基准，进行基于高斯滤波的内尺度和跨尺度代价聚合；

步骤d、采用嬴者全取策略计算视差；

步骤e、采用左右一致性检测和基于自适应权重的方法对视差精化，输出视差图像。

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤a中对图片进行弱纹理检测和分割具体为：

计算左图像坐标为(x,y)处像素点的梯度值为g(x,y)，并与梯度阈值g_T比较，判断是否为弱纹理区域，其计算公式为：

g(x,y)＜g_T

式中:N(x,y)表示以像素(x,y)为中心的窗口，M表示窗口中像素的个数，I(x,y)表示像素的灰度值。

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤b中计算匹配代价具体为：

计算立体彩色图像对左图像I_L和右图像I_R的匹配代价C(p,d)，其计算公式为：

C(p,d)＝(1-α)·C_AD(p,d)+α·(C_{grad_x}(p,d)+C_{grad_y}(p,d))

式中：p是左图像中一点，式中i＝R,G,B分别代表彩色图像的三个通道，T_AD和T_grad分别代表颜色和梯度的截断阈值；分别表示图片在x、y方向的梯度算子；α是颜色差和梯度差之间的平衡因子。

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤c中代价聚合具体为：

其中，表示聚合后的匹配代价，z为期望的优化目标值，W是高斯滤波核，N是像素p的邻域窗口，q是p的邻域像素点；s∈{0,1,...,S}为尺度参数，s＝0时，C⁰代表图像原始尺度匹配代价；代表图像的S+1个尺度的聚合代价；

式中，λ为正则化因子，用表示公式(11)的优化目标函数，令有：

其中，T_high和T_low分别代表前文中检测出来的纹理区域和弱纹理区域；C₁和C_1/2分别代表原图像尺度和二分之一尺度的匹配代价，用不同大小的窗口进行高斯滤波，融合后得到最终的匹配代价。

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤e中视差精化具体为：

|D'_L(P)-D'_R(P-D'_R(P))|＜δ

D_LRC(P)＝min(D'(PL),D'(PR))

其中，视差图中的一点p的左图视差值D'_L(p)和右图视差值D'_R(p-D'_L(p))，δ为LRC的阈值；D′(PL)为左侧的第一个非遮挡点的视差值，D(PR)为右侧的第一个非遮挡点的视差值；WB_pq(I_L)为左图像的函数，Δc_pq和Δs_pq分别为左图像中点p与q的色彩差异和空间欧式距离，和分别为色彩差异和距离差异的调节参数；D_w(p)滤波后的图像。

有益效果：

本发明一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，本发明提出一种新的立体匹配算法，针对图片区域是否属于弱纹理，选取恰当的匹配方法，从而提高立体匹配的正确率，获得更好的视差图。

应用本实施方式算法处理的立体匹配图像对，在图片的纹理区域和弱纹理区域都可以取得较好的效果，错误匹配率有所降低(比不进行弱纹理区域分割算法低5％)。说明本实施方式算法可以在保证纹理区域匹配正确率的前提下，提高弱纹理区域匹配正确率，获得更好的视差图。

附图说明

图1是一种基于弱纹理检测的跨尺度代价聚合立体匹配方法流程图。

图2是Bowling1视差图。

图3是Lampshade1视差图。

图4是Monopoly视差图。

图5是Plastic视差图。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述。

具体实施例一

一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，如图1所示，包括以下步骤：

步骤a、输入两幅彩色图像,所述的两幅彩色图像分别为左图像和右图像，利用左图像的梯度信息对图片进行弱纹理检测和分割；

步骤b、根据左图像和右图像的颜色信息和梯度信息计算匹配代价；

步骤c、以步骤a中的弱纹理检测和分割结果为基准，进行基于高斯滤波的内尺度和跨尺度代价聚合；

步骤d、采用嬴者全取策略计算视差；

步骤e、采用左右一致性检测和基于自适应权重的方法对视差精化，输出视差图像。

按照以上步骤，选择四张图片进行对比，如图2、图3、图4和图5所示，

图2中，图2(a)是Bowling1原图像左图；图2(b)是Bowling1真实视差图；图2(c)是Bowling1弱纹理检测结果；图2(d)是Bowling1最终视差图；图2(e)是Bowling1不进行弱纹理检测的视差图。

图3中，图3(a)是Lampshade1原图像左图；图3(b)是Lampshade1真实视差图；图3(c)是Lampshade1弱纹理检测结果；图3(d)是Lampshade1最终视差图；图3(e)是Lampshade1不进行弱纹理检测的视差图。

图4中，图4(a)是Monopoly原图像左图；图4(b)是Monopoly真实视差图；图4(c)是Monopoly弱纹理检测结果；图4(d)是Monopoly最终视差图；图4(e)是Monopoly不进行弱纹理检测的视差图。

图5中，图5(a)是Plastic原图像左图；图5(b)是Plastic真实视差图；图5(c)是Plastic弱纹理检测结果；图5(d)是Plastic最终视差图；图5(e)是Plastic不进行弱纹理检测的视差图。

从视觉效果上对图2(a)～图2(e)，图3(a)～图3(e)，图4(a)～图4(e)，图5(a)～图5(e)中的视差图进行主观评价。图2～图5的(c)中黑色部分表示检测出的弱纹理区域，白色部分表示纹理区域。对照视差图，可以看出在弱纹理区域，应用本实施方式算法得到的视差图结果要比不进行弱纹理检测的算法视差图效果要好得多。

从客观评价指标上对本发明方法进行评价。

表1给出了应用两种算法处理middlebury图像集4幅弱纹理区域明显的图像对的错误匹配率。

表1

由表1可以看出，在两种算法处理立体匹配图像对的测试结果中，应用本实施方式算法处理的图像对比不进行弱纹理检测与分割的算法错误匹配率降低了5％。说明本实施方式算法可以在保证纹理区域匹配正确率的前提下，提高弱纹理区域匹配正确率，获得更好的视差图。

具体实施例二

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤a中对图片进行弱纹理检测和分割具体为：

计算左图像坐标为(x,y)处像素点的梯度值为g(x,y)，并与梯度阈值g_T比较，判断是否为弱纹理区域，其计算公式为：

g(x,y)＜g_T

式中:N(x,y)表示以像素(x,y)为中心的窗口，M表示窗口中像素的个数，I(x,y)表示像素的灰度值。

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤b中计算匹配代价具体为：

计算立体彩色图像对左图像I_L和右图像I_R的匹配代价C(p,d)，其计算公式为：

C(p,d)＝(1-α)·C_AD(p,d)+α·(C_{grad_x}(p,d)+C_{grad_y}(p,d))

式中：p是左图像中一点，式中i＝R,G,B分别代表彩色图像的三个通道，T_AD和T_grad分别代表颜色和梯度的截断阈值；分别表示图片在x、y方向的梯度算子；α是颜色差和梯度差之间的平衡因子。

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤c中代价聚合具体为：

其中，表示聚合后的匹配代价，z为期望的优化目标值，W是高斯滤波核，N是像素p的邻域窗口，q是p的邻域像素点；s∈{0,1,...,S}为尺度参数，s＝0时，C⁰代表图像原始尺度匹配代价；代表图像的S+1个尺度的聚合代价；

式中，λ为正则化因子，用表示公式(11)的优化目标函数，令有：

其中，T_high和T_low分别代表前文中检测出来的纹理区域和弱纹理区域；C₁和C_1/2分别代表原图像尺度和二分之一尺度的匹配代价，用不同大小的窗口进行高斯滤波，融合后得到最终的匹配代价。

所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，所述步骤e中视差精化具体为：

|D'_L(P)-D'_R(P-D'_R(P))|＜δ

D_LRC(P)＝min(D'(PL),D'(PR))

其中，视差图中的一点p的左图视差值D'_L(p)和右图视差值D'_R(p-D'_L(p))，δ为LRC的阈值；D′(PL)为左侧的第一个非遮挡点的视差值，D′(PR)为右侧的第一个非遮挡点的视差值；WB_pq(I_L)为左图像的函数，Δc_pq和Δs_pq分别为左图像中点p与q的色彩差异和空间欧式距离，和分别为色彩差异和距离差异的调节参数；D_w(p)滤波后的图像。

Claims (5)

1.一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，其征在于，包括以下步骤：

步骤a、输入两幅彩色图像,所述的两幅彩色图像分别为左图像和右图像，利用左图像的梯度信息对图片进行弱纹理检测和分割；

步骤b、根据左图像和右图像的颜色信息和梯度信息计算匹配代价；

步骤c、以步骤a中的弱纹理检测和分割结果为基准，进行基于高斯滤波的内尺度和跨尺度代价聚合；

步骤d、采用嬴者全取策略计算视差；

步骤e、采用左右一致性检测和基于自适应权重的方法对视差精化，输出视差图像。

2.根据权利要求1所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，其特征在于，所述步骤a中对图片进行弱纹理检测和分割具体为：

计算左图像坐标为(x,y)处像素点的梯度值为g(x,y)，并与梯度阈值g_T比较，判断是否为弱纹理区域，其计算公式为：

g(x,y)＜g_T

<mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>M</mi> </mfrac> <mo>&amp;CenterDot;</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>N</mi> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </munder> <mrow> <mo>(</mo> <mo>|</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>u</mi> <mo>,</mo> <mi>v</mi> </mrow> <mo>)</mo> <mo>-</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>u</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>v</mi> </mrow> <mo>)</mo> <mo>+</mo> <mo>|</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>u</mi> <mo>,</mo> <mi>v</mi> </mrow> <mo>)</mo> <mo>-</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>u</mi> <mo>,</mo> <mi>v</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>|</mo> <mo>)</mo> </mrow> </mrow>

式中:N(x,y)表示以像素(x,y)为中心的窗口，M表示窗口中像素的个数，I(x,y)表示像素的灰度值。

3.根据权利要求1所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，其特征在于，所述步骤b中计算匹配代价具体为：

计算立体彩色图像对左图像I_L和右图像I_R的匹配代价C(p,d)，其计算公式为：

C(p,d)＝(1-α)·C_AD(p,d)+α·(C_{grad_x}(p,d)+C_{grad_y}(p,d))

<mrow> <msub> <mi>C</mi> <mrow> <mi>A</mi> <mi>D</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mn>3</mn> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mi>R</mi> <mo>,</mo> <mi>G</mi> <mo>,</mo> <mi>B</mi> </mrow> </munder> <mo>|</mo> <msubsup> <mi>I</mi> <mi>L</mi> <mi>i</mi> </msubsup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <mo>-</mo> <msubsup> <mi>I</mi> <mi>R</mi> <mi>i</mi> </msubsup> <mo>(</mo> <mrow> <mi>p</mi> <mo>,</mo> <mi>d</mi> </mrow> <mo>)</mo> <mo>|</mo> <mo>,</mo> <msub> <mi>T</mi> <mrow> <mi>A</mi> <mi>D</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

C_{grad_x}(p,d)＝min(|▽_xI_L(p)-▽_xI_R(p,d)|,T_grad)

C_{grad_y}(p,d)＝min(|▽_yI_L(p)-▽_yI_R(p,d)|,T_grad)

式中：p是左图像中一点，式中i＝R,G,B分别代表彩色图像的三个通道，T_AD和T_grad分别代表颜色和梯度的截断阈值；▽_x、▽_y分别表示图片在x、y方向的梯度算子；α是颜色差和梯度差之间的平衡因子。

4.根据权利要求1所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，其特征在于，所述步骤c中代价聚合具体为：

<mrow> <mover> <mi>C</mi> <mo>~</mo> </mover> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>argmin</mi> <mi>z</mi> </munder> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <mi>W</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <mi>z</mi> <mo>-</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

<mrow> <mover> <mi>C</mi> <mo>~</mo> </mover> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <mi>W</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <mover> <mi>v</mi> <mo>~</mo> </mover> <mo>=</mo> <munder> <mrow> <mi>a</mi> <mi>r</mi> <mi>g</mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msubsup> <mrow> <mo>{</mo> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>}</mo> </mrow> <mrow> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>S</mi> </msubsup> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>S</mi> </munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> </mrow> </munder> <mi>W</mi> <mrow> <mo>(</mo> <msup> <mi>p</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>-</mo> <msup> <mi>C</mi> <mi>s</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>d</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

其中，表示聚合后的匹配代价，z为期望的优化目标值，W是高斯滤波核，N是像素p的邻域窗口，q是p的邻域像素点；s∈{0,1,...,S}为尺度参数，s＝0时，C⁰代表图像原始尺度匹配代价；代表图像的S+1个尺度的聚合代价；

<mrow> <msup> <mover> <mi>C</mi> <mo>~</mo> </mover> <mi>s</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>p</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>d</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> </mrow> </munder> <mi>W</mi> <mrow> <mo>(</mo> <msup> <mi>p</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msup> <mi>C</mi> <mi>s</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>d</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> </mrow>

<mrow> <mover> <mi>v</mi> <mo>~</mo> </mover> <mo>=</mo> <munder> <mrow> <mi>a</mi> <mi>r</mi> <mi>g</mi> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msubsup> <mrow> <mo>{</mo> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>}</mo> </mrow> <mrow> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>S</mi> </msubsup> </munder> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>S</mi> </munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> </mrow> </munder> <mi>W</mi> <mo>(</mo> <mrow> <msup> <mi>p</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>q</mi> <mi>s</mi> </msup> </mrow> <mo>)</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>-</mo> <msup> <mi>C</mi> <mi>s</mi> </msup> <mo>(</mo> <mrow> <msup> <mi>q</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>d</mi> <mi>s</mi> </msup> </mrow> <mo>)</mo> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>&amp;CenterDot;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>S</mi> </munderover> <mo>|</mo> <mo>|</mo> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>-</mo> <msup> <mi>z</mi> <mrow> <mi>s</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow>

式中，λ为正则化因子，用表示公式(11)的优化目标函数，令有：

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>)</mo> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>-</mo> <msup> <mi>&amp;lambda;z</mi> <mrow> <mi>s</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msup> <mover> <mi>C</mi> <mo>~</mo> </mover> <mi>s</mi> </msup> <mo>(</mo> <msup> <mi>p</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>d</mi> <mi>s</mi> </msup> <mo>)</mo> <mo>,</mo> <mi>s</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <msup> <mi>&amp;lambda;z</mi> <mrow> <mi>s</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> <mo>)</mo> </mrow> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>-</mo> <msup> <mi>&amp;lambda;z</mi> <mrow> <mi>s</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msup> <mover> <mi>C</mi> <mo>~</mo> </mover> <mi>s</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>p</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>d</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mi>s</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>S</mi> <mo>-</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <msup> <mi>&amp;lambda;z</mi> <mrow> <mi>s</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> <mo>)</mo> </mrow> <msup> <mi>z</mi> <mi>s</mi> </msup> <mo>=</mo> <msup> <mover> <mi>C</mi> <mo>~</mo> </mover> <mi>s</mi> </msup> <mrow> <mo>(</mo> <msup> <mi>p</mi> <mi>s</mi> </msup> <mo>,</mo> <msup> <mi>d</mi> <mi>s</mi> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mi>s</mi> <mo>=</mo> <mi>S</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>

<mrow> <mi>A</mi> <mover> <mi>v</mi> <mo>^</mo> </mover> <mo>=</mo> <mover> <mi>v</mi> <mo>~</mo> </mover> </mrow>

<mrow> <mi>A</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>+</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> <mtr> <mtd> <mrow></mrow> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> <mtr> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mo>...</mo> </mtd> <mtd> <mrow></mrow> </mtd> </mtr> <mtr> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>+</mo> <mn>2</mn> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow></mrow> </mtd> <mtd> <mrow> <mo>-</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> <mtd> <mrow> <mn>1</mn> <mo>+</mo> <mi>&amp;lambda;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>

<mrow> <mover> <mi>v</mi> <mo>^</mo> </mover> <mo>=</mo> <msup> <mi>A</mi> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mover> <mi>v</mi> <mo>~</mo> </mover> </mrow>

<mrow> <msub> <mover> <mi>C</mi> <mo>~</mo> </mover> <mrow> <mi>f</mi> <mi>i</mi> <mi>n</mi> <mi>a</mi> <mi>l</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>T</mi> <mrow> <mi>h</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <msub> <mi>W</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <msub> <mi>C</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>T</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>w</mi> </mrow> </msub> <mo>&amp;CenterDot;</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>q</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <msub> <mi>W</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <msub> <mi>C</mi> <mrow> <mn>1</mn> <mo>/</mo> <mn>2</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>,</mo> <mi>d</mi> <mo>)</mo> </mrow> </mrow>

其中，T_high和T_low分别代表前文中检测出来的纹理区域和弱纹理区域；C₁和C_1/2分别代表原图像尺度和二分之一尺度的匹配代价，用不同大小的窗口进行高斯滤波，融合后得到最终的匹配代价。

5.根据权利要求1所述的一种基于弱纹理检测的跨尺度代价聚合立体匹配方法，其特征在于，所述步骤e中视差精化具体为：

|D'_L(P)-D'_R(P-D'_R(P))|＜δ

D_LRC(P)＝min(D'(PL),D'(PR))

<mrow> <msub> <mi>D</mi> <mi>w</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>q</mi> </munder> <msub> <mi>WB</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>L</mi> </msub> <mo>)</mo> </mrow> <msub> <mi>D</mi> <mrow> <mi>L</mi> <mi>R</mi> <mi>C</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>q</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>WB</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> <mo>=</mo> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <mrow> <msub> <mi>&amp;Delta;c</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> </mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>c</mi> <mn>2</mn> </msubsup> </mfrac> <mo>+</mo> <mfrac> <mrow> <msub> <mi>&amp;Delta;s</mi> <mrow> <mi>p</mi> <mi>q</mi> </mrow> </msub> </mrow> <msubsup> <mi>&amp;sigma;</mi> <mi>s</mi> <mn>2</mn> </msubsup> </mfrac> <mo>)</mo> </mrow> </mrow>

其中，视差图中的一点p的左图视差值D'_L(p)和右图视差值D'_R(p-D'_L(p))，δ为LRC的阈值；D′(PL)为左侧的第一个非遮挡点的视差值，D′(PR)为右侧的第一个非遮挡点的视差值；WB_pq(I_L)为左图像的函数，Δc_pq和Δs_pq分别为左图像中点p与q的色彩差异和空间欧式距离，和分别为色彩差异和距离差异的调节参数；D_w(p)滤波后的图像。