CN104616304A - 一种基于fpga的自适应支撑权重的立体匹配方法 - Google Patents

Abstract

本发明提出了一种基于FPGA的自适应支撑权重的立体匹配方法。在FPGA中对左右图像建立局部立体匹配窗口；然后根据局部窗口内匹配点与局部窗口中心点间的灰度相似性和曼哈顿距离相似性，求取待匹配点的灰度相似性函数值和曼哈顿距离相似性函数值，从而得到局部窗口匹配点的权重代价关系值；最后根据所述局部匹配窗口的匹配代价权重关系值，计算出每个匹配点的代价聚合关系，然后利用胜者为王准则，求取每个像素点的视差结果。本发明提高了整体匹配效果，可以获得实时的稠密视差结果，具有较强的鲁棒性。

Description

一种基于FPGA的自适应支撑权重的立体匹配方法

技术领域

本发明属于双目立体视觉领域，具体涉及一种基于FPGA的自适应支撑权重的立体匹配方法。

背景技术

双目立体视觉是直接模拟人类双眼视觉的生理结构，它是三维场景下深度信息提取的重要技术手段，在机器人导航、无人机定位以及三维测量中具有广泛的运用，立体视觉中最关键和难点在于双目图像的立体匹配，匹配过程中由于需要进行大量数据的重复运算，因此在CPU上对双目图像进行立体匹配需要花费大量的运算时间，难以满足实时性的要求。例如，对于主频为1GHZ的CPU，利用区域立体匹配算法对两幅中型大小的图片进行稠密视差图计算，需要花费几秒的时间，这样低速率的处理结果极大的限制了立体视觉的发展，特别是一些需要得到实时匹配视差结果的实际运用场合。因此，近年来如何在保证匹配精度的条件下提高立体匹配算法的实时性，成为了人们研究的热点。

区域立体匹配算法包含全局区域立体匹配算法和局部区域立体匹配算法，全局区域立体匹配算法匹配准确度高，但计算复杂、运算量大，在提高实时性方面可以采用GPU来实现，但是GPU处理过程中功耗很大，因此限制器实际的运用场合。对应局部区域立体匹配算法，该方法是通过左右图像上的局部窗口的相似性关系来获得每个待匹配点的视差值，计算量小，且匹配过程中如果能够找到一个合适的匹配代价关系，也能获得一个较好的匹配结果，而FPGA作为一种可编程的逻辑门阵列，灵活性强，利用其内部的并行流水线技术可以实时的实现局部区域立体匹配算法。

目前，利用FPGA实现实时的局部区域立体匹配方法有Ambrosch K等人提出的基于FPGA实现的SAD立体匹配方法(详见文献Hardware implementation of an SAD basedstereo vision algorithm)、Chen L等人提出的基于FPGA实现的实时立体匹配方法(详见文献A Parallel reconfigurable architecture for real-time stereo vision)。该类方法能够实时的获得到实时的稠密视差结果，但匹配过程中的局部窗口为固定值，且对窗口内的匹配点在匹配过程中没有分配合适的权重信息，因此在深度不连续点处、低纹理处以及场景重复区域处容易匹配出错，匹配准确率不高。

发明内容

本发明的目的针对现有立体匹配方法在匹配准确率和实时性方面存在的不足，提出了一种基于FPGA的自适应支撑权重的立体匹配方法，该方法可以解决深度不连续点处、低纹理处以及场景重复区域处容易匹配出错的问题，从而可以提高整体的匹配效果，同时，该方法利用FPGA内部的并行流水线技术，可以在FPGA内进行并行的局部区域立体匹配，获得实时的稠密视差结果，具有较强的鲁棒性。

为了解决上述技术问题，本发明提供一种基于FPGA的自适应支撑权重的立体匹配方法，在FPGA中对左右图像建立一个m×n大小的局部立体匹配窗口，视频输入口的输入数据为预处理后的左右图像，像素点的时钟为左右图像每个像素点进入FPGA内部的***同步时钟，用先进先出缓存器对匹配点进行行缓存，用FPGA内部的D触发器对匹配点进行列缓存；然后根据局部窗口内匹配点与局部窗口中心点间的灰度相似性和曼哈顿距离相似性，求取待匹配点的灰度相似性函数值和曼哈顿距离相似性函数值，从而得到局部窗口匹配点的权重代价关系值w(p,q)，权重代价关系值w(p,q)如式(1)所示，

w(p,q)＝wd_k·wR_l    (1)

式(1)中，wd_k表示在FPGA内部通过查找表获得的像素点p和q的曼哈顿距离相似性函数值的对应值，R_l表示像素点p和q的灰度值在经过rank变换后的灰度相似性关系，wR_l表示在FPGA内部通过查找表获得的像素点p和q的灰度相似性函数值的对应值；最后根据所述局部匹配窗口的匹配代价权重关系值，计算出每个匹配点的代价聚合关系，然后利用胜者为王准则，求取每个像素点的视差结果；所述每个匹配点的代价聚合关系如式(2)所示，

$E(p,\stackrel{\‾}{p_d})=\frac{{\mathrm{\Σ}}_{q\∈N_P,\stackrel{\‾}{q_d}\∈N_{\stackrel{\‾}{\mathrm{Pd}}}}w(p,q)w(\stackrel{\‾}{p_d},\stackrel{\‾}{q_d})e_m(q,\stackrel{\‾}{q_d})}{{\mathrm{\Σ}}_{q\∈N_P,\stackrel{\‾}{q_d}\∈N_{\stackrel{\‾}{\mathrm{Pd}}}}w(p,q)w(\stackrel{\‾}{p_d},\stackrel{\‾}{q_d})}---\left(2\right)$

式(2)中，N_p表示左图像的局部匹配窗口，表示右图像的局部匹配窗口，w(p,q)为左图像中匹配点q的权重关系值，为右图像中的匹配点的权重关系值，对于左右图像的局部窗口，p点和点对应，q点和点相对应，为匹配点经rank变换后的比较值，表达式如式(3)所示：

$e_m(q,\stackrel{\‾}{q_d})=\left\{\begin{array}{cc}0& R_{\mathrm{pq}}=R_{\stackrel{\‾}{p_d}\stackrel{\‾}{q_d}}\\ 1& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

式(3)中，R_pq表示q点的rank变换值，表示点的rank变换值。

较佳地，选用高斯函数对视频图像进行预处理，滤除噪声。

本发明与现有技术相比，其显著优点在于，(1)本发明在硬件FPGA上对双目图像进行局部区域立体匹配，从而可以获得实时的稠密视差结果；(2)本发明利用局部窗口内匹配点与窗口中心点间的灰度相似性、曼哈顿距离相似性建立自适应权重关系，从而可以提高匹配过程中的准确率；(3)本发明在局部窗口的匹配过程中，用rank变换后的值替代原始的灰度相似性函数关系值，从而可以在FPGA内部建立一个固定的灰度查找表，有利于FPGA的实时性计算；(4)本发明在代价聚合过程中，将匹配点先经过rank变换后再进行视差值计算，从而消除光照和噪声对左右图像匹配结果的影响。

附图说明

图1是本发明方法流程图。

图2是本发明在FPGA中对左右图像建立m×n大小的局部区域立体匹配窗口。

图3是本发明在FPGA中对像素点进行rank变换的过程示意图。

图4是本发明在FPGA中建立的相似性函数查找表，其中(a)为曼哈顿距离相似性查找表，(b)为灰度相似性查找表。

图5是本发明在左右图像的局部窗口中对相应的匹配点进行代价聚合运算示意图，其中(a)为左图像窗口的示意图，(b)为右图像窗口的示意图。

图6是本发明代价聚合过程在FPGA中的实现示意图。

具体实施方式

结合图1，本发明基于FPGA的自适应支撑权重的立体匹配方法，步骤如下：

步骤1：利用标定好的左右摄像机获得极线矫正好的左右图像，将采集到的左右图像进行滤波处理去除噪声干扰，预处理后的左图像为I_l(i,j)和右图像为I_r(i,j)；

本发明选用高斯函数对图像进行滤波，从而有效的消除传感器所引入的高斯白噪声。滤波模板采用(2k+1)×(2k+1)维(其中k＝1,2,3,...)的离散高斯卷积核，计算方式如公式(1)所示：

$\left\{\begin{array}{c}{I}_l(i,j)=I_{r0}(i,j)*G(u,v)=\underset{u=-k}{\overset{k}{\mathrm{\Σ}}}\underset{v=-k}{\overset{k}{\mathrm{\Σ}}}{I}_{r0}(i+u,j+v)\·G(u,v)\\ I_r(i,j)=I_{r0}(i,j)*G(u,v)=\underset{u=-k}{\overset{k}{\mathrm{\Σ}}}\underset{v=-k}{\overset{k}{\mathrm{\Σ}}}{I}_{r0}(i+u,j+v)\·G(u,v)\\ G(u,v)=\frac{1}{{2\mathrm{\π\σ}}^2}{e}^{-\frac{u^2+v^2}{{2\mathrm{\σ}}^2}}\end{array}\right.---\left(1\right)$

公式(1)中，(i,j)为图像像素点的坐标值，I_l0(i,j)为输入的原始左图像，I_r0(i,j)为输入的原始右图像，(u,v)为离散高斯点坐标，G(u,v)为离散高斯核函数在(u,v)处的归一化值，σ为高斯函数尺度值。

步骤2：结合图2，在FPGA中对左右图像建立一个m×n大小的局部立体匹配窗口，视频输入口的输入数据为预处理后的左右图像，像素点的时钟为左右图像每个像素点进入FPGA内部的***同步时钟，FIFO为先进先出缓存器，对匹配点进行行缓存，列缓存通过FPGA内部的D触发器进行缓存，win为建立的局部窗口，由此在FPGA中可以得到一个并行的局部窗口，用于左右图像的局部区域立体匹配。

步骤3：根据局部窗口内匹配点与局部窗口中心点间的灰度相似性和曼哈顿距离相似性，求取待匹配点的灰度相似性函数值f(Δc_pq)和曼哈顿距离相似性函数值f(Δd_pq)，从而得到局部窗口匹配点的权重代价关系值w(p,q)，如下式(2)所示：

w(p,q)＝f(Δc_pq)·f(Δd_pq)    (2)

式(2)中，p和q分别为图像匹配窗口的中心像素点和窗口区域内的像素点，Δc_pq表示p和q点的灰度相似性关系，Δd_pq表示p和q点的曼哈顿距离相似性关系。其中Δc_pq、Δd_pq的关系如式(3)所示，f(Δc_pq)、f(Δd_pq)函数表达式关系如式(4)所示。

$\left\{\begin{array}{c}{\mathrm{\Δc}}_{\mathrm{pq}}=I_p-I_q\\ {\mathrm{\Δd}}_{\mathrm{pq}}=|x_p-x_q|+{|y}_p-y_q|\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}f\left({\mathrm{\Δc}}_{\mathrm{pq}}\right)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{{\mathrm{\τ}}_c})\\ f\left({\mathrm{\Δd}}_{\mathrm{pq}}\right)=\exp (-\frac{{\mathrm{\Δd}}_{\mathrm{pq}}}{{\mathrm{\τ}}_d})\end{array}\right.---\left(4\right)$

式(3)中，I_p表示p点的灰度值，I_q表示q点的灰度值，(x_p,y_p)表示p点的行列坐标值，(x_q,y_q)表示q点的行列坐标值，式(4)中exp表示指数函数，τ_c表示颜色相似性函数下的权重比例常数，τ_d表示曼哈顿距离相似性函数下的权重比例常数。

进一步，本发明中，为了使灰度相似性函数方便在FPGA中计算，对匹配点的灰度值先进行rank变换，然后利用新的灰度相似性关系R_pq代替原始的Δc_pq，rank变换的表达式如下：

$R_{\mathrm{pq}}=\left\{\begin{array}{cc}-2& I_p-I_q<-{\mathrm{\&tau;}}_1\\ -1& -{\mathrm{\&tau;}}_1\&le;I_p-I_q\&le;-{\mathrm{\&tau;}}_2\\ 0& -{\mathrm{\&tau;}}_2<I_p-I_q\&le;{\mathrm{\&tau;}}_2\\ 1& {\mathrm{\&tau;}}_2<I_p-I_q\&le;{\mathrm{\&tau;}}_1\\ 2& I_p-I_q>{\mathrm{\&tau;}}_1\end{array}\right.---\left(5\right)$

式(5)中τ₁、τ₂为rank变换的分类条件，计算过程中作为固定常数，I_p表示p点的灰度值，I_q表示q点的灰度值。

因此根据式(5)和图2中建立的局部窗口，结合图3，利用FPGA内部的减法器对窗口内匹配点与窗口中心点的灰度值相减并判断，从而在FPGA内部确定窗口内每个匹配点rank变换等级，由于局部窗口中每个点都是并行得到的，因此变换后的rank像素点也是以局部窗口的形式并行出现，从而不影响算法的实时性。

结合图4，根据新的灰度相似性函数值f(R_pq)和曼哈顿距离相似性函数值f(Δd_pq)在FPGA中建立查找表，从而确定每个像素点的匹配代价关系权重值w(p,q)，因此在FPGA中计算的局部窗口匹配点的权重w(p,q)表达式如式(6)所示：

w(p,q)＝wd_k·wR_l    (6)

图4中，Δd_k表示p和q点的曼哈顿距离，wd_k表示在FPGA内部通过查找表获得的f(Δd_pq)对应值，R_l表示p和q点在rank变换后的灰度相似性关系，wR_l表示在FPGA内部通过查找表获得的f(R_pq)对应值。

由于经过上述步骤变换后，对于大小一定的局部区域匹配窗口，其曼哈顿距离相似性函数值与rank变换后的灰度相似性函数值都是一定范围内的离散变换值，因此查找表的建立可以在FPGA中通过有限状态机来对数据进行映射，其中映射后的wd_k、wR_l数据都为整数，该数据在归一化后，并不会影响其匹配点权重的变换，如此有利于在FPGA中进行定点整数的计算。

步骤4：结合图5，根据局部匹配窗口的匹配代价权重关系值，计算出每个匹配点的代价聚合关系如式(7)所示，然后利用胜者为王(WTA)的准则，求取每个像素点的视差结果d_q，如式(9)所示。

$E(p,\stackrel{\&OverBar;}{p_d})=\frac{{\mathrm{\&Sigma;}}_{q\&Element;N_P,\stackrel{\&OverBar;}{q_d}\&Element;N_{\stackrel{\&OverBar;}{\mathrm{Pd}}}}w(p,q)w(\stackrel{\&OverBar;}{p_d},\stackrel{\&OverBar;}{q_d})e_m(q,\stackrel{\&OverBar;}{q_d})}{{\mathrm{\&Sigma;}}_{q\&Element;N_P,\stackrel{\&OverBar;}{q_d}\&Element;N_{\stackrel{\&OverBar;}{\mathrm{Pd}}}}w(p,q)w(\stackrel{\&OverBar;}{p_d},\stackrel{\&OverBar;}{q_d})}---\left(7\right)$

式(7)中，N_p表示左图像的局部匹配窗口，表示右图像的局部匹配窗口，w(p,q)为左图像中匹配点q的权重关系值，为右图像中的匹配点的权重关系值，对于左右图像的局部窗口，p点和点对应，q点和点相对应，为匹配点rank变换后的比较值，表达式如式(8)所示：

$e_m(q,\stackrel{\&OverBar;}{q_d})=\left\{\begin{array}{cc}0& R_{\mathrm{pq}}=R_{\stackrel{\&OverBar;}{p_d}\stackrel{\&OverBar;}{q_d}}\\ 1& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式(8)中，R_pq表示q点的rank变换值，表示点的rank变换值。

$d_q=\arg \underset{d\&Element;S_d}{\min }E(p,\stackrel{\&OverBar;}{p_d})---\left(9\right)$

式(9)中，S_d＝{d_min,d_min+1,...,d_max}，d_min为最小视差值，d_max为最大视差值。

结合图6，根据FPGA在左右图像中建立起局部权重窗口和局部像素点窗口，根据式(7)进行运算，在FPGA内部，为了减少乘法器资源的使用，左右图像的权重关系值进行相乘的过程中，利用移位的操作代替乘法器的功能(即将数据拆成多个2的n次方形式进行求和)，图6中的w_l表示左图像的权重w(p,q)，w_r表示右图像中的权重w即为用移位操作计算出的左右图像的权重积，图6中e_m的值由式(8)确定，它的取值只能是‘1’或者‘0’，因此式(7)的代价聚合的过程中，在FPGA中，只需要将e_m的最低位与权重值w中的各位进行逻辑与(&)操作，因此根据式(7)，对权重关系值归一化后即可得到代价聚合关系值

根据式(9)，在FPGA中对每个匹配像素点并行的计算出(d_max-d_min+1)个匹配代价聚合值，并利用FPGA内部的比较器计算出代价聚合关系值最小的像素点所对应的偏移量，即为该点的视差值。

因此，本发明循环上述步骤1～步骤6，即可对双目视频流进行稠密视差图的计算。

为了本发明进一步通过仿真实验验证了本发明的有益效果，仿真实验是在Altera公司提供的CYCLONE III EP3C120F780C8 FPGA芯片上实现的，采用的局部匹配窗口的大小为11×11，采集到的双目视频流的帧频为60fps,图像大小分辨率为640×480，表1是本发明方法利用quartus2编译软件生成的硬件资源使用的报表，表2是本发明方法与现有的立体匹配算法的实时性能对比，帧频按60MHZ时钟归一化。实验表明本发明方法比Chen提出的方法搜索的视差范围更大，帧频也更高，能够获得一个实时、匹配准确率较高的稠密视差结果。

表1

表2

Claims (5)

1.一种基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，在FPGA中对左右图像建立一个m×n大小的局部立体匹配窗口，视频输入口的输入数据为预处理后的左右图像，像素点的时钟为左右图像每个像素点进入FPGA内部的***同步时钟，用先进先出缓存器对匹配点进行行缓存，用FPGA内部的D触发器对匹配点进行列缓存。

2.如权利要求1所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，根据局部窗口内匹配点与局部窗口中心点间的灰度相似性和曼哈顿距离相似性，求取待匹配点的灰度相似性函数值和曼哈顿距离相似性函数值，从而得到局部窗口匹配点的权重代价关系值w(p,q)，权重代价关系值w(p,q)如式(1)所示，

w(p,q)＝wd_k·wR_l      (1)

式(1)中，wd_k表示在FPGA内部通过查找表获得的像素点p和q的曼哈顿距离相似性函数值的对应值，R_l表示像素点p和q的灰度值在经过rank变换后的灰度相似性关系，wR_l表示在FPGA内部通过查找表获得的像素点p和q的灰度相似性函数值的对应值。

3.如权利要求2所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，根据所述局部匹配窗口的匹配代价权重关系值，计算出每个匹配点的代价聚合关系，然后利用胜者为王准则，求取每个像素点的视差结果。

4.如权利要求3所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，

所述每个匹配点的代价聚合关系如式(2)所示，

$E(p,\stackrel{\&OverBar;}{p_d})=\frac{{\mathrm{\&Sigma;}}_{q\&Element;N_P,\stackrel{\&OverBar;}{q_d}\&Element;N_{\stackrel{\&OverBar;}{P_d}}}w(p,q)w(\stackrel{\&OverBar;}{p_d},\stackrel{\&OverBar;}{q_d})e_m(q,\stackrel{\&OverBar;}{q_d})}{{\mathrm{\&Sigma;}}_{q\&Element;N_P,\stackrel{\&OverBar;}{q_d}\&Element;N_{\stackrel{\&OverBar;}{P_d}}}w(p,q)w(\stackrel{\&OverBar;}{p_d},\stackrel{\&OverBar;}{q_d})}---\left(2\right)$

式(2)中，N_p表示左图像的局部匹配窗口，表示右图像的局部匹配窗口，w(p,q)为左图像中匹配点q的权重关系值，为右图像中的匹配点的权重关系值，对于左右图像的局部窗口，p点和点对应，q点和点相对应，为匹配点经rank变换后的比较值，表达式如式(3)所示：

$e_m(q,\stackrel{\&OverBar;}{q_d})=\left\{\begin{array}{cc}0& R_{\mathrm{pq}}=R_{\stackrel{\&OverBar;}{p_d}\stackrel{\&OverBar;}{q_d}}\\ 1& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

式(3)中，R_pq表示q点的rank变换值，表示点的rank变换值。

5.如权利要求1所述基于FPGA的自适应支撑权重的立体匹配方法，其特征在于，选用高斯函数对视频图像进行预处理，滤除噪声。