CN111968170A - 一种基于互相关时延估计的在线双目视觉测距方法 - Google Patents

Abstract

本发明公开了一种基于互相关时延估计的在线双目视觉测距方法，通过功率谱互相关估计技术把左右图像的位移估计转化为时延估计，可以提高图像匹配的鲁棒性和实时性，并利用在线迭代技术改善响应速度。该双目测距方法包括以下步骤：首先对左右图像进行可快速傅里叶变换获得频域函数；接着对图像频域函数进行滤波，提取高纹理信息；然后利用在线递推技术得到左右图像的互功率谱；最后通过快速傅里叶逆变换得到时延估计，转换为位移估计之后即可以利用公式得到测距结果。本发明通过在线递推的功率谱互相关时延估计技术提高了图像匹配的鲁棒性和速度，算法简单、计算量小，适合嵌入式***应用。

Description

一种基于互相关时延估计的在线双目视觉测距方法

技术领域

本发明涉及无人机的技术领域，具体的说是一种基于互相关时延估计的在线双目视觉测距方法。

背景技术

随着无人机技术的快速发展，无人机在民用领域的应用越来越广泛。在无人机使用过程中，由于周围环境的复杂性和不确定性，无人机失误事件时常发生。因此，无人机测距避障技术的研究和使用迫在眉睫。目前，无人机常用的避障技术有超声波测距、红外或激光测距以及视觉测距。但超声波能有效测量的距离较短，且对障碍物反射面有一定要求，不适用于障碍物的测量与避障。红外或激光测距又称为TOF，其信号易受外界干扰，并且对于避障的范围有一定的局限性，不太适用于无人机避障。计算机视觉技术导航方式不受障碍物外观轮廓、外界信号干扰的影响，测量范围广泛，随着计算机硬件技术以及智能算法的快速发展，利用计算机视觉进行避障的反应速度也越来越快。同时视觉设备重量轻、体积小适合无人机载重较轻的特点。

在视觉避障技术中，双目视觉技术应用前景最为广泛。双目视觉技术即运用人眼计算距离的原理，既能够得到障碍物的准确方位又能测得其距无人机的距离，用于无人机避障具有较高的准确性。图像匹配是双目测距中最关键的环节，图像匹配的精度、速度极大影响了测距的精度和实时性，立体匹配算法中准确性和实时性往往是不能兼顾的，大多数较为精确的立体匹配算法都采用全局算法，如图割算法、置信度传播、神经网络、小波算法等，但这些算法即使经过优化后，效率依然无法得到质的提高，且很难使用硬件进行优化，匹配速度较慢。在实际嵌入式平台上的应用中，现有的诸多图像匹配算法存在如下问题：匹配效率有待提高以满足***的实时性，匹配结果受环境、光照等变化的影响大，对非规则形状对象的匹配尚不适应，受复杂背景的干扰等。

功率谱互相关时延估计算法是信号处理中时延估计领域的经典算法，将空间域问题转化到频域内求解，具有较高的时延估计精度。功率谱互相关时延估计算法多用在无线射频信号、声学信号的分析，但是很少用在图像匹配环节，因为如果不采用硬件加速，傅里叶变换运算会消耗较大计算资源。由于嵌入式平台上DSP和FPGA很适合傅里叶变换运算，便于硬件加速运算，有利于将功率谱互相关运用到图像匹配环节，利用相机拍摄的基准图和匹配图进行相关运算，推出实时图在基准图中位置，算法具有抵抗噪声和抗畸变的强鲁棒性，且匹配精度高等优点。此外，图像功率谱属于频谱分析法中的一种，综合反映了图像的纹理特征，是描述信号功率随频率变化的函数，它的大小反映了图像各个空间频率分量的强度，因此对图像功率谱进行滤波运算，可以提取纹理信息，抑制噪声的干扰，滤波运算同样适合DSP和FPGA硬件加速，可以提高运算的实时性。为进一步适应嵌入式平台计算资源有限，实时性要求高的特点，还需要对匹配算法进行在线迭代递推的改造，利用相邻像素值的能量进行连续递推,即保证了计算速度，又大大节省了内存占用。

经检索，中国专利号CN110211169A，公开日期：2019年9月6日，专利名称：基于多尺度超像素和相位相关的窄基线视差的重构方法，利用功率谱互相关计算用于图像匹配，但是需要预先进行超像素的提取，而且算法没有改造成在线递推方式，实时性得不到保证。中国专利号CN105812769B，公开日期：公开日期2016年9月7日，专利名称：基于相位相关高精度视差***，利用功率谱互相关计算用于图像匹配，但是需要预先用SURF算法提取特征，算法没有改造成在线递推方式，实时性也难以保证。

发明内容

本发明的目的是针对无人机平台上的双目测距结果不鲁棒，容易受干扰，算法复杂，计算资源需求大，在嵌入式平台上实时性不够的缺点，通过将功率谱互相关时延估计技术运用到双目相机摄取图像的位移估计上，提高了鲁棒性和抗干扰能力，并用在线递推技术减少了计算资源需求，提高了实时性要求。

为实现上述目的，本发明所提供的技术方案为：基于互相关时延估计的在线双目视觉测距方法，其特征在于，包括以下步骤：

S1、搭建无人机双目测距平台，左右两个摄像头获取左右视图，并进行快速傅里叶变换获得图像频谱；

S2、将步骤S1得到的图像频谱进行滤波，提取高纹理特征，去除噪声；

S3、利用在线递推技术将步骤S2得到的左右图像频谱进行互相关功率谱计算；

S4、对步骤S3得到的互功率谱进行傅里叶逆向变换，得到时延估计并转化为位移估计；

S5、对步骤S4得到的左右图像的位移差，推导出双目测距结果。

进一步地，所述步骤S1具体过程如下：

利用双目相机搭建无人机测距平台，双目相机的光轴前向平行，偏离一定距离，左右两个摄像头分别获取两幅图像，图像大小为M×N像素，左图像函数为I_L(x，y)，右图像函数为I_R(x，y)，x，y为像素坐标，左右图像之间存在位移量x₀，即I_R(x，y)＝I_L(x-x₀，y)，对左右图像进行傅里叶变换得到图像频谱：

其中F_L(u，v)为左图像的频谱，F_R(u，v)为右图像的频谱，令A_u＝[1，e^-j2πu......e^-j2πNu]∈C^N和A_v＝[1，e^-j2πv......e^-j2πMv]T∈C^M，则傅里叶变换表达式可写为F_L(u，v)＝A_uI_LA_v和F_R(u，v)＝A_uI_RA_v，I_L与I_R分别为左右图像函数。

进一步地，所述步骤S2的具体过程如下：

对傅里叶变换得到的图像频谱进行滤波，抑制噪声的干扰，提取高纹理结构信息，所使用的滤波器为

滤波器参数可以通过

来得到，D(e^ju，e^jv)是所设定的理想幅频特性。于是，图像频谱的滤波结果可表示为：

引入矩阵

则(2)式可表示为

进一步地，所述步骤S3的具体过程如下：

对于公式(3)得到的滤波之后的图像频谱进行互相关计算，得到左右图像的互功率谱，

式中R(u，v)为互功率谱，

为

的共轭形式。利用在线递推技术改造互相关计算，得到：

式中K＝A_uP，R(t)为t时刻的互相关计算结果，R(t+1)为t+1时刻的互相关计算结果。

进一步地，所述步骤S4的具体过程如下：

对公式(4)得到的互相关计算结果进行傅里叶逆向变换，得到的傅里叶逆向变换的峰值就对应了左右两个图像的时延差τ：

式中Φ_u＝[1，e^j2πu......e^j2πnu]，Φ_v＝[1，e^j2πv......e^j2πmv]^T，将时延估计转化为位移估计：

其中k为实验数据回归得到的系数，x₀为左右两个图像的位移估计结果。

进一步地，所述步骤S5的具体过程如下：

利用公式(6)得到的左右两个图像的位移估计x₀，由如下公式获得双目测距的距离信息；

其中T为左右两个相机之间的水平距离，f为相机焦距，Z为最终获得的双目测距距离。

与现有技术相比，本方案原理及优点如下：

本发明的有益效果为

1、将功率谱互相关时延估计技术运用到双目相机摄取图像的位移估计上，提高了鲁棒性和抗干扰能力，改善了无人机平台上的双目测距结果不鲁棒，容易受干扰，算法复杂，计算资源需求大的缺点，同时频域计算易于使用硬件加速，可以提高响应速度。

2、针对互相关算法,数据存储量大,计算资源消耗大的不足之处,给出了改进的递推算法，减少计算量和资源消耗，提高计算速度，适应嵌入式平台的实时性要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的双目测距方法的流程图；

图2是本发明实施例中的图像频谱示意图：其中(a)为原始图像，(b)为该图像频谱示意图；

图3是本发明与置信度传播图像匹配算法的检测结果对比表；

图4是本发明双目测距中的三角测量原理示意图。

具体实施方式

下面结合具体实施例对本发明作进一步说明：

本实施例采用基于无人机平台的双目视觉***，进行如图1所示的基于互相关时延估计的在线双目视觉测距方法，具体过程如下：

S1、双目相机获取左右视图，并进行快速傅里叶变换获得图像频谱：

利用双目相机搭建无人机测距平台，双目相机的光轴前向平行，偏离一定距离，左右两个摄像头分别获取两幅图像，图像大小为M×N像素，左图像函数为I_L(x，y)，右图像函数为I_R(x，y)，x，y为像素坐标，左右图像之间存在位移量x₀，即I_R(x，y)＝I_L(x-x₀，y)，对左右图像进行傅里叶变换得到图像频谱：

其中F_L(u，v)为左图像的频谱，F_R(u，v)为右图像的频谱，令A_u＝[1，e^-j2πu......e^-j2πNu]∈C^N和A_v＝[1，e^-j2πv......e^-j2πMv]^T∈C^M，则傅里叶变换表达式可写为F_L(u，v)＝A_uI_LA_v和F_R(u，v)＝A_uI_RA_v，I_L与I_R分别为左右图像函数。

S2、将步骤S1得到的图像频谱进行滤波，提取高纹理特征，去除噪声：

对步骤S1得到的图像频谱进行滤波，抑制噪声的干扰，提取高纹理结构信息，所使用的滤波器为

滤波器参数可以通过

来得到，D(E^ju，e^jv)是所设定的理想幅频特性。于是，图像频谱的滤波结果可表示为：

引入矩阵

则(2)式可表示为

S3、利用在线递推技术将步骤S2得到的左右图像频谱进行互相关功率谱计算：

对于公式(3)得到的滤波之后的图像频谱进行互相关计算，得到左右图像的互功率谱，

式中R(u，v)为互功率谱，

为

的共轭形式。利用在线递推技术改造互相关计算，以R(t)为t时刻的互相关计算结果，R(t+1)为t+1时刻的互相关计算结果，得到：

令K＝A_uP，得到：

S4、对步骤S3得到的互功率谱进行傅里叶逆向变换，得到时延估计并转化为位移估计：

对公式(4)得到的互相关计算结果进行傅里叶逆向变换，得到的傅里叶逆向变换的峰值就对应了左右两个图像的时延差τ：

式中Φ_u＝[1，e^j2πu......e^j2πnu]，Φ_v＝[1，e^j2πv......e^j2πmv]^T，将时延估计转化为位移估计：

其中k为实验数据回归得到的系数，x₀为左右两个图像的位移估计结果。

S5、对步骤S4得到的左右图像的位移差，推导出双目测距结果：

利用公式(6)得到的左右两个图像的位移估计x₀，由如下公式获得双目测距的距离信息；

其中T为左右两个相机之间的水平距离，f为相机焦距，Z为最终获得的双目测距距离。

为证明本实施例的有效性，下面在嵌入式平台下对双目视觉测距进行仿真验证：

嵌入式运算平台选用三星cortex-a8架构S5PV210处理器，内建高性能PowerVRSGX540 3D图形引擎和2D图形引擎，能够进行较快的频域运算，本发明所述方法中带通滤波耗时55ms，功率谱计算耗时45ms。选取3m、5m、7m作为双目测距的基准距离，在近似于无人机空中飞行的简单场景下，采用20次测量结果取平均值，以经典的置信度传播算法和本发明算法进行比较，对比结果如图3所示。

由实验结果可知，本发明的双目***测距的准确性和速度均高于高于置信度传播算法，在实时性要求上，置信度传播算法在752*480分辨率下帧率4.5帧，不足以满足无人机高速飞行的测距要求，本发明在752*480分辨率下帧率9.2帧，满足了无人机在飞行时候的实时性要求；置信度传播算法在376*240的分辨率下帧率达到了8.9帧，不能满足无人机高速飞行时候的实时性要求，本发明在376*240的分辨率下帧率达到了15.2帧，可以满足无人机在高速飞行时候的实时性要求。本发明通过互相关时延估计技术解决图像匹配问题，提高了图像匹配的鲁棒性，加快了双目测距速度。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于互相关时延估计的在线双目视觉测距方法，其特征在于，包括以下步骤：

S1、搭建无人机双目测距平台，左右两个摄像头获取左右视图，并进行快速傅里叶变换获得图像频谱；

S2、将步骤S1得到的图像频谱进行滤波，提取高纹理特征，去除噪声；

S3、利用在线递推技术将步骤S2得到的左右图像频谱进行互相关功率谱计算；

S4、对步骤S3得到的互功率谱进行傅里叶逆向变换，得到时延估计并转化为位移估计；

S5、对步骤S4得到的左右图像的位移差，推导出双目测距结果。

2.根据权利要求1所述的基于互相关时延估计的在线双目视觉测距方法，其特征在于，所述步骤S1具体过程如下：

利用双目相机搭建无人机测距平台，双目相机的光轴前向平行，偏离一定距离，左右两个摄像头分别获取两幅图像，图像大小为M×N像素，左图像函数为I_L(x，y)，右图像函数为I_R(x，y)，x，y为像素坐标，左右图像之间存在位移量x₀，即I_R(x，y)＝I_L(x-x₀，y)，对左右图像进行傅里叶变换得到图像频谱：

其中F_L(u，v)为左图像的频谱，F_R(u，v)为右图像的频谱，令A_u＝[1，e^-j2πu......e^-j2πNu]∈C^N和A_v＝[1，e^-j2πv......e^-j2πMv]^T∈C^M，则傅里叶变换表达式可写为F_L(u，v)＝A_uI_LA_v和F_R(u，v)＝A_uI_RA_v，I_L与I_R分别为左右图像函数。

3.根据权利要求2所述的基于互相关时延估计的在线双目视觉测距方法，其特征在于，所述步骤S2的具体过程如下：

对步骤S1得到的图像频谱进行滤波，抑制噪声的干扰，提取高纹理结构信息，所使用的滤波器为

滤波器参数可以通过

来得到，D(e^ju，e^jv)是所设定的理想幅频特性。于是，图像频谱的滤波结果可表示为：

引入矩阵

则(2)式可表示为

4.根据权利要求3所述的一种基于互相关时延估计的在线双目视觉测距方法，其特征在于，所述步骤S3的具体过程如下：

对于公式(3)得到的滤波之后的图像频谱进行互相关计算，得到左右图像的互功率谱，

式中R(u，v)为互功率谱，

为

的共轭形式。利用在线递推技术改造互相关计算，得到：

式中K＝A_uP，R(t)为t时刻的互相关计算结果，R(t+1)为t+1时刻的互相关计算结果。

5.根据权利要求4所述的一种基于互相关时延估计的在线双目视觉测距方法，其特征在于，所述步骤S4的具体过程如下：

对公式(4)得到的互相关计算结果进行傅里叶逆向变换，得到的傅里叶逆向变换的峰值就对应了左右两个图像的时延差τ

τ＝min{Φ_uR(u，v)Φ_v} (5)

式中Φ_u＝[1，e^j2πu......e^j2πnu]，Φ_v＝[1，e^j2πv......e^j2πnv]^T，将时延估计转化为位移估计：

x₀＝kτ (6)

其中k为实验数据回归得到的系数，x₀为左右两个图像的位移估计结果。

6.根据权利要求5所述的一种基于互相关时延估计的在线双目视觉测距方法，其特征在于，所述步骤S5的具体过程如下：

利用公式(6)得到的左右两个图像的位移估计x₀，由如下公式获得双目测距的距离信息；

其中T为左右两个相机之间的水平距离，f为相机焦距，Z为最终获得的双目测距距离。

Images