CN102155955A - 立体视觉里程计及测量方法 - Google Patents

Abstract

立体视觉里程计及测量方法，本发明属于车辆自主导航领域，具体地说涉及一种立体视觉里程计。立体视觉里程计测量方法包括如下步骤：图像采集、预处理、特征提取与匹配、运动估计、结果输出等。包括一个融高速图像采集、传输、分析处理于一体的硬件平台和适合于该平台的高速图像模式识别算法，该算法为开发车辆自主导航***提供了必要的软件，硬件平台提供高速稳定的运算功能，软件算法高度并行，以充分利用DSP的多个并行指令流水线，核心算法采用FPGA硬件实现，同DSP的算法之间有机配合，为传统里程计提供一种有效的补充方法。

Description

立体视觉里程计及测量方法

【技术领域】

本发明属于车辆自主导航领域，具体地说涉及一种立体视觉里程计。

【背景技术】

在自主车辆的导航定位过程中，里程计所起的作用至关重要，它可以得出车辆行驶的距离和方向信息。基于车轮编码器的传统里程计通常要计算车轮转数或旋转角速度来确定车辆行进速度，这种方法的最大问题就是无法克服车轮打滑时引起的计数或测量错误。由于运动场地与车轮的摩擦系数、地面平整程度、倾斜角度等通常都无法得到，因此滑动的发生及程度往往是无法预知的，尤其在军事、深空探测等领域，由于土质疏松程度及车轮滑动以及地形环境的不可预知，使得编码器的读数存在较大误差，无法正确反映车体运动的情况；同时GPS信号也会因为干扰等原因而变得不可靠，工作在月表的月球车则完全没有GPS信息的辅助，需要采取其它的辅助导航定位技术，以确保获得足够精确的车***置和姿态估计。此外，车辆常用的惯性导航装置存在随时间“漂移″的问题，如果缺少GPS等全局定位信息的校正，就会导致航位推算存在精度较差和误差随漫游距离加大迅速积累增加的缺陷，需要采取其它的辅助导航定位技术，以确保获得足够精确的车***置和姿态估计。因此，构建一种具有良好鲁棒性和精度的自主导航***，对实现自主车辆在非结构化环境下或准结构化环境下长距离导航的精确定位和运动估计具有十分重要的意义。

【发明内容】

本发明基于立体视觉的视觉里程计，是一种通过在自主车辆上搭载双目视觉装置，根据视觉输入，对车辆的位置和运动状态进行估计的运动估计***。目的是为传统里程计提供一种有效的补充方法，尤其是在某些非结构化环境下如沙质斜坡等高滑动性区域，立体视觉里程计与车轮编码器以及惯导设备互相配合，可获得更精确的车体定位。立体视觉里程计***基于嵌入式***基础构建，集图像处理、模式识别、嵌入式***等技术于一体。

本发明通过双目立体摄像机获取立体图像序列，经特征提取、特征点立体匹配、特征点跟踪匹配、坐标变换和运动估计等步骤求得自主车辆的运动数据，其***框架如图1所示。

本发明的立体视觉里程计，由下列模块依次连接：

1).图像采集模块，采用双目CCD相机拍摄被测对象，然后将采集到的数据输出；

2).信号传输模块，对CCD相机采集到的数据进行初步硬件滤波，采用A/D转换器、信号放大器对图像采集模块输出的信号进行转换放大，使模拟的信号变换为数字信号，供处理器进行数据处理；

3).图像分析模块，采用由DSP+FPGA构成的嵌入式***作为中央处理器，进行图像分析处理，得到图像特征信息，进而经过特征匹配，运动估计来获得车体运动参数；

4).输出控制模块，把处理结果通过输出控制模块输出，输出控制模块包括LCD、驱动脉冲。

利用立体视觉里程计进行测量的方法，包括如下步骤：

a、图像采集：通过双目CCD相机实时采集自主车辆所处环境的图像数据；数据流经过EDMA通道存入SDRAM中，完成图像采集；采集到的图像序列要经过预处理(去噪、滤波、背景补偿等)才可以进行后续的分析处理，采集效果较好的图像可以经过很少的预处理即可使用，这就节省了处理时间。

b、预处理：主要目的是去除背景和环境干扰噪声，采用FPGA实现；

c、特征提取与匹配：采集到的图像序列经过去噪、图像归一化、动态二值化、滤波、细化后得到其图像特征，采用SIFT算法对处理后的图像进行特征提取和匹配；

d、运动估计：对特征匹配后得到的点特征对序列进行三维重建，计算特征点三维重建的不确定性；根据特征点空间位置和不确定性协方差矩阵，利用最小二乘法和极大似然法对自主车辆进行运动估计；

其中，特征匹配与运动估计是本发明的核心算法，采用DSP+FPGA软硬件实现该核心算法，解决了处理速度的瓶颈。

e、结果输出：运动估计分析后，将车体的运动参数如运动距离、方向等信息通过输出控制模块输出。

本发明具体的技术路线和方案为：

1)使用双目CCD相机采集自主车辆所处环境，采集的图像数据在FPGA的控制下经过A/D、FPGA、EDMA存放到内存中，在这个过程中使用FPGA对图像信号进行去噪、纠正镜头畸变等预处理。

2)采集到的图像序列经过去噪、图像归一化、动态二值化、滤波、细化后得到其图像特征。

3)选择SIFT算法作为特征点的提取方法。

设输入图像为I(x，y)，G(x，y，σ)为可变尺度高斯函数，则图像的尺度空间L可通过卷积得到：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

通过改变尺度因子σ可遍历整个尺度空间。SIFT算子在尺度空间进行极值检测，

得到较稳定的候选特征点；然后将尺度空间方程进行Taylor展开，对特征点进行精确定位。采用关键点邻域梯度的主方向表征该点特征方向，从而实现特征检测对尺度和方向的无关性，这样一个关键点就会产生128维的描述符向量。

4)采用SIFT算法进行立体匹配。上述步骤3)得到的128维的描述符向量的欧氏距离可以作为两幅图像中特征点的相似性判定度量。取其中的一幅图像中的某个特征点，并找出其与另一幅图中欧氏距离最近的两个特征点，在这两个特征点中，如果最近的距离与次近的距离的比值少于某个比例阈值，则接受这一对匹配点，否则拒绝。

5)运动估计。基于三角测量关系，通过对前后两组立体图像对进行坐标变换等处理得出车体在其间的运动距离、方向等参数，并且在较长距离上应有相当的鲁棒性；采用最小二乘法和极大似然估计算法，使误差最小化。

6)考虑到需要考察的参数多，运算量大，采用并行算法和FPGA硬件共同实现，嵌入式主处理芯片选用美国TI公司的高速DSP处理器TMS320DM642，采用DSP+FPGA软硬件实现该算法，解决了处理速度的瓶颈。

7)整个设备基于嵌入式***设计，不需要计算机连接，可以方便的搭载于车体。

8)设备本身支持标准的TCP/IP网络协议，可以和外部网络体系结构无缝的集成在一起，实现信息的共享和互连互通。

9)图像采集模块和运算部分设计时充分考虑模块化设计，可以根据实际需要组合，满足不同的需求。

本发明的优点为：

1)仅依靠视觉输入信息，因此不存在因编码器读数不准、传感器精度降低或惯导漂移等因素造成的误差，无需场景及运动的先验信息。

2)与车轮编码器以及惯导设备互相配合，可获得更精确的车体定位，是传统方法的有效补充。

3)采用被动视觉传感器，结构简单，功耗小。

4)与以高速DSP为核心的嵌入式***技术结合起来，实现DSP处理算法并行多级流水线执行并最大化的发挥DSP的并行流水线处理能力；

【附图说明】

图1是本发明的***框架；

图2是本发明的模块结构。

【具体实施方式】

下面结合附图和实施例对本发明进一步说明。

实施例1

1)图像采集：通过双目CCD相机实时采集自主车辆所处环境的图像数据。数据流经过EDMA通道存入SDRAM中，完成图像采集。采集到的图像序列要经过预处理(去噪、滤波、背景补偿等)才可以进行后续的分析处理，采集效果较好的图像可以经过很少的预处理即可使用，这就节省了处理时间。

2)预处理：主要目的是去除背景和环境干扰噪声，在充分分析噪声源及其特点的情况下可以采用软件和硬件实现，本发明采用FPGA硬件实现。

3)特征提取与匹配：采集到的图像序列经过去噪、图像归一化、动态二值化、滤波、细化后得到其图像特征，采用SIFT算法对处理后的图像进行特征提取和匹配。

4)运动估计：对特征匹配后得到的点特征对序列进行三维重建，计算特征点三维重建的不确定性。根据特征点空间位置和不确定性协方差矩阵，利用最小二乘法和极大似然法对自主车辆进行运动估计。

其中，特征匹配与运动估计是本发明的核心算法，采用DSP+FPGA软硬件实现该核心算法，解决了处理速度的瓶颈。

5)结果输出：运动估计分析后，将车体的运动参数如运动距离、方向等信息通过输出模块输出。

具体步骤如下：

(1)由CCD图像传感器采集实时图像信号。

(2)在FPGA时序控制下，经过高速A/D进行数字采样量化。

(3)采集到的图像序列经过去噪、图像归一化、动态二值化、滤波、细化后得到其图像特征，采用SIFT算法对处理后的图像进行特征提取和匹配；对特征匹配后得到的点特征对序列进行三维重建，通过EDMA通道存储到RAM中，之后DSP结合FPGA对图像进行运算处理。

(4)把处理结果通过输出模块输出。结果输出模块包括LCD、驱动脉冲。LCD采用北京青云公司的LCM12864ZK模块，驱动脉冲采用FPGA加上光耦隔离的方式。

Claims (2)

1.一种立体视觉里程计，其特征在于，由下列模块依次连接：

1).图像采集模块，采用双目CCD相机拍摄被测对象，然后将采集到的数据输出；

2).信号传输模块，对CCD相机采集到的数据进行初步硬件滤波，采用A/D转换器、信号放大器对图像采集模块输出的信号进行转换放大，使模拟的信号变换为数字信号，供处理器进行数据处理；

3).图像分析模块，采用由DSP+FPGA构成的嵌入式***作为中央处理器，进行图像分析处理，得到图像特征信息，进而经过特征匹配，运动估计来获得车体运动参数；

4).输出控制模块，把处理结果通过输出控制模块输出，输出控制模块包括LCD、驱动脉冲。

2.一种利用权利要求1所述的立体视觉里程计进行测量的方法，其特征在于，包括如下步骤：

a、图像采集：通过双目CCD相机实时采集自主车辆所处环境的图像数据；数据流经过EDMA通道存入SDRAM中，完成图像采集；

b、预处理：主要目的是去除背景和环境干扰噪声，采用FPGA实现；

c、特征提取与匹配：采集到的图像序列经过去噪、图像归一化、动态二值化、滤波、细化后得到其图像特征，采用SIFT算法对处理后的图像进行特征提取和匹配；

d、运动估计：对特征匹配后得到的点特征对序列进行三维重建，计算特征点三维重建的不确定性；根据特征点空间位置和不确定性协方差矩阵，利用最小二乘法和极大似然法对自主车辆进行运动估计；

e、结果输出：运动估计分析后，将车体的运动参数如运动距离、方向等信息通过输出控制模块输出。

Images