CN108195378A - 一种基于环视相机的智能视觉导航*** - Google Patents

Abstract

本发明公开了一种基于环视相机的智能视觉导航***，包括：环视相机模块(1)、超声波模块(2)、图像匹配拼接模块(3)、障碍物与目标识别模块(4)、三维地图建模模块(5)、视觉信息与超声波信息融合避障模块(6)、全景相机(7)与移动计算平台(8)。全景相机(7)集成环视相机模块(1)、超声波模块(2)、图像匹配拼接模块(3)实现图像拼接与目标测距；移动计算平台(8)集成障碍物与目标识别模块(4)、三维地图建模模块(5)和视觉信息与超声波信息融合避障模块(6)实现目标识别、地图构建与路径规划。本发明利用环视相机实现静止状态360度成像与高精度目标识别，并融合超声波测距信息，有利于实现路径选择和避障。

Description

一种基于环视相机的智能视觉导航***

技术领域

本发明涉及一种智能视觉导航***，特别是一种基于环视相机的智能视觉导航***。

背景技术

多年来，国际和国内都有大量的科技工作者致力于视觉导航方面的研究开发工作，因而对许多问题的认识和求解都取得了长足的发展。在视觉导航方式中，目前国内外应用最多的还是采用在移动平台上安装摄像头的基于局部的导航方式，例如，利用车载摄像机和较少传感器通过识别路标进行导航、利用车载摄像机和超声波传感器研究视觉导航***的避障问题、利用车载摄像机进行三维建模导航等。主要有两种***，一种是利用普通摄像头和超声波测距结合的导航***；另外一种是利用全景相机的视觉导航***。前者利用普通摄像头采集移动平台行驶前方的图像，然后对图像进行道路检测，障碍物跟踪，并结合分布在移动平台四周的超声波测距信息完成避障。由于普通摄像头只有几十度的视野范围，为了获取更大视野范围，只能采用旋转云台进行环扫，即便这样，仍然会有较大的视觉死区，且摄像头旋转速度慢，目标定位困难。此外，超声波测距分布在移动平台四周，需要配置额外的总线管理和控制***，增加了***的复杂度。另外一种全景相机方案利用特殊制造的光学镜头，在静止状态获取360度环视图像，但是光学结构设计工艺复杂、精度要求高、成本较高，且成像分辨率低、畸变严重、帧率低，在移动平台快速运动过程中难以满足实时检测道路与导航的需求。虽然全景相机能够集成一些几何校正算法来解决畸变问题，但是与普通摄像头相比，畸变依然很大，不利于道路检测与障碍物识别。

发明内容

本发明目的在于提供一种基于环视相机的智能视觉导航***，解决基于摄像头导航***中360度视场与畸变率矛盾以及由于畸变导致的道路检测与障碍识别困难问题。

一种基于环视相机的智能视觉导航***，包括：环视相机模块、超声波模块、图像匹配拼接模块、障碍物与目标识别模块、三维地图建模模块、视觉信息与超声波信息融合避障模块、全景相机和移动计算平台。其中，环视相机模块、超声波模块、图像匹配拼接模块运行在全景相机上，障碍物与目标识别模块、三维地图建模模块和视觉信息与超声波信息融合避障模块运行在移动计算平台上。全景相机与移动计算平台之间通过网线连接完成信息传递。

环视相机模块的功能为：实时采集移动平台周围360度范围内的图像数据。

超声波模块的功能为：实时采集移动平台到周围障碍物的距离。

图像匹配拼接模块的功能为：利用图像拼接算法实现图像的拼接，并将拼接后的图像按照前180度和后180度展开成两幅条带的画面，分别称为前视图像和后视图像。图像拼接算法包括：基于SIFT的图像拼接算法、基于Harris的图像拼接算法和基于FAST角点的图像拼接算法。

障碍物与目标识别模块的功能为：利用目标识别算法实现特定目标的识别，为运动平台提供运动方向，使运动平台朝特定目标行进，障碍物的识别主要依靠图像分割与超声波测距信息。目标识别算法包括：基于CNN的目标识别算法、基于SVM的目标识别算法和基于RNN的目标识别算法。

三维地图建模模块的功能为：以运动平台的初始位置为起点，通过采集运动平台的运行方向与速度，根据障碍物与目标识别结果结合超声波测距信息建立其周围环境的三维地图。

视觉信息与超声波信息融合避障模块的功能为：将超声波测距信息叠加到相应方向的图像数据中，实现图像数据与测距信息的融合，并根据融合结果与三维地图的建立结果，给出运动平台的最优路径。

全景相机的功能为：为环视相机模块、超声波模块与图像匹配拼接模块提供集成平台，保障实现三个模块的功能。

移动计算平台功能为：提供障碍物与目标识别模块、三维地图建模模块和视觉信息与超声波信息融合避障模块的集成平台与运算支持。

环视相机模块控制8个摄像头同步采集数据，并将这些图像数据传送到图像匹配拼接模块，按照前后180度视场角拼接为前视图像和后视图像。同时，超声波模块获取8个超声波传感器同步测距数据。图像数据与超声波数据通过网线传送给便障碍物与目标识别模块。障碍物与目标识别模块首先对前视图像和后视图像分别进行处理，完成图像中障碍物与目标的识别，根据障碍物或目标在图像中的位置，获取相应位置的超声波传感器数据，即距离信息；然后，三维地图建模模块利用障碍物或目标距离信息、环视图像数据与运动平台自身位置信息形成三维地图，并将地图传递给视觉信息与超声波信息融合避障模块；视觉信息与超声波信息融合避障模块结合运动平台的运动速度在三维地图中建立拒止区域，并在拒止区域内依据最优化路径选择原理，实现运动平台的避障与路径选择。

至此，完成基于环视相机的智能视觉导航***。

本发明利用环视相机能够在静止状态下实现360度环视成像和自动拼接，图像畸变小，分辨率高，更容易实现高精度目标定位和高精度目标识别；超声波测距装置采用与摄像头方向重合的安装方式，容易实现图像数据与测距信息的融合，有利于实现路径选择和避障。

附图说明

图1一种基于环视相机的智能视觉导航***组成示意图。

1.环视相机模块 2.超声波模块 3.图像匹配拼接模块 4.障碍物与目标识别模块5.三维地图建模模块 6.视觉信息与超声波信息融合避障模块 7.全景相机8.移动计算平台

具体实施方式

一种基于环视相机的智能视觉导航***，包括：环视相机模块1、超声波模块2、图像匹配拼接模块3、障碍物与目标识别模块4、三维地图建模模块5、视觉信息与超声波信息融合避障模块6、全景相机7和移动计算平台8。其中，环视相机模块1、超声波模块2、图像匹配拼接模块3运行在全景相机7上，障碍物与目标识别模块4、三维地图建模模块5和视觉信息与超声波信息融合避障模块6运行在移动计算平台8上。全景相机与移动计算平台之间通过网线连接完成信息传递。

环视相机模块1的功能为：实时采集移动平台周围360度范围内的图像数据。

超声波模块2的功能为：实时采集移动平台到周围障碍物的距离。

图像匹配拼接模块3的功能为：利用图像拼接算法实现图像的拼接，并将拼接后的图像按照前180度和后180度展开成两幅条带的画面，分别称为前视图像和后视图像。图像拼接算法包括：基于SIFT的图像拼接算法、基于Harris的图像拼接算法和基于FAST角点的图像拼接算法。

障碍物与目标识别模块4的功能为：利用目标识别算法实现特定目标的识别，为运动平台提供运动方向，使运动平台朝特定目标行进，障碍物的识别主要依靠图像分割与超声波测距信息。目标识别算法包括：基于CNN的目标识别算法、基于SVM的目标识别算法和基于RNN的目标识别算法。

三维地图建模模块5的功能为：以运动平台的初始位置为起点，通过采集运动平台的运行方向与速度，根据障碍物与目标识别结果结合超声波测距信息建立其周围环境的三维地图。

视觉信息与超声波信息融合避障模块6的功能为：将超声波测距信息叠加到相应方向的图像数据中，实现图像数据与测距信息的融合，并根据融合结果与三维地图的建立结果，给出运动平台的最优路径。

全景相机7的功能为：为环视相机模块1、超声波模块2与图像匹配拼接模块3提供集成平台，保障实现三个模块的功能。

移动计算平台8功能为：提供障碍物与目标识别模块4、三维地图建模模块5和视觉信息与超声波信息融合避障模块6的集成平台与运算支持。

环视相机模块1控制8个摄像头同步采集数据，并将这些图像数据传送到图像匹配拼接模块3，按照前后180度视场角拼接为前视图像和后视图像。同时，超声波模块2获取8个超声波传感器同步测距数据。图像数据与超声波数据通过网线传送给障碍物与目标识别模块4。障碍物与目标识别模块4首先对前视图像和后视图像分别进行处理，完成图像中障碍物与目标的识别，根据障碍物或目标在图像中的位置，获取相应位置的超声波传感器数据，即距离信息；然后，三维地图建模模块5利用障碍物或目标距离信息、环视图像数据与运动平台自身位置信息形成三维地图，并将地图传递给视觉信息与超声波信息融合避障模块6；视觉信息与超声波信息融合避障模块6结合运动平台的运动速度在三维地图中建立拒止区域，并在拒止区域内依据最优化路径选择原理，实现运动平台的避障与路径选择。

至此，完成基于环视相机的智能视觉导航***。

Claims (9)

1.一种基于环视相机的智能视觉导航***，其特征在于包括：环视相机模块(1)、超声波模块(2)、图像匹配拼接模块(3)、障碍物与目标识别模块(4)、三维地图建模模块(5)、视觉信息与超声波信息融合避障模块(6)、全景相机(7)和移动计算平台(8)；其中，环视相机模块(1)、超声波模块(2)、图像匹配拼接模块(3)运行在全景相机(7)上，障碍物与目标识别模块(4)、三维地图建模模块(5)和视觉信息与超声波信息融合避障模块(6)运行在移动计算平台(8)上；全景相机与移动计算平台之间通过网线连接完成信息传递；

环视相机模块(1)控制8个摄像头同步采集数据，并将这些图像数据传送到图像匹配拼接模块(3)，按照前后180度视场角拼接为前视图像和后视图像；同时，超声波模块(2)获取8个超声波传感器同步测距数据；图像数据与超声波数据通过网线传送给障碍物与目标识别模块(4)；障碍物与目标识别模块(4)首先对前视图像和后视图像分别进行处理，完成图像中障碍物与目标的识别，根据障碍物或目标在图像中的位置，获取相应位置的超声波传感器数据，即距离信息；然后，三维地图建模模块(5)利用障碍物或目标距离信息、环视图像数据与运动平台自身位置信息形成三维地图，并将地图传递给视觉信息与超声波信息融合避障模块(6)；视觉信息与超声波信息融合避障模块(6)结合运动平台的运动速度在三维地图中建立拒止区域，并在拒止区域内依据最优化路径选择原理，实现运动平台的避障与路径选择；

至此，完成基于环视相机的智能视觉导航***。

2.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述环视相机模块(1)的功能为：实时采集移动平台周围360度范围内的图像数据。

3.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述超声波模块(2)的功能为：实时采集移动平台到周围障碍物的距离。

4.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述图像匹配拼接模块(3)的功能为：利用图像拼接算法实现图像的拼接，并将拼接后的图像按照前180度和后180度展开成两幅条带的画面，分别称为前视图像和后视图像。图像拼接算法包括：基于SIFT的图像拼接算法、基于Harris的图像拼接算法和基于FAST角点的图像拼接算法。

5.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述障碍物与目标识别模块(4)的功能为：利用目标识别算法实现特定目标的识别，为运动平台提供运动方向，使运动平台朝特定目标行进，障碍物的识别主要依靠图像分割与超声波测距信息。目标识别算法包括：基于CNN的目标识别算法、基于SVM的目标识别算法和基于RNN的目标识别算法。

6.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述三维地图建模模块(5)的功能为：以运动平台的初始位置为起点，通过采集运动平台的运行方向与速度，根据障碍物与目标识别结果结合超声波测距信息建立其周围环境的三维地图。

7.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述视觉信息与超声波信息融合避障模块(6)的功能为：将超声波测距信息叠加到相应方向的图像数据中，实现图像数据与测距信息的融合，并根据融合结果与三维地图的建立结果，给出运动平台的最优路径。

8.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述全景相机(7)的功能为：为环视相机模块(1)、超声波模块(2)与图像匹配拼接模块(3)提供集成平台，保障实现三个模块的功能。

9.根据权利要求1所述的一种基于环视相机的智能视觉导航***，其特征在于所述移动计算平台(8)功能为：提供障碍物与目标识别模块(4)、三维地图建模模块(5)和视觉信息与超声波信息融合避障模块(6)的集成平台与运算支持。