CN111028350B - 一种利用双目立体相机构建栅格地图的方法 - Google Patents

Abstract

本发明公开了一种利用双目立体相机构建栅格地图的方法，属于图像处理和计算机视觉领域。利用双目相机和GPU构建高性能运算平台，并构建高性能求解算法以获高质量的包含三维信息栅格地图。本发明中的***容易构建，使用双目立体相机即可完成输入数据的采集；程序简单，易于实现；本发明利用空间先验信息，统计学知识推算栅格高度，使得三维结果更具有鲁棒性；本发明利用空间几何求解栅格的自适应阈值，完成栅格的过滤筛选，提升了算法的泛化能力和鲁棒性。

Description

一种利用双目立体相机构建栅格地图的方法

技术领域

本发明属于图像处理和计算机视觉领域，具体涉及一种利用双目立体相机构建栅格地图的方法。本发明采用双目立体相机获取视差图像，并且利用三维空间的先验信息构建栅格地图，并利用统计学推导空间的占据以及物体的高度信息。

背景技术

近年伴随着人工智能的发展，移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是导航地图的构建。导航地图中栅格地图是最为常见的一种，但是现阶段大量的栅格地图构建算法都是利用激光传感器。但是激光传感器存在着不可避免的问题，价格昂贵、现阶段难以普及，图像分辨率低难以呈现场景细节。本发明提出使用双目立体相机构建栅格地图，双目立体相机的成本低，普世易用，而且图像分辨率高。但是在现阶段的应用中少有利用双目立体相机构建栅格地图的方法，而且大多数的栅格地图构建方法所构建的是二维地图，缺少高度的信息，无法满足无人机等具有三维机动性的设备的需求。与概率栅格地图有所不同，本发明更关注每个栅格中存在物体的三维信息，因此在栅格地图存储的是物体的三维信息，而将栅格地图中栅格存在物体的概率理解为栅格被投影的次数，这样就可以通过算法进行筛选，保留高投影次数，高概率的栅格，剔除低投影次数，低概率的栅格。本发明旨在使用双目相机构建包含三维空间信息的局部避障栅格地图。

发明内容

为实现上述目的，本发明提供了一种利用双目立体相机构建栅格地图的方法。栅格地图是对空间的一种表示，在空间中某一平面上表示当前场景信息。为了说明具体算法在本发明中有如下实例，在空间中以双目立体相机中左相机与地面的垂线的交点为原点O建立空间直角坐标系，水平向右为X轴正方向，垂直向上为Y轴正方向，水平向前为Z轴正方向，此坐标系为世界坐标系。栅格地图建立在XOZ平面上，栅格地图中的每一个栅格表示平面上的一个小平面区域。栅格地图中每一个栅格有且只有一个状态，可设置的状态有三个：未知、占据、空。

本发明的具体技术方案：

一种利用双目立体相机构建栅格地图的方法，包括以下步骤：

1)创建栅格地图：

1.1)确定栅格地图的空间信息：从配置文件中获取目标计算的最高高度、最低高度、最远距离和视场角；并确定栅格地图的空间信息，即栅格地图覆盖最高位置、最低位置、最远位置、最近位置、最右侧位置和最左侧位置；

1.2)划分栅格：将栅格地图划分为规则图形；计算出每个栅格中心的坐标；默认所有栅格的状态为空；

1.3)根据双目相机的实际摆放位置确定世界坐标系；

2)获取原始数据：利用双目立体相机获取场景图像和视差图；

3)生成三维坐标点：利用场景图像中匹配点的三角关系和视差图，生成三维坐标点，并转换到世界坐标系，只保留位于1.1)中确定的栅格空间之内的三维坐标点；

4)平面投影：

4.1)将过滤后三维坐标点投影到栅格地图所在平面，如果投影后的三维坐标点映射在栅格中心的距离R内，则保留并统计投影次数，否则剔除不统计投影次数；

4.2)统计每个栅格中点的个数N_i；

5)高度统计及高度过滤：

5.1)令统计区间i的长度为length，每一个统计区间表示的高度为h_i(h_i＝i×length)，计算投影至栅格中所有三维点的Y轴坐标y所在的区间

并计算频数C_i。选取最大统计区间i_max，条件有二，一是统计区间的频数C_i大于上一个统计区间频数C_i-1的一定数量，二是频数C_i大于N，公式为：

i_max＝argmax_i{C_i＞N,C_i＞αC_i-1} (1)

式中，C_i为第i个统计区间的频数，C_i-1为第i-1个统计区间的频数，α为第一尺度因子，N是最低频数；

5.2)根据应用场景先验，令T_h为最低的障碍高度，如果栅格的高度h_i<T_h，则令栅格的状态为空，否则继续；

6)栅格阈值筛选：

6.1)利用视差图和1)中建立的栅格地图，计算出每个栅格的阈值T_i，公式如下：

T_i＝β_r×a_r×b_i (4)

式(2)为深度测量准确时，应用a_r个像素表示位于第r行的栅格边长，其中img_width表示视差图宽度，grid_size表示栅格边长，depth_r表示第r行的栅格深度，fov表示视场角大小；式(3)为深度测量准确时，应用b_i个像素表示第r行的栅格高度h_i，其中h_i为栅格i中的高度，由步骤5)计算；T_i为栅格阈值，a_r×b_i表示深度测量准确时，第r行中宽为grid_size、高为h_i的矩形面应有的像素个数，考虑到不规则形状以及鲁棒性增加了第二尺度因子β_r；

6.2)比较每个栅格中投影点的个数N_i与栅格阈值T_i；如果N_i＞γT_i，则令栅格的状态为占据，否则为空；γ为第三尺度因子；

6.3)如果栅格的状态为占据，则将栅格中心的X_i、Z_i坐标和栅格高度h_i组合为当前栅格的最高点；

7)扫描地图：

7.1)栅格地图中视场角fov外区域的栅格的状态设置为未知；

7.2)将双目相机光心坐标转换到世界坐标系，设为O′；连接O′与状态为占据的栅格虚拟最高点(X_i，Z_i，h_i)形成直线l，并将直线l投影到栅格地图所在的XOZ平面，投影线为l′；

7.3)检索投影线l′远离双目相机的方向，如果投影线l′穿过空状态栅格，则将空状态的栅格置为未知；如果投影线l′穿过占据状态栅格，将栅格中心(X_i，0，Z_i)垂直投影到投影线l′得到投影点(X_i′，0，Z_i′)，如果

则将其状态置为未知；如果投影线l′穿过占据状态栅格，且h_i＞l(X_i′，Z_i′)_y，则重新计算直线l和投影线l′并继续上述过程；如果投影线l′穿过占据状态栅格，且

则继续检索；如果投影线l′到达栅格空间之外，则检索结束；其中l(X_i′，Z_i′)_y表示当X＝X_i′、Z＝Z_i′时取直线l上的Y轴坐标；

8)可视化：设置栅格对应像素分辨率，将7)中栅格地图可视化输出。

本发明的有益效果：

本发明设计了一种利用双目立体相机构建栅格地图的方法，利用统计学求解出栅格的高度，利用空间几何求解栅格的自适应阈值，构建了可靠的栅格地图，具有以下特点：

(1)***容易构建，使用立体双目相机即可完成输入数据的采集；

(2)程序简单，易于实现；

(3)利用空间先验信息过滤视差和高效算法进行栅格过滤，提升栅格计算的运行速度和精度；

(4)利用统计推算出栅格高度，具有鲁棒性；

(5)利用空间几何求解栅格的自适应阈值，提升算法的泛化能力和鲁棒性。

附图说明

图1是实际采集平台。

图2为左相机采集的左图像。

图3为右相机采集的右图像。

图4为视差图。

图5为算法整体流程图。

图6为过滤和筛选流程图。

图7为栅格阈值计算方法示意图。

图8为没有过滤处理的可视化结果。

图9为图8添加高度过滤后的可视化结果。

图10为图9添加阈值过滤后的可视化结果。

图11为细节放大图。

具体实施方式

本发明提出了一种利用双目立体相机构建栅格地图的方法，结合技术方案和附图详细叙述本发明的具体实施方式。

将双目立体相机摆放在固定的平台上，实验相机的图像分辨率为1280×720，视场角为45.4°，实验平台如图1所示，为保证实时性利用GPU计算栅格地图。在此基础上设计构建栅格地图的方法，所述的方法包括下列步骤：

1)创建栅格地图：

1.1)从配置文件中获取需要计算的最高高度max_height、最低高度min_height、最远距离max_depth和视场角fov，即可确定最右侧位置为max_rigtht＝tan(fov/2)×max_depth，最左侧位置为max_left＝-tan(fov/2)×max_depth，从而确定了栅格地图的空间信息。

1.2)将栅格地图划分为规则图形，以正方形为例(下同)，边长为grid_size，所以栅格共有行数为rows＝max_depth/grid_size，列数为cols＝(max_rigtht-max_left)/grid_size。

计算出栅格中心的X坐标为(c-cols/2+0.5)×*grid_size，c为栅格所在列号；Z坐标为(rows-r-0.5)×*grid_size，r为栅格所在行号；Y坐标设为0。

1.3)根据双目相机的实际摆放位置确定世界坐标系；

在空间中以双目立体相机中左相机与地面的垂线的交点为原点O建立空间直角坐标系，水平向右为X轴正方向，垂直向上为Y轴正方向，水平向前为Z轴正方向，此坐标系为世界坐标系。

2)获取原始数据：利用双目立体相机获取场景图像和视差图，场景图像如如图2、图3所示，视差图如图4所示；

如图5所示，下面是算法的主要流程，具体描述如下：

3)生成三维坐标点：利用双目图像中匹配点的三角关系和视差图，生成三维坐标点，并转换到世界坐标系，只保留位于1.1)中确定的栅格空间之内的三维坐标点；

4)平面投影：

4.1)将过滤后三维坐标点(X，Y，Z)投影到栅格地图所在平面，投影点为(X，0，Z)，投影到的栅格行号为r＝rows-Z/grid_size-1，如果X<0则列号c＝X/grid_size-max_left-1，否则为c＝X/grid_size-max_left。可由步骤1)查找出栅格中心坐标。计算投影点与栅格中心的距离d，如果d则保留投影点，否则剔除，R取栅格内接圆团半径的四分之三；

4.2)统计每个栅格中点的个数N_i；

5)高度统计及高度过滤，：

5.1)令统计区间i的长度为length，每一个统计区间表示的高度为h_i(h_i＝i×length)，计算投影至栅格中所有三维点的Y轴坐标y所在的区间

并计算频数C_i。选取最大统计区间i_max，条件有二，一是统计区间的频数C_i大于上一个统计区间频数C_i-1的一定数量，二是频数C_i大于N，公式为：

i_max＝argmax_i{C_i＞N,C_i＞αC_i-1} (1)

式中，C_i为第i个统计区间的频数，C_i-1为第i-1个统计区间的频数，α为第一尺度因子，N是最低频数；

5.3)根据应用场景先验，令T_h为最低的障碍高度，如果栅格的高度h_i<T_h，则令栅格的状态为空，否则继续；

6)栅格阈值筛选，如图7所示：

6.1)计算出每个栅格的阈值T_i，公式如下：

T_i＝β_r×a_r×b_i (4)

式(2)为深度测量准确时，应用a_r个像素表示位于第r行的栅格边长，其中img_width表示视差图宽度，grid_size表示栅格边长，depth_r表示第r行的栅格深度，fov表示视场角大小；式(3)为深度测量准确时，应用b_i个像素表示第r行的栅格高度h_i，其中h_i为栅格i中的高度，由步骤5)计算；T_i为栅格阈值，a_r×b_i表示深度测量准确时，第r行中宽为grid_size、高为h_i的矩形面应有的像素个数，考虑到不规则形状以及鲁棒性增加了第二尺度因子β_r；

6.2)比较每个栅格中投影点的个数N_i与T_i，如果N_i＞γT_i，则令栅格的状态为占据，否则为空，γ为第三尺度因子；

6.3)如果栅格的状态为占据，则将栅格中心的X_i、Z_i坐标和栅格高度

组合为当前栅格的最高点(X_i，Z_i，h_i)；

7)扫描地图：

7.1)栅格地图中视场角fov外区域的栅格的状态设置为未知，该区域栅格行号r和列号c有如下关系：

c＜r×tan(fov/2)||r×tan(fov/2)≥grid_width–c

7.2)将双目相机光心坐标转换到世界坐标系，设为O′；连接O′与状态为占据的栅格虚拟最高点(X_i，Z_i，h_i)形成直线l，并将直线l投影到栅格地图所在的XOZ平面，投影线为l′；

7.3)检索投影线l′远离双目相机的方向，如果投影线l′穿过空状态栅格，则将空状态的栅格置为未知；如果投影线l′穿过占据状态栅格，将栅格中心(X_i，0，Z_i)垂直投影到投影线l′得到投影点(X_i′，0，Z_i′)，如果

则将其状态置为未知；如果投影线l′穿过占据状态栅格，且h_i＞l(X_i′，Z_i′)_y，则重新计算直线l和投影线l′并继续上述过程；如果投影线l′穿过占据状态栅格，且

则继续检索；如果投影线l′到达栅格空间之外，则检索结束；其中l(X_i′，Z_i′)_y表示当X＝X_i′、Z＝Z_i′时取直线l上的Y轴坐标；

8)可视化：设置栅格对应像素分辨率将之前栅格地图可视化输出，图8-图11中设置分辨率为一个栅格用4×4大小的像素块。

本实施例详细描述了利用双目立体相机构建栅格地图的方法，图1-图4为***设备和输入，图5-图7是为算法流程的描述，输出如图8-图11所示。

Claims (5)

1.一种利用双目立体相机构建栅格地图的方法，其特征在于，该方法包括以下步骤：

1)创建栅格地图：

1.1)确定栅格地图的空间信息：从配置文件中获取目标计算的最高高度、最低高度、最远距离和视场角；并确定栅格地图的空间信息，即栅格地图覆盖最高位置、最低位置、最远位置、最近位置、最右侧位置和最左侧位置；

1.2)划分栅格：将栅格地图划分为规则图形；计算出每个栅格中心的坐标；默认所有栅格的状态为空；

1.3)根据双目立体相机的实际摆放位置确定世界坐标系；

在空间中以双目立体相机中左相机与地面的垂线的交点为原点O建立空间直角坐标系，水平向右为X轴正方向，垂直向上为Y轴正方向，水平向前为Z轴正方向，此坐标系为世界坐标系；

2)获取原始数据：利用双目立体相机获取场景图像和视差图；

3)生成三维坐标点：利用场景图像中匹配点的三角关系和视差图，生成三维坐标点，并转换到世界坐标系，只保留位于1.1)中确定的栅格空间之内的三维坐标点；

4)平面投影：

4.1)将过滤后三维坐标点投影到栅格地图所在平面，如果投影后的三维坐标点映射在栅格中心的距离R内，则保留并统计投影次数，否则剔除不统计投影次数；

4.2)统计每个栅格中点的个数N_i；

5)高度统计及高度过滤：

5.1)令统计区间i的长度为length，每一个统计区间表示的高度为h_i，h_i＝i×length，计算投影至栅格中所有三维点的Y轴坐标y所在的区间

并计算频数C_i；

5.2)根据应用场景先验，令T_h为最低的障碍高度，如果栅格的高度h_i<T_h，则令栅格的状态为空，否则继续；

6)栅格阈值筛选：

6.1)利用视差图和1)中建立的栅格地图，计算出每个栅格的阈值T_i，公式如下：

T_i＝β_r×a_r×b_i (4)

式(2)为深度测量准确时，应用a_r个像素表示位于第r行的栅格边长，其中img_width表示视差图宽度，grid_size表示栅格边长，depth_r表示第r行的栅格深度，fov表示视场角大小；式(3)为深度测量准确时，应用b_i个像素表示第r行的栅格高度h_i，其中h_i为栅格i中的高度，由步骤5)计算；T_i为栅格阈值，a_r×b_i表示深度测量准确时，第r行中宽为grid_size、高为h_i的矩形面应有的像素个数，考虑到不规则形状以及鲁棒性增加了第二尺度因子β_r；

6.2)比较每个栅格中投影点的个数N_i与栅格阈值T_i；如果N_i>γT_i，则令栅格的状态为占据，否则为空；γ为第三尺度因子；

6.3)如果栅格的状态为占据，则将栅格中心的X_i、Z_i坐标和栅格高度h_i组合为当前栅格的最高点；

7)扫描地图。

2.根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，步骤4.1)中R取栅格内接圆团半径的四分之三。

3.根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，步骤5.1)中，选取最大统计区间i_max，条件有二，一是统计区间的频数C_i大于上一个统计区间频数C_i-1的一定数量，二是频数C_i大于N，公式为：

i_max＝argmax_i{C_i>N,C_i>αC_i-1} (1)

式中，C_i为第i个统计区间的频数，C_i-1为第i-1个统计区间的频数，α为第一尺度因子，N是最低频数。

4.根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，步骤7)扫描地图：

7.1)栅格地图中视场角fov外区域的栅格的状态设置为未知；

7.2)将双目立体相机光心坐标转换到世界坐标系，设为O′；连接O′与状态为占据的栅格虚拟最高点(X_i，Z_i，h_i)形成直线l，并将直线l投影到栅格地图所在的XOZ平面，投影线为l′；

7.3)检索投影线l′远离双目立体相机的方向，如果投影线l′穿过空状态栅格，则将空状态的栅格置为未知；如果投影线l′穿过占据状态栅格，将栅格中心(X_i，0，Z_i)垂直投影到投影线l′得到投影点(X_i′，0，Z_i′)，如果

则将其状态置为未知；如果投影线l′穿过占据状态栅格，且h_i>l(X_i′，Z_i′)_y，则重新计算直线l和投影线l′并继续上述过程；如果投影线l′穿过占据状态栅格，且

则继续检索；如果投影线l′到达栅格空间之外，则检索结束；其中l(X_i′，Z_i′)_y表示当X＝X_i′、Z＝Z_i′时取直线l上的Y轴坐标。

5.根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，还包括步骤8)可视化：设置栅格对应像素分辨率，将7)中栅格地图可视化输出。

Images