CN109254579B - 一种双目视觉相机硬件***、三维场景重建***及方法 - Google Patents

Abstract

本发明公开了一种双目视觉相机硬件***、三维场景重建***及方法，三维场景重建***包括ECU、双目视觉相机硬件***和GPS模块，当ECU根据GPS模块传回的导航信息，确定车辆与前方转弯位置之间的距离达到预设距离时，ECU控制双目视觉相机在预设旋转范围内往复同步转动，采集车辆前方180°视场内图像数据，并基于运动恢复结构原理和即时定位与地图构建原理，对左相机和右相机分别采集的车辆前方180°视场内图像数据进行三维场景重建，得到车辆前方180°视角范围内的三维场景重建图像。本发明仅采用一套具有一维旋转功能的双目视觉相机即可实现对车辆前方180°视角范围内的图像采集，从而减少了三维场景重建的硬件成本。

Description

一种双目视觉相机硬件***、三维场景重建***及方法

技术领域

本发明涉及三维场景重建技术领域，更具体的说，涉及一种双目视觉相机硬件***、三维场景重建***及方法。

背景技术

自动驾驶汽车，又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑***实现无人驾驶的智能汽车。随着自动驾驶技术的不断发展，自动驾驶汽车对周围环境感知能力的要求越来越高。

目前，自动驾驶汽车主要基于对当前环境重建的三维场景实现车辆自动转弯功能，实现三维场景重建的技术有多种，如高精度的RTK(Real-time kinematic，实时动态差分法)技术、高成本的激光雷达技术或者机器视觉技术。考虑到基于机器视觉技术的方式成本相对低廉，因此，很多车企采用基于机器视觉技术对车辆当前环境的三维场景进行重建，使车辆基于该三维场景实现自动转弯。

在基于机器视觉技术进行三维场景重建时，主要基于双目视觉相机实现，由于双目视觉相机的视角有限，一般在40°～60°之间，无法覆盖车辆前方180°的视角范围，所以为保证三维场景重建精度，实现车辆自动转弯功能，通常会对车辆配置多套双目视觉相机，以采集车辆前方180°视角范围内的图像。然而，对车辆配置多套双目视觉相机，会导致三维场景重建的硬件成本增加。

发明内容

有鉴于此，本发明公开一种双目视觉相机硬件***、三维场景重建***及方法，以解决传统方案中，在采集车辆前方180°视角范围内的图像时，因需要对车辆配置多套双目视觉相机，而导致的三维场景重建的硬件成本增加的问题。

一种双目视觉相机硬件***，包括：双目视觉相机、减速传动装置、步进电机和步进电机控制器，其中，所述双目视觉相机包括：左相机、右相机以及固定所述左相机和所述右相机的支架；

所述步进电机控制器的输出端与所述步进电机的控制端连接，所述步进电机的电机输出轴连接所述减速传动装置，所述减速传动装置的中心转轴安装用于固定所述左相机和所述右相机的所述支架；

所述步进电机根据所述步进电机控制器输出的控制信号，驱动所述减速传动装置旋转，并带动安装在所述减速传动装置的中心转轴上的所述支架旋转，实现固定在所述支架上的所述左相机和所述右相机在预设旋转范围内往复同步转动。

优选的，所述双目视觉相机的相邻两帧之间的相机光轴旋转角度等于预设角度。

一种三维场景重建***，包括：电子控制单元ECU、GPS模块和权利要求1所述的双目视觉相机，其中，所述双目视觉相机的左相机和右相机沿车辆中心线水平对称放置；

所述ECU的输入端分别与所述GPS模块的输出端、所述左相机的图像输出端和所述右相机的图像输出端连接，所述ECU的输出端与所述双目视觉相机中步进电机控制器的控制端连接，所述ECU用于在根据所述GPS模块传回的导航信息，确定车辆距离前方转弯位置的距离达到预设距离时，向所述双目视觉相机中的步进电机控制器发送触发指令，通过所述步进电机控制器控制所述双目视觉相机中的步进电机按照预设电机旋转角速度带动所述左相机和所述右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动；获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像，其中，所述预设旋转范围为：(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角。

优选的，所述预设电机旋转角速度满足公式(1)，公式(1)的表达式如下：

w＝N*c (1)

式中，w为电机旋转角速度，单位：°/s，N为所述双目视觉相机的帧频，单位：pfs，c为双目视觉相机预设的相邻两帧之间相机光轴旋转角度，单位：°。

一种三维场景重建方法，包括：

获取车辆在当前时刻与前方转弯位置之间的距离；

当确定所述距离达到预设距离时，向双目视觉相机中的步进电机控制器发送触发指令，通过所述步进电机控制器控制所述双目视觉相机中的步进电机按照预设电机旋转角速度带动左相机和右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动，其中，所述预设旋转范围为：(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角；

获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；

基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；

基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；

基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；

将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行坐标系转换得到车辆前方180°视角范围内的三维场景重建图像。

优选的，在所述得到车辆前方180°视角范围内的三维场景重建图像之后，还包括：

对所述车辆前方180°视角范围内的三维场景重建图像进行障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，得到识别结果；

从所述识别结果中选取符合通行条件的最优通行路径；

控制车辆的转弯执行结构，按照所述最优通行路径实现车辆转弯。

优选的，所述对所述车辆前方180°视角范围内的三维场景重建图像进行障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，得到识别结果包括：

对所述车辆前方180°视角范围内的三维场景重建图像，基于深度和灰度进行区域分割，得到T个分割区域，T为正整数；

针对每一个所述分割区域执行如下操作：

确定当前分割区域内的总像素点数N以及符合平面拟合方程模型的像素点数M；

判断像素点数M与总像素点数N的比值是否小于阈值参数；

若所述比值不小于所述阈值参数，则判定所述当前分割区域为道路区域，并将所述道路区域的外边界作为待转弯路两侧边界；

若所述比值小于所述阈值参数，则判定所述当前分割区域为障碍物区域；

当T个分割区域所属的区域类型确定完成后，根据T个分割区域中所有的道路区域和所有的障碍物区域，根据公式(2)和公式(3)得到可通行区域L，所述可通行区域L距离所述障碍物区域的距离不高于安全距离阈值，公式(2)和公式(3)具体如下：

L∩A＝L (2)；

L∩B＝0 (3)；

式中，A为T个分割区域中所有道路区域的总数量，B为T个分割区域中所有障碍物区域的总数量，0表示空集。

优选的，还包括：

当确定方向盘转角恢复至预设转角，且内外侧前轮转速相同时，向所述步进电机控制器发送停止指令，通过所述步进电机控制器控制所述步进电机带动所述双目视觉相机恢复至与车辆中心线平行的位置。

从上述的技术方案可知，本发明公开了一种双目视觉相机硬件***、三维场景重建***及方法，三维场景重建***包括ECU，和与ECU连接的双目视觉相机硬件***和GPS模块，当ECU根据GPS模块传回的导航信息，确定车辆与前方转弯位置之间的距离达到预设距离时，ECU控制双目视觉相机的左相机和右相机在预设旋转范围内往复同步转动，采集车辆前方180°视场内图像数据，并基于运动恢复结构原理和即时定位与地图构建原理，对左相机采集的车辆前方180°视场内图像数据和右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到车辆前方180°视角范围内的三维场景重建图像。相比传统方案而言，本发明仅采用一套具有一维旋转功能的双目视觉相机，即可实现对车辆前方180°视角范围内的图像采集，从而提升了一套双目视觉相机的视野范围，增强了车辆对前方环境的感知能力，减少了三维场景重建的硬件成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。

图1为本发明实施例公开的一种双目视觉相机硬件***的结构示意图；

图2为本发明实施例公开的一种三维场景重建***的结构示意图；

图3为本发明实施例公开的一种双目视觉相机在以为旋转周期观测范围示意图；

图4为本发明实施例公开的一种三维场景重建方法的方法流程图；

图5为本发明实施例公开的一种三维场景重建流程图；

图6为本发明实施例公开的一种基于三维场景重建图像，选取车辆转弯的最优通行路径的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种双目视觉相机、三维场景重建***及方法，以解决传统方案中，在采集车辆前方180°视角范围内的图像时，因需要对车辆配置多套双目视觉相机，而导致的三维场景重建的硬件成本增加的问题。

参见图1，本发明实施例公开的一种双目视觉相机硬件***的结构示意图，该双目视觉相机包括：双目视觉相机、减速传动装置14、步进电机15和步进电机控制器16，其中，所述双目视觉相机包括：左相机11、右相机12以及固定左相机11和右相机12的支架13；

其中：

步进电机控制器16的输出端与步进电机15的控制端连接，步进电机15的电机输出轴连接减速传动装置14，减速传动装置14的中心转轴安装用于固定左相机11和右相机12的支架13。

工作原理为：步进电机15根据步进电机控制器16输出的控制信号，驱动减速传动装置14旋转，并带动安装在减速传动装置14的中心转轴上的支架13旋转，实现固定在支架13上的左相机11和右相机12在预设旋转范围内往复同步转动。

可选的，减速传动装置14包括：主动齿轮和从动齿轮，其中，主动齿轮安装在步进电机15的电机输出轴上，主动齿轮和从动齿轮啮合，从动齿轮安装支架13。步进电机15根据步进电机控制器16输出的控制信号，驱动安装在电机输出轴上的主动齿轮，主动齿轮旋转与从动齿轮啮合，使得从动齿轮旋转并带动安装在从动齿轮上的支架13旋转，实现固定在支架13上的左相机11和右相机12在预设旋转范围内往复同步转动。

其中，在实际应用中，步进电机15的选取由步距角确定，步距角满足公式0°≤b≤c，b为步距角，单位：°，c为预设的相邻两帧之间相机光轴旋转角度，单位：°

需要说明的是，双目视觉相机硬件***的结构包括但不局限于图1所示实施例，凡是能够实现左相机11和右相机12在预设旋转范围内往复同步转动的结构，均属于本发明的保护范围。

为实现双目视觉相机对车辆前方180°视角范围内的图像采集，本发明对双目视觉相机的参数信息进行了设定，具体如下：

假设双目视觉相机的水平平视场角为a(单位：°)，帧频为N(pfs)，则为实现双目视觉相机对车辆前方180°视角范围内的图像采集，步进电机15的转动范围为(-(90°-a/2)，(90°-a/2))。

为进一步保证双目视觉相机对车辆前方180°视角范围内的图像采集，在实际应用中，优先将双目视觉相机安装在车前挡风玻璃上，位于后视镜后方，双目视觉相机的左相机11和右相机12沿车辆中心线水平对称放置，左相机11和右相机12之间的基线长度可调，调节范围在10cm～30cm之间，双目视觉相机的视场角范围为40°～60°之间，双目视觉相机相对于车身的俯仰角为0°，步进电机控制器可以设置在后舱。

在实际应用中，双目视觉相机的左相机11和右相机12由步进电机15带动旋转，由于步进电机15的转动范围为(-(90°-a/2)，(90°-a/2))，因此，相应的，双目视觉相机的左相机11和右相机12在平行于车身且沿车辆中心线位置，在(-(90°-a/2)，(90°-a/2))内往复同步转动。

步进电机的电机旋转角速度w满足公式(1)，公式(1)的表达式如下：

w＝N*c (1)；

式中，w为电机旋转角速度，单位：°/s，N为所述双目视觉相机的帧频，单位：pfs，c为双目视觉相机预设的相邻两帧之间相机光轴旋转角度，单位：°。

在车辆距离前方转弯位置的距离达到预设距离(如50m～100m)时，为使双目视觉相机一秒内完成一个旋转周期图像采集，同时保证较高精度的三维重建效果，双目视觉相机所采集的相邻两帧图像间的交叠区域越多越好，为达到这一目的，双目视觉相机的相邻两帧之间的相机光轴旋转角度等于预设角度，预设角度优选3°。

综上可知，本发明公开了一种具有一维旋转功能的双目视觉相机，大大提升了一套双目视觉相机的视野范围，增强了车辆对前方环境的感知能力，减少了三维场景重建的硬件成本，同时还减少了由于窄视野引发的潜在不安全因素，为提升车辆自动转弯的安全性提供了保障。

参见图2，本发明一实施例公开了一种三维场景重建***的结构示意图，该重建***包括：ECU(Electronic Control Unit，电子控制单元)21、GPS模块22和图1所述的双目视觉相机硬件***23，ECU21的输入端分别与所述GPS模块22、所述左相机的图像输出端和所述右相机的图像输出端连接，ECU21的输出端与双目视觉相机21中步进电机控制器的控制端连接；

GPS模块22，用于采集的车辆当前所处的位置信息，并将所述位置信息发送至所述EPU21，使所述EPU21根据所述位置信息确定车辆与前方转弯位置之间的距离。

三维场景重建***对车辆前方180°视角范围内的图像进行三维场景重建的过程具体如下：

ECU21在确定车辆距离前方转弯位置(如十字路口、丁字路口)的距离达到预设距离(如50m～100m)时，向所述双目视觉相机硬件***23中的步进电机控制器16发送触发指令，通过所述步进电机控制器控制所述双目视觉相机硬件***23中的步进电机15按照预设电机旋转角速度带动所述左相机和所述右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动；

ECU21实时获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；

ECU21基于SFM原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像，记为ML；基于SFM原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像，记为MR；基于SLAM原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像，记为MM；将所述第一组三维场景重建图像ML、所述第二组三维场景重建图像MR和所述第三组三维场景重建图像MM进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像，其中，所述预设旋转范围为：(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角。

需要说明的是，当双目视觉相机位于与车辆中心线平行的位置时，同步电机的旋转角度为0°，相应的，双目视觉相机的左相机和右相机的旋转角度为0°，假设同步电机向左转为负，向右转为正，则同步电机的旋转范围为(-(90°-a/2)，(90°-a/2))，相应的，双目视觉相机的左相机和右相机的旋转范围也为：(-(90°-a/2)，(90°-a/2))，也即双目视觉相机的视场角范围为：(-(90°-a/2)，(90°-a/2))，具体如图3所示，附图标记31所示的两个重叠扇形区域为双目视觉相机左侧最大旋转位置的视场范围，附图标记32所示的两个重叠扇形区域为双目视觉相机在非转弯状态(也即初始状态)下水平放置的视场角范围，附图标记33所示的两个重叠扇形区域为双目视觉相机右侧最大旋转位置的视场范围。

其中，SFM(Structure from motion，运动恢复结构)，是一个crossbar(交叉矩阵)结构，有多条的channal水平和垂直交错而成，每条channel提供8Gbps交换能力(supervisor720提供每channel 20Gpbs)。本实施例中，基于SFM原理，分别对左相机采集的车辆前方180°视场内图像数据、以及右相机采集的车辆前方180°视场内图像数据进行三维场景重建。

SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)的工作原理为：机器人(本申请中是自动驾驶车辆)在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。本实施例是基于SLAM原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建。

需要说明的是，本实施例中的预设旋转范围也即上述实施例中的(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角。

预设电机旋转角速度也即满足上述公式(1)的电机旋转角速度，当满足公式(1)的电机旋转角速度为多个时，可以根据实际需要选取。

在实际应用中，ECU21可以根据自动驾驶车辆的GPS(Global PositioningSystem，全球定位***)模块传回的导航信息，来计算车辆距离前方转弯位置的距离，通过将该距离与预设距离进行比较，确定是否开启双目视觉相机硬件***23。

综上可知，本发明公开的三维场景重建***包括：ECU21、GPS模块22和双目视觉相机硬件***23，当ECU21根据GPS模块22传回的导航信息，确定车辆在当前时刻与前方转弯位置之间的距离达到预设距离时，ECU21控制双目视觉相机硬件***23的左相机11和右相机12在预设旋转范围内往复同步转动，采集车辆前方180°视场内图像数据，并基于运动恢复结构原理和即时定位与地图构建原理，对左相机采集的车辆前方180°视场内图像数据和右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到车辆前方180°视角范围内的三维场景重建图像。相比传统方案而言，本发明仅采用一套具有一维旋转功能的双目视觉相机硬件***23，即可实现对车辆前方180°视角范围内的图像采集，从而提升了一套双目视觉相机的视野范围，增强了车辆对前方环境的感知能力，减少了三维场景重建的硬件成本。

与上述***实施例相对应，本发明还公开了一种三维场景重建方法。

参见图4，本发明一实施例公开的一种三维场景重建方法的方法流程图，该方法应用于上述实施例中的ECU21，该方法包括步骤：

步骤S41、获取车辆在当前时刻与前方转弯位置之间的距离；

具体的，当自动驾驶汽车工作后，GPS模块22开始对车辆所处的位置信息进行导航定位，并将导航信息传回ECU21，由ECU21计算车辆在当前时刻与前方转弯位置之间的距离。

步骤S42、当确定所述距离达到预设距离时，控制双目视觉相机硬件***23在预设旋转范围内往复同步转动；

具体的，当ECU21确定所述距离达到预设距离时，向双目视觉相机硬件***23中的步进电机控制器16发送触发指令，通过所述步进电机控制器控制所述双目视觉相机硬件***23中的步进电机15按照预设电机旋转角速度带动左相机和右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动，其中，所述预设旋转范围为：(-(90°-a/2)，(90°-a/2))，a为所述双目视觉相机的水平视场角；

当双目视觉相机位于与车辆中心线平行的位置时，同步电机的旋转角度为0°，相应的，双目视觉相机的左相机和右相机的旋转角度为0°，假设同步电机向左转为负，向右转为正，则同步电机的旋转范围为(-(90°-a/2)，(90°-a/2))，相应的，双目视觉相机的左相机和右相机的旋转范围也为：(-(90°-a/2)，(90°-a/2))，具体如图2所示。

步骤S43、获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；

其中，所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据具体指的是：左相机和右相机在预设旋转范围内，往复同步运动各个时刻所采集的图像。

步骤S44、基于SFM原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；

步骤S45、基于SFM原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；

步骤S46、基于SLAM原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；

需要说明的是，步骤S44、步骤S45和步骤S46在实际执行过程中，没有固定的先后顺序，包括但不局限于图4所示顺序，在实际应用中，三个步骤也可以同时执行。

步骤S47、将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像。

为方便理解三维场景重建方法，如图5所示，本发明另一实施例公开的一种三维场景重建流程图，其中，左相机采集的图像命名为左图像，右相机采集的图像命名为右图像，双目视觉相机旋转采集图像的时间为t1～tn，从t1时刻开始，左相机和右相机将各个时刻采集到的图像数据同步输出至ECU21，ECU21根据左相机采集的图像数据，包括t1时刻左图像、t2时刻左图像……tn-1时刻左图像和tn时刻左图像，基于SFM原理进行三维场景重建，得到第一组三维场景重建图像；ECU21根据右相机采集的图像数据，包括t1时刻右图像、t2时刻右图像……tn-1时刻右图像和tn时刻右图像，基于SFM原理进行三维场景重建，得到第二组三维场景重建图像；ECU21同时根据左相机采集的图像数据，包括t1时刻左图像、t2时刻左图像……tn-1时刻左图像和tn时刻左图像，和右相机采集的图像数据，包括t1时刻右图像、t2时刻右图像……tn-1时刻右图像和tn时刻右图像，基于SLAM原理进行三维场景重建，得到第三组三维场景重建图像；最后，ECU21将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像。

结合图5，举例说明上述实施例中，根据左相机采集的图像数据以及右相机采集的图像数据，进行三维场景重建的过程，具体如下：

(1)ECU21根据左相机采集的图像数据，基于SFM原理进行三维场景重建，得到第一组三维场景重建图像的过程具体为：

以tn-2时刻左图像、tn-1时刻左图像和tn时刻左相机图像为例进行说明，对其它时刻左图像进行三维场景重建的过程类似。

将tn-2时刻左图像(图5中未示出)与tn-1时刻左图像进行特征点提取与匹配，得到匹配点N对，将tn-1时刻左图像与tn时刻左相机图像进行特征点提取与匹配，得到匹配点M对，基于灰度相关性原理可确定出同名匹配点对L＝N∩M；根据车辆自身惯导或者轮速传感器提供tn-2、tn-1和tn三个时刻之间车辆移动位移，基于立体视觉匹配原理即可确定出一系列空间特征点在wtnl系和wtn-1系下描述，坐标系具体定义为：左相机光心为坐标系原点，左相机光轴方向为Z方向，与左相机机身垂直向下为Y方向，X方向符合右手螺旋定则关系；根据同名点关系，基于坐标变换原理即可将wtn-1系下描述的空间点坐标转换至wtn系，由此递推可得到wt1系、wt2系、…,wtn系之间转换关系，根据坐标变换，即可进一步得到wtn系下描述的所有三维重建结果。

(2)ECU21根据右相机采集的图像数据，基于SFM原理进行三维场景重建，得到第二组三维场景重建图像的过程同上，此次不再赘述。

(3)ECU21基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像的过程包括：

定义世界坐标系Wtn，tn表示第n时刻，原点为tn时刻左相机坐标系原点与右相机坐标系原点的中心点，Z方向与左相机光轴方向平行，Y方向与左相机坐标系Y方向平行，X方向符合右手定则关系；

分别将tn-1、tn时刻左右相机图像进行特征提取和匹配，假设有N对和M对正确匹配点对，其中来自tn-1时刻左相机图像的匹配特征点集合记为Nn-1，来自tn时刻左相机图像的匹配特征点集合记为Mn；

设L＝Nn-1∩Mn，L表示在tn-1时刻左相机获取的图像和在tn时刻左相机获取的图像上的同名点，则基于立体视觉匹配原理可得到上述同名点在tn-1和tn时刻世界坐标系Wtn-1和Wtn下的三维坐标，根据不同时刻对应同名点关系，基于坐标变换原理即可得到世界坐标系Wtn-1和Wtn之间对应关系，由此，可将不同时刻得到的世界坐标系下的三维点坐标转化到同一个世界坐标系下描述，从而重建出不同时刻图像序列的三维场景。

(4)ECU21将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像的过程包括：

假设从t1时刻到tn时刻，左右相机分别获取n帧图像序列，则假设以tn时刻左相机坐标系为wl系(左相机光心为坐标系原点，左相机光轴方向为Z方向，与左相机机身垂直向下为Y方向，X方向符合右手螺旋定则关系)，tn时刻右相机坐标系为wr系(右相机光心为坐标系原点，右相机光轴方向为Z方向，与右相机机身垂直向下为Y方向，X方向符合右手螺旋定则关系)，tn时刻世界坐标系为w(原点为tn时刻左相机坐标系原点与右相机坐标系原点的中心点，Z方向与左相机光轴方向平行，Y方向与左相机坐标系Y方向平行，X方向符合右手定则关系)，则wl、wr、w三个坐标系之间关系如下所示：这里B为基线长度，根据公式(4)和(5)即可实现将wl坐标系和wr坐标系下的三维场景重建结果统一转化到w坐标系下，实现180°范围内场景的三维重建。

[Xwl Ywl Zwl]T＝[Xw Yw Zw]T+[B/2 0 0]T (4)；

[Xwr Ywr Zwr]T＝[Xw Yw Zw]T+[-B/2 0 0]T (5)。

传统方案中，当自动驾驶车辆转弯行驶时，通常基于高精度地图实现对障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，以选取车辆最优通行路径，因此，传统方案对高精度地图的依赖较大，然而，当实际场景与高精度地图之间略微存在差异时，就容易导致车辆定位精度下降甚至失效，从而使车辆无法进一步实现自动转弯。

为解决上述问题，本发明在得到车辆前方180°视角范围内的三维场景重建图像之后，还可以基于该三维场景图像，选取车辆转弯的最优通行路径。

参见图6，本发明一实施例公开的一种基于三维场景重建图像，选取车辆转弯的最优通行路径的方法流程图，包括步骤：

步骤S61、对车辆前方180°视角范围内的三维场景重建图像进行障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，得到识别结果；

具体的，对车辆前方180°视角范围内的三维场景重建图像，基于深度和灰度进行区域分割，得到T个分割区域，T为正整数；

针对每一个所述分割区域执行如下操作：

确定当前分割区域内的总像素点数N以及符合平面拟合方程模型的像素点数M；判断像素点数M与总像素点数N的比值是否小于阈值参数；若所述比值不小于所述阈值参数，则判定所述当前分割区域为道路区域，并将所述道路区域的外边界作为待转弯路两侧边界；若所述比值小于所述阈值参数，则判定所述当前分割区域为障碍物区域；当T个分割区域所属的区域类型确定完成后，根据T个分割区域中所有的道路区域和所有的障碍物区域，根据公式(2)和公式(3)得到可通行区域L，所述可通行区域L距离所述障碍物区域的距离不高于安全距离阈值，公式(2)和公式(3)具体如下：

L∩A＝L (2)；

L∩B＝0 (3)；

式中，A为T个分割区域中所有道路区域的总数量，B为T个分割区域中所有障碍物区域的总数量，0表示空集。

举例说明，假设分割得到的T个分割区域中，当前分割区域内有N个像素点，其三维坐标分别为p1、p2、p3、…、pN，平面拟合方程模型为：ax+by+cz+d＝0，假如符合平面拟合方程模型的点有M个，若M/N≥thre，thre为阈值参数，一般设为0.8，则判定所述当前分割区域为道路区域，并将所述道路区域的外边界作为待转弯路两侧边界；若M/N＜thre，则判定所述当前分割区域为障碍物区域，结合车辆/行人等移动目标的先验信息，通过深度学习，即可具体确定出障碍物类别。

可通行区域在道路区域和障碍物区域识别的基础上进行识别，考虑到障碍物区域和道路区域是交互存在，因此，需要通过路径规划方法确定合理可行的可通行区域。

路径规划准则为：

当T个分割区域所属的区域类型确定完成后，根据T个分割区域中所有的道路区域和所有的障碍物区域，根据公式(2)和公式(3)得到可通行区域L，所述可通行区域L距离所述障碍物区域的距离不高于安全距离阈值(一般为0.5m)，公式(2)和公式(3)具体如下：

L∩A＝L (2)；

L∩B＝0 (3)；

式中，A为T个分割区域中所有道路区域的总数量，三维坐标点分别为a1、a2、a3、…、an，B为T个分割区域中所有障碍物区域的总数量，三维坐标点分别为b1、b2、b3、…、bm。

步骤S62、从所述识别结果中选取符合通行条件的最优通行路径；

其中，最优通行路径的依据的确定准则如下：

基于自身车辆大小(长宽分别为W和L)设定连通域阈值d，

则满足||ai-bj||＞d的所有可通行路径；设有N条作为候选通行路径，且每条通行路径上轨迹点定义取同一纵向距离上可通行边界中心点，设定车辆前方到达位置点为a点，当前车辆位置点为b点，则第Ni条规划路径上车辆行驶轨迹点为Ni1、Ni2、Ni3、…、Nil、则在所有候选路径中，||Nik-bj||＞safedis且满足Distance＝min(N1，N2、N3,…NN)，则对应的规划路径为最优可通行路径，其中，k表示第k个车辆行驶轨迹点，i表示第i个障碍物上的边界点，j表示第j个障碍物上的边界点，safedis表示安全距离，一般取0.5m。

步骤S63、控制车辆的转弯执行结构，按照所述最优通行路径实现车辆转弯。

综上可知，当ECU21根据GPS模块22传回的导航信息，确定车辆在当前时刻与前方转弯位置之间的距离达到预设距离时，ECU21控制双目视觉相机硬件***23的左相机11和右相机12在预设旋转范围内往复同步转动，采集车辆前方180°视场内图像数据，并基于运动恢复结构原理和即时定位与地图构建原理，对左相机采集的车辆前方180°视场内图像数据和右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到车辆前方180°视角范围内的三维场景重建图像，并基于该三维场景重建图像，进行障碍物识别、待转弯路段两侧边界判别以及可通行区域识别，根据识别结果确定最优可通行路径，从而实现车辆稳定可靠的自动转弯功能。本发明仅采用一套具有一维旋转功能的双目视觉相机硬件***23，即可实现对车辆前方180°视角范围内的图像采集，从而提升了一套双目视觉相机的视野范围，增强了车辆对前方环境的感知能力，减少了三维场景重建的硬件成本，同时降低了传统方案中对高精度地图的依赖。

可以理解的是，当自动驾驶车辆转弯完成后，可以根据车载显示器的显示内容、方向盘转角、轮速信号和转向灯确定。在实际应用中，ECU21可以通过判断方向盘转角是否恢复至预设转角，且内外侧前轮转速是否相同时，确定车辆是否转弯完成，当确定方向盘转角恢复至预设转角，且内外侧前轮转速相同时，向步进电机控制器发送停止指令，通过所述步进电机控制器控制所述步进电机带动所述双目视觉相机硬件***23恢复至与车辆中心线平行的位置。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种双目视觉相机硬件***，其特征在于，包括：双目视觉相机、减速传动装置、步进电机和步进电机控制器，其中，所述双目视觉相机包括：左相机、右相机以及固定所述左相机和所述右相机的支架；

所述步进电机控制器的输出端与所述步进电机的控制端连接，所述步进电机的电机输出轴连接所述减速传动装置，所述减速传动装置的中心转轴安装用于固定所述左相机和所述右相机的所述支架，所述双目视觉相机的相邻两帧之间的相机光轴旋转角度等于预设角度；

所述步进电机根据所述步进电机控制器输出的控制信号，驱动所述减速传动装置旋转，并带动安装在所述减速传动装置的中心转轴上的所述支架旋转，实现固定在所述支架上的所述左相机和所述右相机在预设旋转范围内往复同步转动，以获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像，其中，所述预设旋转范围为：（-（90°-a/2），（90°-a/2）），a为所述双目视觉相机的水平视场角；

其中，所述减速传动装置包括：主动齿轮和从动齿轮，所述主动齿轮安装在所述电机输出轴上，所述主动齿轮和所述从动齿轮啮合，所述从动齿轮安装所述支架。

2.一种三维场景重建***，其特征在于，包括：电子控制单元ECU、GPS模块和权利要求1所述的双目视觉相机，其中，所述双目视觉相机的左相机和右相机沿车辆中心线水平对称放置；

所述ECU的输入端分别与所述GPS模块的输出端、所述左相机的图像输出端和所述右相机的图像输出端连接，所述ECU的输出端与所述双目视觉相机中步进电机控制器的控制端连接，所述ECU用于在根据所述GPS模块传回的导航信息，确定车辆距离前方转弯位置的距离达到预设距离时，向所述双目视觉相机中的步进电机控制器发送触发指令，通过所述步进电机控制器控制所述双目视觉相机中的步进电机按照预设电机旋转角速度带动所述左相机和所述右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动；获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行三维空间场景拼接，得到车辆前方180°视角范围内的三维场景重建图像，其中，所述预设旋转范围为：（-（90°-a/2），（90°-a/2）），a为所述双目视觉相机的水平视场角。

3.根据权利要求2所述的三维场景重建***，其特征在于，所述预设电机旋转角速度满足公式（1），公式（1）的表达式如下：

w=N*c（1）

式中，w为电机旋转角速度，单位：°/s，N为所述双目视觉相机的帧频，单位：pfs，c为双目视觉相机预设的相邻两帧之间相机光轴旋转角度，单位：°。

4.一种三维场景重建方法，其特征在于，包括：

获取车辆在当前时刻与前方转弯位置之间的距离；

当确定所述距离达到预设距离时，向双目视觉相机中的步进电机控制器发送触发指令，通过所述步进电机控制器控制所述双目视觉相机中的步进电机按照预设电机旋转角速度带动左相机和右相机在平行于车身且沿车辆中心线位置，在预设旋转范围内往复同步转动，其中，所述预设旋转范围为：（-（90°-a/2），（90°-a/2）），a为所述双目视觉相机的水平视场角；

获取所述左相机采集的车辆前方180°视场内图像数据和所述右相机采集的车辆前方180°视场内图像数据；

基于运动恢复结构原理对所述左相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第一组三维场景重建图像；

基于运动恢复结构原理对所述右相机采集的车辆前方180°视场内图像数据进行三维场景重建，得到第二组三维场景重建图像；

基于即时定位与地图构建原理对不同时刻所述左相机和所述右相机同时获取的车辆前方180°视场内图像数据进行三维场景重建，得到第三组三维场景重建图像；

将所述第一组三维场景重建图像、所述第二组三维场景重建图像和所述第三组三维场景重建图像进行坐标系转换得到车辆前方180°视角范围内的三维场景重建图像。

5.根据权利要求4所述的三维场景重建方法，其特征在于，在所述得到车辆前方180°视角范围内的三维场景重建图像之后，还包括：

对所述车辆前方180°视角范围内的三维场景重建图像进行障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，得到识别结果；

从所述识别结果中选取符合通行条件的最优通行路径；

控制车辆的转弯执行结构，按照所述最优通行路径实现车辆转弯。

6.根据权利要求5所述的三维场景重建方法，其特征在于，所述对所述车辆前方180°视角范围内的三维场景重建图像进行障碍物识别、待转弯路两侧边界识别、以及可通行区域识别，得到识别结果包括：

对所述车辆前方180°视角范围内的三维场景重建图像，基于深度和灰度进行区域分割，得到T个分割区域，T为正整数；

针对每一个所述分割区域执行如下操作：

确定当前分割区域内的总像素点数N以及符合平面拟合方程模型的像素点数M；

判断像素点数M与总像素点数N的比值是否小于阈值参数；

若所述比值不小于所述阈值参数，则判定所述当前分割区域为道路区域，并将所述道路区域的外边界作为待转弯路两侧边界；

若所述比值小于所述阈值参数，则判定所述当前分割区域为障碍物区域；

当T个分割区域所属的区域类型确定完成后，根据T个分割区域中所有的道路区域和所有的障碍物区域，根据公式（2）和公式（3）得到可通行区域L，所述可通行区域L距离所述障碍物区域的距离不高于安全距离阈值，公式（2）和公式（3）具体如下：

L∩A=L（2）；

L∩B=0（3）；

式中，A为T个分割区域中所有道路区域的总数量，B为T个分割区域中所有障碍物区域的总数量，0表示空集。

7.根据权利要求4所述的三维场景重建方法，其特征在于，还包括：

当确定方向盘转角恢复至预设转角，且内外侧前轮转速相同时，向所述步进电机控制器发送停止指令，通过所述步进电机控制器控制所述步进电机带动所述双目视觉相机恢复至与车辆中心线平行的位置。

Images