CN110992424A

CN110992424A - 基于双目视觉的定位方法和***

Info

Publication number: CN110992424A
Application number: CN201911180669.2A
Authority: CN
Inventors: 陈安; 江志浩; 崔迪潇; 周棉炜; 龚伟林
Original assignee: Suzhou Zhijia Technology Co Ltd
Current assignee: Suzhou Zhijia Technology Co Ltd
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2020-04-10
Anticipated expiration: 2039-11-27
Also published as: CN110992424B

Abstract

本发明提供一种基于双目视觉的定位方法和***，该方法包括以下步骤：获取双目相机的第一图像和第二图像；根据第一图像获取目标障碍物信息；根据目标障碍物信息确认目标障碍物在第二图像中的搜索区域；在所述搜索区域中搜索目标障碍物，并确定目标障碍物的精确视差值；根据目标障碍物的精确视差值获取目标障碍物的位置信息。本发明对图像中的特定区域来计算目标障碍物的视差，由于无需全图计算，只考虑了感兴趣的特定区域，因此计算量小且在高分辨率图像上也能实时处理。

Description

基于双目视觉的定位方法和***

技术领域

本发明属于视觉定位技术领域,具体涉及一种基于双目视觉的定位方法和***。

背景技术

近一个多世纪来，汽车的出现取代了传统交通运输方式，使得人们的生活更为便捷。近些年来，随着科技的发展，尤其是智能计算的飞速发展，自动驾驶汽车技术研究成为各行业聚焦的热点。麦肯锡发布的“决定未来经济的12项前沿技术”报告探讨了12项前沿技术对未来经济、社会的影响程度，分析估测了2025年12项技术各自的经济与社会影响力，其中自动驾驶汽车技术排在第6位，其2025年影响力估测为：经济效益每年约0.2-1.9万亿美元，社会效益每年可挽回3-15万个生命。

通常，自动驾驶汽车的***一般分为三个模块：一是感知模块，相当于人的眼睛，通过摄像头、毫米波雷达、激光雷达等传感器实时采集周边环境状态；二是决策模块，相当于人的大脑，根据环境状态计算出最优的驾驶决策规划；三是执行模块，相当于人的手与脚，用于执行决策命令，进行油门、刹车、转向等相应的驾驶操作。

其中，感知模块是自动驾驶***的一个重要模块，没有可靠的感知模块，就无法实现安全的自动驾驶***。而在感知模块中，双目相机是一个重要的设备，双目相机不仅具备单目的功能，还能提供障碍物与车辆的距离信息。双目相机已经逐渐成为自动驾驶***中一个不可或缺的传感器。实时、可靠、稳定的距离信息是感知模块的一个重要保证，没有准确和平滑的距离信息，感知模块就无法稳定输出可靠的障碍物距离、速度等信息。

双目测距方法是一种通过计算双目相机采集的左图和右图(该左图和右图是指在双目相机某一时刻拍摄得到的两张图像)的位置差异的视觉测距算法。

传统的双目视测距方法首先需要计算双目视差图，然后根据双目视差图再计算图片上点的3D坐标。由于双目视差图包括以下几个步骤：计算代价、代价聚合、计算视差图、提精视差图这几个步骤。而这种方法受限于匹配效果，对于遮挡区域处理效果不佳；此外，当双目相机应用于高分辨率的图像时，其处理延时会迅速增加，无法实时生成视差图。

近年来随着深度学习技术的发展，传统的双目测距算法也得到了快速的发展，目前发展了很多基于深度学习的视觉算法，但是目前基于深度学习的双目测距算法并没有超出传统双目测距算法的流程，只是将其中一些步骤做了部分改进；由于视差图的真值难以获得，因此深度学习的双目测距模型中缺乏准确的训练数据，许多训练模型容易过拟合到特定的相机，泛化性也较弱；此外，由于深度学习的双目测距模型的网络层数较高，因此模型的复杂度较高，且实时性也较差，仍然无法应用到实际的视觉定位中。

综上，现有技术的双目视觉的定位方法存在如下几个技术问题：

1.获得的视差不够准确；

2.计算方法复杂，计算效率低；

3.无法在高分辨率的图像上实现实时测距；

4.现有技术处理的图像都是处理的单帧信息，而未考虑连续帧信息，最终得到的目标轨迹不够平滑。

发明内容

本发明提供一种基于双目视觉的定位方法和***，以解决现有技术中的至少一个技术问题。

第一方面，本发明实施例提供一种基于双目视觉的定位方法，该方法包括以下步骤：

获取双目相机的第一图像和第二图像；

根据第一图像获取目标障碍物信息；

根据目标障碍物信息确认目标障碍物在第二图像中的搜索区域；

在所述搜索区域中搜索目标障碍物，并确定目标障碍物的精确视差值；

根据目标障碍物的精确视差值获取目标障碍物的位置信息。

进一步的，所述定位方法还包括以下步骤：根据当前目标障碍物的位置信息和精确视差值更新目标障碍物的位置信息。

进一步的，所述定位方法还包括以下步骤：对更新后的目标障碍物的位置信息进行平滑处理。

进一步的，所述根据第一图像获取目标障碍物信息包括以下子步骤：

计算跟踪列表中的目标障碍物与检测到的目标障碍物的相似度；

利用匈牙利匹配算法关联目标障碍物，获取相关联的目标障碍物并跟踪所述相关联的目标障碍物的图像域信息。

进一步的，所述根据目标障碍物信息确认目标障碍物在第二图像中的搜索区域包括以下子步骤：

根据目标障碍物信息获取跟踪列表中目标障碍物的最大视差值；

根据所述最大视差值以及目标障碍物在第一图像中的矩形框尺寸，确认该目标障碍物在第二图像中的搜索区域。

进一步的，所述确定目标障碍物的精确视差值包括以下子步骤：

对第一图像中的检测区域和目标障碍物在第二图像中的搜索区域进行采样，以构建图像金字塔；

对所述图像金字塔逐层计算第一图像在第二图像上每个候选位置的相似度，以生成相似度响应图像；

根据图像金字塔的第0层的相似度响应图像分别获得目标障碍物在第一图像和第二图像中的匹配点位置信息；

根据第一图像和第二图像中的匹配点位置信息确定目标障碍物的精确视差值。

进一步的，根据所述精确视差值及第二图像中的矩行框中心点的坐标值得到所述目标障碍物的位置信息。

第二方面，本发明实施例提供一种基于双目视觉的定位***，该定位***包括第一获取模块、第二获取模块、确认模块、搜索模块和第三获取模块；其中，

所述第一获取模块用于获取双目相机的第一图像和第二图像；

所述第二获取模块用于根据第一图像获取目标障碍物信息；

所述确认模块用于根据目标障碍物信息确认目标障碍物在第二图像中的搜索区域；

所述搜索模块用于根据所述搜索区域搜索目标障碍物，确定目标障碍物的精确视差值；

所述第三获取模块用于根据目标障碍物的精确视差值获取目标障碍物的位置信息。

进一步的，所述确认模块执行以下操作：

进一步的，所述搜索模块执行以下操作：

本发明只针对图片中的特定区域来计算目标障碍物的视差，由于无需全图计算，只考虑了感兴趣的特定区域(即矩行框)，所以计算量小，即使在高分辨率图像上也能实时处理，本发明可以在高分辨率的图像上实现实时测距；

同时使用目标障碍物的位置信息和精确视差，并对位置信息进行平滑处理，以此提供平滑稳定目标轨迹。

附图说明

图1为本发明的实施例提供的一种基于双目视觉的定位方法的流程示意图；

图2为本发明的实施例提供的确定目标障碍物的精确视差值的流程示意图；

图3为本发明的实施例提供的获取目标障碍物的位置信息的流程示意图；

图4为本发明的实施例提供的一种基于双目视觉的定位***的结构示意图；

图5为本发明的实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

实施例一

图1为本发明的实施例提供的一种基于双目视觉的定位方法的流程示意图；参见图1，该方法包括以下步骤；

S100:获取双目相机的左图和右图；

S200：根据左图获取目标障碍物信息；

S300：根据目标障碍物信息确认目标障碍物在右图中的搜索区域；

S400:在所述搜索区域中搜索目标障碍物，并确定目标障碍物的精确视差值；

S500:根据目标障碍物的精确视差值获取目标障碍物的位置信息；

S600:根据当前目标障碍物的位置信息和精确视差值更新目标障碍物的位置信息；

S700：对更新后的目标障碍物的位置信息进行平滑处理。

下面将具体描述上述各个步骤的具体实现过程。

在步骤S200中，根据左图获取目标障碍物信息包括以下子步骤S210和S220；

S210:计算跟踪列表中的目标障碍物与检测到的目标障碍物的相似度；

S220:利用匈牙利匹配算法关联目标障碍物，获取相关联的目标障碍物并跟踪相关联目标障碍物的图像域信息；其中，所述图像域信息包括图像特征、矩形框大小、矩形框变化速度等。

其中，匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法。

需要说明的是，对于未关联的目标障碍物，将该目标障碍物添加到跟踪列表中，并初始化该目标障碍物的跟踪信息；其中，所述目标障碍物的跟踪信息包括图像特征、矩形框大小、矩形框变化速度(这里可设置为0)、类别信息以及在双目相机坐标系下的3D坐标值(这里可设置为负值)；

对于未关联的已跟踪目标障碍物，判断该目标障碍物的丢失帧数是否超过阈值，若是，则删除该目标障碍物；若否，将该目标障碍物添加到跟踪列表中。

对于关联的已跟踪目标障碍物，则继续放在跟踪列表中。

由于现有技术是从整张图来获取相关联目标障碍物的图像域信息的，而本实施例是根据障碍物在图中的矩形框来获取、跟踪相关联目标障碍物的图像域信息，即本实施例是由跟踪列表获得的相关联目标障碍物的图像域信息，因此无需计算整张图的相关信息，减少了大量的计算时间并且计算过程较为简单。

在步骤S300中，所述根据目标障碍物信息确认目标障碍物在右图中的搜索区域包括以下子步骤S310和S320；

S310:根据目标障碍物信息获取跟踪列表中目标障碍物的最大视差值disparity；

具体的，对于有3D坐标值的目标障碍物，则根据目标障碍物的跟踪距离z得到第一最大视差值disparity₁；其中，所述目标障碍物的跟踪距离z是从跟踪列表中直接获得的；

disparity₁＝f×B/z；

其中，f是双目相机的焦距；B是双目相机的安装间距(即左右相机之间的安装间距)；z是目标障碍物的跟踪距离。

对于无3D坐标值的目标障碍物，可根据该目标障碍物的矩形框尺寸、类别信息以及双目相机的安装间距B获得第二最大视差值disparity₂；

disparity₂＝h×B/H；

其中，h是矩形框的宽度；H是目标障碍物的高度；需要理解的是，在本实施例中，首先是确定该目标障碍物的类别，例如类别为c，根据常规经验来判定该c类目标障碍物通常的高度为H。

S320:根据所述最大视差值以及目标障碍物在左图中的矩形框尺寸，确认该目标障碍物在右图中的搜索区域。

具体的，计算每一个目标障碍物在右图中的搜索区域，其计算公式如下：

RIO_R＝(X_L-disparity,Y_L-disparity,W_L+disparity,H_L)

(X_L,Y_L,)是目标障碍物在第一图像中的矩形框坐标；W_L,H_L目标障碍物在第一图像中的矩形框中的尺寸；RIO_R是目标障碍物在第二图像中的搜索区域；disparity是目标障碍物的最大视差值。

可选的，在另一实施例中，根据目标障碍物信息并利用左、右图搜索匹配方法确认所述目标障碍物在右图中的搜索区域。

本实施例中，基于目标障碍物在左右图中的矩形框大小及车辆的实际大小，以确认出目标障碍物在右图中的搜索区域，限制了计算最大视差值的区域，可以提升计算效率。

需要说明的是，步骤S300中获得的目标障碍物的最大视差值是一个较为粗略的视差值，进一步的取目标障碍物的精确视差值的过程如下文描述。

图2为本发明的实施例提供的确定目标障碍物的精确视差值的流程示意图；参见图2，在步骤S400中，所述确定目标障碍物的精确视差值包括以下子步骤S410-S414；

S410:对左图中的检测区域RIO_L和目标障碍物在右图中的搜索区域RIO_R进行采样，以构建图像金字塔；

具体的，所述图像金字塔共包括P层图像，从而得到P+1对图像，其中第0层图像可表示为

其中，

是左图图像，

是右图图像，i是障碍物。

S420:对所述图像金字塔逐层计算左图在右图上每个候选位置的相似度，以生成相似度响应图像；优选的，从图像金字塔的最上层依次计算左图在右图上每个候选位置的相似度直至计算到第0层；其中，当相似度高于预设的相似度阈值时，将该候选位置作为下一层的候选位置；这里的候选位置包括右图上的每个候选区域或候选点；

对于P层图像，分别计算右图上逐个滑动窗口与左图的相似度，并选取相似度高于预设的相似度阈值的区域或者点作为下一层的候选搜索区域；其中相似度计算过程如下，对于两个相同大小的图像patch，两个图像的patch相似度计算如下：

其中，

表示左图图像像素的平均灰度值；

表示右图图像像素的平均灰度值；

表示图像的所有像素灰度值的方差；n表示图像的大小，I₁表示左图图像，I₂表示右图图像；I₁(x,y)表示左图图像的坐标值；I₂(x,y)表示右图图像的坐标值；similarity(I₁,I₂)表示左图在右图上的相似度。

S430:根据图像金字塔的第0层的相似度响应图像分别获得目标障碍物在左图和右图中的匹配点位置信息；

具体的，第0层的相似度响应图像为R₀，选取第0层的相似度响应图像上的最大响应值所对应的点p_t,若点p_t的响应值小于预设的响应阈值Tselect，则设置目标障碍物的视差值为-1；若点p_t的响应值不小于所述预设的响应阈值Tselect，则对点p_t进行拟合以获得最大值点，将该最大值点作为目标障碍物在左图中的匹配点位置信息(x_L,y_L)；优选的，可以将点p_t拟合到一个抛物线上以获得所述最大值点；其中，(x_L,y_L)是目标障碍物在左图上的匹配点的横、纵坐标值。

将该目标障碍物在左图中的匹配点位置信息(x_L,y_L)转换到右图上获得目标障碍物在右图中的匹配点位置信息(x_R,y_R)；(x_R,y_R)是目标障碍物在右图上的匹配点的横坐、纵坐标数值。

S440:根据左图和右图中的匹配点位置信息生成目标障碍物的精确视差值disparity_c，具体公式如下：

disparity_c＝x_L-x_R

图3为本发明的实施例提供的获取目标障碍物的位置信息的流程示意图；参见图3，在步骤S500中，所述获取目标障碍物的位置信息是通过以下方法得到的：

根据所述精确视差值及右图中的矩行框中心点的坐标值得到所述目标障碍物的位置信息；

具体的，需要对每个目标障碍物在右图中的矩形框，计算该矩形框的中心点坐标，根据矩形框的中心点坐标以及精确视差值，由双目校准矩阵可直接计算得到目标障碍物的位置信息(即目标障碍物中心点的3D坐标值)。

在步骤S600中，参见图3，判断目标障碍物的3D状态是否被跟踪(即目标障碍物的坐标值是否未初始化)，若目标障碍物的3D状态被跟踪，则进一步判断目标障碍物的精确视差值是否大于0，若该精确视差值大于0，则更新该目标障碍物的位置信息；若该精确视差值不大于0，则跳过；

若目标障碍物的3D状态未被跟踪，则进一步判断目标障碍物的精确视差值是否大于0，若该精确视差值大于0，则更新目标障碍物的3D坐标值；若该精确视差值不大于0，则跳过；优选的，使用卡尔曼滤波器更新目标障碍物的3D坐标值。

在步骤S700中，可以采用卡尔曼滤波器或车辆轨迹拟合方法，对更新后的目标障碍物的位置信息进行平滑处理，获取最终的目标障碍物的轨迹。

本实施例根据目标障碍物的位置信息状态以及精确视差值的大小，并进行进一步的跟踪优化，可以提升测量目标障碍物轨迹的平滑性。

实施例二

图4为本发明实施例提供的一种基于双目视觉的定位***，该***包括第一获取模块、第二获取模块、确认模块、搜索模块、第三获取模块、更新模块和优化模块；其中，

所述第一获取模块用于获取双目相机的左图和右图；

所述第二获取模块用于根据左图获取目标障碍物信息；

所述确认模块用于根据目标障碍物信息确认目标障碍物在右图中的搜索区域；

所述第三获取模块用于根据目标障碍物的精确视差值获取目标障碍物的位置信息；

所述更新模块用于根据当前目标障碍物的位置信息的状态更新目标障碍物的位置信息；

所述优化模块用于对更新后的目标障碍物的位置信息进行平滑处理。

进一步的，所述确认模块执行以下操作：

进一步的，所述搜索模块执行以下操作：

上述各个模块的具体实施方式与实施例一的各个方法步骤的具体实施方式一致，在此不再赘述。

实施例三

图5为本发明的一种电子设备的一个实施例的结构示意图，参见图5，在本实施例中，提供一种电子设备，包括但不限于智能手机、固定电话、平板电脑、笔记本电脑、穿戴式设备等电子设备，所述电子设备包括：处理器和存储器，所述存储器存储有计算机可读指令，所述计算机可读指令在被所述处理器执行时实现上述本发明的方法。

实施例四

在本实施例中，提供一种计算机可读存储介质，可以为ROM(例如只读存储器、FLASH存储器、转移装置等)、光学存储介质(例如，CD-ROM、DVD-ROM、纸卡等)、磁存储介质(例如，磁带、磁盘驱动器等)或其他类型的程序存储器；所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器或计算机运行时执行上述本发明的方法。

本发明具有以下优点：

本发明的基于双目视觉的定位方法和***，主要是为了解决应用于自动驾驶中的针对特定区域的视觉测距方法，本发明只针对图片中的特定区域来计算目标障碍物的视差，由于无需全图计算，只考虑了感兴趣的特定区域(即矩行框)，所以计算量小，即使在高分辨率图像上也能实时处理，本发明可以在高分辨率(1080*1920,4K等)的图像上实现实时测距；同时使用目标障碍物的位置信息和精确视差，并对位置信息进行平滑处理，以此提供平滑稳定目标轨迹。

本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种基于双目视觉的定位方法，该定位方法包括以下步骤：

获取双目相机的第一图像和第二图像；

根据第一图像获取目标障碍物信息；

根据目标障碍物的精确视差值获取目标障碍物的位置信息。

2.根据权利要求1所述的定位方法，其特征在于，所述定位方法还包括以下步骤：根据当前目标障碍物的位置信息和精确视差值更新目标障碍物的位置信息。

3.根据权利要求2所述的定位方法，其特征在于，所述定位方法还包括以下步骤：对更新后的目标障碍物的位置信息进行平滑处理。

4.根据权利要求1所述的定位方法，其特征在于，所述根据第一图像获取目标障碍物信息包括以下子步骤：

5.根据权利要求1所述的定位方法，其特征在于，所述根据目标障碍物信息确认目标障碍物在第二图像中的搜索区域包括以下子步骤：

6.根据权利要求1所述的定位方法，其特征在于，所述确定目标障碍物的精确视差值包括以下子步骤：

7.根据权利要求1-6任一项所述的定位方法，其特征在于，根据所述精确视差值及第二图像中的矩行框中心点的坐标值得到所述目标障碍物的位置信息。

8.一种基于双目视觉的定位***，该定位***包括第一获取模块、第二获取模块、确认模块、搜索模块和第三获取模块；其中，

所述第二获取模块用于根据第一图像获取目标障碍物信息；

9.根据权利要求8所述的定位***，其特征在于，所述确认模块执行以下操作：

10.根据权利要求9所述的定位***，其特征在于，所述搜索模块执行以下操作：