CN111612818A - 新型双目视觉多目标跟踪方法及*** - Google Patents

Abstract

本发明属于自动驾驶的多目标跟踪技术领域，具体涉及一种新型双目视觉多目标跟踪方法及***，其中新型双目视觉多目标跟踪方法包括：通过双目视觉获取图像；根据图像获取移动目标；构建车辆运动空间和车辆运动模型；以及通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪，实现了智能车多目标跟踪，大幅度提升驾驶***的自动化和智能化水平，提高了跟踪精度和速度，且在跟踪车辆时不会产生明显的偏移、不会遗漏对行人的跟踪。

Description

新型双目视觉多目标跟踪方法及***

技术领域

本发明属于自动驾驶的多目标跟踪技术领域，具体涉及一种新型双目视觉多目标跟踪方法及***。

背景技术

在各种不确定条件下实现周围环境的可靠感知是几乎任何辅助或自治***应用中的基本任务，尤其是随着自动驾驶研究的不断兴起，学术界和各大科技公司正在积极开发先进的驾驶辅助***。驾驶辅助***的核心技术包括自适应巡航、避免碰撞、变道辅助、交通标志识别和停车辅助等功能，其目标是实现车辆驾驶的完全自动化，并在提高安全性的同时减少导致道路事故的人为错误。在各种技术中，移动物体跟踪是驾驶辅助***的关键任务，当车辆可以检测其所处环境中的动态物体并预测其未来行为时，可以大大是提升车辆的智能化水平。

由于需要在不同环境条件下的实现各类物体的实时、准确跟踪，目前还没有一种传感***可以完全提供目标跟踪所需的全部信息。鉴于此，驾驶辅助***通常借助包括毫米波雷达、激光测距仪、视觉***等设备的复合感测***来实现移动目标的准确检测。雷达装置能够精确测量物体的相对速度和距离。激光测距仪具有比雷达更高的横向分辨率，而且除了可以精确地检测物距外，还可以检测物体的占用面积并提供详细的场景表示。基于视觉的传感***可以提供精确的横向测量和丰富的图像信息，从而为基于测距的传感器道路场景分析提供有效补充。其中，立体视觉传感器可以提供具有高横向分辨率和较小确定范围的目标检测，同时通常为物体的识别和分类提供足够的信息。

无论使用哪种传感器，在交通场景中都必须解决多目标跟踪的问题。此时需要跟踪每个目标的状态，同时在杂乱环境中处理测量值，进而解决跟踪目标数据关联的问题。

因此，基于上述技术问题，需要设计一种新的新型双目视觉多目标跟踪方法及***。

发明内容

本发明的目的是提供一种新型双目视觉多目标跟踪方法及***。

为了解决上述技术问题，本发明提供了一种新型双目视觉多目标跟踪方法，包括：

通过双目视觉获取图像；

根据图像获取移动目标；

构建车辆运动空间和车辆运动模型；以及

通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪。

进一步，所述根据图像获取移动目标的方法包括：

对图像进行校正后，根据视觉立体测距算法估计中间车辆的位移，以获取移动目标。

进一步，所述构建车辆运动空间的方法包括：

基于刚体等速运动模型的等效原则，将车辆运动空间GL构造为两个矩阵 Lie群S的笛卡尔积S₁×S₂；

其中：S₁为位置分量；S₂为速度分量。

进一步，所述构建车辆运动模型的方法包括：

构建车辆运动模型并更新，即

所述车辆运动模型为：

X_k+1＝X_k·exp(α_k+β_k)；

其中，X_k∈GL，为***在k时刻的运动状态；α_k为非线性函数；β_k为高斯白噪声；

当第k-1步的后验分布满足Lie群上的高斯分布，则根据

X_k+1＝X_kexp(log(α_k))对车辆运动模型所示的运动状态进行预测，以将车辆运动模型更新为：

其中，v_1k、v_2k、ω_k分别为纵向、横向和旋转速度；β_1k、β_2k、β_ωk分别为高斯噪声在纵向、横向和旋转三个方向上的分量；T为矩阵的转置符号。

进一步，所述通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪的方法包括：

当移动目标的数量为k时，则多个移动目标表示为{T₁,...,T_n}；

Y_k表示k时刻所有检测的集合

Y_1:k表示所有度量的历史Y_1:k＝{Y₁,…,Y_k}；

根据联合概率数据关联预测各移动目标T_i(i＝1,2,...,n)的后验密度，即

其中，

为目标状态的密度；

为目标的存在性的密度；P为概率；

目标状态的密度

及其存在性

为所有Y_k的测量；

根据马尔可夫链模型描述移动目标存在的概率，即

其中：ρ为移动目标在k-1时刻存在时，其在k时刻仍然存在的概率；

根据测量值Y_k通过总概率公式预测k时刻扫描到移动目标T_i的后验密度：

其中，

为物体存在的后验数据关联概率；

为概率假设；

被测目标存在的概率为：

当

由所有关节事件F构成时，其中每个轨迹具有零个或一个测量，并且每个测量被分配到零个或一个轨迹，则

T_i存在但没有被集群内的测量检测到的概率为：

其中，

为0个测量的概率假设；

为0个测量的概率；

则计算各关节事件F对应的P(F∣Y_1:k)时，分配测量的目标集合C，以及分配一组测量的轨道集合D，以获取：

其中，i为第i个移动目标；P_d为T_i被检测到的概率；P_q为修正后度量在 T_i的门限阈值范围内的概率；

为旋转概率；ρ_k为杂波先验度量密度；τ为在关节事件F下分配给T_i的度量的索引；

旋转概率为：

目标存在的概率为：

则联合数据概率为：

根据联合数据概率实现多个移动目标的准确跟踪。

另一方面，本发明还提供一种新型双目视觉多目标跟踪***，包括：

采集模块，通过双目视觉获取图像；

移动目标获取模块，根据图像获取移动目标；

构建模块，构建车辆运动空间和车辆运动模型；以及

跟踪模块，通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪。

本发明的有益效果是，本发明通过双目视觉获取图像；根据图像获取移动目标；构建车辆运动空间和车辆运动模型；以及通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪，实现了智能车多目标跟踪，大幅度提升驾驶***的自动化和智能化水平，提高了跟踪精度和速度，且在跟踪车辆时不会产生明显的偏移、不会遗漏对行人的跟踪。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所涉及的新型双目视觉多目标跟踪方法的流程图；

图2是本发明所涉及的新型双目视觉多目标跟踪方法的具体流程图；

图3是本发明所涉及的新型双目视觉多目标跟踪***的原理框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

图1是本发明所涉及的新型双目视觉多目标跟踪方法的流程图。

如图1所示，本实施例1提供了一种新型双目视觉多目标跟踪方法，包括：通过双目视觉获取图像；根据图像获取移动目标；构建车辆运动空间和车辆运动模型；以及通过改进的联合概率数据关联(joint probabilistic data association， JPDA)根据车辆运动空间和车辆运动模型对移动目标进行跟踪，实现了智能车多目标跟踪，大幅度提升驾驶***的自动化和智能化水平，提高了跟踪精度和速度，且在跟踪车辆时不会产生明显的偏移、不会遗漏对行人的跟踪。

图2是本发明所涉及的新型双目视觉多目标跟踪方法的具体流程图。

如图2所示，在本实施例中，所述通过双目视觉获取图像的方法包括：利用立体视觉摄像头采集车辆及行人图像、视频；在Lie群下对传感器的不确定性进行建模，并采用欧几里德群算法对预处理的图像进行状态滤波；在可能存在车辆的区域内利用双目视觉去除误检，以校正图像。

在本实施例中，所述根据图像获取移动目标的方法包括：对图像进行校正后，通过卡尔曼滤波器对测量的不确定度和预测目标运动的轨迹进行确认，利用视觉立体测距算法估计中间车辆的位移，将不符合特征的物体视为移动目标，这个过程中需要进行移动目标立体检测，具体过程如下：

首先，在对图像进行校正后，所有来自前一帧的特征点通过标准针孔照相机模型投影到3D世界帧中，然后将该位置与获得的运动矩阵进行复合反投影到当前相机帧中，并连接到来自当前帧的，对应前一帧的3D点形成矢量场，其中每个矢量表示相对于世界帧的对应3D点的运动；其次，由于在3D空间中测量不确定度具有高度异向性，因此难以精确确定沿着光轴方向的运动强度，而将矢量投影到不确定性均匀分布的图像平面上，并将阈值赋值给每个点的运动幅度，然后根据平移和旋转参数将剩余的矢量连接成簇；最后，如果至少有3个向量出现在其中，那么每个簇就对应一个移动对象(移动目标)，并用所有相应点的质心点描述该移动对象。

在本实施例中，基于Lie群中的扩展卡尔曼滤波器构造状态不确定性表示和运动模型，即需要构建车辆运动空间和车辆运动模型。

在本实施例中，所述构建车辆运动空间的方法包括：车辆是典型的刚体，因此需要运用刚体运动方程组描述车辆的状态；此外，当考虑车辆的速度时，也可以通过相同的运动方程组来表示高阶的状态变化；基于刚体等速运动模型的等效原则，将车辆运动空间GL构造为两个矩阵Lie群S的笛卡尔积S₁×S₂；其中：S₁为位置分量；S₂为速度分量。

在本实施例中，所述构建车辆运动模型的方法包括：

构建车辆运动模型并更新，即

所述车辆运动模型为：

X_k+1＝X_k·exp(α_k+β_k)；

其中，X_k∈GL，为***在k时刻的运动状态；α_k为非线性函数；β_k为高斯白噪声；

如果第k-1步的后验分布满足Lie群上的高斯分布，则可以根据 X_k+1＝X_kexp(log(α_k))对车辆运动模型所示的运动状态进行预测，以将车辆运动模型更新(将车辆运动模型的方程重新建模)为：

其中，v_1k、v_2k、ω_k分别为纵向、横向和旋转速度；β_1k、β_2k、β_ωk分别为高斯噪声在纵向、横向和旋转三个方向上的分量；T为矩阵的转置符号。

在本实施例中，所述通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪的方法包括：

设移动目标的数量为k时，则多个移动目标表示为{T₁,...,T_n}，所需跟踪的移动目标的数量k随时间而变化，也就是说移动目标可能从传感器的视野中随时出现或者消失；

定义Y_k表示k时刻所有检测的集合，即

定义Y_1:k表示所有度量的历史，即

Y_1:k＝{Y₁,…,Y_k} (2)；

根据联合概率数据关联预测(估计)各移动目标T_i(i＝1,2,...,n)的后验密度来解决这一问题，即

其中，

为目标状态的密度(可能性)；

为目标的存在性的密度(可能性)；P为概率；

式(3)表示目标状态的密度

及其存在性

(目标的存在性的密度)为所有 Y_k的测量，并且与k相关；

根据马尔可夫链模型描述移动目标存在的概率，即

其中：ρ为移动目标在k-1时刻存在时，其在k时刻仍然存在的概率；

根据测量值Y_k通过总概率公式预测k时刻扫描到移动目标T_i的后验密度为：

其中，

为物体存在的后验数据关联概率；

为概率假设；n_k为数量

被测目标存在的概率为：

为了计算

需要在对象集合中考虑测量到对象的关联事件；此时假设

由所有关节事件F构成，其中每个轨迹具有零个或一个测量，并且每个测量被分配到零个或一个轨迹，则

T_i存在但没有被集群内的测量检测到的概率为：

其中，

为0个测量的概率假设；

为0个测量的概率；为计算各关节事件F对应的P(F∣Y_1:k)时，需要分配测量的目标集合C，以及分配一组测量的轨道集合D，此时可得：

其中，i为第i个移动目标；P_d为T_i被检测到的概率；P_q为修正后度量在 T_i的门限阈值范围内的概率；

为旋转概率；ρ_k为杂波先验度量密度；τ为在关节事件F下分配给T_i的度量的索引；

根据式(10)可以计算旋转概率为：

上述公示可以得到所有要素来确定目标存在的概率为：

则联合数据概率为：

根据联合数据概率实现多个移动目标的准确跟踪。

实施例2

图3是本发明所涉及的新型双目视觉多目标跟踪***的原理框图。

如图3所示，在实施例1的基础上，本实施例2还提供一种新型双目视觉多目标跟踪***，包括：采集模块，通过双目视觉获取图像；移动目标获取模块，根据图像获取移动目标；构建模块，构建车辆运动空间和车辆运动模型；以及跟踪模块，通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪。

在本实施例中采集模块通过双目视觉获取图像的方法，移动目标获取模块根据图像获取移动目标的方法，构建模块构建车辆运动空间和车辆运动模型；以及跟踪模块通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪的方法均在实施例1中已经进行了详细阐述，在本实施例中不再赘述。

综上所述，本发明通过双目视觉获取图像；根据图像获取移动目标；构建车辆运动空间和车辆运动模型；以及通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪，实现了智能车多目标跟踪，大幅度提升驾驶***的自动化和智能化水平，提高了跟踪精度和速度，且在跟踪车辆时不会产生明显的偏移、不会遗漏对行人的跟踪。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种新型双目视觉多目标跟踪方法，其特征在于，包括：

通过双目视觉获取图像；

根据图像获取移动目标；

构建车辆运动空间和车辆运动模型；以及

通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪。

2.如权利要求1所述的新型双目视觉多目标跟踪方法，其特征在于，

所述根据图像获取移动目标的方法包括：

对图像进行校正后，根据视觉立体测距算法估计中间车辆的位移，以获取移动目标。

3.如权利要求2所述的新型双目视觉多目标跟踪方法，其特征在于，

所述构建车辆运动空间的方法包括：

基于刚体等速运动模型的等效原则，将车辆运动空间GL构造为两个矩阵Lie群笛卡尔积S₁×S₂；

其中：S₁为位置分量；S₂为速度分量。

4.如权利要求3所述的新型双目视觉多目标跟踪方法，其特征在于，

所述构建车辆运动模型的方法包括：

构建车辆运动模型并更新，即

所述车辆运动模型为：

X_k+1＝X_k·exp(α_k+β_k)；

其中，X_k∈GL，为k时刻的运动状态；α_k为非线性函数；β_k为高斯白噪声；

当第k-1步的后验分布满足Lie群上的高斯分布，则根据X_k+1＝X_kexp(log(α_k))对车辆运动模型所示的运动状态进行预测，以将车辆运动模型更新为：

其中，v_1k、v_2k、ω_k分别为纵向、横向和旋转速度；β_1k、β_2k、β_ωk分别为高斯噪声在纵向、横向和旋转三个方向上的分量；T为矩阵的转置符号。

5.如权利要求4所述的新型双目视觉多目标跟踪方法，其特征在于，

所述通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪的方法包括：

当移动目标的数量为n时，则多个移动目标表示为{T₁,...,T_n}；

Y_k表示k时刻所有检测的集合

Y_1:k表示所有度量的历史Y_1:k＝{Y₁,…,Y_k}；

根据联合概率数据关联预测各移动目标T_i(i＝1,2,...,n)的后验密度，即

其中，

为目标状态的密度；

为目标的存在性的密度；P为概率；

目标状态的密度

及其存在性

为所有Y_k的测量；

根据马尔可夫链模型描述移动目标存在的概率，即

其中：ρ为移动目标在k-1时刻存在时，其在k时刻仍然存在的概率；

根据测量值Y_k通过总概率公式预测k时刻扫描到移动目标T_i的后验密度：

其中，

为物体存在的后验数据关联概率；

为概率假设；

被测目标存在的概率为：

当

由所有关节事件F构成时，其中每个轨迹具有零个或一个测量，并且每个测量被分配到零个或一个轨迹，则

T_i存在但没有被集群内的测量检测到的概率为：

其中，

为0个测量的概率假设；

为0个测量的概率；

则计算各关节事件F对应的P(F∣Y_1:k)时，分配测量的目标集合C，以及分配一组测量的轨道集合D，以获取：

其中，i为第i个移动目标；P_d为T_i被检测到的概率；P_q为修正后度量在T_i的门限阈值范围内的概率；

为旋转概率；ρ_k为杂波先验度量密度；τ为在关节事件F下分配给T_i的度量的索引；

旋转概率为：

目标存在的概率为：

则联合数据概率为：

根据联合数据概率实现多个移动目标的准确跟踪。

6.一种新型双目视觉多目标跟踪***，其特征在于，包括：

采集模块，通过双目视觉获取图像；

移动目标获取模块，根据图像获取移动目标；

构建模块，构建车辆运动空间和车辆运动模型；以及

跟踪模块，通过改进的联合概率数据关联根据车辆运动空间和车辆运动模型对移动目标进行跟踪。

Images