CN114241441B - 基于特征点的动态障碍物检测方法 - Google Patents

Abstract

基于特征点的动态障碍物检测方法属于智能车辆领域。本发明先数据提取,生成视差图。基于视差图的聚类分割,依据视差信息，利用聚类算法对视差图进行聚类分割，划分为不同区域。利用特征信息，检测运动物体所在区域，包含：利用双目视觉的内在约束条件基本矩阵，提出特征点对之间的距离权重系数，建立点的约束条件。立体匹配获取视差信息，通过三维重建获取三维坐标。由车载相机拍摄图片时的速度，可以求得两帧之间车子移动的距离。前后帧三维坐标Z方向的差值等价于车子前进移动的距离。由此设定阈值，进行特征点的约束。利用数学几何原理，建立判断运动物体的数学模型。本发明在定位中实时性强，有效避免运动物体的影响，提高定位精度。

Description

基于特征点的动态障碍物检测方法

技术领域

本发明属于智能车辆领域。

背景技术

智能***通过感知并分析周围的的环境信息从而估计自己的运动，从而实现在未知环境下的精准定位。随着自动驾驶以及一些新兴智能领域的发展，实现准确定位成为智能领域的核心问题。但在实际场景中，主体获取的感知信息一部分来自环境中的运动物体，从而造成定位误差。

实现车辆定位，可以通过相机传感器，获取环境中的视觉特征来估计车辆的运动。现有的方法中，如RANSAC算法可以实现对视觉特征的初步筛选，剔除部分运动点，但是仍有运动物体上的特征点参与计算。本发明提出了一种基于特征点几何模型的方法，高效准确的检测出动态障碍物，如行驶的车辆，行人等等，有效减小这部分视觉特征信息所带来的误差。

1.视觉特征：特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。

2.位姿估计：位姿估计在计算机视觉领域扮演着十分重要的角色。在使用视觉传感器估计机器人位姿，其在控制、机器人导航、增强现实以及其它方面都有着极大的应用。位姿估计这一过程的基础是找到现实世界和图像投影之间的对应点，然后根据这些点对的类型，如2D-2D,2D-3D,3D-3D，采取相应的位姿估计方法。

3.双目立体视觉：双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

3.视差图：双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。

4.基本矩阵：在计算机视觉中，基础矩阵是一个3×3的矩阵，表达了立体像对的像点之间的对应关系。F矩阵中蕴含了立体像对的两幅图像在拍摄时相互之间的空间几何关系(外参数)以及相机检校参数(内参数)，包括旋转、位移、像主点坐标和焦距。

5.齐次坐标：就是将一个原本是n维的向量用一个n+1维向量来表示，是指一个用于投影几何里的坐标***，如同用于欧氏几何里的笛卡儿坐标一般。

发明内容

基于自动驾驶背景，提供一种动态物体检测方法，在实现定位中，能够有效避免运动物体的影响，提高车辆定位精度。经过实验证明，本方法实时性强，精度高，减小定位误差。

1.实施方案

第一步：数据提取,通过特征提取与匹配算法获取视觉特征点信息，并通过立体匹配生成视差图。

第二步：基于视差图的聚类分割,依据视差信息，利用聚类算法对视差图进行聚类分割，将不同的物体划分为不同的区域。

第三步：利用特征信息，检测运动物体所在区域。此部分包含以下三个技术点。

1)利用双目视觉的内在约束条件基本矩阵，提出特征点对之间的距离权重系数，建立点的约束条件。

2)立体匹配获取视差信息，通过三维重建获取三维坐标。由车载相机拍摄图片时的速度，可以求得两帧之间车子移动的距离。前后帧三维坐标Z方向的差值等价于车子前进移动的距离。由此设定阈值，进行特征点的约束。

3)利用数学几何原理，建立判断运动物体的数学模型。

第一步：数据提取

在以下不同场景下，通过立体匹配获得视差图像，以及SURF特征提取匹配算法获取特征信息。

第二步：基于视差图的聚类分割

由于噪声的干扰，如图2所示的视差图中会有一些无效的空洞，对聚类效果产生影响。采用形态学算法，对视差图像进行膨胀，腐蚀处理，得到如图3所示的视差图，并进行聚类分割。其具体步骤如下：

(1)首先选择一些类/组，并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。

(2)计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中。

(3)计算每一类中中心点作为新的中心点。

(4)重复以上步骤，直到每一类中心在每次迭代后变化不大为止。也可以多次随机初始化中心点，然后选择运行结果最好的一个。

(5)以不同中心所在的区域分割为不同的区域C，分别计算不同区域内点的个数N及占比P。

第三步：利用特征信息，检测运动物体所在区域

基于第二步的结果，得到聚类区域c中特征点的分布，包括特征点的个数N_c以及特征点的比例P_c。

1)利用双目视觉的内在约束条件基本矩阵，提出特征点对之间的距离权重系数，建立点的约束条件。

在双目视觉***中，基本矩阵Q包括了全部参数，这表明Q与环境因素没有关系,它是双目视觉***的一种内在约束关系。由基本矩阵Q定义特征点对之间的距离第i次迭代求解的第j个点的距离：

Qⁱ为第i次迭代求解的基本矩阵，其中u_j,v_j为第j特征点对应的齐次坐标。为了使结果更加鲁棒，定义距离权重系数

令为第i次迭代中所有点的距离数组，lⁱ为/>的中值。完成i次迭代后，取lⁱ的中位数所对应的基本矩阵为最终的基本矩阵，并将距离中值作为阈值，如果第j个点的距离大于阈值，则将第j个点划分为动态物体上的点，否则将其划分为一个静态点。

在初始状态下，每个聚类区域c中点的分布为经过距离权重约束，对于聚类区域c，特征点一部分为静态点，一部分为动态点，此时令/>分别为区域c中静态点的个数及占比。

2)立体匹配获取视差信息，通过三维重建获取三维坐标。由车载相机拍摄图片时的速度，可以求得两帧之间车子移动的距离。前后帧三维坐标Z方向的差值等价于车子前进移动的距离。由此设定阈值，进行特征点的约束。

基于立体匹配得到视差信息，通过三维重建获取特征点的三维坐标：

其中，(x_l,y_l)为特征点的二维坐标，B为基线距，f为焦距，(x_c,y_c)为光心坐标，Dis为视差值。

在聚类区域c，静态点中仍有部分动态点，利用特征点的三维信息进一步约束。

T'<|Z₁-Z₂|<T^*

其中Z₁，Z₂分别为对应特征点三维坐标的Z分量。对于静止的特征点，理论上，它们之间的差值应该等于前后帧小车向前行驶的距离。但由于一些不可忽略的因素的影响，这里会存在误差，当利用此条信息进行筛选静止点时，设置T^*，T'为约束的阈值，其值为:

T^*＝(1+10％)×v·t

T′＝(1-10％)×v·t

其中v为小车的车速，t为两帧之间时间间隔。满足此约束的为静态点，此时聚类区域c中，静态点的个数和占比分别为

3)利用数学几何原理，建立判断运动物体的数学模型。

经过约束，得到聚类区域c在两次约束下点的分布状态。以此建立数学模型，判断动态物体所在区域。模型由两部分组成，首先经过距离权重约束，区域内动态点的个数占比越高，其为动态区域的概率越大。由此提出以下模型：

m为模型判断动态区域的阈值，经过实验分析，其值取40时实验效果最佳。在静态点的基础上，由三维点的约束，得到了区域c中点的分布。经过两次约束，对于聚类区域c中的点的数量,存在这样的关系:动态区域中的点的比例将减少,静态区域中的点的比例将增加.基于此提出模型:

经过整个框架的计算，若一个区域中点的分布满足数学模型的两个判断模型，则判定区域c为运动物体所在的区域，定位到运动物体。经过实验证明，此发明可以有效的定位到运动物体，减小在后续计算过程中由运动物体带来的结果误差。

附图说明

图1：整体框架

图2：场景a，b，c，d的原图，视差图，特征提取与匹配

图3：基于形态学处理的视差图以及聚类分割图

图4：效果示意图

具体实施方式

本发明提供了基于特征点的动态障碍物区域检测方法，在实际的应用中，有效的避免此类区域对实验结果的影响。基于此发明检测出动态区域(效果示意图见图4)。

由于实际的应用，先对图像的视觉信息做初步处理，去掉错误匹配以及远距离的特征信息。由图4可以看出，经过此发明，运动区域可以有效的检测出来，得到运动物体上的视觉特征信息。

在自动驾驶背景下，为了避免运动物体对定位结果的影响，本专利基于视觉特征建立运动约束条件，有效的检测出运动物体。

1.数据提取，在本部分采用SURF方法实现特征点的提取与匹配。SURF算法是一种基于SIFT算法改进的稳健的局部特征点检测和描述算法，相比于SIFT算法，其用一种更为高效的方式完成特征的提取和描述。其整体过程可以分为三部分：特征点的提取、描述子计算、特征点匹配。具体的实现过程如下：

(1)构建Hessian矩阵

(2)构建尺度空间

(3)特征点定位

(4)特征点主方向分配

(5)生成特征点描述子

(6)特征点匹配

本专利采用SURF算法，是由于它是一种具有尺度和旋转不变性特点的特征点提取和描述方法。该算法对比与当前的算法具有相似甚至更好的可重复性、鲁棒性，并且计算的更快。

2.基于视差图的距离分割，首先基于视差信息，依据视差值将场景中不同的物体分割为不同的区域。

双目立体匹配一直是双目视觉的研究热点，双目相机的左右相机在同一场景下拍摄左右两幅视觉图像，运用立体匹配算法获取视差图，视差值就是从有一定距离的两个点上观察同一个目标所产生的方向差异。

通过立体匹配得到视差图，此时的视差图由于一些噪声的干扰，图像上会有一些残缺的空洞，本专利利用形态学算法对视差图进行优化。先膨胀后腐蚀(闭运算)的过程具有填充物体内细小空洞，连接邻近物体和平滑边界的作用，因此采用闭运算对视差图进行预处理。

(1)闭运算能够填平小湖(即小孔)，弥合小裂缝，而总的位置和形状不变。

(2)闭运算是通过填充图像的凹角来滤波图像的。

(3)结构元素大小的不同将导致滤波效果的不同。

(4)不同结构元素的选择导致了不同的分割。

3.分别从特征点的二维信息以及三维信息对点进行约束。

在前面的特征提取部分，得到了前后时刻图像帧中对应点的二维信息，本专利基于特征点的二维信息和三维信息对不同聚类区域内的点进行约束。

(1)求取对应特征点的三维坐标

立体匹配得到视差图，通过模拟人类视觉***，基于视差原理获取图像对应点之间的位置偏差，恢复出三维信息。

(2)依据特征点的二维信息设置约束条件，判断不同聚类区域内特征点的状态，其为静止点或者运动点。

在双目视觉***中，通过建立极线约束方程，将对应点的搜索范围从平面降低到一条直线上，从而实现快速匹配且获得更好的匹配效果。其中极平面方程可以表示为：

其中E_l，E_r，R和t(t_x,t_y,t_z)分别为左右相机的内参数矩阵，相机之间的旋转矩阵，以及平移向量，其中H＝[t]_x。这些参数的乘积称为基本矩阵，这表明基本矩阵与环境因素没有关系,它是双目视觉***的一种内在约束关系。

以此为出发点，本发明专利提出对应特征点的距离条件以及距离权重系数，以此来判断特征点是动点还是静止点，并得出每个区域内静态点，动态点的个数及比例。

(3)在双目视觉特征信息的基础上添加视差信息，建立起三维特征点之间的联系，并根据实际的运动原理建立约束条件。

相对于世界坐标系静止的物体，其前后帧对应特征点的三维坐标Z分量的差等于车载相机在两帧之间运动的距离，当知道车速以及时间间隔，就可以得到在两帧之间对应特征点三维坐标Z分量的差。以此提出约束条件，在上一步静态点的基础上继续判断不同聚类区域内此部分点中动态点，静止点的个数以及比例。因为在第一次的约束条件下，并不能检测出所有的动态点，静态点中仍有部分是动态点，第二次约束就是基于静态点去判断的。

利用数学几何原理，建立判断运动物体的数学模型，数学模型由两部分组成。主要从以下观点：

(1)不同区域内动态点的比例越高，其为动态区域的比例越大。

(2)经过前后两次约束，存在这样的关系，动态区域中的点的比例将减少，静态区域中的点的比例将增加。基于以上两种观点建立数学模型，进行运动物体的判断。

基于以上技术点，本发明专利最终判断出动态区域，即运动的物体。

Claims (3)

1.基于特征点的动态障碍物检测方法，其特征在于步骤如下：

第一步：数据提取,通过特征提取与匹配算法获取视觉特征点信息，并通过立体匹配生成视差图；

第二步：基于视差图的聚类分割,依据视差信息，利用聚类算法对视差图进行聚类分割，将不同的物体划分为不同的区域；

第三步：利用特征信息，检测运动物体所在区域，具体如下：

基于第二步的结果，得到聚类区域c中特征点的分布，包括特征点的个数N_c以及特征点的比例P_c；

1)利用双目视觉的内在约束条件基本矩阵，提出特征点对之间的距离权重系数，建立点的约束条件；

在双目视觉***中，由基本矩阵Q定义特征点对之间的距离第i次迭代求解的第j个点的距离：

Qⁱ为第i次迭代求解的基本矩阵，其中u_j,v_j为第j特征点对应的齐次坐标；为了使结果更加鲁棒，定义距离权重系数

令为第i次迭代中所有点的距离数组，lⁱ为/>的中值；完成i次迭代后，取lⁱ的中位数所对应的基本矩阵为最终的基本矩阵，并将距离中值作为阈值，如果第j个点的距离大于阈值，则将第j个点划分为动态物体上的点，否则将其划分为一个静态点；

在初始状态下，每个聚类区域c中点的分布为经过距离权重约束，对于聚类区域c，特征点一部分为静态点，一部分为动态点，此时令/>分别为区域c中静态点的个数及占比；

2)立体匹配获取视差信息，通过三维重建获取三维坐标；由车载相机拍摄图片时的速度，求得两帧之间车子移动的距离；前后帧三维坐标Z方向的差值等价于车子前进移动的距离；由此设定阈值，进行特征点的约束；

基于立体匹配得到视差信息，通过三维重建获取特征点的三维坐标：

其中，(x_l,y_l)为特征点的二维坐标，B为基线距，f为焦距，(x_c,y_c)为光心坐标，Dis为视差值；

在聚类区域c，静态点中仍有部分动态点，利用特征点的三维信息进一步约束；

T'<|Z₁-Z₂|<T^*

其中Z₁，Z₂分别为对应特征点三维坐标的Z分量；对于静止的特征点，理论上，它们之间的差值应该等于前后帧小车向前行驶的距离；但由于一些不可忽略的因素的影响，这里会存在误差，当利用此条信息进行筛选静止点时，设置T^*，T'为约束的阈值，其值为:

T^*＝(1+10％)×v·t

T′＝(1-10％)×v·t

其中v为小车的车速，t为两帧之间时间间隔；满足此约束的为静态点，此时聚类区域c中，静态点的个数和占比分别为

3)利用数学几何原理，建立判断运动物体的数学模型；

经过约束，得到聚类区域c在两次约束下点的分布状态；以此建立数学模型，判断动态物体所在区域；模型由两部分组成，首先经过距离权重约束，区域内动态点的个数占比越高，其为动态区域的概率越大；由此提出以下模型：

m为模型判断动态区域的阈值，其值取40；在静态点的基础上，由三维点的约束，得到了区域c中点的分布；经过两次约束，对于聚类区域c中的点的数量,存在这样的关系:动态区域中的点的比例将减少,静态区域中的点的比例将增加.基于此提出模型:

经过整个框架的计算，若一个区域中点的分布满足数学模型的两个判断模型，则判定区域c为运动物体所在的区域，定位到运动物体。

2.根据权利要求1所述的方法，其特征在于：

第一步：数据提取

在以下不同场景下，通过立体匹配获得视差图像，以及SURF特征提取匹配算法获取特征信息。

3.根据权利要求1所述的方法，其特征在于：

第二步：基于视差图的聚类分割

(1)首先选择一些类/组，并随机初始化它们各自的中心点；中心点是与每个数据点向量长度相同的位置；

(2)计算每个数据点到中心点的距离，数据点距离哪个中心点最近就划分到哪一类中；

(3)计算每一类中中心点作为新的中心点；

(4)重复以上步骤，直到每一类中心在每次迭代后收敛为止；或者多次随机初始化中心点，然后选择运行结果最好的一个；

(5)以不同中心所在的区域分割为不同的区域C，分别计算不同区域内点的个数N及占比P。