CN115236674B - 一种基于4d毫米波雷达的矿区环境感知方法 - Google Patents

Abstract

本发明公开了一种基于4D毫米波雷达的矿区环境感知方法，包括：接收4D毫米波雷达扫描得到的点云，滤除地面点云，保留障碍物的点云；将障碍物的点云先根据点云运动速度进行预分类，在预分类的基础上进行聚类处理，并将聚类结果得到的点云在三维空间中拟合包围盒；将聚类后的点云投影到相机同步采集到的图像上面，图像上拟合矩形包围框提取感兴趣区域；编码提取的图像感兴趣区域以及点云的反射强度信息，得到多维特征向量；将该多维征向量送入神经网络，通过深度学习的方法进行障碍物分类。该方法利用4D毫米波雷达以及相机视觉辅助，能够感知障碍物在三维空间中的大小和位置及其类别，并且在灰尘风沙等情况下，准确感知障碍物在三维空间的位置和大小。

Description

一种基于4D毫米波雷达的矿区环境感知方法

技术领域

本发明属于自动驾驶感知领域，具体涉及一种基于4D毫米波雷达的矿区环境感知方法，能够准确感知障碍物在三维空间中的大小、位置及类别，在灰尘场景下，依然能够感知障碍物在三维空间中的大小及位置。

背景技术

随着社会的发展，对自动驾驶的需求越来越迫切。自动驾驶的商业化落地，将为整个社会带来巨大的经济效益。然而，外部环境的复杂性和多变性仍然是自动驾驶汽车感知***面临的挑战，阻碍着自动驾驶汽车的大规模落地。尤其在矿区等非结构道路环境下，由于灰尘较多、风沙较大，准确感知障碍物在三维空间中的位置和障碍物的类别变得更加困难。

为了准确感知复杂多变的行驶环境，传感器技术和感知算法也在不断进步。为了解决灰尘条件下的感知问题，业界提出了多传感器融合的方案。利用毫米波雷达对灰尘穿透性较好的特性，通过毫米波雷达与相机、激光雷达等传感器的融合，在相机、激光雷达等传感器受灰尘影响无法准确感知时，为感知***提供障碍物的位置信息，一定程度上解决了问题。

申请号为CN202011595732.1《一种基于视觉和毫米波融合的全天候目标检测方法》的中国发明专利，提出一种基于视觉与毫米波融合的全天候目标检测方法,使用相机和毫米波雷达,同时采集图像数据和点云数据并进行预处理，而后使用融合模型对预处理后图像数据和点云数据进行融合,输出融合后的多维特征向量，再将融合后的特征图输入YOLOv5的检测网络进行检测，输出检测结果。但是，传统的毫米波雷达只能输出二维点云，无法获知外部环境高度方向上的信息，也就无法在三维空间中感知障碍物的大小和位置。所以当灰尘较多时，上述多传感器融合的方案相机的图像将会失效，只能通过毫米波雷达感知障碍物在二维空间中的位置，无法感知障碍物的在三维空间中的位置及大小。

而4D毫米波雷达作为一种近年新出现的传感器，在传统毫米波雷达的基础之上，增加了一个高度维度的信息，并且点云数量大大增加，可代替传统毫米波雷达与其他传感器融合，在其他传感器失效时能够获得更多的点云，得到更好的检测效果。

申请号为CN202110200544.2《4D毫米波和激光点云多视角特征融合的三维目标检测方法》的中国发明专利，提出同时采集4D毫米波雷达点云数据和激光雷达点云数据；将4D毫米波雷达点云数据和激光雷达点云数据，输入预先建立和训练好的毫米波与激光雷达融合网络，输出三维目标检测结果。但该发明并未提到复杂环境，如灰尘、风沙等情况下障碍物感知方法，且由于缺失了图像丰富的语义信息，对障碍物的分类能力有所下降。

综上所述，传统的毫米波雷达与相机进行融合的感知方法在有风沙扬尘时，由于只能得到毫米波雷达稀疏的二维点云，感知能力急速下降，无法感知障碍物的在三维空间中的位置及大小。而基于4D毫米波雷达与激光雷达融合的感知方法由于缺失图像丰富的语义信息，对目标分类能力不佳，且鲜有提到应对灰尘、风沙等情况的方法。

发明内容

有鉴于此，本发明提供一种基于4D毫米波雷达的矿区环境感知方法，通过视觉的辅助，感知障碍物在三维空间中的大小和位置及其类别，并且在灰尘风沙等情况下，准确感知障碍物在三维空间的位置和大小。

本发明提出的一种基于4D毫米波雷达的矿区环境感知方法，由以下步骤组成：

步骤一：接收4D毫米波雷达扫描得到的点云，滤除地面点云，保留障碍物的点云。

步骤二：将保留下来的点云先根据点云运动速度进行预分类，在预分类的基础上进行聚类处理，并将聚类结果得到的点云在三维空间中拟合包围盒。

在该步骤中，相比于激光雷达点云，毫米波雷达点云有其运动速度信息，于是先根据物体的运动速度进行预分类，将不同运动速度的点云分开聚类。这样的预分类的方式能将相距很近的但速度不同的物体分离，有利于提升聚类效果。在本发明中，采DBSCAN聚类算法，DBSCAN是一种基于密度的聚类算法，这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本，他们之间的紧密相连的，也就是说，在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类，这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，则我们就得到了最终的所有聚类类别结果。

步骤三：将聚类后的点云投影到相机同步采集到的图像上面，提取感兴趣区域。

在该步骤中，将聚类后的点云通过旋转矩阵与平移矩阵，一簇一簇投影到相机实时获取的图像平面上。每当一簇点云投影后，将投影点最左上方的点和最右下方的点作为包围框的左上角和右下角，将该矩形包围框内的图像截取为感兴趣区域。

步骤四：编码提取的图像感兴趣区域连同点云的反射强度信息，得到多维特征向量。

在该步骤中，首先对截取图像进行放缩操作，放缩到64*64的统一大小，而图像有RGB三个通道，该部分图像就可以用64*64*3的张量表示。并且将投影后的点云及其反射强度信息编码为64*64*1的张量，与图像64*64*3的张量拼接成64*64*4的张量。

步骤五：将多维特征向量送入神经网络，通过深度学习的方法进行障碍物分类，判断障碍物是否被被灰尘等遮挡，若被遮挡将其标注为不可视障碍物，否则将障碍物标注为神经网络检测出的类别。将神经网络的检测结果与步骤二中的拟合的包围盒相关联，得到三维目标检测结果。

在该步骤中，将步骤四编码后的64*64*4的张量送入神经网络进行分类。若神经网络未识别出障碍物，即出现灰尘等遮挡的情况，则将障碍物标注为不可视障碍物类别。否则，将障碍物标注为神经网络检测出的类别。

进一步，所述步骤一，通过以下步骤进行地面点云的滤除：

1)将毫米波雷达扫描点云集P按点云高度值进行升序排序，得到排序后的点云集P_sorted；

2)计算P_sorted中前N_LPR点高度的平均值，得到高度平均值LPR；

3)令i＝1；

4)遍历点云集P，将符合p_i.height<LPR+Th_seeds的点p_i加入地面点集P_g中；其中Th_seeds为初始地面的点云的距离阈值，p_i为点云集P中的点云，p_i.height为点云p_i的高度；

5)根据初始地面点集P_g拟合一个平面plane，然后清空地面点集P_g和非地面点集P_ng；

6)遍历点云集P，将距离平面plane在Th_dist范围以内的点加入地面点集P_g，以外的点加入非地面点集P_ng；其中Th_dist为距离平面plane的距离阈值；

7)判断i是否小于N_itr；若是，令i＝i+1，返回步骤4)；若否，输出非地面点集P_ng。

进一步，所述步骤二，所述聚类处理的步骤为：

1)初始化核心对象雷达点云集初始化聚类簇数k＝0，初始化未访问样本集合Γ＝P_ng，簇划分/>其中，P_ng＝(p_ng1,p_ng2,...,p_ngm)为经过步骤一滤除地面后的雷达点云集，Ω为核心对象雷达点云集，/>为空集；

2)对于j＝1,2,...m按下面的步骤找出所有的核心对象：

a)通过距离度量方式，找到样本x_j的∈邻域子样本集N∈(x_j)；其中，N∈(x_j)＝{x_q∈P_ng|distance(x_q,x_j)≤∈}，即对于x_j∈P_ng，其∈邻域包含样本集P_ng中与x_j的距离不大于∈的子样本集，

b)如果子样本集样本个数满足|N∈(x_j)|≥MinPts，将样本x_j加入核心对象雷达点云集：Ω＝Ω∪{x_j}；其中，|N∈(x_j)|为子样本集样本个数，MinPts为聚类时核心对象邻域内包含的最少样本数；

3)如果核心对象雷达点云集则算法结束，否则转入步骤4)；

4)在核心对象雷达点云集Ω中，随机选择一个核心对象o，初始化当前簇核心对象队列Ωcur＝{o},初始化类别序号k＝k+1，初始化当前簇样本集合C_k＝{o},更新未访问样本集合Γ＝Γ-{o}；

5)如果当前簇核心对象队列则当前聚类簇C_k生成完毕,更新簇划分C＝{C₁,C₂,...,C_k},更新核心对象雷达点云集Ω＝Ω-C_k，转入步骤3)；否则更新核心对象雷达点云集Ω＝Ω-C_k；

6)在当前簇核心对象队列Ωcur中取出一个核心对象o′,通过邻域距离阈值∈找出所有的∈邻域子样本集N∈(o′)，令Δ＝N∈(o′)∩Γ,更新当前簇样本集合C_k＝C_k∪Δ,更新未访问样本集合Γ＝Γ-Δ,更新Ωcur＝Ωcur∪(Δ∩Ω)-o′，转入步骤5)。

本发明与现有技术相比所具有的有益效果：

1、本发明提出了一种基于4D毫米波雷达的障碍物感知方法，基于4D毫米波雷达的特性，通过视觉的辅助，便能实现障碍物在三维空间中包围盒位置、大小的确定及分类，这是传统的毫米波雷达和视觉融合比较难以实现的。且由于4D毫米波雷达不易受灰尘影响，因此在灰尘较多的条件下，仍能实现对障碍物的包围盒在三维空间中的准确定位，这是基于激光雷达的感知方法难以实现的。

2、在该感知方法的实现中，提出了一种利用速度进行预分类的聚类方法，能够区分距离很近但是运动速度不同的物体，提高了聚类精度；

3、提出了一种投影到图像平面上的点云的编码方式，在利用神经网络进行识别分类时候，充分融合了点云的位置信息及其反射强度信息，提高了障碍物识别分类的准确度。

附图说明

图1基于4D毫米波雷达的矿区环境感知方法流程图；

图2神经网络结构图。

具体实施方式

下面结合附图和实施例对本发明进行进一步的详细介绍。

一种基于4D毫米波雷达的矿区环境感知方法，如图1所示，包括以下步骤：

步骤一：接收4D毫米波雷达扫描得到的点云，滤除地面点云，保留障碍物的点云。地面滤除算法步骤如下：

输入：毫米波雷达扫描点云集P，提取初始地面的点云的距离阈值Th_seeds，距离平面距离阈值Th_dist，计算高度平均值(LPR)所用点云个数N_LPR，循环次数N_itr；

输出：非地面点集P_ng；

1)将输入点云集P按点云高度值进行升序排序，得到排序后的点云集P_sorted；

2)计算P_sorted中前N_LPR点高度的平均值，得到高度平均值LPR；

3)令i＝1；

4)遍历点云集P，将符合p_i.height<LPR+Th_seeds的点p_i加入地面点集P_g中；

5)根据初始地面点集P_g拟合一个平面plane，然后清空地面点集P_g和非地面点集P_ng；

6)遍历点云集P，将距离平面plane在Th_dist范围以内的点加入地面点集P_g，以外的点加入非地面点集P_ng；

7)判断i是否小于N_itr。若是，令i＝i+1，返回步骤4)；若否，输出P_ng。

步骤二：设置(-5m/s,0m/s,5m/s)的速度阈值，先根据物体的运动速度将点云分为4类(小于-5，-5～0，0～5，大于5)，每一类单独用DBSCAN算法聚类。步骤如下：

输入：经过步骤一滤除地面后的雷达点云集P_ng＝(p_ng1,p_ng2,...,p_ngm)，邻域参数(∈,MinPts)，样本距离度量方式；输出：簇划分C＝(C₁，C₂，…)；

1)初始化核心对象雷达点云集初始化聚类簇数k＝0，初始化未访问样本集合Γ＝P_ng，簇划分/>其中/>为空集；

2)对于j＝1,2,...m按下面的步骤找出所有的核心对象：

a)通过距离度量方式，找到样本x_j的∈邻域子样本集N∈(x_j)；

b)如果子样本集样本个数满足|N∈(x_j)|≥MinPts，将样本x_j加入核心对象雷达点云集：Ω＝Ω∪{x_j}；

3)如果核心对象雷达点云集则算法结束，否则转入步骤4)；

4)在核心对象雷达点云集Ω中，随机选择一个核心对象o，初始化当前簇核心对象队列Ωcur＝{o},初始化类别序号k＝k+1，初始化当前簇样本集合C_k＝{o},更新未访问样本集合Γ＝Γ-{o}；

5)如果当前簇核心对象队列则当前聚类簇C_k生成完毕,更新簇划分C＝{C₁,C₂,...,C_k},更新核心对象雷达点云集Ω＝Ω-C_k，转入步骤3)；否则更新核心对象雷达点云集Ω＝Ω-C_k；

6)在当前簇核心对象队列Ωcur中取出一个核心对象o′,通过邻域距离阈值∈找出所有的∈邻域子样本集N∈(o′)，令Δ＝N∈(o′)∩Γ,更新当前簇样本集合C_k＝C_k∪Δ,更新未访问样本集合Γ＝Γ-Δ,更新Ωcur＝Ωcur∪(Δ∩Ω)-o′，转入步骤5)。

∈邻域：对于x_j∈P_ng，其∈邻域包含样本集P_ng中与x_j的距离不大于∈的子样本集，即N∈(x_j)＝{x_q∈P_ng|distance(x_q,x_j)≤∈},这个子样本集的个数记为|N∈(x_j)|。

核心对象：对于任一样本x_j∈P_ng，如果其∈邻域对应的N∈(x_j)至少包含MinPts个样本，即如果|N∈(x_j)|≥MinPts，则x_j是核心对象。

步骤三：将聚类后的点云C＝(C₁，C₂，…)通过旋转矩阵与平移矩阵，一簇一簇投影到相机实时获取的图像平面上，得到P_P＝{d₁，d₂，…}，d_l＝{(u₁,v₁,intensity₁),(u₂,v₂,intensity₂),…}。其中，u,v,intensity分别为投影点在图像上的坐标和投影点所对应的雷达点云的反射强度数值。d_l为P_P中一簇投影到图像平面的投影点，将该簇投影点最左上方的点(u_min,v_min)和最右下方的点(u_max,v_max)作为包围框的左上角和右下角，将该矩形包围框内的图像截取为感兴趣区域。

步骤四：首先对截取图像进行放缩操作，放缩到64*64的统一大小，而图像有RGB三个通道，该部分图像就可以用64*64*3的张量表示。并且将投影后的点云及其反射强度信息编码为64*64*1的张量，与图像64*64*3的张量拼接成64*64*4的张量。投影后的点云及反射强度编码步骤如下：

输入：毫米波雷达投影到相机平面的点集P_i{(u₁,v₁,intensity₁),(u₂,v₂,intensity₂),…}，(u_min,v_min)(u_max,v_max)；

输出：编码后的64*64*1的张量；

1)初始化一64*64的矩阵A令所有元素值为0；

2)遍历平面点集P_P，计算令a_i，j＝a_i，j+intensity_m；

3)将矩阵A转化为64*64*1的张量，编码完成。

步骤五：将步骤四编码后的64*64*4的张量送入神经网络进行分类。若神经网络未识别出障碍物，即出现灰尘等遮挡的情况，则将障碍物标注为不可视障碍物类别。否则，将障碍物标注为神经网络检测出的类别。本发明使用的神经网络如图2所示，该神经网络可以根据需求进行替换。

以上所述仅为本发明的具体实施方式，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于4D毫米波雷达的矿区环境感知方法，其特征在于，包括以下步骤：

S1，接收4D毫米波雷达扫描得到的点云，滤除地面点云，保留障碍物的点云；

S2，将障碍物的点云先根据点云运动速度进行预分类，在预分类的基础上进行聚类处理，并将聚类结果得到的点云在三维空间中拟合包围盒；

S3，将聚类后的点云投影到相机同步采集到的图像上面，在图像上拟合矩形包围框提取感兴趣区域；

S4，编码提取的图像感兴趣区域以及点云的反射强度信息，得到多维特征向量；

S5，将S4中得到的多维特征向量送入神经网络，通过深度学习的方法进行障碍物分类：若障碍物被遮挡，将障碍物标注为不可视障碍物；否则，将障碍物标注为神经网络检测出的类别；将神经网络的检测结果与S2中拟合的包围盒相关联，得到三维目标检测结果；

所述步骤S3具体为：将聚类后的点云通过旋转矩阵与平移矩阵，一簇一簇投影到相机实时获取的图像平面上；每当一簇点云投影后，将投影点最左上方的点和最右下方的点作为包围框的左上角和右下角，将该矩形包围框内的图像截取为感兴趣区域；

所述步骤S4具体为：首先对感兴趣区域的图像进行放缩操作，放缩到64*64的统一大小，得到该图像64*64*3的张量；将投影后的点云及其反射强度信息编码为64*64*1的张量，与图像64*64*3的张量拼接成64*64*4的张量；

投影后的点云及反射强度编码步骤如下：

输入：一簇毫米波雷达投影到相机平面的投影点，/>；

其中，u,v,intensity分别为投影点在图像上的坐标和投影点所对应的雷达点云的反射强度数值，该簇投影点最左上方的点，最右下方的点/>；

输出：编码后的64*64*1的张量；

1）初始化一64*64的矩阵A，令所有元素值为0；

2）遍历，计算/>，/>，令/>+/>；

3）将矩阵A转化为64*64*1的张量，编码完成。

2.根据权利要求1所述的一种基于4D毫米波雷达的矿区环境感知方法，其特征在于，所述步骤S1，通过以下步骤进行地面点云的滤除：

1）将毫米波雷达扫描点云集P按点云高度值进行升序排序，得到排序后的点云集；

2）计算中前/>点高度的平均值，得到高度平均值LPR，/>为计算高度平均值所用点云个数；

3）令；

4）遍历点云集P，将符合< LPR + />的点/>加入地面点集/>中；其中为初始地面的点云的距离阈值，/>为点云集P中的点云，/>为点云/>的高度；

5）根据初始地面点集拟合一个平面plane，然后清空地面点集/>和非地面点集/>；

6）遍历点云集P，将距离平面plane在 范围以内的点加入地面点集/>，以外的点加入非地面点集/>；其中/>为距离平面plane的距离阈值；

7）判断i是否小于，/>为循环次数；若是，令/>，返回步骤4）；若否，输出非地面点集/>。

3.根据权利要求1所述的一种基于4D毫米波雷达的矿区环境感知方法，其特征在于，所述步骤S2，所述聚类处理的步骤为：

1）初始化核心对象雷达点云集，初始化聚类簇数/>，初始化未访问样本集合，簇划分/>；其中， />为经过步骤S1滤除地面后的雷达点云集，/>为核心对象雷达点云集，/>为空集；

2)对于按下面的步骤找出所有的核心对象：

a) 通过距离度量方式，找到样本的/>邻域子样本集/>；其中，，即对于/>，其/>邻域包含样本集/>中与/>的距离不大于/>的子样本集，

b) 如果子样本集样本个数满足， 将样本/>加入核心对象雷达点云集：/>；其中，/>为子样本集样本个数，/>为聚类时核心对象邻域内包含的最少样本数；

3）如果核心对象雷达点云集，则算法结束，否则转入步骤4）；

4）在核心对象雷达点云集中，随机选择一个核心对象/>，初始化当前簇核心对象队列, 初始化类别序号/>，初始化当前簇样本集合/>, 更新未访问样本集合/>；

5）如果当前簇核心对象队列，则当前聚类簇/>生成完毕, 更新簇划分, 更新核心对象雷达点云集/>， 转入步骤3）；否则更新核心对象雷达点云集/>；

6）在当前簇核心对象队列中取出一个核心对象/>,通过邻域距离阈值/>找出所有的邻域子样本集/>，令/>, 更新当前簇样本集合/>, 更新未访问样本集合/>,更新/>，转入步骤5）。