CN112330746A - 一种基于tx2的移动底盘障碍物检测方法 - Google Patents

Abstract

本发明揭示了一种基于TX2的移动底盘障碍物检测方法，包括如下步骤：S1、在移动底盘上分别设置相机、激光雷达以及超声波雷达，标定参数，随后分别采集初始图像数据、初始点云数据以及初始探测数据；S2、分别对所采集的数据进行处理，得到图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集；S3、利用所得到候选集内的数据进行目标级融合，综合评判移动底盘周围障碍物的位置及置信度，并反馈对应的警报级别。本发明以多种传感器优劣互补、数据融合的方式了克服了现有技术中使用单一传感器的局限性，显著地提升了检测的准确性。而且由于本发明方法的硬件基础由多种廉价传感器和普通计算平台组成，技术方案实现成本较低。

Description

一种基于TX2的移动底盘障碍物检测方法

技术领域

本发明涉及一种障碍物检测方法，尤其涉及一种基于TX2的移动底盘障碍物检测方法，属于机器人感知技术领域。

背景技术

移动机器人是一种集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合***，它集中了传感器、信息处理、电子工程、计算机工程、自动化控制工程以及人工智能等多学科的研究成果，代表了机电一体化的最高成就，是目前科学技术发展最活跃的领域之一。

移动机器人感应***，是指设置在移动机器人上的，由传感器、主控器、执行器以及其他配件组成的***。众所周知，感知通常是决策的前提和条件，因此，感应***可以说是机器人、特别是移动机器人设备中十分重要的硬件***。

现阶段，工程上通常使用的障碍物探测有如下几种方式：

1、基于相机、通过图像处理技术进行目标检测和距离评估，但这种方式受光线影响较大且距离评估不够精准；

2、基于激光雷达、通过数据分析方法进行聚类分割，但这种方式中所使用的高线数雷达售价较高，而作为替代的低线束雷达分割效果不够理想；

3、基于超声波雷达、通过数据分析方法进行距离判断，但这种方式只能对固定范围内的物体最近距离做初探测，难以对各类复杂情况进行评估；

4、基于红外传感器、通过信号分析实现障碍物检测，尽管这种方式中所采用的硬件设备价格低廉，但在其使用过程中，仅仅会产生两个信号量，可用信息相对较少，只能够满足低速、小型化平台的使用需要。

通过以上分析可以看出，通过单一数量或者种类的传感器，往往难以在可控成本内获得想要的技术效果，而通过多种低价传感器的信息融合进行优劣互补，可以达到更好的检测效果、为智能移动平台的安全行驶保驾护航。

综上所述，鉴于当前的研究现状，如何提出一种兼顾使用效果与使用成本的移动底盘障碍物检测方法，就成为了本领域内技术人员所亟待解决的问题。

发明内容

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于TX2的移动底盘障碍物检测方法，具体如下。

一种基于TX2的移动底盘障碍物检测方法，包括如下步骤：

S1、在移动底盘上分别设置相机、激光雷达以及超声波雷达，标定相机的内部参数及外部参数，分别标定激光雷达及超声波雷达的外部参数，随后分别采集初始图像数据、初始点云数据以及初始探测数据；

S2、分别对所采集的初始图像数据、初始点云数据以及初始探测数据进行处理，得到图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集；

S3、利用所得到的图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集三者内的数据进行目标级融合，综合评判移动底盘周围障碍物的位置及置信度，并反馈对应的警报级别。

优选地，S1具体包括如下步骤：

S11、在移动底盘上分别设置相机、激光雷达以及超声波雷达；

S12、对所述相机的内部参数及外部参数进行标定，所述相机的内部参数包括所述相机的内参矩阵，所述相机的外部参数包括相机坐标系相对于移动底盘坐标系的转换矩阵；

对激光雷达的外部参数进行标定，激光雷达的外部参数包括激光雷达坐标系相对于移动底盘坐标系的转换矩阵；

对超声波雷达的外部参数进行标定，超声波雷达的外部参数包括超声波雷达坐标系相对于移动底盘坐标系的转换矩阵；

S13、利用相机驱动程序采集初始图像数据，利用激光雷达驱动程序采集初始点云数据，利用超声波雷达驱动程序采集初始探测数据。

优选地，S2具体包括如下步骤：

S21、对于初始图像数据，通过加载目标检测网络模型及参数，实现基于图像的人、车、自行车目标检测，生成图像障碍物候选集；

S22、对于初始点云数据，利用激光雷达的外部参数转换距离关系到移动底盘坐标系下，实现基于欧式几何聚类的点云分割，生成点云障碍物候选集；

S23、对于初始探测数据，通过数据分析算法进行障碍物判断，利用超声波雷达的外部参数转换距离关系到移动底盘坐标系下，生成距离障碍物候选集。

优选地，S21具体包括如下步骤：

S211、基于YOLOv3目标检测网络模型、利用KITTI进行网络权重参数重训练，得到参数矩阵；

S212、对于初始图像数据，通过加载YOLOv3目标检测网络模型、所述相机的内参矩阵及相机坐标系相对于移动底盘坐标系的转换矩阵，进行目标检测计算，实现当前时间的原始图像数据的人、车、自行车等多种路面常见障碍物的检测，生成图像障碍物候选集。

优选地，S22具体包括如下步骤：

S221、利用激光雷达坐标系相对于移动底盘坐标系的转换矩阵计算出当前时间下的初始点云数据在移动底盘坐标系下的数据；

S222、基于高斯滤波算法过滤转换坐标系后初始点云数据中的错误数据，生成预处理后的点云数据；

S223、基于RANSAC的平面拟合算法，对预处理后的点云数据进行基准平面点云的匹配及去除；

S224、设置合理的聚类半径参数，基于欧式几何聚类算法对当前的点云数据进行点云分割，并进行边界回归，对每个分割出来的点云集合生成最小回归框，整合所有回归框，生成点云障碍物候选集。

优选地，S23具体包括如下步骤：

S231、对于初始探测数据，通过距离阈值依次判断该超声波所对应方向是否有近距离障碍物，若初始探测数据小于距离阈值，则按序进入S232；

S232、利用超声波雷达坐标系相对于移动底盘坐标系的转换矩阵转换距离关系到移动底盘坐标系下，合并所有经过坐标变换的距离阈值范围内的数据，生成距离障碍物候选集。

优选地，S3具体包括如下步骤：

S31、基于图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集三者，分别以0.6、0.4的权重加权合并点云障碍物候选集与距离障碍物候选集，得到空间障碍物候选集；

S32、基于视锥范围合并图像障碍物候选集和空间障碍物候选集，对于图像障碍物候选集所对应视锥的无对应后续空间障碍物的，按单目测距原理估算其距离，并合并入障碍物集合；

S33、对于同时满足障碍物置信度高于置信阈值及障碍物距离小于距离阈值这两个条件的障碍物进行高风险报警，对于只符合其中一个条件的障碍物进行中风险报警，其他障碍物反馈预警信号。

与现有技术相比，本发明的优点主要体现在以下几个方面：

本发明所提出的一种基于TX2的移动底盘障碍物检测方法，以多种传感器优劣互补、数据融合的方式了克服了现有技术中使用单一传感器的局限性，显著地提升了检测的准确性。而且由于本发明方法的硬件基础由多种廉价传感器和普通计算平台组成，相比高精度检测***而言更为廉价，技术方案实现成本较低。同时，本发明的方法复杂度较低，可以在TX2计算平台或其他智能机器人平台上实时运行、实现在各类移动底盘上的灵活搭载。

此外，本发明也为同领域内的其他技术方案提供了参考依据，可以以此为基础进行拓展延伸，运用于其他与机器人感知有关的技术方案中，具体很高的使用及推广价值。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1是本发明方法的整体流程示意图；

图2是本发明方法中基于欧式几何聚类的点云分割操作的流程示意图；

图3是本发明方法中障碍物候选集目标级融合算法的流程示意图。

具体实施方式

本发明揭示了一种基于TX2的移动底盘障碍物检测方法，通过对图像目标检测、点云聚类分割、超声波雷达距离探测等结果进行目标级的数据融合，实现了对移动底盘周围的障碍物检测，可输出周围障碍物在移动底盘基准坐标系中的位置并根据距离和置信度反馈警报级别。其具体方案如下。

如图1所示，一种基于TX2的移动底盘障碍物检测方法，所述的TX2是指NVIDIAJetson TX2核心板，方法包括如下步骤：

S1、在移动底盘上分别设置相机、激光雷达以及超声波雷达，标定相机的内部参数及外部参数，分别标定激光雷达及超声波雷达的外部参数，随后分别采集初始图像数据、初始点云数据以及初始探测数据。

S2、分别对所采集的初始图像数据、初始点云数据以及初始探测数据进行处理，得到图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集。

S3、利用所得到的图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集三者内的数据进行目标级融合，综合评判移动底盘周围障碍物的位置及置信度，并反馈对应的警报级别。

进一步而言，S1具体包括如下步骤：

S11、在移动底盘上分别设置相机、激光雷达以及超声波雷达。

S12、对所述相机的内部参数及外部参数进行标定，所述相机的内部参数包括所述相机的内参矩阵，所述相机的外部参数包括相机坐标系相对于移动底盘坐标系的转换矩阵；

对激光雷达的外部参数进行标定，激光雷达的外部参数包括激光雷达坐标系相对于移动底盘坐标系的转换矩阵；

对超声波雷达的外部参数进行标定，超声波雷达的外部参数包括超声波雷达坐标系相对于移动底盘坐标系的转换矩阵。

S13、利用相机驱动程序采集初始图像数据，利用激光雷达驱动程序采集初始点云数据，利用超声波雷达驱动程序采集初始探测数据。

进一步而言，S2具体包括如下步骤：

S21、对于初始图像数据，通过加载目标检测网络模型及参数，实现基于图像的人、车、自行车目标检测，生成图像障碍物候选集。

S21具体包括如下步骤：

S211、基于YOLOv3目标检测网络模型、利用KITTI（无人驾驶数据集）进行网络权重参数重训练，得到参数矩阵，此处需要说明的是，在这一步骤中，对于YOLOv3目标检测网络模型，需要修改输入图片大小及训练参数；

S212、对于初始图像数据，通过加载YOLOv3目标检测网络模型、所述相机的内参矩阵及相机坐标系相对于移动底盘坐标系的转换矩阵，进行目标检测计算，实现当前时间的原始图像数据的人、车、自行车等多种路面常见障碍物的检测，生成图像障碍物候选集，此处需要说明的是，在这一步骤中对于YOLOv3目标检测网络模型，需要修改图片输入接口为相机视频流原始图片，且对于所加载的两个矩阵，需要使用参数重训练后的权重。

S22、对于初始点云数据，利用激光雷达的外部参数转换距离关系到移动底盘坐标系下，实现基于欧式几何聚类的点云分割，生成点云障碍物候选集。

如图2所示，S22具体包括如下步骤：

S221、利用激光雷达坐标系相对于移动底盘坐标系的转换矩阵计算出当前时间下的初始点云数据在移动底盘坐标系下的数据、即初始点云数据乘激光雷达的外部参数；

S222、基于高斯滤波算法过滤转换坐标系后初始点云数据中的错误数据、即离群杂点，生成预处理后的点云数据；

S223、基于RANSAC（随机一致性采样）的平面拟合算法，对预处理后的点云数据进行基准平面点云的匹配及去除、即去除除基准平面及其附近点云数据；

S224、设置合理的聚类半径参数、此处应针对对不同距离的点云数据设置不同的聚类半径，基于欧式几何聚类算法对当前经过S223处理后的点云数据进行点云分割、即将离散的点云数据聚类成目标点云的几何，并进行边界回归，对每个分割出来的点云集合生成最小回归框，整合所有回归框、即最小长方体，生成点云障碍物候选集。

S23、对于初始探测数据，通过数据分析算法进行障碍物判断，利用超声波雷达的外部参数转换距离关系到移动底盘坐标系下，生成距离障碍物候选集。

S23具体包括如下步骤：

S231、对于初始探测数据，通过距离阈值依次判断该超声波所对应方向是否有近距离障碍物，若初始探测数据小于距离阈值，则按序进入S232；

S232、利用超声波雷达坐标系相对于移动底盘坐标系的转换矩阵转换距离关系到移动底盘坐标系下，合并所有经过坐标变换的距离阈值范围内的数据，生成距离障碍物候选集。

进一步而言，如图3所示，S3具体包括如下步骤：

S31、基于图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集三者，以0.6：0.4的权重加权合并点云障碍物候选集与距离障碍物候选集，得到空间障碍物候选集；在这一步骤中需要说明的是，点云障碍物候选集与距离障碍物候选集范围重合的障碍物置信度为1，只存在于点云障碍物候选集的障碍物置信度为0.6，只存在于距离障碍物候选集的障碍物置信度为0.4。

S32、基于视锥范围、即利用相机的内部参数和外部参数计算图像障碍物候选集范围所对应的三维空间范围，合并图像障碍物候选集和空间障碍物候选集，对于图像障碍物候选集所对应视锥的无对应后续空间障碍物的，按单目测距原理估算其距离、即对于图像障碍物候选集所对应视锥的有对应后续空间障碍物的，以距离障碍物距离为该目标距离，并合并入障碍物集合。

S33、对于同时满足障碍物置信度高于置信阈值及障碍物距离小于距离阈值这两个条件的障碍物进行高风险报警，对于只符合其中一个条件的障碍物进行中风险报警，其他障碍物反馈预警信号。

综上所述，本发明以多种传感器优劣互补、数据融合的方式了克服了现有技术中使用单一传感器的局限性，显著地提升了检测的准确性。而且，由于本发明方法的硬件基础由多种廉价传感器和普通计算平台组成，相比高精度检测***而言更为廉价，技术方案实现成本较低。同时，本发明的方法复杂度较低，可以在TX2计算平台或其他智能机器人平台上实时运行、实现在各类移动底盘上的灵活搭载。

此外，本发明也为同领域内的其他技术方案提供了参考依据，可以以此为基础进行拓展延伸，运用于其他与机器人感知有关的技术方案中，具体很高的使用及推广价值。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

最后，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于TX2的移动底盘障碍物检测方法，其特征在于，包括如下步骤：

S1、在移动底盘上分别设置相机、激光雷达以及超声波雷达，标定相机的内部参数及外部参数，分别标定激光雷达及超声波雷达的外部参数，随后分别采集初始图像数据、初始点云数据以及初始探测数据；

S2、分别对所采集的初始图像数据、初始点云数据以及初始探测数据进行处理，得到图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集；

S3、利用所得到的图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集三者内的数据进行目标级融合，综合评判移动底盘周围障碍物的位置及置信度，并反馈对应的警报级别。

2.根据权利要求1所述的一种基于TX2的移动底盘障碍物检测方法，其特征在于，S1具体包括如下步骤：

S11、在移动底盘上分别设置相机、激光雷达以及超声波雷达；

S12、对所述相机的内部参数及外部参数进行标定，所述相机的内部参数包括所述相机的内参矩阵，所述相机的外部参数包括相机坐标系相对于移动底盘坐标系的转换矩阵；

对激光雷达的外部参数进行标定，激光雷达的外部参数包括激光雷达坐标系相对于移动底盘坐标系的转换矩阵；

对超声波雷达的外部参数进行标定，超声波雷达的外部参数包括超声波雷达坐标系相对于移动底盘坐标系的转换矩阵；

S13、利用相机驱动程序采集初始图像数据，利用激光雷达驱动程序采集初始点云数据，利用超声波雷达驱动程序采集初始探测数据。

3.根据权利要求2所述的一种基于TX2的移动底盘障碍物检测方法，其特征在于，S2具体包括如下步骤：

S21、对于初始图像数据，通过加载目标检测网络模型及参数，实现基于图像的人、车、自行车目标检测，生成图像障碍物候选集；

S22、对于初始点云数据，利用激光雷达的外部参数转换距离关系到移动底盘坐标系下，实现基于欧式几何聚类的点云分割，生成点云障碍物候选集；

S23、对于初始探测数据，通过数据分析算法进行障碍物判断，利用超声波雷达的外部参数转换距离关系到移动底盘坐标系下，生成距离障碍物候选集。

4.根据权利要求3所述的一种基于TX2的移动底盘障碍物检测方法，其特征在于，S21具体包括如下步骤：

S211、基于YOLOv3目标检测网络模型、利用KITTI进行网络权重参数重训练，得到参数矩阵；

S212、对于初始图像数据，通过加载YOLOv3目标检测网络模型、所述相机的内参矩阵及相机坐标系相对于移动底盘坐标系的转换矩阵，进行目标检测计算，实现当前时间的原始图像数据的人、车、自行车等多种路面常见障碍物的检测，生成图像障碍物候选集。

5.根据权利要求3所述的一种基于TX2的移动底盘障碍物检测方法，其特征在于，S22具体包括如下步骤：

S221、利用激光雷达坐标系相对于移动底盘坐标系的转换矩阵计算出当前时间下的初始点云数据在移动底盘坐标系下的数据；

S222、基于高斯滤波算法过滤转换坐标系后初始点云数据中的错误数据，生成预处理后的点云数据；

S223、基于RANSAC的平面拟合算法，对预处理后的点云数据进行基准平面点云的匹配及去除；

S224、设置合理的聚类半径参数，基于欧式几何聚类算法对当前的点云数据进行点云分割，并进行边界回归，对每个分割出来的点云集合生成最小回归框，整合所有回归框，生成点云障碍物候选集。

6.根据权利要求3所述的一种基于TX2的移动底盘障碍物检测方法，其特征在于，S23具体包括如下步骤：

S231、对于初始探测数据，通过距离阈值依次判断该超声波所对应方向是否有近距离障碍物，若初始探测数据小于距离阈值，则按序进入S232；

S232、利用超声波雷达坐标系相对于移动底盘坐标系的转换矩阵转换距离关系到移动底盘坐标系下，合并所有经过坐标变换的距离阈值范围内的数据，生成距离障碍物候选集。

7.根据权利要求3所述的一种基于TX2的移动底盘障碍物检测方法，其特征在于，S3具体包括如下步骤：

S31、基于图像障碍物候选集、点云障碍物候选集以及距离障碍物候选集三者，分别以0.6、0.4的权重加权合并点云障碍物候选集与距离障碍物候选集，得到空间障碍物候选集；

S32、基于视锥范围合并图像障碍物候选集和空间障碍物候选集，对于图像障碍物候选集所对应视锥的无对应后续空间障碍物的，按单目测距原理估算其距离，并合并入障碍物集合；

S33、对于同时满足障碍物置信度高于置信阈值及障碍物距离小于距离阈值这两个条件的障碍物进行高风险报警，对于只符合其中一个条件的障碍物进行中风险报警，其他障碍物反馈预警信号。

Images