CN115546741A - 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法 - Google Patents

Abstract

本发明公开了一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法：(1)使用激光雷达获取无人艇航行环境的数字点云信息并进行滤波处理；(2)使用双目相机获取航行环境的图像信息；(3)将激光雷达与双目相机各自获取的海上环境信息进行同步与融合，确定海上的障碍物位置及分类；(4)基于Atlas500人工智能平台，搭建以YOLO_v3算法为核心的海洋环境障碍物识别***并训练其学习辨别障碍物，从激光雷达‑相机协助***所获得的图像信息中辨别出障碍物并计算障碍物距离。该发明弥补了使用单一传感器的缺点并结合各自的优势，通过信息融合整合不同传感器得到的障碍物特征信息，更适应复杂海况环境，提高对海上障碍物的识别能力。

Description

一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法

技术领域

本发明涉及障碍物识别，尤其涉及一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法。

背景技术

水面无人艇(USV)具有体积小、智能、机动灵活等优点，在军事、民用领域都有了广泛应用，常用于水域测量、恶劣海上环境监测等方面。对无人艇航行环境高效而准确的感知，是实现无人艇自主航行的第一要素。海上环境多变，受天气影响严重、水面目标在视场中占据的范围较小，边缘和纹理特征较为不明显等问题，都是海洋环境感知的难点。海上障碍物识别是海洋环境感知的重要部分，包括对障碍物目标的分类识别、障碍物尺寸位置信息等，是后续无人艇完成避障、目标跟踪、决策等工作的前提。

目前，使用单一传感器的环境感知技术存在一些不足，难以达到需要的检测效果。光学相机可以很好地识别出海上的障碍物，但在雨雾天等恶劣环境下分辨率差、且视场范围有限。航海雷达识别范围广，但近距离存在盲区，感知精度、感知频率低。毫米波雷达穿透性强，因而能适应海上雨雾天的恶劣环境，但其检测精度不够高，在海面状况较为复杂的环境下更可能误识漏识。使用多传感器作为环境信息获取途径有可能避免单一传感器的局限性。

经过检索发现，公开号为CN111856448A，公开日为2020.10.30的中国发明专利申请《基于双目视觉和雷达的海上障碍物识别方法及***》，使用双目视觉和毫米波雷达以实现海上障碍物识别。***采用毫米波雷达，体积小、质量轻，便于携带，且在恶劣的天气环境下仍能正常工作，这是其他传感器都不具备的特点。但是毫米波雷达对海洋环境的感知能力较弱，精度较低，获取的点云密度稀疏，且只能得到与目标的距离平面信息，不能得到物体的三维特征信息。而激光雷达可以准确获取海上目标的三维轮廓信息，获取周围环境精度更高，同时不存在角度盲区，无论是获取障碍物目标三维信息还是海上三维环境重建都更有优势。

综上所述，当前多传感器协同和信息融合方面在无人艇上的应用仍比较少，尚欠缺成熟的方法。

发明内容

本发明的目的在于克服上述现有技术的缺点和不足，提供一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法。通过双目摄像头提供类别信息，弥补了激光雷达无法探测目标类别的缺点；激光雷达具有测距精度高的特点，能够弥补双目相机测距精度低。双目视觉相机与激光雷达构成的信息获取***克服了单一传感器存在的不足，在确保定位精度和识别准确率的前提下，无人艇更能适应恶劣海况的作业实施。

本发明通过下述技术方案实现：

一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法，包括如下步骤：

步骤1：双目视觉相机采集图像信息和激光雷达采集点云数据，对点云数据进行滤波处理，两者数据信息进行时间同步；

步骤2：根据训练好的深度学***行校正；获取海面障碍物数据集并采用深度学习算法训练出神经网络训练模型，为海面障碍物分类、标签；对神经网络模型检测到的障碍物信息进行TensorRT模型转换；根据立体成像原理，利用立体相机标定的参数和视差值，根据公式计算出目标三维点云的坐标。

步骤3：根据时间同步后的雷达数据框选数据中的感兴趣区域，根据神经网络模型提取激光雷达点云数据中的海上障碍物特征信息；

步骤4：对双目视觉相机和激光雷达得到的目标物体的位置信息进行空间融合，对空间融合后的数据进行目标匹配及障碍物特征信息融合，加上所述双目视觉图像模块中的障碍物分类标签，完成对海洋环境障碍物的识别，具体为：利用激光雷达点云数据作为目标检测的第一、三维信息；利用双目立体视觉相机输出图像数据的二维信息；根据图像数据的深度信息以及图像数据的二维信息作为目标检测第二、三维信息；融合第一、三维信息和第二、三维信息中的相同目标，得到目标检测结果。

所述时间同步，具体为：相机每采集一帧图像，同时选取激光雷达上一帧缓存的数据，即完成共同采样同一帧雷达模块与双目立体视觉模块的数据。

所述深度学习网络模型为YOLOV3卷积神经网络。

本发明相对于现有技术，具有如下的优点及效果：

1、本发明获取环境信息的设备具有互补性。通过双目摄像头提供视觉图像信息，弥补了激光雷达只能探测目标的大小及位置，而无法探测目标类别的缺点。激光雷达测距精度高，弥补了双目摄像头测距精度低的缺点，克服了单一传感器的不足。在确保近距离无盲区且感知精度足够高的情况下，保证无人艇对障碍物的识别与绕行。

2、本发明双目立体视觉模块内采用了较为成熟的基于实时卷积神经网络的YOLOV3算法，大幅提升了双目立体视觉模块的实时性，以满足无人艇的工作需求。

3、本发明采用激光雷达进行海洋环境感知，探测距离远、测距精度高，没有角度盲区，更适合在海上环境工作。

本发明对双目视觉模块与雷达模块进行联合标定，标定后将两个模块处理后的目标特征信息融合，即可获得目标的标签分类与位置信息等。

附图说明

图1为本发明基于双目视觉和激光雷达的无人艇海洋环境障碍物识别方法的流程示意图。

图2为本发明双目立体视觉和激光雷达进行联合标定的示意图。

图3为本发明激光雷达采集数据的双边滤波与体素滤波处理，即原点云。

图4为本发明激光雷达采集数据的双边滤波与体素滤波处理，即双边滤波后的点云与原点云进行比较。

具体实施方式

下面结合具体实施例对本发明作进一步具体详细描述。

如图1所示，本发明公开了一种基于双目视觉和激光雷达的海上障碍物识别方法，采用双目视觉和激光雷达传感器融合可以利用两种传感器互补的优势，完成了对障碍物目标进行分类和定位的任务。

本实施例通过使用光学传感器中的双目相机获取可见光图像并进行目标的检测和分类识别，一方面得到目标的分类标签，另一方面得到目标在图像坐标系下的区域位置作为框出的兴趣区域，并在框选区域内进行双目立体视觉的特征提取和同名点匹配算法，对目标进行三维重建；同时用激光雷达传感器对目标进行探测得到目标的三维点云数据，并经过点云处理算法，得到目标在船体坐标系下的坐标信息。

通过对两种传感器检测得到的信息进行特征信息提取和匹配，将视觉传感器和雷达传感器检测得到的目标进行对应，实现对雷达检测的目标进行分类标签标注。

具体包括以下步骤：

(1)对双目立体视觉模块中的视觉传感器进行标定；

(2)对激光雷达传感器进行标定；

(3)对双目相机传感器和激光雷达传感器进行时间同步；

(4)通过YOLOV3深度学习算法对海上目标进行神经网络训练，得到训练好的神经网络训练模型；

(5)通过神经网络模型对输入图像进行障碍物检测和分类，得到图像坐标系下的图像坐标信息和类别信息；

(6)采用基于神经网络初定位和双目视觉SAD匹配算法的双目立体视觉算法对障碍物目标进行三维重建，获取目标的位置信息和速度信息；

(7)激光雷达感知环境中目标障碍物的位置；

(8)通过神经网络模型对检测点云数据中的目标信息，得到障碍物目标特征信息；

(9)对激光雷达和双目立体视觉检测出的障碍物目标的特征信息进行目标匹配和数据融合，得到更为全面准确的障碍物目标信息；

(10)根据最优配对将障碍物目标打上类别标签。

(11)通过信息融合得到的障碍物目标坐标信息以及对应的目标类别信息作为最后***的输出。

其中，激光雷达与双目相机传感器空间融合就是将不同传感器坐标系的测量值转换到同一个坐标系中，本实施例需要通过标定得到双目立体视觉坐标系和船体坐标系，雷达坐标系和船体坐标系之间的转换矩阵，通过联合标定得到激光雷达和相机之间的空间转换矩阵，如图2所示，即可实现多传感器的空间融合。

激光雷达和视觉信息除了在空间上需要进行融合，还需要传感器在时间上同步采集数据，实现时间的融合。根据激光雷达功能工作手册，其采样帧率为20Hz，即20帧/秒，而双目相机采样帧速率为25帧/秒。为了保证数据的可靠性，相机每采集一帧图像，同时选取激光雷达上一帧缓存的数据，即完成共同采样一帧雷达模块与视觉模块的数据，从而保证了激光雷达数据和双目相机数据时间上的同步。

基于特征点提取和匹配求取视差并进行三维重建的原理如下：摄像头成像模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换，双目立体视觉***由左摄像机和右摄像机两个摄像机组成，选取世界坐标系与左摄像头相机坐标系重合，对于空间中的物点p，视差为p点在左右图像中投影的位置差，定义为d；基线距离为左右相机光心的距离，定义为b；f为两个摄像头原则上选取同种规格和参数的摄像头，所以认为具有相同的焦距，设置为f(u1,v1)，(u2,v2)分别为p点在左右图像中的像素坐标。根据基于视差的三维重建原理，可以得到在坐标系下的三维坐标(xc,yc,zc)与视差d和摄像头焦距f的关系如下：

本实施例中的双目立体视觉模块中算法的具体实现步骤为：

步骤1：基于张正友标定法，利用matlab工具箱对双目相机进行人工辅助立体标定，并进行畸变矫正和平行校正；

步骤2：获取各类海面障碍物数据集，标定一部分数据集后使用YOLOV3深度学习算法先训练出简单的神经网络训练模型，使用简单的神经网络训练模型辅助标定数据集，再手工调整标签；

步骤3：准备大量数据集，对数据集进行处理与划分；

步骤4：使用控制变量法调整训练参数，多次实验后分析对比结果，选择最优模型；

步骤5：进行TensorRT模型转换；

步骤6：根据立体成像原理，利用立体相机标定的参数和视差值，

根据公式计算出目标三维点云的坐标。传统算法通常采用SIFT、SURF等特征点检测算法并进行特征点匹配进而得到视差值。然而此类特征点检测算法的特征提取算子本身复杂度高，且算法要对左右图像中全局进行特征提取，过程耗时较长，实时性差。

针对上述问题，本实施例在步骤2和3中对传统双目立体视觉算法做出以下改进：利用各类海面障碍物数据集，训练基于YOLOV3深度学习算法的神经网络模型，该模型后续可持续性学习，对各类海面障碍物的图像进行图像区域划分与特征提取。基于YOLOV3的神经网络模型对图像中可能存在海面障碍物的区域进行事先划分，减少了特征检测的工作量，增强了双目视觉模块的实时性。

YOLOV3借鉴了ResNet的残差结构，在YOLOV2的基础上增加了骨干网络结构的深度，采用Darknet-53作为骨干网络以代替Darknet-19而又保证了训练效果，从而提升了骨干网络的性能，YOLOV3的计算与预测速度是YOLOV2的近四倍。在结合实际需求作好对YOLOV3的训练后，YOLOV3算法在GPU上进行实际测试式处理速率可达到每秒34帧，该速率已经能够满足无人艇海面航行的实时处理要求。

步骤4通过比较平均精度均值(mAP)、查全率(recall)来判断模型效果，通过控制变量法调整参数对测试集进行检测。

步骤5使用TensorRT模型转换有利于提高模型的推理速度。

双目立体视觉模块的最终输出信息为水面障碍物的位置信息与目标的类别信息。

激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达***。其向目标发射激光束，然后将接收到的反射信号与发射信号比较，适当处理后即可获得目标的有关信息，如位置、速度、姿态等。

激光雷达因其分辨率高、使用轻便而被大量用于环境感知领域。

本实施例中激光雷达目标检测算法的实现步骤为：对激光雷达采集到的三维点云数据进行双边滤波器滤波与体素滤波器滤波；将滤波处理后的雷达采集点云数据与双目立体视觉***的校正后图像进行时间同步；在时间同步后的数据中框选感兴趣的区域，并在区域内识别海上障碍物，提取其特征信息；将上述获得的海上障碍物数据与特征信息用于激光雷达模块所采集数据与双目立体视觉***所采集数据的空间融合，进行目标匹配与海上障碍物的特征信息融合。

本实施例为了减少激光雷达模块中的数据量，对于激光雷达的初采集数据进行了双边滤波处理与体素滤波处理。双边滤波处理能够提升点云边缘平滑程度，同时点的数量将会有小幅度降低；进行体素滤波处理能够在保证保持原始点云外形特征的基础上大幅减少点云的点数量，提升点云运算时的计算速度。双边滤波处理前后对比如图3、图4所示。

本实施例中多传感器信息融合是将双目立体视觉模块和激光雷达目标检测模块得到的目标信息进行匹配融合的过程。不同传感器在经过联合标定后，不同传感器之间采集到的数据信息可以相互转换。对采集到的目标检测信息时间同步后进行空间融合，接着进行同一目标匹配和目标特征信息的融合，完成立体视觉模块数据和雷达模块数据的信息融合。信息融合模块主要包括：时间同步、空间融合、信息融合***框架。

传感器时间上的信息融合需要两种传感器在时间上同步，则应在主控制程序中创建两种传感器信息的接收线程，并设置当激光雷达采集当前时间的信息时相机也同时检测当前帧图像，从而保证两者信息达到时间上的同步。为了保证数据的可靠性，由于双目相机帧率高于激光雷达，相机每采集一帧图像，同时选取激光雷达上一帧缓存的数据，即完成共同采样一帧雷达模块与视觉模块的数据，从而保证了激光雷达数据和双目相机数据时间上的同步。

将双目相机和激光雷达进行联合标定得出激光雷达坐标系到相机像素坐标系的空间转换矩阵，如图2所示，以完成多传感器的空间融合。步骤如下：

步骤1：基于张正友标定法，利用matlab工具箱对双目相机进行人工辅助立体标定，并进行畸变矫正和平行校正；测定双目相机安装距离，完成相机到船体坐标系的外参数标定。

步骤2：完成激光雷达到船体坐标系的外参数标定。

步骤3：双目相机和激光雷达的联合标定。

激光雷达与双目相机的联合标定，需要将激光雷达坐标系映射到双目相机的坐标系下，两个坐标系转化关系为：

XL＝RLCXC+TLC

其中RLC表示激光雷达坐标系与双目相机坐标系的旋转矩阵，TLC表示激光雷达坐标系与双目相机坐标系的平移矩阵。

信息融合***框架：利用激光雷达输出点云数据作为目标第一、三维信息；利用双目立体视觉相机输出图像数据的二维信息；根据图像数据的深度信息以及图像数据的二维信息作为目标第二、三维信息；融合第一、三维信息和第二、三维信息中的相同目标。这样，可以结合第一、三维信息和第二、三维信息各自的优势，得到较为准确的目标检测结果。具体步骤如下：

步骤1：利用神经网络模型输出激光雷达点云数据的第一、三维信息。

本申请实施例中，第一、三维信息包括用于表示图像数据中的第一目标的第一立体框的信息，也即用于表示第一立体框的位置的第一坐标[x,y,z,l,w,h]，其中x、y、z为第一立体框的坐标信息，l、w、h分别代表第一立体框的长、宽、高信息。其中，一帧图像数据中的第一目标的数量可以为一个或多个，每个第一目标对应一个第一立体框。

神经网络模型根据点云样本信息训练获得，具体为：在获取点云样本并标注好数据集后，在待训练的神经网络模型中输入点云样本数据，利用待训练的神经网络模型输出预测三维信息。后续将点云数据输入到训练好的神经网络模型中，神经网络模型能够输出用来表示第一目标的第一立体框的位置的第一坐标。

步骤2：根据图像数据的深度信息以及图像数据的二维信息确定第二、三维信息。

本申请实施例中，第二、三维信息包括用于表示图像数据中的第二目标的第二立体框的信息，也即用于表示第二立体框的位置的第二坐标[x,y,z,l,w,h]，其中x、y、z为第二立体框的坐标信息，l、w、h分别代表第二立体框的长、宽、高信息。其中，一帧图像数据中的第二目标的数量可以为一个或多个，每个第二目标对应一个第一立体框。

根据前面所述分类识别目标障碍物时神经网络划分出目标的感兴趣区域以及双目立体视觉提供的图像数据的深度信息，两者共同组成第二目标的第二立体框的位置的第二坐标。

步骤3：融合第一、三维信息和第二、三维信息中的目标，得到目标检测结果。

本申请实施例中，相同目标表示第一、三维信息中的第一目标与第二、三维信息中的第二目标是同一时刻下雷达模块和视觉模块识别到的同个物体。利用框定出的第一立体框与第二立体框的交叠比例(或称交并比IoU)，确定两者是否为相同目标：

即识别为同一目标

由于激光雷达的测距精度高于双目立体视觉；而相机能够准确的获得物体的尺寸，该图像数据二维信息中的平面信息是相对准确的，因此根据激光雷达数据的深度信息以及图像数据的二维信息得到的图像数据对应的三维信息，该三维信息中的平面信息也是相对准确的。

在融合第一、三维信息和第二、三维信息中的相同目标的过程中，第一、三维信息中用于表示图像数据深度信息的权重应大于第二、三维信息中用于表示图像数据深度的信息的权重，第一、三维信息中用于表示图像数据平面的信息的权重小于第二、三维信息中用于表示图像数据平面的信息的权重。这样，结合第一、三维信息和第二、三维信息各自的优势，可以得到较为准确的目标检测结果。

双目立体视觉相机可以检测到不同障碍物并识别其类别，激光雷达可以检测到不同障碍物的精确位置。根据上述的信息融合，可以将双目立体视觉相机与激光雷达各自检测到的障碍物进行匹配。至此，双目立体视觉相机与激光雷达所采集的信息融合，完成对海上障碍物目标的识别、分类与定位

如上所述，便可较好地实现本发明。

本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法，其特征在于包括如下步骤：

步骤1：双目视觉相机采集图像信息和激光雷达采集点云数据，对点云数据进行滤波处理，两者数据信息进行时间同步；

步骤2：根据训练好的深度学习网络模型和时间同步后的双目视觉图像，识别海上障碍物、提取其特征信息并进行分类标签；

步骤3：根据时间同步后的雷达数据框选数据中的感兴趣区域，根据神经网络模型提取激光雷达点云数据中的海上障碍物特征信息；

步骤4：对双目视觉相机和激光雷达得到的目标物体的位置信息进行空间融合，对空间融合后的数据进行目标匹配及障碍物特征信息融合，加上所述双目视觉图像模块中的障碍物分类标签，完成对海洋环境障碍物的识别。

2.根据权利要求1所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法，其特征在于：

所述时间同步，具体为：相机每采集一帧图像，同时选取激光雷达上一帧缓存的数据，即完成共同采样同一帧雷达模块与双目立体视觉模块的数据。

3.根据权利要求2所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法，其特征在于：根据训练好的深度学习网络模型和时间同步后的双目视觉图像，提取海上障碍物的特征信息并进行障碍物的分类标签，具体为：

对双目视觉相机进行立体标定、畸变矫正和平行校正；获取海面障碍物数据集并采用深度学习算法训练出神经网络训练模型，为海面障碍物分类、标签；对神经网络模型检测到的障碍物信息进行TensorRT模型转换；根据立体成像原理，利用立体相机标定的参数和视差值，根据公式计算出目标三维点云的坐标。

4.根据权利要求3所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法，其特征在于：所述深度学习网络模型为YOLOV3卷积神经网络。

5.根据权利要求4所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法，其特征在于：对双目视觉相机和激光雷达得到的目标物体的位置信息进行空间融合，对空间融合后的数据进行目标匹配及障碍物特征信息融合，加上所述双目视觉图像模块中的目标障碍物分类标签，完成对海洋环境障碍物的识别，具体为：利用激光雷达点云数据作为目标检测的第一、三维信息；利用双目立体视觉相机输出图像数据的二维信息；根据图像数据的深度信息以及图像数据的二维信息作为目标检测第二、三维信息；融合第一、三维信息和第二、三维信息中的相同目标，得到目标检测结果。

6.根据权利要求4所述双目视觉和激光雷达无人艇海洋环境障碍物识别方法，其特征在于：融合第一、三维信息和第二、三维信息中的相同目标，得到目标检测结果，具体步骤如下：

a：利用神经网络模型输出激光雷达点云数据的第一、三维信息：

第一、三维信息包括用于表示图像数据中的第一目标的第一立体框的信息，也即用于表示第一立体框的位置的第一坐标[x,y,z,l,w,h]，其中x、y、z为第一立体框的坐标信息，l、w、h分别代表第一立体框的长、宽、高信息。其中，一帧图像数据中的第一目标的数量可以为一个或多个，每个第一目标对应一个第一立体框；

神经网络模型根据点云样本信息训练获得，具体为：在获取点云样本并标注好数据集后，在待训练的神经网络模型中输入点云样本数据，利用待训练的神经网络模型输出预测三维信息；后续将点云数据输入到训练好的神经网络模型中，神经网络模型能够输出用来表示第一目标的第一立体框的位置的第一坐标；

b：根据图像数据的深度信息以及图像数据的二维信息确定第二、三维信息：

第二、三维信息包括用于表示图像数据中的第二目标的第二立体框的信息，也即用于表示第二立体框的位置的第二坐标[x,y,z,l,w,h]，其中x、y、z为第二立体框的坐标信息，l、w、h分别代表第二立体框的长、宽、高信息。其中，一帧图像数据中的第二目标的数量可以为一个或多个，每个第二目标对应一个第一立体框；

根据分类识别目标障碍物时神经网络划分出目标的感兴趣区域以及双目立体视觉提供的图像数据的深度信息，两者共同组成第二目标的第二立体框的位置的第二坐标；

c：融合第一、三维信息和第二、三维信息中的目标，得到目标检测结果：

相同目标表示第一三维信息中的第一目标与第二、三维信息中的第二目标是同一时刻下雷达模块和视觉模块识别到的同个物体；利用框定出的第一立体框与第二立体框的交叠比例，确定两者是否为相同目标：

Images