CN115729245A - 用于矿区坡道的障碍物融合检测方法、芯片和终端 - Google Patents

Abstract

本申请提出了一种用于矿区坡道的障碍物融合检测方法、芯片和终端，该方法包括：响应于检测到矿区车辆驶入坡道，获取激光雷达的3D点云数据、相机的拍摄图像、毫米波雷达的检测数据，以分别确定第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息；将3D点云数据投影至相机的拍摄图像上；基于所得的2D投影点和拍摄图像的2D检测框的相对位置关系，确定3D点云数据反映的障碍物在拍摄图像上的3D位置信息；在第一障碍物检测信息和第二障碍物检测信息中提取第一融合信息；基于第一融合信息和第三障碍物检测信息，确定第二融合信息。本申请的技术方案，有助于提升矿区车辆在矿区坡道的驾驶安全性。

Description

用于矿区坡道的障碍物融合检测方法、芯片和终端

【技术领域】

本申请涉及人工智能技术领域，尤其涉及一种用于矿区坡道的障碍物融合检测方法、芯片和终端。

【背景技术】

现有不同类型的几种传感器在无人驾驶领域对障碍物的感知能力各有优劣。比如，激光雷达定位精度高，测距准确，但所测得的点云比较稀疏，很难对目标进行分类和检测。相对于激光雷达，相机则可有效地识别到目标，但其定位精度相对低下，测距水平有限。毫米波雷达对速度测量的精度较高，但所测得的点云比较稀疏，且缺乏高度信息。而在实际的无人驾驶场景中，复杂路况，通过上述在平面道路应用的传统障碍物测距方式无法获得准确的测量结果，影响无人驾驶的安全运行。

因此，如何在无人驾驶中针对复杂路况准确检测障碍物的位置信息，成为目前亟待解决的技术问题。

【发明内容】

本申请实施例提供了一种用于矿区坡道的障碍物融合检测方法、芯片和终端，旨在解决相关技术中在复杂路况进行无人驾驶时难以准确检测障碍物位置信息的技术问题。

第一方面，本申请实施例提供了一种用于矿区坡道的障碍物融合检测方法，包括：响应于检测到矿区车辆驶入坡道，获取来自激光雷达的3D点云数据、来自相机的拍摄图像、来自毫米波雷达的检测数据；基于所述3D点云数据、所述拍摄图像和所述检测数据，分别确定第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息；将所述第一障碍物检测信息中的3D点云数据投影至所述相机的拍摄图像上，得到所述3D点云数据对应的2D投影点；基于所述2D投影点和所述拍摄图像的2D检测框的相对位置关系，确定所述3D点云数据反映的障碍物在所述拍摄图像上的3D位置信息；根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息；基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息。

第二方面，本申请实施例提供了一种用于矿区坡道的障碍物融合检测装置，包括：检测数据获取单元，用于响应于检测到矿区车辆驶入坡道，获取来自激光雷达的3D点云数据、来自相机的拍摄图像、来自毫米波雷达的检测数据；障碍物检测信息确定单元，用于基于所述3D点云数据、所述拍摄图像和所述检测数据，分别确定第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息；投影处理单元，用于将所述第一障碍物检测信息中的3D点云数据投影至所述相机的拍摄图像上，得到所述3D点云数据对应的2D投影点；3D位置信息获取单元，用于基于所述2D投影点和所述拍摄图像的2D检测框的相对位置关系，确定所述3D点云数据反映的障碍物在所述拍摄图像上的3D位置信息；第一融合信息生成单元，用于根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息；第二融合信息生成单元，用于基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息。

第三方面，本申请实施例提供了一种计算机设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述第一方面中任一项所述的方法。

第四方面，本申请实施例提供了一种存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述第一方面中任一项所述的方法流程。

第五方面，本申请实施例提供了一种芯片，所述芯片包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器耦合，所述至少一个处理器用于运行计算机程序或指令，以实现上述第一方面中任一项所述的方法。

第六方面，本申请实施例提供了一种终端，所述终端包括如上述第二方面所述的用于矿区坡道的障碍物融合检测装置。

本发明的有益效果在于：针对相关技术中在复杂路况进行无人驾驶时难以准确检测障碍物位置信息的技术问题，首先，响应于检测到矿区车辆驶入坡道，通过激光雷达、相机和毫米波雷达，用以分别获取矿区车辆前方坡道上的3D点云数据、拍摄图像和检测数据；

接着，基于3D点云数据、拍摄图像和检测数据，分别确定第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息，第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息分别用于反映激光雷达、相机和毫米波雷达所检测到的障碍物；

接下来，将所述第一障碍物检测信息中的3D点云数据投影至所述相机的拍摄图像上，得到所述3D点云数据对应的2D投影点，该2D投影点反映了3D点云数据所对应的障碍物在拍摄图像上的投影位置；

然后，拍摄图像的2D检测框反映了拍摄图像检测到的障碍物的2D位置信息，而3D点云数据在拍摄图像上对应的2D投影点反映了3D点云数据所对应的障碍物在拍摄图像上的投影位置，这两种位置的差异在一定程度上反映出了激光雷达对障碍物的3D检测结果与相机对障碍物的2D检测结果的差异，而基于这个差异可以对这两种位置进行融合和修正，得出障碍物在拍摄图像这一2D图像内的3D位置信息；

其次，2D检测框用于标识拍摄图像中障碍物所占的位置，而2D投影框用于标识激光雷达检测到的障碍物在拍摄图像中的投影位置，因此，2D检测框与所述2D投影框的重合度可反映2D检测框表示的拍摄图像中的障碍物与2D投影框标识的激光雷达检测到的障碍物的匹配程度，进一步地，两者的匹配程度决定了两者所对应的第一障碍物检测信息和第二障碍物检测信息的融合情况；

至此，可根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度将3D点云数据、拍摄图像的障碍物识别结果进行融合，激光雷达具有定位精度高、测距准确的优势，相机的拍摄图像具有目标易识别的优势，换言之，所述第一障碍物检测信息中具有准确的障碍物位置数据，而所述第二障碍物检测信息中具有准确的障碍物类型数据，将所述第一障碍物检测信息和所述第二障碍物检测信息融合所得的第一融合信息，能够准确反映障碍物的位置和类型，相对于激光雷达和相机各自的单独检测结果都更具检测准确性，有助于提升无人驾驶的安全性；

再者，毫米波雷达对速度测量的精度较高，换言之，所述第三障碍物检测信息包括有效的障碍物速度信息，所述第一融合信息和所述第三障碍物检测信息融合所得的第二融合信息能够准确反映障碍物的位置、类型和速度，相对于激光雷达、相机和毫米波雷达各自的单独检测结果都更加全面和准确，有助于提升无人驾驶的可靠性和安全性。

总结而言，针对矿区车辆驶入坡道的场景，可通过将激光雷达的3D点云数据投影至拍摄图像上来获得障碍物在拍摄图像这一2D图像内的3D位置信息的方式，将激光雷达、相机的检测结果进行融合，得到第一融合信息，再将毫米波雷达检测到的有效的障碍物速度信息与第一融合信息融合得到第二融合信息，使得第二融合信息能够兼具激光雷达定位精度高、测距准、相机识别目标准确、毫米波雷达测速准确的优势。换言之，即将激光雷达、相机和毫米波雷达三者的检测结果中的优势部分进行融合，所得的融合结果能够准确反映障碍物的位置、类型和速度等多维度信息，相对于激光雷达、相机和毫米波雷达各自的单独检测结果都更加全面和准确，有助于提升无人驾驶的可靠性和安全性。

【附图说明】

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了根据本申请的一个实施例的用于矿区坡道的障碍物融合检测方法的流程图；

图2示出了根据本申请的一个实施例的单目测距示意图；

图3示出了根据本申请的一个实施例的地图模型测距示意图；

图4示出了根据本申请的一个实施例的障碍物高度修正示意图；

图5示出了根据本申请的一个实施例的用于矿区坡道的障碍物融合检测装置的示意图；

图6示出了根据本申请的另一个实施例的用于矿区坡道的障碍物融合检测装置的示意图；

图7为本申请实施例提供的一种存储介质的结构示意图；

图8为本申请实施例提供的一种计算机设备的结构示意图；

图9为本申请实施例提供的一种芯片的结构示意图；

图10为本发明实施例提供的一种终端的结构示意图。

【具体实施方式】

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

图1示出了根据本申请的一个实施例的用于矿区坡道的障碍物融合检测方法的流程图。

如图1所示，根据本申请的一个实施例的用于矿区坡道的障碍物融合检测方法包括：

步骤102，响应于检测到矿区车辆驶入坡道，获取来自激光雷达的3D点云数据、来自相机的拍摄图像、来自毫米波雷达的检测数据。

检测矿区车辆是否驶入坡道具有多种方式。在一种可能的设计中，可周期性获取矿区车辆的位置信息，并根据已知的地图模型，判断矿区车辆的位置信息是否位于坡道位置，当检测到矿区车辆的位置信息位于坡道位置时，确定矿区车辆驶入坡道，触发本申请下述的障碍物融合检测的技术方案。在另一种可能的设计中，可周期性获取矿区车辆的航向信息，并计算矿区车辆的航向信息与水平面的夹角，当该夹角超出平面行驶对应的夹角范围时，确定矿区车辆驶入坡道，触发本申请下述的障碍物融合检测的技术方案。当然，检测矿区车辆是否驶入坡道的方式不限于上述示例，还可以是任何符合实际障碍物检测需求的其他方式。

进一步地，当矿区车辆驶入坡道时，可通过激光雷达、相机和毫米波雷达获取矿区车辆前方坡道上的信息。在一种可能的设计中，可通过组合惯性导航获取矿区车辆的航向角，以所述航向角所对应的方向作为激光雷达、相机和毫米波雷达的检测方向。

步骤104，基于所述3D点云数据、所述拍摄图像和所述检测数据，分别确定第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息。

其中，可对3D点云数据、拍摄图像和检测数据分别采用预设的目标识别算法识别其中的障碍物，得到三者对应的第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息。第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息分别用于反映激光雷达、相机和毫米波雷达所检测到的障碍物。其中，预设的目标识别算法包括但不限于深度学习算法、神经网络模型等任何能够进行目标识别的方式。

步骤106，将所述第一障碍物检测信息中的3D点云数据投影至所述相机的拍摄图像上，得到所述3D点云数据对应的2D投影点。

其中，3D点云数据在拍摄图像上对应的2D投影点反映了3D点云数据所对应的障碍物在拍摄图像上的投影位置。

步骤108，基于所述2D投影点和所述拍摄图像的2D检测框的相对位置关系，确定所述3D点云数据反映的障碍物在所述拍摄图像上的3D位置信息。

拍摄图像的2D检测框反映了拍摄图像检测到的障碍物的2D位置信息，而3D点云数据在拍摄图像上对应的2D投影点反映了3D点云数据所对应的障碍物在拍摄图像上的投影位置，这两种位置的差异在一定程度上反映出了激光雷达对障碍物的3D检测结果与相机对障碍物的2D检测结果的差异，而基于这个差异可以对这两种位置进行融合和修正，得出障碍物在拍摄图像这一2D图像内的3D位置信息。

步骤110，根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息。

2D检测框用于标识拍摄图像中障碍物所占的位置，而2D投影框用于标识激光雷达检测到的障碍物在拍摄图像中的投影位置，因此，2D检测框与所述2D投影框的重合度可反映2D检测框表示的拍摄图像中的障碍物与2D投影框标识的激光雷达检测到的障碍物的匹配程度，进一步地，两者的匹配程度决定了两者所对应的第一障碍物检测信息和第二障碍物检测信息的融合情况。

其中，当2D检测框与所述2D投影框的重合度足够大，可认为2D检测框表示的拍摄图像中的障碍物与2D投影框标识的激光雷达检测到的障碍物相匹配，为同一个有效障碍物。

至此，可根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度将3D点云数据、拍摄图像的障碍物识别结果进行融合，激光雷达具有定位精度高、测距准确的优势，相机的拍摄图像具有目标易识别的优势，换言之，所述第一障碍物检测信息中具有准确的障碍物位置数据，而所述第二障碍物检测信息中具有准确的障碍物类型数据，将所述第一障碍物检测信息和所述第二障碍物检测信息融合所得的第一融合信息，能够准确反映障碍物的位置和类型，相对于激光雷达和相机各自的单独检测结果都更具检测准确性，有助于提升无人驾驶的安全性。

步骤112，基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息。

毫米波雷达对速度测量的精度较高，换言之，所述第三障碍物检测信息包括有效的障碍物速度信息，所述第一融合信息和所述第三障碍物检测信息融合所得的第二融合信息能够准确反映障碍物的位置、类型和速度，相对于激光雷达、相机和毫米波雷达各自的单独检测结果都更加全面和准确，有助于提升无人驾驶的可靠性和安全性。

以上技术方案，针对矿区车辆驶入坡道的场景，可通过将激光雷达的3D点云数据投影至拍摄图像上来获得障碍物在拍摄图像这一2D图像内的3D位置信息的方式，将激光雷达、相机的检测结果进行融合，得到第一融合信息，再将毫米波雷达检测到的有效的障碍物速度信息与第一融合信息融合得到第二融合信息，使得第二融合信息能够兼具激光雷达定位精度高、测距准、相机识别目标准确、毫米波雷达测速准确的优势。换言之，即将激光雷达、相机和毫米波雷达三者的检测结果中的优势部分进行融合，所得的融合结果能够准确反映障碍物的位置、类型和速度等多维度信息，相对于激光雷达、相机和毫米波雷达各自的单独检测结果都更加全面和准确，有助于提升无人驾驶的可靠性和安全性。

其中，可将所述3D点云数据、所述拍摄图像、所述矿区车辆的实时位姿数据、所述第一障碍物检测信息、所述第二障碍物检测信息和所述第三障碍物检测信息各自的时间戳与所述毫米波雷达的所述检测数据的时间戳对齐。由此，将这些信息的时间线进行了同步，以保证在进行信息融合时，所融合的一组第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息是同一时间的数据，从而使得融合结果更为准确地反映该同一时间下的障碍物情况，提升了障碍物检测的准确性。

在一种可能的设计中，所述基于所述2D投影点和所述拍摄图像的2D检测框的相对位置关系，确定所述3D点云数据反映的障碍物在所述拍摄图像上的3D位置信息的具体方式包括：对于所述相机的拍摄图像上每个障碍物所在的2D检测框，若所述2D检测框内存在若干个所述2D投影点，将若干个所述2D投影点的中心点确定为所述障碍物在拍摄图像上的3D位置信息。

相机在拍摄图像时，会通过目标检测功能将拍摄图像上的障碍物用2D检测框标识出来。2D投影点是激光雷达的3D点云数据中的障碍物在拍摄图像上的映射，反映了3D点云数据中障碍物的位置，因此，若所述2D检测框内存在若干个所述2D投影点，说明2D检测框所标识的障碍物与若干个所述2D投影点所标识的障碍物具有重合性，具有为同一障碍物的可能性，因此，可将若干个所述2D投影点的中心点确定为3D点云数据中障碍物的位置，相应地，该中心点也就成为了该障碍物在拍摄图像上的3D位置信息。

若所述2D检测框内不存在所述2D投影点，检测所述2D检测框外的指定距离范围内是否存在若干个所述2D投影点；当所述指定距离范围内存在若干个所述2D投影点时，将若干个所述2D投影点的中心点确定为所述障碍物在拍摄图像上的3D位置信息，否则，按照预定测量方式获得所述障碍物在拍摄图像上的3D位置信息。

当所述2D检测框内不存在所述2D投影点时，可继续检测2D检测框的附近是否存在若干个所述2D投影点，若存在，仍能够说明2D检测框所标识的障碍物与若干个所述2D投影点所标识的障碍物具有一定的重合可能性，具有为同一障碍物的可能，故可将若干个所述2D投影点的中心点确定为所述障碍物在拍摄图像上的3D位置信息。

其中，所述指定距离范围与所述2D检测框的大小正相关。可认定2D检测框外的指定距离范围属于2D检测框的附近，而指定距离范围可基于所述2D检测框的大小进行适应性设置，2D检测框越大，其对应的指定距离范围也就越大。

在一种可能的设计中，所述指定距离范围为所述2D检测框的底边长度的1/3。

在另一种可能的设计中，所述指定距离范围为所述2D检测框的对角线长度的1/2。

当然，所述指定距离范围可以为与所述2D检测框的大小正相关的、符合实际障碍物检测需求的任一大小，不限于本申请给出示例。

而若2D检测框的附近不存在若干个所述2D投影点，说明2D检测框所标识的障碍物与2D投影点所标识的障碍物不具有重合可能性，此时，可采用预定测量方式进一步检测障碍物在拍摄图像上的3D位置信息。

通过以上技术方案，可获得激光雷达的3D点云数据投影至拍摄图像这一2D图像上所得的3D位置信息，为后续将激光雷达、相机的检测结果进行融合提供了可靠的位置信息，提升了障碍物融合检测的准确性。

在本发明的一些实施例中，所述按照预定测量方式获得所述目标位置信息，包括：通过单目测距方式获得所述矿区车辆与所述障碍物的第一相对位置信息；以及基于所述障碍物的类别，确定障碍物高度；获取指定射线与预定地图道路模型的指定截面的交点，作为所述障碍物的底部中心点，其中，所述指定射线为以相机光心为原点的、所述相机光心与所述障碍物的所述2D检测框之底边中点的连线所在的射线，所述指定截面为所述预定地图道路模型在所述矿区车辆的当前行驶方向所在竖直平面上的截面；将所述底部中心点升高所述障碍物高度的1/2后的位置，确定为所述矿区车辆与所述障碍物的第二相对位置信息；对所述第一相对位置信息和所述第二相对位置信息进行加权求和处理，得到所述障碍物在所述拍摄图像上的3D位置信息。

其中，单目测距方式的原理如图2所示，根据相机的光心和2D检测框的中心确定目标方向向量v，再利用障碍物的像素高度h和真实高度H，以及相机的焦距f，基于相似三角形原理确定障碍物到相机的真实距离D。最后，通过目标方向向量v修正真实距离D，以v*D作为障碍物与相机的相对位置，从而将该相对位置作为第一相对位置信息。

如图3所示，获得第二相对位置信息的具体的方式可以描述为，以相机的光心和障碍物的2D检测框之底边中点为射线上的两个点，构造一条射线x，射线x可以表示该障碍物的底部在成像过程中的光线。然后，获取射线x与预设的地图道路模型的交点，该交点即该障碍物的实际底部中心点。接着，基于相机进行目标识别所得的该障碍物的类别，在预设的障碍物类别及对应高度表中查询该障碍物的实际高度。最终，以实际底部中心点升高实际高度的1/2后的位置作为修正高度后该障碍物的实际位置，将该实际位置作为第二相对位置信息。

接着，对所述第一相对位置信息和所述第二相对位置信息进行加权求和处理，可选地，可以设置所述第一相对位置信息和所述第二相对位置信息的权重分别为0.5，将所述第一相对位置信息的坐标乘以权重0.5，得到第一乘积，再将所述第二相对位置信息的坐标乘以权重0.5，得到第二乘积，以第一乘积和第二乘积之和作为所述障碍物在所述拍摄图像上的最终的3D位置信息。

以上技术方案，可通过预设的地图道路模型确定障碍物的底部中心点，再结合障碍物的类别对应的高度对障碍物的底部中心点的位置进行修正，从而实现对障碍物位置信息的修正，提升了障碍物检测结果的准确性。同时，还可以结合单目测距方式对修正后的障碍物位置信息进行进一步修正，从而获得更为准确的障碍物位置信息，进一步提升了障碍物检测结果的准确性。

在本发明的一些实施例中，在获得障碍物在拍摄图像这一2D图像内的3D位置信息之后，以及在将其用于融合之前，即于在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息之前，还包括：基于所述矿区车辆的实时位姿信息，确定车辆坐标系；以所述3D点云数据中的标定信息和所述拍摄图像中的标定信息为参照信息，将所述3D位置信息转换为所述车辆坐标系下的转换位置信息，以供根据所述转换位置信息与所述2D检测框的重合度提取所述第一融合信息。

矿区车辆的实时位姿信息包括矿区车辆的位置和航向角，所述3D点云数据的标定信息和所述拍摄图像的标定信息获取自预定的标定文件，预定的标定文件中包括采集自样本3D点云数据和样本拍摄图像的样本标定信息。以所述3D点云数据中的标定信息和所述拍摄图像中的标定信息为参照信息，将所述3D位置信息转换为车辆坐标系下的转换位置信息，可使得后续的数据处理过程均在车辆坐标系下进行，方便了无人驾驶过程中的计算，提升了计算效率。

在本发明的一些实施例中，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息的具体步骤，包括：基于所述3D位置信息和预定可融合障碍物筛选规则，确定所述障碍物是否为有效障碍物；若所述障碍物为所述有效障碍物，当2D检测框与所述3D位置信息对应的2D投影框的重合度大于或等于指定重合度阈值时，确定所述有效障碍物与所述2D检测框内的障碍物相匹配，并以所述第一障碍物检测信息中的障碍物位置信息和所述第二障碍物检测信息中的障碍物类别信息作为所述有效障碍物的第一融合信息。

其中，预定可融合障碍物筛选规则用于在障碍物中筛选出有必要进行障碍物检测信息融合的有效障碍物，通过这一筛选，可提升障碍物检测信息融合的实用性，为无人驾驶的准确性提供可靠基础。

具体地，预定可融合障碍物筛选规则为：若当所述3D位置信息所指示的位置处于所述相机的视场角范围内，且所述障碍物为所述相机的前景目标，确定所述障碍物为有效障碍物。

由于激光雷达的视场角大于相机的视场角范围，则激光雷达和相机所检测到的共同障碍物只存在于两者的交集之中，也就是相机的视场角范围内。同时，由于相机所能够识别的障碍物很多，且相机拍摄区分前景和背景，背景可以囊括道路前方较远距离的障碍物，即背景目标，而无人驾驶过程中所需要检测和应对的障碍物往往是距离相机或者说距离矿区车辆较近的障碍物，即前景目标，因此，可以认定无人驾驶过程中需要检测和应对的障碍物为相机的前景目标。

基于以上，可将处于相机的视场角范围内和属于相机的前景目标作为需要同时满足的条件来筛选激光雷达和相机所检测到的共同障碍物，实现了对激光雷达和相机所检测到的共同障碍物的有效识别，有助于进一步的障碍物检测信息融合。

具体来说。可设置指定重合度阈值表示2D检测框表示的拍摄图像中的有效障碍物与2D投影框标识的激光雷达检测到的有效障碍物相匹配时的最低重合度。因此，当2D检测框与所述2D投影框的重合度大于或等于指定重合度阈值时，确定所述有效障碍物与所述2D检测框内的障碍物相匹配。

此时，因激光雷达具有定位精度高、测距准确的优势，相机的拍摄图像具有目标易识别的优势，故可集两者只所长，将激光雷达的所述第一障碍物检测信息中的障碍物位置信息和相机检测的第二障碍物检测信息中的障碍物类别信息作为所述有效障碍物的第一融合信息。

需要补充的是，基于实际检测需求，所述2D检测框与所述2D投影框的重合度可设置为所述2D检测框和所述2D投影框的交集面积与所述2D检测框的第一比值；或者所述2D检测框和所述2D投影框的交集面积与所述2D投影框的第二比值；或者所述2D检测框和所述2D投影框的交集面积与所述2D检测框和所述2D投影框中面积较小框的第三比值；或者所述2D检测框和所述2D投影框的交集面积与所述2D检测框和所述2D投影框中面积较大框的第四比值；或者所述第一比值、所述第二比值、所述第三比值和所述第四比值中的最大值或任多项的平均值。本申请对所述2D检测框与所述3D位置信息对应的2D投影框的重合度不做进一步限制，任何一种重合度设置的方式，均在本申请的保护范围内。

前述方案主要是为将激光雷达与相机的前景目标中的共同障碍物进行融合而采取了筛选措施，而另一方面，相机的背景目标可以囊括道路前方较远距离的障碍物，在此基础上，为增加无人驾驶过程中的障碍物检测全面性，尽可能多地检测实时路况，可将相机的背景目标直接认定为有效障碍物。

具体地，当所述2D检测框与所述2D投影框的重合度小于指定重合度阈值时，并将所述2D检测框内的障碍物设置为所述有效障碍物；将所述2D检测框内的障碍物的障碍物类别信息和障碍物位置信息设置为所述有效障碍物的第一融合信息。也就是说，由于相机检测目标较为准确，可将相机的拍摄图像中经上述筛选方案筛选所剩的、未与激光雷达检测出的障碍物匹配上的剩余障碍物，设置为有效障碍物。这些剩余障碍物中至少包括相机的拍摄图像中的全部背景目标。

以上技术方案，提升了矿区车辆在坡道行驶场景下障碍物检测全面性，有助于驾驶安全性的提升。

在一种可能的设计中，基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息的具体方式，包括：基于所述第三障碍物检测信息中修正高度信息后的障碍物的位置信息和距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的位置信息，确定所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物的相对距离是否小于指定距离阈值；若确定所述相对距离小于所述指定距离阈值，确定所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物相匹配，其中，所述指定距离阈值为距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的长度之指定百分比；将所述第三障碍物检测信息中的障碍物的速度信息与距离自身最近的所述有效障碍物的第一融合信息确定为所述有效障碍物的第二融合信息。

也就是说，对于前述方案中所确定的每个有效障碍物，在毫米波雷达的第三障碍物检测信息中为其匹配对应的障碍物，并在匹配成功的情况下，将第三障碍物检测信息中相匹配的障碍物的速度信息赋予第一融合信息，得到具有准确的速度信息的第二融合信息。

由此，可借助毫米波雷达测量障碍物速度准确性高的优势，将其测得的速度信息与激光雷达测得的障碍物位置信息和相机测得的障碍物类型信息进行合并，使得到的第二融合信息更具全面性和准确性，从而为无人驾驶提供准确可靠的驾驶操控数据基础。

具体地，若所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物的相对距离足够小，即可认定两者相匹配，为同一障碍物。换言之，当所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物的相对距离小于指定距离阈值时，确定所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物相匹配。

其中，所述指定距离阈值为距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的长度之指定百分比。在一种可能的设计中，所述指定距离阈值为距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的长度的1/2。本申请对指定百分比不做进一步限定，任何一种符合实际应用场景的百分比均在本申请的保护范围内。

另外，毫米波雷达在检测障碍物距离时，只能检测平面距离，而不能考虑到道路的斜坡等因素，因此，毫米波雷达的第三障碍物检测信息中障碍物的高度信息与障碍物实际高度有误差，换言之，由于路面存在长距离、不平整的坡度，毫米波雷达输出的障碍物的位置是低于实际路面的。因此，可为提升匹配毫米波雷达检测到的障碍物与有效障碍物的准确性，可对第三障碍物检测信息中障碍物的高度信息进行修正。

具体地，如图4所示，可以所述毫米波雷达的位置为原点，以所述毫米波雷达的有效探测距离为半径r，生成圆弧；根据所述圆弧与预定地图模型中道路的交点和所述第三障碍物检测信息中的障碍物的个体高度，修正所述第三障碍物检测信息中的障碍物的位置信息中的高度信息。

以上技术方案，对毫米波雷达所检测到的障碍物高度信息进行了修正，也即实现了对毫米波雷达所检测到的障碍物的位置信息的修正，从而可基于修正后的位置信息与有效障碍物进行匹配，提升了将毫米波雷达的检测结果与有效障碍物的匹配准确性。在此基础上，若基于毫米波雷达的修正后的位置信息确定第三障碍物检测信息中的障碍物与有效障碍物相匹配，即可将毫米波雷达检测到的障碍物速度信息与有效障碍物的第一融合信息进行融合，得到第二融合信息。由此可知，对毫米波雷达所检测到的障碍物高度信息进行了修正，间接提升了第二融合信息也就是最终的障碍物融合检测结果的准确性。

其中，障碍物的个体高度的计算方式为，基于相机进行目标识别所得的该障碍物的类别，在预设的障碍物类别及对应高度表中查询该障碍物的实际高度。

图5示出了根据本申请的一个实施例的用于矿区坡道的障碍物融合检测装置的示意图。

结合以上技术方案，用于矿区坡道的障碍物融合检测装置可以外设安装在车辆上，也可以作为车辆的一部分集成设置于车辆中。如图5所示，本申请的一个实施例的用于矿区坡道的障碍物融合检测装置至少包括输入模块、检测模块和融合模块，其中，输入模块可通过激光雷达采集3D点云数据、通过相机采集2D图像数据(即拍摄图像)、通过GPS(全球定位***)/IMU(惯性测量单元)采集车辆位姿数据、通过毫米波雷达获取点云数据，同时，输入模块还可以获取来自传感器标定参数的标定数据，标定数据用于将上述技术方案中的各数据转换至车辆坐标下进行计算，以降低计算复杂性。另外，输入模块还可以从第三方提供的高精度地图获得道路模型。

检测模块包括3D点云检测、2D图像检测和2.5D检测三个子模块，3D点云检测用于识别激光雷达的3D点云数据中的障碍物，2D图像检测用于识别相机的拍摄图像中的障碍物，2.5D检测用于识别毫米波雷达的检测结果中的障碍物。

至此，输入模块将采集到的数据全部传输至融合模块，检测模块的各子模块也将识别结果传输至融合模块。

融合模块在接收到这些数据后，先进行激光雷达与相机的检测结果的融合，具体地，通过点云信息投影、图像目标测距、坐标转换、数据筛选、检测融合等多种处理，得到第一融合信息。接下来，融合模块再将第一融合信息与毫米波雷达的检测结果融合，具体地，通过高度修正、目标匹配、速度赋值得到第二融合信息，形成最终的融合检测结果。具体融合的过程如前述各实施例所示，在此处不再赘述。

针对相关技术中矿区路面上坡道的存在导致无人驾驶的矿区车辆对障碍物检测不准确的问题，以上技术方案，先通过激光雷达和相机的检测结果融合实现了对2D图像检测结果中障碍物的3D位置的检测，又在融合毫米波雷达的检测结果的过程中，修正了毫米波雷达检测结果中的高度信息，提升了检测结果的准确性和可靠性，有利于无人驾驶的安全进行。

图6示出了根据本申请的另一个实施例的用于矿区坡道的障碍物融合检测装置的示意图。

如图6所示，根据本申请的另一个实施例的用于矿区坡道的障碍物融合检测装置600包括：检测数据获取单元602，用于响应于检测到矿区车辆驶入坡道，获取来自激光雷达的3D点云数据、来自相机的拍摄图像、来自毫米波雷达的检测数据；障碍物检测信息确定单元604，用于基于所述3D点云数据、所述拍摄图像和所述检测数据，分别确定第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息；投影处理单元606，用于将所述第一障碍物检测信息中的3D点云数据投影至所述相机的拍摄图像上，得到所述3D点云数据对应的2D投影点；3D位置信息获取单元608，用于基于所述2D投影点和所述拍摄图像的2D检测框的相对位置关系，确定所述3D点云数据反映的障碍物在所述拍摄图像上的3D位置信息；第一融合信息生成单元610，用于根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息；第二融合信息生成单元612，用于基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息。

在本发明的一个实施例中，可选地，用于矿区坡道的障碍物融合检测装置600还包括：时间对齐单元，用于将所述3D点云数据、所述拍摄图像、所述矿区车辆的实时位姿数据、所述第一障碍物检测信息、所述第二障碍物检测信息和所述第三障碍物检测信息各自的时间戳与所述毫米波雷达的所述检测数据的时间戳对齐。

在本发明的一个实施例中，可选地，所述3D位置信息获取单元608用于：对于所述相机的拍摄图像上每个障碍物所在的2D检测框，若所述2D检测框内存在若干个所述2D投影点，将若干个所述2D投影点的中心点确定为所述障碍物在拍摄图像上的3D位置信息；若所述2D检测框内不存在所述2D投影点，检测所述2D检测框外的指定距离范围内是否存在若干个所述2D投影点；当所述指定距离范围内存在若干个所述2D投影点时，将若干个所述2D投影点的中心点确定为所述障碍物在拍摄图像上的3D位置信息，其中，所述指定距离范围与所述2D检测框的大小正相关，否则，按照预定测量方式获得所述障碍物在拍摄图像上的3D位置信息。

在本发明的一个实施例中，可选地，所述3D位置信息获取单元608用于：通过单目测距方式获得所述矿区车辆与所述障碍物的第一相对位置信息；以及基于所述障碍物的类别，确定障碍物高度；获取指定射线与预定地图道路模型的指定截面的交点，作为所述障碍物的底部中心点，其中，所述指定射线为以相机光心为原点的、所述相机光心与所述障碍物的所述2D检测框之底边中点的连线所在的射线，所述指定截面为所述预定地图道路模型在所述矿区车辆的当前行驶方向所在竖直平面上的截面；将所述底部中心点升高所述障碍物高度的1/2后的位置，确定为所述矿区车辆与所述障碍物的第二相对位置信息；对所述第一相对位置信息和所述第二相对位置信息进行加权求和处理，得到所述障碍物在所述拍摄图像上的3D位置信息。

在本发明的一个实施例中，可选地，还包括：坐标系转换单元，用于在第一融合信息生成单元610提取第一融合信息之前，基于所述矿区车辆的实时位姿信息，确定车辆坐标系；以所述3D点云数据中的标定信息和所述拍摄图像中的标定信息为参照信息，将所述3D位置信息转换为所述车辆坐标系下的转换位置信息，以供根据所述转换位置信息与所述2D检测框的重合度提取所述第一融合信息。

在本发明的一个实施例中，可选地，所述第一融合信息生成单元610用于：基于所述3D位置信息和预定可融合障碍物筛选规则，确定所述障碍物是否为有效障碍物，其中，所述预定可融合障碍物筛选规则为：若当所述3D位置信息所指示的位置处于所述相机的视场角范围内，且所述障碍物为所述相机的前景目标，确定所述障碍物为有效障碍物；若所述障碍物为所述有效障碍物，当2D检测框与所述3D位置信息对应的2D投影框的重合度大于或等于指定重合度阈值时，确定所述有效障碍物与所述2D检测框内的障碍物相匹配，并以所述第一障碍物检测信息中的障碍物位置信息和所述第二障碍物检测信息中的障碍物类别信息作为所述有效障碍物的第一融合信息。

在本发明的一个实施例中，可选地，用于矿区坡道的障碍物融合检测装置600还包括：障碍物补充单元，用于当所述2D检测框与所述2D投影框的重合度小于指定重合度阈值时，将所述2D检测框内的障碍物设置为所述有效障碍物；则所述第一融合信息生成单元610还用于将所述2D检测框内的障碍物的障碍物类别信息和障碍物位置信息设置为所述有效障碍物的第一融合信息。

在本发明的一个实施例中，可选地，所述2D检测框与所述2D投影框的重合度为：所述2D检测框和所述2D投影框的交集面积与所述2D检测框的第一比值；或者所述2D检测框和所述2D投影框的交集面积与所述2D投影框的第二比值；或者所述2D检测框和所述2D投影框的交集面积与所述2D检测框和所述2D投影框中面积较小框的第三比值；或者所述2D检测框和所述2D投影框的交集面积与所述2D检测框和所述2D投影框中面积较大框的第四比值；或者所述第一比值、所述第二比值、所述第三比值和所述第四比值中的最大值或任多项的平均值。

在本发明的一个实施例中，可选地，所述第二融合信息生成单元612用于：以所述毫米波雷达的位置为原点，以所述毫米波雷达的有效探测距离为半径，生成圆弧；根据所述圆弧与预定地图模型中道路的交点和所述第三障碍物检测信息中的障碍物的个体高度，修正所述第三障碍物检测信息中的障碍物的位置信息中的高度信息。

在本发明的一个实施例中，可选地，所述第二融合信息生成单元612用于：基于所述第三障碍物检测信息中修正高度信息后的障碍物的位置信息和距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的位置信息，确定所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物的相对距离是否小于指定距离阈值；若确定所述相对距离小于所述指定距离阈值，确定所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物相匹配，其中，所述指定距离阈值为距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的长度之指定百分比；将所述第三障碍物检测信息中的障碍物的速度信息与距离自身最近的所述有效障碍物的第一融合信息确定为所述有效障碍物的第二融合信息。

该用于矿区坡道的障碍物融合检测装置600使用上述实施例中任一项所述的方案，因此，具有上述所有技术效果，在此不再赘述。

图7为本申请实施例提供的一种存储介质的结构示意图，如图7所示，一种计算机可读的存储介质700，存储有计算机程序710，该计算机程序710被处理器执行时，用于实现如上述实施例中任一项所述的用于矿区坡道的障碍物融合检测方法。前文中已经对用于矿区坡道的障碍物融合检测方法进行了详细的描述，在此不再赘述。

上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。存储介质700可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计，存储介质700可以包括紧凑型光盘只读储存器(compactdisc read-only memory，CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器；计算机可读介质可以包括磁盘存储器或其它磁盘存储计算机设备。而且，任何连接线也可以被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、DSL或无线技术(如红外，无线电和微波)从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD)，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。

图8为本申请实施例提供的一种计算机设备的结构示意图，如图8所示，该计算机设备800包括存储器820、处理器810及存储在存储器820上并可被处理器执行的计算机程序，其中处理器810执行计算机程序840时执行本申请中方法的各步骤，可以实现车辆行驶在矿区坡道上的障碍物融合检测。需要说明的是，本实施例中的计算机程序840与前述的计算机程序710相同。

存储器820可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器820具有存储用于执行上述方法中的任何方法步骤的计算机程序840的存储空间830。计算机程序840可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所述的计算机可读存储介质。计算机设备可以包括多个处理器，这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

图9为本申请实施例提供的一种芯片的结构示意图，如图9所示，芯片900包括一个或两个以上(包括两个)处理器910和通信接口930。所述通信接口930和所述至少一个处理器910耦合，所述至少一个处理器910用于运行计算机程序或指令，执行本申请中方法的各步骤，可以实现车辆行驶在矿区坡道上的障碍物融合检测。

优选地，存储器940存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

本申请实施例中，存储器940可以包括只读存储器和随机存取存储器，并向处理器910提供指令和数据。存储器940的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。

本申请实施例中，存储器940、通信接口930以及存储器940通过总线***920耦合在一起。其中，总线***920除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图9中将各种总线都标为总线***920。

上述本申请实施例描述的方法可以应用于处理器910中，或者由处理器910实现。处理器910可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器910中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器910可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digitalsignal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器910可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。

图10为本发明实施例提供的一种终端的结构示意图，如图10所示，终端1000包括本申请上述技术方案所述的用于矿区坡道的障碍物融合检测装置600。

上述终端1000可以通过用于矿区坡道的障碍物融合检测装置600执行本申请中方法的各步骤，可以实现车辆行驶在矿区坡道上的障碍物融合检测。可以理解，终端1000对用于矿区坡道的障碍物融合检测装置600进行控制的实现方式，可以根据实际应用场景设定，本申请实施例不作具体限定。

所述终端1000包括但不限于：车辆、车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或车载摄像头等其他传感器，车辆可通过该车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或摄像头，实施本申请提供的方法。本申请中的车辆包括乘用车和商用车，商用车的常见车型包括但不限于：皮卡、微卡、轻卡、微客，自卸车、载货车、牵引车、挂车、专用车和矿用车辆等。矿用车辆包括但不限于矿卡、宽体车、铰接车、挖机、电铲、推土机等。本申请对智能车的类型不作进一步限定，任何一种车型均在本申请的保护范围内。

以上结合附图详细说明了本申请的技术方案，通过本申请的技术方案，针对矿区车辆驶入坡道的场景，可通过将激光雷达的3D点云数据投影至拍摄图像上来获得障碍物在拍摄图像这一2D图像内的3D位置信息的方式，将激光雷达、相机的检测结果进行融合，得到第一融合信息，再将毫米波雷达检测到的有效的障碍物速度信息与第一融合信息融合得到第二融合信息，使得第二融合信息能够兼具激光雷达定位精度高、测距准、相机识别目标准确、毫米波雷达测速准确的优势。换言之，即将激光雷达、相机和毫米波雷达三者的检测结果中的优势部分进行融合，所得的融合结果能够准确反映障碍物的位置、类型和速度等多维度信息，相对于激光雷达、相机和毫米波雷达各自的单独检测结果都更加全面和准确，有助于提升无人驾驶的可靠性和安全性。

应当理解，尽管在本申请实施例中可能采用术语第一、第二等来描述障碍物检测信息，但这些障碍物检测信息不应限于这些术语。这些术语仅用来将障碍物检测信息彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一障碍物检测信息也可以被称为第二障碍物检测信息，类似地，第二障碍物检测信息也可以被称为第一障碍物检测信息。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种用于矿区坡道的障碍物融合检测方法，其特征在于，包括：

响应于检测到矿区车辆驶入坡道，获取来自激光雷达的3D点云数据、来自相机的拍摄图像、来自毫米波雷达的检测数据；

基于所述3D点云数据、所述拍摄图像和所述检测数据，分别确定第一障碍物检测信息、第二障碍物检测信息和第三障碍物检测信息；

将所述第一障碍物检测信息中的3D点云数据投影至所述相机的拍摄图像上，得到所述3D点云数据对应的2D投影点；

基于所述2D投影点和所述拍摄图像的2D检测框的相对位置关系，确定所述3D点云数据反映的障碍物在所述拍摄图像上的3D位置信息；

根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息；

基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息。

2.根据权利要求1所述的用于矿区坡道的障碍物融合检测方法，其特征在于，所述基于所述2D投影点和所述拍摄图像的2D检测框的相对位置关系，确定所述3D点云数据反映的障碍物在所述拍摄图像上的3D位置信息，包括：

对于所述相机的拍摄图像上每个障碍物所在的2D检测框，

若所述2D检测框内存在若干个所述2D投影点，将若干个所述2D投影点的中心点确定为所述障碍物在拍摄图像上的3D位置信息；

若所述2D检测框内不存在所述2D投影点，检测所述2D检测框外的指定距离范围内是否存在若干个所述2D投影点；

当所述指定距离范围内存在若干个所述2D投影点时，将若干个所述2D投影点的中心点确定为所述障碍物在拍摄图像上的3D位置信息，其中，所述指定距离范围与所述2D检测框的大小正相关，否则，按照预定测量方式获得所述障碍物在拍摄图像上的3D位置信息。

3.根据权利要求2所述的用于矿区坡道的障碍物融合检测方法，其特征在于，所述按照预定测量方式获得所述障碍物在拍摄图像上的3D位置信息包括：

通过单目测距方式获得所述矿区车辆与所述障碍物的第一相对位置信息；

基于所述障碍物的类别，确定障碍物高度；

获取指定射线与预定地图道路模型的指定截面的交点，作为所述障碍物的底部中心点，其中，所述指定射线为以相机光心为原点的、所述相机光心与所述障碍物的所述2D检测框之底边中点的连线所在的射线，所述指定截面为所述预定地图道路模型在所述矿区车辆的当前行驶方向所在竖直平面上的截面；

将所述底部中心点升高所述障碍物高度的1/2后的位置，确定为所述矿区车辆与所述障碍物的第二相对位置信息；

对所述第一相对位置信息和所述第二相对位置信息进行加权求和处理，得到所述障碍物在所述拍摄图像上的3D位置信息。

4.根据权利要求1所述的用于矿区坡道的障碍物融合检测方法，其特征在于，所述基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息，包括：

以所述毫米波雷达的位置为原点，以所述毫米波雷达的有效探测距离为半径，生成圆弧；

根据所述圆弧与预定地图模型中道路的交点和所述第三障碍物检测信息中的障碍物的个体高度，修正所述第三障碍物检测信息中的障碍物的位置信息中的高度信息。

5.根据权利要求4所述的用于矿区坡道的障碍物融合检测方法，其特征在于，所述基于所述第一融合信息和所述第三障碍物检测信息，确定所述有效障碍物的第二融合信息，包括：

基于所述第三障碍物检测信息中修正高度信息后的障碍物的位置信息和距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的位置信息，确定所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物的相对距离是否小于指定距离阈值；

若确定所述相对距离小于所述指定距离阈值，确定所述第三障碍物检测信息中的障碍物与距离自身最近的所述有效障碍物相匹配，

其中，所述指定距离阈值为距离所述第三障碍物检测信息中的障碍物最近的所述有效障碍物的长度之指定百分比；

将所述第三障碍物检测信息中的障碍物的速度信息与距离自身最近的所述有效障碍物的第一融合信息确定为所述有效障碍物的第二融合信息。

6.根据权利要求2所述的用于矿区坡道的障碍物融合检测方法，其特征在于，在所述根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息之前，还包括：

基于所述矿区车辆的实时位姿信息，确定车辆坐标系；

以所述3D点云数据中的标定信息和所述拍摄图像中的标定信息为参照信息，将所述3D位置信息转换为所述车辆坐标系下的转换位置信息，以供根据所述转换位置信息与所述2D检测框的重合度提取所述第一融合信息。

7.根据权利要求2所述的用于矿区坡道的障碍物融合检测方法，其特征在于，所述根据所述3D位置信息对应的2D投影框与所述2D检测框的重合度，在所述第一障碍物检测信息和所述第二障碍物检测信息中提取第一融合信息，包括：

基于所述3D位置信息和预定可融合障碍物筛选规则，确定所述障碍物是否为有效障碍物，其中，所述预定可融合障碍物筛选规则为：若当所述3D位置信息所指示的位置处于所述相机的视场角范围内，且所述障碍物为所述相机的前景目标，确定所述障碍物为有效障碍物；

若所述障碍物为所述有效障碍物，当2D检测框与所述3D位置信息对应的2D投影框的重合度大于或等于指定重合度阈值时，确定所述有效障碍物与所述2D检测框内的障碍物相匹配，并以所述第一障碍物检测信息中的障碍物位置信息和所述第二障碍物检测信息中的障碍物类别信息作为所述有效障碍物的第一融合信息。

8.根据权利要求7所述的用于矿区坡道的障碍物融合检测方法，其特征在于，所述2D检测框与所述3D位置信息对应的2D投影框的重合度为：

所述2D检测框和所述2D投影框的交集面积与所述2D检测框的第一比值；或者

所述2D检测框和所述2D投影框的交集面积与所述2D投影框的第二比值；或者

所述2D检测框和所述2D投影框的交集面积与所述2D检测框和所述2D投影框中面积较小框的第三比值；或者

所述2D检测框和所述2D投影框的交集面积与所述2D检测框和所述2D投影框中面积较大框的第四比值；或者

所述第一比值、所述第二比值、所述第三比值和所述第四比值中的最大值或任多项的平均值。

9.一种芯片，其特征在于，所述芯片包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器耦合，所述至少一个处理器用于运行计算机程序或指令，以实现如权利要求1-8中任一项所述的用于矿区坡道的障碍物融合检测方法。

10.一种终端，其特征在于，所述终端包括如权利要求1-8中任一项所述的用于矿区坡道的障碍物融合检测方法。

Images