CN115236694A - 障碍物检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例提供了一种障碍物检测方法、装置、电子设备和存储介质。所述障碍物检测方法包括：将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云。本申请实施例提高了对障碍物的检测效果。

Description

障碍物检测方法、装置、电子设备和存储介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种障碍物检测方法、装置、电子设备和存储介质。

背景技术

自动驾驶场景中包括诸如道路磨损、井坑、排水井管道维修等非结构化道路。与结构化的城市道路相比，非结构化道路不容易在地图中被及时标识，从而增加了自动驾驶车辆的交通事故风险。

通常，对于自动驾驶感知***，如果横向安装激光，则纵向数据的稀疏性会导致算法对导致诸如井坑的障碍物检测效果较差。

发明内容

有鉴于此，本申请实施例提供一种障碍物检测方法、装置、电子设备和存储介质，以解决或缓解上述问题。

根据本申请实施例的第一方面，提供了一种障碍物检测方法，包括：将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云。

根据本申请实施例的第二方面，提供了一种障碍物检测装置，包括：融合模块，将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；提取模块，从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云。

根据本申请实施例的第三方面，提供了一种电子设备，所述设备包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的方法对应的操作。

根据本申请实施例的第四方面，提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

在本申请实施例的方案中，将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理得到的多帧点云的融合数据具有更多的信息，减少了点云的稀疏性。因此，从多帧点云的融合数据中，提取符合障碍物的视觉特征更加准确，从而使得提取出的符合障碍物的视觉特征的障碍物点云提高了障碍物的检测效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为一种典型的自动驾驶***的各个模块的示意图；

图2为本申请的一个实施例的障碍物检测方法的示意性流程图；

图3A为本申请的另一实施例的障碍物点云识别方法的示意性流程图；

图3B为本申请的另一实施例的障碍物检测方法的示意性流程图；

图4为本申请的另一实施例的障碍物检测方法的示意性流程图；

图5为本申请的另一实施例的自动驾驶预警方法的示意性流程图；

图6为本申请的另一实施例的障碍物检测装置的示意性框图；

图7为本申请的另一实施例的自动驾驶预警装置的示意性框图；以及

图8为本申请的另一实施例的电子设备的硬件结构。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图1为一种典型的自动驾驶感知***的各个模块的示意图。图1的自动驾驶***包括环境感知模块110、行为决策模块120和运动控制模块130。自动驾驶***可以安装在自动驾驶汽车(Autonomous vehicles；Self－driving automobile)中，也可以安装在其他位置，例如，作为路边的网元与自动驾驶汽车进行通信。自动驾驶汽车采用诸如人工智能技术、激光测量技术，声波测量技术、运动传感器技术、全球定位***(Global PositioningSystem,GPS)等等。环境感知模块110通过传感器来感知环境信息，例如采用摄像头、激光雷达、毫米波雷达以及工业相机是用于获取环境信息。GPS等可以用于获取车身状态的信息。例如，可以通过特定算法提取出有用的信息。行为决策模块120用于无人驾驶汽车根据路网信息、获取的交通环境信息和自身行驶状态，生成遵守交通规则的驾驶决策的过程。换言之，规划出一条精密的行驶轨迹，无人驾驶车可以跟随该轨迹行驶。运动控制模块130根据规划的行驶轨迹和速度以及当前的位置、姿态和速度，产生对油门、刹车、方向盘和变速杆的控制命令。在一个示例中，环境感知模块110中可以安装有诸如激光雷达的激光传感器，用于障碍物检测。如果横向安装激光传感器，则纵向数据的稀疏性会导致算法对导致诸如井坑的障碍物检测效果较差。行为决策模块120可以用于基于感知到的障碍物进行自动驾驶预警。如果障碍物检测效果较差，会影响行为决策模块的判断结果。

图2为本申请的一个实施例的障碍物检测方法的示意性流程图。图2的障碍物检测方法可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、车机、移动终端(如手机、PAD等)和PC机、具有数据处理能力的自动驾驶***或驾驶辅助***等。该方法包括：

210：将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据。

应理解，可以通过诸如激光雷达的激光传感器采集多个历史帧点云数据。激光传感器的数目可以为一个或多个。采集帧点云数据的激光传感器可以倾斜安装，也可以横向安装，也可以侧向安装。优选地，横向安装激光传感器。例如，多个激光传感器布置在诸如自动驾驶车辆的车辆不同位置。可以利用车载的一个或多个激光，以一定频率生成周围环境的点云信息。在一个具体的示例中，可以采用4个16线激光雷达，前方一个，后方一个，车顶左右各两个的布局方式来进行实现。

还应理解，可以将多个历史帧点云数据和当前帧点云数据变换到同一坐标系下进行融合处理，得到融合帧点云数据。可以将多个历史帧点云数据变换到该多个历史帧点云数据中的任一帧的坐标系。也可以将将多个历史帧点云数据变换到当前帧点云数据的坐标系，换言之，将历史帧的点云变换到当前帧点云数据的坐标系中的帧点云数据。历史帧点云数据可以是基于时间变化或空间变化、或两者的结合，以及通过自车位姿信息选取的其他关键帧。

还应理解，上述变换可以采用变换矩阵实现，例如，基于世界坐标系下的位姿信息确定的变换矩阵。位姿信息的获取方式可以是任意的，例如，通过全球定位***、板载自主定位***及基于轮速、激光或者视觉的里程计***。

还应理解，障碍物包括正障碍物和负障碍物。负障碍物可以包括井坑、坑洞等低洼地区。正障碍物可以包括高度地面的诸如道路上凸起的障碍物。不同的定位方案精度不同，所对应可检出的诸如井坑的障碍物的程度不同，可以依据具体使用场景来进行确定定位方式。优选地，采用板载自主定位***的方式，以实现更高的定位精度，适用于更加精细化的诸如井坑识别场景的障碍物识别场景。

220：从多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云。

应理解，也可以基于网格化的方式，通过统计网格内点的分布情况，来提取符合障碍物(例如，井坑)视觉特征的点云。文中的视觉特征可以是图案特征、图形特征、颜色特征、灰度特征等用于识别的特征。例如，视觉特征可以指示诸如坑洞(例如，井坑)的障碍物的识别特征。

还应理解，还可以将上述的方式采用下面的方式结合确定障碍物的视觉特征。障碍物的视觉特征可以利用先验的高分辨率高度地形图来判断，例如，在一个示例中，利用地形图来对点云距地高度赋值，对明显低于区域拟合平面的点标记为井坑点。在另一示例中，也可以利用在线的地面估计算法来对点云距地高度赋值。在另一示例中，可以通过点云特征法向量的朝向等信息来进行判断。在另一示例中，当数据量较大时，可以通过机器学习的方式来实现，例如，可以直接进行点云横向方向上的特征学习及通过俯视方向上的高度密度及强度等信息进行视觉特征的识别。在另一示例中，当激光线束较密时，可以通过转换点云信息为视差图的方式，利用图像的技术来提取井坑等低于地面高度的点云。

在本申请实施例的方案中，将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理得到的多帧点云的融合数据具有更多的信息，减少了点云的稀疏性。因此，从多帧点云的融合数据中，提取符合障碍物的视觉特征更加准确，从而使得提取出的符合障碍物的视觉特征的障碍物点云提高了障碍物的检测效果。

换言之，由于上述的融合多个历史帧点云数据的方法弥补了激光的稀疏性，因此对于激光雷达的线束没有强制要求，例如，在实际的应用场景中，16线以上的激光雷达均可。

在一个示例中，利用地形图来对点云距地高度赋值，对明显低于区域拟合平面的点标记为井坑点，从而提高了地面高度估计的准确度。

在另一示例中，也可以利用在线的地面估计算法来对点云距地高度赋值，可以有效减少的内存占用。

当然，根据自动驾驶车辆类型的不同，这些算法模块也会有所不同。例如，对于物流车辆、公共服务车辆、医疗服务车辆、终端服务车辆会涉及不同的算法模块。下面分别针对这四种自动驾驶车辆对算法模块进行举例说明：

其中，物流车辆是指物流场景中使用的车辆，例如可以是带自动分拣功能的物流车辆、带冷藏保温功能的物流车辆、带测量功能的物流车辆。这些物流车辆会涉及不同算法模块。

例如，对于物流车辆，可以带有障碍物检测模块，用于检测路面上的诸如坑洞的障碍物，从而保证了车辆的平稳行驶。该障碍物检测模块还可以配合自动化的分拣装置实现高效稳定的分拣功能，该分拣装置可以在物流车辆到达目的地后自动把货物取出并搬送、分拣、存放。这就涉及用于货物分拣的算法模块，该算法模块主要实现货物取出、搬运、分拣以及存放等逻辑控制。

又例如，在大多物流场景中，是根据包裹体积和/或重量进行收费的，而物流包裹的数量非常庞大，单纯依靠快递员对包裹体积和/或重量进行测量，效率非常低，人工成本较高。因此，在一些物流车辆中，可以带有障碍物检测模块，用于检测路面上的诸如坑洞的障碍物，从而保证了车辆的平稳行驶。该障碍物检测模块还可以配合测量装置实现高效稳定的测量功能，例如，测量物流包裹的体积和/或重量，并计算物流包裹的费用。该障碍物检测模块还可以配合用于物流包裹测量的算法模块，以便识别物流包裹的类型，确定物流包裹的测量方式，如进行体积测量还是重量测量或者是同时进行体积和重量的组合测量，并可根据确定的测量方式完成体积和/或重量的测量，以及根据测量结果完成费用计算。

其中，公共服务车辆是指提供某种公共服务的车辆，例如可以是消防车、除冰车、洒水车、铲雪车、垃圾处理车辆、交通指挥车辆等。这些公共服务车辆会涉及不同算法模块。

例如，对于自动驾驶的消防车，可以带有障碍物检测模块，用于检测路面上的诸如坑洞的障碍物，从而保证了车辆的平稳行驶，该障碍物检测模块还可以配合针对火灾现场进行合理的灭火任务的算法模块，以实现火灾状况的识别、灭火方案的规划以及对灭火装置的自动控制等逻辑。

又例如，对于除冰车，其主要任务是清除路面上结的冰雪，这就涉及除冰的算法模块。除冰车可以带有障碍物检测模块，用于检测路面上的诸如坑洞的障碍物，从而保证了车辆的平稳行驶，该障碍物检测模块还可以配合与除冰相关的算法模块，以实现路面上冰雪状况的识别、根据冰雪状况制定除冰方案，如哪些路段需要采取除冰，哪些路段无需除冰，是否采用撒盐方式、撒盐克数等，以及在确定除冰方案的情况下对除冰装置的自动控制等逻辑。

其中，医疗服务车辆是指能够提供一种或多种医疗服务的自动驾驶车辆，该种车辆可提供消毒、测温、配药、隔离等医疗服务。医疗服务车辆可以带有障碍物检测模块，用于检测路面上的诸如坑洞的障碍物，从而保证了车辆的平稳行驶，该障碍物检测模块还可以配合提供各种自助医疗服务的算法模块，以实现消毒需求的识别以及对消毒装置的控制，以使消毒装置为病人进行消毒，或者对病人位置的识别，控制测温装置自动贴近病人额头等位置为病人进行测温，或者，用于实现对病症的判断，根据判断结果给出药方并需要实现对药品/药品容器的识别，以及对取药机械手的控制，使之按药方为病人抓取药品，等等。

其中，终端服务车辆是指可代替一些终端设备面向用户提供某种便利服务的自助型的自动驾驶车辆，例如这些车辆可以为用户提供打印、考勤、扫描、开锁、支付、零售等服务。

例如，在一些应用场景中，用户经常需要到特定位置去打印或扫描文档，费时费力。于是，出现一种可以为用户提供打印/扫描服务的终端服务车辆，这些服务车辆可以带有障碍物检测模块，用于检测路面上的诸如坑洞的障碍物，从而保证了车辆的平稳行驶，该障碍物检测模块还可以配合用户终端设备互联，用户通过终端设备发出打印指令，服务车辆响应打印指令，自动打印用户所需的文档并可自动将打印出的文档送至用户位置，用户无需去打印机处排队，可极大地提高打印效率。或者，可以响应用户通过终端设备发出的扫描指令，移动至用户位置，用户将待扫描的文档放置的服务车辆的扫描工具上完成扫描，无需到打印/扫描机处排队，省时省力。这就涉及提供打印/扫描服务的算法模块，该算法模块至少需要识别与用户终端设备的互联、打印/扫描指令的响应、用户位置的定位以及行进控制等。

又例如，随着新零售服务场景的开展，越来越多的电商借助于自助售货机将商品销售送到了各大办公楼、公共区，但这些自助售货机被放置在固定位置，不可移动，用户需要到该自助售货机跟前才能购买所需商品，便利性还是较差。于是出现了可提供零售服务的自助驾驶车辆，这些服务车辆可以可以带有障碍物检测模块，用于检测路面上的诸如坑洞的障碍物，从而保证了车辆的平稳行驶，该障碍物检测模块还可以配合其他模块，以承载商品自动移动，并可提供对应的自助购物类APP或购物入口，用户借助于手机等终端通过APP或购物入口可以向提供零售服务的自动驾驶车辆进行下单，该订单中包括待购买的商品名称、数量以及用户位置，该车辆收到下单请求之后，可以确定当前剩余商品是否具有用户购买的商品以及数量是否足够，在确定具有用户购买的商品且数量足够的情况下，可携带这些商品自动移动至用户位置，将这些商品提供给用户，进一步提高用户购物的便利性，节约用户时间，让用户将时间用于更为重要的事情上。这就涉及提供零售服务的算法模块，这些算法模块主要实现响应用户下单请求、订单处理、商品信息维护、用户位置定位、支付管理等逻辑。

在本申请的另一实现方式中，将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据，包括：获取激光雷达采集多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时对应的当前位姿信息；根据多个历史位姿信息与当前位姿信息之间的关系，将多个历史帧点云数据变换到当前位姿信息对应的当前坐标系，得到经变换的多帧点云数据；将经变换的多帧点云数据与当前帧点云数据相融合，得到当前多帧点云的融合数据。

由于融合得到当前融合帧点云数据的经变换的多个帧点云数据和当前帧点云数据都基于当前坐标系，因此提高了对障碍物的预判效率。

在本申请的另一实现方式中，获取激光雷达采集多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时对应的当前位姿信息，包括：通过全球定位***、板载自主定位***或基于轮速、激光或者视觉的里程计***中的至少一者，获取激光雷达采集多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时的当前位姿信息。

在本申请的另一实现方式中，从多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云，包括：对多帧点云的融合数据进行网格化处理；根据融合数据中的点云在每个网格内的分布状态，确定障碍物的视觉特征，并在多帧点云的融合数据中提取符合视觉特征的点云作为障碍物点云。

由于融合帧点云数据中的点云在每个网格内的分布状态能够有效地反映障碍物的视觉特征，因此提高了确定视觉特征的准确度。

在本申请的另一实现方式中，从多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云，包括：提取融合数据在目标方向上的点云分布特征；根据预先训练的神经网络模型，对点云分布特征进行识别，识别障碍物的视觉特征，并在多帧点云的融合数据中提取符合视觉特征的点云作为障碍物点云。

由于预先训练的神经网络模型能够对点云分布特征进行有效识别，因此提高了障碍物的视觉特征的识别效率。

具体而言，可以多次采用不同尺度的网格对当前融合帧点云数据进行网格化处理。例如，先采用第一网格对当前融合帧点云数据进行网格化处理，并且基于第一网格内的第一点云分布特征，确定各个第一网格是否符合障碍物的视觉特征。然后采用第二网格对经由第一网格的网格化处理的点云进行网格化处理，并且基于第二网格的第二点云分布特征，确定各个第二网格是否符合障碍物的视觉特征，第一网格的尺度大于第二网格的尺度。障碍物的视觉特征包括障碍物的壁部的特征、障碍物的底部的特征或障碍物的底部和壁部共存的特征。

在一个示例中，可以根据多个历史帧点云数据之间的时间差，确定网格的尺度，例如，第一网格和/或第二网格的尺度。其中，多个历史帧点云数据之间的时间差与网格的尺度正相关。由于多个历史帧点云数据之间的时间差越大，当前融合帧点云数据越稀疏，较大尺度的网格能够提高判断网格内是否包括障碍物的点云的可靠性。

本方案在具体实现过程中采用多尺度玩个的视觉特征的判断方法，具有计算资源占用较小，所需数据量较小等优点。

在本申请的另一实现方式中，从多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云，包括：确定融合数据的地面高度信息；根据地面高度信息，从融合数据中，确定障碍物的视觉特征，并在多帧点云的融合数据中提取符合视觉特征的点云作为障碍物点云。

由于地面高度信息能够指示诸如井坑等负障碍物的高度，因此提高了障碍物的视觉特征的准确度。

在本申请的另一实现方式中，该方法还包括：确定地面高度信息与障碍物的视觉特征之间的几何关系；根据几何关系，对障碍物点云进行补全处理。

由于地面高度信息与障碍物的视觉特征之间的几何关系反映了障碍物的更全面的信息，因此根据几何关系，对障碍物点云进行补全处理，得到了更加完整的障碍物信息。

具体而言，例如，激光点可能会打在诸如井坑的后方坑壁上，而非整个井坑区域。因此获取的井坑点云有时不能完全表示井坑的形状，通过对诸如井坑的障碍物区域的补全，提高了障碍物点云的识别精度。

此外，可以利用障碍物点云的视觉语义分割结果，进行补全处理。也可以通过诸如井坑点云的障碍物点云与所估计地面高度的几何关系来进行区域补全。可以采用时间保持或时序滤波的方法进行结果的一致性保持，从而保证了输出结果的稳定性。

在本申请的另一实现方式中，该方法还包括：对经补全的障碍物点云进行聚类处理，得到障碍物聚类；利用多边形标记障碍物聚类。

具体而言，可以利用常见的快速聚类方法进行聚类，例如，可以采用mst算法或基于欧几里得距离的聚类方法等进行一次点云级别的聚类，并通过聚类的结果来生成诸如多边体的标记，以此来用更少的信息刻画井坑区域，便于其他模块使用，从而下游模块(例如，自动驾驶规划模块、可视化模块、行为决策模块等)能更好更快的处理井坑的点云信息。

由于多边形标的记障碍物聚类有利于自动驾驶***的下游模块进行高效的数据处理，因此提高了整个自动驾驶***的数据处理效率。

图3A为本申请的另一实施例的障碍物点云识别方法的示意性流程图。如图所示，环境感知模块可以获取激光传感器的数据，例如，激光帧点云数据。通过地面高度估计，从激光帧点云数据中，可以识别出障碍物点云。然后，可以对障碍物进行聚类。可以基于聚类结果对障碍物周边生成诸如多边体的标识，并且输出聚类后的障碍物信息(包括点云以及标识)。

图3B为本申请的另一实施例的障碍物检测方法的示意性流程图。如图所示，在进行障碍物检测时，可以将多个历史帧点云数据以及当前帧点云数据进行点云融合处理，得到稠密的融合帧点云数据。对融合帧点云数据进行网格化处理，通过判断网格内的点云分布特征符合障碍物的视觉特征，提取障碍物的点云。可以在提取的障碍物的点云中对障碍物区域进行补全。可以对补全处理后的障碍物点云进行视觉置信度校验和状态时序滤波处理，以便提高结果点云基于时间和/或空间的一致性保持。

图4为本申请的另一实施例的障碍物检测方法的示意性流程图。图4的障碍物检测方法可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、车机、移动终端(如手机、PAD等)和PC机、具有数据处理能力的自动驾驶***或驾驶辅助***等。该方法包括：

410：至少将激光传感器采集的多个历史帧点云数据变换到激光传感器的同一坐标系下进行融合处理，得到融合帧点云数据。

420：从融合帧点云数据中，确定障碍物的视觉特征。

430：提取符合障碍物的视觉特征的障碍物点云。

440：确定地面高度信息与障碍物的视觉特征之间的几何关系。

450：根据几何关系，对障碍物点云进行补全处理。

460：对经补全的障碍物点云进行聚类处理，得到障碍物聚类。

470：利用多边形标记障碍物聚类。

图5为本申请的另一实施例的自动驾驶预警方法的示意性流程图。图5的自动驾驶预警方法可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、车机、移动终端(如手机、PAD等)和PC机、具有数据处理能力的自动驾驶***或驾驶辅助***等，该方法包括：

510：采用障碍物检测方法，确定障碍物点云。

520：基于障碍物点云，对自动驾驶进行预警。

在本申请实施例的方案中，从融合帧点云数据中确定的障碍物的视觉特征更加准确，从而采用障碍物检测方法使得提取出的符合障碍物的视觉特征的障碍物点云提高了障碍物的检测效果，进而实现了可靠的自动驾驶预警。

图6为本申请的另一实施例的障碍物检测装置的示意性框图。图6的障碍物检测装置可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、车机、移动终端(如手机、PAD等)和PC机、具有数据处理能力的自动驾驶***或驾驶辅助***等，该装置包括：

融合模块610，将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；

提取模块620，从多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云。

在本申请实施例的方案中，将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理得到的多帧点云的融合数据具有更多的信息，减少了点云的稀疏性。因此，从多帧点云的融合数据中，提取符合障碍物的视觉特征更加准确，从而使得提取出的符合障碍物的视觉特征的障碍物点云提高了障碍物的检测效果。

在本申请的另一实现方式中，融合模块具体用于：获取激光雷达采集多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时对应的当前位姿信息；根据多个历史位姿信息与当前位姿信息之间的关系，将多个历史帧点云数据变换到当前位姿信息对应的当前坐标系，得到经变换的多帧点云数据；将经变换的多帧点云数据与当前帧点云数据相融合，得到当前多帧点云的融合数据。

在本申请的另一实现方式中，融合模块具体用于：通过全球定位***、板载自主定位***或基于轮速、激光或者视觉的里程计***中的至少一者，获取激光雷达采集多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时的当前位姿信息。

在本申请的另一实现方式中，提取模块具体用于：对多帧点云的融合数据进行网格化处理；根据融合数据中的点云在每个网格内的分布状态，确定障碍物的视觉特征，并在多帧点云的融合数据中提取符合视觉特征的点云作为障碍物点云。

在本申请的另一实现方式中，提取模块具体用于：提取融合数据在目标方向上的点云分布特征；根据预先训练的神经网络模型，对点云分布特征进行识别，识别障碍物的视觉特征，并在多帧点云的融合数据中提取符合视觉特征的点云作为障碍物点云。

在本申请的另一实现方式中，提取模块具体用于：确定融合数据的地面高度信息；根据地面高度信息，从融合数据中，确定障碍物的视觉特征，并在多帧点云的融合数据中提取符合视觉特征的点云作为障碍物点云。

在本申请的另一实现方式中，该装置还包括：补全模块，确定地面高度信息与障碍物的视觉特征之间的几何关系；根据几何关系，对障碍物点云进行补全处理。

在本申请的另一实现方式中，该装置还包括：聚类模块，对经补全的障碍物点云进行聚类处理，得到障碍物聚类；利用多边形标记障碍物聚类。

本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

图7为本申请的另一实施例的自动驾驶预警装置的示意性框图。图7的自动驾驶预警装置可以适用于任意适当的具有数据处理能力的电子设备，包括但不限于：服务器、车机、移动终端(如手机、PAD等)和PC机、具有数据处理能力的自动驾驶***或驾驶辅助***等，该装置包括：

确定模块710，采用障碍物检测方法，确定障碍物点云。

预警模块720，基于障碍物点云，对自动驾驶进行预警。

在本申请实施例的方案中，从融合帧点云数据中确定的障碍物的视觉特征更加准确，从而采用障碍物检测方法使得提取出的符合障碍物的视觉特征的障碍物点云提高了障碍物的检测效果，进而实现了可靠的自动驾驶预警。

本实施例的装置用于实现前述多个方法实施例中相应的方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

图8为本申请的另一实施例的电子设备的硬件结构；如图8所示，该电子设备的硬件结构可以包括：处理器801，通信接口802，存储介质803和通信总线804；

其中处理器801、通信接口802、存储介质803通过通信总线504完成相互间的通信；可选地，通信接口802可以为通信模块的接口；

其中，处理器801具体可以配置为：将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云；

或者，处理器801具体可以配置为：采用障碍物检测方法，确定障碍物点云；基于障碍物点云，对自动驾驶进行预警。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述的存储介质可以是，但不限于，随机存取存储介质(Random Access Memory，RAM)，只读存储介质(Read Only Memory，ROM)，可编程只读存储介质(Programmable Read-Only Memory，PROM)，可擦除只读存储介质(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储介质(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在存储介质上的计算机程序，该计算机程序包含配置为执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。存储介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何存储介质，该存储介质可以发送、传播或者传输配置为由指令执行***、装置或者器件使用或者与其结合使用的程序。存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写配置为执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络：包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个配置为实现规定的逻辑功能的可执行指令。上述具体实施例中有特定先后关系，但这些先后关系只是示例性的，在具体实现的时候，这些步骤可能会更少、更多或执行顺序有调整。即在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面，本申请还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所描述的方法。

作为另一方面，本申请还提供了一种存储介质，该存储介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述存储介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云；

或者，使得该装置：采用障碍物检测方法，确定所述障碍物点云；基于所述障碍物点云，对自动驾驶进行预警。

在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。

当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)***在这两者之间。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种障碍物检测方法，包括：

将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；

从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云。

2.根据权利要求1所述的方法，其中，所述将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据，包括：

获取激光雷达采集多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时对应的当前位姿信息；

根据所述多个历史位姿信息与所述当前位姿信息之间的关系，将所述多个历史帧点云数据变换到所述当前位姿信息对应的当前坐标系，得到经变换的多帧点云数据；

将经变换的多帧点云数据与所述当前帧点云数据相融合，得到所述当前多帧点云的融合数据。

3.根据权利要求2所述的方法，其中，所述获取激光雷达采集多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时对应的当前位姿信息，包括：

通过全球定位***、板载自主定位***或基于轮速、激光或者视觉的里程计***中的至少一者，获取所述激光雷达采集所述多个历史帧点云数据时对应的多个历史位姿信息以及采集当前帧点云数据时的当前位姿信息。

4.根据权利要求1所述的方法，其中，所述从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云，包括：

对所述多帧点云的融合数据进行网格化处理；

根据所述融合数据中的点云在每个网格内的分布状态，确定所述障碍物的视觉特征，并在所述多帧点云的融合数据中提取符合所述视觉特征的点云作为障碍物点云。

5.根据权利要求1所述的方法，其中，所述从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云，包括：

提取所述融合数据在目标方向上的点云分布特征；

根据预先训练的神经网络模型，对所述点云分布特征进行识别，识别所述障碍物的视觉特征，并在所述多帧点云的融合数据中提取符合所述视觉特征的点云作为障碍物点云。

6.根据权利要求1所述的方法，其中，所述从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云，包括：

确定所述融合数据的地面高度信息；

根据所述地面高度信息，从所述融合数据中，确定所述障碍物的视觉特征，并在所述多帧点云的融合数据中提取符合所述视觉特征的点云作为障碍物点云。

7.根据权利要求6所述的方法，其中，所述方法还包括：

确定所述地面高度信息与所述障碍物的视觉特征之间的几何关系；

根据所述几何关系，对所述障碍物点云进行补全处理。

8.根据权利要求7所述的方法，其中，所述方法还包括：

对经补全的障碍物点云进行聚类处理，得到障碍物聚类；

利用多边形标记所述障碍物聚类。

9.一种障碍物检测装置，包括：

融合模块，将多个历史帧点云数据变换到当前帧点云数据的同一坐标系下进行融合处理，得到多帧点云的融合数据；

提取模块，从所述多帧点云的融合数据中，提取符合障碍物的视觉特征的点云作为障碍物点云。

10.一种电子设备，所述设备包括：

处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的方法对应的操作。

11.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8中任一项权利要求所述的方法。

Images