CN115376109A - 障碍物检测方法、障碍物检测装置以及存储介质 - Google Patents

Abstract

本申请公开了一种障碍物检测方法、障碍物检测装置以及存储介质,该障碍物检测方法包括：获取待检测区域的点云图像、栅格地图、检测图像；基于检测图像获取全景分割结果；将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；获取栅格地图上每个栅格的第一障碍物概率；将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。通过上述方式，本申请能对多传感器数据进行融合，可以降低算法复杂度，且考虑传感器的视野范围进行障碍物的概率更新，提高障碍物检测的计算效率和准确度。

Description

障碍物检测方法、障碍物检测装置以及存储介质

技术领域

本申请涉及计算机视觉应用领域，特别是涉及一种障碍物检测方法、障碍物检测装置以及存储介质。

背景技术

随着自动化程度提高，计算机图像处理可以在多种场合应用，具体可以包括机器人视觉、数字图像通信、面部识别、卫星图像处理、资源勘探、农业规划、城市规划等等。

在一应用场景中，服务机器人在地面上运动时，实际环境中存在的各种物体会在机器人行进路线上对机器人造成阻挡，机器人根据传感器传递的地图信息来判断环境中障碍物信息。但是由于传统地图精度不高且更新频率低，导致机器人无法实时且全面地获取环境信息。

相较于传统地图的缺点，将点云信息映射到地图中能获得更加精细的地图信息。一般使用激光雷达进行机器人的同步定位与建图，但是由于激光雷达仅有一个平面的点云信息，根据点云自身随距离变化的特性，直接将点云映射到地图中会出现噪点的错误映射的问题，极大影响了地图的精度，导致机器人难以对环境信息进行全方位感知，使其在进行路径选择时无法精确判断实际场景中是否有障碍物。

发明内容

本申请主要解决的技术问题是如何提高障碍物检测的效率和准确性，对此，本申请提供一种障碍物检测方法、障碍物检测装置以及存储介质。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种障碍物检测方法，该方法包括：获取待检测区域的点云图像、栅格地图、检测图像；基于检测图像获取全景分割结果；将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；获取栅格地图上每个栅格的第一障碍物概率；将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。

其中，将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像，包括：获取采集检测图像的第一相机的相机内参，以及采集点云图像的第二相机的相机内参；基于第一相机的相机内参和第二相机的相机内参，获取第一相机和第二相机的投影矩阵；基于投影矩阵将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像。

其中，该方法还包括：设定预设邻域半径和预设点数阈值；对点云图像中的所有数据点进行聚类，遍历所有数据点，将在预设邻域半径内相关聚类点数量大于等于预设点数阈值的数据点，标记为核心点。

其中，将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像，包括：将检测图像的全景分割语义与点云图像中的核心点进行融合，得到点云语义图像。

其中，该方法还包括：将核心点在预设邻域半径内的所有聚类点加入集合；遍历集合中的聚类点，将预设邻域半径内相关聚类点数量大于等于预设点数阈值的聚类点，标记为核心点，以及将预设邻域半径内相关聚类点数量小于所述点数阈值的数据点，标记为边界点；将点云图像中除核心点、边界点以外的数据点标记为噪声点。

其中，将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像，包括：将检测图像的全景分割语义与点云图像中的核心点、边界点进行融合，得到点云语义图像。

其中，利用栅格的障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率，包括：将点云语义图像投影到栅格地图，获取栅格地图上每个栅格的投影点数量；基于每个栅格的投影点数量，获取点云语义地图对应的第二障碍物概率；利用每个栅格的第一障碍物概率和第二障碍物概率，计算每个栅格的融合障碍物概率。

其中，利用每个栅格的第一障碍物概率和第二障碍物概率，计算每个栅格的融合障碍物概率，包括：基于每个栅格的第一障碍物概率和第二障碍物概率，计算归一化系数；利用归一化系数，融合第一障碍物概率和第二障碍物概率，得到融合障碍物概率。

其中，该方法还包括：获取待检测区域的第一帧点云图像对应的第一定位信息以及第一融合障碍物概率，以及第二帧点云图像对应的第二定位信息以及第二融合障碍物概率；基于第一定位信息和第二定位信息，获取第一帧点云图像与第二帧点云图像的重合视野区域；在重合视野区域内，基于每个栅格的第一融合障碍物概率和第二融合障碍物概率，计算每个栅格的最终融合障碍物概率。

其中，在重合视野区域内，基于每个栅格的第一融合障碍物概率和所述第二融合障碍物概率，计算每个栅格的最终融合障碍物概率，包括：在重合视野区域内，比较同一栅格的第一融合障碍物概率和第二融合障碍物概率；利用预设滤波方程对同一栅格概率值不同的第一融合障碍物概率和第二融合障碍物概率进行计算，得到该栅格的最终融合障碍物概率。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种障碍物检测装置，包括获取模块、分割模块、融合模块、概率模块以及检测模块；其中，获取模块用于获取待检测区域的点云图像、栅格地图、检测图像；分割模块用于基于检测图像获取全景分割结果，全景分割结果包括检测图像中每一像素点的全景分割语义；融合模块用于将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；概率模块用于获取栅格地图上每个栅格的第一障碍物概率；检测模块，用于将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种障碍物检测装置，该障碍物检测装置包括处理器和存储器，存储器与处理器耦接，存储器存储有程序数据，处理器用于执行程序数据以实现如上述的障碍物检测方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质存储有程序数据，程序数据在被执行时，用于实现上述的障碍物检测方法。

本申请的有益效果是：区别于现有技术的情况，本发明提供的障碍物检测方法应用于障碍物检测装置，障碍物检测装置获取待检测区域的点云图像、栅格地图、检测图像；基于检测图像获取全景分割结果；将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；获取栅格地图上每个栅格的第一障碍物概率；将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。通过上述方式，与常规的障碍物检测相比，本申请采用的基于点云语义和栅格地图信息对地图障碍物概率进行融合，并基于传感器的重合视野范围进行概率更新的方法，能够有效将多传感器间数据进行融合，降低算法复杂度，且利用多帧信息提高算法的稳定性，解决了地图不够精确且不能全面获取实际环境中物体信息的问题，以更加准确的进行障碍物的检测。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的障碍物检测的方法第一实施例的流程示意图；

图2是本申请提供的障碍物检测的方法步骤13一实施例的流程示意图；

图3是本申请提供的障碍物检测的方法步骤15一实施例的流程示意图；

图4是是本申请提供的障碍物检测的方法步骤153一实施例的流程示意图；

图5是本申请提供的障碍物检测的方法第二实施例的流程示意图；

图6是本申请提供的障碍物检测的方法第三实施例的流程示意图；

图7是本申请提供的障碍物检测的方法中基于重合视野的障碍物更新的示意图；

图8是本申请提供的障碍物检测的方法步骤63一实施例的流程示意图；

图9是本申请提供的障碍物检测装置第一实施例的结构示意图；

图10是本申请提供的障碍物检测装置第二实施例的结构示意图；

图11是本申请提供的移动机器人一实施例的结构示意图；

图12是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参阅图1，图1是本申请提供的障碍物检测的方法第一实施例的流程示意图，该方法包括：

步骤11：获取待检测区域的点云图像、栅格地图、检测图像。

可选地，待检测区域为传感器获取的初始图像，在本实施例中，以机器人的路径规划为例，机器人行进路线上有各种各样的物体阻碍它到达目的地，因此需要机器人对其进行检测并避开障碍物。在本实施例中，该待检测区域可为机器人从初始地到目的地的行进路线所在区域。

具体地，点云图像包括点云数据，点云数据是通过深度相机得到的物体外观表面的点的数据信息，点云图为点云信息构成的数据矩阵。在本实施例中，主要是以机器人的移动为例，点云图像为机器人行进路线上的所有物体表面的点的数据信息所构成的矩阵。

具体地，栅格地图是把环境划分成一系列栅格，其中每一栅格给定一个可能值，表示该栅格被占据的概率。栅格地图一般使用激光雷达传感器构建。检测图像使用RGB相机获取，图像中包括待检测区域中物体和背景的图像颜色数据，包含了该图像每个像素点的红绿蓝三个分量的取值。

步骤12：基于所述检测图像获取全景分割结果。

其中，全景分割结果包括所述检测图像中每一像素点的全景分割语义。全景分割语义是图像中属于实例目标的每个像素点所属的类别与实例标号。

具体地，全景分割是指对图像中包括背景的每个像素点进行语义类别预测，并为属于实例目标的像素点赋予实例标号。在本实施例中，以机器人为例，主要是对地面上的物体进行检测，输出包含地面的家庭中常见物体的全景分割结果，包括物体的类别与实例标号。

步骤13：将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像。

在本申请实施例中，点云语义图像是将经过全景分割得到的语义信息即每个像素点的类别赋予到点云图像中每个点云上。具体地，障碍物检测装置通过标定采集检测图像的相机以及采集点云图像的相机，从而获取两个相机之间的投影关系，根据投影关系将点云图像中的数据点与检测图像中的像素点进行关联，最后根据两个图像的关联关系，将检测图像的所有像素点的全景分割语义融合到点云图像中，得到点云语义图像。

可选地，在一实施例中，如图2所示，图2是步骤13一实施例的流程示意图，该步骤13可以具体包括：

步骤131：获取采集检测图像的第一相机的相机内参，以及采集点云图像的第二相机的相机内参。

具体地，相机的内参与相机自身的内部参数有关，即相机的焦距、像素大小等数据，不随物***置变化而变化。相机内参涉及从成像平面坐标系到像素坐标系的变换，即从相机拍摄图像的物理坐标转变为图像的像素坐标。通常使用标定的方法来获取相机的内参。标定主要是指使用相机对尺寸已知的标定物进行拍摄，通过建立标定物上坐标已知的点与其图像像素点之间的对应，利用一定的算法获得相机模型的内外参数。即实现从世界坐标系转换到图像坐标系的过程。在本实施例中，将作为初始的世界坐标系用其中一相机的坐标系替换，可以实现将点在第一相机坐标系和第二相机坐标系中转换。

可选地，在一实施例中，可以采用张氏标定法来估算第一相机和第二相机的相机内参。

具体地，可将标定板置于两相机的公共视野内，拍摄多张标定板图像。通过拍摄图像中标定板所在的物理坐标与其对应的在图像中的像素坐标，根据多张图像中标定板位置变化来分别计算两相机内参。

步骤132：基于第一相机的相机内参和第二相机的相机内参，获取第一相机和第二相机的投影矩阵。

具体地，两相机之间的投影矩阵包括第一相机与第二相机之间的外参矩阵。外参矩阵包括了旋转矩阵R和平移矩阵T，旋转矩阵R描述了第一相机的坐标轴相对于第二相机坐标轴的方向，平移矩阵T描述了在第一相机坐标系下，第二相机原点的位置。旋转矩阵R和平移矩阵T共同描述了如何将点在两相机坐标系中转换。

步骤133：基于投影矩阵将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像。

具体地，使用上述两相机的内参矩阵和两相机之间的外参矩阵R/T，将检测图像中像素点的语义与点云图像中的点进行融合，得到点云语义图像。点云语义图像中的点带有点的类别与实例标号。

步骤14：获取栅格地图上每个栅格的第一障碍物概率。

其中，每个栅格的第一障碍物概率为判断该栅格状态是否为被占用的概率。例如，将机器人运行路径所在区域划分为一个个栅格，通过传感器构建栅格地图，每个栅格概率代表了传感器认为该栅格存在障碍物的概率。

步骤15：将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。

在本申请实施例中，栅格的第一障碍物概率为机器人的激光雷达传感器通过获取的地面信息构建的栅格地图中的栅格被占据的概率，具体地，障碍物检测装置通过点云语义图像中各个点的位置信息，利用坐标转换将点转换到地面所在的坐标系下，再通过位置点变换投影到栅格地图中。以此建立点云语义图像与栅格地图的关联关系，将点云语义图像中的每个点按照此关联关系投影到栅格地图的平面内。基于每个栅格内的投影点和栅格地图中的栅格被占据的概率，使用DS证据理论对其进行融合以获得综合的每个栅格有障碍物的概率。

可选地，在一实施例中，如图3所示，图3是步骤15一实施例的流程示意图，该步骤15可以具体包括：

步骤151：将点云语义图像投影到栅格地图，获取栅格地图上每个栅格的投影点数量。

具体地，投影点数量就是将点云语义图像中的点按照点云语义图像与栅格地图的关联关系投影到栅格地图中的点的数量。

步骤152：基于每个栅格的投影点数量，获取点云语义地图对应的第二障碍物概率。

具体地，第二障碍物概率是与将点云语义图像中的点根据点云图像与栅格地图之间的关联关系，投影到栅格地图所在的平面后，每个栅格中所包含点的点数相关的。

具体地，第二障碍物概率可用以下公式定义：

其中，x表示点云语义图像投影在栅格地图内每个栅格内的点数，N表示跟栅格地图中栅格大小相关的障碍物判定参数。

步骤153：利用每个栅格的第一障碍物概率和第二障碍物概率，计算每个栅格的融合障碍物概率。

具体地，在本实施例中，融合障碍物概率是机器人从障碍物检测装置处获得的将多传感器判断该栅格是否有障碍物的数据融合在一起的综合障碍物概率。

可选地，在一实施例中，如图4所示，图4是步骤153一实施例的流程示意图，该步骤153可以具体包括：

步骤1531：基于所述每个栅格的第一障碍物概率和第二障碍物概率，计算归一化系数。

归一化系数用于数据的标准化处理，通过对原始数据进行线性变换把数据映射到[0,1]之间。

具体地，归一化系数可用以下公式定义：

其中，pm和pd分别表示第一障碍物概率和第二障碍物概率。

步骤1532：利用归一化系数，融合第一障碍物概率和第二障碍物概率，得到融合障碍物概率。

具体地，采用以下公式计算融合障碍物概率：

具体地，以上两公式属于DS证据理论，采用区间估计来处理不确定性问题，可以将多个主体相融合。以机器人的障碍物检测为例，可以将检测区域的栅格概率和深度数据融合在一起来确定综合概率。

可选地，在一实施例中，如图5所示，图5是本申请提供的障碍物检测的方法第二实施例的流程示意图：

在本申请实施例中，以某点为中心点的一定范围的圆被称为某点的邻域，邻域所在的圆的半径为邻域半径，预设点数阈值为该点邻域范围内最小样本数。具体地，输入障碍物检测装置中获取的点云图像中的点云集合，设定邻域半径和给定点在邻域半径内成为核心点的最小点数。对点云图像集合中所有点遍历以进行核心点的判定，并输出核心点和边界点得到点云图像的聚类结果。

步骤51：设定预设邻域半径和预设点数阈值。

具体地，预设点数阈值为在以预设邻域半径内为圆半径，以要判断的点为中心的圆范围内使该点成为核心点的最小点数。

步骤52：对点云图像中的所有数据点进行聚类，遍历所有数据点，将在预设邻域半径内相关聚类点数量大于等于所述预设点数阈值的数据点，标记为核心点。

具体地，聚类是对数据点等对象进行分组，将类似的对象分为一组组成多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。

在本申请实施例中，对于输入的点云图像集合中的所有点进行遍历，首先判断其是否已被分类（被分为核心点、边界点或噪声），若已分类则判断下一个点，若未分类则对其进行核心点的判定。

具体地，核心点的判定为计算该点以预设邻域半径为半径的圆的范围内中点的数量记为该点的邻域点数量，若邻域点数量大于预设点数阈值，则标记该点为核心点，归入核心点集合C，否则将该点标记为噪音点。

步骤53：将核心点在预设邻域半径内的所有聚类点加入集合。

具体地，将已被判断为核心点的点的邻域范围内所有点归入边界点集合N。

步骤54：遍历集合中的聚类点，将所述预设邻域半径内相关聚类点数量大于等于所述预设点数阈值的聚类点，标记为核心点，以及将所述预设邻域半径内相关聚类点数量小于所述预设点数阈值的数据点，标记为边界点。

具体地，对边界点集合N中的所有点进行遍历，首先判断该点是否已被判定过，若没被判定过，则将集合N中的点记为p1,p2,p3…，标记进行判定的点为已判定，并计算该点以预设邻域半径为半径的圆的范围内中点的数量记为该点的邻域点数量，若邻域点数量大于等于预设点数阈值，则标记该点为核心点，归入核心点集合C，并将该点邻域范围内的所有点归入边界点集合N，否则将该点标记为噪音点。对集合N中所有的点进行判定直至点云图像集合中每个点都被判定过。

步骤55：将点云图像中除核心点、边界点以外的数据点标记为噪声点。

具体地，输出核心点集合C和边界点N作为对点云图像中的点云集合进行聚类后的结果。噪音点为既不属于任何核心点邻域范围内且该点邻域范围内的点数小于预设点数阈值的点。

可选地，将检测图像的所有像素点的全景分割语义与点云图像中经过点云聚类后输出的核心点、边界点进行融合，得到所述点云语义图像。

参阅图6，图6是本申请提供的障碍物检测的方法第三实施例的流程示意图，该方法包括：

步骤61：获取待检测区域的第一帧点云图像对应的第一定位信息以及第一融合障碍物概率，以及第二帧点云图像对应的第二定位信息以及第二融合障碍物概率。

可选地，所述点云图像对应的定位信息可以通过即时定位与地图构建技术获得。所述技术可用于使机器人在未知环境中完成定位、建图和路径规划等。

具体地，第一帧点云图像与第二帧点云图像分别为障碍物检测装置获取的两个不同时间点的点云图像，由于时间点的不同所以会获得相应相机不同时间的定位信息即第一定位信息和第二定位信息以及不同的将多传感器数据融合的融合障碍物概率即第一融合障碍物概率和第二融合障碍物概率，相机的视野也会存在一定的偏移角度，基于此偏移角度使得相机视野存在重合区域。

步骤62：基于第一定位信息和第二定位信息，获取第一帧点云图像与第二帧点云图像的重合视野区域。

具体地，重合视野区域如图7所示，重合视野为两帧间相机在不同位置获取同一物体的不同角度的图像的重合位置。

步骤63：在重合视野区域内，基于每个栅格的第一融合障碍物概率和第二融合障碍物概率，计算每个栅格的最终融合障碍物概率。

在本申请实施例中，在相机的重合视野区域范围内的每个栅格都有来自两个不同时间点的融合障碍物概率，可能会出现栅格的融合概率不相同的情况，因此需要通过滤波方程将两个不同的融合障碍物概率进行融合，获得每个栅格的最终的融合障碍物概率。

可选地，可以使用卡尔曼滤波方程对所述重合视野区域内每个栅格的第一融合障碍物概率和第二融合障碍物概率融合来计算所述每个栅格最终的融合障碍物概率。

具体地，卡尔曼滤波是在线性***的状态空间表示基础上，从输出和输入观测数据求***状态的最优估计。由于观测数据中包括***中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。所述***状态，是总结***所有过去的输入和扰动对***的作用的最小参数的集合。

可选地，在一实施例中，如图8所示，图8是步骤63一实施例的流程示意图，该步骤63可以具体包括：

步骤631：在重合视野区域内，比较同一栅格的第一融合障碍物概率和第二融合障碍物概率。

在本申请实施例中，以机器人为例，在机器人在地面上的运行途中，不同时间点由于机器人的位置不同，会存在相机视野的角度偏移，因此会出现重合视野区域。在此重合视野区域中，同一栅格可能会存在两个不同的融合障碍物概率。

步骤632：利用预设滤波方程对同一栅格概率值不同的第一融合障碍物概率和第二融合障碍物概率进行计算，得到该栅格的最终融合障碍物概率。

区别于现有技术，本实例提供障碍物检测方法应用于障碍物检测装置，障碍物检测装置获取待检测区域的点云图像、栅格地图、检测图像；基于检测图像获取全景分割结果；将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；获取栅格地图上每个栅格的第一障碍物概率；将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。通过上述方式，与常规的障碍物检测相比，本申请采用的基于点云语义和栅格地图信息对地图障碍物概率进行融合，并基于传感器的重合视野范围进行概率更新的方法，能够有效将多传感器间数据进行融合，降低算法复杂度，且利用多帧信息提高算法的稳定性，解决了地图不够精确且不能全面获取实际环境中物体信息的问题，以更加准确的进行障碍物的检测。

上述实施例的方法，可以利用一检测装置来实现，下面结合图9，图9为本申请提供的障碍物检测装置第一实施例的结构示意图，该障碍物检测装置90可以包括获取模块91、分割模块92、融合模块93、概率模块94和检测模块95。

其中，获取模块91用于获取待检测区域的点云图像、栅格地图、检测图像；分割模块92用于基于检测图像获取全景分割结果，所述全景分割结果包括检测图像中每一像素点的全景分割语义；融合模块93用于将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；概率模块94用于获取栅格地图上每个栅格的第一障碍物概率；检测模块95用于将点云语义图像与栅格地图进行融合，利用所述栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。

具体地，针对传感器传递而来的待检测区域，首先获取待检测区域的点云图像、栅格地图和检测图像。使用全景分割的方法对检测图像中物体和背景的图像颜色数据进行处理，获得检测图像中每一像素点的全景分割语义类别。对点云图像中的点云进行聚类操作便于后续与所得的全景分割语义类别进行融合，得到点云语义图像。针对栅格地图的每个栅格，获取每个栅格所代表的第一障碍物概率，将其与利用点的对应关系将点云语义图像投影入每个栅格中的投影点的数量相关的第二障碍物概率相融合，获取每个栅格的融合障碍物概率。

参阅图10，图10是本申请提供的障碍物检测装置第二实施例的结构示意图，该障碍物检测装置100包括存储器101和处理器102，存储器101用于存储程序数据，处理器102用于执行程序数据以实现如下的方法：

获取待检测区域的点云图像、栅格地图、检测图像；基于检测图像获取全景分割结果；将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；获取栅格地图上每个栅格的第一障碍物概率；将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。

参阅图11，图11是本申请提供的移动机器人一实施例的结构示意图。该移动机器人110包括障碍物检测装置111，其中障碍物监测装置可以为图9或图10所示的障碍物检测装置。移动机器人具体可以为多个领域的机器人，例如扫地机器人、导航机器人、送餐机器人。

相对地，移动机器人还包括用于获取待检测区域的点云图像、栅格地图和检测图像的各种相机与传感器设备等，在此不做限定。

参阅图12，图12是本申请提供的计算机可读存储介质一实施例的结构示意图，该计算机可读存储介质120存储有程序数据121，程序数据121在被处理器执行时，用于实现如下的方法：

获取待检测区域的点云图像、栅格地图、检测图像；基于检测图像获取全景分割结果；将检测图像的全景分割语义与点云图像进行融合，得到点云语义图像；获取栅格地图上每个栅格的第一障碍物概率；将点云语义图像与栅格地图进行融合，利用栅格的第一障碍物概率，以及点云语义图像在栅格中的投影点数量，获取每个栅格的融合障碍物概率。

本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种障碍物检测方法，其特征在于，所述障碍物检测方法包括：

获取待检测区域的点云图像、栅格地图、检测图像；

基于所述检测图像获取全景分割结果，所述全景分割结果包括所述检测图像中每一像素点的全景分割语义；

将所述检测图像的全景分割语义与所述点云图像进行融合，得到点云语义图像；

获取所述栅格地图上每个栅格的第一障碍物概率；

将所述点云语义图像与所述栅格地图进行融合，利用所述栅格的第一障碍物概率，以及所述点云语义图像在所述栅格中的投影点数量，获取每个栅格的融合障碍物概率。

2.根据权利要求1所述的障碍物检测方法，其特征在于，

所述将所述检测图像的全景分割语义与所述点云图像进行融合，得到点云语义图像，包括：

获取采集所述检测图像的第一相机的相机内参，以及采集所述点云图像的第二相机的相机内参；

基于所述第一相机的相机内参和所述第二相机的相机内参，获取所述第一相机和所述第二相机的投影矩阵；

基于所述投影矩阵将所述检测图像的全景分割语义与所述点云图像进行融合，得到点云语义图像。

3.根据权利要求1或2所述的障碍物检测方法，其特征在于，

所述障碍物检测方法，包括：

设定预设邻域半径和预设点数阈值；

对所述点云图像中的所有数据点进行聚类，遍历所有数据点，将在所述预设邻域半径内相关聚类点数量大于等于所述预设点数阈值的数据点，标记为核心点；

所述将所述检测图像的全景分割语义与所述点云图像进行融合，得到点云语义图像，包括：

将所述检测图像的全景分割语义与所述点云图像中的所述核心点进行融合，得到所述点云语义图像。

4.根据权利要求3所述的障碍物检测方法，其特征在于，

所述障碍物检测方法，还包括：

将所述核心点在所述预设邻域半径内的所有聚类点加入集合；

遍历所述集合中的聚类点，将所述预设邻域半径内相关聚类点数量大于等于所述预设点数阈值的聚类点，标记为所述核心点，以及将所述预设邻域半径内相关聚类点数量小于所述预设点数阈值的数据点，标记为边界点；

将所述点云图像中除所述核心点、所述边界点以外的数据点标记为噪声点；

所述将所述检测图像的全景分割语义与所述点云图像进行融合，得到点云语义图像，包括：

将所述检测图像的全景分割语义与所述点云图像中的所述核心点、所述边界点进行融合，得到所述点云语义图像。

5.根据权利要求1所述的障碍物检测方法，其特征在于，

所述利用所述栅格的障碍物概率，以及所述点云语义图像在所述栅格中的投影点数量，获取每个栅格的融合障碍物概率，包括：

将所述点云语义图像投影到所述栅格地图，获取所述栅格地图上每个栅格的投影点数量；

基于所述每个栅格的投影点数量，获取点云语义地图对应的第二障碍物概率；

利用所述每个栅格的所述第一障碍物概率和所述第二障碍物概率，计算所述每个栅格的融合障碍物概率。

6.根据权利要求5所述的障碍物检测方法，其特征在于，

所述利用所述每个栅格的所述第一障碍物概率和所述第二障碍物概率，计算所述每个栅格的融合障碍物概率，包括：

基于所述每个栅格的所述第一障碍物概率和所述第二障碍物概率，计算归一化系数；

利用所述归一化系数，融合所述第一障碍物概率和所述第二障碍物概率，得到所述融合障碍物概率。

7.根据权利要求1所述的障碍物检测方法，其特征在于，

所述障碍物检测方法，还包括：

获取待检测区域的第一帧点云图像对应的第一定位信息以及第一融合障碍物概率，以及第二帧点云图像对应的第二定位信息以及第二融合障碍物概率；

基于所述第一定位信息和所述第二定位信息，获取所述第一帧点云图像与所述第二帧点云图像的重合视野区域；

在所述重合视野区域内，基于每个栅格的所述第一融合障碍物概率和所述第二融合障碍物概率，计算每个栅格的最终融合障碍物概率。

8.根据权利要求7所述的障碍物检测方法，其特征在于，

所述在所述重合视野区域内，基于每个栅格的所述第一融合障碍物概率和所述第二融合障碍物概率，计算每个栅格的最终融合障碍物概率，包括：

在所述重合视野区域内，比较同一栅格的第一融合障碍物概率和第二融合障碍物概率；

利用预设滤波方程对同一栅格概率值不同的第一融合障碍物概率和第二融合障碍物概率进行计算，得到该栅格的最终融合障碍物概率。

9.一种障碍物检测装置，其特征在于，所述障碍物检测装置，包括获取模块、分割模块、融合模块、概率模块以及检测模块；其中，

所述获取模块，用于获取待检测区域的点云图像、栅格地图、检测图像；

所述分割模块，用于基于所述检测图像获取全景分割结果，所述全景分割结果包括所述检测图像中每一像素点的全景分割语义；

所述融合模块，用于将所述检测图像的全景分割语义与所述点云图像进行融合，得到点云语义图像；

所述概率模块，用于获取所述栅格地图上每个栅格的第一障碍物概率；

所述检测模块，用于将所述点云语义图像与所述栅格地图进行融合，利用所述栅格的第一障碍物概率，以及所述点云语义图像在所述栅格中的投影点数量，获取每个栅格的融合障碍物概率。

10.一种障碍物检测装置，其特征在于，所述障碍物检测装置包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至8任一项所述的障碍物检测方法。

11.一种移动机器人，其特征在于，包括如权利要求9或10所述的障碍物检测装置。

12.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1至8任一项所述的障碍物检测方法。

Images