CN113126640B - 用于无人机的障碍物探测方法、装置、无人机和存储介质 - Google Patents

Abstract

本申请公开了用于无人机的障碍物探测方法、装置、无人机和存储介质。所述方法包括：根据图像数据确定光照状态；在光照状态异常的情形下，获取第一时间段内探测得到的多帧雷达点云数据；根据所述多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间；根据所述参考区间确定无人机与指定方向上最近障碍物之间的距离。该技术方案的有益效果在于，在根据图像数据确定光照状态异常的情况下，能够快速切换到以雷达点云数据为基础的障碍物探测方式，并通过多帧雷达点云数据而非单帧雷达点云数据进行距离的确定，有效实现了在光照复杂场景下的障碍物准确探测。

Description

用于无人机的障碍物探测方法、装置、无人机和存储介质

技术领域

本申请涉及无人机领域，具体涉及用于无人机的障碍物探测方法、装置、无人机和存储介质。

背景技术

近年来无人机室内飞行越来越频繁，而大型室内场地往往具有光照变化明显、上方障碍物结构复杂的特点，例如，图5示出了一幅由无人机在室内拍摄的上视图，可见，无人机上方的钢梁结构复杂，并且存在着强光源。

目前常用于无人机的障碍物探测手段中，传统的红外测距，容易受光照影响，不适合应用在光照过强或过暗场景下；而传统的多目视觉在光照变化明显的情况下，由于受曝光调整影响，会导致一帧或多帧测距数据丢失。

因此，用于无人机的障碍物探测方案亟需改进。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的用于无人机的障碍物探测方法、装置、无人机和存储介质。

依据本申请的一个方面，提供了一种用于无人机的障碍物探测方法，包括：

根据图像数据确定光照状态；

在光照状态异常的情形下，获取第一时间段内探测得到的多帧雷达点云数据；

根据所述多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间；

根据所述参考区间确定无人机与指定方向上最近障碍物之间的距离。

可选地，所述根据图像数据确定光照状态包括：

生成灰度图像的灰度直方图，根据所述灰度直方图确定灰度变化区间，根据所述灰度变化区间和灰度阈值确定光照状态；

和/或，

生成深度图像的深度直方图，根据所述深度直方图确定有效检测点数量，根据所述有效检测点数量和有效阈值确定光照状态。

可选地，所述灰度阈值包括过亮阈值和过暗阈值，所述根据所述灰度变化区间和光照阈值确定光照状态包括：

若所述灰度变化区间的下限值大于所述过亮阈值，则光照状态为过亮异常；

若所述灰度变化区间的上限值小于所述过暗阈值，则光照状态为过暗异常；

该方法还包括：

根据确定的光照状态相应地调整采集所述灰度图像的相机的曝光值和/或增益。

可选地，所述生成深度图像的深度直方图包括：

基于无人机的姿态和深度图像，生成无人机与指定方向上障碍物之间距离的深度直方图。

可选地，所述根据所述多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间包括：

根据各帧点云分别确定无人机与指定方向上最近障碍物之间距离的最小值，将包含多个所述最小值的最小区间作为所述参考区间。

可选地，所述根据所述参考区间确定无人机与指定方向上最近障碍物之间的距离包括：

将所述参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；

或者，

根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值；若所述距离预测值大于所述参考区间的上限值，则将所述参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；若所述距离预测值小于所述参考区间的下限值，则将所述参考区间的下限值作为无人机与指定方向上最近障碍物之间的距离；若所述距离预测值落入所述参考区间内，则将所述距离预测值作为无人机与指定方向上最近障碍物之间的距离。

可选地，该方法还包括：

根据所述无人机与指定方向上最近障碍物之间的距离，确定无人机在指定方向上的安全距离，以使所述无人机在所述安全距离内飞行。

依据本申请的另一方面，提供了一种用于无人机的障碍物探测装置，包括：

光照状态单元，用于根据图像数据确定光照状态；

获取单元，用于在光照状态异常的情形下，获取第一时间段内探测得到的多帧雷达点云数据；

预测单元，用于根据所述多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间；

确定单元，用于根据所述参考区间确定无人机与指定方向上最近障碍物的距离。

可选地，所述光照状态单元，用于生成灰度图像的灰度直方图，根据所述灰度直方图确定灰度变化区间，根据所述灰度变化区间和灰度阈值确定光照状态；和/或，生成深度图像的深度直方图，根据所述深度直方图确定有效检测点数量，根据所述有效检测点数量和有效阈值确定光照状态。

可选地，所述灰度阈值包括过亮阈值和过暗阈值，所述光照状态单元，用于若所述灰度变化区间的下限值大于所述过亮阈值，则光照状态为过亮异常；若所述灰度变化区间的上限值小于所述过暗阈值，则光照状态为过暗异常；

该装置还包括：

相机调整单元，用于根据确定的光照状态相应地调整采集所述灰度图像的相机的曝光值和/或增益。

可选地，所述光照状态单元，用于基于无人机的姿态和深度图像，生成无人机与指定方向上障碍物之间距离的深度直方图。

可选地，所述预测单元，用于根据各帧点云分别确定无人机与指定方向上最近障碍物之间距离的最小值，将包含多个所述最小值的最小区间作为所述参考区间。

可选地，所述确定单元，用于将所述参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；或者，根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值；若所述距离预测值大于所述参考区间的上限值，则将所述参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；若所述距离预测值小于所述参考区间的下限值，则将所述参考区间的下限值作为无人机与指定方向上最近障碍物之间的距离；若所述距离预测值落入所述参考区间内，则将所述距离预测值作为无人机与指定方向上最近障碍物之间的距离。

可选地，该装置还包括：避障单元，用于根据所述无人机与指定方向上最近障碍物之间的距离，确定无人机在指定方向上的安全距离，以使所述无人机在所述安全距离内飞行。

依据本申请的又一方面，提供了一种无人机，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请的技术方案，在根据图像数据确定光照状态异常的情形下，通过第一时间段内探测得到的多帧雷达点云数据预测无人机与指定方向上最近障碍物之间距离的参考区间，再根据参考区间确定无人机与指定方向上最近障碍物之间的距离。该技术方案的有益效果在于，在根据图像数据确定光照状态异常的情况下，能够快速切换到以雷达点云数据为基础的障碍物探测方式，并通过多帧雷达点云数据而非单帧雷达点云数据进行距离的确定，有效实现了在光照复杂场景下的障碍物准确探测，为实时连续输出与指定方向上障碍物的之间的距离提供了保障，数据的连续性和鲁棒性都很出色，为物流、外卖配送等业务领域提供了技术支撑。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的一种用于无人机的障碍物探测方法的流程示意图；

图2示出了根据本申请一个实施例的一种用于无人机的障碍物探测装置的结构示意图；

图3示出了根据本申请一个实施例的无人机的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；

图5示出了一幅由无人机在室内拍摄的上视图。

具体实施方式

考虑到传统的红外避障以及多目视觉避障在光照复杂环境下的局限性，本申请提出了一种结合图像数据和雷达点云数据进行障碍物探测的方案，主要利用图像数据进行光照状态的判断，以及利用雷达点云数据进行障碍物距离的确定。其中，图像数据可以利用多目摄像机获得，而雷达点云数据可以利用毫米波雷达获得。

这里没有仅采用毫米波雷达的原因在于，毫米波雷达虽然对光照变化有非常强的鲁棒性，但复杂环境下，单纯依赖毫米波雷达，会随着反射信号的强弱，返回不同位置的障碍物距离，无法准确定位到距离上方障碍物的最近距离。

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的一种用于无人机的障碍物探测方法的流程示意图。如图1所示，该方法包括：

步骤S110，根据图像数据确定光照状态。这里的图像数据可以是依赖于双目等多目相机，或者是其他类型的深度相机来获取，各类相机可以是部署在无人机上的。

具体地，图像数据可以是相机朝某一方向拍摄的若干帧图像，光照状态可以是该方向上的光照状态，在室内场景中，可以是竖直向上方向上的光照状态。

步骤S120，在光照状态异常的情形下，获取第一时间段内探测得到的多帧雷达点云数据。

例如，目的是确定当前时刻无人机与指定方向上最近障碍物之间的距离，则可以获取之前一段时间内的雷达点云数据。雷达点云数据可以是通过毫米波雷达探测得到的，如果在指定方向上有障碍物，则会存在相应的检测点，这些检测点的集合就是点云，点云数据具体可以包括检测点的三维坐标、反射强度等信息。

步骤S130，根据多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间。

多帧雷达点云数据分别是在不同时刻探测得到的，对其进行分析，可以确定无人机与指定方向上最近障碍物之间距离的参考区间。本申请技术方案的创新点之一就在于，先确定了参考区间，再根据参考区间确定距离，综合衡量了无人机的计算能力和所需的预测精度，使得最终确定的距离的连续性和鲁棒性都很好。

步骤S140，根据参考区间确定无人机与指定方向上最近障碍物之间的距离。

可见，图1所示的方法，有益效果在于，在根据图像数据确定光照状态异常的情况下，能够快速切换到以雷达点云数据为基础的障碍物探测方式，并通过多帧雷达点云数据而非单帧雷达点云数据进行距离的确定，有效实现了在光照复杂场景下的障碍物准确探测，为实时连续输出与指定方向上障碍物的之间的距离提供了保障，数据的连续性和鲁棒性都很出色，为物流、外卖配送等业务领域提供了技术支撑。

在本申请的一个实施例中，上述方法中，根据图像数据确定光照状态包括：生成灰度图像的灰度直方图，根据灰度直方图确定灰度变化区间，根据灰度变化区间和灰度阈值确定光照状态；和/或，生成深度图像的深度直方图，根据深度直方图确定有效检测点数量，根据有效检测点数量和有效阈值确定光照状态。

其中，灰度图像可以是由相机直接拍摄得到的，也可以是通过相机直接拍的原始彩色图像转换得到的。灰度值在0-255范围内，白色为255，黑色为0。根据图5可见，在光源附近，灰度值基本接近255。

因此，根据灰度图像可以有效地进行光照状态的确定。本申请的实施例还给出了几种较佳的判断方式。

一种方式下，先生成灰度图像的灰度直方图，也就确定了灰度值的分布；再根据灰度直方图确定灰度变化区间，最后根据灰度变化区间和灰度阈值确定光照状态。

另一种方式下，还可以根据深度图像的深度直方图确定有效检测点数量，例如通过深度阈值可以判断哪些检测点是有效检测点。如果有效检测点的数量较少，则说明根据这些有效检测点难以得到较为准确的障碍物探测结果。例如，可以设置有效阈值为深度图像中的总检测点数与k₁的乘积，k₁可以是一个小于1的经验参数，如果有效检测点数量小于该有效阈值，则说明有效监测点过少。

在生成深度直方图时，还可以先对深度直方图进行下采样或是裁剪，以减小计算量。

在本申请的一个实施例中，上述方法中，灰度阈值包括过亮阈值和过暗阈值，根据灰度变化区间和光照阈值确定光照状态包括：若灰度变化区间的下限值大于过亮阈值，则光照状态为过亮异常；若灰度变化区间的上限值小于过暗阈值，则光照状态为过暗异常；该方法还包括：根据确定的光照状态相应地调整采集灰度图像的相机的曝光值和/或增益。

例如设置过亮阈值为200，过暗阈值为50。若一幅图像的灰度变化区间的下限值为220，可以想象整幅图像基本是泛白的，说明光照过强，则为过亮异常。类似地，如果一幅图像的灰度变化区间的上限值为49，可以想象整幅图像基本是灰暗的，则为过暗异常。容易理解，无论是过亮异常还是过暗异常，图像都不能真实反映出当前的环境状态，依据图像进行多目视觉避障的准确性并不高。需要说明的是，上述例子中的过亮阈值200和过暗阈值50仅为示例性说明，在其他例子中过亮阈值和过暗阈值可以按照实际需求进行设置。

在判断出具体是过亮异常还是过暗异常之后，还可以对采集灰度图像的相机的曝光值和/或增益进行调整，例如，如果为过暗异常，则可以增加曝光值和相机增益，如果为过亮异常，则可以减少曝光值和相机增益。

在本申请的一个实施例中，上述方法中，生成深度图像的深度直方图包括：基于无人机的姿态和深度图像，生成无人机与指定方向上障碍物之间距离的深度直方图。

由于无人机在飞行时并不能够时刻保持着完全水平飞行的状态，因此在世界坐标系下，并不能时刻保证平行于任一坐标轴，因此为了获得准确的在指定方向上的距离，可根据无人机的姿态和深度图像来生成深度直方图，具体来说，可以根据无人机姿态确定与拍摄视角与世界坐标系各坐标轴之间的夹角，并据此将深度图像进行投影变换。

这里需要说明的是，相机和雷达可经过预先标定，例如可以确定相机坐标系和雷达坐标系之间的旋转矩阵，方便后续进行数据的处理，例如，将雷达点云数据在相机坐标系中进行投影，以得到检测点和像素点之间的对应关系。

在本申请的一个实施例中，上述方法中，根据多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间包括：根据各帧点云分别确定无人机与指定方向上最近障碍物之间距离的最小值，将包含多个最小值的最小区间作为参考区间。

例如，对于n帧雷达点云数据，依次确定每帧雷达点云数据中，无人机与指定方向上最近障碍物之间距离的最小值Smin，这个可以根据无人机的坐标、姿态以及雷达点云数据中的三维坐标来确定，由此，可以得到Smin1，Smin2……Sminn。再对Smin1，Smin2……Sminn进行排序，即可确定一个区间[Smin_min,Smin_max]。

在本申请的一个实施例中，上述方法中，根据参考区间确定无人机与指定方向上最近障碍物之间的距离包括：将参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；或者，根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值；若距离预测值大于参考区间的上限值，则将参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；若距离预测值小于参考区间的下限值，则将参考区间的下限值作为无人机与指定方向上最近障碍物之间的距离；若距离预测值落入参考区间内，则将距离预测值作为无人机与指定方向上最近障碍物之间的距离。

这里给出了几种根据参考区间确定无人机与指定方向上最近障碍物之间的距离的方式。由于每个时刻都可以确定无人机与指定方向上最近障碍物之间的距离，因此，可以参照之前一段时间内确定的无人机与指定方向上最近障碍物之间的距离，作为当前时刻的参考。

那么对于前一段时间，可能存在着如下的情况：光照状态异常已经持续了一段时间，或者光照状态异常在本时刻才刚刚开始。容易理解，如果光照状态正常，则利用多目视觉可以较为准确地探测到无人机与指定方向上最近障碍物之间的距离，例如可以根据深度图像中深度点进行确定。

当然，无论是哪种方式，都无法避免在相应数据存在着误检测的点，因此，对于光照状态正常的情况，可以利用一个经验参数k2与总深度点数的乘积进行过滤，利用过滤后剩下的深度点进行距离的确定。

考虑光照状态异常已经持续了一段时间这种情形。由于在这种情况下，都是根据参考区间确定无人机与指定方向上最近障碍物之间的距离，那么前面时刻的数据如果存在误差，则采用相同方式在此刻进行距离的确定，则有可能造成误差的累积，因此，可以直接将参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离。

而对于光照状态异常在本时刻才刚刚开始这种情形，由于前面时刻的距离是根据多目视觉确定的，因此，可以将其作为参考，那么就可以根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值，例如，以t-1时刻确定的距离为基础，加上t时刻距离的线性增长值，作为t时刻确定的距离，这里距离的线性增长值可以是根据线性关系计算得出。

为简略计算，可以近似认为，t-1时刻距离的线性增长值与t时刻距离的线性增长值相同，而t-1时刻距离的线性增长值可以用t-2时刻确定的距离和t-1时刻确定的距离作差得到，也就是利用t-2时刻确定的距离以及t-1时刻确定的距离，就可以确定t时刻的距离。在一个具体的例子中，根据t-2时刻确定的距离为15cm，t-1时刻确定的距离为14cm，则t时刻确定的距离为14+(14-15)＝13cm。

之后，考虑距离预测值与参考区间之间的关系，可以理解为以参考区间对距离参考值进行限制，以免因前面时刻误差的累积导致更大的误差。具体来说，如果距离参考值在参考区间内，那么就直接使用距离参考值；如果距离参考值在参考区间外，则当距离参考值较大时使用参考区间的上限值，距离参考值较小时使用参考区间的下限值。

当然，由于实际场景的光照状态十分复杂，上述方式也可以根据需求自由结合实施，本申请对此不做限制。

在本申请的一个实施例中，上述方法还包括：根据无人机与指定方向上最近障碍物之间的距离，确定无人机在指定方向上的安全距离，以使无人机在安全距离内飞行。

确定的无人机与指定方向上最近障碍物之间的距离，以及安全距离之间的差值，可以是一个经验参数。这样也就实现了无人机在指定方向上的避障。

图2示出了根据本申请一个实施例的一种用于无人机的障碍物探测装置的结构示意图。如图2所示，用于无人机的障碍物探测装置200包括：

光照状态单元210，用于根据图像数据确定光照状态。这里的图像数据可以是依赖于双目等多目相机，或者是其他类型的深度相机来获取，各类相机可以是部署在无人机上的。

具体地，图像数据可以是相机朝某一方向拍摄的若干帧图像，光照状态可以是该方向上的光照状态，在室内场景中，可以是竖直向上方向上的光照状态。

获取单元220，用于在光照状态异常的情形下，获取第一时间段内探测得到的多帧雷达点云数据。

例如，目的是确定当前时刻无人机与指定方向上最近障碍物之间的距离，则可以获取之前一段时间内的雷达点云数据。雷达点云数据可以是通过毫米波雷达探测得到的，如果在指定方向上有障碍物，则会存在相应的检测点，这些检测点的集合就是点云，点云数据具体可以包括检测点的三维坐标、反射强度等信息。

预测单元230，用于根据多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间。

多帧雷达点云数据分别是在不同时刻探测得到的，对其进行分析，可以确定无人机与指定方向上最近障碍物之间距离的参考区间。本申请技术方案的创新点之一就在于，先确定了参考区间，再根据参考区间确定距离，综合衡量了无人机的计算能力和所需的预测精度，使得最终确定的距离的连续性和鲁棒性都很好。

确定单元240，用于根据参考区间确定无人机与指定方向上最近障碍物的距离。

可见，图2所示的装置，有益效果在于，在根据图像数据确定光照状态异常的情况下，能够快速切换到以雷达点云数据为基础的障碍物探测方式，并通过多帧雷达点云数据而非单帧雷达点云数据进行距离的确定，有效实现了在光照复杂场景下的障碍物准确探测，为实时连续输出与指定方向上障碍物的之间的距离提供了保障，数据的连续性和鲁棒性都很出色，为物流、外卖配送等业务领域提供了技术支撑。

在本申请的一个实施例中，上述装置中，光照状态单元210，用于生成灰度图像的灰度直方图，根据灰度直方图确定灰度变化区间，根据灰度变化区间和灰度阈值确定光照状态；和/或，生成深度图像的深度直方图，根据深度直方图确定有效检测点数量，根据有效检测点数量和有效阈值确定光照状态。

其中，灰度图像可以是由相机直接拍摄得到的，也可以是通过相机直接拍的原始彩色图像转换得到的。灰度值在0-255范围内，白色为255，黑色为0。根据图5可见，在光源附近，灰度值基本接近255。

因此，根据灰度图像可以有效地进行光照状态的确定。本申请的实施例还给出了几种较佳的判断方式。

一种方式下，先生成灰度图像的灰度直方图，也就确定了灰度值的分布；再根据灰度直方图确定灰度变化区间，最后根据灰度变化区间和灰度阈值确定光照状态。

另一种方式下，还可以根据深度图像的深度直方图确定有效检测点数量，例如通过深度阈值可以判断哪些检测点是有效检测点。如果有效检测点的数量较少，则说明根据这些有效检测点难以得到较为准确的障碍物探测结果。例如，可以设置有效阈值为深度图像中的总检测点数与k₁的乘积，k₁可以是一个小于1的经验参数，如果有效检测点数量小于该有效阈值，则说明有效监测点过少。

在生成深度直方图时，还可以先对深度直方图进行下采样或是裁剪，以减小计算量。

在本申请的一个实施例中，上述装置中，灰度阈值包括过亮阈值和过暗阈值，光照状态单元，用于若灰度变化区间的下限值大于过亮阈值，则光照状态为过亮异常；若灰度变化区间的上限值小于过暗阈值，则光照状态为过暗异常；该装置还包括：相机调整单元，用于根据确定的光照状态相应地调整采集灰度图像的相机的曝光值和/或增益。

例如设置过亮阈值为200，过暗阈值为50。若一幅图像的灰度变化区间的下限值为220，可以想象整幅图像基本是泛白的，说明光照过强，则为过亮异常。类似地，如果一幅图像的灰度变化区间的上限值为49，可以想象整幅图像基本是灰暗的，则为过暗异常。容易理解，无论是过亮异常还是过暗异常，图像都不能真实反映出当前的环境状态，依据图像进行多目视觉避障的准确性并不高。需要说明的是，上述例子中的过亮阈值200和过暗阈值50仅为示例性说明，在其他例子中过亮阈值和过暗阈值可以按照实际需求进行设置。

在判断出具体是过亮异常还是过暗异常之后，还可以对采集灰度图像的相机的曝光值和/或增益进行调整，例如，如果为过暗异常，则可以增加曝光值和相机增益，如果为过亮异常，则可以减少曝光值和相机增益。

在本申请的一个实施例中，上述装置中，光照状态单元210，用于基于无人机的姿态和深度图像，生成无人机与指定方向上障碍物之间距离的深度直方图。

由于无人机在飞行时并不能够时刻保持着完全水平飞行的状态，因此在世界坐标系下，并不能时刻保证平行于任一坐标轴，因此为了获得准确的在指定方向上的距离，可根据无人机的姿态和深度图像来生成深度直方图，具体来说，可以根据无人机姿态确定与拍摄视角与世界坐标系各坐标轴之间的夹角，并据此将深度图像进行投影变换。

这里需要说明的是，相机和雷达可经过预先标定，例如可以确定相机坐标系和雷达坐标系之间的旋转矩阵，方便后续进行数据的处理，例如，将雷达点云数据在相机坐标系中进行投影，以得到检测点和像素点之间的对应关系。

在本申请的一个实施例中，上述装置中，预测单元230，用于根据各帧点云分别确定无人机与指定方向上最近障碍物之间距离的最小值，将包含多个最小值的最小区间作为参考区间。

例如，对于n帧雷达点云数据，依次确定每帧雷达点云数据中，无人机与指定方向上最近障碍物之间距离的最小值S_min，这个可以根据无人机的坐标、姿态以及雷达点云数据中的三维坐标来确定，由此，可以得到S_min1，S_min2……S_minn。再对S_min1，S_min2……S_minn进行排序，即可确定一个区间[S_{min_min},S_{min_max}]。

在本申请的一个实施例中，上述装置中，确定单元240，用于将参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；或者，根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值；若距离预测值大于参考区间的上限值，则将参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；若距离预测值小于参考区间的下限值，则将参考区间的下限值作为无人机与指定方向上最近障碍物之间的距离；若距离预测值落入参考区间内，则将距离预测值作为无人机与指定方向上最近障碍物之间的距离。

这里给出了几种根据参考区间确定无人机与指定方向上最近障碍物之间的距离的方式。由于每个时刻都可以确定无人机与指定方向上最近障碍物之间的距离，因此，可以参照之前一段时间内确定的无人机与指定方向上最近障碍物之间的距离，作为当前时刻的参考。

那么对于前一段时间，可能存在着如下的情况：光照状态异常已经持续了一段时间，或者光照状态异常在本时刻才刚刚开始。容易理解，如果光照状态正常，则利用多目视觉可以较为准确地探测到无人机与指定方向上最近障碍物之间的距离，例如可以根据深度图像中深度点进行确定。

当然，无论是哪种方式，都无法避免在相应数据存在着误检测的点，因此，对于光照状态正常的情况，可以利用一个经验参数k₂与总深度点数的乘积进行过滤，利用过滤后剩下的深度点进行距离的确定。

考虑光照状态异常已经持续了一段时间这种情形。由于在这种情况下，都是根据参考区间确定无人机与指定方向上最近障碍物之间的距离，那么前面时刻的数据如果存在误差，则采用相同方式在此刻进行距离的确定，则有可能造成误差的累积，因此，可以直接将参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离。

而对于光照状态异常在本时刻才刚刚开始这种情形，由于前面时刻的距离是根据多目视觉确定的，因此，可以将其作为参考，那么就可以根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值，例如，以t-1时刻确定的距离为基础，加上t时刻距离的线性增长值，作为t时刻确定的距离，这里距离的线性增长值可以是根据线性关系计算得出。

为简略计算，可以近似认为，t-1时刻距离的线性增长值与t时刻距离的线性增长值相同，而t-1时刻距离的线性增长值可以用t-2时刻确定的距离和t-1时刻确定的距离作差得到，也就是利用t-2时刻确定的距离以及t-1时刻确定的距离，就可以确定t时刻的距离。在一个具体的例子中，根据t-2时刻确定的距离为15cm，t-1时刻确定的距离为14cm，则t时刻确定的距离为14+(14-15)＝13cm。

之后，考虑距离预测值与参考区间之间的关系，可以理解为以参考区间对距离参考值进行限制，以免因前面时刻误差的累积导致更大的误差。具体来说，如果距离参考值在参考区间内，那么就直接使用距离参考值；如果距离参考值在参考区间外，则当距离参考值较大时使用参考区间的上限值，距离参考值较小时使用参考区间的下限值。

当然，由于实际场景的光照状态十分复杂，上述方式也可以根据需求自由结合实施，本申请对此不做限制。

在本申请的一个实施例中，上述装置还包括：避障单元，用于根据无人机与指定方向上最近障碍物之间的距离，确定无人机在指定方向上的安全距离，以使无人机在安全距离内飞行。

确定的无人机与指定方向上最近障碍物之间的距离，以及安全距离之间的差值，可以是一个经验参数。这样也就实现了无人机在指定方向上的避障。

综上所述，本申请的技术方案，在根据图像数据确定光照状态异常的情形下，通过第一时间段内探测得到的多帧雷达点云数据预测无人机与指定方向上最近障碍物之间距离的参考区间，再根据参考区间确定无人机与指定方向上最近障碍物之间的距离。该技术方案的有益效果在于，在根据图像数据确定光照状态异常的情况下，能够快速切换到以雷达点云数据为基础的障碍物探测方式，并通过多帧雷达点云数据而非单帧雷达点云数据进行距离的确定，有效实现了在光照复杂场景下的障碍物准确探测，为实时连续输出与指定方向上障碍物的之间的距离提供了保障，数据的连续性和鲁棒性都很出色，为物流、外卖配送等业务领域提供了技术支撑。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的用于无人机的障碍物探测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的无人机的结构示意图。该无人机300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被无人机300的处理器310读取，当计算机可读程序代码331由无人机300运行时，导致该无人机300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种用于无人机的障碍物探测方法，包括：

根据图像数据确定光照状态；

在光照状态异常的情形下，获取第一时间段内探测得到的多帧雷达点云数据；

根据所述多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间；

根据所述参考区间确定无人机与指定方向上最近障碍物之间的距离，在光照状态异常在当前时刻才开始出现的情况下，所述根据所述参考区间确定无人机与指定方向上最近障碍物之间的距离包括：

根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值；

根据所述距离预测值和所述参考区间确定无人机与指定方向上最近障碍物之间的距离。

2.如权利要求1所述的方法，其特征在于，所述根据图像数据确定光照状态包括：

生成灰度图像的灰度直方图，根据所述灰度直方图确定灰度变化区间，根据所述灰度变化区间和灰度阈值确定光照状态；

和/或，

生成深度图像的深度直方图，根据所述深度直方图确定有效检测点数量，根据所述有效检测点数量和有效阈值确定光照状态。

3.如权利要求2所述的方法，其特征在于，所述灰度阈值包括过亮阈值和过暗阈值，所述根据所述灰度变化区间和光照阈值确定光照状态包括：

若所述灰度变化区间的下限值大于所述过亮阈值，则光照状态为过亮异常；

若所述灰度变化区间的上限值小于所述过暗阈值，则光照状态为过暗异常；

该方法还包括：

根据确定的光照状态相应地调整采集所述灰度图像的相机的曝光值和/或增益。

4.如权利要求2所述的方法，其特征在于，所述生成深度图像的深度直方图包括：

基于无人机的姿态和深度图像，生成无人机与指定方向上障碍物之间距离的深度直方图。

5.如权利要求1所述的方法，其特征在于，所述根据所述多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间包括：

根据各帧点云分别确定无人机与指定方向上最近障碍物之间距离的最小值，将包含多个所述最小值的最小区间作为所述参考区间。

6.如权利要求1所述的方法，其特征在于，所述根据所述参考区间确定无人机与指定方向上最近障碍物之间的距离包括：

将所述参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；

或者，

根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值；若所述距离预测值大于所述参考区间的上限值，则将所述参考区间的上限值作为无人机与指定方向上最近障碍物之间的距离；若所述距离预测值小于所述参考区间的下限值，则将所述参考区间的下限值作为无人机与指定方向上最近障碍物之间的距离；若所述距离预测值落入所述参考区间内，则将所述距离预测值作为无人机与指定方向上最近障碍物之间的距离。

7.如权利要求1-6中任一项所述的方法，其特征在于，该方法还包括：

根据所述无人机与指定方向上最近障碍物之间的距离，确定无人机在指定方向上的安全距离，以使所述无人机在所述安全距离内飞行。

8.一种用于无人机的障碍物探测装置，包括：

光照状态单元，用于根据图像数据确定光照状态；

获取单元，用于在光照状态异常的情形下，获取第一时间段内探测得到的多帧雷达点云数据；

预测单元，用于根据所述多帧雷达点云数据，预测无人机与指定方向上最近障碍物之间距离的参考区间；

确定单元，用于根据所述参考区间确定无人机与指定方向上最近障碍物的距离，在光照状态异常在当前时刻才开始出现的情况下，所述确定单元用于：

根据第二时间段内各时刻的无人机与指定方向上最近障碍物之间的距离所形成的线性关系，确定距离预测值；

根据所述距离预测值和所述参考区间确定无人机与指定方向上最近障碍物之间的距离。

9.一种无人机，其中，该无人机包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。

Images