CN113093176B - 线状障碍物检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种线状障碍物检测方法、装置、电子设备和存储介质。所述方法应用于无人机中，所述方法包括：获取无人机在第一姿态下毫米波雷达探测得到的探测点和深度检测相机的深度图；判断探测点和深度图是否满足第一条件，若满足则控制无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图；根据第二姿态下的探测点和深度图，确定匹配点对的数量；判断匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物。该方案通过将相机和雷达两种传感器融合工作，实现对电线等线状障碍物与无人机之间位置的准确预测，然后控制无人机绕行从而避免了与线状障碍物的碰撞，提高了无人机飞行效率和安全性。

Description

线状障碍物检测方法、装置、电子设备和存储介质

技术领域

本申请涉及无人机配送领域，具体涉及一种线状障碍物检测方法、装置、电子设备和存储介质。

背景技术

无人机配送是未来的发展趋势，无人机配送的线路通常在低空，可预见的一类障碍物呈线状，比如输电线、电线杆，我国高空架设电线遍布全国各地。无人机图像中的电力线检测是一种特殊的图像检测问题，通过视觉方法实现电力线避障有着重大的意义，如何实现对电力线的检测并避免误检是当前需要解决的难题。

申请内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的一种线状障碍物检测方法、装置、电子设备和存储介质。

依据本申请的一个方面，提供了一种线状障碍物检测方法，所述方法应用于无人机中，所述无人机装配有毫米波雷达和深度检测相机，

所述线状障碍物检测方法包括：

获取无人机在第一姿态下毫米波雷达的探测点和深度检测相机的深度图；

判断所述探测点和所述深度图是否满足第一条件，若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图；

根据所述第二姿态下的探测点和深度图，确定匹配点对的数量；

判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物。

可选的，所述获取无人机在第一姿态下毫米波雷达的探测点和深度检测相机的深度图之前还包括：

标定所述深度检测相机和所述毫米波雷达的坐标系，然后获取毫米波雷达的探测点和深度检测相机的深度图在世界坐标系的投影；

所述判断所述探测点和所述深度图是否满足第一条件包括：

若所述毫米波雷达探测到探测点，而所述深度检测相机并未在该探测点处探测到相应的匹配点，则满足所述第一条件。

可选的，所述若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图包括：

控制所述无人机减速，并绕所述无人机的沿机身向机头方向的坐标轴旋转预设角度，获取在所述无人机在所述第二姿态下毫米波雷达的探测点和深度检测相机的深度图。

可选的，所述判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物包括：

在平行于所述探测点坐标的预设区间内，确定所述探测点深度坐标值和所述深度图中与该探测点相应匹配点的深度值之间差值的绝对值小于第一阈值的匹配点对的数量，若所述匹配点对的数量小于第二阈值，则判定检测到线状障碍物；

其中，所述第一阈值为距离阈值，所述第二阈值为匹配点对数阈值，所述匹配点对数根据所述探测点的点数确定，且所述深度图中存在与上述探测点相对应的匹配点。

可选的，所述控制所述无人机减速，并绕所述无人机的沿机身向机头方向的坐标轴旋转预设角度，获取在所述无人机在所述第二姿态下毫米波雷达的探测点和深度检测相机的深度图还包括：

控制所述无人机恢复至第一状态，然后绕所述无人机的沿机身向机头方向的坐标轴旋转相反方向的预设角度，获取在所述无人机在该相反方向的预设角度下毫米波雷达的探测点和深度检测相机的深度图。

可选的，所述方法还包括：

若判定检测到线状障碍物，则控制所述无人机按照确定的俯仰角飞行从而绕过所述线状障碍物。

可选的，所述控制所述无人机按照确定的俯仰角飞行从而绕过所述线状障碍物包括：

控制所述无人机恢复至第一状态，根据各所述探测点的高度值的均值与所述毫米波雷达纵坐标值确定出所述俯仰角的初值，然后根据所述初值和安全系数的乘积确定所述俯仰角，然后控制所述无人机按照所述俯仰角飞行从而绕过所述线状障碍物。

依据本申请的另一方面，提供了一种线状障碍物检测装置，所述装置应用于无人机中，所述无人机装配有毫米波雷达和深度检测相机，所述线状障碍物检测装置包括：

获取单元，获取无人机在第一姿态下毫米波雷达探测得到的探测点；

判断单元，判断所述探测点和所述深度图是否满足第一条件，若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图；

确定单元，根据所述第二姿态下的探测点和深度图，确定匹配点对的数量；

判定单元，判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物。

依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

综上，根据本申请公开的无人机线状障碍物检测方案，可以获得如下的技术效果：

该方案实现了深度检测相机和毫米波雷达融合检测，获得最大化的匹配点；通过调整无人机在不同的姿态之间转换来反复验证障碍物的存在，能够对线状障碍物与无人机之间位置的准确预测；提前控制无人机绕行而避免了与电线等线状障碍物的碰撞，提高了无人机飞行效率和安全性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的线状障碍物检测方法的流程示意图；

图2示出了根据本申请一个实施例的线状障碍物检测装置的结构示意图；

图3示出了根据本申请一个实施例的电子设备的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；

图5示出了根据本申请一个实施例的障碍物的点在相机坐标系下的示意图；

图6示出了根据本申请一个实施例的无人机机体坐标系与旋转角度的示意图；

图7示出了根据本申请一个实施例的线状障碍物检测流程示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的线状障碍物检测方法的流程示意图；该方法应用于无人机中，无人机装配有毫米波雷达和深度检测相机，其中深度检测相机是指能够检测到该相机与被检测对象距离的相机，包括双目相机、多目相机或者深度相机等，所述线状障碍物检测方法包括：

步骤S110，获取无人机在第一姿态下毫米波雷达的探测点和深度检测相机的深度图。

在该实施例中，以无人机装载双目相机为深度检测相机为例，在无人机正常飞行的情况下，利用无人机或地面上的电子设备获取正常飞行姿态(第一姿态)下毫米波雷达的点云数据以及深度检测相机的图像数据，获取分别探测得到的探测点和深度图。

毫米波雷达工作在毫米波段，通常毫米波是指30GHz～300GHz频段(波长为1mm～10mm)，毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点。同厘米波导引头相比，毫米波导引头具有体积小、质量轻和空间分辨率高的特点。与红外、激光等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候全天时的特点。另外，毫米波导引头的抗干扰、反隐身能力也优于其他微波导引头。

双目相机类似人类的双眼，和基于TOF、结构光原理的深度相机不同，不对外主动投射光源，完全依靠拍摄的两张图片(彩色RGB或者灰度图)来计算深度，也被称为被动双目深度相机。双目相机获取深度图的步骤包括：首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵；然后根据标定结果对原始图像校正，校正后的两张图像位于同一平面且互相平行；其次，对校正后的两张图像进行像素点匹配，最后根据匹配结果计算每个像素的深度，从而获得深度图。

步骤S120，判断所述探测点和所述深度图是否满足第一条件，若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图。

在获取探测点和深度图之后，判断该探测点和深度图是否满足第一条件，根据该第一条件可初步判断无人机的前方存在疑似的线状障碍物。

为了对前方是否存在疑似线状障碍物进行确认，则控制无人机进行姿态调整，获取调整后在第二姿态下毫米波雷达针对前方疑似线状障碍物的探测点以及双目相机的深度图。

步骤S130，根据所述第二姿态下的探测点和深度图，确定匹配点对的数量。

对第二姿态下的探测点和深度图进行比对分析，获取探测点和深度图能够相互对应和印证的匹配点对的数量，确定该匹配点对的分布状态以及数量等具体情况。

步骤S140，判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物。

如果探测点和深度图确定的匹配点对数量能够满足第二条件，比如上述匹配点对的数量低于某一阈值的点对数，则判定无人机的前进方向上存在与无人机机身平行的线状障碍物。由于无人机的机身形状多样，如图6中飞机的形状或者圆形等，考虑到双目相机一般设置在正对无人机前进方向，因此，可根据是否存在与双目相机平行的线状障碍物判断是否存在与无人机平行的线状障碍物。

该实施例的主要应用场景是无人机在飞行中对前方平行于双目相机线状障碍物的检测问题，特别是单独利用相机进行探测的情况下容易产生漏检而撞上该线状障碍物比如电线、限高杆等线状物体。通过本申请该实施例公开的方案，可以很好地实现对线状障碍物的检测，从而为进一步的绕行等处置提供了条件。

该实施例通过在深度检测相机的基础上加入毫米波雷达的检测方式，显著提高了无人机检测线状障碍物的准确性；通过调整无人机在不同的姿态之间转换来反复验证障碍物的存在，使得匹配点最大化，大幅度地降低了误检率。

在一个实施例中，所述步骤S110之前还包括：标定所述深度检测相机和所述毫米波雷达的坐标系，然后获取毫米波雷达的探测点和深度检测相机的深度图在世界坐标系的投影。

为了便于分析计算，可以将毫米波雷达标定到深度检测相机的坐标系上，将毫米波雷达到深度检测相机坐标系的旋转矩阵记为Trc，具体参见图5，图5中的探测点为障碍物上被探测到的点，该相机坐标系的z轴指向被测障碍物的方向，距离Zw即为该点到相机的深度值。将毫米波雷达标定到双目相机的坐标系之后，还需要进一步将双目相机映射到世界坐标系中，方便计算以及判断。

为了实现上述标定，首先需要将毫米波雷达的坐标转换到双目相机的坐标系，标定的步骤可以采用如下的方式：调整好毫米波雷达和双目相机，转到合适位置，在相同位置上进行拍照和点云捕捉；捕捉完成后，需要在深度图和点云图中找到至少三个对应点对，上述对应点对分别对应点云图和深度图中的探测点或匹配点，然后利用这三个点对进行PNP求解，计算出双目相机坐标系和毫米波雷达坐标系之间的变换关系。当然，也可以采用其他标定方法。

世界坐标系是为了确定相机的位置，在双目相机中一般将世界坐标系原点定在左相机、右相机或两者X轴方向的中点。从世界坐标系到相机坐标系，涉及到物体的旋转和平移。绕着不同的坐标轴旋转不同的角度，得到相应的旋转矩阵。将相机坐标系转换到世界坐标系的方法包括：设置参考坐标系；设置相机坐标系与世界坐标系的旋转矩阵R；按照如下关系进行相机坐标系到世界坐标系的转换：[Xc,Yc,Zc]*R＝[Xw,Yw,Zw]，其中，(Xc,Yc,Zc)为相机坐标系的坐标，(Xw,Yw,Zw)为世界坐标系的坐标。

步骤S120中判断所述探测点和所述深度图是否满足第一条件包括：若所述毫米波雷达探测到探测点，而所述深度检测相机并未在该探测点处探测到相应的匹配点，则满足所述第一条件。

根据实验验证，在双目相机与线状障碍物平行的情况下，双目相机无法检测到线状障碍物，不能有效获取该线状障碍物上的探测点，此时只能获取无人机在初始位置时由毫米波雷达探测得到的探测点。

这样，在实际无人机飞行或行驶过程中，当毫米波雷达探测到探测点，而双目相机在相应的位置不存在探测匹配点或相应的图像时，则可以认定满足第一条件，即可确定在该位置存在疑似的线状障碍物。当然，也可以采用其他的条件判断前方是否存在疑似线状障碍物，比如，若初步检测所述毫米波雷达的探测点可能为一条直线，则满足第一条件。

在一个实施例中，所述步骤S120包括：控制所述无人机减速，并绕所述无人机的沿机身向机头方向的坐标轴旋转预设角度，获取在所述无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图。

在该实施例中，为了充分利用毫米波雷达和双目相机的融合信息，避免仅毫米波雷达能够检测到疑似障碍物的情况，根据机身的横滚角对飞行无人机旋转以预设角度，从而获得第二姿态下的毫米波雷达探测点和双目相机的深度图，便于根据该第二姿态下的探测点和深度图对疑似线状障碍物做进一步的识别。

参见图6，无人机的坐标系如下：以机身质心为机身的原点，以质心向机头方向的坐标为Z轴，以质心向机身下方的方向的坐标为Y轴，则X轴为垂直于无人机对称面且指向机身右方。在该实施例中，可绕上述Z轴旋转预设的Roll横滚角a，使得上述双目相机等深度检测相机也能够检测到所述线状障碍物。

在一个实施例中，所述步骤S130包括：在平行于所述探测点坐标的预设区间内，确定所述探测点深度坐标值和所述深度图中与该探测点相应匹配点的深度值之间差值的绝对值小于第一阈值的匹配点对的数量，若所述匹配点对的数量小于第二阈值，则判定检测到线状障碍物。

其中，所述第一阈值为距离阈值，所述第二阈值为匹配点对数阈值，所述匹配点对数根据所述探测点的点数确定，且所述深度图中存在与上述探测点相对应的匹配点。

在该实施例中，可通过订阅毫米波雷达探测点和双目相机的深度图，在平行于疑似线状障碍物的坐标轴的(xr-Tx,xr+Tx)区间内，其坐标关系参见图5，统计|Pr-Pc|<Td点数N；然后恢复无人机Z轴旋转角度为初始位置。其中，xr为雷达跟踪点水平方向坐标；Tx为预先设定的搜索阈值；Pr为毫米波雷达探测点在毫米波雷达坐标系上的深度坐标；Pc为根据双目相机的深度图获取的与上述探测点相对应的匹配点的深度值；Td为设定的距离阈值即上述第一阈值，比如该第一阈值可以是0.5m以内的值，优选的第一阈值取值为0.2m。

如果N<Tn，则可说明该疑似线状障碍物与双目模组平行。其中，Tn为设定的点数即上述第二阈值，该第二阈值根据上述搜索阈值的不同而不同，优选的，搜索阈值的取值范围为1-3米，上述第二阈值的取值范围为40-100。这是由于线状障碍物呈线状，在一定的距离或者面积范围内比其他面状障碍物能够获得的探测点或匹配点对要少。

此时，可控制无人机减速，并绕无人机的Z轴旋转预设的横滚角度a。为了避免出现无人机明显的晃动，优选的，a可取小于5度的值。

在该实施例中，通过设置上述各阈值的大小，使得探测点的数量阈值既能覆盖各种光照条件下的情况，又能够实现绝大部分线状障碍物的准确检测或识别。

在一个实施例中，所述步骤S130还包括：控制所述无人机恢复至第一状态，然后绕所述无人机的沿机身向机头方向的坐标轴旋转相反方向的预设角度，获取在所述无人机在该相反的预设角度下毫米波雷达的探测点和深度检测相机的深度图。

为了能够保证上述线状障碍物检测的准确性，在该实施例中设置了校验步骤，在第一次将无人机旋转恢复至第一状态后，绕所述沿机身向机头坐标轴旋转相反方向的预设角度a，然后再次获取在该相反的预设角度下毫米波雷达探测得到的探测点和深度检测相机探测得到的深度图，并且执行同样的判断，从而验证所述探测是否准确。

当然，为了进一步提高探测的准确性，还可以重复上述步骤，实现第三次的旋转以及第二次的校验，此时，可控制无人机绕所述相机的Z轴旋转角度为(-1)ⁿ*a，其中n为无人机在第二状态的次数。

在一个实施例中，所述方法还包括：若判定检测到线状障碍物，则控制所述无人机的俯仰角绕过所述线状障碍物。

该实施例给出了一种在检测到线状障碍物时如何进行应对的步骤，即控制无人机以合适的俯仰角绕过该线状障碍物，从而避免与该线状障碍物相撞。

在一个实施例中，所述控制所述无人机的俯仰角绕过所述线状障碍物包括：控制所述无人机恢复至第一状态，根据各所述探测点的高度值的均值与所述毫米波雷达纵坐标值确定出所述俯仰角的初值，然后根据所述初值和安全系数的乘积获取所述俯仰角，然后根据所述俯仰角绕过所述线状障碍物。

该实施例公开了一种获得合理俯仰角的方法，其具体过程包括：

首先，控制无人机旋转恢复到初始的第一状态，此时，无人机与线状障碍物之间相互平行。

其次，计算无人机应当爬升俯仰角的理论值，其计算方法如下：根据探测点(xr-Tx,xr+Tx)的区间，确定探测点的横坐标为xi，并且得到符合|Pr-Pc|<Td的所有探测点的位置，设其纵坐标为yi，计算Hg＝Σyi/N，并且获取雷达探测点的纵坐标值Pr；根据上述的Hg和Pr值计算出无人机俯仰角的理论值arctan(Hg/Pr)*F。

再次，根据所述理论值获取实际需爬上的俯仰角实际值arctan(Hg/Pr)*F，其中F为设定的安全系数，比如可以为1.5，从而避免无人机与该线状障碍物相撞。

最后，根据俯仰角实际值控制无人机爬升从而避免与该线状障碍物相撞。

通过上述方案，可以在线状障碍物的匹配点数虽然很少的情况下，通过调整无人机姿态，使得匹配点数最大化，降低了误检率，并且通过俯仰角调整避开线状障碍物。

图2示出了根据本申请一个实施例的线状障碍物检测装置的结构示意图；该装置应用于无人机中，无人机装配有毫米波雷达和深度检测相机，其中深度检测相机是指能够检测到该相机与被检测对象距离的相机，包括双目相机、多目相机或者深度相机等，所述线状障碍物检测装置200包括：

获取单元210，适于获取无人机在第一姿态下毫米波雷达的探测点和深度检测相机的深度图。

以无人机装载双目相机为深度检测相机为例，在无人机正常飞行的情况下，利用无人机或地面上的电子设备获取正常飞行姿态(第一姿态)下毫米波雷达的点云数据以及深度检测相机的图像数据，获取分别探测得到的探测点和深度图。

判断单元220，适于判断所述探测点和所述深度图是否满足第一条件，若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图。

在获取探测点和深度图之后，判断它们是否满足第一条件，根据该第一条件可初步判断无人机的前方存在疑似的线状障碍物。

为了对前方是否存在疑似线状障碍物进行确认，则控制无人机进行姿态调整，获取调整后在第二姿态下毫米波雷达针对前方疑似线状障碍物的探测点以及双目相机的深度图。

确定单元230，适于根据所述第二姿态下的探测点和深度图，确定匹配点对的数量。

对第二姿态下的探测点和深度图进行比对分析，获取探测点和深度图能够相互对应和印证的匹配点对的数量，确定该匹配点对的分布状态以及数量等具体情况。

判定单元240，适于判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物。

如果探测点和深度图确定的匹配点对数量和分布能够满足第二条件，比如上述匹配点对的数量低于某一阈值的点数，则判定无人机前方确实存在平行于无人机的线状障碍物。

该实施例公开的检测装置通过在深度检测相机的基础上加入毫米波雷达的检测，显著提高了无人机检测线状障碍物的准确性；通过调整无人机在不同的姿态之间转换来反复验证障碍物的存在，使得匹配点最大化，大幅度地降低了误检率。

在一个实施例中，所述获取单元210还适于：标定所述深度检测相机和所述毫米波雷达的坐标系，然后获取毫米波雷达的探测点和深度检测相机的深度图在世界坐标系的投影。

为了便于分析计算，可以将毫米波雷达标定到深度检测相机的坐标系上，将毫米波雷达到深度检测相机坐标系的旋转矩阵记为Trc，具体参见图5，其中的探测点为障碍物上被探测到的点，相机坐标系的坐标原点为Fc，坐标轴为(Xc，Yc，Zc)，其中Zc轴指向被测障碍物的方向，探测点坐标Zw即为该点到相机的深度值。

将毫米波雷达标定到双目相机的坐标系之后，还需要进一步将双目相机映射到世界坐标系中，方便计算以及判断。

获取单元210还适于：若所述毫米波雷达探测到探测点，而所述深度检测相机并未在该探测点处探测到相应的匹配点，则满足所述第一条件。

根据实验验证，在双目相机与线状障碍物平行的情况下，双目相机无法检测到线状障碍物，不能有效获取该线状障碍物上的探测点，此时只能获取无人机在初始位置时由毫米波雷达探测得到的探测点。

在一个实施例中，判断单元220适于：控制所述无人机减速，并绕所述无人机的沿机身向机头方向的坐标轴旋转预设角度，获取在所述无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图。

参见图6，无人机的坐标系如下：以机身质心为机身的原点，以质心向机头方向的坐标为z轴，以质心向机身下方的方向的坐标为y轴，则x轴为垂直于无人机对称面且指向机身右方。在该实施例中，可绕上述z轴旋转预设的Roll横滚角a，使得上述双目等深度检测相机也能够检测到所述线状障碍物。

在一个实施例中，所述判定单元230适于：在平行于所述探测点坐标的预设区间内，统计毫米波雷达的该探测点深度坐标值和所述深度检测相机与该探测点相应匹配点的深度值之差的绝对值小于第一阈值的匹配点对数，若所述匹配点对数小于第二阈值，则判定检测到线状障碍物。

在该实施例中，可通过订阅毫米波雷达探测点和双目相机的深度图，在平行于疑似线状障碍物的坐标轴的(xr-Tx,xr+Tx)区间内，其坐标关系参见图5，统计|Pr-Pc|<Td点数N；然后恢复无人机Z轴旋转角度为初始位置。其中，xr为雷达跟踪点水平方向坐标；Tx为预先设定的搜索阈值；Pr为毫米波雷达探测点在毫米波雷达坐标系上的深度坐标；Pc为根据双目相机的深度图获取的该匹配探测点的深度值；Td为设定的距离阈值。

如果N<Tn，控制无人机减速，并绕无人机的Z轴旋转预设的横滚角度a。其中，Tn为设定的点数，为了避免出现无人机明显的晃动，优选的，a可取一个小于5度的值。当出现N<Tn的情况，说明该疑似线状障碍物与双目模组平行。

在一个实施例中，所述判定单元230还适于：控制所述无人机恢复至第一状态，然后绕所述无人机的沿机身向机头方向的坐标轴旋转相反方向的预设角度，获取在所述无人机在该相反的预设角度下毫米波雷达的探测点和深度检测相机的深度图。

为了能够保证上述线状障碍物检测的准确性，在该实施例中设置了校验步骤，在第一次将无人机旋转恢复至第一状态后，绕所述沿机身向机头坐标轴Zc旋转相反方向的预设角度a，然后再次获取在该相反的预设角度下毫米波雷达探测得到的探测点和深度检测相机探测得到的深度图，并且执行同样的判断，从而验证所述探测是否准确。

在一个实施例中，所述装置还包括防撞单元，适于：若判定检测到线状障碍物，则控制所述无人机的俯仰角绕过所述线状障碍物。

该实施例给出了一种在检测到线状障碍物时如何进行应对的单元，即控制无人机以合适的俯仰角绕过该线状障碍物，从而避免与该线状障碍物相撞。

在一个实施例中，所述防撞单元适于：控制所述无人机恢复至第一状态，根据各所述探测点的高度值的均值与所述毫米波雷达纵坐标值确定出所述俯仰角的初值，然后根据所述初值和安全系数的乘积获取所述俯仰角，然后根据所述俯仰角绕过所述线状障碍物。

通过上述的防撞单元，可以在线状障碍物的匹配点数虽然很少的情况下，通过调整无人机姿态，使得匹配点数最大化，降低了误检率，并且通过俯仰角调整避开线状障碍物。

综上所述，参见图7中示出的线状障碍物检测整体流程示意图，首先计算毫米波雷达的探测点和双目相机的深度图在世界坐标系下的投影，然后判断在第一状态下的探测点数量是否满足预设的第一条件，若满足则控制所述无人机进行姿态调整，获取无人机在沿横滚角旋转后的第二姿态下毫米波雷达的探测点和深度检测相机的深度图；判断上述的探测点和深度图是否满足第二预设条件，若满足则判定检测到线状障碍物，然后控制无人机的俯仰角升高，绕过线状障碍物。该方案通过将相机和雷达两种传感器融合工作，实现对电线等线状障碍物与无人机之间位置的准确预测，然后控制无人机绕行从而避免了与线状障碍物的碰撞，提高了无人机飞行效率和安全性。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，申请方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的线状障碍物检测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (9)

1.一种线状障碍物检测方法，其特征在于，应用于无人机中，所述无人机装配有毫米波雷达和深度检测相机，所述线状障碍物检测方法包括：

获取无人机在第一姿态下毫米波雷达的探测点和深度检测相机的深度图；

判断所述探测点和所述深度图是否满足第一条件，若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图；

根据所述第二姿态下的探测点和深度图，确定匹配点对的数量；

判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物；所述判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物包括：

在平行于探测点坐标的预设区间内，确定探测点深度坐标值和所述深度图中与该探测点相应匹配点的深度值之间差值的绝对值小于第一阈值的匹配点对的数量，若所述匹配点对的数量小于第二阈值，则判定检测到线状障碍物；

其中，所述第一阈值为距离阈值，所述第二阈值为匹配点对数阈值，所述匹配点对数根据所述探测点的点数确定，且所述深度图中存在与上述探测点相对应的匹配点。

2.如权利要求1所述的方法，其特征在于，所述获取无人机在第一姿态下毫米波雷达的探测点和深度检测相机的深度图之前还包括：

标定所述深度检测相机和所述毫米波雷达的坐标系，获取毫米波雷达的探测点和深度检测相机的深度图在世界坐标系的投影；

所述判断所述探测点和所述深度图是否满足第一条件包括：

若所述毫米波雷达探测到探测点，而所述深度检测相机并未在该探测点处探测到相应的匹配点，则满足所述第一条件。

3.如权利要求1所述的方法，其特征在于，所述若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图包括：

控制所述无人机减速，并绕所述无人机的沿机身向机头方向的坐标轴旋转预设角度，获取在所述无人机在该第二姿态下毫米波雷达的探测点和深度检测相机的深度图。

4.如权利要求3所述的方法，其特征在于，所述控制所述无人机减速，并绕所述无人机的沿机身向机头方向的坐标轴旋转预设角度，获取在所述无人机在该第二姿态下毫米波雷达的探测点和深度检测相机的深度图还包括：

控制所述无人机恢复至第一状态，然后绕所述无人机的沿机身向机头方向的坐标轴旋转相反方向的预设角度，获取在所述无人机在该相反方向的预设角度下毫米波雷达的探测点和深度检测相机的深度图。

5.如权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

若判定检测到线状障碍物，则控制所述无人机按照确定的俯仰角飞行从而绕过所述线状障碍物。

6.如权利要求5所述的方法，其特征在于，所述控制所述无人机按照确定的俯仰角飞行从而绕过所述线状障碍物包括：

控制所述无人机恢复至第一状态，根据各所述探测点的高度值的均值与所述毫米波雷达纵坐标值确定出所述俯仰角的初值，然后根据所述初值和安全系数的乘积确定所述俯仰角，然后控制所述无人机按照所述俯仰角飞行从而绕过所述线状障碍物。

7.一种线状障碍物检测装置，其特征在于，应用于无人机中，所述无人机装配有毫米波雷达和深度检测相机，所述线状障碍物检测装置包括：

获取单元，获取无人机在第一姿态下毫米波雷达探测得到的探测点；

判断单元，判断所述探测点是否满足第一条件，若满足则控制所述无人机进行姿态调整，获取无人机在第二姿态下毫米波雷达的探测点和深度检测相机的深度图；

确定单元，根据所述第二姿态下的探测点和深度图，确定匹配点对的数量；

判定单元，判断所述匹配点对的数量是否满足第二条件，若满足则判定检测到线状障碍物，所述判定单元适于：

在平行于探测点坐标的预设区间内，确定探测点深度坐标值和所述深度图中与该探测点相应匹配点的深度值之间差值的绝对值小于第一阈值的匹配点对的数量，若所述匹配点对的数量小于第二阈值，则判定检测到线状障碍物；

其中，所述第一阈值为距离阈值，所述第二阈值为匹配点对数阈值，所述匹配点对数根据所述探测点的点数确定，且所述深度图中存在与上述探测点相对应的匹配点。

8.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-6中任一项所述的方法。

9.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-6中任一项所述的方法。

Images