CN112130577A - 一种无人飞行设备的路径规划方法、装置、无人飞行设备和存储介质 - Google Patents

Abstract

本发明公开了一种无人飞行设备的路径规划方法、装置、无人飞行设备和存储介质，所述无人飞行设备上部署有探测模块，其中所述方法包括：接收飞行任务的配置信息，所述配置信息包括飞行区域和设备参数，所述飞行区域中包含若干个探测目标；根据所述设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测；根据模拟探测结果生成与所述飞行任务对应的飞行路径。本发明可以在无法接收卫星信号或者卫星信号收到干扰等情况下，通过在三维语义地图中配置相关的信息，然后进行模拟探测生成飞行路径的方式，从而仍然能够实现正常的飞行或巡检，并且在巡检时能够覆盖全部的探测目标。

Description

一种无人飞行设备的路径规划方法、装置、无人飞行设备和存 储介质

技术领域

本发明涉及无人飞行设备巡检领域，具体涉及一种无人飞行设备的路径规划方法、装置、无人飞行设备和存储介质。

背景技术

无人机等飞行设备在进行飞行或巡检时，一般需要在地面站的平面地图中，确定多个航点和每个航点的信息，之后才进行自动飞行。自动飞行时使用惯性测量单元(IMU)以及全球卫星导航***(GNSS)的数据进行导航。然而对于一些特殊飞行任务，例如：电力线巡检，矿洞勘察等场景中，会出现无法接收卫星信号、卫星信号收到干扰和飞行轨迹无法在二维平面上确定等问题。

因此，如何在无法接受卫星信号的情况下，无人飞行设备还能够实现正常飞行或巡检，并且在巡检中能够覆盖所有探测目标，是当前的一个技术难题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种无人飞行设备的路径规划方法、装置、无人飞行设备和存储介质。

依据本发明的一个方面，提供了一种无人飞行设备的路径规划方法，所述无人飞行设备上部署有探测模块，所述方法包括：

接收飞行任务的配置信息，所述配置信息包括飞行区域和设备参数，所述飞行区域中包含若干个探测目标；

根据所述设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测；

根据模拟探测结果生成与所述飞行任务对应的飞行路径。

可选的，所述接收飞行任务的配置信息包括：

提供所述三维语义地图的交互界面；

根据所述交互界面接收到的飞行区域标记信息确定飞行区域。

可选的，所述探测模块为相机或激光雷达，所述设备参数包括如下的至少一种：飞行高度，相机或激光雷达的内参和相机或激光雷达的外参。

可选的，所述根据模拟探测结果生成与所述飞行任务对应的飞行路径包括：

根据探测目标的表面法向量确定飞行路径中各点对应的相机或激光雷达姿态。

可选的，所述方法还包括：基于八叉树算法生成与所述飞行区域对应的压缩地图；

根据所述压缩地图和所述飞行路径进行导航。

可选的，所述根据所述压缩地图和所述飞行路径进行导航包括：

根据所述探测模块得到的局部点云图进行点云匹配，确定无人飞行设备在所述压缩地图中的位置；

根据确定的位置和所述飞行路径进行导航。

可选的，所述根据确定的位置和所述飞行路径进行导航包括：

若根据所述局部点云图确定障碍物，则进行局部路径规划实现避障。

依据本发明的另一个方面，提供了一种无人飞行设备的路径规划装置，所述无人飞行设备上部署有探测模块，所述装置包括：

配置模块，适于接收飞行任务的配置信息，所述配置信息包括飞行区域和设备参数，所述飞行区域中包含若干个探测目标；

模拟探测模块，适于根据所述设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测；

飞行路径生成模块，适于根据模拟探测结果生成与所述飞行任务对应的飞行路径。

依据本发明的又一方面，提供了一种无人飞行设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本发明的技术方案，首先接收飞行任务的配置信息，所述配置信息包括飞行区域和设备参数，所述飞行区域中包含若干个探测目标；并且根据所述设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测；然后，根据模拟探测结果生成与所述飞行任务对应的飞行路径。本发明可以在无法接收卫星信号或者卫星信号收到干扰等情况下，通过在三维语义地图中配置相关的信息，然后进行模拟探测生成飞行路径的方式，从而仍然能够实现正常的飞行或巡检，并且在巡检时能够覆盖全部的探测目标。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的无人飞行设备的路径规划方法的流程示意图；

图2示出了根据本发明一个实施例的无人飞行设备的路径规划装置的结构示意图；

图3示出了根据本发明一个实施例的无人飞行设备的结构示意图；

图4示出了根据本发明一个实施例的计算机可读存储介质的结构示意图；

图5示出了根据本发明一个实施例的巡检飞行区域形成闭合路径示例图；

图6示出了根据本发明一个实施例的利用观测相机进行巡检拍摄的示例图；

图7示出了根据本发明一个实施例的根据探测目标表面和安全飞行高度形成飞行规划路径的示意图；

图8示出了根据本发明一个实施例的飞行路径绕开电线障碍的示意图；

图9示出了根据本发明一个实施例的压缩后的三维语义地图的示例图；

图10示出了根据本发明一个实施例的表现规划路径和实际路径关系的示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明的主要构思包括，在利用无人机等飞行设备进行巡检时，根据输入无人飞行设备参数和飞行高度等，考虑到飞行区域内的探测目标分布，在三维语义地图中生成观测相机模拟真实相机，自动生成飞行路径，使得该飞行路径能够覆盖全部被探测目标。另外还进一步设计了在飞行路径中包括了相机姿态等参数，使得探测时相机与探测目标的表面保持平行，能够精确地拍摄被检测目标；利用上传到飞行器中压缩后的三维语义地图和相机实时构建的局部点云图，实现自主导航和躲避障碍物等方案。

图1示出了根据本发明一个实施例的无人飞行设备的路径规划方法的流程示意图，其中无人飞行设备上部署有探测模块，所述方法包括：

步骤S110，接收飞行任务的配置信息，配置信息包括飞行区域和设备参数，飞行区域中包含若干个探测目标。

例如，接收某次巡检飞行任务的相关信息作为配置信息，可以将待飞行的目标区域、设备的参数等作为配置信息，该设备包括探测模块(比如相机、激光雷达)和无人飞行设备本身。

在某次的飞行巡检中，可以选择重点巡检的对象作为探测目标，比如电力线巡检中的电塔、具有关键特征的光伏面板以及其他场景中的重点区域等，其中，对上述重点巡检对象进行全面的巡视探测是本发明的一个重要目的。

步骤S120，根据设备参数在包含飞行区域的三维语义地图中针对探测目标进行模拟探测。

在该实施例的一个具体实施方式中，选择激光雷达或摄像形成的三维点云图作为三维语义地图，根据相机或激光雷达等设备参数，在三维语义地图中生成观测相机来模拟真实相机进行摄像拍摄，如图6所示，图中左侧为巡检中的实际图像，右侧为观测相机拍摄的图像。通过在三维语义地图中移动该观测相机，能够遍历全部的探测目标。因此，通过该观测相机的视角，可以知道生成的路径是否覆盖区域内的所有目标。

步骤S130，根据模拟探测结果生成与飞行任务对应的飞行路径。

根据观测相机模拟探测的实际情况，通过不同的算法和规则可以获得多条路径，然后选择一条可行的、具有经济效益的路径，最终生成该次飞行巡检的飞行路径并保存。

本发明可以在无法接收卫星信号或者卫星信号收到干扰等情况下，通过在三维语义地图中配置相关的信息，然后进行模拟探测生成飞行路径的方式，从而仍然能够实现正常的飞行或巡检，并且在巡检时能够覆盖全部的探测目标。

在一个具体实施例中，在步骤S110中，所述接收飞行任务的配置信息包括：提供所述三维语义地图的交互界面；根据所述交互界面接收到的飞行区域标记信息确定飞行区域。

可以在三维语义地图的交互界面中进行配置信息输入等操作，如图5所示，在三维语义地图中选择若干点作为标记信息，根据上述若干点形成的封闭区域作为该飞行巡检任务的飞行区域范围。

在一个具体实施方式中，步骤S120中，所述探测模块为相机或激光雷达，所述设备参数包括如下的至少一种：飞行高度，相机或激光雷达的内参和相机或激光雷达的外参。

探测模块可以选择激光雷达或相机。激光定位准确，但是成本较高，且无法识别丰富的特征；而相机在白天的光照情况下能够获得全面的图像信息。

在一个具体实施方式中，选择相机内参和相机外参作为相机参数，从而获得准确的拍摄结构，能够较好的完成拍摄任务。其中相机内参包括内参矩阵和/或畸变参数矩阵，相机外参包括旋转矩阵和/或平移矩阵。

此外，还包括设置有效的飞行高度，从而实现安全、清晰的拍摄结果。安全高度是飞行器受其他因素影响时也不会发生坠机的高度。在具体的参数配置时，当输入高度大于安全高度时，则使用输入高度，当小于安全高度时则使用安全高度。

作为一个具体的实施例，步骤S130根据模拟探测结果生成与所述飞行任务对应的飞行路径包括：根据探测目标的表面法向量确定飞行路径中各点对应的相机姿态。

由于观测目标不同以及地形的影响，探测目标表面朝向也是不断变化的，为了获得准确的拍摄巡视结果，在该实施例中，保持探测目标的表面与相机平行，从而获得较好的巡检拍摄效果。

具体地，通过计算所述目标或区域的表面法向量得到所述目标或区域的表面，然后确定飞行路径中各点对应的相机或激光雷达姿态，使得相机视角与所述目标或区域的表面垂直。如图7所示。

作为一个优选的实施例，所述方法还包括：基于八叉树算法生成与所述飞行区域对应的压缩地图；根据所述压缩地图和所述飞行路径进行导航。

为了提高无人飞行设备根据生成的飞行路径进行飞行时的反应速度，减小无人飞行设备的运行时计算成本和内存负担，在该实施例中对飞行区域所在的三维语义地图进行了压缩，压缩后的地图示例如图9所示。

作为一个优选的实施方式，所述根据所述压缩地图和所述飞行路径进行导航包括：根据所述探测模块得到的局部点云图进行点云匹配，确定无人飞行设备在所述压缩地图中的位置；根据确定的位置和所述飞行路径进行导航。

无人飞行设备根据相机建立局部点云图，利用点云匹配确定该无人飞行设备在压缩后的三维语义地图中的位置，然后根据飞行规划路径和当前路径实现自主导航，巡检时的实际路径和飞行规划路径的关系如图10所示。

在一个具体实施例中，所述根据确定的位置和所述飞行路径进行导航包括：

若根据所述局部点云图确定障碍物，则进行局部路径规划实现避障。

在该实施例中，根据局部点云图，确定周围环境，当发现航线的前方有障碍物时，应重新规划当前路径，避开障碍物。

选择点云图作为三维语义地图的情形下，每个点都属于某个类，例如：车、太阳能面板和建筑等，部分点可能不在分类列表中，其类别则是背景。比如，电线杆中的线可能由于精度原因，在三维地图中可能没有完整的点，部分线段可能被认为是背景存在，因此，生成的规划路径可能在该线段上。而本发明实施例中实际飞行路径可以根据局部点云图确定上述线段为障碍物，应该绕开电线杆之间的区域，具体如图8所示。

图2示出了根据本发明一个实施例的无人飞行设备的路径规划装置200的结构示意图；无人飞行设备上部署有探测模块，所述装置包括：

配置单元210，适于接收飞行任务的配置信息，配置信息包括飞行区域和设备参数，飞行区域中包含若干个探测目标。

例如，接收某次巡检飞行任务的相关信息作为配置信息，将待飞行的目标区域作为配置信息，将设备的参数作为配置信息，该设备包括探测模块和无人飞行设备本身。

在某次的飞行巡检中，可以选择重点巡检的对象作为探测目标，比如电力线巡检中的电塔、具有关键特征的光伏板等，对上述重点巡检对象进行全面的巡视探测是本发明的一个重要目标。

模拟探测单元220，适于根据设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测。

在该实施例的一个优选实施方式中，选择激光雷达或摄像形成的三维点云图作为三维语义地图，根据相机等设备参数，在三维语义地图中生成观测相机来模拟真实相机进行摄像拍摄，如图6所示，图中左侧为巡检中的实际图像，右侧为观测相机拍摄的图像。通过在三维语义地图中移动该观测相机，遍历全部的探测目标。因此，通过该观测相机的视角，可以知道生成的路径是否覆盖所有目标或区域。

飞行路径生成单元230，根据模拟探测结果生成与所述飞行任务对应的飞行路径。

根据观测相机模拟探测的实际情况，通过不同的算法可以获得多条能够覆盖全部探测目标的路径，然后选择一条可行的具有经济效益的路径，最终生成飞行路径并保存。

需要说明的是，上述装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

综上所述，本发明的技术方案，首先接收飞行任务的配置信息，所述配置信息包括飞行区域和设备参数，所述飞行区域中包含若干个探测目标；并且根据所述设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测；然后，根据模拟探测结果生成与所述飞行任务对应的飞行路径。本发明可以在无法接收卫星信号或者卫星信号收到干扰等情况下，通过在三维语义地图中配置相关的信息，然后进行模拟探测生成飞行路径的方式，从而仍然能够实现正常的飞行或巡检，并且在巡检时能够覆盖全部的探测目标。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的无人飞行设备的路径规划装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本发明一个实施例的无人飞行设备的结构示意图。该无人飞行设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本发明一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本发明的方法步骤的计算机可读程序代码331，可以被无人飞行设备300的处理器310读取，当计算机可读程序代码331由无人飞行设备300运行时，导致该无人飞行设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种无人飞行设备的路径规划方法，所述无人飞行设备上部署有探测模块，其特征在于，所述方法包括：

接收飞行任务的配置信息，所述配置信息包括飞行区域和设备参数，所述飞行区域中包含若干个探测目标；

根据所述设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测；

根据模拟探测结果生成与所述飞行任务对应的飞行路径。

2.如权利要求1所述的方法，其特征在于，所述接收飞行任务的配置信息包括：

提供所述三维语义地图的交互界面；

根据所述交互界面接收到的飞行区域标记信息确定飞行区域。

3.如权利要求1所述的方法，其特征在于，所述探测模块为相机或激光雷达，所述设备参数包括如下的至少一种：飞行高度，相机或激光雷达的内参和相机或激光雷达的外参。

4.如权利要求3所述的方法，其特征在于，所述根据模拟探测结果生成与所述飞行任务对应的飞行路径包括：

根据探测目标的表面法向量确定飞行路径中各点对应的相机或激光雷达姿态。

5.如权利要求1所述的方法，其特征在于，所述方法还包括：基于八叉树算法生成与所述飞行区域对应的压缩地图；

根据所述压缩地图和所述飞行路径进行导航。

6.如权利要求5所述的方法，其特征在于，所述根据所述压缩地图和所述飞行路径进行导航包括：

根据所述探测模块得到的局部点云图进行点云匹配，确定无人飞行设备在所述压缩地图中的位置；

根据确定的位置和所述飞行路径进行导航。

7.如权利要求6所述的方法，其特征在于，所述根据确定的位置和所述飞行路径进行导航包括：

若根据所述局部点云图确定障碍物，则进行局部路径规划实现避障。

8.一种无人飞行设备的路径规划装置，所述无人飞行设备上部署有探测模块，其特征在于，所述装置包括：

配置单元，适于接收飞行任务的配置信息，所述配置信息包括飞行区域和设备参数，所述飞行区域中包含若干个探测目标；

模拟探测单元，适于根据所述设备参数在包含所述飞行区域的三维语义地图中针对所述探测目标进行模拟探测；

飞行路径生成单元，适于根据模拟探测结果生成与所述飞行任务对应的飞行路径。

9.一种无人飞行设备，其中，该无人飞行设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。

Images