CN114740885A - 一种无人机返航方法、装置、设备及存储介质 - Google Patents
一种无人机返航方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114740885A CN114740885A CN202210316184.7A CN202210316184A CN114740885A CN 114740885 A CN114740885 A CN 114740885A CN 202210316184 A CN202210316184 A CN 202210316184A CN 114740885 A CN114740885 A CN 114740885A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- path
- information
- environment information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000007613 environmental effect Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例公开了一种无人机返航方法、装置、设备及存储介质，可应用于无人机，该无人机包括无人机主控模块、双目摄像头和激光雷达传感器。其中方法包括：当无人机启动时，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息；采用无人机主控模块，基于第一目标环境信息确定无人机的第一巡航路径；当无人机的定位信号丢失时，采用无人机主控模块，根据第一巡航路径确定无人机的第一返航路径，该第一返航路径为第一巡航路径的反向路径。该方法可基于定位信号、双目摄像头和激光雷达传感器确定无人机的巡航路径，在无人机的定位信号丢失时，根据巡航路径确定返航路径，从而使无人机基于正常路径返航，避免无人机的丢失。
Description
技术领域
本申请涉及无人机技术领域，尤其涉及一种无人机返航方法、装置、设备及存储介质。
背景技术
目前，无人机的飞行大多数都严重依赖定位***来实现定位，例如依赖全球定位***(Global Positioning System，GPS)、北斗卫星导航***(BeiDou NavigationSatellite System，BDS)等定位***，因此针对无人机的追踪技术也高度依赖由定位***获得的定位信号。然而，在实际使用过程中，无人机的飞行往往会受到天气等各种干扰，或者出现高楼、遮挡物影响卫星信号的情况，导致飞行过程中定位信号消失，从而出现无人机丢失的情况。这时候无人机处于极度危险的漂浮状态(也可以称作姿态模式)，需要手动控制无人机返航降落。如果是大型的无人机表演，则很容易发生无人机集体落地伤人事件，造成严重的经济损失。因此，如何使得无人机在没有定位信号的情况下也能够成功返航成为了一个丞待解决的问题。
发明内容
本申请实施例提供了一种无人机返航方法、装置、计算机设备及存储介质，可在没有定位信号的情况下使得无人机能够成功返航，从而避免了无人机的丢失。
第一方面，本申请实施例提供了一种无人机返航方法，其特征在于，应用于无人机，该无人机包括无人机主控模块、双目摄像头和激光雷达传感器，该方法包括：
当无人机启动时，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息；
采用无人机主控模块，基于第一目标环境信息确定无人机的第一巡航路径；
当无人机的定位信号丢失时，采用无人机主控模块，根据第一巡航路径确定无人机的第一返航路径，第一返航路径为第一巡航路径的反向路径。
可见，在无人机的定位信号存在的情况下，可以基于定位信号、双目摄像头和激光雷达传感器确定无人机的巡航路径。并且，在无人机的定位信号丢失的情况下，无人机主控模块可以根据巡航路径确定返航路径，该返航路径为巡航路径对称反向的路径，从而使得无人机虽然没有定位信号但是可以基于正常的路径返航，避免碰撞和丢失。
在一种可选的实施方式中，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息，包括：
采用双目摄像头获取无人机飞行时的环境信息；
采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息。
本申请实施例中，由于采用双目摄像头获取的是摄像头的视野范围内所有的环境信息，采用激光雷达传感器获取的是无人机的周围环境信息(例如是障碍物距离信息等)，因此采用激光雷达传感器获取的信息更接近无人机飞行时的真实环境，从而基于激光雷达传感器获取的信息对环境信息进行修正可得到更加准确的无人机飞行时的目标环境信息。
在一种可选的实施方式中，采用双目摄像头获取无人机飞行时的环境信息，包括：
采用双目摄像头中的主摄像头获取无人机飞行时的标记图像；
采用双目摄像头中的副摄像头对标记图像进行处理，得到标记图像对应的深度信息；
基于标记图像和标记图像对应的深度信息，确定无人机飞行时的环境信息。
本申请实施例中，采用双目摄像头在获得飞行途中的标记图像的同时，还可获得标记图像对应的深度信息，有利于获得更加准确的三维地图，从而获得更加准确的巡航路径。
在一种可选的实施方式中，采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息，包括：
采用激光雷达传感器确定障碍物距离信息；
根据障碍物距离信息对环境信息进行修正，得到第一目标环境信息。
本申请实施例中，采用激光雷达传感器可获取无人机飞行途中的障碍物距离信息，从而根据障碍物距离信息对环境信息进行修正，可得到更加准确的环境信息。
在一种可选的实施方式中，无人机还包括陀螺仪，基于第一目标环境信息确定无人机的第一巡航路径，包括：
采用陀螺仪确定无人机飞行时的姿态信息；
基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径。
本申请实施例中，根据姿态信息可对无人机的飞行姿态进行修正，从而减少了因受无人机姿态的影响而导致获取的巡航路径出现偏差的问题。
在一种可选的实施方式中，基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径，包括：
基于姿态信息和第一目标环境信息，确定无人机的目标飞行轨迹；
根据目标飞行轨迹和第一目标环境信息，确定无人机飞行时的目标三维地图；
根据目标三维地图，确定无人机的第一巡航路径。
本申请实施例中，根据修正姿态后的无人机和第一环境信息，可更为准确的确定无人机飞行时的三维地图，进而根据三维地图，可以准确的确定无人机的巡航路径。
在一种可选的实施方式中，该无人机返航方法还包括：
当无人机基于第一返航路径执行返航操作，并获取定位信号时，采用双目摄像头和激光雷达传感器获取第二目标环境信息；
采用无人机主控模块，基于第二目标环境信息确定无人机的第二巡航路径。
本申请实施例中，由于当无人机根据返航路径返航的途中，若定位信号恢复正常，则无人机可继续执行飞行任务，更新巡航路径。因此，通过该方法可较为灵活的对无人机进行控制。
第二方面，本申请实施例提供了一种无人机返航装置，应用于无人机，该无人机包括无人机主控模块、双目摄像头和激光雷达传感器，该装置包括:
获取单元，用于当无人机启动时，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一环境信息；
确定单元，用于采用无人机主控模块，基于第一环境信息确定无人机的第一巡航路径；
确定单元，还用于当无人机的定位信号丢失时，采用无人机主控模块，根据第一巡航路径确定无人机的第一返航路径，第一返航路径为第一巡航路径的反向路径。
第三方面，本申请实施例提供了一种设备，该设备包括处理器、通信接口和存储器，该处理器、通信接口和存储器相互连接，其中，该存储器存储有计算机程序，该处理器用于调用该计算机程序，执行本申请实施例提供的无人机返航方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的无人机返航方法。
第五方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得设备执行本申请实施例提供的无人机返航方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种无人机的结构示意图；
图2是本申请实施例提供的一种无人机返航方法的流程示意图；
图3是本申请实施例提供的一种无人机返航的过程示意图；
图4是本申请实施例提供的一种无人机返航装置的示意图；
图5是本申请实施例提供的一种设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，无人机的飞行严重依赖定位信号，然而在实际使用过程中，无人机的飞行往往会出现高楼、遮挡物影响卫星信号的情况，导致飞行过程中定位信号消失，从而出现无人机丢失的情况。
基于此，本申请提供了一种无人机返航方法，可通过确定无人机的巡航路径来确定其返航路径，使得无人机在定位信号丢失的情况下，可按照返航路径进行返航，从而避免了无人机的丢失。
请参见图1，图1是本申请实施例提供的一种无人机的结构示意图。如图1所示，无人机10包括无人机主控模块101、GPS定位模块102、激光雷达传感器103、双目摄像头104、视觉数据处理模块105、陀螺仪106以及存储模块107。其中，无人机主控模块101分别与GPS定位模块102、激光雷达传感器103、视觉数据处理模块105、陀螺仪106以及存储模块107相连接。视觉数据处理模块105与双目摄像头104与陀螺仪106相连接。
该无人机10中的无人机主控模块101主要是负责无人机的飞行，用于控制无人机的起飞、降落、飞行、悬停、执行任务和返航等。该无人机主控模块101是整个飞行过程的核心***，里面包括了MCU、螺旋桨、地面信号接收模块等。
GPS定位模块102用于对无人机的位置进行定位，对起飞点、返航点、降落点在地图上进行标识。
激光雷达传感器103用于感知无人机的飞行环境，对飞行环境中的障碍物距离进行探测，获取障碍物距离信息。
双目摄像头104用于在无人机飞行途中获取飞行环境信息。
视觉数据处理模块105用于对飞行环境信息和障碍物距离信息进行处理，获得无人机的飞行轨迹，从而绘制出三维地图。视觉数据处理模块105在绘制出三维地图之后可将该信息传输给无人机主控模块101，无人机主控模块101会根据该信息规划出无人机的最佳巡航路径。
陀螺仪106用于提供无人机飞行时的姿态信息，该姿态信息既可通过主控模块来修正无人机自身的姿态，也可以为确定无人机的飞行轨迹提供数据校正。
存储模块107用于存储地图信息、位置信息和飞行信息。
请参见图2，图2是本申请实施例提供的一种无人机返航方法的流程示意图。如图2所示，该方法可以由无人机(例如是图1中的无人机10)执行，该无人机返航方法可包括如下步骤S201-S203：
S201、当无人机启动时，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息。
其中，定位信号是通过定位模块(例如是图1中的GPS定位模块102)获取的。
在一种可选的实施方式中，无人机采用双目摄像头(例如是图1中的双目摄像头104)和激光雷达传感器(例如是图1中的激光雷达传感器103)获取第一目标环境信息可以包括以下步骤：采用双目摄像头获取无人机飞行时的环境信息；采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息。其中，环境信息包括无人机飞行时的环境中所有点的三维坐标，每个点的三维坐标是指无人机飞行环境中的每个点在空间中的位置。第一目标环境信息包括对环境信息(即所有点的三维坐标集合中每个点的三维坐标)使用无人机飞行环境中的障碍物距离信息进行修正后得到的环境信息，该障碍物距离信息是采用激光雷达传感器获取的。
例如，无人机采用双目摄像头可以获取无人机飞行时的环境中多个点的三维坐标，以一个点M为例，假设点M的三维坐标为(x，y，z)。无人机可采用激光雷达传感器获取障碍物中多个点在空间中的三维坐标，从障碍物中多个点的三维坐标中获取与点M对应的点的三维坐标，记为M1。假设M1的三维坐标为(a，b，c)，则可使用点M1(a，b，c)对点M(x，y，z)进行修正，获得修正后的点M的三维坐标(例如是M2(x′，y′，z′))。
在采用双目摄像头获取无人机飞行时的环境信息的实施方式中，无人机可采用双目摄像头中的主摄像头获取无人机飞行时的标记图像；采用双目摄像头中的副摄像头对标记图像进行处理，得到标记图像对应的深度信息；基于标记图像和标记图像对应的深度信息，确定无人机飞行时的环境信息。在采用双目摄像头中的副摄像头对标记图像进行处理，得到标记图像对应的深度信息的实施方式中，无人机可采用副摄像头将标记图像输入到深度估计网络中，得到标记图像对应的深度信息。可选地，深度估计网络可以是Monodepth2网络，也可以是几何神经网络(Geometric Neural Networks，GeoNet)等，此处不做限定。
可选地，无人机还可以采用双目摄像头拍摄同一场景的左、右两幅视点图像(或者称为标记图像)，然后通过立体匹配算法获取两幅标记图像的视差图，进而获取标记图像对应的深度图。根据深度图可获得标记图像中每个像素点的深度信息。
举例来说，无人机采用双目摄像头的主摄像头可以获取无人机飞行时的多张标记图像，每张标记图像包括多个像素点，每个像素点对应一个二维坐标。以一个像素点为例，该像素点的二维坐标例如是(x，y)。无人机可采用副摄像头对该像素点(x，y)进行处理，得到该像素点(x，y)对应的深度信息，该深度信息例如是z。此时可基于(x，y)和z确定该像素点在空间中的位置(x，y，z)。从而根据多个像素点在空间中的位置可以确定无人机飞行时的环境信息。
可选地，无人机可对所有点的三维坐标进行滤波处理，获得滤波后的坐标点；根据滤波后的坐标点，确定无人机的飞行时的环境信息。
在采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息的实施方式中，无人机可采用激光雷达传感器确定障碍物距离信息；根据障碍物距离信息对环境信息进行修正，得到第一目标环境信息。
由前述可知，环境信息中包括多个点的三维坐标，下面以一个点A的三维坐标A(x1，y1，z1)为例对上述实施方式进行说明。无人机可采用激光雷达传感器确定飞行环境中的障碍物的位置信息，该障碍物位置信息中包括多个点的三维坐标。无人机可通过获取点A(x1，y1，z1)在障碍物中的对应点的位置，例如是A1(a1，b1，c1)；根据点A1的坐标对点A的位置进行修正，得到修正后的A的位置信息，记为A2。可选地，A2可以是(x1，y1，z1′)，也可以是(x1′，y1，z1′)，还可以是(x1，y1′，z1′)等等。其中，x1′是利用a1对x1进行修正后获得的；y1′是利用b1对y1进行修正后获得的；z1′是利用c1对z1进行修正后获得的。通过对环境信息中所有点的三维坐标进行修正处理，可得到第一目标环境信息。
S202、采用无人机主控模块，基于第一目标环境信息确定无人机的第一巡航路径。
在一种可选的实施方式中，无人机基于第一目标环境信息确定无人机的第一巡航路径可以包括如下步骤：采用陀螺仪(例如是图1中的陀螺仪106)确定无人机飞行时的姿态信息；基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径。
例如，假设无人机采用陀螺仪确定其飞行时的姿态信息为向右偏转40度，而预设偏转角度为向右偏转15度。此时无人机基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径可以是：将该偏转角度调整至预设偏转角度的范围内，获得调整后的姿态信息；基于调整后的姿态信息和第一目标环境信息，确定无人机的第一巡航路径。
在采用陀螺仪确定无人机飞行时的姿态信息的实施方式中，可利用视觉惯性融合技术估计双目摄像头自身的运动姿态信息，由于双目摄像头固定在无人机中，因此双目摄像头的运动姿态信息即为无人机飞行时的姿态信息。在基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径的实施方式中，无人机可基于姿态信息和第一目标环境信息，确定无人机的目标飞行轨迹；根据目标飞行轨迹和第一目标环境信息，确定无人机飞行时的目标三维地图；根据目标三维地图，确定无人机的第一巡航路径。
本申请实施例中，通过陀螺仪可采集无人机飞行时的姿态信息，将姿态信息发送给无人机主控模块，可使得无人机主控模块根据该姿态信息修正自身的姿态，从而结合第一目标环境信息可获得更为准确的无人机的飞行轨迹，进而可得到更为准确的巡航路径。
在一种可选的实施方式中，无人机还包括视觉数据处理模块(例如是图1中的视觉数据处理模块105)。该视觉数据处理模块中包括视觉即时定位与地图创建(SimultaneousLocalization and Mapping，SLAM)算法、图像处理算法和避障与路径规划算法。
在基于姿态信息和第一目标环境信息，确定无人机的目标飞行轨迹的实施方式中，无人机可采用视觉数据处理模块(例如是图1中的视觉数据处理模块105)中的避障与路径规划算法确定对姿态信息和第一目标环境信息进行处理，得到无人机的目标飞行轨迹。在采用视觉数据处理模块中的避障与路径规划算法确定对姿态信息和第一目标环境信息进行处理，得到无人机的目标飞行轨迹的实施方式中，无人机可采用避障与路径规划算法对第一目标环境信息进行处理，确定无人机的初始飞行轨迹；基于姿态信息对初始飞行轨迹进行校正，确定无人机的目标飞行轨迹，该目标飞行轨迹为校正后的初始飞行轨迹。在根据目标轨迹和第一目标环境信息，确定无人机飞行时的目标三维地图的实施方式中，无人机可采用视觉数据处理模块中的视觉SLAM算法对目标轨迹和第一目标环境信息进行处理，确定无人机飞行时的目标三维地图(或者称为重建后的体素地图)。可以理解的是，视觉SLAM算法的输入即为第一目标环境信息，其包括无人机飞行环境中多个点的三维坐标。
可以理解的是，姿态信息可用来对视觉SLAM算法和避障与路径规划算法的研发提供数据校正。
在根据目标三维地图，确定无人机的第一巡航路径的实施方式中，无人机可将目标三维地图传输给无人机主控模块，使得无人机主控模块规划出第一巡航路径。
S203、当无人机的定位信号丢失时，采用无人机主控模块，根据第一巡航路径确定无人机的第一返航路径，该第一返航路径为第一巡航路径的反向路径。
在一种可选的实施方式中，无人机可通过无人机主控模块将第一巡航路径存储在存储模块(例如是图1中的存储模块107)中。
在一种可选的实施方式中，当无人机在飞行过程中定位信号丢失时，无人机可通过调用存储模块中的第一巡航路径(此时可以将第一巡航路径作为第一返航路径)进行返航。由于第一巡航路径是在无人机的定位信号正常的情况下确定的，该第一巡航路径的确定过程包括了采用激光雷达传感器获取障碍物距离信息，而第一返航路径是与第一巡航路径完全对称的反向路径，因此，无人机可根据第一返航路径成功返航。
可选地，为进一步确保无人机能够成功返航，无人机还可通过调用第一巡航路径并配合激光雷达传感器获取的障碍物距离信息进行返航。
在另一种可选的实施方式中，当无人机基于第一返航路径执行返航操作，并获取定位信号时，可采用双目摄像头和激光雷达传感器获取第二目标环境信息；采用无人机主控模块，基于第二目标环境信息确定无人机的第二巡航路径。也就是说，当无人机在返航的途中获取到定位信号时，可接收停止返航的命令，继续执行飞行任务，此时可采用双目摄像头和激光雷达传感器获取第二目标环境信息，该第二目标环境信息为更新后的第一目标环境信息；采用无人机主控模块，基于第二目标环境信息确定无人机的第二巡航路径。
需要注意的是，此处的更新指的是在第一目标环境信息的基础上添加新的环境信息，从而基于第二目标环境信息确定无人机的第二巡航路径时，第二巡航路径才不会将第一巡航路径完全覆盖。进而，当无人机根据第二巡航路径确定出第二返航路径，且无人机基于第二返航路径进行返航时，才可顺利返回到起飞点。
本申请实施例中，当无人机启动时，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息；采用无人机主控模块，基于第一目标环境信息确定无人机的第一巡航路径；当无人机的定位信号丢失时，采用无人机主控模块，根据第一巡航路径确定无人机的第一返航路径，第一返航路径为第一巡航路径的反向路径。采用本申请实施例，在无人机的定位信号存在的情况下，可以基于定位信号、双目摄像头和激光雷达传感器确定无人机的巡航路径。在无人机的定位信号丢失的情况下，无人机主控模块可以根据巡航路径确定返航路径，从而使得无人机虽然没有定位信号但是可以基于正常的路径返航，避免无人机的碰撞和丢失。
请参见图3，图3是本申请实施例提供的一种无人机返航的过程示意图。下面结合图3对本申请实施例提供的无人机返航方法进行描述。
如图3所示，无人机(例如是图1中的无人机10)在接收到起飞操作指令后，响应于该指令，开始启动飞行。在此过程中，无人机10可采用GPS定位模块102获取定位信号，并根据该定位信号确定无人机10的位置信息。同时，采用陀螺仪106获取无人机飞行时的姿态信息，并将该姿态信息和位置信息传输给无人机主控模块101来修正自身的姿态。
在无人机10起飞时，根据定位信号，采用双目摄像头104和激光雷达传感器103获取第一目标环境信息，该第一目标环境信息中包括位置信息。其中，双目摄像头104用于探测摄像头视野内的所有环境，激光雷达传感器103用于探测周边的障碍物(例如是图3中的障碍物1、障碍物2)信息。将第一目标环境信息输送到视觉数据处理模块105，视觉数据处理模块105通过视觉SLAM算法和避障与路径规划算法对第一目标环境信息进行处理，可绘制出无人机的飞行轨迹，从而进行三维地图重建。此时，还可基于姿态信息对绘制出的飞行轨迹进行校正。之后，将重建后的三维地图传输给无人机主控模块101后，通过无人机主控模块101可规划出最佳巡航路径(即前述第一巡航路径)，如图3中的图片301所示，图片301中虚线311表示的即为无人机的第一巡航路径(即第一巡航路径311)。此时，无人机主控模块101可将该第一巡航路径311存储在存储模块107中。
当无人机10在飞行过程中定位信号丢失时(如图3中的图片302所示)，无人机会启动返回起飞点的命令，此时无人机10可以调用存储模块107中的第一巡航路径311(此时可将巡航路径作为返航路径)，配合激光雷达传感器103进行返航与避障(如图3中的图片303所示)。在返航途中，当GPS定位模块102接收到定位信号(即定位信号恢复到正常状态)时，无人机10可以接收停止返航的指令，继续执行飞行任务(如图3中的图片304所示)。此时，视觉数据处理模块105将继续更新三维地图，继续规划新的最佳巡航路径(即前述第二巡航路径)。如图3中图片305所示，图片305中虚线311和实线312的连接线即为第二巡航路径。与此同时，该第二巡航路径会被存储在存储模块107中。
可见，采用本申请实施例提供的无人机返航方法，在无人机的定位信号存在的情况下，可以基于定位信号、双目摄像头和激光雷达传感器确定无人机的巡航路径。并且，在无人机的定位信号丢失的情况下，无人机主控模块可以根据巡航路径确定返航路径，该返航路径为巡航路径对称反向的路径，从而使得无人机虽然没有定位信号但是可以基于正常的路径返航，避免碰撞和丢失。
基于上述无人机返航方法的相关实施例的描述，本申请实施例还提出了一种无人机返航装置，该无人机返航装置可以是运行于无人机设备中的一个计算机程序(包括程序代码)。该无人机返航装置可以执行图2所示的无人机返航方法；请参见图4，图4是本申请实施例提供的一种无人机返航装置的示意图，该无人机返航装置可以包括如下单元：
获取单元401，用于当无人机启动时，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息；
确定单元402，用于采用无人机主控模块，基于第一目标环境信息确定无人机的第一巡航路径；
确定单元402，还用于当无人机的定位信号丢失时，采用无人机主控模块，根据第一巡航路径确定无人机的第一返航路径，第一返航路径为第一巡航路径的反向路径。
在一种可选的实施方式中，获取单元401在用于根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息时，具体用于：
采用双目摄像头获取无人机飞行时的环境信息；
采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息。
在一种可选的实施方式中，获取单元401在采用双目摄像头获取无人机飞行时的环境信息时，具体用于：
采用双目摄像头中的主摄像头获取无人机飞行时的标记图像；
采用双目摄像头中的副摄像头对标记图像进行处理，得到标记图像对应的深度信息；
基于标记图像和标记图像对应的深度信息，确定无人机飞行时的环境信息。
在一种可选的实施方式中，获取单元401在用于采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息时，具体用于：
采用激光雷达传感器确定障碍物距离信息；
根据障碍物距离信息对环境信息进行修正，得到第一目标环境信息。
在一种可选的实施方式中，确定单元402在用于基于第一目标环境信息确定无人机的第一巡航路径时，具体用于：
采用陀螺仪确定无人机飞行时的姿态信息；
基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径。
在一种可选的实施方式中，确定单元402在用于基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径时，具有用于：
基于姿态信息和第一目标环境信息，确定无人机的目标飞行轨迹；
根据目标飞行轨迹和第一目标环境信息，确定无人机飞行时的目标三维地图；
根据目标三维地图，确定无人机的第一巡航路径。
在一种可选的实施方式中，获取单元401还用于当无人机基于第一返航路径执行返航操作，并获取定位信号时，采用双目摄像头和激光雷达传感器获取第二目标环境信息。
在一种可选的实施方式中，确定单元402还用于采用无人机主控模块，基于第二目标环境信息确定无人机的第二巡航路径。
根据本申请的一个实施例，图2所示的方法所涉及的各个步骤均可由图4所示的无人机返航装置中的各个单元来执行的。例如，图2中所示的步骤S201可由图4中所示的获取单元401执行，步骤S202、S203均可由图4中所示的确定单元402执行等。
根据本申请的另一个实施例，图4所示的无人机返航装置中的各个单元可以分别或全部合并为一个或若干个另外的模块来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个模块来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个模块来实现，或者多个模块的功能由一个单元实现。在本申请的其它实施例中，基于无人机返航装置也包括其他模块，在实际应用中，这些功能也可以由其它模块协助实现，并且可以由多个模块协作实现。
根据本申请的一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如无人机的设备上运行能够执行如图1中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图4中所示的无人机返航装置，以及来实现本申请实施例的无人机返航方法。计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述设备中，并在其中运行。
可以理解的是，本申请实施例提供的无人机返航装置中各个单元的具体实现以及可以达到的有益效果可参考前述无人机返航方法实施例的描述，在此不再赘述。
基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种设备。请参见图5，该设备至少包括处理器501、存储器502、通信接口503。上述处理器501、存储器502和通信接口503可通过总线504或其他方式连接，本申请实施例以通过总线504连接为例。
其中，处理器501(或称CPU(Central Processing Unit，中央处理器))是设备的计算核心以及控制核心，其可以解析设备内的各类指令以及处理设备的各类数据，例如：CPU可以用于解析用户向设备所发送的开关机指令，并控制设备进行开关机操作；再如：CPU可以在设备内部结构之间传输各类交互数据，等等。通信接口503可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等)，受处理器501的控制用于收发数据。存储器502(Memory)是设备中的记忆设备，用于存放计算机程序和数据。可以理解的是，此处的存储器502既可以包括设备的内置存储器，当然也可以包括设备所支持的扩展存储器。存储器502提供存储空间，该存储空间存储了设备的操作***，可包括但不限于：Windows***、Linux***、Android***、iOS***，等等，本申请对此并不作限定。在一种可选的实施方式中，本申请实施例的处理器501可通过运行存储器502中存储的计算机程序，执行如下操作：
当无人机启动时，根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息；
采用无人机主控模块，基于第一目标环境信息确定无人机的第一巡航路径；
当无人机的定位信号丢失时，采用无人机主控模块，根据第一巡航路径确定无人机的第一返航路径，第一返航路径为第一巡航路径的反向路径。
在一种可选的实施方式中，处理器501在用于根据无人机的定位信号，采用双目摄像头和激光雷达传感器获取第一目标环境信息时，具体用于：
采用双目摄像头获取无人机飞行时的环境信息；
采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息。
在一种可选的实施方式中，处理器501在采用双目摄像头获取无人机飞行时的环境信息时，具体用于：
采用双目摄像头中的主摄像头获取无人机飞行时的标记图像；
采用双目摄像头中的副摄像头对标记图像进行处理，得到标记图像对应的深度信息；
基于标记图像和标记图像对应的深度信息，确定无人机飞行时的环境信息。
在一种可选的实施方式中，处理器501在用于采用激光雷达传感器对环境信息进行修正，得到第一目标环境信息时，具体用于：
采用激光雷达传感器确定障碍物距离信息；
根据障碍物距离信息对环境信息进行修正，得到第一目标环境信息。
在一种可选的实施方式中，处理器501在用于基于第一目标环境信息确定无人机的第一巡航路径时，具体用于：
采用陀螺仪确定无人机飞行时的姿态信息；
基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径。
在一种可选的实施方式中，处理器501在用于基于姿态信息和第一目标环境信息，确定无人机的第一巡航路径时，具有用于：
基于姿态信息和第一目标环境信息，确定无人机的目标飞行轨迹；
根据目标飞行轨迹和第一目标环境信息，确定无人机飞行时的目标三维地图；
根据目标三维地图，确定无人机的第一巡航路径。
在一种可选的实施方式中，处理器501还用于：
当无人机基于第一返航路径执行返航操作，并获取定位信号时，采用双目摄像头和激光雷达传感器获取第二目标环境信息；
采用无人机主控模块，基于第二目标环境信息确定无人机的第二巡航路径。
具体实现中，本申请实施例中所描述的处理器501、存储器502、通信接口503可执行本申请实施例提供的视频处理方法中所描述的计算机设备的实现方式，也可执行本申请实施例提供的视频处理装置中所描述的实现方式，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述任一可能实现方式的无人机返航方法。其具体实现方式可参考前文描述，此处不再赘述。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该设备执行上述任一可能实现方式的无人机返航方法。其具体实现方式可参考前文描述，此处不再赘述。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上所揭露的仅为本申请部分实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种无人机返航方法，其特征在于，应用于无人机，所述无人机包括无人机主控模块、双目摄像头和激光雷达传感器，所述方法包括：
当无人机启动时，根据所述无人机的定位信号，采用所述双目摄像头和所述激光雷达传感器获取第一目标环境信息；
采用所述无人机主控模块，基于所述第一目标环境信息确定所述无人机的第一巡航路径；
当所述无人机的定位信号丢失时，采用所述无人机主控模块，根据所述第一巡航路径确定所述无人机的第一返航路径，所述第一返航路径为所述第一巡航路径的反向路径。
2.根据权利要求1所述的方法，其特征在于，所述根据所述无人机的定位信号，采用所述双目摄像头和所述激光雷达传感器获取第一目标环境信息，包括：
采用所述双目摄像头获取所述无人机飞行时的环境信息；
采用所述激光雷达传感器对所述环境信息进行修正，得到第一目标环境信息。
3.根据权利要求2所述的方法，其特征在于，所述采用所述双目摄像头获取所述无人机飞行时的环境信息，包括：
采用所述双目摄像头中的主摄像头获取所述无人机飞行时的标记图像；
采用所述双目摄像头中的副摄像头对所述标记图像进行处理，得到所述标记图像对应的深度信息；
基于所述标记图像和所述标记图像对应的深度信息，确定所述无人机飞行时的环境信息。
4.根据权利要求2所述的方法，其特征在于，所述采用所述激光雷达传感器对所述环境信息进行修正，得到第一目标环境信息，包括：
采用所述激光雷达传感器确定障碍物距离信息；
根据所述障碍物距离信息对所述环境信息进行修正，得到第一目标环境信息。
5.根据权利要求1所述的方法，其特征在于，所述无人机还包括陀螺仪，所述基于所述第一目标环境信息确定所述无人机的第一巡航路径，包括：
采用陀螺仪确定所述无人机飞行时的姿态信息；
基于所述姿态信息和所述第一目标环境信息，确定所述无人机的第一巡航路径。
6.根据权利要求5所述的方法，其特征在于，所述基于所述姿态信息和所述第一目标环境信息，确定所述无人机的第一巡航路径，包括：
基于所述姿态信息和所述第一目标环境信息，确定所述无人机的目标飞行轨迹；
根据所述目标飞行轨迹和所述第一目标环境信息，确定所述无人机飞行时的目标三维地图；
根据所述目标三维地图，确定所述无人机的第一巡航路径。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述无人机基于所述第一返航路径执行返航操作，并获取定位信号时，采用所述双目摄像头和所述激光雷达传感器获取第二目标环境信息；
采用所述无人机主控模块，基于所述第二目标环境信息确定所述无人机的第二巡航路径。
8.一种无人机返航装置，其特征在于，应用于无人机，所述无人机包括无人机主控模块、双目摄像头和激光雷达传感器，所述装置包括：
获取单元，用于当无人机启动时，根据所述无人机的定位信号，采用所述双目摄像头和所述激光雷达传感器获取第一目标环境信息；
确定单元，用于采用所述无人机主控模块，基于所述第一目标环境信息确定所述无人机的第一巡航路径；
确定单元，还用于当所述无人机的定位信号丢失时，采用所述无人机主控模块，根据所述第一巡航路径确定所述无人机的第一返航路径，所述第一返航路径为所述第一巡航路径的反向路径。
9.一种设备，其特征在于，所述计算机设备包括存储器、通信接口以及处理器，其中，所述存储器、所述通信接口和所述处理器相互连接；所述存储器存储有计算机程序，所述处理器调用所述存储器中存储的计算机程序，用于实现权利要求1至7任一项所述的无人机返航方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的无人机返航方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210316184.7A CN114740885A (zh) | 2022-03-29 | 2022-03-29 | 一种无人机返航方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210316184.7A CN114740885A (zh) | 2022-03-29 | 2022-03-29 | 一种无人机返航方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114740885A true CN114740885A (zh) | 2022-07-12 |
Family
ID=82277485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210316184.7A Pending CN114740885A (zh) | 2022-03-29 | 2022-03-29 | 一种无人机返航方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114740885A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117250995A (zh) * | 2023-11-20 | 2023-12-19 | 西安天成益邦电子科技有限公司 | 承载平台姿态矫正控制方法及*** |
-
2022
- 2022-03-29 CN CN202210316184.7A patent/CN114740885A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117250995A (zh) * | 2023-11-20 | 2023-12-19 | 西安天成益邦电子科技有限公司 | 承载平台姿态矫正控制方法及*** |
| CN117250995B (zh) * | 2023-11-20 | 2024-02-02 | 西安天成益邦电子科技有限公司 | 承载平台姿态矫正控制方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11776413B2 (en) | Aerial vehicle flight control method and device thereof | |
| CN110068335B (zh) | 一种gps拒止环境下无人机集群实时定位方法及*** | |
| CN111448476B (zh) | 在无人飞行器与地面载具之间共享绘图数据的技术 | |
| US10527720B2 (en) | Millimeter-wave terrain aided navigation system | |
| EP3491474B1 (en) | System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning | |
| US20190138029A1 (en) | Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof | |
| US20200191556A1 (en) | Distance mesurement method by an unmanned aerial vehicle (uav) and uav | |
| US11709073B2 (en) | Techniques for collaborative map construction between an unmanned aerial vehicle and a ground vehicle | |
| US20230215024A1 (en) | Position estimation method and apparatus for tracking target, and unmanned aerial vehicle | |
| JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
| US11029707B2 (en) | Moving object, moving object control method, moving object control system, and moving object control program | |
| WO2017168423A1 (en) | System and method for autonomous guidance of vehicles | |
| CN112712558A (zh) | 一种无人驾驶设备的定位方法及装置 | |
| CN112985391B (zh) | 一种基于惯性和双目视觉的多无人机协同导航方法和装置 | |
| US10642272B1 (en) | Vehicle navigation with image-aided global positioning system | |
| US20210208608A1 (en) | Control method, control apparatus, control terminal for unmanned aerial vehicle | |
| CN112639735A (zh) | 计算量分配 | |
| US20220113421A1 (en) | Online point cloud processing of lidar and camera data | |
| CN111736586A (zh) | 用于路径规划的自动驾驶车辆位置的方法及其装置 | |
| CN111665870A (zh) | 一种轨迹跟踪方法及无人机 | |
| CN114740885A (zh) | 一种无人机返航方法、装置、设备及存储介质 | |
| JP6265576B1 (ja) | 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム | |
| WO2021237535A1 (zh) | 碰撞处理方法、设备及介质 | |
| KR101911353B1 (ko) | Ｇｎｓｓ 신호 손실시 자율 비행 방법 및 이를 위한 무인 비행체 | |
| WO2021016867A1 (zh) | 终端设备及其数据处理方法、无人机及其控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |