CN112987764B - 降落方法、装置、无人机以及计算机可读存储介质 - Google Patents
降落方法、装置、无人机以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112987764B CN112987764B CN202110134460.3A CN202110134460A CN112987764B CN 112987764 B CN112987764 B CN 112987764B CN 202110134460 A CN202110134460 A CN 202110134460A CN 112987764 B CN112987764 B CN 112987764B
- Authority
- CN
- China
- Prior art keywords
- preset visual
- unmanned aerial
- aerial vehicle
- landing
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000000007 visual effect Effects 0.000 claims abstract description 139
- 238000006073 displacement reaction Methods 0.000 claims description 24
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开一种降落方法,应用于无人机,所述方法包括以下步骤:在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;在所述目标图像中确定出所述预设视觉标识对应的有效区域;对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;基于所述位姿信息,控制所述无人机的降落姿态。本发明还公开了一种降落装置、无人机以及计算机可读存储介质。利用本发明的降落方法,达到了提高无人机位姿信息的实时性的技术效果。
Description
技术领域
本发明涉及无人机控制技术领域,特别涉及一种降落方法、装置、无人机以及计算机可读存储介质。
背景技术
近年来无人机依靠机动性好、成本低廉和飞行姿态易控制等优点,在军事和民用领域得到了极大的发展,无人机在有人/无人车、有人/无人水面船艇等移动平台上的自主降落成为研究热点。
相关技术中,公布了一种降落方法,在无人机降落过程中,无人机在空中获取目标区域(降落平台涉及的区域)的图像,通过视觉识别技术对包括视觉标识的图像进行识别,以获得无人机与降落平台的相对位姿信息,即无人机的位姿信息,然后无人机利用位姿信息,控制无人机的降落姿态。
但是,利用现有的降落方法,对视觉标识进行识别时,识别效率较低,导致无人机降落过程中获得位姿信息的实时性较差。
发明内容
本发明的主要目的是提供一种降落方法、装置、无人机以及计算机可读存储介质,旨在解决现有技术中对视觉标识进行识别时,识别效率较低,导致无人机降落过程中获得位姿信息的实时性较差的技术问题。
为实现上述目的,本发明提出一种降落方法,应用于无人机,所述方法包括以下步骤:
在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;
在所述目标图像中确定出所述预设视觉标识对应的有效区域;
对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;
基于所述位姿信息,控制所述无人机的降落姿态。
可选的,所述预设视觉标识包括多个;所述在所述目标图像中确定出所述预设视觉标识对应的有效区域的步骤之前,所述方法还包括:
获取所述目标区域的选定历史目标图像对应的选定历史位姿信息;
基于所述选定历史位姿信息,在所述多个预设视觉标识中确定出选定预设视觉标识;
所述在所述目标图像中确定出所述预设视觉标识对应的有效区域的步骤包括:
在所述目标图像中确定出与所述选定预设视觉标识对应的有效区域;
所述对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息的步骤包括:
对所述选定预设视觉标识对应的有效区域进行识别,以获得所述位姿信息。
可选的,所述多个预设视觉标识为多种尺寸的预设视觉标识,不同种尺寸的预设视觉标识对应不同的高度信息;所述基于所述选定历史位姿信息,在所述多个预设视觉标识中确定出选定预设视觉标识的步骤包括:
获取所述选定历史位姿信息中所述无人机在竖直方向的选定历史高度信息;
在所述多种尺寸的预设视觉标识中确定出与所述选定历史高度信息对应的选定预设视觉标识。
可选的,所述在所述目标图像中确定出与所述选定预设视觉标识对应的有效区域的步骤包括:
获取所述选定预设视觉标识在多个结果历史目标图像中的历史二维信息和历史尺寸;
基于所述历史二维信息和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域。
可选的,所述基于所述历史二维信息和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域的步骤包括:
基于所述历史二维信息,获得预测位移;
基于所述预测位移、预设放大比例和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域。
可选的,所述基于所述位姿信息,控制所述无人机的降落姿态的步骤之前,所述方法还包括:
获取所述多个结果历史目标图像分别对应的历史位姿信息;
基于所述历史位姿信息,获得所述无人机的相对位移;
基于所述相对位移和所述相对位移对应的时间差,获得相对速度;
所述基于所述位姿信息,控制所述无人机的降落姿态的步骤包括:
基于所述相对速度和所述位姿信息,控制所述无人机的降落姿态。
可选的,所述预设视觉标识为二维码标识。
此外,为实现上述目的,本发明还提出了一种降落装置,应用于无人机,所述装置包括:
拍摄模块,用于在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;
确定模块,用于在所述目标图像中确定出所述预设视觉标识对应的有效区域;
识别模块,用于对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;
控制模块,用于基于所述位姿信息,控制所述无人机的降落姿态。
此外,为实现上述目的,本发明还提出了一种无人机,所述无人机包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行降落程序,所述降落程序被所述处理器执行时实现如上述任一项所述的降落方法的步骤。
此外,为实现上述目的,本发明还提出了一种计算机可读存储介质,所述计算机可读存储介质上存储有降落程序,所述降落程序被处理器执行时实现如上述任一项所述的降落方法的步骤。
本发明技术方案提出了一种降落方法,用于无人机,所述方法包括:在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;在所述目标图像中确定出所述预设视觉标识对应的有效区域;对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;基于所述位姿信息,控制所述无人机的降落姿态。
现有的降落方法中,无人机对目标图像进行全局识别,识别过程中的数据处理量较多,使得识别效率较低,进而导致无人机降落过程中获得位姿信息的实时性较差;本发明的降落方法中,无人机对目标图像的部分区域——有效区域进行识别,识别过程中的数据处理量较少,使得识别效率较高,进而使得无人机降落过程中获得位姿信息的速度较快,位姿信息的实时性较高;所以,利用本发明的降落方法,达到了提高无人机位姿信息的实时性的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例方案涉及的硬件运行环境的无人机结构示意图;
图2为本发明降落方法第一实施例的流程示意图;
图3为本发明多个预设视觉标识结构示意图;
图4为本发明多个结果历史目标图像的示意图;
图5为本发明目标图像的示意图;
图6为本发明降落装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的无人机结构示意图。
通常,无人机包括:至少一个处理器301、存储器302以及存储在所述存储器上并可在所述处理器上运行的降落程序,所述降落程序配置为实现如前所述的降落方法的步骤。
处理器301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关降落方法操作,使得降落方法模型可以自主训练学习,提高效率和准确度。
存储器302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的降落方法。
在一些实施例中,终端还可选包括有:通信接口303和至少一个***设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与通信接口303相连。具体地,***设备包括:射频电路304、显示屏305和电源306中的至少一种。
通信接口303可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器301和存储器302。在一些实施例中,处理器301、存储器302和通信接口303被集成在同一芯片或电路板上;在一些其他实施例中,处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路304包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时,显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时,显示屏305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。显示屏305可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。
电源306用于为电子设备中的各个组件进行供电。电源306可以是交流电、直流电、一次性电池或可充电电池。当电源306包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。本领域技术人员可以理解,图1中示出的结构并不构成对无人机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有降落程序,所述降落程序被处理器执行时实现如上文所述的降落方法的步骤。因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。确定为示例,程序指令可被部署为在一个无人机上执行,或者在位于一个地点的多个无人机上执行,又或者,在分布在多个地点且通过通信网络互连的多个无人机备上执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,上述的计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
基于上述硬件结构,提出本发明降落方法的实施例。
参照图2,图2为本发明降落方法第一实施例的流程示意图,所述方法用于无人机,所述方法包括以下步骤:
步骤S11:在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识。
需要说明的是,本发明的执行主体——无人机,安装有降落程序,无人机执行降落程序时,实现本发明的降落方法。通常无人机安装有摄像头,摄像头可以是百万级像素的摄像头。
具体应用中,无人机接收到降落指令,基于降落指令,无人机开始降落,即控制摄像头拍摄目标区域的图像,无人机准备降落的地点或区域为降落平台,目标区域为无人机的摄像头拍摄到的区域,目标区域会包括降落平台;降落平台内的预设视觉标识可以是二维码视觉标识,例如,ArUco或Apriltag等。通常,目标区域的目标图像包括预设视觉标识对应的区域和预设视觉标识以外部分对应的区域,即,预设视觉标识对应的区域为目标图像的一部分。
通常,目标图像可以摄像头在无人机降落过程中,连续拍摄(扫描)目标区域获得的图像,连续时刻内获得较多的目标图像(例如,每秒40帧图像或每秒30帧图像等),需要对目标图像中的每个目标图像都进行本发明的步骤S11-S14,即,对每个时刻扫描的目标图像分别进行识别,以获得每个时刻的目标图像对应的位姿信息。
可以理解的是,摄像头扫描目标区域获得目标图像的过程,类似于拍摄目标区域的视频流过程,需要对视频流的每一帧图像进行实时的识别(当前时刻对应的一帧图像即为目标图像,当前时刻之前的多帧或一帧图像可以叫做历史目标图像)。
步骤S12:在所述目标图像中确定出所述预设视觉标识对应的有效区域。
步骤S13:对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息。
可以理解的是,参照上文描述,在目标图像中,预设视觉标识对应的区域为目标图像的一部分,该部分涉及的信息为有效信息,无人机只需要对有效信息进行识别,以获得无人机的位姿信息即可,不需要对整个目标图像进行识别,从而使得无人机对目标图像进行识别时,数据处理量降低,进而使得获得无人机的位姿信息速度较快。
因此,需要在所述目标图像中确定出所述预设视觉标识对应的有效区域,以对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息。
进一步的,所述预设视觉标识包括多个;所述步骤S12之前,所述方法还包括:获取所述目标区域的选定历史目标图像对应的选定历史位姿信息;基于所述选定历史位姿信息,在所述多个预设视觉标识中确定出选定预设视觉标识;相应的,步骤S12包括:在所述目标图像中确定出与所述选定预设视觉标识对应的有效区域;相应的,步骤S13包括:对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息。
其中,所述多个预设视觉标识为多种尺寸的预设视觉标识,不同种尺寸的预设视觉标识对应不同的高度信息;所述基于所述选定历史位姿信息,在所述多个预设视觉标识中确定出选定预设视觉标识的步骤包括:获取所述选定历史位姿信息中所述无人机在竖直方向的选定历史高度信息;在所述多种尺寸的预设视觉标识中确定出与所述选定历史高度信息对应的选定预设视觉标识。
需要说明的是,无人机在降落过程中,高度信息(无人机与降落平台的垂直距离)不同时,对不同尺寸的视觉标识的识别速度不同,需要在多个预设视觉标识中确定出与高度信息对应的选定视觉标识,以使无人机对选定视觉标识识别的速度较快。在无人机处于不同的高度时,需要基于该时刻的高度信息,在多个预设视觉标识中确定出与高度信息对应的选定预设视觉标识。
无人机在不同高度视野不同,故无人机在不同高度识别不同大小的标识,低空识别小标识,高空识别大标识,具体思路如下:
在本发明的降落方法执行之前,以视觉标识为二维码为例,无人机停放在一张印有二维码纸上,二维码的大小根据要识别二维码的速度来进行设计,当打印出来的二维码的大小按照上述的局部区域(有效区域)识别的方法识别二维码的速度低于或者高于预设的识别速度时,调小或者调大二维码的尺寸,并打印出来二维码,直至识别的速度达到预设的识别速度,此时二维码的实际尺寸即是第一个二维码尺寸;无人机慢慢远离第一个二维码,直到无法识别第一个二维码,这时打印大一点的二维码放在第一个二维码上,此时,如果无人机识别该二维码的速度低于或者高于预设的识别速度时,也调小或者调大该二维码的尺寸,直至该二维码识别的速度达到预设的识别速度,此时二维码的实际尺寸即是第二个二维码尺寸。参照同样的方法,进行后续的第三个二维码······第N个二维码的设计。
当确定了多个不同高度信息对应的多个不同尺寸的视觉标识时,将多个不同尺寸的视觉标识同时置于目标区域,以进行本法发明的全部降落方法的步骤。
具体应用中,在对当前时刻的目标图像进行识别之前,是无法获得该时刻的位姿信息,也即无法获得当前时刻的无人机与降落平台的高度信息,所以,需要利用上一时刻的选定历史目标图像(即,目标图像之前一帧图像,因为与当前时刻最接近,该时刻的目标图像对应的高度信息的准确度会较高,通常取当前时刻的帧图像之前一个时刻的帧图像,用户也可以根据需求,在历史目标图像中确定其他的选定历史目标图像)的选定历史位姿信息;由于选定历史目标图像是被无人机识别过的,直接可以获取到选定历史目标图像的选定历史位姿信息中的高度信息,该高度信息即为选定历史高度信息。基于选定历史高度信息,无人机需要在多个预设视觉标识中确定与所述选定历史高度信息对应的选定预设视觉标识。
例如,多个预设视觉标识包括1m以下对应的第一标识、1m-4m对应的第二标识和4m以上对应的第三标识,无人机在某一时刻获得选定历史高度信息为4.5m,则,基于选定历史高度信息4.5m,在多个预设视觉标识中确定出第三标识为所述选定预设视觉标识。
参照图3,图3为本发明多个预设视觉标识结构示意图,其中,预设视觉标识为二维码,最大的二维码为高度信息大于4m对应的第一二维码(大尺寸二维码),中的二维码为高度信息在1m-4m之间对应的第二二维码(中尺寸二维码),小的二维码为高度信息小于1m对应的第三二维码(小尺寸二维码)。
进一步的,所述在所述目标图像中确定出与所述选定预设视觉标识对应的有效区域的步骤包括:获取所述选定预设视觉标识在多个结果历史目标图像中的历史二维信息和历史尺寸;基于所述历史二维信息和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域。其中,所述基于所述历史二维信息和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域的步骤包括:基于所述历史二维信息,获得预测位移;基于所述预测位移、预设放大比例和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域。
需要说明的是,多个结果历史目标图像可以是当前时刻的目标图像之前的多个目标图像。例如,多个结果历史目标图像可以是与当前时刻相邻的之前两个时刻的两个结果历史目标图像,即,在连续的时刻内,图像也是连续的,且具有时间顺序的,将目标图像为命名为第三帧图像,两个结果历史目标图像分别为第一帧图像和第二帧图像;历史二维信息即为选定预设视觉标识在结果历史目标图像中的位置信息,通常是选定预设视觉标识中的某一个基准点在结果历史目标图像中的位置信息,该基准点为选定预设视觉标识中的定点。继续基于第一帧图像和第二帧图像分别对应的历史二维信息,获得预测位移;基于所述预测位移、预设放大比例和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域;同时,历史尺寸通常取目标图像之前一个时刻对应的历史目标图像中选定预设视觉信标的尺寸,因为该历史目标图像与目标图像时间最接近,选定预设视觉信标尺寸变化极小,可以等效为一样的。预设放大比例可以是用户根据需求设定的。
可以理解的是,在无人机准备降落时,至少利用当前时刻的目标图像对应的前两帧图像,进行预测位移的获得,在无人机降落过程中,在降落起始时刻开始,初始第一帧图像和初始第二帧图像需要进行全局搜索,因为无法获取该两帧图像对应的多个结果历史目标图像,在其之前,无人机并未准备降落,并不会获取目标区域的目标图像,所以无法获得初始第一帧图像和初始第二帧图像对应的预测位移。
参照图4-5,图4为本发明多个结果历史目标图像的示意图,图5为本发明目标图像的示意图;其中,多个结果历史目标图像为两个结果历史目标图像,目标图像为定义为第三帧图像,两个结果历史目标图像分别为第一帧图像和第二帧图像,图4中,上面的虚线框内的为第一帧图像示意图,下面的虚线框内的为第二帧图像示意图,选定预设视觉标识为选定二维码,选定二维码在第一帧图像和第二帧图像中的高度均为H,宽度均为W,即,历史尺寸为W*H,以选定二维码的左上角的点为基准点,基准点的历史二维信息分别为(x1,y1)和(x2,y2),第三帧图像(目标图像)基准点的与第二帧图像基准点的位移即为预测位移,预测位移为(x2-x1,y2-y1),基于预设放大比例1:1.3,获得目标图像中选定二维码对应的有效区域,参照图5,实线框内的为第三帧图像(目标图像),虚线框内的为选定预设二维码对应的有效区域,有效区域的宽度为1.3W,高度为1.3H,有效区域的左上角的基准点的坐标为(x3,y3),其中x3=x2+(x2-x1)-0.2W,y3=y2+(y2-y1)-0.2H。
可以理解的是,用户还可以设置其他的预设放大比例,并对上述计算公式做出适应性改变,以获得有效区域的确定方案,本发明上述描述为较优的示例性描述,并不构成限定。
步骤S14:基于所述位姿信息,控制所述无人机的降落姿态。
需要说明的是,通常对目标图像识别之后,获得的位姿信息为无人机相对于降落平台的相对位姿信息,位姿信息通常包括无人机的水平坐标值x和y,无人机竖直坐标z(可以是无人机与降落平台的相对高度),以及无人机的偏航角、俯仰角和横滚角等。
进一步的,步骤S14之前,所述方法还包括:获取所述多个结果历史目标图像分别对应的历史位姿信息;基于所述历史位姿信息,获得所述无人机的相对位移;基于所述相对位移和所述相对位移对应的时间差,获得相对速度;相应的,步骤S14包括:基于所述相对速度和所述位姿信息,控制所述无人机的降落姿态。
此处,以多个结果历史目标图像为两个结果历史目标图像,目标图像为定义为第三帧图像,两个结果历史目标图像分别为第一帧图像和第二帧图像为例,基于第一帧图像对应的第一历史位姿信息中的x4、y4和z4,以及第二帧图像对应的第二历史位姿信息中的x5、y5和z5,确定出相对位移x6(x5-x4)、y6(y5-y4)和z6(z5-z4),并基于第一帧图像和第二帧图像的时间差t(帧之间的时差),确定出x方向相对速度vx=(x5-x4)/t,y方向相对速度vy=(y5-y4)/t,以及z方向相对速度vz=(z5-z4)/t,相对速度包括vx、vy和vz。
可以理解的是,当计算相对位移选中的结果历史目标图像不同,对应的时间差不同,例如,结果历史目标图像是初始第20帧图像(以无人机开始降落为起始时刻)与初始第30帧图像,则时间差为初始第20帧图像与初始第30帧图像的时间差,即,10帧图像的时长。
本发明技术方案提出了一种降落方法,用于无人机,所述方法包括:在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;在所述目标图像中确定出所述预设视觉标识对应的有效区域;对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;基于所述位姿信息,控制所述无人机的降落姿态。
现有的降落方法中,无人机对目标图像进行全局识别,识别过程中的数据处理量较多,使得识别效率较低,进而导致无人机降落过程中获得的位姿信息的实时性较差;本发明的降落方法中,无人机对目标图像的部分区域——有效区域进行识别,识别过程中的数据处理量较少,使得识别效率较高,进而使得无人机降落过程中获得位姿信息的速度较快,位姿信息的实时性较高;所以,利用本发明的降落方法,达到了提高无人机位姿信息的实时性的技术效果。
同时,还可以基于位姿信息和相对速度,控制无人机的降落姿态,使得无人机在降落过程中可以更精准的降落于降落平台;另外,示出不同尺寸的视觉标识,以使无人机在不同的高度对对应的视觉标识进行识别,进一步提高了无人机对视觉标识的识别速度。
参照图6,图6为本发明降落装置第一实施例的结构框图,装置应用于无人机,所述装置包括:
拍摄模块10,用于在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;
确定模块20,用于在所述目标图像中确定出所述预设视觉标识对应的有效区域;
识别模块30,用于对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;
控制模块40,用于基于所述位姿信息,控制所述无人机的降落姿态。
以上所述仅为本发明的可选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (8)
1.一种降落方法,其特征在于,应用于无人机,所述方法包括以下步骤:
在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;
在所述目标图像中确定出所述预设视觉标识对应的有效区域;
对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;
基于所述位姿信息,控制所述无人机的降落姿态;
所述预设视觉标识包括多个;所述在所述目标图像中确定出所述预设视觉标识对应的有效区域的步骤之前,所述方法还包括:
获取所述目标区域的选定历史目标图像对应的选定历史位姿信息;所述选定历史目标图像为所述目标图像的前一帧图像;
基于所述选定历史位姿信息,在所述多个预设视觉标识中确定出选定预设视觉标识;
所述在所述目标图像中确定出所述预设视觉标识对应的有效区域的步骤包括:
在所述目标图像中确定出与所述选定预设视觉标识对应的有效区域;
所述对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息的步骤包括:
对所述选定预设视觉标识对应的有效区域进行识别,以获得所述位姿信息;
所述多个预设视觉标识为多种尺寸的预设视觉标识,不同种尺寸的预设视觉标识对应不同的高度信息;所述基于所述选定历史位姿信息,在所述多个预设视觉标识中确定出选定预设视觉标识的步骤包括:
获取所述选定历史位姿信息中所述无人机在竖直方向的选定历史高度信息;
在所述多种尺寸的预设视觉标识中确定出与所述选定历史高度信息对应的选定预设视觉标识。
2.如权利要求1所述的方法,其特征在于,所述在所述目标图像中确定出与所述选定预设视觉标识对应的有效区域的步骤包括:
获取所述选定预设视觉标识在多个结果历史目标图像中的历史二维信息和历史尺寸;
基于所述历史二维信息和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域。
3.如权利要求2所述的方法,其特征在于,所述基于所述历史二维信息和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域的步骤包括:
基于所述历史二维信息,获得预测位移;
基于所述预测位移、预设放大比例和所述历史尺寸,在所述目标图像中确定出所述选定预设视觉标识对应的有效区域。
4.如权利要求3所述的方法,其特征在于,所述基于所述位姿信息,控制所述无人机的降落姿态的步骤之前,所述方法还包括:
获取所述多个结果历史目标图像分别对应的历史位姿信息;
基于所述历史位姿信息,获得所述无人机的相对位移;
基于所述相对位移和所述相对位移对应的时间差,获得相对速度;
所述基于所述位姿信息,控制所述无人机的降落姿态的步骤包括:
基于所述相对速度和所述位姿信息,控制所述无人机的降落姿态。
5.如权利要求1-4任一项所述的方法,其特征在于,所述预设视觉标识为二维码标识。
6.一种降落装置,其特征在于,应用于无人机,所述装置包括:
拍摄模块,用于在所述无人机降落过程中,拍摄目标区域的目标图像,所述目标区域设置有预设视觉标识;
确定模块,用于在所述目标图像中确定出所述预设视觉标识对应的有效区域;
识别模块,用于对所述预设视觉标识对应的有效区域进行识别,以获得所述无人机的位姿信息;
控制模块,用于基于所述位姿信息,控制所述无人机的降落姿态;
所述预设视觉标识包括多个;
所述确定模块,还用于获取所述目标区域的选定历史目标图像对应的选定历史位姿信息;所述选定历史目标图像为所述目标图像的前一帧图像;基于所述选定历史位姿信息,在所述多个预设视觉标识中确定出选定预设视觉标识;在所述目标图像中确定出与所述选定预设视觉标识对应的有效区域;
所述识别模块,还用于对所述选定预设视觉标识对应的有效区域进行识别,以获得所述位姿信息;
所述多个预设视觉标识为多种尺寸的预设视觉标识,不同种尺寸的预设视觉标识对应不同的高度信息;
所述确定模块,还用于获取所述选定历史位姿信息中所述无人机在竖直方向的选定历史高度信息;在所述多种尺寸的预设视觉标识中确定出与所述选定历史高度信息对应的选定预设视觉标识。
7.一种无人机,其特征在于,所述无人机包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行降落程序,所述降落程序被所述处理器执行时实现如权利要求1至5中任一项所述的降落方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有降落程序,所述降落程序被处理器执行时实现如权利要求1至5中任一项所述的降落方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110134460.3A CN112987764B (zh) | 2021-02-01 | 2021-02-01 | 降落方法、装置、无人机以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110134460.3A CN112987764B (zh) | 2021-02-01 | 2021-02-01 | 降落方法、装置、无人机以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112987764A CN112987764A (zh) | 2021-06-18 |
CN112987764B true CN112987764B (zh) | 2024-02-20 |
Family
ID=76346635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110134460.3A Active CN112987764B (zh) | 2021-02-01 | 2021-02-01 | 降落方法、装置、无人机以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112987764B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537430B (zh) * | 2021-07-02 | 2022-06-07 | 北京三快在线科技有限公司 | 信标、信标生成方法、信标生成装置和设备 |
CN113867373A (zh) * | 2021-09-30 | 2021-12-31 | 广州极飞科技股份有限公司 | 无人机降落方法、装置、停机坪以及电子设备 |
CN114200954B (zh) * | 2021-10-28 | 2023-05-23 | 佛山中科云图智能科技有限公司 | 基于Apriltag的无人机降落方法、装置、介质和电子设备 |
CN115291624B (zh) * | 2022-07-11 | 2023-11-28 | 广州中科云图智能科技有限公司 | 一种无人机定位降落方法、存储介质和计算机设备 |
CN114935946B (zh) * | 2022-07-21 | 2022-12-09 | 浙江这里飞科技有限公司 | 一种无人机降落方法及装置 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102967305A (zh) * | 2012-10-26 | 2013-03-13 | 南京信息工程大学 | 基于大小回字标志物的多旋翼无人机位姿获取方法 |
US9551579B1 (en) * | 2015-08-07 | 2017-01-24 | Google Inc. | Automatic connection of images using visual features |
CN106529538A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种飞行器的定位方法和装置 |
CN106952284A (zh) * | 2017-03-28 | 2017-07-14 | 歌尔科技有限公司 | 一种基于压缩跟踪算法的特征提取方法及其装置 |
CN107943077A (zh) * | 2017-11-24 | 2018-04-20 | 歌尔股份有限公司 | 一种无人机降落目标的追踪方法、装置和无人机 |
CN108072385A (zh) * | 2017-12-06 | 2018-05-25 | 爱易成技术(天津)有限公司 | 移动目标的空间坐标定位方法、装置及电子设备 |
CN108875667A (zh) * | 2018-06-27 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 目标识别方法、装置、终端设备和存储介质 |
CN109308463A (zh) * | 2018-09-12 | 2019-02-05 | 北京奇艺世纪科技有限公司 | 一种视频目标识别方法、装置及设备 |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
KR102018892B1 (ko) * | 2019-02-15 | 2019-09-05 | 국방과학연구소 | 무인기의 착륙 제어 방법 및 장치 |
CN110968107A (zh) * | 2019-10-25 | 2020-04-07 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
CN110989687A (zh) * | 2019-11-08 | 2020-04-10 | 上海交通大学 | 一种基于嵌套正方形视觉信息的无人机降落方法 |
CN111562791A (zh) * | 2019-03-22 | 2020-08-21 | 沈阳上博智像科技有限公司 | 一种无人机合作目标识别视觉辅助着陆的***及方法 |
CN111709328A (zh) * | 2020-05-29 | 2020-09-25 | 北京百度网讯科技有限公司 | 车辆跟踪方法、装置及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9889932B2 (en) * | 2015-07-18 | 2018-02-13 | Tata Consultancy Services Limited | Methods and systems for landing of unmanned aerial vehicle |
-
2021
- 2021-02-01 CN CN202110134460.3A patent/CN112987764B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102967305A (zh) * | 2012-10-26 | 2013-03-13 | 南京信息工程大学 | 基于大小回字标志物的多旋翼无人机位姿获取方法 |
US9551579B1 (en) * | 2015-08-07 | 2017-01-24 | Google Inc. | Automatic connection of images using visual features |
CN106529538A (zh) * | 2016-11-24 | 2017-03-22 | 腾讯科技(深圳)有限公司 | 一种飞行器的定位方法和装置 |
CN106952284A (zh) * | 2017-03-28 | 2017-07-14 | 歌尔科技有限公司 | 一种基于压缩跟踪算法的特征提取方法及其装置 |
CN107943077A (zh) * | 2017-11-24 | 2018-04-20 | 歌尔股份有限公司 | 一种无人机降落目标的追踪方法、装置和无人机 |
CN108072385A (zh) * | 2017-12-06 | 2018-05-25 | 爱易成技术(天津)有限公司 | 移动目标的空间坐标定位方法、装置及电子设备 |
CN108875667A (zh) * | 2018-06-27 | 2018-11-23 | 北京字节跳动网络技术有限公司 | 目标识别方法、装置、终端设备和存储介质 |
CN109308463A (zh) * | 2018-09-12 | 2019-02-05 | 北京奇艺世纪科技有限公司 | 一种视频目标识别方法、装置及设备 |
CN109431381A (zh) * | 2018-10-29 | 2019-03-08 | 北京石头世纪科技有限公司 | 机器人的定位方法及装置、电子设备、存储介质 |
KR102018892B1 (ko) * | 2019-02-15 | 2019-09-05 | 국방과학연구소 | 무인기의 착륙 제어 방법 및 장치 |
CN111562791A (zh) * | 2019-03-22 | 2020-08-21 | 沈阳上博智像科技有限公司 | 一种无人机合作目标识别视觉辅助着陆的***及方法 |
CN110968107A (zh) * | 2019-10-25 | 2020-04-07 | 深圳市道通智能航空技术有限公司 | 一种降落控制方法、飞行器及存储介质 |
CN110989687A (zh) * | 2019-11-08 | 2020-04-10 | 上海交通大学 | 一种基于嵌套正方形视觉信息的无人机降落方法 |
CN111709328A (zh) * | 2020-05-29 | 2020-09-25 | 北京百度网讯科技有限公司 | 车辆跟踪方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
基于阶层标识的无人机自主精准降落***;张咪等;航空学报;第39卷(第10期);213-221 * |
Also Published As
Publication number | Publication date |
---|---|
CN112987764A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112987764B (zh) | 降落方法、装置、无人机以及计算机可读存储介质 | |
US11275931B2 (en) | Human pose prediction method and apparatus, device, and storage medium | |
CN109391762B (zh) | 一种跟踪拍摄的方法和装置 | |
CN110865388B (zh) | 摄像机与激光雷达的联合标定方法、装置及存储介质 | |
US11373410B2 (en) | Method, apparatus, and storage medium for obtaining object information | |
CN112802111B (zh) | 一种物体模型构建方法及装置 | |
CN111123964B (zh) | 一种无人机降落方法、设备以及计算机可读介质 | |
US20220139282A1 (en) | Electronic device and method for displaying image on flexible display | |
CN111192341A (zh) | 生成高精地图的方法、装置、自动驾驶设备及存储介质 | |
CN111381602B (zh) | 控制无人机飞行的方法、装置和无人机 | |
CN112884900A (zh) | 无人机的降落定位方法、装置、存储介质及无人机机巢 | |
CN211506262U (zh) | 一种基于视觉定位的导航*** | |
CN111256676A (zh) | 移动机器人定位方法、装置和计算机可读存储介质 | |
CN113761255B (zh) | 机器人室内定位方法、装置、设备及存储介质 | |
CN110163862B (zh) | 图像语义分割方法、装置及计算机设备 | |
US20210357620A1 (en) | System, moving object, and information processing apparatus | |
CN111444749B (zh) | 路面导向标志的识别方法、装置及存储介质 | |
CN111538009A (zh) | 雷达点的标记方法和装置 | |
CN111580551A (zh) | 一种基于视觉定位的导航***与方法 | |
CN108063884B (zh) | 一种图像处理方法及移动终端 | |
CN114187349B (zh) | 产品加工方法、装置、终端设备以及存储介质 | |
KR20170071278A (ko) | 이동 단말기 | |
CN114332118A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111612688B (zh) | 一种图像处理方法、设备及计算机可读存储介质 | |
CN111738034B (zh) | 车道线的检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |