CN110231835A - 一种基于机器视觉的无人机精准降落方法 - Google Patents

一种基于机器视觉的无人机精准降落方法 Download PDF

Info

Publication number
CN110231835A
CN110231835A CN201910597432.8A CN201910597432A CN110231835A CN 110231835 A CN110231835 A CN 110231835A CN 201910597432 A CN201910597432 A CN 201910597432A CN 110231835 A CN110231835 A CN 110231835A
Authority
CN
China
Prior art keywords
unmanned plane
target
platform
holder
target platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910597432.8A
Other languages
English (en)
Inventor
李振宇
王光平
李明富
王亮亮
丁红亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN KEWEITAI ENTERPRISE DEVELOPMENT Co Ltd
Original Assignee
SHENZHEN KEWEITAI ENTERPRISE DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN KEWEITAI ENTERPRISE DEVELOPMENT Co Ltd filed Critical SHENZHEN KEWEITAI ENTERPRISE DEVELOPMENT Co Ltd
Priority to CN201910597432.8A priority Critical patent/CN110231835A/zh
Publication of CN110231835A publication Critical patent/CN110231835A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的无人机精准降落方法，本方法使用SSD物体检测和ECO目标跟踪方法，来实现对目标平台的检测和跟踪，锁定跟踪目标在图像中央，调整无人机的位置和云台的角度到平台上方，开启无人机上的摄像头拍摄平台上的二维码图像，锁定无人机的位置并进行降落，本可以辅助无人机实现精准降落在指定平台，并且本发明可以在GPS信号弱或者信号干扰的情况下，仅依赖视觉模块引导飞机成功降落。

Description

一种基于机器视觉的无人机精准降落方法
技术领域
本发明涉及无人机降落技术领域，尤其涉及一种基于机器视觉的无人机精准降落方法。
背景技术
无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。
按尺度分类，无人机可分为微型无人机、轻型无人机、小型无人机以及大型无人机。微型无人机是指空机质量小于等于7kg，轻型无人机质量大于7kg，但小于等于116kg的无人机，且全马力平飞中，校正空速小于100km/h(55nmile/h)，升限小于3000m。小型无人机，是指空机质量小于等于5700kg的无人机，微型和轻型无人机除外。大型无人机，是指空机质量大于5700kg的无人机。与有人驾驶飞机相比，无人机往往更适合那些太“愚钝，肮脏或危险”的任务。无人机按应用领域，可分为军用与民用。军用方面，无人机分为侦察机和靶机。民用方面，无人机+行业应用，是无人机真正的刚需；目前在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大的拓展了无人机本身的用途，发达国家也在积极扩展行业应用与发展无人机技术。
现如今无人机应用十分广泛，但传统的无人机在降落时，难以实现精准降落在指定平台，而且在GPS信号弱或者信号干扰的情况下，难以引导飞机成功降落。
发明内容
本发明的目的是为了解决现有技术中存在的传统的无人机在降落时，难以实现精准降落在指定平台，而且在GPS信号弱或者信号干扰的情况下，难以引导飞机成功降落的缺点，而提出的一种基于机器视觉的无人机精准降落方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于机器视觉的无人机精准降落方法，具体包括以下步骤：
S1、无人机挂载云台、深度学习芯片和普通USB摄像头；
S2、无人机执行任务返回目标平台的途中，首先开机视觉模块进行目标搜索；
S3、当开启无人机视觉模块时，目标检测算法SSD对云台传回的图像进行实时检测；
S4、当检测到目标平台时，将检测到的目标平台数据发送给ECO跟踪模块，如果在跟踪过程中丢失目标，重新开启检测，重复执行S2，S3步；
S5、跟踪过程中，云台俯仰角度锁定，将云台航向角与飞机航向保持一致，通过移动无人机将跟踪目标锁定到图像中央，然后锁定云台航向角，无人机飞行至目标平台上方；
S6、当无人机飞行至平台上方时，下落至5m高度后，开启USB摄像头，通过使用单目相机位姿估计(pnp)技术，获取无人机相对目标平台的距离和方位；
S7、无人机控制算法获取视觉模块求解的位置坐标，控制无人机精确降落在目标平台顶部。
优选的，在S1中，在执行任务之前利用采集目标数据进行深度学***台的视频中检测到目标平台。
优选的，在S2中，无人机执行任务返回目标平台的途中，首先开启视觉模块进行目标搜索，具体指：第一：无人机持续向前方飞行；第二：云台持续转动搜寻目标；第三：无人机视觉模块同时开启。
优选的，在S6中，获取无人机相对目标平台的距离和方位，具体是指：通过二维码求解无人机机载摄像头的位置坐标，并转化为平台载二维码相对无人机的位置坐标。
本发明提供的一种基于机器视觉的无人机精准降落方法，与现有技术相比：
本方法使用SSD物体检测和ECO目标跟踪方法，来实现对目标平台的检测和跟踪，锁定跟踪目标在图像中央，调整无人机的位置和云台的角度到平台上方，开启无人机上的摄像头拍摄平台上的二维码图像，锁定无人机的位置并进行降落，本可以辅助无人机实现精准降落在指定平台，并且本发明可以在GPS信号弱或者信号干扰的情况下，仅依赖视觉模块引导飞机成功降落；
无人机挂载云台、深度学***台的视频中检测到目标平台，可以辅助无人机实现精准降落在指定平台；
当检测到目标平台时，将检测到的目标平台数据发送给ECO跟踪模块，如果在跟踪过程中丢失目标，重新开启检测，跟踪过程中，云台俯仰角度锁定，将云台航向角与飞机航向保持一致，通过移动无人机将跟踪目标锁定到图像中央，然后锁定云台航向角，无人机飞行至目标平台上方，可以在GPS信号弱或者信号干扰的情况下，仅依赖视觉模块引导飞机成功降落。
附图说明：
图1为本发明的工作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例和说明书附图1，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
一种基于机器视觉的无人机精准降落方法，其特征在于，具体包括以下步骤：
S1、无人机挂载云台、深度学***台的视频中检测到目标平台；
S2、无人机执行任务返回目标平台的途中，首先开启视觉模块进行目标搜索；具体指：第一：无人机持续向前方飞行；第二：云台持续转动搜寻目标；第三：无人机视觉模块同时开启；
S3、当开启无人机视觉模块时，目标检测算法SSD对云台传回的图像进行实时检测；
S4、当检测到目标平台时，将检测到的目标平台数据发送给ECO跟踪模块，如果在跟踪过程中丢失目标，重新开启检测，重复执行S2，S3步；
S5、跟踪过程中，云台俯仰角度锁定，将云台航向角与飞机航向保持一致，通过移动无人机将跟踪目标锁定到图像中央，然后锁定云台航向角，无人机飞行至目标平台上方；
S6、当无人机飞行至平台上方时，下落至5m高度后，开启USB摄像头，通过使用单目相机位姿估计(pnp)技术，获取无人机相对目标平台的距离和方位，具体是指：通过二维码求解无人机机载摄像头的位置坐标，并转化为平台载二维码相对无人机的位置坐标；
S7、无人机控制算法获取视觉模块求解的位置坐标，控制无人机精确降落在目标平台顶部。
综上所述：无人机挂载云台、深度学***台的视频中检测到目标平台，可以辅助无人机实现精准降落在指定平台；
当检测到目标平台时，将检测到的目标平台数据发送给ECO跟踪模块，如果在跟踪过程中丢失目标，重新开启检测，跟踪过程中，云台俯仰角度锁定，将云台航向角与飞机航向保持一致，通过移动无人机将跟踪目标锁定到图像中央，然后锁定云台航向角，无人机飞行至目标平台上方，可以在GPS信号弱或者信号干扰的情况下，仅依赖视觉模块引导飞机成功降落。
本方法使用SSD物体检测和ECO目标跟踪方法，来实现对目标平台的检测和跟踪，锁定跟踪目标在图像中央，调整无人机的位置和云台的角度到平台上方，开启无人机上的摄像头拍摄平台上的二维码图像，锁定无人机的位置并进行降落，本可以辅助无人机实现精准降落在指定平台，并且本发明可以在GPS信号弱或者信号干扰的情况下，仅依赖视觉模块引导飞机成功降落。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于机器视觉的无人机精准降落方法，其特征在于，具体包括以下步骤：
S1、无人机挂载云台、深度学习芯片和普通USB摄像头；
S2、无人机执行任务返回目标平台的途中，首先开机视觉模块进行目标搜索；
S3、当开启无人机视觉模块时，目标检测算法SSD对云台传回的图像进行实时检测；
S4、当检测到目标平台时，将检测到的目标平台数据发送给ECO跟踪模块，如果在跟踪过程中丢失目标，重新开启检测，重复执行S2，S3步；
S5、跟踪过程中，云台俯仰角度锁定，将云台航向角与飞机航向保持一致，通过移动无人机将跟踪目标锁定到图像中央，然后锁定云台航向角，无人机飞行至目标平台上方；
S6、当无人机飞行至平台上方时，下落至5m高度后，开启USB摄像头，通过使用单目相机位姿估计(pnp)技术，获取无人机相对目标平台的距离和方位；
S7、无人机控制算法获取视觉模块求解的位置坐标，控制无人机精确降落在目标平台顶部。
2.根据权利要求1所述一种基于机器视觉的无人机精准降落方法，其特征在于：在S1中，在执行任务之前利用采集目标数据进行深度学***台的视频中检测到目标平台。
3.根据权利要求1所述一种基于机器视觉的无人机精准降落方法，其特征在于：在S2中，无人机执行任务返回目标平台的途中，首先开机视觉模块进行目标搜索，具体指：第一：无人机持续向前方飞行；第二：云台持续转动搜寻目标；第三：无人机视觉模块同时开启。
4.根据权利要求1所述一种基于机器视觉的无人机精准降落方法，其特征在于：在S6中，获取无人机相对目标平台的距离和方位，具体是指：通过二维码求解无人机机载摄像头的位置坐标，并转化为平台载二维码相对无人机的位置坐标。
CN201910597432.8A 2019-07-04 2019-07-04 一种基于机器视觉的无人机精准降落方法 Pending CN110231835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910597432.8A CN110231835A (zh) 2019-07-04 2019-07-04 一种基于机器视觉的无人机精准降落方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910597432.8A CN110231835A (zh) 2019-07-04 2019-07-04 一种基于机器视觉的无人机精准降落方法

Publications (1)

Publication Number Publication Date
CN110231835A true CN110231835A (zh) 2019-09-13

Family

ID=67856732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910597432.8A Pending CN110231835A (zh) 2019-07-04 2019-07-04 一种基于机器视觉的无人机精准降落方法

Country Status (1)

Country Link
CN (1) CN110231835A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813151A (zh) * 2020-08-26 2020-10-23 江苏威思迈智能科技有限公司 基于机器视觉的无人机集群控制方法
CN112033372A (zh) * 2020-07-20 2020-12-04 河北汉光重工有限责任公司 无雷达引导的固定屏占比稳定自动跟踪方法
CN112650298A (zh) * 2020-12-30 2021-04-13 广东工业大学 一种无人机追踪降落方法及***
CN113495580A (zh) * 2021-08-06 2021-10-12 澜枢(上海)智能科技有限公司 用于港口码头吊车结构检测的无人机***及其使用方法
CN113682220A (zh) * 2020-05-19 2021-11-23 马自达汽车株式会社 车载用飞行体的控制***
CN114326765A (zh) * 2021-12-01 2022-04-12 爱笛无人机技术(南京)有限责任公司 一种用于无人机视觉着陆的地标跟踪控制***及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033489A1 (en) * 2003-08-08 2005-02-10 Fuji Jukogyo Kabushiki Kaisha Landing-control device and landing-control method for aircraft
CN101000243A (zh) * 2007-01-16 2007-07-18 北京航空航天大学 无人直升机着陆引导方法及其装置
CN104215239A (zh) * 2014-08-29 2014-12-17 西北工业大学 基于视觉的无人机自主着陆导引装置及导引方法
CN105930766A (zh) * 2016-03-31 2016-09-07 深圳奥比中光科技有限公司 无人机
CN106502257A (zh) * 2016-10-25 2017-03-15 南京奇蛙智能科技有限公司 一种无人机精准降落抗干扰的控制方法
CN108828500A (zh) * 2018-06-22 2018-11-16 深圳草莓创新技术有限公司 无人机精准的降落引导方法及相关产品
CN108873943A (zh) * 2018-07-20 2018-11-23 南京奇蛙智能科技有限公司 一种无人机厘米级精准降落的图像处理方法
CN109085851A (zh) * 2018-09-12 2018-12-25 哈尔滨工业大学（威海） 无人机定点降落方法
CN109726640A (zh) * 2018-12-07 2019-05-07 南京邮电大学 无人机***对运动物体的识别追踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033489A1 (en) * 2003-08-08 2005-02-10 Fuji Jukogyo Kabushiki Kaisha Landing-control device and landing-control method for aircraft
CN101000243A (zh) * 2007-01-16 2007-07-18 北京航空航天大学 无人直升机着陆引导方法及其装置
CN104215239A (zh) * 2014-08-29 2014-12-17 西北工业大学 基于视觉的无人机自主着陆导引装置及导引方法
CN105930766A (zh) * 2016-03-31 2016-09-07 深圳奥比中光科技有限公司 无人机
CN106502257A (zh) * 2016-10-25 2017-03-15 南京奇蛙智能科技有限公司 一种无人机精准降落抗干扰的控制方法
CN108828500A (zh) * 2018-06-22 2018-11-16 深圳草莓创新技术有限公司 无人机精准的降落引导方法及相关产品
CN108873943A (zh) * 2018-07-20 2018-11-23 南京奇蛙智能科技有限公司 一种无人机厘米级精准降落的图像处理方法
CN109085851A (zh) * 2018-09-12 2018-12-25 哈尔滨工业大学（威海） 无人机定点降落方法
CN109726640A (zh) * 2018-12-07 2019-05-07 南京邮电大学 无人机***对运动物体的识别追踪方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113682220A (zh) * 2020-05-19 2021-11-23 马自达汽车株式会社 车载用飞行体的控制***
CN113682220B (zh) * 2020-05-19 2024-02-13 马自达汽车株式会社 车载用飞行体的控制***
CN112033372A (zh) * 2020-07-20 2020-12-04 河北汉光重工有限责任公司 无雷达引导的固定屏占比稳定自动跟踪方法
CN111813151A (zh) * 2020-08-26 2020-10-23 江苏威思迈智能科技有限公司 基于机器视觉的无人机集群控制方法
CN112650298A (zh) * 2020-12-30 2021-04-13 广东工业大学 一种无人机追踪降落方法及***
CN112650298B (zh) * 2020-12-30 2021-08-17 广东工业大学 一种无人机追踪降落方法及***
CN113495580A (zh) * 2021-08-06 2021-10-12 澜枢(上海)智能科技有限公司 用于港口码头吊车结构检测的无人机***及其使用方法
CN114326765A (zh) * 2021-12-01 2022-04-12 爱笛无人机技术(南京)有限责任公司 一种用于无人机视觉着陆的地标跟踪控制***及方法
CN114326765B (zh) * 2021-12-01 2024-02-09 爱笛无人机技术(南京)有限责任公司 一种用于无人机视觉着陆的地标跟踪控制***及方法

Similar Documents

Publication Publication Date Title
CN110231835A (zh) 一种基于机器视觉的无人机精准降落方法
US20200344464A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
CN109911231B (zh) 基于gps和图像识别混合导航的无人机自主着舰方法与***
CN109324337B (zh) 无人飞行器的航线生成及定位方法、装置及无人飞行器
CN108227751B (zh) 一种无人机的降落方法及***
CN105549614B (zh) 无人机目标跟踪方法
CN105652891B (zh) 一种旋翼无人机移动目标自主跟踪装置及其控制方法
CN107240063A (zh) 一种面向移动平台的旋翼无人机自主起降方法
CN104049641B (zh) 一种自动降落方法、装置及飞行器
CN105501457A (zh) 基于红外视觉的固定翼无人机自动着陆引导方法及***
US20190068829A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
CN106527481A (zh) 无人机飞行控制方法、装置及无人机
CN109270953A (zh) 一种基于同心圆视觉标识的多旋翼无人机自主降落方法
CN109857144A (zh) 无人机、无人机控制***及控制方法
Coutard et al. Visual detection and 3D model-based tracking for landing on an aircraft carrier
CN109063532B (zh) 一种基于无人机的野外失联人员搜寻方法
CN109460046B (zh) 一种无人机自然地标识别与自主着陆方法
CN205909832U (zh) 一种基于机器视觉的无人机导航***
CN110766721A (zh) 一种基于机载视觉的着舰合作目标检测方法
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及***
CN108227749A (zh) 无人机及其追踪***
CN112797982A (zh) 一种基于机器视觉的无人机自主着陆测量方法
CN115755575A (zh) 一种基于ros的双云台无人机自主降落方法
CN109542120A (zh) 通过无人机对目标对象进行跟踪的方法及装置
CN113781524A (zh) 一种基于二维标签的目标追踪***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190913