CN114995472A - 一种基于目标识别无人机精准降落方法 - Google Patents
一种基于目标识别无人机精准降落方法 Download PDFInfo
- Publication number
- CN114995472A CN114995472A CN202210813226.8A CN202210813226A CN114995472A CN 114995472 A CN114995472 A CN 114995472A CN 202210813226 A CN202210813226 A CN 202210813226A CN 114995472 A CN114995472 A CN 114995472A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- module
- landing
- central point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 235000011034 Rubus glaucus Nutrition 0.000 claims abstract description 23
- 235000009122 Rubus idaeus Nutrition 0.000 claims abstract description 23
- 240000007651 Rubus glaucus Species 0.000 claims abstract description 22
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 244000235659 Rubus idaeus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/60—Other road transportation technologies with climate change mitigation effect
- Y02T10/7072—Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于无人机精准降落技术领域，具体涉及一种基于目标识别无人机精准降落方法，包括无人机本体、无人机本体由微处理器飞行控制模块、无人机运动模块、GPS模块、DTU数据传输模块、机载电脑树莓派、下视摄像头构成，所述无人机飞行控制模块用于根据微处理器计算出的飞行路线，生成相应的实时飞行控制指令；GPS模块用于粗略估计返航位置，以便使摄像头捕获降落信息；DTU数据传输模块用于无人机能够通过4G实时传输机器人各项参数给中心站，适应在不同地表和不同视角下的数据集扩充，对训练网络模型精度起到极强的正反馈，达到更好的识别效果，可目标识别且分类4种停机坪，四种停机坪皆可从yolov5中提出中心点估计值实现降落。
Description
技术领域
本发明属于无人机精准降落技术领域，具体涉及一种基于目标识别无人机精准降落方法。
背景技术
随着自动化无人机的普及，无人机降落逐渐从手持遥控器中摆脱出来，无人机定位方法逐渐也从GNSS到图像处理中扩展开来，图像处理应用是无人机定位的重大里程碑，各个机构在降落目标靶和算法在实践上进行了较为广泛的尝试，目前，国内无人机降落的运用中，较多采用的是在GPS以及更加精准的RTK中运用GNSS数据实时定位和降落，在视觉方向中运用图像识别较多采用改变目标靶图案，有或者视觉基准库，它通过设计与二维码相似的特定标志，同时降低了复杂度以满足实时性要求；其次有采用同心圆和同心正方形目标靶，通过聚类算法去除图像中干扰图案，预测其中心点；还有基于识别红外LED灯珠的方式，它通过配备Z轴测距传感器估算水平相对位置，从而实现中心点降落，现有技术存在诸多缺陷，GPS的导航是通过无线电发射信号，其包含了无线电所有的缺点，计算降落误差值较大，使用RTK实时定位降落可大幅提高定位精度，实现厘米级定位，但其***需要依赖的组件包括移动站、固定站、天线、无线数传等，成本昂贵，对于利用可见光图像的无人机精准降落技术，目前相关研究机构多偏重于对于单一目标靶的自动识别理论算法的研究，而对于特定的目标靶实行精准降落虽然降落精度高，但对目标靶的设计和制作都有严格的要求。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于目标识别无人机精准降落方法，解决了现有技术中计算降落误差值较大、成本昂贵和目标靶的设计和制作都有严格的要求。
本发明的目的可以通过以下技术方案实现：
一种基于目标识别无人机精准降落方法，所述方法包括以下步骤：
S1、训练集的准备：将无人机在不同的停机坪上方和不同高度飞行，同时下视摄像头开启录像，以保存视频内容；S2、图像增强和扩充：通过copy-paste算法以及透视变换扩充数据集的数量，让模型训练出更准确的识别精度与中心点预测值，同时能够让无人机适应各种不同地形目标点预测，分割填补算法能使无人机识别出不同地表下的降落点，透视变换将降落目标扩充为各种侧视视角下的形状；S3、训练权重参数：为了满足实时中心点预测，且面向树莓派4b，选择较小的深度和宽度yolov5网络模型n在RTX3070显卡主机中训练出权重文件；S4、载入权重文件实现精准降落：通过全球定位***GPS模块可以为无人机飞行提供粗略的返航位置信息，运用树莓派4b将位置信息传入无人机飞控AP模块执行返航任务同时保持无人机状态悬停，打开树莓派4b链接的下视160度广角摄像头，将图像传入yolov5预训练网络输出目标检测的中心点，根据摄像头图像中心与目标检测中心点的差值大小，树莓派发送PID调节速度给无人机飞控AP模块与惯性测量单元IMU模块协同，以控制无人机向中心点移动。
所述步骤S1中，视频内容随机抽帧并保存为图片格式。
所述步骤S2中，通过copy-paste算法以及透视变换来增强数据集。
所述步骤S3中，无人机机载树莓派运用基于YOLOv5模型的目标检测算法，使用labelimg软件准确标注数据集中的停机坪，采用kmeans计算anchor的参数数值，以保证分类停机坪目标边框以及中心点的准确性。
所述步骤S4中，所述设置中心点偏移量阈值，若实际偏移量小于阈值即实行降落固定高度命令，若实际偏移大于等于中心点偏移量阈值，再次重复S4指令，以修正无人机集体姿态，最终实现高精度降落。
所述若实际偏移量小于阈值即实行降落固定高度命令，固定高度为10cm。
本发明的有益效果：
1、对于目标靶数据集的扩充使用分割填补算法以及透视变换，以适应在不同地表和不同视角下的数据集扩充，对训练网络模型精度起到极强的正反馈，达到更好的识别效果。
2、可目标识别且分类4种停机坪，四种停机坪皆可从yolov5中提出中心点估计值实现降落，对于识别出同心圆和通信正方形停机坪也可以聚类算法实现降落；二维码特定标志可以实现降落，也可以以Apritag或者Aruco视觉基准库完成二次开发。
3、利用摄像头中心点和预测中心点的插值调节PID算法参数，不仅可以实现目标靶的精准降落，而且在一定速度下可以实现动态目标靶的跟踪。
4、树莓派4b作为机载电脑，不仅可以实现无人机的精准降落，而且也可以使用外部控制完成其他项目开发，节约成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的copy-paste算法实现扩充数据集示意图；
图2是本发明实施例训练权重示意图；
图3是无人机实物图及供电线路示意图；
图4是本发明实施例的机载电脑控制降落示意图；
图5是本发明实施例无人机降落步骤流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“开孔”、“上”、“下”、“厚度”、“顶”、“中”、“长度”、“内”、“四周”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1-4所示，一种基于目标识别无人机精准降落方法，包括无人机本体、无人机本体由微处理器飞行控制模块、无人机运动模块、GPS模块、DTU数据传输模块、机载电脑树莓派、广角160度下视摄像头构成。所述无人机飞行控制模块用于根据微处理器计算出的飞行路线，生成相应的实时飞行控制指令；GPS模块用于粗略估计返航位置，以便使摄像头捕获降落信息；DTU数据传输模块用于无人机能够通过4G实时传输机器人各项参数给中心站，便于后台中心站内能够及时获取机器人实时状况；机载电脑树莓派使用ubnutu***装载yolov5用于目标检测以及速度指令传输给飞控***，通过无人机分电版链接外置式电池分离***链接Type-C输出稳定5V/3A给树莓派供电，使用15引脚带状电缆与广角摄像，所述方法包括以下步骤：
S1、训练集的准备：将无人机在不同的停机坪上方和不同高度飞行，同时下视摄像头开启录像，以保存视频内容，视频内容随机抽帧并保存为图片格式；
S2、图像增强和扩充：通过copy-paste算法以及透视变换扩充数据集的数量，让模型训练出更准确的识别精度与中心点预测值，同时能够让无人机适应各种不同地形目标点预测，分割填补算法能使无人机识别出不同地表下的降落点，透视变换将降落目标扩充为各种侧视视角下的形状；
S3、训练权重参数：为了满足实时中心点预测，且面向树莓派4b，选择较小的深度和宽度yolov5网络模型n在RTX3070显卡主机中训练出权重文件，无人机机载树莓派运用基于YOLOv5模型的目标检测算法，使用labelimg软件准确标注数据集中的停机坪，采用kmeans计算anchor的参数数值，以保证分类停机坪目标边框以及中心点的准确性；
S4、载入权重文件实现精准降落：通过全球定位***GPS模块可以为无人机飞行提供粗略的返航位置信息，运用树莓派4b将位置信息传入无人机飞控AP模块执行返航任务同时保持无人机状态悬停，打开树莓派4b链接的下视160度广角摄像头，将图像传入yolov5预训练网络输出目标检测的中心点，根据摄像头图像中心与目标检测中心点的差值大小，树莓派发送PID调节速度给无人机飞控AP模块与惯性测量单元IMU模块协同，以控制无人机向中心点移动，所述设置中心点偏移量阈值，若实际偏移量小于阈值即实行降落固定高度命令，若实际偏移大于等于中心点偏移量阈值，再次重复S4指令，以修正无人机集体姿态，若实际偏移量小于阈值即实行降落固定高度命令，固定高度为10cm，最终实现高精度降落。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (6)
1.一种基于目标识别无人机精准降落方法，其特征在于，包括无人机本体、无人机本体由微处理器飞行控制模块、无人机运动模块、GPS模块、DTU数据传输模块、机载电脑树莓派和下视摄像头，所述无人机飞行控制模块用于根据微处理器计算出的飞行路线，生成相应的实时飞行控制指令；GPS模块用于粗略估计返航位置，以便使摄像头捕获降落信息；DTU数据传输模块用于无人机能够通过4G实时传输机器人各项参数给中心站，便于后台中心站内能够及时获取机器人实时状况；机载电脑树莓派使用ubnutu***装载yolov5用于目标检测以及速度指令传输给飞控***，通过无人机分电版链接外置式电池分离***给树莓派4b供电，使用15引脚带状电缆与摄像头，所述方法包括以下步骤：
S1、训练集的准备：将无人机在不同的停机坪上方和不同高度飞行，同时下视摄像头开启录像，以保存视频内容；
S2、图像增强和扩充：通过copy-paste算法以及透视变换扩充数据集的数量；
S3、训练权重参数：为了满足实时中心点预测，且面向树莓派4b，选择较小的深度和宽度yolov5网络模型n在主机中训练出权重文件；
S4、载入权重文件实现精准降落：通过全球定位***GPS模块可以为无人机飞行提供粗略的返航位置信息，运用树莓派4b将位置信息传入无人机飞控AP模块执行返航任务同时保持无人机状态悬停，打开树莓派4b链接的下视160度广角摄像头，将图像传入yolov5预训练网络输出目标检测的中心点，根据摄像头图像中心与目标检测中心点的差值大小，树莓派发送PID调节速度给无人机飞控AP模块与惯性测量单元IMU模块协同，以控制无人机向中心点移动。
2.根据权利要求1所述的一种基于目标识别无人机精准降落方法，其特征在于，所述步骤S1中，视频内容随机抽帧并保存为图片格式。
3.根据权利要求1所述的一种基于目标识别无人机精准降落方法，其特征在于，所述步骤S2中，通过copy-paste算法以及透视变换来增强数据集。
4.根据权利要求1所述的一种基于目标识别无人机精准降落方法，其特征在于，所述步骤S3中，无人机机载树莓派运用基于YOLOv5模型的目标检测算法，使用labelimg软件准确标注数据集中的停机坪，采用kmeans计算anchor的参数数值，以保证分类停机坪目标边框以及中心点的准确性。
5.根据权利要求1所述的一种基于目标识别无人机精准降落方法，其特征在于，所述步骤S4中，所述设置中心点偏移量阈值，若实际偏移量小于阈值即实行降落固定高度命令，若实际偏移大于等于中心点偏移量阈值，再次重复S4指令，以修正无人机集体姿态，最终实现高精度降落。
6.根据权利要求5所述的一种基于目标识别无人机精准降落方法，其特征在于，所述若实际偏移量小于阈值即实行降落固定高度命令，固定高度为10cm。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210813226.8A CN114995472A (zh) | 2022-07-11 | 2022-07-11 | 一种基于目标识别无人机精准降落方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210813226.8A CN114995472A (zh) | 2022-07-11 | 2022-07-11 | 一种基于目标识别无人机精准降落方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114995472A true CN114995472A (zh) | 2022-09-02 |
Family
ID=83019442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210813226.8A Pending CN114995472A (zh) | 2022-07-11 | 2022-07-11 | 一种基于目标识别无人机精准降落方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114995472A (zh) |
-
2022
- 2022-07-11 CN CN202210813226.8A patent/CN114995472A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11604479B2 (en) | Methods and system for vision-based landing | |
| AU2022235564B2 (en) | Geo-fiducials for UAV navigation | |
| CN107240063B (zh) | 一种面向移动平台的旋翼无人机自主起降方法 | |
| CN106774386B (zh) | 基于多尺度标识物的无人机视觉导航降落*** | |
| CN110077595B (zh) | 复杂动态颠簸条件下无人自主飞行器自动降落及回收*** | |
| US11725940B2 (en) | Unmanned aerial vehicle control point selection system | |
| Roelofsen et al. | Reciprocal collision avoidance for quadrotors using on-board visual detection | |
| CN109298723A (zh) | 一种车载无人机精准降落方法和*** | |
| Olivares-Mendez et al. | Vision based fuzzy control autonomous landing with UAVs: From V-REP to real experiments | |
| Huh et al. | A vision-based landing system for small unmanned aerial vehicles using an airbag | |
| CN104808674A (zh) | 多旋翼飞行器的控制***、终端及机载飞控*** | |
| CN107144281B (zh) | 基于合作目标和单目视觉的无人机室内定位***及定位方法 | |
| CN104808685A (zh) | 用于无人机自主降落的视觉辅助装置及视觉辅助方法 | |
| Li et al. | UAV autonomous landing technology based on AprilTags vision positioning algorithm | |
| EP3868652B1 (en) | Information processing system, information processing method, and program | |
| CN113759943A (zh) | 无人机降落平台及识别方法、降落方法和飞行作业*** | |
| CN113156998A (zh) | 一种无人机飞控***及控制方法 | |
| CN114581516A (zh) | 基于单目视觉的多无人机智能识别及相对定位方法 | |
| JP2020149640A (ja) | 飛行システム及び着陸制御方法 | |
| Sampedro et al. | A fully-autonomous aerial robotic solution for the 2016 international micro air vehicle competition | |
| CN112119428A (zh) | 获取降落位置的方法、设备、无人机、***及存储介质 | |
| Wubben et al. | A vision-based system for autonomous vertical landing of unmanned aerial vehicles | |
| Lee et al. | Safe landing of drone using AI-based obstacle avoidance | |
| CN114995472A (zh) | 一种基于目标识别无人机精准降落方法 | |
| CN115755575A (zh) | 一种基于ros的双云台无人机自主降落方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |