CN113310493A - 一种基于事件触发机制的无人机实时导航方法 - Google Patents

一种基于事件触发机制的无人机实时导航方法 Download PDF

Info

Publication number
CN113310493A
CN113310493A CN202110595226.0A CN202110595226A CN113310493A CN 113310493 A CN113310493 A CN 113310493A CN 202110595226 A CN202110595226 A CN 202110595226A CN 113310493 A CN113310493 A CN 113310493A
Authority
CN
China
Prior art keywords
depth
execution machine
region
obstacle
machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110595226.0A
Other languages
English (en)
Other versions
CN113310493B (zh
Inventor
鲁仁全
翁剑鸿
陶杰
雷群楼
彭慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110595226.0A priority Critical patent/CN113310493B/zh
Publication of CN113310493A publication Critical patent/CN113310493A/zh
Application granted granted Critical
Publication of CN113310493B publication Critical patent/CN113310493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种基于事件触发机制的无人机实时导航方法,包括下述步骤:采样图像:设置指挥机的摄像机的采样频率,指挥机根据采样频率实时采集图像,指挥机对采集的图像进行边缘化处理;执行机定位:通过执行机和指挥机配合,识别执行机的保护环,并获得执行机的三维坐标;深度图计算:将执行机的三维坐标位置与目的地的三维坐标位置连线,选取靠近执行机的区域作为深度计算区域,并划分为多个子区域,计算各子区域的深度;路径规划、事件触发;到达目的后,结束本次导航。本申请旨在提供一种基于事件触发机制的无人机实时导航方法,处理速度快,适应性强,对环境要求低的无人机实时导航的方法。

Description

一种基于事件触发机制的无人机实时导航方法
技术领域
本发明涉及无人机飞行导航领域,尤其涉及一种基于事件触发机制的无人机实时导航方法。
背景技术
无人机具有使用灵活、适应性强和性价比高等优点,在实际需求与技术发展的双重推动下,其应用范围不断拓展。无人机导航是指无人机利用传感器等信息获取自身位置、目的位置以及周围环境信息,通过各种决策算法实现路径规划、避障等步骤的过程,是实现无人机自主驾驶的一个重要步骤,实现快速实时的导航能力对于无人机的自主驾驶有着重要意义。
现有的无人机导航技术对于位置的定位主要依赖于GPS等位置传感器或SLAM三维图来获取,对于避障决策主要是通过SLAM建立三维稠密图的方式,缺点主要有:处理时间长,对信号要求高,对设备要求高等,抗扰能力弱等。对于已有无人机位置信息的获取方法来说:利用GPS等位置传感器获得无人机位置的方法,对信号环境要求较高,在无GPS的环境下或GPS受干扰严重的环境下极容易出错;利用SLAM三维图获取无人机位置的方法需构造地图,实时构建地图需处理大量的特征点,处理时间长且对处理器及存储设备要求较高,离线构建地图需要提前知道环境情况,应用广度低;对于已有避障决策来说:利用SLAM建立三维稠密图的方式,同样会面临在线处理实时性低,对设备要求高,离线处理需要已知环境信息,应用广度低的情况。
发明内容
本发明的目的在于提出一种基于事件触发机制的无人机实时导航方法,处理速度快,适应性强,对环境要求低的无人机实时导航的方法。
为达此目的,本发明采用以下技术方案:一种基于事件触发机制的无人机实时导航方法,包括下述步骤:
采样图像:设置指挥机的摄像机的采样频率,指挥机根据采样频率实时采集图像,指挥机对采集的图像进行边缘化处理;
执行机定位:通过执行机和指挥机配合,识别执行机的保护环,并获得执行机的三维坐标;
深度图计算:将执行机的三维坐标位置与目的地的三维坐标位置连线,选取靠近执行机的区域作为深度计算区域,并划分为多个子区域,计算各子区域的深度;
路径规划:通过子区域的深度和执行机的深度构成障碍图,更新障碍图直至出现可行路径,执行机沿可行路径飞行至目的地;
事件触发:执行机在飞行至目的地过程中,若深度计算区域内低于执行机的像素数与总像素数的比值小于递减阈值,则跳过下一帧图像的识别和深度图计算;否则,返回执行机定位步骤;
到达目的:执行机抵达目的地,结束本次导航。
优选的,在执行机定位的步骤中,包括:
执行机通过传感器将自身的翻滚角α,俯仰角β发送至指挥机,指挥机计算在俯视图中执行机保护环的两个轴的长度比值p,计算公式为:
p=b/a=sinβ/sinα;
执行机保护环的椭圆曲率的计算公式为:
Figure BDA0003090676640000021
Figure BDA0003090676640000031
其中t为椭圆的离心角,a为椭圆短轴长度,b为椭圆长轴长度;
在采集的图像中提取符合曲率范围ρ±γ的边缘,根据椭圆曲率、边缘的凸性和边缘的连接关系构建有向邻接矩阵M,对有向邻接矩阵M进行双向遍历,得到所有边缘组合形成候选椭圆组,对每个候选椭圆组进行快速拟合与验证,再通过聚类方法去除重复椭圆;
若其中至少三个椭圆圆心符合给定阈值ε内满足矩形关系的椭圆组合,则该椭圆组合为无人机保护环的位置;
根据至少三个椭圆圆心计算出执行机俯视图上的像素坐标(u,v)。
优选的,在执行机定位的步骤中,若没有至少三个椭圆圆心满足矩形关系的椭圆组合,启用重定位,已离线训练的Poly YOLO进行匹配重定位,将候选框中心作为执行机俯视图上的像素坐标(u,v);若重定位失败,则视为跟丢,结束本次导航。
优选的,在执行机定位的步骤中,还包括:
以指挥机的摄像头光心为原点坐标,朝下方向为正向,代入下列公式:
L_head=2*T*sinθ;
L=L_head*sinβ;
q=l/L=f/h;
x=(u-W/2)*q;
y=(v-H/2)*q;
其中:q为像素坐标和实际坐标的转换比例,l为机头方向两保护环圆心像素距离,L为实际俯视臂长,L_head为机头方向两保护环圆心距离,f为摄像头焦距,h为执行机相对于指挥机的高度,T为执行机臂长,θ为机头方向两臂夹角的一半,β为翻滚角,W为图像的宽度,H为图像的高度,执行机实际位置的坐标为(x,y,h)。
优选的,在深度图计算的步骤中,包括:
将执行机的三维坐标位置与目的地的三维坐标位置连线,以执行机的臂长为单位,对采集的图像中,执行机与目的地的连线方向,以靠近执行机的3T*3T范围的像素作为深度计算区域S;
对深度计算区域S进行边缘化,获得带有多个边缘曲线的图像,将边缘曲线相近的端点连接,将未封闭的边缘曲线两端扩展至与其他边缘曲线或图像的边界连接,将图像划分为多个单连通的子区域Si
将区域S划分为m*m的网格区域,每个网格区域随机取一个深度点,计算深度hi
优选的,在计算深度hi的步骤中,包括:
若相邻网格深度差距大于阈值near_h,则将这两个网格每个网格再划分为n*n的小网格,m>n,多次划分,直至相邻网格深度差小于near_h或划分出的最小网格面积小于设置的最小网格面积cell_smin;
对各个单连通的子区域Si内的提取出的所有深度点hi,前十个最高深度点的均值hmax和前十个最低深度点的均值hmin的均值差距小于阈值Shmin,即该区域Si足够平坦,将子区域Si的所有网格深度点hi的均值作为子区域Si的高度ha
否则,利用子区域Si的深度点hi的像素坐标及深度信息,作线性差值得到子区域Si的深度估计值hb
结合高度ha和深度估计值hb得到区域S的深度图S_depth,即为区域S的高度图。
优选的,在事件触发的步骤中,包括:
以执行机的高度h与裕量hε之和作为阈值hd,对区域S中所有深度点hi进行统计,得到深度小于hd的点数占所有深度点hi的比例hp,设随时间递减的阈值为hscore,以hp<hscore为触发事件A,对指挥机的摄像头进行采样事件触发;
当hp<hscore时,摄像头不进行采样;
当hp>hscore时,摄像头进行采样,重新初始化阈值hscore
优选的,在事件触发的步骤中,包括:
根据深度图S_depth,选取阈值hd作为障碍判断阈值ob_min,所有深度大于等于ob_min的点设为非障碍点,其余点即为障碍点,用hd减去障碍点的深度作为障碍程度ob_socre,构造二维障碍图S_obstacle;
利用障碍图S_obstacle及D*算法进行动态路径规划,路径规划要求以该点为中心存在连续1.5倍机身的正方形区域都为非障碍区域时,该点才算可取路径点,当找不到路径时,获取障碍图中的最小障碍程度ob_smin,更新障碍判断阈值ob_min’=ob_min-ob_smin,利用阈值ob_min’更新障碍图,重复上述过程直至找到飞行路径。
优选的,在事件触发的步骤中,包括:
指挥机将执行机的三维坐标(x,y,h)、路径水平坐标以及整条路径中的最低深度h_road传递给执行机,执行机根据收到的信息先改变自身高度至h_road与裕量h_roadε之和,执行机保持这个高度沿规划路径飞行,指挥机沿水平面上到目的地的直线飞行。
本发明具有以下优点:
一,本发明不需要GPS等设备,能在无GPS环境下运行,应用广泛性更强;
二,本发明能利用无人机的保护环的形状特性及其倾角,快速抗刚性形变的无人机像素位置,且不受中弱磁场干扰;
三,本发明能利用图像焦距和某一实际水平长度快速获得像素-实际距离,像素-实际高度的关系,且抗磁场干扰能力较强;
四,本发明能利用图像边缘信息,快速构造图像深度图,减少像素深度计算量;
五、本发明引入障碍权重的概念,实现在二维障碍图上实现对半三维障碍的跨障碍处理;
综上所述,本发明在实现对无GPS、中弱磁场干扰等环境下的无人机路径规划、避障中具有速度快,适应性强,算法兼容性高的优点。
附图说明
附图对本发明做进一步说明,但附图中的内容不构成对本发明的任何限制。
图1是本发明的流程示意图。
图2是本发明的无人机几何中心和保护环圆心的关系示意图;图2中图a为翻滚角、俯仰角均为0°;图2中图b为翻滚角、俯仰角不为0°。
图3是本发明的无人机俯视图两轴方向上保护环的长度关系示意图。
图4是本发明的无人机水平面坐标示意图。
图5是本发明的无人机机头两保护环圆心实际距离与两保护环圆心实际俯视距离的关系示意图。
图6是本发明的无人机实际臂长与无人机机头两保护环圆心实际距离的关系示意图。
图7是本发明的执行机相对指挥机高度示意图。
图8是本发明的执行机相对于指挥机的坐标关系图;图8中图a为水平相对位置关系图,图8中图b为垂直相对位置关系图。
图9是本发明的无人机指定位置的深度计算示意图。
图10是本发明的单连通子区域Si划分示意图。
图11是本发明的单连通区域Si深度计算示意图。
图12是本发明的二维障碍构造图;图12中图a为深度图,图12中图b为二维障碍图。
图13是本发明的执行机飞行路径示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
参阅图1至图12所示,一种基于事件触发机制的无人机实时导航方法,包括下述步骤:
采样图像:设置指挥机的摄像机的采样频率,指挥机根据采样频率实时采集图像,指挥机对采集的图像进行边缘化处理;
执行机定位:通过执行机和指挥机配合,识别执行机的保护环,并获得执行机的三维坐标;
深度图计算:将执行机的三维坐标位置与目的地的三维坐标位置连线,选取靠近执行机的区域作为深度计算区域,并划分为多个子区域,计算各子区域的深度;
路径规划:通过子区域的深度和执行机的深度构成障碍图,更新障碍图直至出现可行路径,执行机沿可行路径飞行至目的地;
事件触发:执行机在飞行至目的地过程中,若深度计算区域内低于执行机的像素数与总像素数的比值小于递减阈值,则跳过下一帧图像的识别和深度图计算;否则,返回执行机定位步骤;
到达目的:执行机抵达目的地,结束本次导航。
本发明具有以下优点:
一,本发明不需要GPS等设备,能在无GPS环境下运行,应用广泛性更强。
二,本发明能利用无人机的保护环的形状特性及其倾角,快速抗刚性形变的无人机像素位置,且不受中弱磁场干扰。
三,本发明能利用图像焦距和某一实际水平长度快速获得像素-实际距离,像素-实际高度的关系,且抗磁场干扰能力较强。
四,本发明能利用图像边缘信息,快速构造图像深度图,减少像素深度计算量。
五、本发明引入障碍权重的概念,实现在二维障碍图上实现对半三维障碍的跨障碍处理。
综上所述,本发明在实现对无GPS、中弱磁场干扰等环境下的无人机路径规划、避障中具有速度快,适应性强,算法兼容性高的优点。
优选的,在执行机定位的步骤中,包括:
执行机通过传感器将自身的翻滚角α,俯仰角β发送至指挥机,指挥机计算在俯视图中执行机保护环的两个轴的长度比值p,计算公式为:
p=b/a=sinβ/sinα;
执行机保护环的椭圆曲率的计算公式为:
Figure BDA0003090676640000091
Figure BDA0003090676640000092
其中t为椭圆的离心角,a为椭圆短轴长度,b为椭圆长轴长度;
在采集的图像中提取符合曲率范围ρ±γ的边缘,根据椭圆曲率、边缘的凸性和边缘的连接关系构建有向邻接矩阵M,对有向邻接矩阵M进行双向遍历,得到所有边缘组合形成候选椭圆组,对每个候选椭圆组进行快速拟合与验证,再通过聚类方法去除重复椭圆;
若其中至少三个椭圆圆心符合给定阈值ε内满足矩形关系的椭圆组合,则该椭圆组合为无人机保护环的位置;
根据至少三个椭圆圆心计算出执行机俯视图上的像素坐标(u,v)。
阈值γ=1/ab;曲率范围最小曲率ρ-γ,最大曲率ρ+γ;阈值ε为max(a,b)/min(a,b)个像素;至少三个椭圆圆心符合给定阈值ε内满足矩形关系的椭圆组合,即至少三个椭圆圆心构成的矩形,像素坐标(u,v)为矩形的中心,利用三个椭圆圆心坐标得到矩形中心坐标。
指挥机利用α,β计算出执行机的保护环在俯视图中两个轴的长度比值p,并根据比值p计算出理论上执行机的保护环的椭圆曲率ρ,将该曲率加上一个阈值±γ作为椭圆检测的曲率范围,将边缘图像中符合该曲率范围ρ±γ的边缘提取出来,再根据椭圆曲率、边缘的凸性和边缘的连接连接关系构造有向邻接矩阵M,然后双向遍历M得到所有弧段组合形成候选椭圆组,对每个组合进行快速拟合与验证,最后使用聚类方法去除重复椭圆。接下来,利用无人机四个保护环的圆心位置呈矩形分布的特点,找到至少三个椭圆圆心是否在给定阈值ε内满足矩形关系的椭圆组合,该椭圆组合即为无人机的保护环的位置。根据找到的几个椭圆的圆心,计算出执行机俯视图上的像素坐标(u,v)。
具体地,在执行机定位的步骤中,若没有至少三个椭圆圆心满足矩形关系的椭圆组合,启用重定位,已离线训练的Poly YOLO进行匹配重定位,将候选框中心作为执行机俯视图上的像素坐标(u,v);若重定位失败,则视为跟丢,结束本次导航。
Poly YOLO是建立在YOLOv3的原始思想的基础上,并消除了它的两个弱点:大量重写的标签和无效的锚点分配。Poly YOLO通过使用阶梯式上采样,并通过超列技术聚合SE-Darknet-53主干中的特征,从而减少了重写标签的数量,并产生了高分辨率的单标度输出。YOLOv3是一种基于Darknet-53的one-stage目标检测算法,能将目标分类和定位在同一个网络中一步实现。
优选的,在执行机定位的步骤中,还包括:
以指挥机的摄像头光心为原点坐标,朝下方向为正向,代入下列公式:
L_head=2*T*sinθ;
L=L_head*sinβ;
q=l/L=f/h;
x=(u-W/2)*q;
y=(v-H/2)*q;
其中:q为像素坐标和实际坐标的转换比例,l为机头方向两保护环圆心像素距离,L为实际俯视臂长,L_head为机头方向两保护环圆心距离,f为摄像头焦距,h为执行机相对于指挥机的高度,T为执行机臂长,θ为机头方向两臂夹角的一半,β为翻滚角,W为图像的宽度,H为图像的高度,执行机实际位置的坐标为(x,y,h)。
利用执行机臂长T与α,β以及几个椭圆圆心的像素距离,得到像素坐标和实际坐标的转换比例q以及执行机相对于指挥机的高度h,以指挥机为0高度,向下为高度正方向,即深度图等价于高度图,根据像素比例以及执行机的像素坐标(u,v)可以得到执行机相对于指挥机的水平面坐标(x,y),至此,执行机相对于指挥机的三维坐标已全部得到为(x,y,h)。
因为摄像头是正面对准地面的,所以摄像头中心的水平坐标就是指挥机的水平位置。通过(u,v)到图像中心的距离可以知道执行机到指挥机的像素距离,这个距离乘以转换比例q就是执行机相对于指挥机的水平坐标(x,y)。
本申请中,在深度图计算的步骤中,包括:
将执行机的三维坐标位置与目的地的三维坐标位置连线,以执行机的臂长为单位,对采集的图像中,执行机与目的地的连线方向,以靠近执行机的3T*3T范围的像素作为深度计算区域S;
对深度计算区域S进行边缘化,获得带有多个边缘曲线的图像,将边缘曲线相近的端点连接,将未封闭的边缘曲线两端扩展至与其他边缘曲线或图像的边界连接,将图像划分为多个单连通的子区域Si
将区域S划分为m*m的网格区域,每个网格区域随机取一个深度点,计算深度hi
在图像上将执行机的三维坐标位置与目的地的三维坐标位置连线,以执行机臂长T为单位,对图像中执行机的理想运动方向,即连线方向前3T*3T范围的像素作为待计算深度区域S。若图像中没目的地,则利用目的地与指挥机的相对位置假象扩展图像。
对区域S进行边缘化,并通过多个边缘曲线将图像划分为多个单连通子区域Si。
优选的,在计算深度hi的步骤中,包括:
若相邻网格深度差距大于阈值near_h,则将这两个网格每个网格再划分为n*n的小网格,m>n,多次划分,直至相邻网格深度差小于near_h或划分出的最小网格面积小于设置的最小网格面积cell_smin;
对各个单连通的子区域Si内的提取出的所有深度点hi,前十个最高深度点的均值hmax和前十个最低深度点的均值hmin的均值差距小于阈值Shmin,即该区域Si足够平坦,将子区域Si的所有网格深度点hi的均值作为子区域Si的高度ha
否则,利用子区域Si的深度点hi的像素坐标及深度信息,作线性差值得到子区域Si的深度估计值hb
结合高度ha和深度估计值hb得到区域S的深度图S_depth,即为区域S的高度图。
如果一个网格同时存在于两个单连通子区间Si,则哪个单连通子区间Si占用的网格面积多,则该网格的点视为属于对应的单连通子区间。根据双目相机即可计算出深度hi。阈值near_h优选为0.2m。得到区域S的深度图S_depth,因为假定的高度正方向和原点均和深度一致,所以也是区域S的高度图。阈值Shmin优选为0.1m。
具体地,在事件触发的步骤中,包括:
以执行机的高度h与裕量hε之和作为阈值hd,对区域S中所有深度点hi进行统计,得到深度小于hd的点数占所有深度点hi的比例hp,设随时间递减的阈值为hscore,以hp<hscore为触发事件A,对指挥机的摄像头进行采样事件触发;
当hp<hscore时,摄像头不进行采样;
当hp>hscore时,摄像头进行采样,重新初始化阈值hscore
得到深度小于hd的点数,即为实际高度比执行机高hε的点数。给定一个随时间递减的阈值hscore,以hp<hscore为触发事件A,对指挥机的摄像头进行采样事件触发。当hp<hscore时,摄像头不进行采样,一段时间后,由于hscore会随时间递减,从而导致事件A不满足,故而摄像头进行采样,此时重新初始化阈值hscore,通过该事件触发机制实现当前方障碍稀疏时,降低摄像头采样频率,减少运算量,提高运行速度。
优选的,在事件触发的步骤中,包括:
根据深度图S_depth,选取阈值hd作为障碍判断阈值ob_min,所有深度大于等于ob_min的点设为非障碍点,其余点即为障碍点,用hd减去障碍点的深度作为障碍程度ob_socre,构造二维障碍图S_obstacle。
根据图12的图b中执行机与目的地的关系,hd产生变化时,图b的二维障碍图也相应产生变化。本实施例的图12的图b中,hd设置为7。
利用障碍图S_obstacle及D*算法进行动态路径规划,路径规划要求以该点为中心存在连续1.5倍机身的正方形区域都为非障碍区域时,该点才算可取路径点,当找不到路径时,获取障碍图中的最小障碍程度ob_smin,更新障碍判断阈值ob_min’=ob_min-ob_smin,利用阈值ob_min’更新障碍图,重复上述过程直至找到飞行路径。
A*算法由Hart提出,结合Dijkstra算法和最佳优先搜索算法的优点,针对传统路径规划算法无法高效地,安全地完成动态环境下的路径规划,D*算法是A*算法的拓展,是一种动态逆向扇形搜索算法,通过将地图进行格栅建模然后寻找最小成本路径,逆向的搜索机制保留了地图成本,避免了回溯的高计算成本,这也是D*算法最大的优点。相比于A*算法,D*算法在某些动态环境下搜索效率更高,与另一些启发式算法相比,D*算法计算量小,实现起来比较简单。
优选的,在事件触发的步骤中,包括:
指挥机将执行机的三维坐标(x,y,h)、路径水平坐标以及整条路径中的最低深度h_road传递给执行机,执行机根据收到的信息先改变自身高度至h_road与裕量h_roadε之和,执行机保持这个高度沿规划路径飞行,指挥机沿水平面上到目的地的直线飞行。
指挥机与执行机配合,执行机通过规划路径飞行,指挥机沿直线飞行,在飞行过程中保持良好通讯,使指挥机与执行机的调度更加及时和准确。
在本说明书的描述中,参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理,而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式,这些方式都将落入本发明的保护范围之内。

Claims (9)

1.一种基于事件触发机制的无人机实时导航方法,其特征在于,包括下述步骤:
采样图像:设置指挥机的摄像机的采样频率,指挥机根据采样频率实时采集图像,指挥机对采集的图像进行边缘化处理;
执行机定位:通过执行机和指挥机配合,识别执行机的保护环,并获得执行机的三维坐标;
深度图计算:将执行机的三维坐标位置与目的地的三维坐标位置连线,选取靠近执行机的区域作为深度计算区域,并划分为多个子区域,计算各子区域的深度;
路径规划:通过子区域的深度和执行机的深度构成障碍图,更新障碍图直至出现可行路径,执行机沿可行路径飞行至目的地;
事件触发:执行机在飞行至目的地过程中,若深度计算区域内低于执行机的像素数与总像素数的比值小于递减阈值,则跳过下一帧图像的识别和深度图计算;否则,返回执行机定位步骤;
到达目的:执行机抵达目的地,结束本次导航。
2.根据权利要求1所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在执行机定位的步骤中,包括:
执行机通过传感器将自身的翻滚角α,俯仰角β发送至指挥机,指挥机计算在俯视图中执行机保护环的两个轴的长度比值p,计算公式为:
p=b/a=sinβ/sinα;
执行机保护环的椭圆曲率的计算公式为:
Figure FDA0003090676630000011
Figure FDA0003090676630000021
其中t为椭圆的离心角,a为椭圆短轴长度,b为椭圆长轴长度;
在采集的图像中提取符合曲率范围ρ±γ的边缘,根据椭圆曲率、边缘的凸性和边缘的连接关系构建有向邻接矩阵M,对有向邻接矩阵M进行双向遍历,得到所有边缘组合形成候选椭圆组,对每个候选椭圆组进行快速拟合与验证,再通过聚类方法去除重复椭圆;
若其中至少三个椭圆圆心符合给定阈值ε内满足矩形关系的椭圆组合,则该椭圆组合为无人机保护环的位置;
根据至少三个椭圆圆心计算出执行机俯视图上的像素坐标(u,v)。
3.根据权利要求2所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在执行机定位的步骤中,若没有至少三个椭圆圆心满足矩形关系的椭圆组合,启用重定位,已离线训练的Poly YOLO进行匹配重定位,将候选框中心作为执行机俯视图上的像素坐标(u,v);若重定位失败,则视为跟丢,结束本次导航。
4.根据权利要求2或3所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在执行机定位的步骤中,还包括:
以指挥机的摄像头光心为原点坐标,朝下方向为正向,代入下列公式:
L_head=2*T*sinθ;
L=L_head*sinβ;
q=l/L=f/h;
x=(u-W/2)*q;
y=(v-H/2)*q;
其中:q为像素坐标和实际坐标的转换比例,l为机头方向两保护环圆心像素距离,L为实际俯视臂长,L_head为机头方向两保护环圆心距离,f为摄像头焦距,h为执行机相对于指挥机的高度,T为执行机臂长,θ为机头方向两臂夹角的一半,β为翻滚角,W为图像的宽度,H为图像的高度,执行机实际位置的坐标为(x,y,h)。
5.根据权利要求1所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在深度图计算的步骤中,包括:
将执行机的三维坐标位置与目的地的三维坐标位置连线,以执行机的臂长为单位,对采集的图像中,执行机与目的地的连线方向,以靠近执行机的3T*3T范围的像素作为深度计算区域S;
对深度计算区域S进行边缘化,获得带有多个边缘曲线的图像,将边缘曲线相近的端点连接,将未封闭的边缘曲线两端扩展至与其他边缘曲线或图像的边界连接,将图像划分为多个单连通的子区域Si
将区域S划分为m*m的网格区域,每个网格区域随机取一个深度点,计算深度hi
6.根据权利要求5所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在计算深度hi的步骤中,包括:
若相邻网格深度差距大于阈值near_h,则将这两个网格每个网格再划分为n*n的小网格,m>n,多次划分,直至相邻网格深度差小于near_h或划分出的最小网格面积小于设置的最小网格面积cell_smin;
对各个单连通的子区域Si内的提取出的所有深度点hi,前十个最高深度点的均值hmax和前十个最低深度点的均值hmin的均值差距小于阈值Shmin,即该区域Si足够平坦,将子区域Si的所有网格深度点hi的均值作为子区域Si的高度ha
否则,利用子区域Si的深度点hi的像素坐标及深度信息,作线性差值得到子区域Si的深度估计值hb
结合高度ha和深度估计值hb得到区域S的深度图S_depth,即为区域S的高度图。
7.根据权利要求1所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在事件触发的步骤中,包括:
以执行机的高度h与裕量hε之和作为阈值hd,对区域S中所有深度点hi进行统计,得到深度小于hd的点数占所有深度点hi的比例hp,设随时间递减的阈值为hscore,以hp<hscore为触发事件A,对指挥机的摄像头进行采样事件触发;
当hp<hscore时,摄像头不进行采样;
当hp>hscore时,摄像头进行采样,重新初始化阈值hscore
8.根据权利要求7所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在事件触发的步骤中,包括:
根据深度图S_depth,选取阈值hd作为障碍判断阈值ob_min,所有深度大于等于ob_min的点设为非障碍点,其余点即为障碍点,用hd减去障碍点的深度作为障碍程度ob_socre,构造二维障碍图S_obstacle;
利用障碍图S_obstacle及D*算法进行动态路径规划,路径规划要求以该点为中心存在连续1.5倍机身的正方形区域都为非障碍区域时,该点才算可取路径点,当找不到路径时,获取障碍图中的最小障碍程度ob_smin,更新障碍判断阈值ob_min’=ob_min-ob_smin,利用阈值ob_min’更新障碍图,重复上述过程直至找到飞行路径。
9.根据权利要求8所述的一种基于事件触发机制的无人机实时导航方法,其特征在于,在事件触发的步骤中,包括:
指挥机将执行机的三维坐标(x,y,h)、路径水平坐标以及整条路径中的最低深度h_road传递给执行机,执行机根据收到的信息先改变自身高度至h_road与裕量h_roadε之和,执行机保持这个高度沿规划路径飞行,指挥机沿水平面上到目的地的直线飞行。
CN202110595226.0A 2021-05-28 2021-05-28 一种基于事件触发机制的无人机实时导航方法 Active CN113310493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110595226.0A CN113310493B (zh) 2021-05-28 2021-05-28 一种基于事件触发机制的无人机实时导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110595226.0A CN113310493B (zh) 2021-05-28 2021-05-28 一种基于事件触发机制的无人机实时导航方法

Publications (2)

Publication Number Publication Date
CN113310493A true CN113310493A (zh) 2021-08-27
CN113310493B CN113310493B (zh) 2022-08-05

Family

ID=77376232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110595226.0A Active CN113310493B (zh) 2021-05-28 2021-05-28 一种基于事件触发机制的无人机实时导航方法

Country Status (1)

Country Link
CN (1) CN113310493B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217618A (zh) * 2021-12-14 2022-03-22 重庆富沛和科技有限公司 一种三维地图中选定范围进行自动巡航的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901892A (zh) * 2014-03-04 2014-07-02 清华大学 无人机的控制方法及***
CN103941750A (zh) * 2014-04-30 2014-07-23 东北大学 基于小型四旋翼无人机的构图装置及方法
CN106802668A (zh) * 2017-02-16 2017-06-06 上海交通大学 基于双目与超声波融合的无人机三维避撞方法及***
CN107656545A (zh) * 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及***
CN109074668A (zh) * 2018-08-02 2018-12-21 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN109358638A (zh) * 2018-09-10 2019-02-19 南京航空航天大学 基于分布式地图的无人机视觉避障方法
CN109708636A (zh) * 2017-10-26 2019-05-03 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
CN110262568A (zh) * 2019-07-19 2019-09-20 深圳市道通智能航空技术有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110673627A (zh) * 2019-09-16 2020-01-10 广东工业大学 一种森林无人机搜寻方法
CN112327939A (zh) * 2020-10-15 2021-02-05 广东工业大学 一种城市街区环境下高层消防多无人机协同路径规划方法
CN112747736A (zh) * 2020-12-22 2021-05-04 西北工业大学 一种基于视觉的室内无人机路径规划方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103901892A (zh) * 2014-03-04 2014-07-02 清华大学 无人机的控制方法及***
CN103941750A (zh) * 2014-04-30 2014-07-23 东北大学 基于小型四旋翼无人机的构图装置及方法
CN106802668A (zh) * 2017-02-16 2017-06-06 上海交通大学 基于双目与超声波融合的无人机三维避撞方法及***
CN107656545A (zh) * 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
CN109708636A (zh) * 2017-10-26 2019-05-03 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及***
CN109074668A (zh) * 2018-08-02 2018-12-21 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN109358638A (zh) * 2018-09-10 2019-02-19 南京航空航天大学 基于分布式地图的无人机视觉避障方法
CN110262568A (zh) * 2019-07-19 2019-09-20 深圳市道通智能航空技术有限公司 一种基于目标跟踪的无人机避障方法、装置及无人机
CN110673627A (zh) * 2019-09-16 2020-01-10 广东工业大学 一种森林无人机搜寻方法
CN112327939A (zh) * 2020-10-15 2021-02-05 广东工业大学 一种城市街区环境下高层消防多无人机协同路径规划方法
CN112747736A (zh) * 2020-12-22 2021-05-04 西北工业大学 一种基于视觉的室内无人机路径规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王家亮等: "基于贝叶斯估计与区域划分遍...四轴飞行器避障路径规划算法", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114217618A (zh) * 2021-12-14 2022-03-22 重庆富沛和科技有限公司 一种三维地图中选定范围进行自动巡航的方法
CN114217618B (zh) * 2021-12-14 2024-04-16 重庆富沛和科技有限公司 一种三维地图中选定范围进行自动巡航的方法

Also Published As

Publication number Publication date
CN113310493B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN109828607B (zh) 一种面向不规则障碍物的无人机路径规划方法及***
CN106054900B (zh) 基于深度摄像头的机器人临时避障方法
CN111486855B (zh) 一种具有物体导航点的室内二维语义栅格地图构建方法
CN110703747B (zh) 一种基于简化广义Voronoi图的机器人自主探索方法
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN110989687B (zh) 一种基于嵌套正方形视觉信息的无人机降落方法
CN109945858A (zh) 用于低速泊车驾驶场景的多传感融合定位方法
CN112346463B (zh) 一种基于速度采样的无人车路径规划方法
CN104808685A (zh) 用于无人机自主降落的视觉辅助装置及视觉辅助方法
CN113345008B (zh) 考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法
CN109584264B (zh) 一种基于深度学习的无人机视觉引导空中加油方法
CN115167433B (zh) 融合全局视觉的机器人自主探索环境信息的方法及***
CN109282808A (zh) 用于桥梁三维巡航检测的无人机与多传感器融合定位方法
CN109238288A (zh) 一种无人机室内自主导航方法
CN113310493B (zh) 一种基于事件触发机制的无人机实时导航方法
CN114612780A (zh) 一种多地图切换slam建图方法
CN116295412A (zh) 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法
CN113741503A (zh) 一种自主定位式无人机及其室内路径自主规划方法
CN113361499A (zh) 基于二维纹理和三维姿态融合的局部对象提取方法、装置
CN116188470B (zh) 一种基于无人机航拍识别的故障定位方法和***
CN116679307A (zh) 基于三维激光雷达的城市轨道交通巡检机器人定位方法
CN116719341A (zh) 适应不规则多边形田块的多角度航线生成方法
CN113554705B (zh) 一种变化场景下的激光雷达鲁棒定位方法
CN109752004A (zh) 室内无人机导航方法、装置及室内无人机
EP4191566A1 (en) Planimetric feature data generation system, planimetric feature database updating system, and planimetric feature data generation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant