CN116661470A - 一种基于双目视觉导引着陆的无人机位姿估计方法 - Google Patents

Abstract

本发明属于航空导航制导技术领域，特别涉及一种基于双目视觉导引着陆的无人机位姿估计方法，包括如下步骤：第一步，计算待飞距，无人机跑道采用平放着陆地标，跑道尽头采用竖放着陆地标，QR码着陆地标作为跑道地标；第二步，计算相对高度，第三步，计算升降速度，第四步，计算侧偏距，第五步，姿态估计计算，通过QR码地标，简化地标结构，提高视觉处理速度，特征区别于跑道背景，增强检测的鲁棒性，实现对无人机着陆点的快速识别定位。无人机着陆下滑过程中，通过地标水平放置和竖直放置两种摆放方式，基于机器视觉的无人机自主着陆导航方法研究，进行着陆参数的估计，有效预防无人机着陆过程中的危险，实现无人机的安全着陆。

Description

一种基于双目视觉导引着陆的无人机位姿估计方法

技术领域

本发明属于航空导航制导技术领域，特别涉及一种基于双目视觉导引着陆的无人机位姿估计方法。

背景技术

近年来，无人机已经成为热点研究对象。GPS作为全球定位***，导航精度高，无时间累积误差，广泛应用于无人机***，但其易受电磁干扰，存在因干扰或卫星信号丢失而丧失定位能力的风险，且无人机在着陆阶段，卫星信号弱，极易受到各种干扰，所以在低速和低高度情况下，不能获得精确的高度、速度等自身运动信息，造成无人机的起降阶段事故发生率高于其他飞行阶段，因此开展GPS缺失环境下的自主安全着陆对无人机***具有重要意义。

随着机器视觉技术的快速发展，视觉导航技术已经陈成为热点研究对象，比较有代表性的视觉导航为双目视觉导航。与传统的导航方式相比，双目导航传感器造价低、体积小、不易被发现、抗干扰能力强，且捕捉信息丰富，使其广泛应用于军事方面。进入21世纪以来，国内外在无人机视觉着陆开展了很多理论探索和实物研究，但固定翼无人机自主着陆难度大、事故率高，所以着陆阶段的导航技术一直以来都是无人机领域的重点研究内容。

发明内容

为了解决现有技术中存在GPS缺失环境下的无人机自主安全着陆的问题，本发明提出一种基于双目视觉导引着陆的无人机位姿估计方法。

为了实现上述技术效果，本发明通过下述技术方案实现：

一种基于双目视觉导引着陆的无人机位姿估计方法，包括如下步骤：

第一步，计算待飞距，下滑过程无人机到着陆点的距离为待飞距，采用两种地标摆放方式来辅助无人机进行着陆，无人机跑道采用平放着陆地标，跑道尽头采用竖放着陆地标，QR码着陆地标作为跑道地标；

进一步地，所述步骤一中的平放着陆地标：当着陆地标平放在跑道上，视野中地标和相机的关系包括两种情况，一种为着陆地标在无人机同侧，另一种着陆地标处于无人机异侧；竖放着陆地标的待飞距计算同平放着陆地标。

再进一步地，当着陆地标在无人机同侧，以着陆地标在无人机左侧为例计算待飞距：

式中，D为着陆地标A、B的间距，M为着陆地标A、M的间距，D_A为无人机距着陆地标A的距离，D_B为无人机距着陆地标B的距离，β为着陆地标A与无人机的视线夹角；待飞距为MO。

再进一步地，当着陆地标在无人机异侧，以无人机在相邻两个着陆地标之间为例计算待飞距：

式中，D为着陆地标A、C的间距，M为着陆地标A、M的间距，D_A为无人机距着陆地标A的距离，D_c为无人机距着陆地标C的距离，γ为着陆地标A与无人机的视线夹角；待飞距为MO。

第二步，计算相对高度，下滑过程无人机到着陆点水平面的垂直距离为相对高度；

进一步地，竖放着陆地标：

式中，α为下滑俯仰角，MO为待飞距，PO为相对高度。

进一步地，平放着陆地标：当着陆地标在无人机同侧，以着陆地标在无人机左侧为例计算相对高度；

式中，D为着陆地标A、B的间距，D_A为无人机距着陆地标A的距离，D_B为无人机距着陆地标B的距离，γ为着陆地标A、B与无人机的视线夹角，PO为相对高度。

进一步地，平放着陆地标：当着陆地标在无人机异侧，以无人机在相邻两个着陆地标之间为例计算相对高度；

式中，D为着陆地标A、C的间距，D_A为无人机距着陆地标A的距离，D_c为无人机距着陆地标C的距离，γ为着陆地标A、C与无人机的视线夹角；PO为相对高度。

第三步，计算升降速度，下滑过程中无人机单位时间内高度的变化量为升降速度；

进一步地，所述第三步具体升降速度计算方法为：

d_diff＝d_pre-d_cur

式中，d_cur为当前帧相机距地标的距离，d_pre为前一帧相机距地标的距离，v_curr为当前帧的速度，i为当前帧数，为俯仰角，v_l为升降速度。

第四步，计算侧偏距，侧偏距是飞机的实际航线和计划航线之间的距离，即图像中心偏离左右跑道的距离即为左右侧偏距离；

进一步地，第四步具体计算过程为：

式中，D为跑道间的实际距离，D1为像素距离，L1为图像中心点到直线L的像素距离，R1为图像中心点到直线R的像素距离，LL为左侧偏距，RR为右侧偏距。

第五步，姿态估计计算，通过无人机相对于着陆标志的三维信息，实现无人机的姿态估计，需要结合双目视觉的坐标关系，将世界坐标系的目标点转换到相机坐标系。

进一步地，所述第五步具体计算过程为：

式中，R为世界坐标系到相机坐标系的旋转矩阵，(θ,φ,ψ)为无人机的俯仰角、滚转角、偏航角。

本申请的优点在于：

1、本发明以无人机自主着陆为应用背景，开展了一种基于机器视觉的无人机待飞距/相对高速/升降速度/侧偏距/姿态估计算法研究。通过QR码地标，简化地标结构，提高视觉处理速度，特征区别于跑道背景，增强检测的鲁棒性，实现对无人机着陆点的快速识别定位。无人机着陆下滑过程中，通过地标水平放置和竖直放置两种摆放方式，基于机器视觉的无人机自主着陆导航方法研究，进行着陆参数的估计，有效预防无人机着陆过程中的危险，实现无人机的安全着陆。

2、在GPS信号缺失环境下，利用双目视觉着陆导航技术，能够有效提高无人机***的鲁棒性；

3、开展基于机器视觉的无人机待飞距/相对高度/升降速度/侧偏距/姿态估计算法研究，解算无人机着陆信息，为无人机自主安全着陆提供保障；

4、使用两种QR码的着陆地标设计方法辅助无人机着陆，QR码不仅结构简单，信息丰富，而且颜色易于识别，方便检测。

附图说明

图1是本发明的QR码着陆地标。

图2是本发明的着陆地标平放下滑过程三角形示意图1。

图3是本发明的着陆地标平放下滑过程三角形示意图2。

图4是本发明的着陆地标竖放下滑过程三角形示意图。

图5是跑道和QR码跑道地标二值图。

图6是本发明的升降速度示意图。

图7是本发明的速度解算示意图。

具体实施方式

为了更清楚地说明本发明所提供的技术方案，下面将结合附图和实施例对本发明作进一步描述。应当指明的是，所提供的实施例仅仅是本发明的一部分实施例，而不是全部实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种基于双目视觉导引着陆的无人机位姿估计方法，包括如下步骤：

第一步，计算待飞距，下滑过程无人机到着陆点的距离为待飞距，采用两种地标摆放方式来辅助无人机进行着陆，无人机跑道采用平放着陆地标，跑道尽头采用竖放着陆地标，QR码着陆地标作为跑道地标；

进一步地，所述步骤一中的平放着陆地标：当着陆地标平放在跑道上，视野中地标和相机的关系包括两种情况，一种为着陆地标在无人机同侧，另一种着陆地标处于无人机异侧；竖放着陆地标的待飞距计算同平放着陆地标。

再进一步地，当着陆地标在无人机同侧，以着陆地标在无人机左侧为例计算待飞距：

式中，D为着陆地标A、B的间距，M为着陆地标A、M的间距，D_A为无人机距着陆地标A的距离，D_B为无人机距着陆地标B的距离，β为着陆地标A与无人机的视线夹角；待飞距为MO。

再进一步地，当着陆地标在无人机异侧，以无人机在相邻两个着陆地标之间为例计算待飞距：

式中，D为着陆地标A、C的间距，M为着陆地标A、M的间距，D_A为无人机距着陆地标A的距离，D_c为无人机距着陆地标C的距离，γ为着陆地标A与无人机的视线夹角；待飞距为MO。

第二步，计算相对高度，下滑过程无人机到着陆点水平面的垂直距离为相对高度；

进一步地，竖放着陆地标：

式中，α为下滑俯仰角，MO为待飞距，PO为相对高度。

进一步地，平放着陆地标：当着陆地标在无人机同侧，以着陆地标在无人机左侧为例计算相对高度；

式中，D为着陆地标A、B的间距，D_A为无人机距着陆地标A的距离，D_B为无人机距着陆地标B的距离，γ为着陆地标A、B与无人机的视线夹角，PO为相对高度。

进一步地，平放着陆地标：当着陆地标在无人机异侧，以无人机在相邻两个着陆地标之间为例计算相对高度；

式中，D为着陆地标A、C的间距，D_A为无人机距着陆地标A的距离，D_c为无人机距着陆地标C的距离，γ为着陆地标A、C与无人机的视线夹角；PO为相对高度。

第三步，计算升降速度，下滑过程中无人机单位时间内高度的变化量为升降速度；

进一步地，所述第三步具体升降速度计算方法为：

d_diff＝d_pre-d_cur

式中，d_cur为当前帧相机距地标的距离，d_pre为前一帧相机距地标的距离，v_curr为当前帧的速度，i为当前帧数，为俯仰角，v_l为升降速度。

第四步，计算侧偏距，侧偏距是飞机的实际航线和计划航线之间的距离，即图像中心偏离左右跑道的距离即为左右侧偏距离；

进一步地，第四步具体计算过程为：

式中，D为跑道间的实际距离，D1为像素距离，L1为图像中心点到直线L的像素距离，R1为图像中心点到直线R的像素距离，LL为左侧偏距，RR为右侧偏距。

第五步，姿态估计计算，通过无人机相对于着陆标志的三维信息，实现无人机的姿态估计，需要结合双目视觉的坐标关系，将世界坐标系的目标点转换到相机坐标系。

进一步地，所述第五步具体计算过程为：

式中，R为世界坐标系到相机坐标系的旋转矩阵，(θ,φ,ψ)为无人机的俯仰角、滚转角、偏航角。

如图2所示，平放着陆地标中，假设着陆地标M、A、B所在直线为跑道中心线，无人机飞至相邻两个着陆地标中间靠近B侧后，已知相邻着陆地标距离MA、AB，无人机距这两个着陆地标的距离分别为D_A和D_B，根据三角形余弦定理，计算侧偏距MO与相对高度PO。

如图3所示，平放着陆地标中，假设着陆地标M、A、C所在直线为跑道中心线，无人机飞至相邻两个着陆地标之间靠近C侧后，已知着陆地标M、A距离为MA，无人机距M、A的距离分别为D_A和D_C，根据三角形余弦定理，计算侧偏距MO与相对高度PO。

如图4所示，竖放着陆地标中，根据无人机下滑俯仰角α和侧偏距MO，由三角形正切公式计算相对高度PO。

如图5所示，假设跑道间的实际距离为D，像素距离为D1，结合图像中心点到像素平面跑道线L和跑道线R的距离L1和R1，利用根据小孔成像原理，计算左侧偏距LL和右侧偏距RR。

如图6、图7所示，升降速度估计为两帧间的下滑距离与图像时间的计算。为了消除由于距离和时间导致的奇异点，选择多帧平均的方式，求解下滑过程的平均速度，减小速度间的误差，具体平滑方式为前五帧速度的平滑滤波。

以上内容是结合具体的优选实施方式对本发明作的进一步详细说明，不能认定本发明的具体实施方式只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的技术方案下得出的其他实施方式，均应包含在本发明的保护范围内。

Claims (10)

1.一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：包括如下步骤：

第一步，计算待飞距，下滑过程无人机到着陆点的距离为待飞距，采用两种地标摆放方式来辅助无人机进行着陆，无人机跑道采用平放着陆地标，跑道尽头采用竖放着陆地标，QR码着陆地标作为跑道地标；

第二步，计算相对高度，下滑过程无人机到着陆点水平面的垂直距离为相对高度；

第三步，计算升降速度，下滑过程中无人机单位时间内高度的变化量为升降速度；

第四步，计算侧偏距，侧偏距是飞机的实际航线和计划航线之间的距离，即图像中心偏离左右跑道的距离即为左右侧偏距离；

第五步，姿态估计计算，通过无人机相对于着陆标志的三维信息，实现无人机的姿态估计，需要结合双目视觉的坐标关系，将世界坐标系的目标点转换到相机坐标系。

2.根据权利要求1所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

所述步骤一中的平放着陆地标：当着陆地标平放在跑道上，视野中地标和相机的关系包括两种情况，一种为着陆地标在无人机同侧，另一种着陆地标处于无人机异侧；竖放着陆地标的待飞距计算同平放着陆地标。

3.根据权利要求2所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

当着陆地标在无人机同侧，以着陆地标在无人机左侧为例计算待飞距：

式中，D为着陆地标A、B的间距，M为着陆地标A、M的间距，D_A为无人机距着陆地标A的距离，D_B为无人机距着陆地标B的距离，β为着陆地标A与无人机的视线夹角；待飞距为MO。

4.根据权利要求2所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

当着陆地标在无人机异侧，以无人机在相邻两个着陆地标之间为例计算待飞距：

式中，D为着陆地标A、C的间距，M为着陆地标A、M的间距，D_A为无人机距着陆地标A的距离，D_c为无人机距着陆地标C的距离，γ为着陆地标A与无人机的视线夹角；待飞距为MO。

5.根据权利要求2所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

所述第二步的计算方法具体为，

竖放着陆地标：

式中，α为下滑俯仰角，MO为待飞距，PO为相对高度。

6.根据权利要求5所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

平放着陆地标：当着陆地标在无人机同侧，以着陆地标在无人机左侧为例计算相对高度；

式中，D为着陆地标A、B的间距，D_A为无人机距着陆地标A的距离，D_B为无人机距着陆地标B的距离，γ为着陆地标A、B与无人机的视线夹角，PO为相对高度。

7.根据权利要求5所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

平放着陆地标：当着陆地标在无人机异侧，以无人机在相邻两个着陆地标之间为例计算相对高度；

式中，D为着陆地标A、C的间距，D_A为无人机距着陆地标A的距离，D_c为无人机距着陆地标C的距离，γ为着陆地标A、C与无人机的视线夹角；PO为相对高度。

8.根据权利要求5所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

所述第三步具体升降速度计算方法为：

d_diff＝d_pre-d_cur

式中，d_cur为当前帧相机距地标的距离，d_pre为前一帧相机距地标的距离，v_curr为当前帧的速度，i为当前帧数，为俯仰角，v_l为升降速度。

9.根据权利要求8所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：

第四步具体计算过程为：

式中，D为跑道间的实际距离，D1为像素距离，L1为图像中心点到直线L的像素距离，R1为图像中心点到直线R的像素距离，LL为左侧偏距，RR为右侧偏距。

10.根据权利要求9所述的一种基于双目视觉导引着陆的无人机位姿估计方法，其特征在于：进一步地，所述第五步具体计算过程为：

式中，R为世界坐标系到相机坐标系的旋转矩阵，(θ,φ,ψ)为无人机的俯仰角、滚转角、偏航角。