CN109857128A - 无人机视觉定点降落方法、***、设备及存储介质 - Google Patents

Abstract

本发明提供一种无人机视觉定点降落方法，包括以下步骤：S1、过无人机的下视相机采集地面图像I₀，在其上选择一个图像点u₀＝(u_x，u_y)作为降落点；S2、根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T；S3、以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行；S4、将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t；S5、根据位置u_t，重新计算降落点在世界坐标系的位置并更新目标点，在无人机飞行过程中重复步骤S2‑S5，直至无人机飞到目标点上空并降落。通过本发明的方法提高了无人机自主降落的精度。

Description

无人机视觉定点降落方法、***、设备及存储介质

技术领域

本发明涉及无人机飞行技术领域，尤其一种无人机视觉定点降落方法。

背景技术

多旋翼无人机定点降落是指无人机飞行在高空时，通过配备下视相机采集地面图像，通过人工在地面图像上选择一个降落目标点，无人机自动飞行到目标点上空并精确降落到设定的降落点。

无人机定点降落可以应用到抢险救援，自动化物流对接，紧急情况下的无人机迫降等。

现有的无人机定点降落方案是通过无人机的姿态和当前对地高度估算出降落点的位置,并以此作为目标点控制无人机飞行到目标点上空并降落。

现有的方法有以下几点局限性：

1、根据无人机姿态和对地高度估计降落点位置，这种估计方法精度较差，误差主要来源的无人机姿态估计的误差和对地高度的误差。

2、在估算出降落点后，不再使用图像信息，相当于在最开始的时候看一次目标点后估计出位置后，后面不再看目标点，而只使用惯导进行位置调整。

发明内容

为解决上述问题，本发明提供一种无人机视觉定点降落方法、***、设备及存储介质，提高单帧图像估计降落点位置的计算精度，并通过在降落过程中，在连续帧图像上跟踪降落点的位置来提高降落的精度。

本发明的无人机视觉定点降落方法，包括以下步骤：S1、过无人机的下视相机采集地面图像I₀，在其上选择一个图像点u₀＝(u_x，u_y)作为降落点；S2、根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T；S3、以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行；S4、将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t；S5、根据位置u_t，重新计算降落点在世界坐标系的位置并更新目标点，在无人机飞行过程中重复步骤S2-S5，直至无人机飞到目标点上空并降落。

优选地，根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T的计算方法为：

其中，所述世界坐标系为以无人机起飞时刻位置为原点，x轴指向北方，y轴指向东方，z轴指向地球中心；[n_x,n_y,n_z]为中间变量N,表示相机中心到目标点射线在世界坐标系下的单位方向向量；h为无人机当前相对于地面的高度；t_c＝[x_c,y_c,z_c]^T为无人机在世界坐标系下的位置。

优选地，中间变量N＝[n_x,n_y,n_z]的计算方法为：

其中，R_c为无人机在世界坐标系下的姿态，其为3×3旋转矩阵；f_x,f_y为相机的焦距，c_x,c_y为光心。

优选地，无人机当前相对于地面的高度h的计算方法包括以下步骤：获取无人机起飞时刻的气压计高度h₀；获取无人机飞行过程中的气压计高度h_t，并通过传感器测量无人机对地高度h_tof；当传感器有效时，无人机对地高度h＝h_tof，并根据此时的h_t更新h₀＝h_t-h_tof；当传感器失效时，无人机对地高度h＝h_t-h₀。

优选地，测量无人机对地高度的传感器为下视单点传感器或超声传感器。

优选地，以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行的控制方法为：

根据目标位置P＝[x_w,y_w,z_w]^T与当前位置t_b＝[x_b，y_b，z_b]^T计算误差e，

根据误差e计算控制量，

v＝f(e)，

其中，v为无人机的控制速度，f为误差映射函数。

优选地，误差映射函数f采用比例控制算法：

f(e)＝k×e，

其中，k为比例系数。

优选地，将无人机在飞行过程中的当前帧图像与地面图像I0做匹配，并估算降落点在当前图像帧上的位置u_t包括：在地面图像I₀上以u₀为中心选取一个区域的图像块，在图像块中提取特征点；提取当前帧图像的特征点，与所述图像块中提取的特征点做匹配。

优选地，估算降落点在当前图像帧上的位置u_t的方法为：根据匹配到的第t-1帧和当前t帧的特征点对计算单应性矩阵H，使得

根据第t-1帧的降落点位置u_t-1推算出第t帧降落点的位置u_t＝Hu_t-1。

本发明还提供一种无人机视觉定点降落***，包括：目标选择单元，配置用于在无人机的下视相机采集的地面图像I₀上选择降落点u₀＝(u_x，u_y)；位置计算单元，配置用于根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T；位置调整单元，配置用于以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行；图像匹配单元，配置用于将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t；位置更新单元，配置用于根据位置u_t，重新计算降落点在世界坐标系的位置并更新目标点，直至无人机降落。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

本发明提供的无人机视觉定点降落方法通过计算降落点在世界坐标系下的位置，调整无人机朝目标点飞行，并在飞行过程中在连续帧图像上重新计算降落点的位置不断更新目标点，直至无人机飞到目标点上空并降落。其提高了降落位置估计的精度，使无人机的自主降落更加精确和智能。

附图说明

下面参考附图描述本发明的优选实施例，附图为了说明本发明的优选实施例而不是为了限制本发明的目的。附图中，

图1为本发明实施例的无人机视觉定点降落方法的总体流程框图；

图2为本发明实施例的降落点位置估计示意图。

具体实施方式

本发明的具体实施方式用来具体说明本发明，但并不局限于该具体实施方式。

图1为本发明实施例的无人机视觉定点降落方法的总体流程框图。

如图1所示，本发明实施例的无人机视觉定点降落方法，包括如下步骤：

步骤S1，通过无人机的下视相机采集地面图像I₀，在其上选择一个图像点u₀＝(u_x，u_y)作为降落点。

无人机飞行在高空,通过下视相机采集地面图像I₀，在地面图像上选择一个图像点u₀＝(u_x，u_y)作为降落目标点。图像坐标系定义为左上角为原、向右为x轴、向下为y轴的2D坐标系，u_x为图像点在x轴的坐标位置，u_y为图像点在y轴的坐标位置。

步骤S2，根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T。

图2为本发明实施例的降落点位置估计示意图。

计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T的计算方法为：

其中，世界坐标系为以无人机起飞时刻位置为原点，x轴指向北方，y轴指向东方，z轴指向地球中心；[n_x,n_y,n_z]为中间变量N,表示相机中心到目标点射线在世界坐标系下的单位方向向量；h为无人机当前相对于地面的高度；t_c＝[x_c,y_c,z_c]^T为无人机在世界坐标系下的位置。

中间变量N＝[n_x,n_y,n_z]的计算方法为：

其中，R_c为无人机在世界坐标系下的姿态，其为3×3旋转矩阵；f_x,f_y为无人机的下视相机的焦距，c_x,c_y为光心。

无人机当前相对于地面的高度h的计算方法，即高度估计算法，包括以下步骤：

获取无人机起飞时刻的气压计高度h₀。气压计高度h₀可以通过安装在无人机上的气压计传感器获得。

获取无人机飞行过程中的气压计高度h_t，并通过传感器测量无人机对地高度h_tof。测量无人机对地高度的传感器可以采用下视单点传感器或超声传感器。由于传感器测量范围有限，无人机里地面高度过高或者过低，传感器都有可能会失效。

当传感器有效时，无人机对地高度h＝h_tof，并根据此时的气压计高度h_t更新h₀，其更新公式为h₀＝h_t-h_tof。

当传感器失效时，通过气压计高度相减得到无人机对地高度位

h＝h_t-h₀。

如图2所示，通过高度估计算法计算得到无人机的当前对地高度h，并根据无人机的位置和姿态计算得到降落点在世界坐标系下的位置P，从而获得无人机飞行的目标点。

步骤S3，以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行。

朝目标点飞行的控制方法为：

根据目标位置P＝[x_w,y_w,z_w]^T与当前位置t_b＝[x_b，y_b，z_b]^T计算误差e，

根据误差e计算控制量，

v＝f(e)，

其中，v为无人机的控制速度，f为误差映射函数。

误差控制算法包括比例-积分控制算法、比例-积分-微分控制算法，本实施例中误差映射函数f采用比例控制算法：

f(e)＝k×e，

其中，k为比例系数。

通过比例控制算法控制无人机朝步骤2中计算得出的目标点P飞行，根据误差e计算控制量，从而提高无人机朝目标点飞行的精度。

步骤S4，将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t。

将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，包括：在地面图像I₀上以u₀为中心选取一个区域的图像块，在图像块中提取特征点；提取当前帧图像的特征点，与所述图像块中提取的特征点做匹配。

选取的图像块可以为矩形或者圆形等，在图像块中提取视觉特征，提取算法包括但不限于SIFT，SURF，FAST，ORB等算法。

本实施例中，采用ORB特征提取和特征描述方法，ORB特征描述算法的运行时间远优于SIFT与SURF，可用于实时性特征检测。ORB特征基于FAST角点的特征点检测与描述技术，具有尺度与旋转不变性，同时对噪声及透视仿射也具有不变性。

ORB特征检测主要分为特征提取和特征描述以下两个步骤：

首先，方向FAST特征点检测；

FAST角点检测是一种基于机器学习的快速角点特征检测算法，具有方向的FAST特征点检测是对兴趣点所在圆周上的16个像素点进行判断，若判断后的当前中心像素点为暗或亮，将确定其是否为角点。FAST角点检测为加速算法实现，通常先对回周上的点集进行排序，排序使得其计算过程大大得到了优化。

其次，BRIEF特征描述；

从图像中提取到特征的关键点信息，通常只是其在图像的位置信息(有可能包含尺度和方向信息)，仅仅利用这些信息无法很好的进行特征点的匹配，所以就需要更详细的信息，将特征区分开来，这就是特征描述子。另外，通过特征描述子可以消除视角的变化带来图像的尺度和方向的变化，能够更好的在图像间匹配。

BRIEF描述子主要是通过随机选取兴趣点周围区域的若干点来组成小兴趣区域，将这些小兴趣区域的灰度二值化并解析成二进制码串，将串特征作为该特征点的描述子，BRIEF描述子选取关键点附近的区域并对每一位比较其强度大小，然后根据图像块中两个二进制点来判断当前关键点编码是0还是1。因为BRIEF描述子的所有编码都是二进制数的，这样就节省了计算机存储空间。

按照以上ORB方法在地面图像I₀上以u₀为中心选取一个区域的图像块中提取特征点。

提取当前帧图像的特征点，与所述图像块中提取的特征点做匹配。在无人机飞行过程中，通过图像特征匹配算法，将当前帧图像与步骤1中采集的地面图像I₀做匹配。图像特征匹配算法包括但不限于光流跟踪、SIFT特征匹配等。匹配完成后，估算图像降落点在当前图像帧上的位置。估算方法包括但不限于DLT(直接线性变化)算法。

估算降落点在当前图像帧上的位置u_t的方法为：

根据匹配到的第t-1帧和当前t帧的特征点对计算单应性矩阵H，使得

从而，根据第t-1帧的降落点位置u_t-1推算出第t帧降落点的位置u_t＝Hu_t-1。

步骤S5，根据位置u_t，重新计算降落点在世界坐标系的位置并更新目标点；在无人机飞行过程中不断重复步骤S2-S5，直至无人机飞到目标点上空并降落。

根据步骤S4中计算出的位置u_t，按照步骤S2中的计算方法，重新计算降落点的位置并更新目标点。在无人机飞行过程中不断重复步骤S2至步骤S5，直至无人机飞到目标点上空并降落。

本发明还提供一种无人机视觉定点降落***，包括：目标选择单元，配置用于在无人机的下视相机采集的地面图像I₀上选择降落点u₀＝(u_x，u_y)；位置计算单元，配置用于根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T；位置调整单元，配置用于以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行；图像匹配单元，配置用于将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t；位置更新单元，配置用于根据位置u_t，重新计算降落点在世界坐标系的位置并更新目标点，直至无人机降落。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。

根据本发明的以上方法、***、设备及存储介质，在无人机飞行过程中，根据无人机的当前位置不断更新目标点在世界坐标系下的位置，从而不断调整无人机的朝目标点飞行，到达目标点上空并降落，从而提高无人机降落的精度。

以上实施例为本发明的优选实施例，并不用以限定本发明的目的，凡在本发明的精神和原则之内进行的修改和替换，均在本发明的保护之内。

Claims (10)

1.一种无人机视觉定点降落方法，其特征在于，包括以下步骤：

S1、通过无人机的下视相机采集地面图像I₀，在其上选择一个图像点u₀＝(u_x，u_y)作为降落点；

S2、根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T；

S3、以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行；

S4、将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t；

S5、根据位置u_t，重新计算降落点在世界坐标系的位置并更新目标点，在无人机飞行过程中重复步骤S2-S5，直至无人机飞到目标点上空并降落。

2.根据权利要求1所述的无人机视觉定点降落方法，其特征在于，

所述根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T的计算方法为：

其中，

所述世界坐标系为以无人机起飞时刻位置为原点，x轴指向北方，y轴指向东方，z轴指向地球中心；

[n_x,n_y,n_z]为中间变量N,表示相机中心到目标点射线在世界坐标系下的单位方向向量；

h为无人机当前相对于地面的高度；

t_c＝[x_c,y_c,z_c]^T为无人机在世界坐标系下的位置。

3.根据权利要求2所述的无人机视觉定点降落方法，其特征在于，

所述中间变量N＝[n_x,n_y,n_z]的计算方法为：

其中，

R_c为无人机在世界坐标系下的姿态，其为3×3旋转矩阵；

f_x,f_y为相机的焦距，c_x,c_y为光心。

4.根据权利要求2所述的无人机视觉定点降落方法，其特征在于，

所述无人机当前相对于地面的高度h的计算方法包括以下步骤：

获取无人机起飞时刻的气压计高度h₀；

获取无人机飞行过程中的气压计高度h_t，并通过传感器测量无人机对地高度h_tof；

当传感器有效时，无人机对地高度h＝h_tof，并根据此时的h_t更新h₀＝h_t-h_tof；

当传感器失效时，无人机对地高度h＝h_t-h₀。

5.根据权利要求4所述的无人机视觉定点降落方法，其特征在于，

所述测量无人机对地高度的传感器为下视单点传感器或超声传感器。

6.根据权利要求3所述的无人机视觉定点降落方法，其特征在于，

所述以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行的控制方法为：

根据目标位置P＝[x_w,y_w,z_w]^T与当前位置t_b＝[x_b，y_b，z_b]^T计算误差e，

根据误差e计算控制量，

v＝f(e)，

其中，v为无人机的控制速度，f为误差映射函数。

7.根据权利要求1所述的无人机视觉定点降落方法，其特征在于，

所述将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t包括：

在地面图像I₀上以u₀为中心选取一个区域的图像块，在图像块中提取特征点；

提取当前帧图像的特征点，与所述图像块中提取的特征点做匹配。

8.根据权利要求7所述的无人机视觉定点降落方法，其特征在于，

所述估算降落点在当前图像帧上的位置u_t的方法为：

根据匹配到的第t-1帧和当前t帧的特征点对计算单应性矩阵H，使得

根据第t-1帧的降落点位置u_t-1推算出第t帧降落点的位置u_t＝Hu_t-1。

9.一种无人机视觉定点降落***，其特征在于，包括

目标选择单元，配置用于在无人机的下视相机采集的地面图像I₀上选择降落点u₀＝(u_x，u_y)；

位置计算单元，配置用于根据无人机位置和姿态，以无人机起飞时刻位置为原点，计算降落点在世界坐标系下的位置P＝[x_w,y_w,z_w]^T；

位置调整单元，配置用于以位置P＝[x_w,y_w,z_w]^T为目标点，调整无人机的位置，朝目标点飞行；

图像匹配单元，配置用于将无人机在飞行过程中的当前帧图像与地面图像I₀做匹配，并估算降落点在当前图像帧上的位置u_t；

位置更新单元，配置用于根据位置u_t，重新计算降落点在世界坐标系的位置并更新目标点，直至无人机降落。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。