CN111309048A

CN111309048A - 一种多旋翼无人机结合道路检测沿路自主飞行的方法

Info

Publication number: CN111309048A
Application number: CN202010130574.6A
Authority: CN
Inventors: 杨路; 杨嘉耕; 段思睿; 杨磊
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2020-02-28
Filing date: 2020-02-28
Publication date: 2020-06-19
Anticipated expiration: 2040-02-28
Also published as: CN111309048B

Abstract

本发明涉及一种多旋翼无人机结合道路检测沿路自主飞行的方法，属于无人机飞行控制领域。该方法包括：S1：获取无人机正下方道路视频信息；S2：将获取的视频信息，通过4G链路传输到地面站；S3：通过地面站，对得到的视频图像进行道路检测，提取道路中心线在整个视频图像中的位置与角度；S4：利用提取的无人机与道路中心线l与判决框R的关系，选择模式，结合无人机返回的GPS信息，以及道路GPS数据集，输入到基于卡尔曼滤波的八方向PID策略控制器中，得到偏航控制量，通过地面站向无人机发送控制指令，首先控制无人机飞到道路上方，之后控制无人机自主沿路飞行。本发明能精确的沿路自主飞行，较大程度的避免与周遭环境的碰撞。

Description

一种多旋翼无人机结合道路检测沿路自主飞行的方法

技术领域

本发明属于无人机飞行控制领域，涉及一种基于卡尔曼滤波的多旋翼无人机沿路精确定位融合控制的方法。

背景技术

目前民用无人机多采用射频遥控器控制，控制距离短且信号容易受到障碍物阻挡，在今天的通信条件下，4G网络已经能够遍布各大城市的主要地区，能够满足绝大多数用户的需求，这样的先天优势不仅使个人通信非常便利，也为解决民用无人机远程通信技术所遇到的通信距离限制问题提供了优良的解决条件，因此，通过4G网络通信来实现无人机的远程控制成为了未来无人机远程控制发展的重要方向。

然而，随着通信、计算机、控制技术的不断提高，针对4G无人机控制的应用，却仍不完善，未来仍有很大的发展空间，如在城市中运送快递、对某些区域道路交通的进行监管等，都需要无人机按预定路径飞向目标点，在飞行过程中，除了要考虑无人机的使用、操作方面的潜在安全问题，保持沿预定轨迹精确的飞行，对其飞行安全、飞行效率和空域管理方面有着非常重要的影响，因此建立一个完善的无人机沿路飞行***是非常有必要的。

现有技术中，公开号为CN 105549603 A的专利申请“一种多旋翼无人机的智能道路巡检控制方法”，公开了一种多旋翼无人机通过云台得到无人机正下方的信息，通过图像处理得到道路中心线，而后通过对比道路中心线与无人机实际位置的偏差值对无人机进行偏航控制。然而其在无人机如何自主寻找最近道路上并未说明，并且其未加入道路的GPS以及无人机的GPS值作为验证标准和矫正条件，在检测失效的情况下，很难保证其飞行。

因此，目前亟需一种能够沿路飞行自主控制的精确定位的无人机技术。

发明内容

有鉴于此，本发明的目的在于提供一种基于卡尔曼滤波的多旋翼无人机沿路精确定位融合控制的方法，应用于多旋翼无人机的沿路飞行，在实际环境中存在多方面的应用，包括交通监管、快递运送等；同时无人机精确的沿路飞行，可以较大程度的避免与周遭环境的碰撞，确保无人机的稳定飞行。

为达到上述目的，本发明提供如下技术方案：

一种多旋翼无人机结合道路检测沿路自主飞行的方法，包括以下步骤：

S1：固定无人机上的图像传感器垂直向下，通过机载嵌入式连接并控制无人机的图像传感器，以获取无人机正下方视频信息；

S2：将图像传感器获取的视频信息，通过4G链路传输到地面站；

S3：通过地面站，对得到的视频图像进行道路检测，提取道路中心线l在整个视频图像中的位置与角度；

S4：利用提取得到的无人机与道路中心线l与判决框R的关系，选择无人机模式，结合无人机返回的GPS信息，以及该GPS信息所在地区的道路GPS数据集，输入到基于卡尔曼滤波的八方向PID策略控制器中，得到偏航控制量，通过地面站向无人机发送控制指令，首先控制无人机飞到道路上方，之后控制无人机自主沿路飞行。

进一步，所述步骤S3中，地面站对得到的视频图像进行道路检测过程包括对无人机传输回来的路面图像信息进行处理，具体出来过程包括以下步骤：

S31：将从摄像头得到的视频先进行标定，对其进行镜头畸变的清算；

S32：对图像进行灰度化处理；

S33：利用Canny边缘检测算法对其中的信息进行提取；

S34：利用霍夫变换找出直线来对行道线进行定位；

S35：通过K均值聚类，找出道路的中心线l，并记录夹角θ。

进一步，所述步骤S4中，根据视频图像的处理结果，结合基于卡尔曼滤波的八方向PID策略控制器得到偏航控制量的具体步骤为：

S41：视频判决框R决定八方向PID策略控制器所处的模式和输入量；

S42：地面站根据道路中心线l是否在判决框R内，对无人机所处模式进行判定；

(1)若道路中心线l在判决框R内，则确定无人机是在道路上方；根据无人机当前实际位置经纬度C_x、C_y和道路该位置的经纬度P_x、P_y，以及沿路飞行下一阶段目标点的经纬度D_x、D_y，计算得到无人机与目标点的方向角和距离；

(2)若道路中心线l在判决框R外，无人机已与道路有偏移，则利用提取到的道路中心线l，以及无人机当前实际位置的经纬度C_x、C_y，沿路飞行下一阶段目标点的经纬度D_x、D_y，计算得到无人机所需飞行的方向角和飞行距离；

根据模式(1)或(2)计算出的无人机与目标点的方向角与距离，通过恒定速度V和固定八个控制方向O进行量化；然后，将无人机位置GPS的值CP_x、CP_y和控制时间t，作为控制器的输入，对无人机进行控制；将得到的实际无人机反馈位置C'_x、C'_y与理论位置C_sx、C_sy同时输入到卡尔曼滤波器中，得到的无人机融合位置C_ax、C_ay，作为下一次的条件，进入步骤S44；

S43：若无人机已无法检测到其自身下方的道路信息，先提升无人机的高度，若可以检测到道路，根据检测得到的道路中心线l与判决框R的相对关系，选择模式进行输入；若还未能检测到道路，利用无人机当前的经纬度C_x、C_y与上一目标点的定位度D'_x、D'_y的方向θ'，与无人机单位位移D_p进行输入，输出偏航控制量，完成无人机控制；

S44：操作完成后，对无人机目前的位置下方进行道路检测，并重新根据检测情况进行判定，直到无人机抵达目标地点。

更进一步，所述步骤S41中，视频判决框R大小的计算公式为：

其中，R_A为拍摄图像的宽度，h为无人机距离地面的高度，k为缩放系数。

更进一步，所述步骤S42中，若道路中心线l在判决框R内，根据无人机实际位置经纬度C_x、C_y和道路该位置的经纬度P_x、P_y加权通过如下公式结合为原点：

建立以北为Y轴，东为X轴的坐标系，取沿路飞行下一目标阶段点的位置为目标点，结合目标点经纬度D_x、D_y得到无人机与目标点的方向角α和距离Dis：

更进一步，所述步骤S42中，若道路检测得出的道路中心线l在判决框R外，无人机所需飞行的方向角和飞行距离的计算公式为：

其中，

本发明的有益效果在于：本发明能实现无人机沿路飞行自主控制；同时在满足4G网络环境下，能够满足传统的无人机在进行大规模的应用的时候，降低人力成本的同时，保证无人机在可以使用较少人力操作成本的情况下，可以安全，稳定，自主的飞向目的。本发明还能报账无人机精确的沿路飞行，可以较大程度的避免与周遭环境的碰撞，确保无人机的稳定飞行。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为多旋翼无人机沿路自主飞行方法流程框图；

图2为道路中心线在判决框内示意图；

图3为道路中心线在判决框外示意图；

图4为无人机在图3模式下的位置示意图；

图5为八方向PID策略控制器结构框图；

图6为本发明所述多旋翼无人机结合道路检测沿路自主飞行方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图6，为一种多旋翼无人机结合道路检测沿路自主飞行的方法，实现无人机沿路飞行的自主控制，具体实现如下：

步骤1：对无人机可能的飞行范围中的地图道路进行预处理。利用高德地图的接口，将每条道路，划分为多段GPS折线，保存每条道路中每段折线的起始GPS、结束GPS以及与正北方向的夹角5项数据，将用于与无人机GPS数据比对，控制无人机飞向道路上空和矫正。

步骤2：地面站对无人机进行任务下达。地面站客户端包含地图信息，无人机在地图上的位置，无人机的信息以及无人机回传的视频信息，并且可以在必要时候对无人机进行手动控制，无人机通过4G链路与地面站进行连接，与地面站进行信息交互，无人机起飞后，将选取指定目标点，地面站利用高德地图的接口，对无人机沿路飞行的路线进行规划，将路线以多段折线的形式输出。

步骤3：地面站对无人机传输回来的路面图像信息进行处理，具体处理过程如下：

1、将从摄像头得到的视频先进行标定，对其进行镜头畸变的清算。图像在获取过程中会产生几何畸变，对于无人机图像的几何校正主要是对数码相机镜头非线性畸变进行校正。无人机航拍用的相机为数码相机，其拍摄的图像边缘存在光学畸变，畸变会使图像中的实际像点位置发生偏移，使像点坐标产生位移，改变了实际物体的地面位置，会最终影响到影响检测的结果，因此必须对畸变差进行校正后，才能进行后续的处理。其校正畸变的具体的处理方式见公式(1)：

2、对图像进行灰度化处理。对经过畸变矫正的图片做灰度化处理，采取加权平均法进行处理，对应的灰度图像可以由公式(2)得到：

V_grey＝＝0.299R+0.587G+0.114B (2)

3、利用Canny边缘检测算法对其中的信息进行提取。它是一种二阶微分算法，Canny边缘检测算法首先使用一个高斯滤波器对图像进行平滑去噪，然后寻找图像的强度梯度，应用非最大抑制技术来消除边误检，再应用双阈值的方法来决定可能的边界，最后利用滞后技术来跟踪边界。Canny方法基于三个基本目标：(1)低错误率；(2)边缘点应被很好地定位；(3)单一的边缘点响应。是用于检测车道线边缘检测相对较好的方法。

4、利用霍夫变换找出直线来对行道线进行定位。霍夫变换是一个特征提取技术。其可用于隔离图像中特定形状的特征的技术，应用在图像分析、计算机视觉和数字图像处理领域。目的是通过投票程序在特定类型的形状内找到对象的不完美实例。这个投票程序是在一个参数空间中进行的，在这个参数空间中，候选对象被当作所谓的累加器空间中的局部最大值来获得，所述累加器空间由用于计算霍夫变换的算法明确地构建。最基本的霍夫变换是从黑白图像中检测直线。Hough变换主要优点是能容忍特征边界描述中的间隙，并且相对不受图像噪声的影响。

5、通过K均值聚类，找出道路的中心线l，并记录夹角θ。K-Means算法是一种简单的迭代型聚类算法，采用距离作为相似性指标，从而发现给定数据集中的K个类，且每个类的中心是根据类中所有数值的均值得到的，每个类的中心用聚类中心来描述。如公式(3)所示：

步骤4：根据视频图像的处理结果，结合基于卡尔曼滤波的八方向PID策略控制器，具体实现方式如下：

1、视频判决框决定八方向PID策略控制器所处的模式和输入量。视频判决框大小由公式(4)得出：

2、地面站根据道路中心线l是否在判决框R内，对无人机所处模式进行判定。

1)若图像显示结果如图2所示，道路中心线l在判决框R内，则可确定无人机是在道路上方；根据无人机实际位置经纬度C_x、C_y和道路该位置的经纬度P_x、P_y加权通过公式(5)结合为原点；

建立以北为Y轴，东为X轴的坐标系，取沿路飞行下一目标阶段点的位置为目标点，通过目标点经纬度D_x、D_y及公式(6)：

得到无人机与目标点的方向角α和距离Dis，输入到基于卡尔曼滤波的八项PID策略控制器中，以偏航控制量作为输出，通过4G信号向无人机发送控制指令，控制无人机飞向下一个目标点；

2)若图像显示结果如图3所示，道路检测得出的道路中心线l已在判决框R之外，无人机已与道路有偏移，则利用提取到的道路中心线l，以及无人机当前的经纬度C_x、C_y，沿路飞行下一阶段目标点的经纬度D_x、D_y，通过图4方式和以公式(7)计算：

得到无人机所需飞行的方向角和飞行距离，如公式8所示：

将无人机所需飞行的方向角和飞行距离输入到基于卡尔曼滤波的八方向PID策略控制器中，以偏航控制量作为输出，通过4G信号向无人机发送控制指令，控制无人机更有效、更精准的完成飞行任务；

4)若无人机已无法检测到其自身下方的道路信息，先提升无人机的高度，若可以检测到道路，根据检测得到的道路中心线l与判决框R的相对关系，选择模式进行输入；若还未能检测到道路，利用无人机当前的经纬度C_x、C_y与上一目标点的定位度D'_x、D'_y的方向θ'，与无人机单位位移D_p进行输入，输出偏航控制量，完成无人机控制。

5)操作完成后，对无人机目前的位置下方进行道路检测，并重新根据检测情况进行判定。

6)八方向PID策略控制器，具体设计如图6所示，八方向PID策略控制器第一次输入以无人机的经纬度C_x、C_y，下一次目标点夹角α和计划飞行距离Dis为输入量，输入八向飞行控制器中，根据相对位置和距离，得到偏航控制量，以飞行方向O和飞行时间t作为无人机的输入，再加入控制干扰ω，输入到无人机当中去，控制无人机飞行；无人机飞行阶段完成之后，得到的无人机传感器返回的经纬度C'_x、C'_y，加入测量干扰ν，与不加入控制干扰的理论飞行结果得到的经纬度C_sx、C_sy，作为卡尔曼滤波器的输入，然后得到输出C_ax、C_ay，以此经纬度作为无人机的经纬度，加之道路检测的结果所选择的模式，作为下一次控制器的输入，直到到达目的地。

卡尔曼滤波器公式如下：

***的状态变量：

X_k＝[V,V,C_x,C_y]^Τ (9)

***的状态方程：

X_k＝AX_k-1+BU_k-1+ω_k-1 (10)

***的观测方程：

Z_k＝HX_k+υ_k (11)

预测阶段：

X_k＝AX'_k-1+BU_k-1 (12)

校正阶段：

K_k＝P_kH^Τ(HP_kH^Τ+R)^-1 (14)

X'_k＝X_k+K_k(Z_k-HX_k) (15)

其中，A是状态转移矩阵，B是将输入转换为状态的矩阵，P_k表示k时刻的后验估计协方差，

表示k时刻的先验估计协方差，H是状态变量到测量(观测)的转换矩阵，表示将状态和观测连接起来的关系，K_k为卡尔曼滤波系数，ω_k表示过程噪声，假设为正态分布的零均值高斯白噪声，噪声的协方差矩阵为Q，即ω_k～N(0,Q)；v_k表示过程噪声，假设为正态分布的零均值高斯白噪声，噪声的协方差矩阵为R，即ν_k～N(0,R)。

最后得到的X'_k中的C_ax、C_ay作为无人机最后的实际位置，用此结果作为下一次输入的状态变量X_k。

实施例，如图6所示，一种多旋翼无人机结合道路检测沿路自主飞行方法的具体步骤如下：

预处理：以GPS数据为基础，对可行车的道路GPS值进行记录，并存储在地面站数据库中，用于对比与调用；

S1：控制人员在地面站对无人机进行任务下达，通过对其沿路飞行的路线进行规划，确定路线的起点和终点；

S2：固定无人机上的图像传感器垂直向下，通过机载嵌入式连接并控制无人机的图像传感器，以获取无人机正下方视频信息；

S3：将图像传感器获取的视频信息，通过4G链路传输到地面站；

S4：利用提取得到的无人机与道路相对位置与角度，结合无人机返回的GPS值、以及该地区的道路GPS数据集，通过地面站向无人机发送控制指令，控制无人机首先飞到道路上方；

S5：开始自主沿路飞行；判断道路是否在方框内，若在，则将阶段目标点的方向和距离输入到基于卡尔曼滤波的PID控制器中；若不在，则将矫正位置的方向和距离输入到基于卡尔曼滤波的PID控制器中；完成后，利用控制器输出的位置和道路检测结果继续进行判定，直到无人机飞行至目标点。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种多旋翼无人机结合道路检测沿路自主飞行的方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种多旋翼无人机结合道路检测沿路自主飞行的方法，其特征在于，所述步骤S3中，地面站对得到的视频图像进行道路检测过程包括对无人机传输回来的路面图像信息进行处理，具体出来过程包括以下步骤：

S32：对图像进行灰度化处理；

S33：利用Canny边缘检测算法对其中的信息进行提取；

S34：利用霍夫变换找出直线来对行道线进行定位；

S35：通过K均值聚类，找出道路的中心线l，并记录夹角θ。

3.根据权利要求1所述的一种多旋翼无人机结合道路检测沿路自主飞行的方法，其特征在于，所述步骤S4中，根据视频图像的处理结果，结合基于卡尔曼滤波的八方向PID策略控制器得到偏航控制量的具体步骤为：

4.根据权利要求3所述的一种多旋翼无人机结合道路检测沿路自主飞行的方法，其特征在于，所述步骤S41中，视频判决框R大小的计算公式为：

5.根据权利要求3所述的一种多旋翼无人机结合道路检测沿路自主飞行的方法，其特征在于，所述步骤S42中，若道路中心线l在判决框R内，根据无人机实际位置经纬度C_x、C_y和道路该位置的经纬度P_x、P_y加权通过如下公式结合为原点：

6.根据权利要求3所述的一种多旋翼无人机结合道路检测沿路自主飞行的方法，其特征在于，所述步骤S42中，若道路检测得出的道路中心线l在判决框R外，无人机所需飞行的方向角和飞行距离的计算公式为：

其中，