CN107817820A - 一种基于深度学习的无人机自主飞行控制方法与*** - Google Patents

Abstract

本发明公开了一种基于深度学习的无人机自主飞行控制方法与***，提出了基于深度学习的人工神经网络的计算机视觉目标检测与朝向估计算法，利用搭载云台相机的多旋翼无人机采集图像，利用运行神经网络的运算单元检测目标并估计目标朝向，最后结合控制算法将控制指令反馈到无人机飞行控制器。本发明构建了“数据采集单元‑深度学习运算单元‑飞行控制单元”的分布式数据采集运算与控制回环，实验结果表明，本发明能够实现实时的神经网络运算，进而结合控制算法实现无人机快速自主发现目标、靠近目标并以特定姿态跟踪目标的效果。

Description

一种基于深度学习的无人机自主飞行控制方法与***

技术领域

本发明属于计算机视觉与自动控制领域，具体涉及一种基于深度学习的无人机自主飞行控制方法与***。

背景技术

无人机相比于载人飞行器，具有成本低、体积小、使用方便、成产和维护成本低、机动性强和生存能力强等优点。由于没有人员驾驶，无人机不受人员的生理和生命风险限制，适合执行情报收集、地质勘测、低空侦查和反恐打击等“枯燥和危险”的任务。随着科技的发展，无人机的生产成本进一步降低，开始往民用和科研等领域发展，如气体管道监控、区域覆盖监控、灾害紧急搜救、农业植保、公安消防和遥感测绘等。

早期各种场景下无人机的实际应用多数基于人为遥控或干预，自动化程度不高。随着无人机自动化工作需求的不断扩大，基于计算机视觉的目标跟踪成为当下研究的热点，其在安防救援、人机交互和无人机自动飞行等领域有广泛应用。通过目标检测和跟踪算法可以得到目标在成像平面上的位置和尺度信息，然后通过滤波滤除该过程中引入的噪声，之后根据控制算法得到无人机的控制指令，进而控制无人机的姿态。上述过程不断循环，可以实现无人机跟踪目标的目的。

目标检测与目标朝向估计是机器视觉的重要研究内容。传统的目标检测流程首先在输入图像上定位出目标位置，然后对目标区域提取特征，最后用训练好的分类器对提取的特征进行分类，判定该区域是不是目标。该流程主要存在两个问题，一是时间复杂度高且窗口冗余，二是特征提取环节提取的特征是特征为人工设计，与任务相关，没有普适性。传统的关于目标朝向估计的研究主要从基于多视角的目标朝向估计、借助3D 信息的目标朝向估计和基于2D 图像信息的目标朝向估计几个方面展开。基于3D 信息的方法受到数据带宽、计算资源、供电需求和光线等的限制。基于2D 信息的朝向估计算法存在估计或检测精度不高的弊端。随着深度学习的兴起，基于神经网络的目标检测算法与朝向估计算法的准确率和运行速率都得到了很大的提升，可广泛应用于实际应用中。

传统的无人机飞行路径控制基于航点设定，依靠飞行控制器内部程序使得无人机依次沿航点飞行，自主性较低，灵活性较差，速度也相对较慢。

发明内容

本发明的目的在于提出一种基于深度学习的无人机自主飞行控制方法与***。

本发明中提出了基于深度学习的人工神经网络的计算机视觉目标检测与朝向估计算法，利用搭载云台相机的多旋翼无人机采集图像，利用运行神经网络的运算单元检测目标并估计目标朝向，最后结合控制算法将控制指令反馈到无人机飞行控制器。

本发明的技术方案具体介绍如下。

本发明提供一种基于深度学习的无人机自主飞行控制***，其为分布式***，包括以下单元：

数据采集单元，为专用机载下位机，用于采集无人机飞行状态参数信息、机载设备与传感器运行状态信息及其数据；

深度学***台，用于执行神经网络目标检测与朝向估计计算，其输出作为控制算法的输入，结合控制算法实施飞行控制；

飞行控制单元，为机载飞行控制器，用于运行控制算法以控制无人机飞行姿态，包括前向速度、横向速度、纵向速度、偏航角速度、横滚和俯仰。

本发明还提供一种上述的基于深度学习的无人机自主飞行控制方法，包括以下步骤：

目标检测步骤，通过基于深度学习的人工神经网络实现对跟飞目标的检测，取得目标在图像中对应的感兴趣区域ROI；

目标朝向估计步骤，利用目标检测步骤的结果，将识别到的目标作为输入数据，通过基于深度学习的人工神经网络实现对目标相对无人机朝向的估计；

自主飞行控制步骤，基于目标检测与朝向估计步骤的结果，结合构建用于跟踪目标的控制算法，实施飞行控制。

本发明中，所述目标检测的步骤具体如下：

预先采集待跟踪目标各角度图像，作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标检测神经网络；

根据目标先验位置信息设定坐标控制无人机飞行至目标邻域，通过数据采集单元采集机载摄像头图像，作为输入传输至深度学习运算单元，进行目标检测，获取待跟踪目标在当前帧中的ROI。

本发明中，所述的目标朝向估计的步骤具体如下：

预先采集待跟踪目标各角度图像，进行朝向标定后，作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标朝向估计神经网络，该网络包括多层卷积层、全连接层和输出层，结合激活层以提升非线性拟合，并采用池化层实现特征图的降维和防止模型过拟合；

以目标检测步骤获得的结果作为神经网络的输入，进行目标朝向估计，得到目标相对于无人机当前的朝向类别。

本发明中，所述的自主飞行控制的步骤具体如下：

根据数据采集单元获取的无人机当前姿态信息以及相机当前姿态信息，结合目标检测步骤获得的目标位置信息与尺度信息，估计目标至无人机的角度与距离；结合目标朝向估计步骤获得的目标朝向信息，估计目标正面与无人机正面形成的劣弧及其夹角以确定绕飞方向。

当目标距离无人机较远，实施接近控制策略，分别采用控制算法控制无人机机身坐标下前向速度与偏航角速度，使无人机以正对姿态接近目标；

当目标距离无人机较近，实施绕飞控制策略，分别采用控制算法控制无人机机身坐标下前向速度、偏航角速度以及横向速度，使无人机绕飞至目标正面。

本发明中，所述跟踪目标各角度图像包括地面多监控摄像头跟踪图像。

本发明中，所述目标先验位置信息包括地面多监控摄像头跟踪信息。

和现有技术相比，本发明的有益效果在于：

本发明能够实现实时的神经网络运算，进而结合控制算法实现无人机快速自主发现目标、靠近目标并以特定姿态跟踪目标的效果。

附图说明

图1：本发明中目标于图像中位置示意图。

图2：本发明中实际***结构与功能框图。

图3：实飞测试结果示意图。

具体实施方式

下面结合附图并通过具体实施实例对本发明做进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

本发明的关键在于构建***回环，由数据采集单元采集图像、深度学习运算单元进行运算、最后反馈回飞行控制单元实施控制。图1：本发明中目标于图像中位置示意图。图2：本发明中实际***结构与功能框图。

本发明的内容主要分为目标检测和朝向估计神经网络设计、飞行控制算法设计和分布式***实现三部分。

1、目标检测与朝向估计

针对传统的基于2D 或3D 信息的目标朝向估计算法存在的不足，本文提出基于卷积神经网络的目标朝向估计算法。在给定训练集的情况下，卷积神经网络可以实现端对端学***面上的位置、尺度和朝向等信息。该网络检测的目标可以涵盖很多类范围，如人体、车辆、船舶、建筑等等。

2、飞行控制算法

基于目标在成像平面上的位置、尺度和朝向等信息，设计无人机的飞行控制算法。由于无人机距离目标较远时目标朝向信息的置信度不够高，所以我们将整个过程分为两个阶段，即靠近阶段和旋转阶段。在靠近阶段，无人机根据目标在成像平面上的位置和尺度信息调整自己姿态，朝向目标靠近，最终将目标的成像位置移到成像平面的中心附近。在旋转阶段，无人机根据目标的朝向信息等调整自己姿态，绕目标旋转，最终运动到对准目标正面的位置。

3、***实现

最后，在上述视觉处理算法和飞行控制算法的基础上，将***各单元通过通信框架统一起来，其中无人机负责传感器信息的采集与转发；高性能嵌入式机载运算板作为计算单元，负责对接收到的图像信息进行视觉处理，最终飞行控制算法生成控制指令，控制无人机的飞行轨迹。

以人体目标跟踪、PID算法控制作为示例应用场景，一种基于深度学习的无人机自主飞行控制方法的具体步骤如下：

1)目标检测与朝向估计神经网络的构建

将目标朝向估计的问题建模为分类问题，将目标的朝向划分为8 个方向，通过让测试者在不同方向上做不同的动作采集各个朝向的样本数据，然后通过对采集到的数据做标定，可得到目标朝向的数据集。采用PCA和平移的方法，扩增样本数量，防止产生过拟合影响泛化能力。利用随机梯度下降算法迭代求解。最后通过在采集的图片的数据集上进行训练和测试，得出测试的准确率可达97%，实际识别中将输入下采样至640×360分辨率，以满足实时性应用需求。

2)自主飞行控制算法构建

以PID控制算法为例，为了减少控制变量之间的耦合，我们控制云台的俯仰角和无人机的高度恒定。在无人机距离目标较远时，应用接近阶段控制逻辑。通过控制无人机在机体坐标系下的前向速度来控制无人机与目标之间的距离，从而实现将目标的成像位置移到成像平面水平中心线附近的目的。当目标的成像位置偏移成像平面的竖直中心线时，我们可以通过调整无人机的偏航角、云台的偏航角或无人机在机体坐标系下的来减小该偏差，同样，我们选择通过调整无人机的偏航角来实现。控制变量用、、、表示，分别表示无人机在机体坐标系下沿x 轴、y 轴、z 轴的线速度和偏航的角速度。根据上述分析，可以得到无人机与目标的距离、无人机偏航角、成像偏差和控制量之间的关系表，如表1所示。

表1 无人机与目标的距离、无人机偏航角、成像偏差和控制量的关系表

无人机与目标相距较近时，神经网络能够估计出目标的朝向信息。无人机将根据目标的位置、尺度和朝向等信息绕目标飞行。为了保证飞行过程中目标始终在视野范围内且成像位置尽量维持在成像平面的中心，无人机需要绕目标做圆周飞行，引入横向速度控制器，在横向速度控制器与前述控制器的共同作用下，无人机可以绕目标以近似圆形轨迹飞行。

3)***工作流程

***启动时，通信框架自动启动，构建***内通信回环。同时数据采集单元、深度学习运算单元、飞行控制单元自动启动并处于待命状态，等待地面进一步交互指令的发出。

***收到启动跟踪指令后，飞行控制单元首先启动对飞行器高度与云台下倾角的控制，稳定后数据采集单元与深度学习运算单元开始工作。数据采集单元将采集到的视频流下采样至640*360分辨率，通过通信框架传输至深度学习运算单元（高性能嵌入式运算板）进行目标检测与朝向估计。深度学习运算单元将输出结果输出至控制算法，最终将控制输出传输至飞行控制器指导飞行器飞行。

地面GUI可通过通信链路获取飞行器的状态信息、控制器的控制信息、目标检测与朝向估计的结果信息、以及当前图像，以作实时监控显示之用，同时可以向通信框架发布交互指令，用以指导***自主飞行控制算法的启停，紧急状态下可以通过指令要求飞行控制进程终止输出，飞行器进入悬停状态或者返回Home。

实飞测试结果如图3所示，为地面监控程序屏幕录像中第221、282、343、404、465、526帧。

上述实施方式仅以对人体类别目标的检测与PID控制算法为例作为本发明应用场景的一种具体实现，实际应用中可以将目标更换为其他类别如车辆、船舶等作为深度学习神经网络的训练集，可以将控制算法改为最优控制等算法以获得不同的控制效果与性能。本***在软件与硬件上都实现模块化设计，结构上灵活性强；功能上扩展性强，可以在自动航拍、人机交互、无人机辅助安防、无人机辅助交管等方面发挥巨大的作用。

综上，本发明能够有效地实现无人机的自主目标跟随飞行控制。

Claims (8)

1.一种基于深度学习的无人机自主飞行控制***，其特征在于，其为分布式***，包括以下单元：

数据采集单元，为专用机载下位机，用于采集无人机飞行状态参数信息、机载设备与传感器运行状态信息及其数据；

深度学***台，用于执行神经网络目标检测与朝向估计计算，其输出作为控制算法的输入，结合控制算法实施飞行控制；

飞行控制单元，为机载飞行控制器，用于运行控制算法以控制无人机飞行姿态，包括前向速度、横向速度、纵向速度、偏航角速度、横滚和俯仰。

2.一种根据权利要求1所述的基于深度学习的无人机自主飞行控制方法，其特征在于，包括以下步骤：

目标检测步骤，通过基于深度学习的人工神经网络实现对跟飞目标的检测，取得目标在图像中对应的感兴趣区域ROI；

目标朝向估计步骤，利用目标检测步骤的结果，将识别到的目标作为输入数据，通过基于深度学习的人工神经网络实现对目标相对无人机朝向的估计；

自主飞行控制步骤，基于目标检测与朝向估计步骤的结果，结合构建用于跟踪目标的控制算法，实施飞行控制。

3.根据权利要求2所述的无人机自主飞行控制方法，其特征在于，所述目标检测的步骤具体如下：

预先采集待跟踪目标各角度图像，作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标检测神经网络；

根据目标先验位置信息设定坐标控制无人机飞行至目标邻域，通过数据采集单元采集机载摄像头图像，作为输入传输至深度学习运算单元，进行目标检测，获取待跟踪目标在当前帧中的ROI。

4.根据权利要求2所述的无人机自主飞机控制方法，其特征在于，所述的目标朝向估计的步骤具体如下：

预先采集待跟踪目标各角度图像，进行朝向标定后，作为训练数据集，利用随机梯度下降算法迭代求解进行深度学习，构建目标朝向估计神经网络，该网络包括多层卷积层、全连接层和输出层，结合激活层以提升非线性拟合，并采用池化层实现特征图的降维和防止模型过拟合；

以目标检测步骤获得的结果作为神经网络的输入，进行目标朝向估计，得到目标相对于无人机当前的朝向类别。

5.根据权利要求1所述的无人机自主飞行控制方法，其特征在于，所述的自主飞行控制

的步骤具体如下：

根据数据采集单元获取的无人机当前姿态信息以及相机当前姿态信息，结合目标检测步骤获得的目标位置信息与尺度信息，估计目标至无人机的角度与距离；结合目标朝向估计步骤获得的目标朝向信息，估计目标正面与无人机正面形成的劣弧及其夹角以确定绕飞方向。

6.当目标距离无人机较远，实施接近控制策略，分别采用控制算法控制无人机机身坐标下前向速度与偏航角速度，使无人机以正对姿态接近目标；

当目标距离无人机较近，实施绕飞控制策略，分别采用控制算法控制无人机机身坐标下前向速度、偏航角速度以及横向速度，使无人机绕飞至目标正面。

7.根据权利要求3或4所述的无人机自主飞行控制方法，其特征在于，所述跟踪目标各角度图像包括地面多监控摄像头跟踪图像。

8.根据权利要求3所述的无人机自主飞机控制方法，其特征在于，所述目标先验位置信息包括地面多监控摄像头跟踪信息。