CN111385459A

CN111385459A - 一种无人机云台自动控制与对焦、测光方法

Info

Publication number: CN111385459A
Application number: CN201811618344.3A
Authority: CN
Inventors: 尹彦卿; 王昂; 陈梦云
Original assignee: Grace Spiral Co ltd
Current assignee: Grace Spiral Co ltd
Priority date: 2018-12-28
Filing date: 2018-12-28
Publication date: 2020-07-07

Abstract

本发明公布了一种无人机云台自动控制与对焦、测光方法，首先利用无人机云台相机获取环境中的图像，通过RTSP对相机数据进行实时数据采集；获取的图像数据再通过以YOLO v3算法为基础改进而来的深度学习算法进行目标检测，该算法可以在图像数据中识别出多种特定的目标，根据目标位置控制云台角度，将目标稳定在相机视野中心，对指定目标进行对焦和测光。该方法可以实现无人机飞行情况下，实时获取飞行器云台相机拍摄的视频数据，依据识别的目标位置控制云台，对指定目标进行对焦和测光，检测方法准确性高并且相比普通的对焦、测光算法拍摄成功率显著提升。

Description

一种无人机云台自动控制与对焦、测光方法

技术领域

本发明属于无人机云台自动控制领域，特别是无人机云台自动控制以及对指定目标的对焦、测光领域。

背景技术

无人机搭载云台飞行过程中，需要云台对准指定目标，在目标和飞行器运动过程中，保持目标一直出现在视野范围之内，并对目标进行准确的对焦和测光以便拍照。普通的相机自动对焦和测光算法都是针对整幅图像而言，无法针对需要拍摄的特定物体进行对焦和测光，在大光比、复杂环境下常常出现对焦、测光错误的情况，成像质量很差。

为解决此问题，必须设计一套可靠、准确的视觉目标识别跟踪算法，识别出图像中的目标信息，才能进行无人机云台的自动控制、对焦和测光。无人机运行的飞行环境比较复杂，图像中的干扰信息较多，传统的目标识别检测算法难以完成任务。

新兴的深度学习目标检测算法能够从数据中自动学习目标特征，对目标的表征能力强，目前已广泛应用到图像分类与识别当中。将先进的深度学习目标识别算法及云台控制算法应用在无人机上，能够大大提升无人机的自主能动性和智能化程度，扩展无人机的应用范围。

发明内容

本发明的目的在于提供一种无人机云台自动控制与对焦、测光方法，可以实现飞行器飞行过程中对指定目标的识别跟踪，控制云台角度保持目标一直出现在视野范围内，并对指定目标进行对焦和测光以便拍照。

为实现上述目的，本发明采用以下技术方案：

一种无人机云台自动控制与对焦、测光方法，包括以下步骤：

第一步，利用RTSP获取云台的实时视频数据；

第二步，根据获取的实时数据，利用基于YOLO v3算法的深度学习算法，处理云台的数据，检测相机视野内的目标；

第三步，控制云台角度，将视野中心对准指定目标，跟随目标移动保持跟踪；

第四步，控制相机，对指定目标进行对焦和测光。

与现有技术相比，本发明所达到的有益效果是：

1.通过深度学习算法获取指定目标位置信息，自动控制云台保持目标始终位于视角中心，对指定目标进行对焦和测光以便辅助拍照，极大减少废片率，提高跟踪目标的稳定性；

2.利用RTSP获取实时视频数据，采用硬解码加速视频解码过程，保证目标对象位置的实时性和准确性；

3. 从多方面改进YOLO v3算法，实现以YOLO v3为基础的深度学***台的搭建部署，检测速度对比原始算法有一倍的提升。

附图说明

图1是本发明方法的整体框图；

图2是深度学习算法示意图；

图3 是云台自动控制算法示意图；

图4 是半精度类型与单精度类型示意图。

具体实施方式

以下结合附图，对本发明的技术方案作具体说明。

一种无人机云台自动控制与对焦、测光方法，其包括以下步骤：

步骤1

利用RTSP获取无人机云台相机实时视频数据，逐帧解码获取BGR24图像数据。具体过程如下：

（1）通过RTSP，利用TCP协议获取实时视频流数据；

（2）根据视频流格式获取相应硬解码器，对视频流数据进行硬解码，逐帧读取数据流，将图像数据格式由YUV420P转换为BGR24。

步骤2

利用改进的基于YOLO v3的深度学习算法，处理图像数据识别无人机云台视野范围内目标。算法示意如图2，具体过程如下：

（1）将解码获得原始图像数据类型由char类型归一化为半精度half数据类型，然后将图片数据统一转化为384×384大小。

（2）卷积神经网络运算。首先将输入数据基于darknet-53卷积网络提取特征值获得全连接层特征向量，其次对全连接层输出向量S×S×B(5+C)进行解析获取目标分类以及目标位置信息。darknet-53卷积网络采用ResNet跳层连接方式，在其上堆叠了53层，提供了106层完全卷积的底层架构。将输入的图片分割成S×S网格，每个单元格负责检测中心点落在该格内的目标。每个单元格预测B个边界框（bounding box）以及边界框的置信度（confidence score），对于384×384的输入，共有三个全连接输出层，S分别取12、24和48。YOLO v3 设定每个网格单元预测3个边界框，每个边界框包含(x, y, w, h, c)五个基本参数以及C个类别概率，其中x，y，w，h表示目标框的位置和大小， c表示置信度，C表示类别数值为80。所谓置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。

（3）针对一个目标被多次检测问题，采用非极大值抑制算法（non maximumsuppression, NMS），YOLO v3算法将小于置信度阈值的值归0，然后分类别地对置信度值采用NMS，这里NMS处理结果不是剔除，而是将其置信度值归为0。最后确定各个box的类别，置信度值不为0的作为最终结果。

步骤3

根据目标对象的位置区域信息，控制云台角度，将视野中心对准指定目标，跟随目标移动保持跟踪。算法示意图如图3，具体过程如下：

（1）利用几何关系推导出目标物体所在位置与图片中心点之间的角度；

指定目标中心点位置：

，

偏航角：

俯仰角：

其中x _c ，y _c表示检测出的目标物体的中心点位置信息，W、H表示图片宽度和高度，x，y， w，h表示目标框的位置和大小，aov表示相机视角。

（2）根据计算出的角度信息自动控制云台调整俯仰角和偏航角，使相机视野中心对准目标物体。

（3）利用卡尔曼滤波算法减少不准确检测引入的噪声，获取连续的目标位置流信息，控制云台跟随目标物体移动保持跟踪。

步骤4

控制相机，对指定目标进行对焦和测光。

根据深度学习算法检测到的指定目标的位置和区域信息，控制相机焦点对准指定目标的区域框。

相机自动假设所测光区域的反光率都是18%，通过这个比例根据算法识别出的指定目标区域，进行测光。随后确定光圈和快门的数值，光圈和快门是有相关联系的，在同样的光照条件下，如果要得到相同的曝光量，光圈值越大，则需要快门值越大，而如果光圈值越小，则需要快门值越小。

对于步骤2所述的基于YOLO v3的深度学习算法，采用如下改进方法加速推理过程的进行：

（1）利用CUDA通用并行计算架构，针对输入图像的大小转换以及归一化处理等耗时运算均使用GPU进行并行计算，减少内存延迟，优化计算速度。

（2）利用CUDNN深度神经网络的GPU加速库。CUDNN为深度神经网络中的标准流程提供了高度优化的实现方式，包括卷积层、池化层、归一化以及激活的前向以及后向过程。通过将卷积神经网络的计算变换为对GPU更友好的矩阵运算，CUDNN可以有效提高整个神经网络的运算速度。

（3）一般深度学习的参数，网络权值都是用单精度浮点类型表示。单精度浮点类型采用4个字节也就是32位二进制来表达一个数字，而半精度类型采用2个字节16位二进制来表达一个数字，可以节约内存占用、耗电量和运算时间。在进行目标识别时，对于最终输出的目标位置信息及分类概率，权值的微小变化对识别结果的影响可以忽略不计，而识别速度是无人机深度学习云台控制算法的重点。利用半精度类型替代单精度类型表示权值，可以极大加快目标识别速度。单精度浮点类型转换半精度类型方法具体过程为，对单精度类型，首先将符号位右移16位。然后将指数部分减112（127与15之间的差距），右移13位，最后尾数部分右移13位，半精度类型与单精度类型结构图如图4所示。

在NVIDIA TX2嵌入式平台，将权值从单精度类型转换为半精度类型可以将识别速度提高一倍，具有显著的加速效果。

Claims

1.一种无人机云台自动控制与对焦、测光方法，其特征在于，包括以下步骤：

第一步，利用RTSP获取云台的实时视频数据；

第二步，根据获取的实时视频数据，利用基于yolo v3算法的深度学习算法，处理云台的数据，检测相机视野内的目标；

第四步，控制相机，对指定目标进行对焦和测光。

2.根据权利要求1所述的一种无人机云台自动控制与对焦、测光方法，其特征在于：利用基于yolo v3深度学习算法识别出每帧视频数据中的目标；利用logistic方式进行边框预测，计算出目标的位置信息；最后通过卡尔曼滤波减少不准确检测引入的噪声，实现指定目标识别跟踪。

3.根据权利要求1所述的一种无人机云台自动控制与对焦、测光方法，其特征在于：利用NVIDIA TX2平台实现神经网络的并行计算以及图像归一化的并行计算，并利用半精度类型网络权值加速计算。