CN115665553B - 一种无人机的自动跟踪方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种无人机的自动跟踪方法、装置、电子设备及存储介质，本发明可在无人机飞行过程中，不断获取无人机图像，并通过计算出图像中无人机与图像中心在水平和垂直方向上的偏离角度，来得出摄像头的转动角度，从而基于前述转动角度不断调整摄像头的转动方向，进而实现无人机的实时跟踪；由此，本发明在无人机跟踪过程中无需使用卫星和雷达，因此，降低了跟踪成本，同时，还避免了无人机雷达反射面积小所带来的识别率较低的问题，提高了对无人机跟踪的准确性。

Description

一种无人机的自动跟踪方法、装置、电子设备及存储介质

技术领域

本发明属于无人机跟踪技术领域，具体涉及一种无人机的自动跟踪方法、装置、电子设备及存储介质。

背景技术

近年来，无人机技术得到了快速发展，被广泛用于各领域，极大的提高了各领域工作的便捷性；相应的，在不断应用过程中，对无人机的跟踪、识别与定位技术也提出了更高的要求。目前，针对无人机的跟踪、识别与定位有多种方案，主要包括卫星定位的方式和雷达探测等，其中，卫星定位方式主要是利用卫星、地面信号收发基站和遥感操控器，并借助GPS定位和北斗定位，来实现无人机、卫星以及地面信号收发基站之间的信息交互，从而来获取无人机的位置信息和飞行状态，进而实现无人机的跟踪识别；而雷达探测则主要使用无源雷达探测、定位和跟踪无人机，并接收无人机的遥测信号，通过对遥测信号的分析，完成无人机的跟踪识别。

但是，前述无人机的跟踪方法存在以下不足，其中，基于卫星和遥感飞行器的跟踪方法部署成本高，不适合民用领域；而使用雷达的跟踪方法，虽然具备全天候识别能力，但由于无人机的雷达反射截面较小，导致对无人机的识别率较低，从而无法对无人机进行准确跟踪；因此，提供一种成本低，且识别率高，能够准确跟踪无人机的跟踪方法迫在眉睫。

发明内容

本发明的目的是提供一种无人机的自动跟踪方法、装置、电子设备及存储介质，用以解决现有技中对无人机跟踪所存在的成本高，以及识别率低而导致无法准确跟踪无人机的问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，提供了一种无人机的自动跟踪方法，应用于至少一个摄像头对无人机的自动跟踪，其中，对于任一摄像头，所述方法包括：

获取任一摄像头拍摄的无人机图像，并对所述无人机图像进行目标检测，得到所述无人机图像中无人机的中心点坐标；

基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度；

根据所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度；以及

基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度；

依据所述水平转动角度，控制所述任一摄像头的水平舵机转动，以及依据所述垂直转动角度，控制所述任一摄像头的垂直舵机转动；

重新获取所述任一摄像头拍摄的无人机图像，直至在重新获取的无人机图像中未检测到所述无人机时为止，以便通过任一摄像头拍摄的无人机图像，完成对所述无人机的自动跟踪。

基于上述公开的内容，本发明利用摄像头来获取无人机图像，并对无人机图像进行目标检测，从而对无人机图像中的无人机进行目标识别，以得出无人机在图像中的位置；然后，本发明则可基于无人机在图像中的位置，来计算出无人机在图像中相对于图像中心在垂直和水平方向上的偏离角度；接着，即可基于前述两个方向上的偏离角度来计算出摄像头在水平和垂直方向上的转动角度，最后，则可利用计算出的水平和垂直方向上的转动角度，来控制摄像头的水平舵机和垂直舵机转动，从而完成摄像头方向的调整；以此原理，在无人机飞行过程中，不断获取无人机图像，并按照前述方法，即可实时计算出摄像头的转动角度，从而基于计算出的转动角度不断调整摄像头的转动方向，以最终实现无人机的实时跟踪；由此，本发明在无人机跟踪过程中无需使用卫星和雷达，因此，降低了跟踪成本，同时，还避免了无人机雷达反射面积小所带来的识别率较低的问题，提高了对无人机跟踪的准确性。

在一个可能的设计中，基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度，包括：

获取所述任一摄像头在水平方向上的最大探测距离，以及在垂直方向上的最大探测距离；

基于所述任一摄像头在水平方向上的最大探测距离以及在垂直方向上的最大探测距离，确定出所述无人机图像中的图像中心点的坐标；

根据所述无人机图像中的图像中心点的坐标以及所述无人机图像中无人机的中心点的坐标，计算出所述图像中心点与所述无人机的中心点之间的垂直距离、水平距离以及直线距离；

依据所述图像中心点与所述无人机的中心点之间的垂直距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度；以及

依据所述图像中心点与所述无人机的中心点之间的水平距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度。

基于上述公开的内容，本发明公开了无人机相对于图像中心点，在两个方向上的偏离角度的计算过程，即先利用摄像头在水平和垂直方向上的最大探测距离，确定出无人机图像中的图像中心点坐标，然后，基于图像中心点坐标和无人机中心的坐标，来计算出二者间的水平距离、垂直距离以及直线距离，最后，利用三条线段构成直角三角形，并使用反三角函数，即可计算得到无人机的中心点与图像中心点之间的水平偏离角度和垂直偏离角度。

在一个可能的设计中，根据无人机图像中无人机的中心点与无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度，包括：

获取比例增益系数、积分增益系数以及微分增益系数；

利用PID控制算法，并基于所述比例增益系数、所述积分增益系数、所述微分增益系数以及所述水平偏离角度，计算得到所述任一摄像头的水平转动角度；

相应的，基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度，包括：

利用PID控制算法，并基于所述比例增益系数、所述积分增益系数、所述微分增益系数以及所述垂直偏离角度，计算得到所述任一摄像头的垂直转动角度。

基于上述公开的内容，本发明利用PID控制算法，并基于水平偏离角度，来计算出摄像头的水平转动角度，以及基于垂直偏离角度，来计算出摄像头的垂直转动角度，由此，采用PID控制摄像头的舵机转动，其转动精确性以及实时性高，可保证对无人机跟踪的实时性。

在一个可能的设计中，当应用于两个摄像头对无人机的自动跟踪时，所述方法还包括：

获取所述无人机处于两摄像头对应摄像画面正中心时，两摄像头的摄像参数，以作为位置计算参数，其中，两摄像头的安装位置处于同一水平高度；

基于两摄像头之间的水平距离以及所述位置计算参数，计算得到两摄像头中的第一摄像头与无人机标定点之间的距离，其中，所述无人机标定点为无人机的标定线与地面之间的交点，且所述标定线是以无人机的中心点为起点，垂直向下引垂线得到的线段；

基于所述位置计算参数以及所述第一摄像头与无人机标定点之间的距离，计算得到所述无人机的世界坐标。

基于上述公开的内容，本发明还可通过两台摄像头捕捉到无人机后的摄像参数，来计算出无人机的世界坐标，从而得出无人机的位置；由此，本发明可在跟踪过程中，精确定位无人机，从而实现无人机的位置识别。

在一个可能的设计中，所述位置计算参数包括：第一摄像头的水平角以及第二摄像头的水平角，其中，基于两摄像头之间的水平距离以及所述位置计算参数，计算得到两摄像头中的第一摄像头与无人机标定点之间的距离，包括：

按照如下公式(1)，计算得到所述第一摄像头与无人机标定点之间的距离：

上述式(1)中，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，β′表示第二摄像头的水平角，d表示第一摄像头与第二摄像头之间的水平距离。

在一个可能的设计中，所述位置计算参数包括：第一摄像头的水平角、第一摄像头的俯仰角以及第一摄像头的世界坐标；

相应的，基于所述位置计算参数以及所述第一摄像头与无人机标定点之间的距离，计算得到所述无人机的世界坐标，包括：

按照如下公式(2)、公式(3)以及公式(4)，依次计算得到所述无人机在世界坐标系下的横坐标、纵坐标以及z轴坐标；

x′＝lcosα′+X₁ (2)

y′＝lsinα′+Y₁ (3)

z′＝ltanα+Z₁ (4)

上述式(2)中，x′表示无人机在世界坐标系下的横坐标，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，X₁表示第一摄像头对应世界坐标内的横坐标值；

上述式(3)中，y′表示无人机在世界坐标系下的纵坐标，Y₁表示第一摄像头对应世界坐标内的纵坐标值；

上述式(4)中，z′表示无人机在世界坐标系下的z轴坐标，Z₁表示第一摄像头对应世界坐标内的z轴坐标值，a表示第一摄像头的俯仰角。

第二方面，提供了一种无人机的自动跟踪装置，包括：

目标检测单元，用于获取任一摄像头拍摄的无人机图像，并对所述无人机图像进行目标检测，得到所述无人机图像中无人机的中心点坐标；

偏离角度计算单元，用于基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度；

摄像机角度计算单元，用于根据所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度；以及

摄像机角度计算单元，还用于基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度；

舵机控制单元，用于基于依据所述水平转动角度，控制所述任一摄像头的水平舵机转动，以及依据所述垂直转动角度，控制所述任一摄像头的垂直舵机转动；

目标检测单元，还用于重新获取所述任一摄像头拍摄的无人机图像，直至在重新获取的无人机图像中未检测到所述无人机时为止，以便通过任一摄像头拍摄的无人机图像，完成对所述无人机的自动跟踪。

在一个可能的设计中，偏离角度计算单元包括：获取子单元、中心点计算子单元、距离计算子单元以及角度计算子单元；

获取子单元，用于获取所述任一摄像头在水平方向上的最大探测距离，以及在垂直方向上的最大探测距离；

中心点计算子单元，用于基于所述任一摄像头在水平方向上的最大探测距离以及在垂直方向上的最大探测距离，确定出所述无人机图像中的图像中心点的坐标；

距离计算子单元，用于根据无人机图像中图像中心点的坐标以及所述无人机图像中无人机的中心点的坐标，计算所述图像中心点与所述无人机的中心点之间的垂直距离、水平距离以及直线距离；

角度计算子单元，用于依据所述图像中心点与所述无人机的中心点之间的垂直距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度；

角度计算子单元，还用于依据所述图像中心点与所述无人机的中心点之间的水平距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度。

第三方面，提供了另一种无人机的自动跟踪装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述无人机的自动跟踪方法。

第四方面，提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述无人机的自动跟踪方法。

第五方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述无人机的自动跟踪方法。

有益效果：

(1)本发明可在无人机飞行过程中，不断获取无人机图像，并通过计算出图像中无人机与图像中心在水平和垂直方向上的偏离角度，来得出摄像头的转动角度，从而基于前述转动角度不断调整摄像头的转动方向，进而实现无人机的实时跟踪；由此，本发明在无人机跟踪过程中无需使用卫星和雷达，因此，降低了跟踪成本，同时，还避免了无人机雷达反射面积小所带来的识别率较低的问题，提高了对无人机跟踪的准确性。

(2)本发明还可通过两台摄像头捕捉到无人机后的摄像参数，来计算出无人机的世界坐标，从而得出无人机的位置；由此，本发明可在跟踪过程中，精确定位无人机，从而实现无人机的位置识别。

附图说明

图1为本发明实施例提供的无人机的自动跟踪方法的步骤流程示意图；

图2为本发明实施例提供的摄像头的结构示意图；

图3为本发明实施例提供的水平偏离角和垂直偏离角的计算原理示意图；

图4为本发明实施例提供的无人机的世界坐标的计算原理示意图；

图5为本发明实施例提供的无人机的自动跟踪装置的结构示意图。

图6为本发明实施例提供的电子设备的结构示意图。

附图标记：10-摄像头；20-云台；30-水平舵机；40-垂直舵机。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

实施例：

参见图1所示，本实施例所提供的无人机的自动跟踪方法，应用于至少一个摄像头对无人机的自动跟踪，其中，每个摄像头的跟踪方法相同，下述以任一摄像头为例来进行详细阐述，具体的，任一摄像头可在无人机飞行过程中，不断获取无人机图像，并通过对无人机图像进行目标识别，来得出无人机在图像中的位置，接着，即可基于无人机在图像中的位置，来计算出无人机与图像中心点之间的水平和垂直偏离角度；最后，该任一摄像头即可基于计算出的两偏离角度，来得出其在水平和垂直方向上的转动角度，而后，基于两转动角度，即可控制其水平舵机和垂直舵机转动，从而实现拍摄方向的实时调整；可选的，举例本实施所提供的方法可以但不限于在摄像头侧运行，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S5所示。

S1.获取任一摄像头拍摄的无人机图像，并对所述无人机图像进行目标检测，得到所述无人机图像中无人机的中心点坐标；具体应用时，任一摄像头可按照预设采样周期采集图像，该预设采样周期可根据实际使用所设定，如设定为100ms、10ms等；当然，也可按照前述预设采样周期采集无人机飞行的视频流，然后取视频流的关键帧作为无人机图像；可选的，举例使用改进后的YOLOv3神经网络来对无人机图像进行目标检测，而图像中无人机的中心点坐标，实际则是无人机图像中预测框的中心点坐标。

更进一步的，举例改进后的YOLOv3神经网络在原有的YOLOv3神经网络上增加了第一特征融合层、第二特征融合层以及上采样层，其中，所述第一特征融合层用于使用1×1的卷积层对YOLOv3神经网络中的第103层卷积层输出的特征图进行特征融合，得到第一特征图，并将第一特征图输出至YOLOv3神经网络的第108层卷积层，同时，举例所述第一特征融合层的通道数为64；由此，利用特征融合的方式，可增加从无人机图像中提取到的特征信息。

在本实施例中，所述上采样层用于对YOLOv3神经网络中的第108层进行上采样，且所述上采样得到的特征图的感受野尺度为104×104(原本为52×52)；由此，增大感受野尺寸，可提高特征信息提取的丰富度，同时，本实施例还在第109层卷积层降低感受野尺度，从而提高对小目标检测的能力。

更进一步的，所述第二特征融合层，用于将YOLOv3神经网络中第11层卷积层输出的特征图与第109层卷积层输出的特征图进行特征融合，得到第二特征图；其中，由于第11层的特征信息属于底层的特征，其经过多次卷积处理后，保存了小目标物体的更多细节，因此，将前述两层的特征图相融合，可使得到的第二特征图包含无人机图像中更多的特征信息。

另外，所述改进后的YOLOv3神经网络中的第81层、第93层、第105层以及第117层输出的特征图的感受野尺寸依次为13×13、26×26、53×53和104×104，且改进后的YOLOv3神经网络使用逻辑回归函数分别对第81层、第93层、第105层以及第117层输出的特征图进行目标检测；由此，通过对不同感受野尺度下的特征图分别进行目标检测，可减少对无人机图像中无人机的漏检率和虚检率。

可选的，举例改进后的YOLOv3神经网络的训练过程为：(1)拍摄无人机照片，获取数据集，其中，数据集包括夜间拍摄的红外图像和白天拍摄的无人机样本图像；(2)用labelme(一种基于QT的跨平台图像标注工具，可用来标注分类、检测、分割、关键点等信息)软件对数据集中每张图像内的无人机进行标注，每一张图片均有与之相对应的注释文件，文件中包含无人机边界框的位置和大小；(3)将数据集划分为训练集和测试集，其中，训练集与测试集的比例为9：1；(4)以训练集为输入，训练集中每张图像内无人机的边界框的位置和大小为输出，训练改进后的YOLOv3神经网络，并在训练过程中，利用测试集调整网络参数，直至准确率和召回率达到85％以上时，结束训练；当然，在本实施例中，举例改进后的YOLOv3神经网络可以但不限于部署在摄像头内，从而在使用时，在本地即可完成无人机识别。

在识别得到无人机在图像中的中心点坐标后，即可基于无人机的中心点坐标，来计算出其与图像中心点之间的偏离角度，以便后续基于计算出的偏离角度，来进行摄像头转动角度的调整，其中，偏离角度计算过程如下述步骤S2所示。

S2.基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度；具体应用时，需要先确定出无人机图像中图像中心点的坐标，而后，根据图像中心点的坐标和无人机中心点的坐标，即可计算出无人机相对于图像中心点在水平和垂直方向上的偏离角度；可选的，前述两偏离角度的计算过程可以但不限于如下述步骤S21～S24所示。

S21.获取所述任一摄像头在水平方向上的最大探测距离，以及在垂直方向上的最大探测距离；具体应用时，任一摄像头在水平和垂直方向上的最大探测距离为其固有属性，可预先存储至摄像头的处理器内，使用时读取即可。

在得到任一摄像头在水平和垂直方向上的最大探测距离后，即可确定出无人机图像中图像中心点的坐标，其中，确定过程如下述步骤S22所示。

S22.基于所述任一摄像头在水平方向上的最大探测距离以及在垂直方向上的最大探测距离，确定出所述无人机图像中的图像中心点的坐标；具体应用时，图像中心点的坐标为(w/2，h/2)，其中，w为任一摄像头在水平方向上的最大探测距离，而h则为任一摄像头在垂直方向上的最大探测距离。

在得到无人机图像中图像中心点的坐标后，即可结合图像无人机的中心点坐标，来计算出图像中无人机与图像中心点之间的水平偏离角度和垂直偏离角度，其中，计算过程如下述步骤S23和步骤S24所示。

S23.根据所述无人机图像中的图像中心点的坐标以及所述无人机图像中无人机的中心点的坐标，计算出所述图像中心点与无人机的中心点之间的垂直距离、水平距离以及直线距离。

S24.依据所述图像中心点与所述无人机的中心点之间的垂直距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度；以及依据所述图像中心点与所述无人机的中心点之间的水平距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度。

参见图3所示，图3中的O点表示图像中心点，而D点表示无人机的中心点，其中，图像中心点与无人机的中心点之间的水平距离、垂直距离和直线距离，则可组成一直角三角形，也就是图3中的三角形ODH，图3中，OH为水平距离，DH为垂直距离，而OD则为直线距离，因此，前述OH、OD和DH则可利用图像中心点与无人机的中心点的坐标计算得出，而后，利用反三角函数，即可计算得到角HOD和角ODH的角度，具体的，角HOD是水平偏离角，而角ODH则是垂直偏离角。

在得出无人机图像中无人机与图像中心点之间的水平偏离角度和垂直偏离角度后，即可基于前述两偏离角度，来计算得到任一摄像头的水平转动角度和垂直转动角度，其中，计算过程如下述步骤S3所示。

S3.根据所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度，以及基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度；具体应用时，本实施例采用PID(Proportional IntegralDerivative，比例积分微分控制)控制算法，来基于水平偏离角度计算出任一摄像头的水平转动角度，以及基于垂直偏离角度来计算出任一摄像头的垂直转动角度；可选的，PID计算过程如下述步骤S31和步骤S32所示。

S31.获取比例增益系数、积分增益系数以及微分增益系数；具体应用时，前述三个系数为预设值，可预存至任一摄像头的处理器中。

S32.利用PID控制算法，并基于所述比例增益系数、所述积分增益系数、所述微分增益系数以及所述水平偏离角度，计算得到所述任一摄像头的水平转动角度，以及利用PID控制算法，并基于所述比例增益系数、所述积分增益系数、所述微分增益系数以及所述垂直偏离角度，计算得到所述任一摄像头的垂直转动角度；具体应用时，举例可以但不限于按照如下公式(5)来计算得出水平转动角度，以及利用如下公式(6)来计算得出垂直转动角度。

上述式(5)中，u₁(t)表示在任一摄像头的水平转动角度，k₁,k₂,k₃依次为比例增益系数、积分增益系数以及微分增益系数，e₁(t)表示任一摄像头的水平偏离角度，t₁和t₂分别为任一摄像头对应无人机图像的采集起点时间和终点时间，因此，u₁(t)则表示在t₁至t₂这一时间段内的任一摄像头的水平转动角度。

同理，上述式(6)中，u₂(t)表示在任一摄像头的垂直转动角度，e₂(t)表示任一摄像头的垂直偏离角度。

因此，基于前述公式(5)和公式(6)，即可计算出任一摄像头在无人机图像对应采集时间内的水平转动角度以及垂直转动角度；而在得到前述两个方向上的转动角度后，即可进行任一摄像头对应舵机的控制，如下述步骤S4所示。

S4.依据所述水平转动角度，控制所述任一摄像头的水平舵机转动，以及依据所述垂直转动角度，控制所述任一摄像头的垂直舵机转动；具体应用时，参见图2所示，摄像头10安装在云台20上，而云台20包括水平舵机30和垂直舵机40，即水平舵机30带动摄像头10在水平方向上进行180度转动，而垂直舵机40则带动摄像头10在竖直方向上进行180度转动；在本实施例中，水平转动角度则是水平舵机的转动角度，而垂直转动角度则是垂直舵机的转动角度，因此，只需根据前述两转动角度，调节对应舵机转动即可实现摄像头的拍摄方向的调整。

由此，经过前述步骤就完成了一个采样周期内摄像头转动方向的调整，以此原理，不断采集无人机图像，即可基于采集的无人机图像，来不断调整摄像头的转动方向，从而实现无人机的自动跟踪，如下述步骤S5所示。

S5.重新获取所述任一摄像头拍摄的无人机图像，直至在重新获取的无人机图像中未检测到所述无人机时为止，以便通过任一摄像头拍摄的无人机图像，完成对所述无人机的自动跟踪；具体应用时，可再次按照预设采样周期来采集无人机图像(如每隔10ms采集一次)，并重复前述步骤S1～S4，由此，即可基于每次采集的无人机图像，来计算出任一摄像头的水平转动角度以及垂直转动角度，从而基于计算出的两转动角度，来实现摄像头拍摄方向的调整，进而实现无人机的自动跟踪。

由此通过前述步骤S1～S5所详细描述的无人机的自动跟踪方法，本发明可在无人机飞行过程中，不断获取无人机图像，并通过计算出图像中无人机与图像中心在水平和垂直方向上的偏离角度，来计算出摄像头的转动角度，从而基于计算出的转动角度不断调整摄像头的转动方向，进而实现无人机的实时跟踪；由此，本发明在无人机跟踪过程中无需使用卫星和雷达，因此，降低了跟踪成本，同时，还避免了无人机雷达反射面积小所带来的识别率较低的问题，提高了对无人机跟踪的准确性。

在一个可能的设计中，本实施例第二方面在实施例第一方面的基础上，提供一种无人机跟踪过程中的位置定位方法，该方法可计算出无人机的世界坐标，因此，可实现无人机的精确定位，其中，本实施例第二方面所提供的方法应用于两个摄像头对无人机跟踪时的精确定位，其运行过程可以但不限于如下述步骤S6～S8所示。

S6.获取所述无人机处于两摄像头对应摄像画面正中心时，两摄像头的摄像参数，以作为位置计算参数，其中，两摄像头的安装位置处于同一水平高度；具体应用时，举例位置计算参数可以但不限于包括：第一摄像头的水平角、第一摄像头的俯仰角、第二摄像头的水平角以及第一摄像头的世界坐标；在本实施例中，可通过判断第一摄像机和第二摄像机对应的无人机图像内，无人机的中心是否与各自图像的中心相重合，来得出无人机是否处于两摄像头对应摄像画面的正中心，即当两图像内的无人机中心与各自图像的中心相重合时，则说明无人机处于两摄像头对应摄像画面的正中心，此时，即可获取两摄像头的摄像参数；当然，第一和第二摄像头可直接输出不同测量情况下的俯仰角和水平角，而世界坐标则是在摄像头安装时得到的。

在得到两摄像头的摄像参数后，即可基于两摄像头之间的水平距离，来计算出第一摄像头与无人机标定点之间的距离，以便后续基于该距离以及两摄像头的摄像参数，来计算得到无人机的世界坐标，其中，距离计算过程如下述步骤S7所示。

S7.基于两摄像头之间的水平距离以及所述位置计算参数，计算得到两摄像头中的第一摄像头与无人机标定点之间的距离，其中，所述无人机标定点为无人机的标定线与地面之间的交点，且所述标定线是以无人机的中心点为起点，垂直向下引垂线得到的线段；具体应用时，参见图4所示，图4中的A1表示第一摄像头，A2表示第二摄像头，C点表示无人机，α′表示第一摄像头的水平角，β′表示第二摄像头的水平角，a表示第一摄像头的俯仰角，β表示第二摄像头的俯仰角，d表示第一摄像头和第二射线头之间的水平距离，l表示两摄像头中的第一摄像头与无人机标定点之间的距离；因此，可以第一摄像头和第二摄像头为原点，并基于右手定则建立三维坐标系来求解l；如图4所展示的两坐标系，其中，无人机的中心向下引垂线，该垂线与地面的交底则为无人机标定点(即图4中的F点)，那么第一摄像头、无人机标定点以及第二摄像头，这三点之间可构成一直角三角形，因此，根据正弦定理，可得出如下关系式(1)：

上述式(1)中，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，β′表示第二摄像头的水平角，d表示第一摄像头与第二摄像头之间的水平距离。

因此，基于前述公式(1)，在已知第一摄像头的水平角、第二摄像头的水平角以及两摄像头之间的水平距离后，即可计算得到第一摄像头与无人机标定点之间的距离；由此，即可基于前述计算出的距离，并结合前述位置计算参数，来计算得到无人机的世界坐标，其中，坐标计算过程如下述步骤S8所示。

S8.基于所述位置计算参数以及所述第一摄像头与无人机标定点之间的距离，计算得到所述无人机的世界坐标；具体应用时，可以但不限于按照如下公式(2)、公式(3)以及公式(4)，依次计算得到所述无人机在世界坐标系下的横坐标、纵坐标以及z轴坐标：

x′＝lcosα′+X₁ (2)

y′＝lsinα′+Y₁ (3)

z′＝ltanα+Z₁ (4)

上述式(2)中，x′表示无人机在世界坐标系下的横坐标，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，X₁表示第一摄像头对应世界坐标内的横坐标值。

上述式(3)中，y′表示无人机在世界坐标系下的纵坐标，Y₁表示第一摄像头对应世界坐标内的纵坐标值。

上述式(4)中，z′表示无人机在世界坐标系下的z轴坐标，Z₁表示第一摄像头对应世界坐标内的z轴坐标值，a表示第一摄像头的俯仰角。

由此通过前述设计，本发明可通过两台摄像头捕捉到无人机后的摄像参数，来计算出无人机的世界坐标，从而得出无人机的位置；由此，本发明可在跟踪过程中，精确定位无人机，从而实现无人机的位置识别。

如图5所示，本实施例第三方面提供了一种实现实施例第一方面和第二方面中所述的无人机的自动跟踪方法的硬件装置，包括：

目标检测单元，用于获取任一摄像头拍摄的无人机图像，并对所述无人机图像进行目标检测，得到所述无人机图像中无人机的中心点坐标。

偏离角度计算单元，用于基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度。

摄像机角度计算单元，用于根据所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度。

摄像机角度计算单元，还用于基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度。

舵机控制单元，用于基于依据所述水平转动角度，控制所述任一摄像头的水平舵机转动，以及依据所述垂直转动角度，控制所述任一摄像头的垂直舵机转动。

目标检测单元，还用于重新获取所述任一摄像头拍摄的无人机图像，直至在重新获取的无人机图像中未检测到所述无人机时为止，以便通过任一摄像头拍摄的无人机图像，完成对所述无人机的自动跟踪。

在一个可能的设计中，偏离角度计算单元包括：获取子单元、中心点计算子单元、距离计算子单元以及角度计算子单元。

获取子单元，用于获取所述任一摄像头在水平方向上的最大探测距离，以及在垂直方向上的最大探测距离。

中心点计算子单元，用于基于所述任一摄像头在水平方向上的最大探测距离以及在垂直方向上的最大探测距离，确定出所述无人机图像中的图像中心点的坐标。

距离计算子单元，用于根据无人机图像中图像中心点的坐标以及所述无人机图像中无人机的中心点的坐标，计算所述图像中心点与所述无人机的中心点之间的垂直距离、水平距离以及直线距离。

角度计算子单元，用于依据所述图像中心点与所述无人机的中心点之间的垂直距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度。

角度计算子单元，还用于依据所述图像中心点与所述无人机的中心点之间的水平距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度。

本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面和第二方面，于此不再赘述。

如图6所示，本实施例第四方面提供了另一种无人机的自动跟踪装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面和/或第二方面所述的无人机的自动跟踪方法。

具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面和第二方面，于此不再赘述。

本实施例第五方面提供了一种存储包含有实施例第一方面和第二方面所述的无人机的自动跟踪方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面和/或第二方面所述的无人机的自动跟踪方法。

其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面和第二方面，于此不再赘述。

本实施例第六方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面和/或第二方面所述的无人机的自动跟踪方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种无人机的自动跟踪方法，其特征在于，应用于至少一个摄像头对无人机的自动跟踪，其中，对于任一摄像头，所述方法包括：

获取任一摄像头拍摄的无人机图像，并对所述无人机图像进行目标检测，得到所述无人机图像中无人机的中心点坐标；

基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度；

根据所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度；以及

基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度；

依据所述水平转动角度，控制所述任一摄像头的水平舵机转动，以及依据所述垂直转动角度，控制所述任一摄像头的垂直舵机转动；

重新获取所述任一摄像头拍摄的无人机图像，直至在重新获取的无人机图像中未检测到所述无人机时为止，以便通过任一摄像头拍摄的无人机图像，完成对所述无人机的自动跟踪；

当应用于两个摄像头对无人机的自动跟踪时，所述方法还包括：

获取所述无人机处于两摄像头对应摄像画面正中心时，两摄像头的摄像参数，以作为位置计算参数，其中，两摄像头的安装位置处于同一水平高度；

基于两摄像头之间的水平距离以及所述位置计算参数，计算得到两摄像头中的第一摄像头与无人机标定点之间的距离，其中，所述无人机标定点为无人机的标定线与地面之间的交点，且所述标定线是以无人机的中心点为起点，垂直向下引垂线得到的线段；

基于所述位置计算参数以及所述第一摄像头与无人机标定点之间的距离，计算得到所述无人机的世界坐标；

所述位置计算参数包括：第一摄像头的水平角以及第二摄像头的水平角，其中，基于两摄像头之间的水平距离以及所述位置计算参数，计算得到两摄像头中的第一摄像头与无人机标定点之间的距离，包括：

按照如下公式(1)，计算得到所述第一摄像头与无人机标定点之间的距离：

上述式(1)中，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，β′表示第二摄像头的水平角，d表示第一摄像头与第二摄像头之间的水平距离；

所述位置计算参数包括：第一摄像头的水平角、第一摄像头的俯仰角以及第一摄像头的世界坐标；

相应的，基于所述位置计算参数以及所述第一摄像头与无人机标定点之间的距离，计算得到所述无人机的世界坐标，包括：

按照如下公式(2)、公式(3)以及公式(4)，依次计算得到所述无人机在世界坐标系下的横坐标、纵坐标以及z轴坐标；

x′＝lcosα′+X₁ (2)

y′＝lsinα′+Y₁ (3)

z′＝ltanα+Z₁ (4)

上述式(2)中，x′表示无人机在世界坐标系下的横坐标，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，X₁表示第一摄像头对应世界坐标内的横坐标值；

上述式(3)中，y′表示无人机在世界坐标系下的纵坐标，Y₁表示第一摄像头对应世界坐标内的纵坐标值；

上述式(4)中，z′表示无人机在世界坐标系下的z轴坐标，Z₁表示第一摄像头对应世界坐标内的z轴坐标值，a表示第一摄像头的俯仰角。

2.根据权利要求1所述的方法，其特征在于，基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度，包括：

获取所述任一摄像头在水平方向上的最大探测距离，以及在垂直方向上的最大探测距离；

基于所述任一摄像头在水平方向上的最大探测距离以及在垂直方向上的最大探测距离，确定出所述无人机图像中的图像中心点的坐标；

根据所述无人机图像中的图像中心点的坐标以及所述无人机图像中无人机的中心点的坐标，计算出所述图像中心点与所述无人机的中心点之间的垂直距离、水平距离以及直线距离；

依据所述图像中心点与所述无人机的中心点之间的垂直距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度；以及

依据所述图像中心点与所述无人机的中心点之间的水平距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度。

3.根据权利要求1所述的方法，其特征在于，根据无人机图像中无人机的中心点与无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度，包括：

获取比例增益系数、积分增益系数以及微分增益系数；

利用PID控制算法，并基于所述比例增益系数、所述积分增益系数、所述微分增益系数以及所述水平偏离角度，计算得到所述任一摄像头的水平转动角度；

相应的，基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度，包括：

利用PID控制算法，并基于所述比例增益系数、所述积分增益系数、所述微分增益系数以及所述垂直偏离角度，计算得到所述任一摄像头的垂直转动角度。

4.一种无人机的自动跟踪装置，其特征在于，包括：

目标检测单元，用于获取任一摄像头拍摄的无人机图像，并对所述无人机图像进行目标检测，得到所述无人机图像中无人机的中心点坐标；

偏离角度计算单元，用于基于所述无人机图像中无人机的中心点坐标，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度以及垂直偏离角度；

摄像机角度计算单元，用于根据所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度，计算得到所述任一摄像头的水平转动角度；以及

摄像机角度计算单元，还用于基于所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度，计算得到所述任一摄像头的垂直转动角度；

舵机控制单元，用于基于依据所述水平转动角度，控制所述任一摄像头的水平舵机转动，以及依据所述垂直转动角度，控制所述任一摄像头的垂直舵机转动；

目标检测单元，还用于重新获取所述任一摄像头拍摄的无人机图像，直至在重新获取的无人机图像中未检测到所述无人机时为止，以便通过任一摄像头拍摄的无人机图像，完成对所述无人机的自动跟踪；

当应用于两个摄像头对无人机的自动跟踪时，还包括：

获取所述无人机处于两摄像头对应摄像画面正中心时，两摄像头的摄像参数，以作为位置计算参数，其中，两摄像头的安装位置处于同一水平高度；

基于两摄像头之间的水平距离以及所述位置计算参数，计算得到两摄像头中的第一摄像头与无人机标定点之间的距离，其中，所述无人机标定点为无人机的标定线与地面之间的交点，且所述标定线是以无人机的中心点为起点，垂直向下引垂线得到的线段；

基于所述位置计算参数以及所述第一摄像头与无人机标定点之间的距离，计算得到所述无人机的世界坐标；

所述位置计算参数包括：第一摄像头的水平角以及第二摄像头的水平角，其中，基于两摄像头之间的水平距离以及所述位置计算参数，计算得到两摄像头中的第一摄像头与无人机标定点之间的距离，包括：

按照如下公式(1)，计算得到所述第一摄像头与无人机标定点之间的距离：

上述式(1)中，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，β′表示第二摄像头的水平角，d表示第一摄像头与第二摄像头之间的水平距离；

所述位置计算参数包括：第一摄像头的水平角、第一摄像头的俯仰角以及第一摄像头的世界坐标；

相应的，基于所述位置计算参数以及所述第一摄像头与无人机标定点之间的距离，计算得到所述无人机的世界坐标，包括：

按照如下公式(2)、公式(3)以及公式(4)，依次计算得到所述无人机在世界坐标系下的横坐标、纵坐标以及z轴坐标；

x′＝lcosα′+X₁ (2)

y′＝lsinα′+Y₁ (3)

z′＝ltanα+Z₁ (4)

上述式(2)中，x′表示无人机在世界坐标系下的横坐标，l表示第一摄像头与无人机标定点之间的距离，α′表示第一摄像头的水平角，X₁表示第一摄像头对应世界坐标内的横坐标值；

上述式(3)中，y′表示无人机在世界坐标系下的纵坐标，Y₁表示第一摄像头对应世界坐标内的纵坐标值；

上述式(4)中，z′表示无人机在世界坐标系下的z轴坐标，Z₁表示第一摄像头对应世界坐标内的z轴坐标值，a表示第一摄像头的俯仰角。

5.根据权利要求4所述的装置，其特征在于，偏离角度计算单元包括：获取子单元、中心点计算子单元、距离计算子单元以及角度计算子单元；

获取子单元，用于获取所述任一摄像头在水平方向上的最大探测距离，以及在垂直方向上的最大探测距离；

中心点计算子单元，用于基于所述任一摄像头在水平方向上的最大探测距离以及在垂直方向上的最大探测距离，确定出所述无人机图像中的图像中心点的坐标；

距离计算子单元，用于根据无人机图像中图像中心点的坐标以及所述无人机图像中无人机的中心点的坐标，计算所述图像中心点与所述无人机的中心点之间的垂直距离、水平距离以及直线距离；

角度计算子单元，用于依据所述图像中心点与所述无人机的中心点之间的垂直距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的垂直偏离角度；

角度计算子单元，还用于依据所述图像中心点与所述无人机的中心点之间的水平距离和直线距离，计算得到所述无人机图像中无人机的中心点与所述无人机图像中的图像中心点之间的水平偏离角度。

6.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～3任意一项所述的无人机的自动跟踪方法。

7.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～3任意一项所述的无人机的自动跟踪方法。

Images