CN110132060A - 一种基于视觉导航的拦截无人机的方法 - Google Patents

Abstract

本发明公开了一种基于视觉导航的拦截无人机的方法。需要拦截黑飞无人机时，地面拦截无人机快速升空，当由于通讯中断等因素造成地面人员无法直接控制拦截无人机时，本发明的方法可以利用拦截无人机配备的图像传感器采集图像信息并进行相应的处理，使拦截无人机依靠视觉导航算法自动识别追踪目标无人机，然后缓慢向其靠近，在接近目标无人机时，投放捕捉网，将目标无人机捕获。本发明的方法不需要地面人员操控，依靠机载***自主完成相应的拦截动作，自动化程度高。相对于其它拦截方法来说，本发明的方法简单直接，部署方便，能重复利用，实时性好，拦截成功率高，能有效避免干扰，可以拦截各类低速小型的无人机目标。

Description

一种基于视觉导航的拦截无人机的方法

技术领域

本发明属于无人机技术领域，具体涉及一种基于视觉导航的拦截无人机的方法。

背景技术

随着无人机技术门槛的降低，大量消费级无人机涌入无人机业余玩家市场，无人机的滥用已经成为低空飞行管制的一大障碍，严重威胁公共安全。黑飞无人机就是那些没有获得相关的飞行许可，不遵守飞行法则的无人机，它给人们带来了许多负面的影响，为了应对这种现象，催生了各种各样的反无人机的方法。

目前，各国反无人机技术主要有声波干扰、信号干扰、黑客技术、激光炮、“反无人机”无人机、夺取无线电控制等，特点和效果各有不同，但总体上可以分为三大类：一是干扰阻断类反无人机***，通过电磁枪发射相应的电磁信号对无人机的飞行控制进行干扰，促使无人机失去控制，自动降落，这种方法虽然简单，但是随着无人机技术的发展，大多数无人机可以在受到干扰后采取基于视觉导航的方法继续飞行，无法满足特殊情况下对黑飞无人机的拦截任务；二是直接摧毁类反无人机***，利用毁伤武器直接击落黑飞无人机，这种方法会产生大量的毁伤碎片，威胁群众安全，无法在公共场合使用；三是监测控制类反无人机***，这类方法一般是通过计算机技术侵入无人机控制***，劫持无人机无线电控制，进而捕获无人机，技术难度比较高，不具有普遍适用性。现在出现的一种比较流行的方法是通过无人机点对点对黑飞无人机进行拦截捕获，但是由于无人机飞行高度距离地面较远，地面人员无法直接估计释放捕捉网装置的适当时机，无人机拦截成功率不高，这种方法还有可能使拦截无人机和黑飞无人机发生碰撞，严重威胁地面人员设备的安全，有时拦截无人机与地面的通讯甚至会完全中断，地面人员直接失去对拦截无人机的控制，使整个拦截动作失败，因此还需要进行相应的技术改进才能满足实际使用的要求。

发明内容

本发明的目的在于提出一种基于视觉导航的拦截无人机的方法，通过应用视觉导航自动控制拦截无人机飞行到最有利的位置释放拦截捕捉网，极大提高对目标无人机的拦截成功率。

本发明的上述目的通过如下技术方案实现：

一种基于视觉导航的拦截无人机的方法，包括以下步骤：

步骤一：训练无人机检测识别模型；

步骤二：求解目标无人机的位置P_t；在拦截无人机的图像设备采集到目标无人机的图像时，拦截无人机向目标无人机缓慢靠近，同时控制伺服云台的转动，保持目标无人机在图像正中间，具体包括：

由图像中目标无人机的坐标位置和伺服云台的转动情况解算目标无人机位置姿态的过程中涉及的坐标系包括：惯性坐标系，机体坐标系和摄像机坐标系，根据目标无人机、拦截无人机和摄像机的相对位置关系，目标无人机在惯性坐标系下的位置P_t表示为：

P_t＝P₁+P₂+P₃ (1)

其中，P₁表示拦截无人机在惯性坐标系下的位置；P₂表示拦截无人机质心到摄像机光心在惯性坐标系下的距离向量，它由以下公式计算得到：

其中P_γ表示摄像机在机体坐标系下的位置，矩阵表示拦截无人机机体坐标系到惯性坐标系的旋转矩阵，由拦截无人机的姿态角确定：

其中表示拦截无人机的滚转角，θ表示拦截无人机的俯仰角，ψ表示拦截无人机的偏航角；

P₃表示摄像机到目标无人机在惯性坐标系下的距离向量，满足如下关系：

其中为目标无人机在摄像机坐标系下的位置，其坐标表示为表示摄像机坐标系到机体坐标系的旋转矩阵，它由云台摄像机的水平旋转角α和俯仰角β确定，它们可由云台上的码盘信息获得，具体表达式如下：

整理得目标无人机的位置：

设目标无人机的中心点在图像平面中的成像位置为(uⁱ,vⁱ)，利用针孔模型表示为：

其中M是摄像机的内参数矩阵，表示为：

其中[μ₀,v₀]^T为相平面的中心，dx,dy表示每一个像素在x轴y轴方向上的物理尺寸，可以由相机的标定求得，成像位置(uⁱ,vⁱ)为图像中目标无人机的位置坐标，由单目成像原理可得：

其中，OP1是目标无人机中心和图像中心的距离，可由图像处理部分得出，f为摄像机的焦距。O₀P镜头中心到目标无人机的距离，γ表示目标无人机与镜头中心的连线与光轴间的夹角；

根据公式(9)，(10)可求出再由公式(7)即可获得从而求解出目标无人机在惯性坐标系下的位置P_t；

步骤三：拦截无人机利用机器视觉导航至最佳拦截位置；

在拦截无人机检测识别出目标无人机后，拦截无人机根据图像中目标无人机的坐标位置和伺服云台的转动情况解算出目标无人机位置坐标形成回环控制指令实时调整拦截无人机飞行姿态，缓慢向目标无人机靠近。在拦截无人机靠近目标无人机时，拦截无人机所携带的激光测距雷达扫描到目标无人机并测量出与其的距离，当拦截无人机在目标无人机的下方位置时，在保持安全距离的情况下，拦截无人机根据图像中目标的移动情况，缓慢爬升到目标无人机的上方2-3m位置和目标无人机保持同一运动状态；

步骤四：释放拦截捕捉网；拦截无人机调整好位置之后，抛出捕捉网，捕捉网的一端缠绕在目标无人机上，促使目标无人机停止飞行，当捕捉网受到的拉力大于一定值时，捕捉网和拦截无人机分离，捕捉网和目标无人机一同下落，同时，拦截无人机弹出捕捉网减速降落装置，和目标无人机一起缓慢着地。

本发明的有益效果是：(1)拦截装置经济便宜，使用方便，设备较小，方便携带，能满足不同情况下的反无人机任务；(2)还可以满足不同数量不同种类无人机拦截工作；(3)通过给拦截无人机加上视觉导航模块，即使拦截无人机在完全不受地面的控制的情况下，也能完成对目标无人机的拦截工作，对于某些必须把目标无人机拦截下来的特殊情况，本发明所述的拦截方法优势明显，具有广阔的商业应用前景。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

图1是本发明基于视觉导航的拦截无人机的方法完整流程图。

图2是本发明中无人机依靠视觉导航的成像、识别和跟踪的流程图。

图3是无人机***各坐标系转换示意图。

图4是目标无人机成像示意图。

图5是拦截无人机在最佳拦截位置的示意图。

图6是拦截无人机抛网捕捉到目标无人机的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

所述无人机图像处理模块正确识别出目标无人机的具体要求包括如下：

无人机携带的图像传感器必须满足白天和夜晚条件下都能完成对图像的采集，当图像传感器采集到的图像传入到无人机图像处理模块时，需要对图像进行预处理才能完成对目标无人机的识别。为了满足本发明方法中对检测识别速度的极致要求，在图像处理模块使用了NVIDIA Jetson TX2套件，Jetson TX2是一款人工智能超级计算机模块，虽然采用节能小巧的尺寸，却具备高速计算的效能，适用于机器人、无人机、智能型相机等智能终端装置。为了避免空中鸟，风筝和氢气球等不明飞行物对图像识别模块的干扰，提高对无人机的识别准确率，本发明中使用基于深度学习的检测识别算法。

本发明中所述的基于深度学习的检测识别方法是采用YOLO算法框架来实现图像处理模块的检测识别功能。YOLO算法框架是直接选择整幅图片来实现模型的训练，这样的话，目标物体和背景的区分更加容易，检测的速度也得到大幅度提升。YOLO检测的主要步骤包括：

1、将输入的图片缩放到448*448的尺寸；

2、运行CNN；

3、采用非极大抑制的方式对检测结果实现优化。

结合图1-2，实现本发明中所述的方法的步骤：

步骤一：训练无人机检测识别模型。

(1)首先是识别数据集的准备，从网络上或试验中收集无人机在各类场景下的飞行视频序列或图片，包括在城市上空等复杂背景下无人机各个视角的照片集；

(2)把收集的数据按照正常的场景进行筛选，去除数据集里面模糊不清的照片，保证训练数据的质量；

(3)训练数据集的标注，本发明中我们只需要能识别出无人机即可，使用标注工具将数据集中每张图片中的无人机标注出来，然后训练所有标注的数据。得到无人机检测识别模型；

(4)测试模型的检测识别效果，检测速度和识别准确度满足实时性的要求。

步骤二：求解目标无人机的位置P_t。

(1)在拦截无人机的图像设备采集到目标无人机的图像时，拦截无人机要向目标无人机缓慢靠近，同时控制伺服云台的转动，尽量保持目标无人机在图像正中间，拦截无人机根据图像中目标无人机的坐标位置和伺服云台的转动情况解算出目标无人机位置坐标实时调整拦截无人机飞行姿态，缓慢向目标无人机靠近。保证拦截无人机追赶上目标无人机并将其拦截。

由图3所示，所述的由图像中目标无人机的坐标位置和伺服云台的转动情况解算目标无人机位置坐标的过程中涉及的坐标系包括：惯性坐标系O₁，机体坐标系O₂，和摄像机坐标系O₃，根据目标无人机，拦截无人机和摄像机的相对位置关系，目标无人机在惯性坐标系下的位置向量P_t可表示为：

P_t＝P₁+P₂+P₃ (1)

其中，P₁表示拦截无人机在惯性坐标系下的位置向量，它和无人机的姿态角等参数都可以用加速度计，陀螺仪等传感器测量得到；P₂表示拦截无人机质心到摄像机光心在惯性坐标系下的距离向量，它可以由公式计算得到：

其中P_γ表示摄像机在机体坐标系下的位置，可以通过标定得到。矩阵表示机体坐标系到惯性坐标系的旋转矩阵，由拦截无人机的姿态角(滚转角，俯仰角，偏航角)确定：

其中P₃表示摄像机到目标无人机在惯性坐标系下的距离向量，满足如下关系：

其中为目标无人机在摄像机坐标系下的位置，表示摄像机坐标系到机体坐标系的旋转矩阵，它由云台摄像机的水平旋转角α和俯仰角β确定，它们可由云台上的码盘信息获得，具体表达式如下：

整理可得运动目标的位置：

所以，求解出后，即可求解目标无人机在惯性坐标系下的位置P_t，假设目标无人机的中心点在图像平面中的成像位置为(uⁱ,vⁱ)，利用针孔模型可表示为：

其中M是摄像机的内参数矩阵，可表示为：

其中[μ₀,v₀]^T为相平面的中心，dx,dy表示每一个像素在x轴y轴方向上的物理尺寸，可以由相机的标定求得。成像位置(uⁱ,vⁱ)可以在图像处理模块中得到，所以要求得P_t，就需要求出目标在摄像机坐标系中的深度信息

如图4所示，其中O₀是镜头中心，O点是光轴与经平面的交点，P1为目标无人机中心点在像平面的投影位置。所述拦截无人机中，激光测距仪的安装位置可以近似认为是在镜头中心处，所以，拦截无人机镜头中心与目标无人机之间的距离O₀P可由激光测距仪求得，由几何关系即可求得

其中，OP1是目标无人机中心和图像中心的距离，可由图像处理部分得出，f为摄像机的焦距，γ表示目标无人机与镜头中心的连线与光轴间的夹角。

根据公式(7)即可求得拦截无人机的高度可由飞行高度表测得，已知拦截无人机在惯性坐标系下的位置，又已知摄像机在机体坐标系中的位置，从而求解出目标无人机在惯性坐标系下的位置P_t，至此，可以将解算的结果转换为拦截无人机靠近目标无人机的控制指令；

步骤三：拦截无人机利用机器视觉导航至最佳拦截位置。

在拦截无人机检测识别出目标无人机后，拦截无人机根据图像中目标无人机的坐标位置和伺服云台的转动情况解算出目标无人机位置坐标形成回环控制指令实时调整拦截无人机飞行姿态，缓慢向目标无人机靠近：

(1)拦截无人机依靠视觉导航靠近目标无人机的过程中，需要转动云台保持目标无人机的中心点在图像中央，当发现拦截无人机和目标无人机相向飞行时，即目标无人机一直保持在拦截无人机采集图像的中央，而距离却越来越近时，拦截无人机应立即停止靠近，转向其他方向，先避开目标无人机后再慢慢向其靠近。

(2)在拦截无人机靠近目标无人机时，由于每次的拦截状况不同，会出现各种各样的相对位置情况，为了调整到最佳的捕捉网投放位置，本发明中考虑了典型的上下两个相对位置，当拦截无人机靠近目标无人机时，拦截无人机所携带的激光测距雷达扫描到目标无人机并测量出其间的距离。当拦截无人机在目标无人机的下方位置时，在保持安全距离的情况下，拦截无人机根据图像中目标的移动情况，缓慢爬升到目标无人机的上方(2-3m)位置和目标无人机保持同一运动状态。如图5所示，在拦截无人机到达目标无人机上方位置后，在拦截无人机下一定角度内的圆锥区域都为有效拦截区域。其中，H表示安全距离(2m)。

步骤四：释放拦截捕捉网。如图6所示，拦截无人机调整好位置之后，抛出捕捉网，捕捉网的一端和拦截无人机相连，另一端向下，捕捉网释放后，将触碰到目标无人机，并迅速缠绕在目标无人机的旋翼上，促使目标无人机旋翼停止转动，捉网缠绕到目标无人机后，目标无人机由于失去升力迅速坠落，捕捉网受到目标无人机的拉力到达一定值时，自动释放捕捉网的另一端，随着捕捉网和拦截无人机的分离，另一端带有的降落减速装置就会释放出来，使目标无人机和捕捉网一同缓慢降落，不会对地面的人员造成任何安全威胁。

步骤五：拦截无人机在完成拦截动作后，按自身默认模式自动返航。

需要说明的是，在本文的方法中，拦截无人机可以在脱离地面人员控制时自主追踪拦截目标无人机，但是当地面人员和拦截无人机之间进行通讯时，即地面操作人员需要控制拦截无人机的时候，地面操作人员对拦截无人机的控制指令是具有最高优先级的，拦截无人机会优先响应地面的操作指令。同时，拦截无人机自动完成相应的拦截动作是本发明的一大优点，在提高拦截成功率的同时也极大提高了拦截***的自动化程度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于视觉导航的拦截无人机的方法，其特征在于包括以下步骤：

步骤一：训练无人机检测识别模型；

步骤二：求解目标无人机的位置P_t；在拦截无人机的图像设备采集到目标无人机的图像时，拦截无人机向目标无人机缓慢靠近，同时控制伺服云台的转动，保持目标无人机在图像正中间，具体包括：

由图像中目标无人机的坐标位置和伺服云台的转动情况解算目标无人机位置姿态的过程中涉及的坐标系包括：惯性坐标系，机体坐标系和摄像机坐标系，根据目标无人机、拦截无人机和摄像机的相对位置关系，目标无人机在惯性坐标系下的位置P_t表示为：

P_t＝P₁+P₂+P₃ (1)

其中，P₁表示拦截无人机在惯性坐标系下的位置；P₂表示拦截无人机质心到摄像机光心在惯性坐标系下的距离向量，它由以下公式计算得到：

其中P_γ表示摄像机在机体坐标系下的位置，矩阵表示机体坐标系到惯性坐标系的旋转矩阵，由拦截无人机的姿态角确定：

其中表示拦截无人机的滚转角，θ表示拦截无人机的俯仰角，ψ表示拦截无人机的偏航角；

P₃表示摄像机到目标无人机在惯性坐标系下的距离向量，满足如下关系：

其中为目标无人机在摄像机坐标系下的位置，其坐标表示为 表示摄像机坐标系到机体坐标系的旋转矩阵，它由云台摄像机的水平旋转角α和俯仰角β确定，具体表达式如下：

整理得目标无人机的位置：

设目标无人机的中心点在图像平面中的成像位置为(uⁱ，vⁱ)，利用针孔模型表示为：

其中M是摄像机的内参数矩阵，表示为：

其中[μ₀，v₀]^T为相平面的中心，dx，dy表示每一个像素在x轴y轴方向上的物理尺寸，由相机的标定求得，成像位置(uⁱ，vⁱ)为图像中目标无人机的位置坐标，由单目成像原理可得：

其中，OP1是目标无人机中心和图像中心的距离，f为摄像机的焦距，O₀P是镜头中心到目标无人机的距离，γ表示目标无人机与镜头中心的连线与光轴间的夹角，

根据式(9)、(10)可求出再由公式(7)即可求得从而求解出目标无人机在惯性坐标系下的位置P_t；

步骤三：拦截无人机利用机器视觉导航至最佳拦截位置；

在拦截无人机检测识别出目标无人机后，拦截无人机根据图像中目标无人机的坐标位置和伺服云台的转动情况解算出目标无人机位置坐标形成回环控制指令实时调整拦截无人机飞行姿态，缓慢向目标无人机靠近，在拦截无人机靠近目标无人机时，拦截无人机所携带的激光测距雷达扫描到目标无人机并测量出与其的距离，当拦截无人机在目标无人机的下方位置时，在保持安全距离的情况下，拦截无人机根据图像中目标的移动情况，缓慢爬升到目标无人机的上方2-3m位置，然后和目标无人机保持同一运动状态；

步骤四：释放拦截捕捉网；拦截无人机调整好位置之后，抛出捕捉网，捕捉网的一端缠绕在目标无人机上，促使目标无人机停止飞行，当捕捉网受到的拉力大于一定值时，捕捉网和拦截无人机分离，捕捉网和目标无人机一同下落，同时，拦截无人机弹出捕捉网减速降落装置，和目标无人机一起缓慢着地。

2.根据权利要求1所述的基于视觉导航的拦截无人机的方法，其特征在于，还包括步骤五：拦截无人机在完成拦截动作后，按自身默认模式自动返航。

3.根据权利要求1或2所述的基于视觉导航的拦截无人机的方法，其特征在于，所述相机是带有红外成像功能的CCD相机。

4.根据权利要求1或2所述的基于视觉导航的拦截无人机的方法，其特征在于，所述捕捉网为尼龙网。

5.根据权利要求1或2所述的基于视觉导航的拦截无人机的方法，其特征在于，所述减速降落装置为降落伞。