CN112068111A - 一种基于多传感器信息融合的无人机目标侦测方法 - Google Patents

Abstract

一种基于多传感器信息融合的无人机目标侦测方法，包括步骤一、对雷达、光电设备进行时间及坐标配准，对低空防护区域进行实时监控获取小目标的特征信息，将特征信息进行特征层的融合；步骤二、收集各类无人机目标的图像并进行扩充，作为无人机目标检测数据集，引入SSD深度学习网络进行训练得到SSD深度学习预测模型；步骤三、利用SSD深度学习预测模型以及光电设备获取到的图像信息进行目标检测，通过设定阈值范围，对同一目标多种类别的信息进行决策融合，最终对不同信息预测的结果以及多次判定的结果进行融合决策，确认目标是否为无人机。本发明经过多传感器信息的融合，扩大无人机目标检测范围，提高检测效率，并能抵抗一定的环境干扰。

Description

一种基于多传感器信息融合的无人机目标侦测方法

技术领域

本发明涉及反无人机低空防御和感知融合领域，具体是一种基于多传感器信息融合的无人机目标侦测方法。

背景技术

近年来，随着各行业信息化程度越来越高，航空技术的智能化程度得到了巨大的发展，各种遥控无人机(Unmanned Aircraft Vehicle,UAV)、自主飞行器的应用更加广泛，在作战无人机、无人机攻防、航拍视频、森林防火、环境勘探等领域发挥着重要作用。但同时，无人机黑飞滥用，用于恐怖袭击，非法入侵等带来许多威胁与安全隐患，为社会治安，边境安全等造成了困扰。在美国华盛顿，白宫曾遭遇了一架四旋翼无人机的非法入侵，最终坠毁在白宫围墙内；在法国，至少有14座核电站被无人机非法窥探，作为核能依赖程度最高的国家，这不免让法国人有所顾虑；在国内各大机场，已经发生多起无人机干扰航行的事件，导致了数百架航班迫降、延误，造成巨大的经济损失与安全隐患。

低空范围的安全问题引起了越来越多的重视，反无人机低空防护技术主要分为无人机目标的侦测和无人机干扰反制两个方面。其中，无人机干扰反制措施一般是利用大功率频段电子***和GPS欺骗进行拦截，相关技术发展迅速，许多成熟的产品设备都已用于对无人机目标的拦截；而无人机目标的侦测技术的相关研究较少，目前的侦测手段存在不同的局限性，致使低空防护范围有限，无法满足无人监控的准确性要求。

无人机的价格便宜，获取渠道多，我国有超过500家的公司企业在从事无人机的研发与销售工作，但并没有相关行业规范和具体法律法规制定，导致监管困难，大量无人机设备存在“黑飞”、“乱飞”的行为。无人机本身操作容易，镁铝结构机身具有体积小，重量轻，机动灵活，隐蔽性好等特点；另外，具有摄像功能的无人机可以用于情报窃取，非法窥探等，给某些敏感保密地区的安全性带来威胁；装载小型炸弹的无人机可以用于******式袭击等。无人机目标在天空飞行时，其飞行高度较低，雷达散射截面RCS(Radar Crosssection)小，飞行速度慢；由电池供电电机驱动使得其红外特征不明显；最大信号有效距离可达5-7km，使得远距离飞行时的声音特征与射频信号不明显。无人机具备的使用特点与其飞行时的目标特点给低空防护带来了巨大的挑战。无人机的使用与目标特点如表1所示：

表1无人机的使用与目标特点

本发明人在实现本发明的过程中经过研究发现：单一传感器在检测无人机目标时，往往会出现准确性不高、实时性较差、抗干扰能力弱的不足。例如雷达在侦测无人机目标时无法区分鸟类、气球等其他目标；RGB相机能得到目标外观信息从而区分无人机，但是不能同时满足大范围、长距离监控，很难捕捉到可疑目标画面；射频、音频探测设备极易受到周边环境干扰。

发明内容

本发明提供一种基于多传感器信息融合的无人机目标侦测方法，综合利用雷达、光电设备、射频侦测设备等多种传感器的优点，捕获到低空范围内非法入侵小目标的距离、高度、方位角、外观以及形态等多种特征信息，***控制中心根据其特征识别目标是否为无人机，经过多传感器信息的融合，扩大了无人机目标检测范围，提高了检测效率，并能抵抗一定的环境干扰。

一种基于多传感器信息融合的无人机目标侦测方法，包括如下步骤：

步骤一、对雷达、光电设备进行时间配准、坐标配准，再对低空防护区域进行实时监控，获取小目标的特征信息，包括雷达获得的距离方位信息、光电设备捕捉到的图像信息以及射频侦测设备捕捉到的射频信号，并将所述特征信息进行特征层的融合，获取同一目标距离方位、外观形态及通信信号特征，所述距离方位信息包括距离、方向、高度、速度；

步骤二、收集各类无人机目标的图像并进行扩充，作为无人机目标检测数据集，将数据集进行标注后，引入SSD深度学习网络进行训练，通过数据集中无人机目标所在的位置调整网络参数值，最终得到误差较小的模型作为对无人机外观形态特征进行提取的SSD深度学习预测模型；

步骤三、利用SSD深度学习预测模型以及光电设备获取到的图像信息进行目标检测，通过设定阈值范围，对同一目标多种类别的信息进行决策融合，包括SSD模型对目标类别预测、对无线通信信号判别，以及方位信息分析，最终对不同信息预测的结果以及多次判定的结果进行融合决策，确认目标是否为无人机。

进一步的，所述光电设备包括RGB相机、红外相机、激光相机。

进一步的，步骤一中获取小目标的特征信息，具体实施过程如下：

将雷达与光电设备进行联动控制，即雷达设备对低空范围内的目标进行不间断扫描，实时捕获非法入侵可疑目标的基本特征，包括距离、高度、方向以及速度，雷达观测到天空中小目标出现时，先将目标距离、方向信息传递到控制中心，若存在疑似无人机目标，控制中心依据可疑目标距离分别列入待检测列表；否则，雷达继续进行扫描与监控；

控制中心根据雷达提供待检测列表中目标的距离、方向信息旋转光电设备的云台，调整方向角与俯仰角，光电设备同时进行变焦与对焦，得到包含可疑目标的图像画面，射频侦测设备开始侦测可疑目标及周围范围内的射频信号。

进一步的，步骤二具体包括：

首先，收集大量无人机照片作为数据集基础，然后进行扩充；

其次，引入SSD深度学习模型，对数据集进行训练，训练时，先确定用于匹配真实目标位置的先验框，找到先验框与目标框的交并比大于某阈值时，则先验框为正训练样本。

进一步的，在训练模型时，改进SSD模型中损失函数，添加λ_c,λ_l作为损失函数权重修正系数来调节两者间的作用程度，修改后的损失函数为：

式中：

L_conf，L_loc—置信度和位置损失函数；

N—代表检测到无人机的数量；

—第i个预测框与第j个真实框类别k是否匹配；

c—类别置信度预测值；

l—先验框的所对应边界框的位置预测值；

进一步的，步骤三具体包括：

根据雷达获取到目标的高度特征Q₁和速度特征Q₂，筛选出其数值100<q₁<500，3<q₂<15的目标x_i＝{x₁,x₂,…,x_t}作为待检测目标列表，然后根据目标距离特征Q₃和方位特征Q₄判断目标的威胁程度，按照威胁程度的高低依次调整光电设备方位角、俯仰角和变焦倍数获取目标外观信息；

在光照充足情况下，通过光电设备获取到目标图像特征Q₅，通过SSD深度学习预测模型实现对目标类别的自动判别；

设定目标检测的阈值为thresh，假设多次检测结果result>thresh，表示可疑目标的外观形态特征表现为非法入侵的无人机，***对照目标高度、速度特征后，若均满足无人机目标特点，则确定有无人机目标入侵。

本发明利用多传感器信息融合技术可以提高无人机目标侦测的准确率，减少干扰信号造成的误差；另外，多传感器在融合不同特征之后，往往仍需要人为分析各种特征才能对是否存在无人机入侵做出判决，本发明提出了一种多特诊融合的决策过程，实现对目标的自主判决，在无人监控的情况下也能完成侦测无人机小目标的任务。

附图说明

图1是本发明一种基于多传感器信息融合的无人机目标侦测方法其中一个实施例的流程图；

图2是本发明雷达、光电、射频探测设备多源信息融合***结构模型图；

图3是本发明两不同传感器坐标系配准示意图；

图4是本发明适用于无人机目标检测的数据集的扩增过程图；

图5是本发明利用SSD深度学习模型对画面中无人机目标进行检测以及位置预测的示意图；

图6是通过雷达与光电设备联动融合后，得到低空范围内可疑小目标画面的过程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明基于多传感器信息融合的无人机目标侦测方法其中一个实施例的流程图，所述方法包括如下步骤：

步骤一、对雷达、光电设备进行时间配准、坐标配准，再对低空防护区域进行实时监控，获取小目标的特征信息，包括雷达获得的距离方位信息、光电设备捕捉到的图像信息以及射频侦测设备捕捉到的射频信号，并将所述特征信息进行特征层的融合，获取同一目标距离方位、外观形态及通信信号特征，所述距离方位信息包括距离、方向、高度、速度。所述光电设备包括RGB相机、红外相机、激光相机。

信息融合***从融合过程和数据流的角度一般分为功能模型和结构模型两个主要方面。

功能模型主要体现***不同模块的功能，以及各个环节之间的联系。其中，美国国防部某小组提出的JDL(Joint Directions of Laboratories)数据融合功能模型，给防御***功能层面的数据处理提供了详细的参考方案。最基本的JDL模型一般具备目标优化识别与定位、态势评估、威胁评估三级功能模型。另外经过优化后的JDL模型，包括数据库管理、认知优化等功能，在我国工程界得到了广泛的应用。

结构模型一般是指目标识别中，***对目标特征属性进行提取与融合，以便确定目标的类别的属性级结构模型。利用多种不同类型传感器获取到目标的多种特征信息，提高了单一传感器进行识别跟踪的准确性、快速性以及容错率。在目标识别与跟踪中，融合结构模型包括决策级目标识别融合、特征级目标识别融合和数据级目标识别融合三种结构模型。决策级融合是利用不同类型或多个同类型传感器获取到不同的数据，对每组传感器的数据分别进行特征提取，再根据特征进行属性类别的判定，每个设备的判定结果都有相对应的置信度，最后依据制定规则做出最后的决策。特征级融合是将每个传感器获取到数据进行特征提取后，将目标的特征进行融合，***控制中心根据目标融合后的特征属性做出裁决与判定，最后输出结果。数据级融合是将每个探测设备获取到的原始数据进行融合，一般来说数据级融合是将同类型传感器的原始数据进行关联，来减少单一传感器数据缺失造成的影响，提高***容错率。

本发明实施例基于三种结构模型与所选传感设备的特点，使用一种混合制结构模型对天空背景下的无人机小目标进行探测，如图2所示。步骤一中获取小目标的特征信息，具体实施过程如下：

将雷达与光电设备进行联动控制，即雷达设备对低空范围内的目标进行不间断扫描，实时捕获非法入侵可疑目标的基本特征，包括距离、高度、方向以及速度等，雷达观测到天空中小目标出现时，先将目标距离、方向等信息传递到控制中心，若存在疑似无人机目标，控制中心依据可疑目标距离分别列入待检测列表；否则，雷达继续进行扫描与监控；

控制中心根据雷达提供待检测列表中目标的距离、方向等信息旋转光电设备的云台，调整方向角与俯仰角，光电设备同时进行变焦与对焦，得到包含可疑目标的图像画面，射频侦测设备开始侦测可疑目标及周围范围内的射频信号。

多个传感器在同时工作时，首先需要进行配准。包括时间配准和空间配准。对于时间配准，一般来说，雷达的工作周期相对较长，其他设备响应时间较快，所以本发明实施例依照雷达的时间为标准；对于空间配准，不同传感设备的空间坐标系存在差别，只有将坐标系配准后才能进行信息融合，基于欧勒角对不同设备的坐标进行转换，提高目标信息匹配的准确率。如图3所示，以雷达设备与光电云台设备为例，若两设备三维空间坐标系分别为O₁X₁Y₁Z₁和O₂X₂Y₂Z₂：

依次按照绕O₁Z，O₁Y₁，O₁X₁旋转的顺序，对应X,Y,Z轴的欧勒角分别为ε_x,ε_y,ε_z，则其分别对应的旋转矩阵M_x,M_y,M_z为：

则B坐标系到A坐标系坐标转换方程为：

一般来说雷达与光电设备的旋转角相差不大，ε_x,ε_y,ε_z数值相对较小时，坐标转换公式可以简化为：

两坐标原点之间的距离差为(dX,dY,dZ)，坐标系转换方程为：

步骤二、收集各类无人机目标的图像并进行扩充，作为无人机目标检测数据集，将数据集进行标注后，引入SSD深度学习网络进行训练，通过数据集中无人机目标所在的位置调整网络参数值，最终得到误差较小的模型作为对无人机外观形态特征进行提取的SSD深度学习预测模型。具体实施过程如下：

首先，收集大量无人机照片作为数据集基础，然后进行扩充，如图4所示，除了裁剪、平移、改变亮度、加入噪声、旋转角度以及镜像等传统方法外，利用双线性插值的方法也可以进行扩增，其核心思想是在两个方向分别进行一次线性插值，经过插值后的图像可以作为数据集。另外，将无人机目标的图像随机置于天空背景下的图像中，然后利用高斯加权滤波器对图像进行平滑，达到数据扩增的效果。

其次，引入SSD深度学习模型，对数据集进行训练。训练时，首先确定用于匹配真实目标位置的先验框，找到先验框与目标框的交并比大于某阈值时，则先验框为正训练样本。

在训练模型时，本发明主要关注点在于图像中的疑似目标是否为无人机，对目标检测类别的精度要求较高，相对而言对目标位置信息精度要求较低。所以，改进SSD模型中损失函数，添加λ_c,λ_l作为损失函数权重修正系数来调节两者间的作用程度，修改后的损失函数为：

式中：

L_conf，L_loc—置信度和位置损失函数；

N—代表检测到无人机的数量；

—第i个预测框与第j个真实框类别k是否匹配；

c—类别置信度预测值；

l—先验框的所对应边界框的位置预测值；

步骤三、利用SSD深度学习预测模型以及光电设备获取到的图像信息进行目标检测，通过设定阈值范围，对同一目标多种类别的信息进行决策融合，包括SSD模型对目标类别预测、对无线通信信号判别，以及方位信息分析，最终对不同信息预测的结果以及多次判定的结果进行融合决策，确认目标是否为无人机。同时还可提供目标在图像中的具***置，便于光电设备调整方向角、俯仰角继续进行跟踪。

具体的，通过引入SSD深度学习预测模型，将光电设备(例如RGB相机、红外相机、激光相机)对准可疑目标区域，获得目标的外观形态特征，将其与射频侦测设备获得的信号特征、雷达获取的速度等其他特征进行融合，最后控制中心将目标特征(即特征融合信息)与无人机的特征进行对比判别，输出最后的判决结果，即检测图像画面内是否存在无人机目标(根据获得目标为无人机的置信度进行判断)以及在画面中的位置。

所述步骤三即是通过多种融合信息对目标进行判别的决策过程。

绝大部分无人机在运行的过程中会表现出相似的特点，其飞行高度一般在100-500m之间，运动速度在3-15m/s之间。根据雷达获取到目标的高度特征Q₁和速度特征Q₂，筛选出其数值100<q₁<500，3<q₂<15的目标x_i＝{x₁,x₂,…,x_t}作为待检测目标列表。然后，根据目标距离特征Q₃和方位特征Q₄判断目标的威胁程度，按照威胁程度的高低依次调整光电设备方位角、俯仰角和变焦倍数获取目标外观信息。

在光照充足情况下，RGB相机成像效果较好，获取到目标图像特征Q₅，通过SSD深度学习预测模型实现对目标类别的自动判别(如图5所示)，SSD提取了不同尺度的特征图来做检测，大尺度特征图(较靠前的特征图)可以用来检测小物体，而小尺度特征图(较靠后的特征图)用来检测大物体。

设定目标检测的阈值为thresh，假设多次检测结果result>thresh，表示可疑目标的外观形态特征表现为非法入侵的无人机，***对照目标高度、速度等其他特征后，若均满足无人机目标特点，则可以确定有无人机目标入侵。当目标距离特征Q₃表示的目标位置在射频探测设备的有效作用范围之内时，控制中心基于无线信号和外观特征一起做出判定，避免近距离范围中光电设备云台无法长时间跟踪目标造成的误差。

图6展示了本发明实施方法与捕捉天空中无人机小目标画面的过程，RGB相机通过雷达给出的信息调整角度与焦距，使可疑目标出现在画面之中，然后根据距离信息对焦后得到较为清晰的画面，随后利用SSD模型对小目标进行预测与判别，最后确定目标是否为无人机，输出最终结果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于多传感器信息融合的无人机目标侦测方法，其特征在于：包括如下步骤：

步骤一、对雷达、光电设备进行时间配准、坐标配准，再对低空防护区域进行实时监控，获取小目标的特征信息，包括雷达获得的距离方位信息、光电设备捕捉到的图像信息以及射频侦测设备捕捉到的射频信号，并将所述特征信息进行特征层的融合，获取同一目标距离方位、外观形态及通信信号特征，所述距离方位信息包括距离、方向、高度、速度；

步骤二、收集各类无人机目标的图像并进行扩充，作为无人机目标检测数据集，将数据集进行标注后，引入SSD深度学习网络进行训练，通过数据集中无人机目标所在的位置调整网络参数值，最终得到误差较小的模型作为对无人机外观形态特征进行提取的SSD深度学习预测模型；

步骤三、利用SSD深度学习预测模型以及光电设备获取到的图像信息进行目标检测，通过设定阈值范围，对同一目标多种类别的信息进行决策融合，包括SSD模型对目标类别预测、对无线通信信号判别，以及方位信息分析，最终对不同信息预测的结果以及多次判定的结果进行融合决策，确认目标是否为无人机。

2.如权利要求1所述的基于多传感器信息融合的无人机目标侦测方法，其特征在于：所述光电设备包括RGB相机、红外相机、激光相机。

3.如权利要求1所述的基于多传感器信息融合的无人机目标侦测方法，其特征在于：步骤一中获取小目标的特征信息，具体实施过程如下：

将雷达与光电设备进行联动控制，即雷达设备对低空范围内的目标进行不间断扫描，实时捕获非法入侵可疑目标的基本特征，包括距离、高度、方向以及速度，雷达观测到天空中小目标出现时，先将目标距离、方向信息传递到控制中心，若存在疑似无人机目标，控制中心依据可疑目标距离分别列入待检测列表；否则，雷达继续进行扫描与监控；

控制中心根据雷达提供待检测列表中目标的距离、方向信息旋转光电设备的云台，调整方向角与俯仰角，光电设备同时进行变焦与对焦，得到包含可疑目标的图像画面，射频侦测设备开始侦测可疑目标及周围范围内的射频信号。

4.如权利要求1所述的基于多传感器信息融合的无人机目标侦测方法，其特征在于：步骤二具体包括：

首先，收集大量无人机照片作为数据集基础，然后进行扩充；

其次，引入SSD深度学习模型，对数据集进行训练，训练时，先确定用于匹配真实目标位置的先验框，找到先验框与目标框的交并比大于某阈值时，则先验框为正训练样本。

5.如权利要求4所述的基于多传感器信息融合的无人机目标侦测方法，其特征在于：在训练模型时，改进SSD模型中损失函数，添加λ_c,λ_l作为损失函数权重修正系数来调节两者间的作用程度，修改后的损失函数为：

式中：

L_conf，L_loc—置信度和位置损失函数；

N—代表检测到无人机的数量；

第i个预测框与第j个真实框类别k是否匹配；

c—类别置信度预测值；

l—先验框的所对应边界框的位置预测值；

6.如权利要求1所述的基于多传感器信息融合的无人机目标侦测方法，其特征在于：步骤三具体包括：

根据雷达获取到目标的高度特征Q₁和速度特征Q₂，筛选出其数值100<q₁<500，3<q₂<15的目标x_i＝{x₁,x₂,…,x_t}作为待检测目标列表，然后根据目标距离特征Q₃和方位特征Q₄判断目标的威胁程度，按照威胁程度的高低依次调整光电设备方位角、俯仰角和变焦倍数获取目标外观信息；

在光照充足情况下，通过光电设备获取到目标图像特征Q₅，通过SSD深度学习预测模型实现对目标类别的自动判别；

设定目标检测的阈值为thresh，假设多次检测结果result>thresh，表示可疑目标的外观形态特征表现为非法入侵的无人机，***对照目标高度、速度特征后，若均满足无人机目标特点，则确定有无人机目标入侵。

Images