CN116109950A - 一种低空域反无人机视觉检测、识别与跟踪方法 - Google Patents

Abstract

本发明提供了一种低空域反无人机视觉检测、识别与跟踪方法，属于无人机反制领域，其包括：先采集无人机样本，构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，接着，对目标检测模型的框架进行优化，获得改进目标检测模型，对实际视觉图像中无人机进行检测定位，获取无人机全局图像，然后，对目标细粒度识别模型进行改进，引入尺度自适应注意力机制和联合概率预测，对无人机全局图像进行无人机部件提取和识别，最后，对无人机进行跟踪，并记录每个型号无人机的轨迹和跟踪视频图像。本发明方法具有更高的检测和识别精度，能解决现有技术中出现较高的漏检、不能够识别无人机的型号、对无人机跟踪容易失败的问题。

Description

一种低空域反无人机视觉检测、识别与跟踪方法

技术领域

本发明属于反无人机领域，更具体地，涉及一种低空域反无人机视觉检测、识别与跟踪方法。

背景技术

近年来无人机产业迅猛发展，无人机已经在军事和民用领域广泛应用，对无人机的甄别和反制是保障无人机有序运行的必要手段。视觉检测、识别和跟踪技术是反无人机甄别和反制的重要手段，由于低空域无人机飞机背景(树木，建筑等)比较复杂、尺度(占画面比例)变化大、异物干扰(飞鸟、飞虫)多，采用传统的图像处理方法，常常出现检测漏检误检、识别错误和跟踪失败等问题。

中航空管***装备有限公司的发明名称为《对低空目标进行识别定位的方法》的专利申请公开了一种对低空目标进行识别定位的方法，应用于无人机反制车上，所述无人机反制车包括任务载荷和载车平台，其中任务载荷包括低空探测雷达、无线电侦测设备及图像传感器模块，其通过对构建无人机识别模型对图像传感器中的目标信息进行检测识别，获取目标的属性信息，结合图像传感器模块自身转台转向的方位及俯仰信息获取目标的方位及俯仰信息，利用低空探测雷达获取目标的方位及距离信息，利用无线电侦测设备获取目标的位置信息及属性信息，之后通过对上述信息进行融合，输出更精准的探测目标的位置信息。

成都天纵元航智能科技有限公司的发明名称为《一种智能自主式无人机反制***》的专利申请请求保护一种智能自主式无人机反制***，属于无人机入侵反制技术领域，其包括AI赋能网络攻击模块、智能无人机捕网模块、GPS导航诱骗模块、多频段无线电干扰压制模块，该***识别无人机后通过***决策，自主选择反制模块进行压制；在多方资源最优配置下，实现多种防御反制策略实时联网部署，自动压制入侵目标。识别及跟踪无人机后，AI赋能网络攻击模块可入侵无人机控制链路并接管黑飞无人机，智能无人机捕网模块能够安全的将入侵无人机降落到地面，GPS导航诱骗模块诱使无人机飞往预设区域，多频段无线电干扰压制模块点释放干扰信号进行技术性阻断无人机飞行。本发明可以根据不同的应用场景，配备适合应用的反制装备。

中国电子科技集团公司第三十八研究所公开名为《基于高分辨率的反无人机多目标识别和跟踪视频探测方法》的专利申请，具体的，公开了基于高分辨率的反无人机多目标识别和跟踪视频探测方法，所述方法包括：采用4K高清监控相机进行光电数据采集；获取训练样本并对训练样本标注；将样本分割为多个图像，将分割之后的图像进行标注；构建多尺度深度目标检测网络；将样本库的图像输入多尺度深度目标检测网络进行模型训练，获得训练好的参数模型；参数模型对分割后的图像和分割前的图像分别进行识别，综合图像分割前后的识别结果得到无人机位置信息；识别到无人机目标框后，将无人机目标锁定。其优点在于：有效提升了视场范围，跟踪目标较容易，更快更方便的捕获无人机，有效提高识别的准确性，大大减少误报的可能，缩短无人机搜寻时间。

电子科技大学长三角研究院(湖州)公开了名为《一种基于深度学习的反无人机跟踪方法》的专利申请，具体的，涉及一种基于深度学习的反无人机跟踪方法。其基于目前的检测技术现状并考虑到检测精度、距离、成本等因素，采用视觉相关技术实现无人机的探测，视觉探测分为检测和跟踪两个阶段，通过使用深度学习的方法得到一种更加适合用于对无人机进行跟踪的方法。为了保证最终的跟踪速度，其还设计了一个轻量级的检测网络，整个检测网路在保证速度的同时拥有很高的检测精度，同时设计的跟踪网络是对原有网络的进一步改进。整体上而言，最后的跟踪网络能够有效快速地实现对无人机的跟踪。

此外，期刊论文《反无人机***中目标识别和跟踪算法研究》对于反无人机场景中的目标检测和跟踪算法分别进行了研究。针对弱小目标检测率低的问题，其提出了基于时空连续性的运动目标检测算法，并运行目标识别算法对目标进行识别。然后，其还构建了反无人机跟踪算法测试平台，对几种实时目标跟踪算法进行了对比分析，使用STC算法进行反无人机场景中的目标跟踪。针对STC算法尺度变换效果差以及模型更新机制的问题，其提出了改进的STC算法。最后，其对反无人机***光电模块进行了软硬件设计。

期刊论文《低空域反无人机视觉检测与跟踪方法研究》从视觉手段出发，结合时下流行的深度学习方法，探究用于无人机检测和跟踪的方法，主要工作如下：1)基于空间金字塔模块和轻量级特征提取模块设计了一种无锚框检测网络MS-Center Net。该网络从实际应用出发，针对无人机目标检测这一场景进行优化，最后得到的网络模型不仅参数量和计算量小，精度也较优化前有所提高。2)基于GFL损失设计了一种用于跟踪的孪生神经网络G-Siam CPP。该网络对原有网络结构中分类评估和质量评估不同步的问题进行了解决，同时在边框位置的预测上使用更加普遍的分布去取代特殊的狄拉克分布。实验表明，该网络的定位精度更高。3)基于重检测的思想结合MS-Center Net和G-Siam CPP设计了LG-Siam CPP网络。该网络缓解了跟踪过程中由于误差累积造成的偏移问题或跟踪模板不更新造成的跟踪失效问题。新网络在跟踪过程中能及时更新变化后的模板且能及时修正模板位置误差，表现出更好的鲁棒性。

根据国内外专利、相关期刊论文的情况，可知，较多的专利文献和期刊论文涉及到yolo算法的设计和使用，以对目标进行检测识别，且常使用滤波算法对目标进行跟踪。然而，现有的反无人机方法采用的目标检测算法检测无人机会出现较高的漏检，而且不能够识别无人机的型号，对无人机进行跟踪也会因为光照、形变、运动速度快导致跟踪失败。

因此，需要开发一种新型低空域反无人机视觉检测、识别与跟踪方法，以克服现有技术的缺陷。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种低空域反无人机视觉检测、识别与跟踪方法，通过对目标检测模型、目标细粒度识别模型进行改进，获得更高的检测和识别精度，解决现有技术中出现较高的漏检、不能够识别无人机的型号、对无人机跟踪容易失败的问题。

为实现上述目的，本发明提供了一种低空域反无人机视觉检测、识别与跟踪方法，其包括如下步骤：

S1：采集无人机样本，构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，

S2：对目标检测模型的框架进行优化，增加小目标层，以适用低空域视觉图像中无人机呈现小特征的实际情况，获得改进目标检测模型，

采用步骤S1中的目标检测训练样本集训练改进目标检测模型，采用训练后的改进目标检测模型对实际视觉图像中无人机进行检测定位，获取无人机全局图像，

S3：对目标细粒度识别模型进行改进，引入尺度自适应注意力机制和联合概率预测，以提升识别精度，获得尺度自适应注意力机制目标细粒度识别模型，

采用步骤S1中的目标细粒度识别训练样本集对于尺度自适应注意力机制目标细粒度识别模型进行训练，采用训练后的尺度自适应注意力机制目标细粒度识别模型对步骤S2获得的无人机全局图像进行无人机部件提取和识别，并进而完成对无人机型号的识别，

S4：对步骤S3获得的无人机进行跟踪，并记录每个型号无人机的轨迹和跟踪视频图像。

进一步的，步骤S1中，采集至少五种型号的无人机样本，每种型号的无人机样本图像至少100张，并且每张无人机样本图像的拍摄角度、姿态和尺寸的大小各不相同，以能用于构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集。

进一步的，步骤S2中，目标检测模型为yolov5s目标检测模型，对yolov5s目标检测模型的框架进行优化具体为，分别在yolov5s目标检测模型配置文件中修改anchor初始化参数，增加一组可以用来检测大小在16×16像素以上的目标的初始化值，在yolov5s的head层增加一层小目标检测层，head中间检测层特征图与backbone网络层对应层次特征图进行融合，以此获取更大的特征图进行小目标检测

进一步的，步骤S3中，进行无人机部件提取和识别具体为，先提取获得无人机不同部件的特征图，对无人机不同部件的特征图进行全局池化操作获得一维特征描述子，对一维特征描述子进行处理，赋予无人机不同部件的特征图的每个通道不同权重，进行注意力特征向量分配，获得新的特征图，对新的特征图在通道维度上进行聚合，生成二维特征图，进而获得掩码图，根据掩码图和前景尺度图获得无人机部件图像，将无人机部件图像和无人机不同部件的特征图中特征进行比较，完成无人机部件的提取和识别。

进一步的，步骤S3中，进行无人机型号识别具体为：

首先，将尺度自适应注意力机制目标细粒度识别模型中每个无人机分支的输出表示为logits y∈R^N，N表示无人机类别总数，

接着，将尺度自适应注意力机制目标细粒度识别模型中每个分支赋予动态概率参数λ，以进行不确定性进行加权，λ表示用来评估分支输出logits y的置信度分数，

然后，将尺度自适应注意力机制目标细粒度识别模型中每个分支的输出输入到SoftMax函数，计算得到每个分支置信度分数，进而获得logits y的动态概率参数，

最后，将尺度自适应注意力机制目标细粒度识别模型中不确定加权后的每个分支的输出相加得到y_concat，根据logits y的动态概率参数，获得y_concat类别数值，选择y_concat中类别最大值对应的类别作为模型预测的结果，其为无人机型号。

进一步的，步骤S4中，利用经目标跟踪数据集训练后的TCTrack目标跟踪模型对步骤S3获得的无人机进行跟踪，TCTrack目标跟踪模型是指一种利用时间上下文对空中目标进行跟踪的模型。时间上下文是指跟踪模型中进程执行的方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下

有益效果：

随着深度学习技术的快速发展，基于深度学习视觉检测、识别和跟踪模型的精度得到了较大提升。本发明提供了一种低空域反无人机视觉检测、识别与跟踪方法，通过改进yolov5s目标检测模型实现对无人机的检测，利用改进的目标细粒度识别模型对无人机型号的识别，利用TCTrack跟踪模型实现对无人机进行跟踪。具体的，以深度学习为基础，将yolov5s目标检测模型应用的对无人机的检测，将目标细粒度识别应用到对无人机型号的识别，将TCTrack跟踪模型应用到对检测识别到的无人机的跟踪，并对该yolov5s目标检测模型和目标细粒度识别模型进行改进，实现对低空域无人机的检测、识别、跟踪，达到对无人机的反制。

通过对上述改进，使得视觉检测、识别和跟踪模型的精度得到了较大提升，实现对低空域无人机的检测、识别、跟踪，达到对无人机的反制。

附图说明

图1是本发明实施例提供的低空域反无人机视觉检测、识别与跟踪方法流程图；

图2是本发明实施例提供的低空域反无人机视觉检测、识别与跟踪方法具体实现的流程图；

图3是本发明实施例提供的基于无人机目标注意力机制部件提取框架图；

图4是本发明实施例提供的基于联合预测无人机目标细粒度目标识别框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1是本发明实施例提供的低空域反无人机视觉检测、识别与跟踪方法流程图，由图可知，其主要分为如下步骤：

S1：采集无人机样本，构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，

S2：对目标检测模型的框架进行优化，增加小目标层，获得改进目标检测模型，采用步骤S1中的目标检测训练样本集训练改进目标检测模型，采用训练后的改进目标检测模型对实际视觉图像中无人机进行检测定位，获取无人机全局图像，

S3：对目标细粒度识别模型进行改进，引入尺度自适应注意力机制和联合概率预测，采用步骤S1中的目标细粒度识别训练样本集对于尺度自适应注意力机制目标细粒度识别模型进行训练，采用训练后的尺度自适应注意力机制目标细粒度识别模型对步骤S2获得的无人机全局图像进行无人机部件提取和识别，并进而完成对无人机型号的识别，

S4：对步骤S3获得的无人机进行跟踪，并记录每个型号无人机的轨迹和跟踪视频图像。

图2是本发明实施例提供的低空域反无人机视觉检测、识别与跟踪方法具体实现的流程图，结合图1和图2可知，

步骤S1中，采集至少多种型号的无人机样本，每种型号的无人机样本图像较多，并且每张无人机样本图像的拍摄角度、姿态和尺寸的大小各不相同，人工标注样本，人工将无人机进行分类，将不同型号的无人机放入相应型号的文件，以能用于构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集。

步骤S2中，目标检测模型为yolov5s目标检测模型，对yolov5s目标检测模型的框架进行优化具体为，在yolov5s模型配置文件中，修改anchor初始化值，增加一组可以用来检测大小在16×16像素以上的目标的初始化值；在yolov5s的head层增加一层小目标检测层，head中间检测层特征图与backbone网络层对应层次特征图进行融合，以此获取更大的特征图进行小目标检测

具体的，进行无人机部件提取和识别具体为，先提取获得无人机不同部件的特征图，对无人机不同部件的特征图进行全局池化操作获得一维特征描述子，对一维特征描述子进行处理，赋予无人机不同部件的特征图的每个通道不同权重，进行注意力特征向量分配，获得新的特征图，对新的特征图在通道维度上进行聚合，生成二维特征图，进而获得掩码图，根据掩码图和前景尺度图获得无人机部件图像，将无人机部件图像和无人机不同部件的特征图中特征进行比较，完成无人机部件的提取和识别。

具体的，进行无人机型号识别具体为：

首先，将尺度自适应注意力机制目标细粒度识别模型中每个无人机分支的输出表示为logits y∈R^N，N表示无人机类别总数，

接着，将尺度自适应注意力机制目标细粒度识别模型中每个分支赋予动态概率参数λ，以进行不确定性进行加权，λ表示用来评估分支输出logits y的置信度分数，

然后，将尺度自适应注意力机制目标细粒度识别模型中每个分支的输出输入到SoftMax函数，计算得到每个分支置信度分数，进而获得logits y的动态概率参数，

最后，将尺度自适应注意力机制目标细粒度识别模型中不确定加权后的每个分支的输出相加得到y_concat，根据logits y的动态概率参数，获得y_concat类别数值，选择y_concat中类别最大值对应的类别作为模型预测的结果，其为无人机型号。

选择y_concat中类别最大值对应的类别作为模型预测的结果，即为无人机类型。

具体的，步骤S4中，利用TCtrack目标跟踪模型对步骤S3获得的无人机进行跟踪，TCtrack目标跟踪模型是指一种利用时间上下文对空中目标进行跟踪的算法模型。

图3是本发明实施例提供的基于无人机目标注意力机制部件提取框架图，图4是本发明实施例提供的基于联合预测无人机目标细粒度目标识别框架图，下面结合图2、图3和图4，进一步详细说明本发明方法：

1、样本采集，具体的，采集5种型号的无人机样本，每种型号的无人机样本100张，要求样本中无人机尺度不同，拍摄角度不同，姿态不同。

2、目标检测数据集构建，具体的，将5种型号无人机样本集统一融合成一类无人机样本集，使用labelmg标注工具对样本进行标注，构建VOC目标检测训练数据集。

3、细粒度识别数据集构建，具体的，将5种型号无人机样本分别分类，分别将5种型号无人机放入不同类型相应的文件夹，构建弱监督训练样本数据集。

4、目标跟踪数据集构建，具体的，对采集的每种型号无人机视频系列进行标注，构建OTB目标跟踪数据集。

5、改进目标检测模型，具体的，对目标检测模型yolov5s进行改进，针对低空域视觉图像中，无人机呈现特征较小的问题，修改yolov5s模型配置文件，在anchor初始化值中，增加一组可以用来检测大小在16×16像素以上的目标的初始化值；在yolov5s的head层增加一层小目标检测层，head中间检测层特征图与backbone网络层对应层次特征图进行融合，以适应对图像中无人机更好的检测。

其中，yolov5s目标检测模型配置文件中包括有类别数、模型深度宽度参数、anchor参数、backbone网络层和head层，其中，anchor是模式初始检测参数、backbone网络层的功能是提取图像特征，head层有两个部分，即颈部Neck和Prediction，颈部Neck完成对backbone网络提取的特征进行多尺度融合，Prediction完成图像中目标的检测。

6、无人机部件特征表示，具体的，利对双线性目标细粒度识别模型进行改进，引入尺度自适应注意力机制，获得尺度自适应注意力机制目标细粒度识别模型。其具体包括如下步骤：

(1)特征表示，前景尺度特征提取器分支得到无人机的特征图F_O∈R^h×w×c，无人机不同部件特征表示为F_O＝[x₁ x_x…x_c]∈R^h×w×c，其中，c代表特征图通道，h代表特征图高度，w代表特征图宽度，x₁、x₂、···、x_c表示特征图，x₁是特征图第1个通道,x_c表示特征图第c个通道。

(2)全局池化操作，将特征图进行全局池化操作，使用公式z_l＝

将特征图变为一维特征描述子z＝[z₁ z₂…z_c]∈R^c,式中h和w代表特征图的宽和高，x_l∈R^h×w是特征图的第l个通道，z_l表示池化特征图第l个通道。R^x表示第c通道特征图，R^h×w表示为宽为w，高为h的特征图，z₁、z₂、···、z_c分别表示池化特征图第1、2、...、c个通道。

(3)注意力特征向量操作，将上述一维特征描述子z代入公式m＝σ(W₂∝(W₁z))得权重被重新度量的一维向量m，重新度量的一维向量m＝[m₁ m₂ m₃…m_c]，公式m＝σ(W₂∝(W₁z))中变量σ和∝分别表示ReLU激活函数和Sigmoid激活函数，变量W₁和W₂为特征图每个通道生成的不同权重，m为注意力特征向量；

(4)特征图表示：对特征向量重新度量得U＝[m₁x₁ m₂x₂…m_cx_c]∈R^h×w×c，将特征图U₁∈R^h×w×c在通道维度上聚合，生成一个二维特征图

M∈R^h×w,二维特征图均值

掩码图

掩码图交集区域为

其中，m₁、m₂、···、m_c分别表示为一维向量权重，U_l表示1个注意力机制激活的特征图，c表示特征图有c个通道，M(x、y)表示二维特征图M在位置(x,y)处的数值，

表示表示第1个掩码图，

表示第2个掩码图，

(5)无人机部件图识别：无人机部件图像

I_o代表前景尺度图，

表示特征区域的掩码图，⊙表示同或，用来判别掩码图与前景图是否重合，如果重合，就是无人人机部件，将无人机部件图像I_p与F_O＝[x₁ x₂…x_c]∈R^h×w×c特征进行比较，完成无人机部件的识别。

7、进一步优化尺度自适应注意力机制目标细粒度识别模型，该操作的目的是，利用双线性细粒度目标识别模型实现无人机型号识别，并对目标细粒度识别模型进行改进，引入联合概率预测，提升识别精度。

首先，将尺度自适应注意力机制目标细粒度识别模型中每个无人机分支的输出表示为logits y∈R^N，N表示无人机类别总数，

接着，将尺度自适应注意力机制目标细粒度识别模型中每个分支设计动态概率参数λ对不确定性进行加权，λ用来评估分支输出logits y的置信度分数，

然后，将尺度自适应注意力机制目标细粒度识别模型中每个分支的输出输入到SoftMax函数，计算得到每个分支置信度分数，进而获得logits y的动态概率参数，

最后，将尺度自适应注意力机制目标细粒度识别模型中加权后的每个分支的输出相加得到y_concat，选择y_concat中类别最大值对应的类别作为模型预测的结果。具体的：

(1)特征表示：将尺度自适应注意力机制目标细粒度识别模型每个分支的输出表示logits y∈R^N，N表示无人机类别总数。

(2)分类估计：将y_concat表示无人机每个分支输出的和，y_concat＝y_global+y_part,y_global表示无人机全局输出，y_part表示无人机局部分支输出。每个分支设计动态概率参数λ对不确定性加权，此时，y_concat表示为y_concat＝λ_global×y_global+λ_part×y_part，其中，λ_global、λ_part分别表示用来评估输出logits y_global和logits y_part的置信度分数。

(3)置信度表示：将每个分支输出logits y∈R^N输入到SoftMax函数，计算得到置信度分数

y_j代表分支输出的第j个元素，N表示识别类别的总数，p_i表示预测置信度分数向量。

(4)概率参数：根据置信度分数获得logits y_global和logits y_part动态概率参数，logits y_global和logits y_part动态概率参数为λ_global和λ_part，λ_global＝max(p_global),λ_part＝max(p_part)。

(5)无人机型号识别的操作：将λ_global、λ_part代入y_concat＝λ_global×y_global+λ_part×y_part，y_concat对应的类别作为模型预测的结果，根据模型预测结果获知无人机型号或者类别。

8、训练改进的yolov5s目标检测模型、尺度自适应注意力机制目标细粒度识别模型和TCTrack目标跟踪模型。

9、利用改进目标检测模型yolov5s实现对视频图像中无人机的检测。

10、利用尺度自适应注意力机制目标细粒度识别模型对目标检测模型yolov5s检测到的无人机型号进行识别。

11、利用TCTrack跟踪模型实现对检测识别到的无人机进行跟踪，记录跟踪轨迹和跟踪视频图像。

本申请通过利用改进的yolov5s目标检测模型对无人机进行实时检测，进一步采用尺度自适应注意力机制目标细粒度识别模型对检测到的无人机进行型号识别，并采用TCTrack跟踪模型对检测识别到的无人机进行跟踪，有效提升了对无人机检测、识别和跟踪精度，为无人机反制产业化提供了技术支撑。

本发明中，TCTrack跟踪模型具体可参见同济大学、商汤科技-南洋理工大学联合AI研究中心S-Lab等集构合作发表在CVPR 2022(IEEE Conference on Computer Visionand Pattern Recognition 2022)的文章TCTrack:Temporal Contexts for AerialTracking，该文章提出基于时序信息的孪生网络框架，该框架通过两个维度引入时序信息以更好地实现跟踪过程中速度和性能的平衡，以此来应对空中场景中光照变化、目标尺度变化、目标形状变化、背景干扰等因素带来的挑战。TCTrack通过特征维度及相似度图维度连续整合时序信息，在特征提取过程中，采用Online TAdaConv在特征维度高效引入时序信息，并且使用更加高效的时序信息策略，通过不断积累的时序信息修正特征图，在不使用加速情况下在嵌入式***达到了实时性的要求，还获得了与其他SOTA***相似的精度。yolov5s目标检测模型具体可参见Ultralytics LLC公司在github发布yolov5s开源模型，yolov5s模型作为yolov5模型系列中的一种，相对于yolov4模型和yolov5***其它模型，具有速度更快的优点。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种低空域反无人机视觉检测、识别与跟踪方法，其特征在于，其包括如下步骤：

S1：采集无人机样本，构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集，

S2：对目标检测模型的框架进行优化，增加小目标层，以适用低空域视觉图像中无人机呈现小特征的实际情况，获得改进目标检测模型，

采用步骤S1中的目标检测训练样本集训练改进目标检测模型，采用训练后的改进目标检测模型对实际视觉图像中无人机进行检测定位，获取无人机全局图像，

S3：对目标细粒度识别模型进行改进，引入尺度自适应注意力机制和联合概率预测，以提升识别精度，获得尺度自适应注意力机制目标细粒度识别模型，

采用步骤S1中的目标细粒度识别训练样本集对尺度自适应注意力机制目标细粒度识别模型进行训练，采用训练后的尺度自适应注意力机制目标细粒度识别模型对步骤S2获得的无人机全局图像进行无人机部件提取和识别，并进而完成对无人机型号的识别，

S4：对步骤S3获得的无人机进行跟踪，并记录每个型号无人机的轨迹和跟踪视频图像。

2.如权利要求1所述的一种低空域反无人机视觉检测、识别与跟踪方法，其特征在于，步骤S1中，采集至少五种型号的无人机样本，每种型号的无人机样本图像至少100张，并且每张无人机样本图像的拍摄角度、姿态和尺寸的大小各不相同，以能用于构建目标检测训练样本集、目标细粒度识别训练样本集和目标跟踪数据集。

3.如权利要求2所述的一种低空域反无人机视觉检测、识别与跟踪方法，其特征在于，步骤S2中，目标检测模型为yolov5s目标检测模型，对yolov5s目标检测模型的框架进行优化，具体为，分别在yolov5s目标检测模型配置文件中修改anchor初始化参数，增加一组可以用来检测大小在16×16像素以上目标的初始化值，在yolov5s的head层增加一层小目标检测层，将head中间检测层特征图与backbone网络层对应层次特征图进行融合，以此获取更大的特征图从而能进行小目标检测。

4.如权利要求3所述的一种低空域反无人机视觉检测、识别与跟踪方法，其特征在于，步骤S3中，进行无人机部件提取和识别具体为，先提取获得无人机不同部件的特征图，对无人机不同部件的特征图进行全局池化操作获得一维特征描述子，对一维特征描述子进行处理，赋予无人机不同部件的特征图的每个通道不同权重，进行注意力特征向量分配，获得新的特征图，对新的特征图在通道维度上进行聚合，生成二维特征图，进而获得掩码图，根据掩码图和前景尺度图获得无人机部件图像，将无人机部件图像和无人机不同部件的特征图中特征进行比较，完成无人机部件的提取和识别。

5.如权利要求4所述的一种低空域反无人机视觉检测、识别与跟踪方法，其特征在于，步骤S3中，进行无人机型号识别具体为：

首先，将尺度自适应注意力机制目标细粒度识别模型中每个无人机分支的输出表示为logits y∈R^N，N表示无人机类别总数，

接着，将尺度自适应注意力机制目标细粒度识别模型中每个分支赋予动态概率参数λ，以进行不确定性进行加权，λ表示用来评估分支输出logits y的置信度分数，

然后，将尺度自适应注意力机制目标细粒度识别模型中每个分支的输出输入到SoftMax函数，计算得到每个分支置信度分数，进而获得logits y的动态概率参数，

最后，将尺度自适应注意力机制目标细粒度识别模型中不确定加权后的每个分支的输出相加得到y_concat，根据logits y的动态概率参数，获得y_concat类别数值，选择y_concat中类别最大值对应的类别作为模型预测的结果，其为无人机型号。

6.如权利要求5所述的一种低空域反无人机视觉检测、识别与跟踪方法，其特征在于，步骤S4中，利用经目标跟踪数据集训练后的TCTrack目标跟踪模型对步骤S3获得的无人机进行跟踪，TCTrack目标跟踪模型利用时间上下文对空中目标进行跟踪。

Images