CN117291953B - 一种用于无人机在复杂背景下跟踪地面动态目标的方法 - Google Patents

Abstract

本发明是一种用于无人机在复杂背景下跟踪地面动态目标的方法。本发明涉及无人机在复杂背景下跟踪技术领域，本发明采集目标图像，进行预处理，包括进行灰度化和网格划分；根据预处理后的图像，在网格内迭代求解局部稠密光流，确定光流值输出当前真帧光流值；采用梯形块匹配方法判断倾角，并进行逐层采样复原；在经过扩展块区域与采样复原之后，由于图像中远近区域的倾角不同，图像保留原始图样，横向形变得到了补偿，提高了匹配精度。

Description

一种用于无人机在复杂背景下跟踪地面动态目标的方法

技术领域

本发明涉及无人机在复杂背景下跟踪技术领域，是一种用于无人机在复杂背景下跟踪地面动态目标的方法。

背景技术

无人驾驶飞机简称“无人机”，英文缩写为“UAV”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，或者由车载计算机完全地或间歇地自主地操作。

与有人驾驶的飞机相比，无人机往往更适合那些太“愚钝，肮脏或危险”的任务。无人机按应用领域，可分为军用与民用。军用方面，无人机分为侦察机和靶机。民用方面，无人机+行业应用，是无人机真正的刚需；在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大的拓展了无人机本身的用途，发达国家也在积极扩展行业应用与发展无人机技术。

光电跟踪***以高于微波频率的光波为信息的载体，特强的抗电磁干扰能力，独有的夜间观察功能和良好的战场适应性等，在低可观测性目标的探测、高分辨率的目标识别、精确制导、火控瞄准、飞行辅助和信息对抗等军事应用领域具有巨大的潜力。光电跟瞄***不仅是常规电子装备的重要补充手段，而且因其独特的性能，在夜视、高分辨率成像、高精度跟踪和制导、抗电子干扰、抗反辐射导弹、抗低空突防和反隐身等方面都能够独当一面。小型光电跟瞄***一般由白光电视、红外探测器、激光测距机、伺服***、监控单元和光电平台等组成。它能探测并跟踪近距离、低空(或超低空)飞行的无人侦察机、巡航导弹、高速战斗机、武装直升机等，为火控***等后续设备提供精确的目标诸元，使防空高炮等武器能够有效打击目标。另外，由于其体积小、重量轻、机动性好，所以布置灵活、便于组网、隐蔽性好，同时光电跟瞄***本身抗干扰能力强，尤其能抗强电子干扰等特点，使其能有效弥补现有雷达的不足，在军事上具有广阔的应用前景.除了武器以外，光电跟瞄***在激光通信、天文观测、航空摄影、靶场测试等领域也都取得了日益广泛的应用。在激光通信方面，利用激光束传递信息，其有效带宽在理论上可以比平常的通信信道容量增加105倍。由于用激光束通信的信息不易被截获，通信***不易被人为干扰等非常具有诱惑力的特点，同时由于大容量、机动性和保密通信的需求，吸引人们研究和开发激光通信。然而，能否解决这种通信***双端的自动跟瞄问题，几乎成为其能否付诸实用的关键。

传统算法精度低，噪声高；深度学习相关算法需要提前训练模型，普适性差，并且算法速度慢，实时性差。

发明内容

本发明针对传统稠密光流法在运动目标检测中易掺杂环境噪声问题，提出一种用于无人机在复杂背景下跟踪地面动态目标的方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本发明提供了一种用于无人机在复杂背景下跟踪地面动态目标的方法，本发明提供了以下技术方案：

一种用于无人机在复杂背景下跟踪地面动态目标的方法，所述方法包括以下步骤：

步骤1：采集目标图像，进行预处理，包括进行灰度化和网格划分；

步骤2：根据预处理后的图像，在网格内迭代求解局部稠密光流，确定光流值输出当前真帧光流值；

步骤3：采用梯形块匹配方法判断倾角，并进行逐层采样复原；

步骤4：在经过扩展块区域与采样复原之后，由于图像中远近区域的倾角不同，图像保留原始图样，横向形变得到了补偿，提高了匹配精度。

优选地，所述步骤1具体为：

光流法进行运动目标检测，待处理的数据一般是视频格式，即一段连续图像，包括前一帧图像、当前帧图像和后一帧图像；将输入图像划分为多个不重合的网格首先完成内部计算，ψ₁，ψ₂表示两帧图像的同一网格，c_i代表位于ψ₁，ψ₂中的一个匹配；

粗实线表示一个匹配c_aa'，则它的邻域为：

N_i＝{c_j|c_j∈C_a,c_j≠c_i}

其中，C_a代表以像素点a为中心的3*3矩阵，|N_i|代表在C_a内支持c_aa'的匹配数量，以虚线表示。

优选地，当|N_i|＝3，则此时匹配c_aa'是正确匹配；而细实线代表的匹配c_bb'的邻域内没有支持它的匹配，则c_bb'是错误匹配。

优选地，选用5×5像素的网格及3×3的运算内核

优选地，所述步骤2具体为：

在网格中有：

ζ_i＝{m_i|m_i∈M,d(p_i,q_i)＝0}

其中，M代表随机网格，m_i为网格中像素对，d为像素点运动距离，当|ζ_i|＜α时，α为判断阈值，即认为M为背景像素网格并且忽略其光流计算。

优选地，所述步骤3具体为：

将原本的方形块区域乘以一个角度系数，两处图像块根据倾角不同，分别乘以不同的外扩角度系数，使原本的方形块变为新的梯形块区域，保留原方形块的长l作为梯形块的上底长度l₁，高h不变，下底长度l₂如下式所示：

l₂＝l₁+2h·tanθ

根据倾角角度外扩出的三角形区域，采用逐层降采样的方式使每一行的像素数等于原方块的长度l：

其中，s^*代表每层像素的采样步长，h^*代表层数。

优选地，所述步骤4具体为：

在经过扩展块区域与采样复原之后，由于图像中远近区域的倾角不同，较远处的图像依然能较大程度保留原始图样，而近处图像块的横向形变得到了补偿，匹配精度得到了提高，并且运动矢量的误差更小了。

优选地，

在无人机运动过程中，攀升和降落是会产生较大误差，影响匹配效果，将原本的方形块区域乘以一个角度系数，较远处的图像尺度变化小，倾角较小，所以角度系数也较小；反之近处的图像块倾角较大，乘以角度系数较大。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种用于无人机在复杂背景下跟踪地面动态目标的方法。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种用于无人机在复杂背景下跟踪地面动态目标的方法。

本发明具有以下有益效果：

本发明与现有技术相比：

本发明能在复杂的相对运动背景下准确识别并跟踪到运动目标

(主要为车辆检测)，主要针对解决无人机在上升下降时目标图像形变导致目标丢失的问题。相较于常用的目标跟踪算法，本发明有更高的跟踪精度，并且有对计算过程的简化处理，因此本发明的运行速度也能够满足基本实时性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明流程图；

图2为本发明改进前后结果对比图；

图3为本发明网格划分示意图；

图4为本发明流光计算示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

根据图1-图4所示，本发明为解决上述技术问题采取的具体优化技术方案是：本发明涉及一种用于无人机在复杂背景下跟踪地面动态目标的方法。

本发明提供一种激光全通波段的八波段快照式片上集成多光谱成像***，其特征是：所述***包括光学镜头、滤光片阵列、光电探测器和电脑；入射光进入光学镜头，经光学镜头汇聚到滤光片阵列上，滤光片阵列对宽波段入射光进行光谱分光，将其分为全通波段和八个波段的窄波段光。片阵列中每个像元只通过单一窄波段的光信号，经滤光片阵列分光后的出射光被光电探测器接收，光电探测器将光信号转为电信号并传输到电脑，电脑将电信号转换为图像信号。

本发明提供一种用于无人机在复杂背景下跟踪地面动态目标的方法，所述方法包括以下步骤：

步骤1：采集目标图像，进行预处理，包括进行灰度化和网格划分；

所述步骤1具体为：

光流法进行运动目标检测，待处理的数据一般是视频格式，即一段连续图像，包括前一帧图像、当前帧图像和后一帧图像；将输入图像划分为多个不重合的网格首先完成内部计算，ψ₁，ψ₂表示两帧图像的同一网格，c_i代表位于ψ₁，ψ₂中的一个匹配；

粗实线表示一个匹配c_aa'，则它的邻域为：

N_i＝{c_j|c_j∈C_a,c_j≠c_i}

其中，C_a代表以像素点a为中心的3*3矩阵，|N_i|代表在C_a内支持c_aa'的匹配数量，以虚线表示。

当|N_i|＝3，则此时匹配c_aa'是正确匹配；而细实线代表的匹配c_bb'的邻域内没有支持它的匹配，则c_bb'是错误匹配。

选用5×5像素的网格及3×3的运算内核

步骤2：根据预处理后的图像，在网格内迭代求解局部稠密光流，确定光流值输出当前真帧光流值；

所述步骤2具体为：

在网格中有：

ζ_i＝{m_i|m_i∈M,d(p_i,q_i)＝0}

其中，M代表随机网格，m_i为网格中像素对，d为像素点运动距离，当|ζ_i|＜α时，α为判断阈值，即认为M为背景像素网格并且忽略其光流计算。

步骤3：采用梯形块匹配方法判断倾角，并进行逐层采样复原；

所述步骤3具体为：

将原本的方形块区域乘以一个角度系数，两处图像块根据倾角不同，分别乘以不同的外扩角度系数，使原本的方形块变为新的梯形块区域，保留原方形块的长l作为梯形块的上底长度l₁，高h不变，下底长度l₂如下式所示：

l₂＝l₁+2h·tanθ

根据倾角角度外扩出的三角形区域，采用逐层降采样的方式使每一行的像素数等于原方块的长度l：

其中，s^*代表每层像素的采样步长，h^*代表层数。

步骤4：在经过扩展块区域与采样复原之后，由于图像中远近区域的倾角不同，图像保留原始图样，横向形变得到了补偿，提高了匹配精度。

所述步骤4具体为：

在经过扩展块区域与采样复原之后，由于图像中远近区域的倾角不同，较远处的图像依然能较大程度保留原始图样，而近处图像块的横向形变得到了补偿，匹配精度得到了提高，并且运动矢量的误差更小了。

在无人机运动过程中，攀升和降落是会产生较大误差，影响匹配效果，将原本的方形块区域乘以一个角度系数，较远处的图像尺度变化小，倾角较小，所以角度系数也较小；反之近处的图像块倾角较大，乘以角度系数较大。

具体实施例二：

本申请实施例二与实施例一的区别仅在于：

针对传统稠密光流法在运动目标检测中易掺杂环境噪声问题，基于网格运动统计算法提出一种新的网格化计算方法：首先把图像分为若干基础网格，通过计算前后两帧中同一网格内各点光流值的差值，剔除注意目标以外的误计算。在此基础上，提出一种局部补偿全局的加速方法，省略两帧间像素信息相近的网格的光流计算，提高运算速率。使用MATLAB软件完成仿真实验。针对传统块匹配法在处理图像存在远近变化时产生的误匹配问题，提出了一种改进块匹配算法。首先，采用三步法搜索策略，但是用梯形匹配块逐层降采样代替传统的方形块，能有效地补偿图像因远近尺度变化而产生的横向形变。然后通过稠密光流法进行目标跟踪，在MATLAB中实验。

光流法进行运动目标检测，待处理的数据一般是视频格式，即一段连续图像。如果每两帧图像之间都进行全局运算，其运算速度难以达到后续目标跟踪要求的实时性，因此参照GMS算法，将输入图像划分为多个不重合的网格首先完成内部计算。ψ₁，ψ₂表示两帧图像的同一网格，c_i代表位于ψ₁，ψ₂中的一个匹配，如图3所示：

粗实线表示一个匹配c_aa'，则它的邻域为：

N_i＝{c_j|c_j∈C_a,c_j≠c_i}

式中，c_j代表在C_a内支持c_i的匹配，C_a代表以像素点a为中心的3*3矩阵，|N_i|代表在C_a内支持c_aa'的匹配数量，以虚线表示，在上图中|N_i|＝3，因此认为匹配c_aa'是正确匹配；而细实线代表的匹配c_bb'的邻域内没有支持它的匹配，所以认为c_bb'是错误匹配。

在实际应用中，网格的步长和运算内核的大小都会影响到输出结果，网格步长选取过小会导致信息大量丢失而影响目标光流矢量的计算，过大又会降低算法精度；运算内核过小会产生大量冗余计算降低实时性，过大则会降低剔除错误计算的能力。因此要选择合适的阈值，经过实验对比，本文最终选用5×5像素的网格及3×3的运算内核。

在一般的视频帧里，运动目标通常只占全局像素的小部分，大多数代表环境的像素是不变的，而这一部分像素可以忽略其光流迭代计算过程来加速算法，即局部补偿全局的加速理念。体现在网格中有：

ζ_i＝{m_i|m_i∈M,d(p_i,q_i)＝0}

式中，|ζ_i|为M中移动距离为零的匹配数量，p_i为水平距离，q_i为垂直距离，M代表随机网格，m_i为网格中像素对，d为像素点运动距离，当|ζ_i|＜α时(α为判断阈值)，即认为M为背景像素网格并且忽略其光流计算。如图4所示：在虚线网格M中，，因此可忽略M内部像素的光流计算。

在一般应用中，匹配块通常都选用方形块或矩形块以便算法进行，这样选择的前提是物体不能发生大的非刚性形变。但在实际的无人机拍摄场景中，受无人机与目标的俯仰角度和拍摄二维图像近大远小的物理性质影响，图像会发生形变，在有连续相似景物的数据集实验中，常常会出现图像块的错误匹配。

产生这一现象的根本原因是三维物体拍摄为二维图像时，其真实的物理体积投影到二维平面上所产生的误差。因此在处理无人机与被摄目标之间存在俯仰角度时，应该对算法做出相应改进以减小误差，本文提出一种梯形块匹配法，能够有效的改善这一问题。

方形匹配块在图像产生远近变化时会产生尺度上的横向拉伸，原本的方形区域会产生形变，然而在无人机运动过程中，攀升和降落是经常会发生的动作，如果按照理想状态下考虑将会产生较大误差，影响匹配效果。因此本文将原本的方形块区域乘以一个角度系数，较远处的图像尺度变化小，倾角较小，所以角度系数也较小；反之近处的图像块倾角较大，乘以角度系数较大，两处图像块根据倾角不同，分别乘以不同的外扩角度系数，使原本的方形块变为新的梯形块区域，保留原方形块的长l作为梯形块的上底长度l₁，高h不变，下底长度l₂如式所示：

l₂＝l₁+2h·tanθ

根据倾角角度外扩出的三角形区域，采用逐层降采样的方式使每一行的像素数等于原方块的长度l：

式中s^*代表每层像素的采样步长，h^*代表层数。

在经过扩展块区域与采样复原之后，由于图像中远近区域的倾角不同，较远处的图像依然能较大程度保留原始图样，而近处图像块的横向形变得到了补偿，匹配精度得到了提高，并且运动矢量的误差更小了。

具体实施例三：

本申请实施例三与实施例二的区别仅在于：

本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现一种用于无人机在复杂背景下跟踪地面动态目标的方法。

具体实施例四：

本申请实施例四与实施例三的区别仅在于：

本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现一种用于无人机在复杂背景下跟踪地面动态目标的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

以上所述仅是一种用于无人机在复杂背景下跟踪地面动态目标的方法的优选实施方式，一种用于无人机在复杂背景下跟踪地面动态目标的方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (6)

1.一种用于无人机在复杂背景下跟踪地面动态目标的方法，其特征是：所述方法包括以下步骤：

步骤1：采集目标图像，进行预处理，包括进行灰度化和网格划分；所述步骤1具体为：

将输入图像划分为多个不重合的网格首先完成内部计算，ψ₁，ψ₂表示两帧图像的同一网格，c_i代表位于ψ₁，ψ₂中的一个匹配；

粗实线表示一个匹配c_aa'，则它的邻域为：

N_i＝{c_j|c_j∈C_a,c_j≠c_i}

其中，c_j为代表在C_a内支持c_i的匹配，C_a代表以像素点a为中心的3*3矩阵，|N_i|代表在C_a内支持c_aa'的匹配数量，以虚线表示；

步骤2：根据预处理后的图像，在网格内迭代求解局部稠密光流，确定光流值输出当前帧光流值；

所述步骤2具体为：

在网格中有：

ζ_i＝{m_i|m_i∈M,d(p_i,q_i)＝0}

其中，ζ_i为M中移动距离为零的匹配数量，p_i为水平距离，q_i为垂直距离，M代表随机网格，m_i为网格中像素对，d为像素点运动距离，当|ζ_i|＜α时，α为判断阈值，即认为M为背景像素网格并且忽略其光流计算；

步骤3：采用梯形块匹配方法判断倾角，并进行逐层采样复原；

所述步骤3具体为：

将原本的方形块区域乘以一个角度系数，两处图像块根据倾角不同，分别乘以不同的外扩角度系数，使原本的方形块变为新的梯形块区域，保留原方形块的长l作为梯形块的上底长度l₁，高h不变，下底长度l₂如下式所示：

l₂＝l₁+2h·tanθ

根据倾角角度外扩出的三角形区域，采用逐层降采样的方式使每一行的像素数等于原方块的长度l：

其中，s^*代表每层像素的采样步长，h^*代表层数。

2.根据权利要求1所述的方法，其特征是：

当|N_i|＝3，则此时匹配c_aa'是正确匹配；而细实线代表的匹配c_bb'的邻域内没有支持它的匹配，则c_bb'是错误匹配。

3.根据权利要求2所述的方法，其特征是：

选用5×5像素的网格及3×3的运算内核。

4.根据权利要求1所述的方法，其特征是：所述步骤4具体为：

在经过扩展块区域与采样复原之后，由于图像中远近区域的倾角不同，较远处的图像依然能较大程度保留原始图样，而近处图像块的横向形变得到了补偿，匹配精度得到了提高，并且运动矢量的误差更小了。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任意一项权利要求所述的方法。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征是：所述处理器执行所述计算机程序时实现权利要求1-4任意一项权利要求所述的方法。