CN112464886A - 一种飞行器识别追踪方法 - Google Patents

一种飞行器识别追踪方法 Download PDF

Info

Publication number
CN112464886A
CN112464886A CN202011465723.0A CN202011465723A CN112464886A CN 112464886 A CN112464886 A CN 112464886A CN 202011465723 A CN202011465723 A CN 202011465723A CN 112464886 A CN112464886 A CN 112464886A
Authority
CN
China
Prior art keywords
aircraft
prediction
boundary box
information
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011465723.0A
Other languages
English (en)
Inventor
钱久超
薛建伟
潘敏婷
朱肖光
刘佩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011465723.0A priority Critical patent/CN112464886A/zh
Publication of CN112464886A publication Critical patent/CN112464886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种飞行器识别追踪方法包括：利用YOLOv3对包含飞行器的视频数据检测识别，如果判断为飞行器，则记录所述飞行器的边界框信息和中心点信息；构建所述飞行器的飞行状态向量，所述飞行状态向量包括所述中心点信息和所述边界框信息；将所述飞行状态向量通过卡尔曼滤波器对所述飞行器的运动轨迹进行预测；对所述飞行器的所述运动轨迹预测进行校正。本发明通过特定的图像帧的检测的位置信息与卡尔曼滤波器预测得到的信息进行对比，以在数据帧中确立出一个特定的范围，提高追踪的速度。此外，当预测与检测的关键中发现边框信息差别比较大，可以及时进行调整，是一种带有反馈机制的作用于飞行器的识别和跟踪的方法。

Description

一种飞行器识别追踪方法
技术领域
本发明涉及计算机视觉处理领域，具体涉及视频数据中的物体识别以及追踪方法。
背景技术
飞行器的跟踪识别是国家航空安全领域一项十分重要的技术，特别的，对于一些战斗机的识别跟踪具有十分重要的意义，因此在军事领域中通过一些科技手段来加强我国领空的安全也愈加受到国家的重视。目标跟踪作为计算机视觉领域中非常重要的一个部分，可以实现对获取的视频影像中的飞行器进行识别以及追踪的技术。
近年来，随着深度学习技术及计算机能力的发展，各种基于深度学习的应用层出不穷，特别的各种深度学习的算法广泛应用于计算机视觉领域中，基于深度学习的目标检测识别以及跟踪技术得到了迅速的发展。与传统的方法相比，基于深度学习的识别追踪方法在准确度得到了很大的提高，其追踪性能得到了巨大的提升。目前主流的物体检测策略，分为区域建议与区域分布俩大类。但是由于飞行器跟踪的准确性主要受到复杂环境的影响，以及其速度快，帧图像中与帧图像中的差距比较大，其视觉跟踪算法仍然存在一些挑战性的问题，如突发性运动、姿态变化、物体遮挡、背景杂波、光照或者视点变化等问题都会导致跟踪的性能下降，甚至追踪失败，这些都是影响飞行器追踪效果的外在因素。因此，如何更加可靠，更加准确的对飞行器进行识别追踪是目前有待解决的问题。
发明内容
本发明要解决的技术问题是如何更加可靠，更加准确的对飞行器进行识别追踪，提供一种飞行器识别追踪方法。
本发明是通过下述技术方案来解决上述技术问题：
一种飞行器识别追踪方法，所述方法包括：
利用YOLOv3对包含飞行器的视频数据检测识别，如果判断为飞行器，则记录所述飞行器的边界框信息和中心点信息；
构建所述飞行器的飞行状态向量，所述飞行状态向量包括所述中心点信息和所述边界框信息；
将所述飞行状态向量通过卡尔曼滤波器对所述飞行器的运动轨迹进行预测：
当所述飞行器相邻图像间中心点轨迹为直线时，飞行器中心点位置向量采用线性模型，根据下一时刻的预测结果与当前时刻的检测结果进行卡尔曼增益计算，并对上一时刻的预测结果和所述当前时刻的检测结果做计算，确定出当前时刻的所述运动轨迹预测的不确定性；
当所述飞行器相邻图像间中心点轨迹为非线性轨迹时，采用扩展卡尔曼滤波器进行预测，飞行器中心点位置向量采用非线性模型，之后确定出当前时刻的所述运动轨迹预测的不确定性；
将所述线性模型预测部分和非线性模型预测部分结合，对所述飞行器的运动轨迹进行预测；
对所述飞行器的所述运动轨迹预测进行校正；
判断所述边界框能否检测出所述飞行器，当所述预测结果和所述检测结果偏差较大时，根据目标对象的大小限制有效范围提高检测速度，如果所述飞行器的预测边界框与检测边界框的重叠度值大于预先定义的阈值，则根据前一帧的预测边界框去修改当前检测边界框的位置与大小，否则便将此飞行器为中心，重新确定边界框并输入检测网络进行训练。
较佳地，所述视频数据统一处理成固定长度的视频，并组成数据集对所述检测网络进行训练，所述数据集包括：用于训练的训练集和用于验证的验证集。
进一步地，当所述飞行器中心点位置向量采用线性模型近似时，状态转移矩阵和观测矩阵为常数；当所述飞行器中心点位置向量采用非线性模型近似时，所述状态转移矩阵和所述观测矩阵分别为：
Figure BDA0002834101870000031
Figure BDA0002834101870000032
其中，Fk为状态变化矩阵，其中Hk为观测矩阵。其中
Figure BDA0002834101870000033
为输入参数的观测值，下角标k表示为第k个时刻，其中uk为控制向量。
进一步地，所述校正包括一种边框校正公式：
Figure BDA0002834101870000034
其中δb,δa分别表示相邻图像之间检测结果的置信度，其值越高，说明模型的精确度越高，其中wa，wb，wc分别表示相邻图像及校正后的边界框的宽度，ha,hb,hc分别表示相邻图像及校正后的边界框的高度，其中(xa,ya),(xb,yb),(xc,yc)分别表示相邻图像及校正后的边界框的水平和竖直高度。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：通过特定的图像帧的检测的位置信息与卡尔曼滤波器预测得到的信息进行对比，以在数据帧中确立出一个特定的范围，提高追踪的速度。此外，当预测与检测的关键中发现边框信息差别比较大，可以及时进行调整，是一种带有反馈机制的作用于飞行器的识别和跟踪的方法。
附图说明
图1为本发明一种飞行器识别追踪方法一实施例中的方法流程图；
图2为本发明一种飞行器识别追踪方法一实施例中的边框校正方法示意图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示为本发明一种飞行器识别追踪的方法流程图：
S01：利用YOLOv3对包含飞行器的视频数据检测识别，如果判断为飞行器，则记录所述飞行器的边界框信息和中心点信息；
在一个示例中，首先，YOLOV3将输入图片压缩到416×416，通过特征提取网络对输入图像提取特征得到大小一定的特征图，比如13×13，然后将输入图像分成13×13个网格，接着如果GT(Ground True，真实值)中某个目标的中心坐标落在哪个网格中，那么就由该网格来预测该目标。每个网格都会预测3个边界框。之后根据边框的值进行确定所检测到的物体的种类，其中边框包含四个值v＝(vx,vy,vw,vh),用于后续的计算，其中vx,vy表示物体中心点x和y的坐标，vw,vh示边界框的宽度和高度；
将ROI(Region Of Interesting，感兴趣区域)划分为左上、左下、右上、右下四个子区域，这些子区域作为分数图，则边框的顶点可以分别由以下的表示方法。
Figure BDA0002834101870000051
Figure BDA0002834101870000052
Figure BDA0002834101870000053
Figure BDA0002834101870000054
其中Btl表示左上角的顶点，Btr表示右上角的顶点，Bbl表示左下角的顶点，Bbr表示右下角的顶点。
S02：构建所述飞行器的飞行状态向量，所述飞行状态向量包括所述中心点信息和所述边界框信息；
在一个示例中，构建飞机的飞行状态向量
Figure BDA0002834101870000055
用于描述飞机的运动状态，其中，
Figure BDA0002834101870000056
用于描述目标中心点的位置，
Figure BDA0002834101870000057
用于描述飞机的边框的比例和横纵的比例。
S03：将所述飞行状态向量通过卡尔曼滤波器对所述飞行器的运动轨迹进行预测；
在一个示例中，(1)
Figure BDA0002834101870000058
可以由线性模型进行近似，因为相邻图像之间的运动轨迹可以用直线进行标识，从构建出的状态向量中单独取出上述参数用于描述运动目标。
xk＝Axk-1+Buk+wk (1)
zk＝Hxk+vk (2)
其中x表示***的状态向量，z为观测值，A是状态转移矩阵，由于本发明所应用为非可控***，因此B和u构成的控制参数可做忽略。其中H是观测模型，即观测矩阵，可将真是的状态映射到观测空间。w和v分别表示状态更新和观测过程中的噪声。上述所有参数的下角标k表示在第k时刻。
(2)根据卡尔曼滤波器的原理可知：
Figure BDA0002834101870000061
Figure BDA0002834101870000062
其中，P是预测值与实际值之间的误差协方差矩阵，用于表示预测结果的不确定性，Q为预测过程中新增加的不确定性。公式3表示上一时刻与外界输入共同决定的当前状态，公式4表示由于之前存在的不确定性带来的新的不确定性Q。
(3)计算卡尔曼增益K和第k次的预测值
Figure BDA0002834101870000063
可以由下列公式计算得到：
Figure BDA0002834101870000064
Figure BDA0002834101870000065
其中公式5表示由预测结果的不确定性
Figure BDA0002834101870000066
和观测结果的不确定性R计算卡尔曼增益K。公式6表示对预测结果做加权平均，得到当前时刻的状态估计。
(4)更新
Figure BDA0002834101870000067
表示本次状态估计的不确定性。
采用扩展卡尔曼滤波器对s和r中不适用于线性模型的部分进行预测。与第二步中相同的方式创建状态向量，此时的状态矩阵不再是常数矩阵，其更新方式通过以下进行表示：
Figure BDA0002834101870000068
其中，矩阵Fk和Hk由雅可比矩阵得到，其中Fk与卡尔曼滤波器中的矩阵A对应，而Hk与常数矩阵H对应。
将非线性部分的推理加入线性推理***中，即可以描述飞机的运动状态。
S04：对所述飞行器的所述运动轨迹预测进行校正；
如图1和图2所示，在一个示例中，判断此时的边框能否正确的检测出上飞机，如果在特定图像中，飞机的预测边框与飞机实际的检测边框的重叠度的值大于预先定义好的阈值，则根据检测的边框信息重新更新状态变量，其具体的校正公式如下：
Figure BDA0002834101870000071
其中δb,δa分别表示前后图像之间检测结果的置信度，其值越高，说明模型的精确度越高，其中wa，wb，wc分别表示相邻图像及校正后的边界框的宽度，ha,hb,hc分别表示相邻图像及校正后的边界框的高度，其中(xa,ya),(xb,yb),(xc,yc)分别表示前后图像及校正后的边界框的水平和竖直高度。
在一个示例中，搜集包含飞机运动的视频数据，统一处理成为固定长度的视频，并组成数据集，其中80％的作为训练集输入所述检测网络中，并通过20％的数据做验证。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (4)

1.一种飞行器识别追踪方法，其特征在于，所述方法包括：
利用YOLOv3对包含飞行器的视频数据检测识别，如果判断为飞行器，则记录所述飞行器的边界框信息和中心点信息；
构建所述飞行器的飞行状态向量，所述飞行状态向量包括所述中心点信息和所述边界框信息；
将所述飞行状态向量通过卡尔曼滤波器对所述飞行器的运动轨迹进行预测：
当所述飞行器相邻图像间中心点轨迹为直线时，飞行器中心点位置向量采用线性模型，根据下一时刻的预测结果与当前时刻的检测结果进行卡尔曼增益计算，并对上一时刻的预测结果和所述当前时刻的检测结果做计算，确定出当前时刻的所述运动轨迹预测的不确定性；
当所述飞行器相邻图像间中心点轨迹为非线性轨迹时，采用扩展卡尔曼滤波器进行预测，飞行器中心点位置向量采用非线性模型，之后确定出当前时刻的所述运动轨迹预测的不确定性；
将所述线性模型预测部分和非线性模型预测部分结合，对所述飞行器的运动轨迹进行预测；
对所述飞行器的所述运动轨迹预测进行校正；
判断所述边界框能否检测出所述飞行器，当所述预测结果和所述检测结果偏差较大时，根据目标对象的大小限制有效范围提高检测速度，如果所述飞行器的预测边界框与检测边界框的重叠度值大于预先定义的阈值，则根据前一帧的预测边界框去修改当前检测边界框的位置与大小，否则便将此飞行器为中心，重新确定边界框并输入检测网络进行训练。
2.如权利要求1所述的一种飞行器识别追踪方法，其特征在于，所述视频数据统一处理成固定长度的视频，并组成数据集对所述检测网络进行训练，所述数据集包括：用于训练的训练集和用于验证的验证集。
3.如权利要求2所述的一种飞行器识别追踪方法，其特征在于，当所述飞行器中心点位置向量采用线性模型近似时，状态转移矩阵和观测矩阵为常数；当所述飞行器中心点位置向量采用非线性模型近似时，所述状态转移矩阵和所述观测矩阵分别为：
Figure FDA0002834101860000021
Figure FDA0002834101860000022
其中，Fk为状态变化矩阵，其中Hk为观测矩阵。其中
Figure FDA0002834101860000023
为输入参数的观测值，下角标k表示为第k个时刻，其中uk为控制向量。
4.如权利要求2所述的一种飞行器识别追踪方法，其特征在于，所述校正包括一种边框校正公式：
Figure FDA0002834101860000024
其中δb,δa分别表示相邻图像之间检测结果的置信度，其值越高，说明模型的精确度越高，其中wa，wb，wc分别表示相邻图像及校正后的边界框的宽度，ha,hb,hc分别表示相邻图像及校正后的边界框的高度，其中(xa,ya),(xb,yb),(xc,yc)分别表示相邻图像及校正后的边界框的水平和竖直高度。
CN202011465723.0A 2020-12-14 2020-12-14 一种飞行器识别追踪方法 Pending CN112464886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011465723.0A CN112464886A (zh) 2020-12-14 2020-12-14 一种飞行器识别追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011465723.0A CN112464886A (zh) 2020-12-14 2020-12-14 一种飞行器识别追踪方法

Publications (1)

Publication Number Publication Date
CN112464886A true CN112464886A (zh) 2021-03-09

Family

ID=74804071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011465723.0A Pending CN112464886A (zh) 2020-12-14 2020-12-14 一种飞行器识别追踪方法

Country Status (1)

Country Link
CN (1) CN112464886A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492324A (zh) * 2018-01-27 2018-09-04 天津大学 基于全连接网络和卡尔曼滤波器的飞机追踪方法
CN110532889A (zh) * 2019-08-02 2019-12-03 南京理工大学 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
CN110738690A (zh) * 2019-09-16 2020-01-31 南京理工大学 一种基于多目标追踪框架的无人机视频中车速校正方法
CN110751099A (zh) * 2019-10-22 2020-02-04 东南大学 一种基于深度学习的无人机航拍视频轨迹高精度提取方法
CN110956653A (zh) * 2019-11-29 2020-04-03 中国科学院空间应用工程与技术中心 相关滤波器与运动估计融合的卫星视频动态目标追踪方法
CN111681259A (zh) * 2020-05-17 2020-09-18 天津理工大学 基于无Anchor机制检测网络的车辆跟踪模型建立方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492324A (zh) * 2018-01-27 2018-09-04 天津大学 基于全连接网络和卡尔曼滤波器的飞机追踪方法
CN110532889A (zh) * 2019-08-02 2019-12-03 南京理工大学 基于旋翼无人飞行器和YOLOv3的轨道异物检测方法
CN110738690A (zh) * 2019-09-16 2020-01-31 南京理工大学 一种基于多目标追踪框架的无人机视频中车速校正方法
CN110751099A (zh) * 2019-10-22 2020-02-04 东南大学 一种基于深度学习的无人机航拍视频轨迹高精度提取方法
CN110956653A (zh) * 2019-11-29 2020-04-03 中国科学院空间应用工程与技术中心 相关滤波器与运动估计融合的卫星视频动态目标追踪方法
CN111681259A (zh) * 2020-05-17 2020-09-18 天津理工大学 基于无Anchor机制检测网络的车辆跟踪模型建立方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
庄建: "《深度学习图像识别技术》", 29 February 2020, 机械工业出版社 *

Similar Documents

Publication Publication Date Title
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
CN110688965B (zh) 基于双目视觉的ipt模拟训练手势识别方法
CN105678338B (zh) 基于局部特征学习的目标跟踪方法
CN108492324B (zh) 基于全连接网络和卡尔曼滤波器的飞机追踪方法
CN108876820B (zh) 一种基于均值漂移的遮挡条件下移动目标追踪方法
CN106952294B (zh) 一种基于rgb-d数据的视频跟踪方法
CN106600613B (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN112927211B (zh) 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端
CN109448023A (zh) 一种结合空间置信图和轨迹估计的卫星视频小目标实时跟踪方法
CN111192294A (zh) 一种基于目标检测的目标跟踪方法及***
Iraei et al. Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram
CN111354022A (zh) 基于核相关滤波的目标跟踪方法及***
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
CN115239760B (zh) 一种目标跟踪方法、***、设备及存储介质
CN108230313B (zh) 基于部件自适应选择与判别模型的sar图像目标检测方法
CN111539993B (zh) 基于分割的空间目标视觉跟踪方法
CN112464886A (zh) 一种飞行器识别追踪方法
Wang et al. Pmds-slam: Probability mesh enhanced semantic slam in dynamic environments
CN110147747B (zh) 一种基于累积一阶导数高置信度策略的相关滤波跟踪方法
WO2022222087A1 (en) Method and apparatus for generating adversarial patch
Du CAMShift-Based Moving Object Tracking System
CN112465865A (zh) 一种基于背景建模和IoU匹配的多目标跟踪方法
JPH07320068A (ja) 画像処理方法及び画像処理装置
CN105654514A (zh) 一种图像目标跟踪方法
CN111860264A (zh) 一种基于梯度均衡策略的多任务实例级道路场景理解算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309