CN115439771A - 一种改进dsst的红外激光光斑跟踪方法 - Google Patents

一种改进dsst的红外激光光斑跟踪方法 Download PDF

Info

Publication number
CN115439771A
CN115439771A CN202210866567.1A CN202210866567A CN115439771A CN 115439771 A CN115439771 A CN 115439771A CN 202210866567 A CN202210866567 A CN 202210866567A CN 115439771 A CN115439771 A CN 115439771A
Authority
CN
China
Prior art keywords
laser spot
tracking
dsst
value
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210866567.1A
Other languages
English (en)
Inventor
王峰
裴林聪
吴国瑞
康智强
李�杰
赵伟
周平华
马晨
孔维立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202210866567.1A priority Critical patent/CN115439771A/zh
Publication of CN115439771A publication Critical patent/CN115439771A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于光斑跟踪方法技术领域，具体涉及一种改进DSST的红外激光光斑跟踪方法，包括下列步骤：采集激光光斑移动视频和建立目标检测数据库，利用双边滤波算法对红外图象进行预处理，离线训练YOLOv5网络模型；读取视频首帧，使用YOLOv5网络模型进行光斑识别，获取激光光斑位置；调用DSST算法进行激光光斑移动跟踪，确定目标位置信息及尺度信息；计算当前帧前n个连续帧的输出响应，并计算其均值和方差，判断是否出现异常。本发明引入双边滤波算法校正不均匀光照，达到保边去噪的目的。并且本发明根据当前帧输出响应进行异常值检测，对激光光斑丢失进行准确判断及再识别；最终实现激光光斑长时间跟踪，提高跟踪算法的抗干扰性和成功率。

Description

一种改进DSST的红外激光光斑跟踪方法
技术领域
本发明属于光斑跟踪方法技术领域，具体涉及一种改进DSST的红外激光光斑跟踪方法。
背景技术
随着军事科技的发展，激光武器作为新型武器所形成的光斑具有隐蔽性强、精度高、移动速度快等特点，使其成为侦察信息、精确制导的重要手段。同时，对激光光斑的检测和跟踪可以准确获取激光武器的实时工作状态，对激光武器的发展和反制都有重大意义。但激光光斑尤其在红外图像下，具有灵活度高、边缘模糊、易被遮挡及易受光照影响等特点，使其难以被采集捕捉。因此，如何精准检测和跟踪激光光斑成为国内外重点研究对象。
目前目标跟踪算法主要分为相关滤波方法和深度学习方法。自2010年，Blome等首次将相关滤波概念用于目标跟踪算法中后，涌现了大量基于相关滤波的跟踪算法。其主要思想是比较两帧图像的目标区域相似度，与上一帧相似度最大的区域被认为是新一帧的目标区域。其中由BOLME等提出的MOSSE算法是相关滤波算法的开山之作，之后涌现出采用多通道提取特征的KCF算法和加入多尺度估计的DSST算法等。深度学习方法通过大量数据的训练所形成跟踪模型比相关滤波方法更加精确，但实时性不强，无法适配瞬息万变的军事场景。
发明内容
针对上述激光光斑快速移动、尺度变换、不均匀光照、严重遮挡等导致无法长时间跟踪的技术问题，本发明提供了一种识别率高、误差小、异常值检测准确的改进DSST的红外激光光斑跟踪方法。
为了解决上述技术问题，本发明采用的技术方案为：
一种改进DSST的红外激光光斑跟踪方法，包括下列步骤：
S1、采集激光光斑移动视频和建立目标检测数据库，利用双边滤波算法对红外图象进行预处理，离线训练YOLOv5网络模型；
S2、使用双边滤波算法对红外视频首帧进行预处理；
S3、读取视频首帧，使用YOLOv5网络模型进行光斑识别，获取激光光斑位置；
S4、调用DSST算法进行激光光斑移动跟踪，确定目标位置信息及尺度信息；
S5、计算当前帧前n个连续帧的输出响应，并计算其均值和方差，判断是否出现异常；若出现异常值，则进入S5，否则进入S6；
S6、启动YOLOv5目标检测算法进行激光光斑位置再检测，返回当前帧光斑位置，调整***参数，进入S4；
S7、框选目标位置，进入S4，直至跟踪结束。
所述S1中利用双边滤波算法对红外图象进行预处理的方法为：双边滤波是一种非线性滤波方法，同时提取空间邻近度和灰度邻近度，以达到平滑图像的目的，其表达式如下：
Figure BDA0003759431590000021
Figure BDA0003759431590000022
Figure BDA0003759431590000023
所述
Figure BDA0003759431590000024
为处理后的图像；所述Mx,y表示以(x,y)为中心的空间邻域像素集合；所述I(x,y)表示中心点像素值；所述I(i,j)表示空间邻域像素集合中(i,j)处的像素值；所述Gs(i,j)和Gr(i,j)表示空间邻近度和灰度相似度；所述σs和σr为滤波参数。
所述S1中离线训练YOLOv5网络模型的方法为：YOLOv5网络模型由CSPDarknet、FPN以及Yolo Head组成，CSPDarknet模块作为主干特征提取网络，用于图像的特征提取；FPN模块加强特征提取，利用Yolo Head模块得到预测结果。
所述S4中确定目标位置信息的方法为：
首先利用卷积滤波提取一组灰度图像块f1，f2，f3,…，ft用于训练，通过滤波得到输出响应g1，g2，g3,…，gt，在这些输出中构造t时刻满足最小均方误差的最优滤波器ht，其中ht满足下式：
Figure BDA0003759431590000031
最小值由下式解得：
Figure BDA0003759431590000032
计算出相关滤波器Ht后，对于新一帧图像响应值y的计算如下：
y＝F-1(HtZ)
y取最大值时即为新一帧图像的目标位置估计。
所述S4中确定目标尺度信息的方法为：假设当前帧的大小为P*R，尺度为S，则尺度估计原则为：
Figure BDA0003759431590000033
所述S5中判断是否出现异常的方法为：设vc代表当前帧输出响应，当vc与均值μ之差的绝对值小于λσ时，判断目标丢失或即将丢失，异常值判断公式为：
Figure BDA0003759431590000041
所述n表示计算前n-1帧输出响应的均值和方差，设值n＝40；设置λ＝3。
本发明与现有技术相比，具有的有益效果是：
本发明提出融合目标检测算法和判别尺度空间目标跟踪算法，并建立红外激光光斑跟踪数据集。首先对红外视频帧进行预处理，引入双边滤波算法校正不均匀光照，达到保边去噪的目的；之后使用YOLOv5算法模型对首帧进行目标检测，框选光斑位置，调用DSST算法进行激光光斑跟踪；引入丢失再检测模块，根据当前帧输出响应进行异常值检测，对激光光斑丢失进行准确判断及再识别；最终实现激光光斑长时间跟踪，提高跟踪算法的抗干扰性和成功率。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1是本发明具体实施流程图。
图2是本发明红外图像双边滤波预处理结果示意图。
图3是本发明YOLOv5网络结构图。
图4是本发明实验结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制；基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合附图和实施例，对本发明的具体实施方式做进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本实施例中，如图1所示，一种改进DSST的红外激光光斑跟踪方法，其具体步骤如下：
步骤101：利用激光发射装置在不均匀光照条件及复杂环境下采集光斑图片和视频，以此建立图像分辨率为640*640光斑目识别数据库和激光光斑跟踪数据库。利用双边滤波算法对红外图象进行预处理，如图2所示。
步骤101-1：利用YOLOv5网络模型对光斑目标识别数据库进行识别训练，得到离线模型。YOLOv5网络模型由CSPDarknet，FPN以及Yolo Head组成。CSPDarknet层作为主干特征提取网络，用于图像的特征提取；FPN层加强特征提取，利用Yolo Head层得到预测结果。YOLOv5网络模型结构图如图3所示。
步骤102：进入使用双边滤波算法对红外视频首帧进行预处理。
步骤102-1：双边滤波是一种非线性滤波方法，同时提取空间邻近度和灰度邻近度，以达到平滑图像的目的。其表达式如下：
Figure BDA0003759431590000061
Figure BDA0003759431590000062
Figure BDA0003759431590000063
其中，
Figure BDA0003759431590000064
为处理后的图像；Mx,y表示以(x,y)为中心的空间邻域像素集合；I(x,y)表示中心点像素值；I(i,j)表示空间邻域像素集合中(i,j)处的像素值；Gs(i,j)和Gr(i,j)表示空间邻近度和灰度相似度；σs和σr为滤波参数。双边滤波在去除图像噪声、校正不均匀光照的同时，使光斑边缘更加光滑。
步骤103：读取处理过的视频首帧，使用离线训练的YOLOv5网络模型进行光斑识别，获取激光光斑位置。
步骤104：调用DSST算法进行激光光斑移动跟踪。
步骤104-1：确定目标位置信息，具体如下：
首先利用卷积滤波提取一组灰度图像块f1，f2，f3,…，ft用于训练，通过滤波得到输出响应g1，g2，g3,…，gt，在这些输出中构造t时刻满足最小均方误差的最优滤波器ht，其中ht满足下式：
Figure BDA0003759431590000065
最小值可由下式解得：
Figure BDA0003759431590000066
计算出相关滤波器Ht后，对于新一帧图像响应值y的计算如下：
y＝F-1(HtZ)
y取最大值时即为新一帧图像的目标位置估计。
步骤104-2：确定目标尺度信息，利用一个三维尺度滤波器，假设f代表上一步确定的目标位置中心，以此为基础截取S个不同尺度图像块，其中S＝33；则通过高斯函数建立三维滤波得到响应输出g，根据g中最大值确定尺度信息。其中假设当前帧的大小为P*R，尺度为S，尺度估计原则为：
Figure BDA0003759431590000071
步骤105：当目标发生丢失时，输出响应会急剧变小，随后当输出响应较大时，并不代表跟踪状态良好。因此计算当前帧前n个连续帧的输出响应，并计算其均值和方差，判断是否出现异常。若出现异常值，则进入第五步，否则进入第六步。
步骤105-1：设vc代表当前帧输出响应，当vc与均值μ之差的绝对值小于λσ时，可以判断目标丢失或即将丢失。异常值判断公式为：
Figure BDA0003759431590000072
其中，n表示计算前n-1帧输出响应的均值和方差，设值n＝40；设置λ＝3。
步骤106：启动YOLOv5目标检测算法进行激光光斑位置再检测，返回当前帧光斑位置，调整***参数，进入步骤104。
步骤107：框选目标位置，进入步骤104，直至跟踪结束。
为验证本实施例算法的有效性，本实施例仿真实验是基于python编写实现，计算机***配置为：win10 64-bit处理器，Intel(R)Core(TM)i7-8750H [email protected]，实验IDE采用Pycharm编辑器。
如图4所示，本实施例经实验论证，可以有效实现对激光光斑的长时跟踪。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。

Claims (6)

1.一种改进DSST的红外激光光斑跟踪方法，其特征在于：包括下列步骤：
S1、采集激光光斑移动视频和建立目标检测数据库，利用双边滤波算法对红外图象进行预处理，离线训练YOLOv5网络模型；
S2、使用双边滤波算法对红外视频首帧进行预处理；
S3、读取视频首帧，使用YOLOv5网络模型进行光斑识别，获取激光光斑位置；
S4、调用DSST算法进行激光光斑移动跟踪，确定目标位置信息及尺度信息；
S5、计算当前帧前n个连续帧的输出响应，并计算其均值和方差，判断是否出现异常；若出现异常值，则进入S5，否则进入S6；
S6、启动YOLOv5目标检测算法进行激光光斑位置再检测，返回当前帧光斑位置，调整***参数，进入S4；
S7、框选目标位置，进入S4，直至跟踪结束。
2.根据权利要求1所述的一种改进DSST的红外激光光斑跟踪方法，其特征在于：所述S1中利用双边滤波算法对红外图象进行预处理的方法为：双边滤波是一种非线性滤波方法，同时提取空间邻近度和灰度邻近度，以达到平滑图像的目的，其表达式如下：
Figure FDA0003759431580000011
Figure FDA0003759431580000012
Figure FDA0003759431580000013
所述
Figure FDA0003759431580000014
为处理后的图像；所述Mx,y表示以(x,y)为中心的空间邻域像素集合；所述I(x,y)表示中心点像素值；所述I(i,j)表示空间邻域像素集合中(i,j)处的像素值；所述Gs(i,j)和Gr(i,j)表示空间邻近度和灰度相似度；所述σs和σr为滤波参数。
3.根据权利要求1所述的一种改进DSST的红外激光光斑跟踪方法，其特征在于：所述S1中离线训练YOLOv5网络模型的方法为：YOLOv5网络模型由CSPDarknet、FPN以及Yolo Head组成，CSPDarknet模块作为主干特征提取网络，用于图像的特征提取；FPN模块加强特征提取，利用Yolo Head模块得到预测结果。
4.根据权利要求1所述的一种改进DSST的红外激光光斑跟踪方法，其特征在于：所述S4中确定目标位置信息的方法为：
首先利用卷积滤波提取一组灰度图像块f1，f2，f3,…，ft用于训练，通过滤波得到输出响应g1，g2，g3,…，gt，在这些输出中构造t时刻满足最小均方误差的最优滤波器ht，其中ht满足下式：
Figure FDA0003759431580000021
最小值由下式解得：
Figure FDA0003759431580000022
计算出相关滤波器Ht后，对于新一帧图像响应值y的计算如下：
y＝F-1(HtZ)
y取最大值时即为新一帧图像的目标位置估计。
5.根据权利要求1所述的一种改进DSST的红外激光光斑跟踪方法，其特征在于：所述S4中确定目标尺度信息的方法为：假设当前帧的大小为P*R，尺度为S，则尺度估计原则为：
Figure FDA0003759431580000023
6.根据权利要求1所述的一种改进DSST的红外激光光斑跟踪方法，其特征在于：所述S5中判断是否出现异常的方法为：设vc代表当前帧输出响应，当vc与均值μ之差的绝对值小于λσ时，判断目标丢失或即将丢失，异常值判断公式为：
Figure FDA0003759431580000031
所述n表示计算前n-1帧输出响应的均值和方差，设值n＝40；设置λ＝3。
CN202210866567.1A 2022-07-22 2022-07-22 一种改进dsst的红外激光光斑跟踪方法 Pending CN115439771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210866567.1A CN115439771A (zh) 2022-07-22 2022-07-22 一种改进dsst的红外激光光斑跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210866567.1A CN115439771A (zh) 2022-07-22 2022-07-22 一种改进dsst的红外激光光斑跟踪方法

Publications (1)

Publication Number Publication Date
CN115439771A true CN115439771A (zh) 2022-12-06

Family

ID=84241236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210866567.1A Pending CN115439771A (zh) 2022-07-22 2022-07-22 一种改进dsst的红外激光光斑跟踪方法

Country Status (1)

Country Link
CN (1) CN115439771A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522926A (zh) * 2024-01-08 2024-02-06 四川迪晟新达类脑智能技术有限公司 基于fpga硬件平台的红外光斑目标识别和跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117522926A (zh) * 2024-01-08 2024-02-06 四川迪晟新达类脑智能技术有限公司 基于fpga硬件平台的红外光斑目标识别和跟踪方法
CN117522926B (zh) * 2024-01-08 2024-04-02 四川迪晟新达类脑智能技术有限公司 基于fpga硬件平台的红外光斑目标识别和跟踪方法

Similar Documents

Publication Publication Date Title
CN109978851B (zh) 一种红外视频空中弱小运动目标检测跟踪方法
CN108447080B (zh) 基于分层数据关联和卷积神经网络的目标跟踪方法、***和存储介质
CN107452015B (zh) 一种具有重检测机制的目标跟踪***
CN107133969B (zh) 一种基于背景反投影的移动平台运动目标检测方法
CN107564034A (zh) 一种监控视频中多目标的行人检测与跟踪方法
CN109685045B (zh) 一种运动目标视频跟踪方法及***
CN111724439A (zh) 一种动态场景下的视觉定位方法及装置
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN111161309B (zh) 一种车载视频动态目标的搜索与定位方法
CN109165602B (zh) 一种基于视频分析的黑烟车检测方法
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN115131420A (zh) 基于关键帧优化的视觉slam方法及装置
CN111680713A (zh) 一种基于视觉检测的无人机对地目标跟踪与逼近方法
CN112308883A (zh) 一种基于可见光和红外图像的多船舶融合跟踪方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN111914627A (zh) 一种车辆识别与追踪方法及装置
CN115439771A (zh) 一种改进dsst的红外激光光斑跟踪方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和***
CN113255549B (zh) 一种狼群围猎行为状态智能识别方法及***
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
CN117315547A (zh) 一种解决动态物体大占比的视觉slam方法
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
CN115830064B (zh) 一种基于红外脉冲信号的弱小目标跟踪方法及装置
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination