CN112132862B - 一种基于无人机的自适应尺度估计目标跟踪算法 - Google Patents
一种基于无人机的自适应尺度估计目标跟踪算法 Download PDFInfo
- Publication number
- CN112132862B CN112132862B CN202010956464.5A CN202010956464A CN112132862B CN 112132862 B CN112132862 B CN 112132862B CN 202010956464 A CN202010956464 A CN 202010956464A CN 112132862 B CN112132862 B CN 112132862B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- frame
- unmanned aerial
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于目标跟踪技术领域,公开了一种基于无人机的自适应尺度估计目标跟踪算法:首先在第一帧框取跟踪目标并初始化确定跟踪目标的位置坐标和尺度大小,对目标进行概率密度建模,并以此更新已在数据集上预训练过的神经网络模型参数。然后在后续帧以上一帧跟踪目标中心位置建立候选目标的概率密度模型,通过计算跟踪目标与候选目标的背景权重比,如果不符合收敛条件,则通过计算得到Mean‑Shift向量,将候选模板的中心漂移至新的位置。与相关技术相比,本发明一种基于无人机的自适应尺度估计目标跟踪算法适用于无人机搭载,计算资源受限的场景,能自适应调整核宽大小,并解决目标快速移动时的跟丢问题,增强跟踪的鲁棒性。
Description
【技术领域】
本发明属于目标跟踪技术领域,具体是一种基于无人机的自适应尺度估计目标跟踪算法。
【背景技术】
无人机目标跟踪是指:基于无人机视角下,对运动目标进行在线跟踪。在智能交通***、安防监控***、基于视频的人机交互等领域有很好的应用前景。
一般在线视觉跟踪具有4个基本组成部分:特征提取、运动模型、外观模型、在线更新机制。在线视觉跟踪算法要求提取的视觉特征既能较好地描述跟踪目标又能快速计算;运动模型描述帧与帧目标运动状态之间的关系,在视频帧中预测目标图像区域,并给出一组可能的候选区域;外观模型在当前帧判决候选图像区域是被跟踪目标的可能性;在线更新机制在跟踪过程中不断更新外观模型,保证跟踪的鲁棒性。由于无人机在高空中飞行,平台运动和图像的不稳定性,导致目标纵横比变化、快速运动、尺度变化、目标遮挡和目标丢失等,这给无人机跟踪提出很大的挑战。
相关技术中,有学者通过研究传统的相关滤波算法和孪生网络模型,提出一些端到端、无监督的先进跟踪算法、模型。相关技术的不足在于,这些方法对计算资源要求较高,不适合用在无人机实时跟踪的过程中。
另外,相关技术中的Mean-Shift算法在跟踪的过程中,模板的核宽一种保持不变,当目标的大小发生改变或者与摄像机距离发生变化时,新目标的真实核宽可能会发生改变;Mean-Shift算法的本质是在局部区域搜索极大值,只有当目标在相邻两帧图像中有部分重叠时,才能保证跟踪成功,其不足在于,如果目标运动速度过快或者无人机摄像视角改变很容易导致跟踪失败。
因此,实有必要提供一种新的基于无人机的自适应尺度估计目标跟踪算法解决上述技术问题。
【发明内容】
本发明需要解决的技术问题是:提出一种基于无人机的尺度自适应目标跟踪算法,这种算法能自适应核宽大小,并且在快速运动导致跟丢时,通过预测位置重新跟踪。
为实现上述技术效果,本发明提供一种基于无人机的自适应尺度估计目标跟踪算法,包括如下步骤:
步骤1
***初始化:在视频第一帧,框取跟踪目标,框取的窗口大小作为核窗的宽度h0,对跟踪目标进行概率密度建模,
其中,C是归一化常数,{xi}i=1,...,N是第i帧的目标位置,k(x)是Epanechnikov核轮廓函数,δ是克罗内克函数,δ的作用是判断处于位置xi的像素值是否属于特征空间中的第u个bin,函数b的作用是将xi位置处的像素点与该像素点在量化的特征空间中所属的bin值对应起来,计算目标周围邻域的背景直方图/>将预先在大型数据集参数预训练过的神经网络模型用Xavier方法初始化参数,
步骤2
步骤21.在后续帧以上一帧目标位置,建立候选目标模型,
其中y表示候选目标的中心位置;
步骤22.计算目标与候选之间背景比率权重其中ρ是衡量是两个向量之间的Bhattacharyya(一个散度类型的度量法)系数的样本估计,即衡量两个模型的相似程度,如果不符合收敛条件,
则通过计算得到Mean-Shift向量其中,wi表示权重,
是所选用的核函数,g(x)是其轮廓函数,并将目标候选位置漂移到新的位置,以此为基础开始下一次迭代,直到符合收敛条件为止,以此可以得到目标的位置;
及对应的尺度
如果|log(r)|>θs,其中θs=0.05,进行尺度估计检测,
[~,rback]=MS(q,imaget-1,yt,rht-1)
如果|log(r*rback)|>θc,θc=0.1,ht=(1-α-β)ht-1+αh0+βrht-1,其中,
β=0.1,γ=0.3,c1=0.1,
否则,ht=(1-γ)ht-1+γrht-1,γ=0.3;
步骤3
如果在限定迭代次数内始终无法满足收敛条件,则在上一帧中目标物体的位置周围采样一定数量,一定范围内坐标、尺度为ht-1的图像块,输入神经网络模型,取其中具有最高置信度的图像块位置作为预测目标位置,重复步骤22过程,计算新的目标位置及对应尺度,
步骤4
重复步骤2和步骤3直到视频结束。
与相关技术相比,本发明一种基于无人机的自适应尺度估计目标跟踪算法,适用于无人机搭载,计算资源受限的场景,这种算法能自适应核宽大小,并且在快速运动导致跟丢时,通过预测位置重新跟踪。能降低背景因素,目标快速移动对跟踪造成的影响,从而提升跟踪的鲁棒性。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,
其中:
图1为本发明一种基于无人机的自适应尺度估计目标跟踪算法的流程示意图。
【具体实施方式】
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参附图1,一种基于无人机的自适应尺度估计目标跟踪算法,包括如下过程:
(1)读入初始帧
(2)目标区域初始化
(3)初始化预训练的神经网络模型
(4)计算跟踪目标概率密度模型
(5)计算目标邻域背景直方图
(6)判断视频是否结束
(7)若视频结束,则计算结束,若视频未结束,则读入下一帧,计算候选概率密度模型,再计算目标与候选的背景比率权重,再利用Mean-Shift向量计算出下一候选位置与对应尺度,再进行尺度一致性估计。
若迭代次数大于10,则通过神经网络预测目标位置,若迭代次数不是大于10,则从重复上述过程(6)及过程(6)以下的过程,直至视频结束。
具体步骤如下:
一种基于无人机的自适应尺度估计目标跟踪算法,包括如下步骤:
步骤1
***初始化:在视频第一帧,手动框取跟踪目标,框取的窗口大小作为核窗的宽度h0,对跟踪目标进行概率密度建模,
其中,C是归一化常数,{xi}i=1,...,N是第i帧的目标位置,k(x)是Epanechnikov核轮廓函数,δ是克罗内克函数,δ的作用是判断处于位置xi的像素值是否属于特征空间中的第u个bin,函数b的作用是将xi位置处的像素点与该像素点在量化的特征空间中所属的bin值对应起来,计算目标周围邻域的背景直方图/>将预先在大型数据集参数预训练过的神经网络模型用Xavier方法初始化参数,
步骤2
步骤21.在后续帧以上一帧目标位置,建立候选目标模型,
其中y表示候选目标的中心位置。
步骤22.计算目标与候选之间背景比率权重其中ρ是衡量是两个向量之间的Bhattacharyya(一个散度类型的度量法)系数的样本估计,即衡量两个模型的相似程度,如果不符合收敛条件,则通过计算得到Mean-Shift向量其中,wi表示权重,
是所选用的核函数,g(x)是其轮廓函数,并将目标候选位置漂移到新的位置,以此为基础开始下一次迭代,直到符合收敛条件为止,以此可以得到目标的位置。
及对应的尺度
如果|log(r)|>θs,其中θs=0.05,进行尺度估计检测,
[~,rback]=MS(q,imaget-1,yt,rht-1)
如果|log(R*Rback)|>θc,θc=0.1,ht=(1-α-β)ht-1+αh0+βRht-1,其中,
β=0.1,γ=0.3,c1=0.1,
否则,ht=(1-γ)ht-1+γRht-1,γ=0.3。
步骤3
如果在限定迭代次数内始终无法满足收敛条件,则在上一帧中目标物体的位置周围采样一定数量,一定范围内坐标、尺度为ht-1的图像块,输入神经网络模型,取其中具有最高置信度的图像块位置作为预测目标位置,重复步骤22过程,计算新的目标位置及对应尺度,
步骤4
重复步骤2和步骤3直到视频结束。
Mean Shift算法用于跟踪领域,实现简单,速度较快,对目标的非刚性变化、旋转等挑战都具有较好的鲁棒性。Mean-shift算法在应用到目标跟踪上的时候,首先需要在初始帧图像上框选目标模板,框定的窗口大小作为核窗的宽度,然后在目标模板图像中对需要被跟踪的目标进行建模,一般在建模的时候使用颜色直方图作为目标特征,然后选择目标可能移动的区域建立候选模型,同样使用颜色直方图进行建模,得到一系列的候选模板,将目标模板与候选模板进行对比,通过使用某种相似性度量(Bhattacharyya系数)来比较二者之间的相似性,选择相似性最大的候选模板,得到此次迭代的Mean-shift向量,并将目标的位置通过该向量转移到候选模板的位置,此为基础开始下一次迭代,直到符合某种收敛条件为止。由于Mean-shift算法在特定的核函数模型下是具有收敛性的。因此从初始顿开始,图像中心点通过不断地迭代,最终一定会收敛到目标的真实位置从而达到跟踪的目的。
本实施方式中,(1)首先在第一帧框取跟踪目标并初始化确定跟踪目标的位置坐标和尺度大小,对目标进行概率密度建模,并以此更新已在数据集上预训练过的神经网络模型参数,(2)然后在后续帧以上一帧跟踪目标中心位置建立候选目标的概率密度模型,通过计算跟踪目标与候选目标的背景权重比,如果不符合收敛条件,则通过计算得到Mean-Shift向量,将候选模板的中心漂移至新的位置。(3)重复步骤(2),在满足收敛条件之前持续进行漂移,直到搜寻到目标的真实位置,得到目标的位置和对应的窗宽,并对尺度变化进行一致性验证。(4)如果重复迭代超过一定次数,则在上一帧目标的位置周围一定范围采样大量图块,并输入神经网络模型,取其中最高置信度的图像块位置作为候选的预测目标位置,再从这个位置进行漂移得到目标位置。
与相关技术相比,本发明一种基于无人机的自适应尺度估计目标跟踪算法,适用于无人机搭载,计算资源受限的场景,这种算法能自适应核宽大小,并且在快速运动导致跟丢时,通过预测位置重新跟踪。能降低背景因素,目标快速移动对跟踪造成的影响,从而提升跟踪的鲁棒性。
以上所述的仅是本发明的实施方式,在此应当指出,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出改进,但这些均属于本发明的保护范围。
Claims (2)
1.一种基于无人机的自适应尺度估计目标跟踪方法,其特征在于,包括如下步骤:
步骤1
***初始化:在视频第一帧,框取跟踪目标,框取的窗口大小作为核窗的宽度h0,对跟踪目标进行概率密度建模,
其中,C是归一化常数,{xi}i-1,...,N是第i帧的目标位置,k(x)是Epanechnikov核轮廓函数,δ是克罗内克函数,δ的作用是判断处于位置xi的像素值是否属于特征空间中的第u个bin,函数b的作用是将xi位置处的像素点与该像素点在量化的特征空间中所属的bin值对应起来,计算目标周围邻域的背景直方图/>将预先在大型数据集参数预训练过的神经网络模型用Xavier方法初始化参数,
步骤2
步骤21.在后续帧以上一帧目标位置,建立候选目标模型,
其中y表示候选目标的中心位置;
步骤22.计算目标与候选之间背景比率权重其中ρ是衡量是两个向量之间的Bhattacharyya(一个散度类型的度量法)系数的样本估计,即衡量两个模型的相似程度,如果不符合收敛条件,
则通过计算得到Mean-Shift向量其中,wi表示权重,
是所选用的核函数,g(x)是其轮廓函数,并将目标候选位置漂移到新的位置,以此为基础开始下一次迭代,直到符合收敛条件为止,以此可以得到目标的位置;
及对应的尺度
如果|log(r)|>θs,其中θs=0.05,进行尺度估计检测,
[~,rback]=MS(q,imaget-1,yt,rht-1),
如果|log(r*rback)|>θc,θc=0.1
ht=(1-α-β)ht-1+αh0+βrht-1,其中,
β=0.1,γ=0.3,c1=01,
否则,ht=(1-γ)ht-1+γrht-1,γ=0.3;
步骤3
如果在限定迭代次数内始终无法满足收敛条件,则在上一帧中目标物体的位置周围采样一定数量,一定范围内坐标、尺度为ht-1的图像块,输入神经网络模型,取其中具有最高置信度的图像块位置作为预测目标位置,重复步骤22过程,计算新的目标位置及对应尺度,
步骤4
重复步骤2和步骤3直到视频结束。
2.根据权利要求1所述的基于无人机的自适应尺度估计目标跟踪方法,其特征在于,步骤1中,在视频第一帧,手动框取跟踪目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010956464.5A CN112132862B (zh) | 2020-09-11 | 2020-09-11 | 一种基于无人机的自适应尺度估计目标跟踪算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010956464.5A CN112132862B (zh) | 2020-09-11 | 2020-09-11 | 一种基于无人机的自适应尺度估计目标跟踪算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132862A CN112132862A (zh) | 2020-12-25 |
CN112132862B true CN112132862B (zh) | 2023-08-15 |
Family
ID=73845636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010956464.5A Active CN112132862B (zh) | 2020-09-11 | 2020-09-11 | 一种基于无人机的自适应尺度估计目标跟踪算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132862B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113298844B (zh) * | 2021-05-24 | 2023-07-25 | 中南大学 | 基于多特征融合和区域生长的低小慢目标跟踪方法及装置 |
CN113516713B (zh) * | 2021-06-18 | 2022-11-22 | 广西财经学院 | 一种基于伪孪生网络的无人机自适应目标跟踪方法 |
CN113763426A (zh) * | 2021-08-30 | 2021-12-07 | 北京理工大学 | 一种快速交汇过程目标可靠跟踪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570887A (zh) * | 2016-11-04 | 2017-04-19 | 天津大学 | 结合LBP特征自适应Mean Shift目标跟踪方法 |
CN109461172A (zh) * | 2018-10-25 | 2019-03-12 | 南京理工大学 | 人工与深度特征联合的相关滤波视频自适应跟踪方法 |
CN109816698A (zh) * | 2019-02-25 | 2019-05-28 | 南京航空航天大学 | 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104794733B (zh) * | 2014-01-20 | 2018-05-08 | 株式会社理光 | 对象跟踪方法和装置 |
-
2020
- 2020-09-11 CN CN202010956464.5A patent/CN112132862B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106570887A (zh) * | 2016-11-04 | 2017-04-19 | 天津大学 | 结合LBP特征自适应Mean Shift目标跟踪方法 |
CN109461172A (zh) * | 2018-10-25 | 2019-03-12 | 南京理工大学 | 人工与深度特征联合的相关滤波视频自适应跟踪方法 |
CN109816698A (zh) * | 2019-02-25 | 2019-05-28 | 南京航空航天大学 | 基于尺度自适应核相关滤波的无人机视觉目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112132862A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132862B (zh) | 一种基于无人机的自适应尺度估计目标跟踪算法 | |
CN107122736B (zh) | 一种基于深度学习的人体朝向预测方法及装置 | |
US6999599B2 (en) | System and method for mode-based multi-hypothesis tracking using parametric contours | |
CN111784746B (zh) | 一种鱼眼镜头下行人多目标跟踪方法、装置及计算机*** | |
CN107273905B (zh) | 一种结合运动信息的目标主动轮廓跟踪方法 | |
CN101739551B (zh) | 运动目标识别方法及*** | |
CN110378997B (zh) | 一种基于orb-slam2的动态场景建图与定位方法 | |
Hu et al. | Active contour-based visual tracking by integrating colors, shapes, and motions | |
CN109816692A (zh) | 一种基于Camshift算法的运动目标跟踪方法 | |
CN110070565B (zh) | 一种基于图像叠加的船舶轨迹预测方法 | |
CN112884816B (zh) | 一种基于图像***的车辆特征深度学习识别轨迹跟踪方法 | |
CN112052802B (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
CN110321937B (zh) | 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法 | |
CN113516713B (zh) | 一种基于伪孪生网络的无人机自适应目标跟踪方法 | |
CN103077535B (zh) | 一种基于多任务联合稀疏表示的目标跟踪方法 | |
CN109087323A (zh) | 一种基于精细cad模型的图像车辆三维姿态估计方法 | |
CN113359843B (zh) | 一种无人机自主降落方法、装置、电子设备及存储介质 | |
CN113160278A (zh) | 一种场景流估计、场景流估计模型的训练方法和装置 | |
CN116051970A (zh) | 一种基于改进的yolov5模型的针对重叠鱼类目标的辨识方法 | |
CN103985139B (zh) | 基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法 | |
CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
CN107392936B (zh) | 一种基于meanshift的目标跟踪方法 | |
CN115082519A (zh) | 一种基于背景感知相关滤波的飞机跟踪方法、存储介质和电子设备 | |
CN110322474B (zh) | 一种基于无人机平台的图像动目标实时检测方法 | |
CN110532960B (zh) | 一种基于图神经网络的目标辅助的动作识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |