CN113269809B - 一种多特征融合相关滤波目标跟踪方法及计算机设备 - Google Patents
一种多特征融合相关滤波目标跟踪方法及计算机设备 Download PDFInfo
- Publication number
- CN113269809B CN113269809B CN202110496902.9A CN202110496902A CN113269809B CN 113269809 B CN113269809 B CN 113269809B CN 202110496902 A CN202110496902 A CN 202110496902A CN 113269809 B CN113269809 B CN 113269809B
- Authority
- CN
- China
- Prior art keywords
- target
- tracked
- scale
- manual
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于图像处理领域,提供了一种多特征融合相关滤波目标跟踪方法、计算机可读存储介质及计算机设备。所述方法包括以下步骤:接收视频,在当前视频帧中获取待跟踪目标图像和待跟踪目标的跟踪框;分别计算待跟踪目标图像的深度特征和三个手工特征,首先对三个手工特征进行串行融合,得到一个单通道的手工特征图,然后对待跟踪目标图像进行深度特征提取,得到一个单通道的深度特征图,将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征;基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断,得到目标的最佳尺度响应值;在相关滤波模型KCF中,根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标。本申请能增加目标的外观模型的可区分性。
Description
技术领域
本申请属于图像处理领域,尤其涉及一种多特征融合相关滤波目标跟踪方法、计算机可读存储介质及计算机设备。
背景技术
视觉跟踪作为计算机视觉领域中的热点问题,主要任务是估计视频中目标的运动轨迹。近年来目标跟踪算法取得了显著的效果,但是由于光照变化、运动模糊、快速移动等造成的目标丢失问题,目标跟踪的研究一直存在困难。
现有技术的目标跟踪方法主要是基于相关滤波和基于深度学习的方法,其中基于深度学习的方法凭借其优秀的特征提取能力和完善的训练模型抢占眼球,但其算法速度过慢,大都在0.1-5帧每秒之间,不能达到实时跟踪;而基于相关滤波的方法由于其在频域的快速计算特性拥有着几百帧的速度优势,如何将深度学习方法引入到相关滤波当中成为当前目标跟踪领域的研究热点之一。众所周知,强大的特征是良好跟踪的基础,在相关滤波方法中,最早的MOSSE使用的是灰度特征,跟踪速度快,为669帧每秒,但跟踪精度低;CSK在MOSSE基础上增加了循环矩阵和核函数进行估计,仍使用的是灰度特征跟踪速度320帧每秒;CN在CSK的基础上采用的是颜色特征并进行降维处理;KCF是对CSK的进一步完善,使用的是HOG特征,目标的表面纹理特征和轮廓形状能够很好地被HOG特征来描述。
传统的目标跟踪算法大多使用单一的特征,使得***在面对各类复杂情况下无法进行精确地跟踪,例如HOG特征在目标背景颜色干扰,背景混乱复杂等情况下都具有一定的鲁棒性,但是图像模糊时其适应性差;CN对于运动模糊,图像低分辨率,光照强度变化跟踪效果好,但是对于相似颜色的干扰表现性能较差;GRAY特征由于计算复杂度低,运算速度快,导致了其在各类条件下都无法实现准确地跟踪;CNN特征由于使用了复杂的卷积神经网络提取特征,其跟踪精度跟踪更高,但是实时性差。
发明内容
本申请的目的在于提供一种多特征融合相关滤波目标跟踪方法、计算机可读存储介质及计算机设备,旨在解决传统的使用单一的特征的目标跟踪算法使得***在面对各类复杂情况下无法进行精确地跟踪的问题。
第一方面,本申请提供了一种多特征融合相关滤波目标跟踪方法,所述方法包括以下步骤:
S101、接收视频,在当前视频帧中获取待跟踪目标的跟踪框;
S102、分别计算待跟踪目标图像的深度特征和三个手工特征,首先对三个手工特征进行串行融合,得到一个单通道的手工特征图,然后对待跟踪目标图像进行深度特征提取,得到一个单通道的深度特征图,最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征;
S103、基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断,得到目标的最佳尺度响应值;
S104、在相关滤波模型KCF中,根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标。
进一步地,S104之后,所述方法还包括以下步骤:
S105、利用相似性检测方法来更新目标模型,对于满足要求的图像进行模型的更新,对于不满足要求的图像则判定目标丢失;
S106、如果目标丢失,则结合全帧搜索法对丢失的目标进行位置恢复。
第二方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述的多特征融合相关滤波目标跟踪方法的步骤。
第三方面,本申请提供了一种计算机设备,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,所述处理器和所述存储器通过总线连接,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述处理器执行所述计算机程序时实现如所述的多特征融合相关滤波目标跟踪方法的步骤。
在本申请中,分别计算待跟踪目标图像的深度特征和三个手工特征,首先对三个手工特征进行串行融合,得到一个单通道的手工特征图,然后对待跟踪目标图像进行深度特征提取,得到一个单通道的深度特征图,最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征;基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断,得到目标的最佳尺度响应值。因此能增加目标的外观模型的可区分性。又由于利用利用相似性检测方法来更新目标模型,对于满足要求的图像进行模型的更新,对于不满足要求的图像则判定目标丢失;如果目标丢失,则结合全帧搜索法对丢失的目标进行位置恢复。因此提高了目标丢失检测和恢复的准确性,能够显著提高整体跟踪精度,跟踪速度也下降不大,同时检测阈值的选择相比较宽松。
附图说明
图1是本申请一实施例提供的多特征融合相关滤波目标跟踪方法的流程图。
图2是本申请一实施例中基于树形结构尺度自适应的目标跟踪算法的示意图。
图3是本申请一实施例提供的计算机设备的具体结构框图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
请参阅图1,是本申请一实施例提供的多特征融合相关滤波目标跟踪方法的流程图,本实施例主要以该多特征融合相关滤波目标跟踪方法应用于计算机设备为例来举例说明,本申请一实施例提供的多特征融合相关滤波目标跟踪方法包括以下步骤:
S101、接收视频,在当前视频帧中获取待跟踪目标图像和待跟踪目标的跟踪框。
S102、分别计算待跟踪目标图像的深度特征和三个手工特征,首先对三个手工特征进行串行融合,得到一个单通道的手工特征图,然后对待跟踪目标图像进行深度特征提取,得到一个单通道的深度特征图,最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征。
在本申请一实施例中,三个手工特征包括HOG(Histogram of OrientedGradients,方向梯度直方图)、CN(Color Names,颜色命名)和Gray(灰度),深度特征是CNN(Convolutional Neural Networks,卷积神经网络)。
在本申请一实施例中,S102具体包括以下步骤:
S1021、分别计算三个手工特征和深度特征并进行特征融合。
计算待跟踪目标图像的三个手工特征具体包括:计算待跟踪目标图像的第一通道数(例如1通道)的Gray特征,第二通道数(例如31通道)的HOG特征,第三通道数(例如10通道)的CN特征;提取待跟踪目标图像的深度特征具体为:使用ImageNet-vgg-2048网络提取待跟踪目标图像的深度特征。由于越深的卷积层会造成图像分辨率的下降,从而造成跟踪的准确性下降,在本申请一实施例中,具体可以是选取第1个卷积层输出的特征图作为深度特征。
S1022、将三个手工特征的通道数进行串行融合,得到融合后的特征。
S1022具体可以为:
将Gray特征的第一通道数、HOG特征的第二通道数和CN特征的第三通道数相加,得到融合后的特征。
S1023、将融合后的手工特征的对应像素相加,得到一个单通道的手工特征图。
S1024、提取待跟踪目标图像的深度特征,得到多个深度特征图,并将得到的各个深度特征图进行对应像素相加,得到一个单通道的深度特征图。
S1025、将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征。
S103、基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断,得到目标的最佳尺度响应值。
若目标跟踪算法中没有尺度自适应模型,在跟踪过程中会面临这样的问题:当目标区域变大时,跟踪框不能将目标区域完全包含在内,这会导致目标信息缺失;当目标区域变小时,跟踪框内不仅包含目标还有除目标外其它的物体,这会导致跟踪框内包含许多的干扰信息,这两种情况都会导致跟踪的失败。
如图2所示,受到分类树原理的启发,本申请提供了一种基于树形结构尺度自适应的目标跟踪算法,借鉴DSST(Discriminatiive Scale Space Tracker)算法的思想,分别进行位置和尺度的滤波。
在本申请一实施例中,S103具体包括以下步骤:
S1031、对待跟踪目标的跟踪框进行位置滤波器的计算,确定目标的位置中心坐标;
S1032、根据目标的位置中心坐标进行树形结构的尺度估计,找到目标的最佳尺度响应值。具体可以为:根据目标的位置中心坐标通过树形结构的第一层确定待跟踪目标是放大还是缩小,所述第一层包括当前帧中目标的第一尺度的响应值和当前帧中目标的第二尺度的响应值,从而确定目标的最大尺度响应值的寻找方向,若在当前帧中目标的第一尺度响应值大于当前帧中目标的第二尺度响应值,说明在当前帧中待跟踪目标是放大的,若在当前帧中目标的第一尺度响应值小于当前帧中目标的第二尺度响应值,说明在当前帧中待跟踪目标是缩小的;在所确定的树形结构的分支内,采用尺度池来求解预设数量的尺度滤波器的大小,找到目标的最佳尺度响应值。本发明每个分支进行10个尺度的比较,因此在每一帧更新中共需要进行12次运算。为了确保跟踪过程中待跟踪目标的尺度确实发生了变化,而不是受到某一帧的目标检测结果的影响,本申请每隔预定时间(例如3秒)对目标检测的结果进行一次记录,若连续预设次数(例如10次)都出现待跟踪目标的尺度发生放大或缩小,就可以确认待跟踪目标的尺度发生了变化,并使用基于树形结构尺度自适应的目标跟踪算法进行尺度放缩。
相对于SAMF算法所提尺度树算法的尺度因子覆盖范围更大,能够提高跟踪算法的精度;相比于DSST算法所提算法能减少无用的运算21次,能够提高跟踪算法的速度。
S104、在相关滤波(Correlation Filter)模型KCF中,根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标。
在本申请一实施例中,S104之后,所述方法还可以包括以下步骤:
S105、利用相似性检测方法来更新目标模型,对满足要求的图像进行模型的更新,对不满足要求的图像则判定目标丢失;
S106、如果目标丢失,则结合全帧搜索法对丢失的目标进行位置恢复。
在本申请一实施例中,S105具体可以包括以下步骤:
相似性检测方法根据***的响应值,获得一个丢失确信分数,并检查是否超过检测阈值,从而输出一个预测目标丢失的0-1值,预测目标丢失值为1时表示丢失检测器认为当前待跟踪目标已经丢失,否则表示检测器认为当前待跟踪目标没有丢失。而借助真实目标框的标定信息,可以计算当前预测的目标框位置与标定目标框的交叠比。若交叠比为0,则可知目标框实际确实发生了丢失。对于目标丢失的检测,本发明使用相似性分数检测方式具有最好的检测效果,跟踪速度也下降不大,同时检测阈值的选择相比较宽松。相似性检测方法如下:
基于相似性匹配的孪生网络不仅可以用来在新一帧的搜索区域中匹配选择目标的参考位置,其相关操作的结果还可以作为一种可靠性度量。如果发生了目标丢失导致新一帧预测位置和目标实际位置相差较大,预测位置处的样本和模板样本可能相差较大,使相关分数较低。
记第一帧中在真实标定区域获得的样本为x1∈RH×W×C,第t帧中,以预测目标中心点位置和目标框尺寸为参照采样并放缩获得的样本为xt∈RH×W×C。将以上样本输入到基于相似性匹配的孪生网络中,经过特征提取流程得到的对应特征分别为p1∈RH′×W′×C′和pt∈RH′×W′×C′。此外使用一种指数滑动平均方法能够给出第t帧的一个历史加权特征paccu∈RH ′×W′×C′。具体方法如下:使用第t帧样本的特征和第1帧样本的特征,产生相似性分数用于判断,如公式(1)所示。使用第t帧样本的特征和历史累积样本特征,产生相似性分数用于判断,如公式(2)所示:
s=ψ(p1,pt) (1)
s=ψ(paccu,pt) (2)
其中,ψ是互相关函数,在实现过程中使用卷积操作完成,历史累积样本特征的更新按照公式(3)计算。使用这种方式的目的是依赖可靠的历史信息的同时,采纳一定程度的新一帧信息,以反映目标的运动变化情况,增强鲁棒性。该式中γ是一个滑动平均系数,实验中使用经验值γ=0.005
paccu,t=(1-γ)paccu,t-1+γpt (3)
给定一个阈值β,对于相似性方法产生的响应分数,相似性分数s低于β的视为判断跟踪失败,认为预测的目标中心点位置和尺寸不可靠,目标可能丢失或被遮挡,将不使用预测位置的样本来更新目标模型,同时维持上一帧预测的目标框位置与尺寸不更新。否则高于β的认为跟踪状态正常,正常更新目标模型和目标的框的位置尺寸。
在本申请一实施例中,S106具体可以包括以下步骤:
通过全帧搜索法获取候选目标中心测试点,以上一帧目标框大小为基准,裁剪提取相应样本,输入到基于相似性匹配的孪生网络中进行匹配跟踪,基于相似性匹配的孪生网络输出最高响应的位置作为恢复目标位置。
全帧搜索法能够显著提高整体跟踪精度,说明在使用标定信息感知到目标丢失的情况下,全帧搜索法一定程度上在后续帧中成功地进行了恢复。具体可采用等间距采样方式和高斯分布式采样方式。
本申请一实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本申请一实施例提供的多特征融合相关滤波目标跟踪方法的步骤。
图3示出了本申请一实施例提供的计算机设备的具体结构框图,一种计算机设备100包括:一个或多个处理器101、存储器102、以及一个或多个计算机程序,其中所述处理器101和所述存储器102通过总线连接,所述一个或多个计算机程序被存储在所述存储器102中,并且被配置成由所述一个或多个处理器101执行,所述处理器101执行所述计算机程序时实现如本申请一实施例提供的多特征融合相关滤波目标跟踪方法的步骤。计算机设备包括服务器和终端等。该计算机设备可以是台式计算机、移动终端或车载设备,移动终端包括手机、平板电脑、个人数字助理或可穿戴设备等中的至少一种。
在本申请中,由于分别计算待跟踪目标图像的深度特征和三个手工特征,首先对三个手工特征进行串行融合,得到一个单通道的手工特征图,然后对待跟踪目标图像进行深度特征提取,得到一个单通道的深度特征图,最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征;基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断,得到目标的最佳尺度响应值。因此能增加目标的外观模型的可区分性。又由于利用相似性检测方法来更新目标模型,对于满足要求的图像进行模型的更新,对于不满足要求的图像则判定目标丢失;如果目标丢失,则结合全帧搜索法对丢失的目标进行位置恢复。因此提高了目标丢失检测和恢复的准确性,能够显著提高整体跟踪精度,跟踪速度也下降不大,同时检测阈值的选择相比较宽松。
应该理解的是,本申请各实施例中的各个步骤并不是必然按照步骤标号指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种多特征融合相关滤波目标跟踪方法,其特征在于,所述方法包括以下步骤:
S101、接收视频,在当前视频帧中获取待跟踪目标图像和待跟踪目标的跟踪框;
S102、分别计算待跟踪目标图像的深度特征和三个手工特征,首先对三个手工特征进行串行融合,得到一个单通道的手工特征图,然后对待跟踪目标图像进行深度特征提取,得到一个单通道的深度特征图,最后将手工特征图与深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征;三个手工特征包括方向梯度直方图HOG、颜色命名CN和灰度Gray,深度特征是卷积神经网络CNN;
S103、基于树形结构尺度自适应的目标跟踪算法对待跟踪目标的跟踪框中的目标进行尺度缩放判断,得到目标的最佳尺度响应值;
S104、在相关滤波模型KCF中,根据最终的融合特征和目标的最佳尺度响应值确定待跟踪目标;
S102具体包括以下步骤:
S1021、分别计算待跟踪目标图像的深度特征和三个手工特征;
S1022、将三个手工特征的通道数进行串行融合,得到融合后的特征;
S1023、将融合后的特征进行对应像素相加,得到一个单通道的手工特征图;
S1024、提取待跟踪目标图像的深度特征,得到多个深度特征图,并将得到的各个深度特征图进行对应像素相加,得到一个单通道的深度特征图;
S1025、将手工特征图和深度特征图并行融合调整为相同尺寸再进行对应像素相加,得到最终的融合特征。
2.如权利要求1所述的方法,其特征在于,计算待跟踪目标图像的三个手工特征具体包括:计算待跟踪目标图像的第一通道数的Gray特征,第二通道数的HOG特征和第三通道数的CN特征;
所述提取待跟踪目标图像的深度特征具体为:使用ImageNet-vgg-2048网络提取待跟踪目标图像的深度特征。
3.如权利要求1所述的方法,其特征在于,S103具体包括以下步骤:
S1031、对待跟踪目标的跟踪框进行位置滤波器的计算,确定目标的位置中心坐标;
S1032、根据目标的位置中心坐标进行树形结构的尺度估计,找到目标的最佳尺度响应值。
4.如权利要求3所述的方法,其特征在于,S1032具体为:
根据目标的位置中心坐标通过树形结构的第一层确定待跟踪目标是放大还是缩小,所述第一层包括当前帧中目标的第一尺度的响应值和当前帧中目标的第二尺度的响应值,从而确定目标的最大尺度响应值的寻找方向,若在当前帧中目标的第一尺度响应值大于当前帧中目标的第二尺度响应值,说明在当前帧中待跟踪目标是放大的,若在当前帧中目标的第一尺度响应值小于当前帧中目标的第二尺度响应值,说明在当前帧中待跟踪目标是缩小的;
在所确定的树形结构的分支内,采用尺度池来求解预设数量的尺度滤波器的大小,找到目标的最佳尺度响应值。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
每隔预定时间对目标检测的结果进行一次记录,若连续预设次数都出现待跟踪目标的尺度发生放大或缩小,就可以确认待跟踪目标的尺度发生了变化,并使用基于树形结构尺度自适应的目标跟踪算法进行尺度放缩。
6.如权利要求1所述的方法,其特征在于,S104之后,所述方法还包括以下步骤:
S105、利用相似性检测方法来更新目标模型,对于满足要求的图像进行模型的更新,对于不满足要求的图像则判定目标丢失;
S106、如果目标丢失,则结合全帧搜索法对丢失的目标进行位置恢复。
7.如权利要求6所述的方法,其特征在于,S106具体包括以下步骤:
通过全帧搜索法获取候选目标中心测试点,以上一帧目标框大小为基准,裁剪提取相应样本,输入到基于相似性匹配的孪生网络中进行匹配跟踪,基于相似性匹配的孪生网络输出最高响应的位置作为恢复目标位置。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的多特征融合相关滤波目标跟踪方法的步骤。
9.一种计算机设备,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,所述处理器和所述存储器通过总线连接,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的多特征融合相关滤波目标跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110496902.9A CN113269809B (zh) | 2021-05-07 | 2021-05-07 | 一种多特征融合相关滤波目标跟踪方法及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110496902.9A CN113269809B (zh) | 2021-05-07 | 2021-05-07 | 一种多特征融合相关滤波目标跟踪方法及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113269809A CN113269809A (zh) | 2021-08-17 |
CN113269809B true CN113269809B (zh) | 2022-06-21 |
Family
ID=77230054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110496902.9A Active CN113269809B (zh) | 2021-05-07 | 2021-05-07 | 一种多特征融合相关滤波目标跟踪方法及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113269809B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113537253B (zh) * | 2021-08-23 | 2024-01-23 | 北京环境特性研究所 | 一种红外图像目标检测方法、装置、计算设备及存储介质 |
CN113822911B (zh) * | 2021-10-08 | 2022-09-16 | 中国人民解放军国防科技大学 | 柱状倾斜目标的跟踪方法、装置、计算机设备和存储介质 |
CN113869272A (zh) * | 2021-10-13 | 2021-12-31 | 北京达佳互联信息技术有限公司 | 基于特征提取模型的处理方法、装置、电子设备及介质 |
CN116109975B (zh) * | 2023-02-08 | 2023-10-20 | 广州宝立科技有限公司 | 电网安全作业监控图像处理方法及智能视频监控*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN109410247A (zh) * | 2018-10-16 | 2019-03-01 | 中国石油大学(华东) | 一种多模板和自适应特征选择的视频跟踪算法 |
CN109461172A (zh) * | 2018-10-25 | 2019-03-12 | 南京理工大学 | 人工与深度特征联合的相关滤波视频自适应跟踪方法 |
CN110084836A (zh) * | 2019-04-26 | 2019-08-02 | 西安电子科技大学 | 基于深度卷积特征分层响应融合的目标跟踪方法 |
CN111626290A (zh) * | 2019-12-31 | 2020-09-04 | 中国航天科工集团八五一一研究所 | 一种复杂海面环境下的红外舰船目标检测识别方法 |
CN111754546A (zh) * | 2020-06-18 | 2020-10-09 | 重庆邮电大学 | 一种基于多特征图融合的目标跟踪方法、***及存储介质 |
CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11423651B2 (en) * | 2016-02-09 | 2022-08-23 | Hrl Laboratories, Llc | System and method for the fusion of bottom-up whole-image features and top-down enttiy classification for accurate image/video scene classification |
-
2021
- 2021-05-07 CN CN202110496902.9A patent/CN113269809B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107644430A (zh) * | 2017-07-27 | 2018-01-30 | 孙战里 | 基于自适应特征融合的目标跟踪 |
CN109410247A (zh) * | 2018-10-16 | 2019-03-01 | 中国石油大学(华东) | 一种多模板和自适应特征选择的视频跟踪算法 |
CN109461172A (zh) * | 2018-10-25 | 2019-03-12 | 南京理工大学 | 人工与深度特征联合的相关滤波视频自适应跟踪方法 |
CN110084836A (zh) * | 2019-04-26 | 2019-08-02 | 西安电子科技大学 | 基于深度卷积特征分层响应融合的目标跟踪方法 |
CN111626290A (zh) * | 2019-12-31 | 2020-09-04 | 中国航天科工集团八五一一研究所 | 一种复杂海面环境下的红外舰船目标检测识别方法 |
CN111754546A (zh) * | 2020-06-18 | 2020-10-09 | 重庆邮电大学 | 一种基于多特征图融合的目标跟踪方法、***及存储介质 |
CN112329784A (zh) * | 2020-11-23 | 2021-02-05 | 桂林电子科技大学 | 一种基于时空感知及多峰响应的相关滤波跟踪方法 |
Non-Patent Citations (1)
Title |
---|
基于自适应特征选择的多尺度相关滤波跟踪;沈秋,严小乐;《光学学报》;20170531;第0515001-1-10页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113269809A (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113269809B (zh) | 一种多特征融合相关滤波目标跟踪方法及计算机设备 | |
CN111860670B (zh) | 域自适应模型训练、图像检测方法、装置、设备及介质 | |
CN110599451B (zh) | 医学图像病灶检测定位方法、装置、设备及存储介质 | |
CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
CN110738101B (zh) | 行为识别方法、装置及计算机可读存储介质 | |
CN109344742B (zh) | 特征点定位方法、装置、存储介质和计算机设备 | |
CN109034078B (zh) | 年龄识别模型的训练方法、年龄识别方法及相关设备 | |
US11093737B2 (en) | Gesture recognition method and apparatus, electronic device, and computer-readable storage medium | |
CN110120064B (zh) | 一种基于互强化与多注意机制学习的深度相关目标跟踪算法 | |
CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN110766724A (zh) | 目标跟踪网络训练、跟踪方法及装置、电子设备及介质 | |
CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及*** | |
CN111612817A (zh) | 基于深浅特征自适应融合与上下文信息的目标跟踪方法 | |
CN109903272B (zh) | 目标检测方法、装置、设备、计算机设备和存储介质 | |
CN112749726B (zh) | 目标检测模型的训练方法、装置、计算机设备和存储介质 | |
CN107633226A (zh) | 一种人体动作跟踪识别方法及*** | |
WO2021143865A1 (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
CN113343909B (zh) | 多任务分类网络的训练方法、行人重识别方法 | |
CN110992401A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
CN110163864B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN113989331A (zh) | 基于上下文多线索信息和自适应响应的长时目标跟踪方法 | |
CN112183252A (zh) | 视频的动作识别方法、装置、计算机设备和存储介质 | |
CN109255799B (zh) | 一种基于空间自适应相关滤波器的目标跟踪方法及*** | |
CN114359787A (zh) | 目标属性识别方法、装置、计算机设备及存储介质 | |
CN111640138A (zh) | 一种目标跟踪方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210817 Assignee: Guangxi Xinyang Shiji Information Technology Co.,Ltd. Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY Contract record no.: X2022450000415 Denomination of invention: A Multi feature Fusion Correlation Filtering Target Tracking Method and Computer Equipment Granted publication date: 20220621 License type: Common License Record date: 20221227 |
|
EE01 | Entry into force of recordation of patent licensing contract |