CN110222585A - 一种基于级联检测器的运动目标跟踪方法 - Google Patents

一种基于级联检测器的运动目标跟踪方法 Download PDF

Info

Publication number
CN110222585A
CN110222585A CN201910400365.6A CN201910400365A CN110222585A CN 110222585 A CN110222585 A CN 110222585A CN 201910400365 A CN201910400365 A CN 201910400365A CN 110222585 A CN110222585 A CN 110222585A
Authority
CN
China
Prior art keywords
frame
kth
interest
sample
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910400365.6A
Other languages
English (en)
Other versions
CN110222585B (zh
Inventor
杨卫东
翟展
王爽
沈孔怀
雷晓奇
凌翔滨
王公炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910400365.6A priority Critical patent/CN110222585B/zh
Publication of CN110222585A publication Critical patent/CN110222585A/zh
Application granted granted Critical
Publication of CN110222585B publication Critical patent/CN110222585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联检测器的运动目标跟踪方法，包括：(1)相关滤波***的初始化；(2)级联检测器的初始化；(3)相关滤波***获取第一感兴趣区域；(4)级联分类器目标检测；(5)第一感兴趣区域与检测区域的综合；(6)更新跟踪模型与级联检测器；其中，通过相关滤波***获取第一感兴趣区域，级联检测器包括方差分类器、多通道随机蕨分类器和相关一致分类器，通过三种分类器获取检测区域，第一感兴趣区域和检测区域进行加权修正获取第二感兴趣区域，可有效地防止跟踪结果的振荡，同时采用级联检测器可保证跟踪模型获取的第一感兴趣区域的准确性。

Description

一种基于级联检测器的运动目标跟踪方法
技术领域
本发明属于目标跟踪的技术领域，更具体地，涉及一种基于级联检测器的运动目标跟踪方法。
背景技术
随着科学技术的发展，人们的生活、学习和工作在智能设备上的要求也在不断提高。在视频监控领域，在过去只能做到静态的记录，然后用来监控某一区域或记录某一地区在一定时间内发生的事，但现在的社会环境需要监测设备更加智能化，能够实现远距离、多方位观察视频图像，更需要图像设备能实时跟踪并自动分析处理。例如，自动跟踪感兴趣的目标对象，实现各种目标对象的检测、实时跟踪、定位报警等，这些技术需求又反过来推动了人工智能的发展，引领市场方向，引领科技进步。
运动目标跟踪在军事领域的应用也越来越广泛，运动目标跟踪更发展成为了飞行器导航中的一项关键的技术。在各种军用设备中都需要图像跟踪手段来达到精确导引的目的，包括导弹和无人机等***，目前迫切需要利用这一信息载体对图像进行搜索、捕获、定位和精确跟踪。
随着技术的进步，对目标的搜索和跟踪***的需求正朝着智能化的方向发展，要求***能够长期地对目标进行准确的自动跟踪。近些年基于相关滤波的跟踪算法无论在速度还是性能上都表现出了极大的潜力，因此广泛应用于跟踪领域，但是由于相关滤波本身并不具备干扰检测的能力，因此如果目标被遮挡那么就会跟踪失败，此外随着跟踪过程的进行难以避免误差逐渐累积造成跟踪漂移，而且时间越长误差越大，因此无法直接将现有算法应用到长时跟踪的场景中。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于级联检测器的运动目标跟踪方法，旨在解决现有的长时跟踪方法由于缺乏级联检测器定位检测区域导致跟踪漂移的问题。
为实现上述目的，本发明提供了一种基于级联检测器的运动目标跟踪方法，包括：
(1)基于序列图像第k帧的训练样本，分别计算跟踪模型的参数和级联检测器的参数；
所述级联检测器依次按照方差分类器、多通道随机蕨分类器和相关一致分类器的顺序级联构成；
(2)根据第k+1帧第一训练样本的样本特征以及基于第k帧训练样本的跟踪模型，计算第k+1帧第一训练样本的频域特征响应图和跟踪置信度；
(3)根据跟踪置信度，筛选频域特征响应值最大的点为第k+1帧的第一感兴趣区域；
(4)将第k+1帧第一感兴趣区域划分为栅格图像后，各栅格图像依次通过级联检测器筛选出检测区域；
(5)根据检测区域校准第k+1帧的第一感兴趣区域获取第k+1帧的第二感兴趣区域；
(6)以第k+1帧的第二感兴趣区域为中心生成第k+1帧的第二训练样本，并基于第k+1帧的第二训练样本分别更新跟踪模型和级联检测器；
(7)判断是否满足k+1<m，若满足，则k＝k+1，转至步骤(2)；否则，停止；其中，m为序列图像的最大帧数。
优选地，步骤(1)包括：
(1.1)根据第k帧的目标跟踪的初始感兴趣区域生成第k帧的训练样本，并基于第k帧的训练样本的样本特征和样本标签获取跟踪模型的参数；
(1.2)根据所述第k帧的训练样本生成的正样本和负样本初始化方差分类器、多通道随机蕨分类器和相关一致分类器。
优选地，所述步骤(1.2)中初始化多通道随机蕨分类器的方法为：
按照相同比例在正样本和负样本中提取样本构建训练集，剩余正样本和负样本构成测试集；
提取训练集的每个特征通道对应的二值特征，计算每个随机蕨的后验概率，且利用相关滤波***获取每个通道的置信度；
将各训练集中训练样本的所有特征通道的后验概率按通道置信度进行叠加后设定后验概率阈值；
计算测试集中测试样本按通道置信度叠加后的后验概率；
筛选测试集中后验概率值大于后验概率阈值的测试样本，将筛选的测试样本的后验概率的平均值作为多通道随机蕨分类器的阈值。
所述步骤(1.2)中计算相关一致分类器的方法为：
计算正样本和初始感兴趣区域的归一化互相关系数；
以正样本和初始感兴趣区域的交并比为权重，将权重归一化处理；
将互相关系数加权相加初始化相关一致分类器。
优选地，所述步骤(2)包括：
(2.1)将第k帧感兴趣区域的中心点作为第k+1帧目标波门的中心点位置，计算第k+1帧目标波门的大小；
(2.2)根据第k+1帧目标波门的大小和中心点位置，获取第k+1帧的第一训练样本；
(2.3)提取归一化后的第k+1帧第一训练样本的样本特征，并利用汉宁窗滤波使样本特征边缘平滑过渡；；
(2.4)利用第k+1帧的样本特征和跟踪模型计算第k+1帧第一训练样本的频域特征响应值和跟踪置信度。
优选地，所述步骤(3)包括：
(3.1)将第k+1帧第一训练样本的跟踪置信度与相关滤波***的阈值比较，若第一训练样本的跟踪置信度大于相关滤波***的阈值，则第一训练样本无干扰，频域特征响应值最大的点为第k+1帧的第一感兴趣区域，转至步骤(4)；否则，转至步骤(3.2)；
(3.2)通过滑动窗口遍历扩大的第k+1帧的搜索区域，且各滑动窗口通过相关滤波***获取相应的响应图；
(3.3)计算各响应图的跟踪置信度，对比各响应图的跟踪置信度与相关滤波***的阈值，若响应图的跟踪置信度大于相关滤波***的阈值，则转至步骤(3.4)，否则，转至步骤(3.2)；
(3.4)判断通过相关滤波***的响应图个数，若存在多个响应图，则选择跟踪置信度值最大的滑动窗口作为第k+1帧第一感兴趣区域，转至步骤(4)；若存在唯一响应图，则对应的滑动窗口为第k+1帧第一感兴趣区域，转至步骤(4)；
所述相关滤波***包括第k帧的训练样本和跟踪模型。
优选地，所述步骤(4)包括：
(4.1)将所述第k+1帧第一感兴趣区域划分为若干栅格；
(4.2)依次计算所述各栅格图像的方差，若栅格图像的方差大于方差分类器的阈值，则该栅格图像通过，转至步骤(4.3)；否则，栅格图像淘汰，k＝k+1，执行步骤(2)-(3)以更新第k+1帧的第一感兴趣区域，转至步骤(4.1)；
(4.3)依次对通过方差分类器的各栅格图像提取每个特征通道对应的二值特征；
(4.4)根据决策树的特征分布计算每个特征通道的后验概率；
(4.5)将所有特征通道的后验概率按通道置信度进行叠加，若叠加值大于多通道随机蕨分类器的阈值，则栅格图像通过，转至步骤(4.6)，否则，栅格图像淘汰，k＝k+1，执行步骤(2)-(3)以更新第k+1帧的第一感兴趣区域，转至步骤(4.1)；
(4.6)依次计算通过多通道随机蕨分类器的各栅格图像与目标窗的归一化互相关系数，若栅格图像的相关系数加权相加值大于相关一致分类器的阈值，则栅格图像通过，转至步骤(4.6)，否则，栅格图像淘汰，k＝k+1，执行步骤(2)-(3)以更新第k+1帧的第一感兴趣区域，转至步骤(4.1)；
(4.7)判断通过多通道随机蕨分类器的栅格个数，若存在多个栅格，则筛选与第一感兴趣区域的位置最近的栅格作为检测区域；若存在唯一栅格，则唯一栅格为检测区域。
所述步骤(5)包括：
(5.1)判断检测区域是否稳定，若稳定，则根据检测区域校准第k+1帧的第一感兴趣区域获取第k+1帧的第二感兴趣区域，转至步骤(6)；否则，转至步骤(5.2)；
(5.2)以第k+1帧的第一感兴趣区域为中心更新第k+1帧的第一训练样本和跟踪模型的参数；
(5.3)k＝k+1，执行步骤(2)-(4)以更新检测区域，转到步骤(5.1)。
所述第k+1帧的第二感兴趣区域的中心位置靠近检测区域RES，大小与第k+1帧的的第一感兴趣区域相同。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
(1)本发明提供的级联检测器包括三个分类器，即方差分类器、多通道随机蕨分类器和相关一致性分类器，能够精确地定位训练样本的检测区域；同时采用相关滤波***可有效地跟踪训练样本的第一感兴趣区域，将检测区域和第一感兴趣区域加权确定训练样本的第二感兴趣区域，而不是直接用检测区域代替跟踪获取的第一感兴趣区域，从而有效防止了跟踪结果产生的漂移，同时保证跟踪模型获取的特征越来越接近准确的目标特征，使跟踪结果越来越精确。
(2)本发明将第一训练样本的跟踪置信度与相关滤波***的阈值比较，判断第一训练样本是否有干扰，若有干扰设置了重捕获的方法，通过跟踪各响应图筛选无干扰的第一训练样本，同时本发明对检测区域进行稳定性判断防止***学习到错误特征，保证跟踪模型的可靠性，以上两技术特征，极大地提升了跟踪结果的准确性。
附图说明
图1是本发明提供的基于级联检测器的运动目标长时跟踪流程图；
图2是本发明提供的相关滤波***的跟踪示意图；
图3是本发明提供的相关一致性分类器的计算示意图；
图4是本发明提供的级联分类器检测的示意图；
图5是本发明提供的第一训练样本重捕获过程的示意图；
图6是本发明提供的干扰检测和目标重捕获示意图；
图7是本发明提供的检测与跟踪结果加权示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明提供了一种基于级联检测器的运动目标跟踪方法，包括:
S1:相关滤波***的初始化
即：根据序列图像第k帧的训练样本的样本特征和样本标签获取跟踪模型的参数，完成相关滤波***的初始化；
相关滤波***包括跟踪模型和样本特征；
如图2所示，具体包括如下步骤：
S1.1通过目标检测方法获取序列图像当前帧的目标跟踪的初始感兴趣区域ROI；
S1.2初始感兴趣区域以目标波门大小扩大搜索范围生成第k帧的训练样本，并提取训练样本特征；
具体地，训练样本的计算公式如下:
Padw＝Tmw*Pad
Padh＝Tmh*Pad
其中，Padw，Padh分别为第k帧的的第二训练样本对应搜索区域的宽度和高度；Pad为目标波门大小；Tmw，Tmh分别为初始感兴趣区域的宽度和高度；
对第k帧的训练样本进行尺度归一化和特征归一化处理后用汉宁窗滤波可获取第k帧的训练样本的特征数据。
S1.3采用高斯函数生成第k帧的训练样本的样本标签；
具体地，获取第k帧的训练样本的特征数据后，再添加样本标签即可以对相关滤波***进行训练。
基于相关滤波***的跟踪算法，在样本选取中使用权重标记法进行连续样本标记，本发明中采用高斯函数生成权重标签，即根据第k帧的训练样本中心离初始感兴趣区域的远近给第k帧的训练样本赋[0，1]范围的值，离初始感兴趣区域越近，第k帧的训练样本的权重越接近1，离初始感兴趣区域越远，第k帧的训练样本的权重越接近0；权重大小准确反应第k帧的训练样本对应特征信息的重要程度。
S1.4利用训练样本特征和样本标签计算跟踪模型的参数。
如图3所示，第k帧的训练样本训练相关滤波***的过程实际上是一个岭回归的问题，对于给定的训练样本特征和样本标签，最终目的是寻找一个映射函数f(x)，使得如下的残差函数值最小：
其中，f(xi)＝wTxi，w为跟踪模型的权重向量，即模型参数；λ是正则化参数，用于防止跟踪模型过拟合；n表示一共有n个训练样本，i是从1到n的整数值，代表第i个训练样本；xi为第i个训练样本对应的特征向量；yi为第二训练样本对应的样本标签；
参考线性最小二乘法的求解方法，上式的闭式解为：
w＝(XTX+λI)-1XTY
其中，I是一个单元矩阵；X是每个样本特征向量构成的训练样本特征矩阵；Y是训练样本对应样本标签yi组成的列向量；
矩阵求逆比较耗时，因此采用傅里叶变换将w变换至频域从而大大减少运算量；
由于实际训练样本包含的样本特征不能进行线性分类，因此需引入核函数，将样本特征空间通过映射函数映射到更高维的空间，跟踪模型的权重向量变为：
其中，是映射函数；求解参数由w变成α；
α＝(K+λI)-1Y
其中，K为训练样本的核矩阵；Kij＝K(xi,xj)，采用高斯核函数可得：
其中，^代表频域表达式，G为高斯权重标签，λ是消零因子，X和Z是样本特征矩阵，当Z＝X时，获取核空间跟踪模型的初始化参数，当Z≠X时，获取核空间跟踪模型的更新参数。初始化时Z和X均为第k帧的训练样本的样本特征，利用上述计算公式初始化跟踪模型的参数。
S2：级联检测器的初始化
即：如图4所示，根据目标窗以及训练样本划分的正样本和负样本，初始化方差分类器、多通道随机蕨分类器和相关一致分类器；
方差分类器、多通道随机蕨分类器和相关一致分类器构成级联检测器；
具体包括如下步骤：
S2.1正样本和负样本的生成
将训练样本进行栅格划分后，以栅格和感兴趣区域的交并比为指标从训练样本中筛选出接近感兴趣区域的一组窗格good_boxes(正样本)和远离感兴趣区域的一组窗格bad_boxes(负样本)，按照相同比例在正样本和负样本中提取样本构建训练集，剩余正样本和负样本构成测试集；
S2.2方差分类器初始化
生成good_boxes的最小外接矩形并计算该区域的方差var，将方差分类器的阈值初始化为var*0.5；
S2.3多通道随机蕨分类器初始化
提取训练集的每个特征通道对应的二值特征，计算每个随机蕨的后验概率，且利用相关滤波***获取每个通道的置信度；
将各训练集中训练样本的所有特征通道的后验概率按通道置信度进行叠加后设定后验概率阈值0.6；
计算测试集中测试样本按通道置信度叠加后的后验概率；
筛选测试集中后验概率值大于后验概率阈值0.6的测试样本，将筛选的测试样本的后验概率的平均值作为多通道随机蕨分类器的阈值；
S2.4相关一致分类器初始化
计算正样本和目标窗的归一化互相关系数；以正样本和目标窗的交并比为权重，将权重归一化处理；将互相关系数加权相加初始化相关一致分类器；
相关一致分类器的阈值为互相关系数加权相加乘以0.6；
S3:相关滤波***获取第一感兴趣区域
具体包括如下步骤：
S3.1根据第k+1帧的第一训练样本的样本特征，计算第k+1帧的第一训练样本的频域特征响应和跟踪置信度；
如图3所示，具体S3.1包括如下步骤：
S3.1.1将第k帧感兴趣区域的中心点作为第k+1帧目标波门的中心点位置，计算第k+1帧目标波门的大小；
S3.1.2根据第k+1帧目标波门的大小和中心点位置，获取第k+1帧的第一训练样本；
S3.1.3提取归一化后的第k+1帧的第一训练样本的样本特征，并利用汉宁窗滤波使样本特征边缘平滑过渡；
S3.1.4利用第k+1帧的样本特征和跟踪模型获取第k+1帧第一训练样本的频域特征响应值和跟踪置信度；
具体地，利用第k+1帧的样本特征和跟踪模型计算响应矩阵，该响应矩阵为标签矩阵，用于标示图像中点成为第一感兴趣区域的可能性大小或者权重，所以响应值最大的位置为第k+1帧的第一感兴趣区域；响应矩阵的计算公式如下：
其中，F(·)表示对括号里的内容进行傅立叶变换；f(Z)为响应值，α为跟踪模型的参数，⊙代表点乘，K为核矩阵；X是第k帧训练样本的样本特征矩阵；Z为第k+1帧第一训练样本的样本特征矩阵；f(Z)最大值所对应的位置记为第k+1帧的第一感兴趣区域；
S3.2根据跟踪置信度判断第k+1帧的第一训练样本是否有干扰，若无，则频域特征响应值最大的点为第k+1帧的第一感兴趣区域，转至步骤S4.1，否则在第k+1帧扩大搜索区域用跟踪模型重捕获第一感兴趣区域，转至步骤S4.1；
如图5所示，S3.2具体包括如下步骤：
S3.2.1将第k+1帧的第一训练样本的跟踪置信度与相关滤波***的阈值比较，若第k+1帧的第一训练样本的跟踪置信度大于相关滤波***的阈值，则第k+1帧的第一训练样本无干扰，频域特征响应值最大的点为第一感兴趣区域，转至步骤S4.1；否则，转至步骤S3.2.2；
S3.2.2通过滑动窗口遍历扩大的第k+1帧的搜索区域，且各滑动窗口通过相关滤波***获取相应的响应图；
S3.2.3计算各响应图的跟踪置信度，对比各响应图的跟踪置信度与相关滤波***的阈值，若存在响应图的跟踪置信度大于相关滤波***的阈值，则转至步骤S3.2.4，否则，转至步骤S3.2.2；
S3.2.4判断通过相关滤波***的响应图个数，若存在多个响应图，则选择跟踪置信度值最大的滑动窗口作为第k+1帧的第一感兴趣区域，转至步骤S4.1，否则，筛选出的滑动窗口为第k+1帧的第一感兴趣区域，转至步骤S4.1；
如图6所示，从左到右第一列代表正常跟踪，第二列代表步骤S3.2.1判断出有干扰，第三列代表步骤S3.2.4筛选出的第一感兴趣区域。
S4：级联分类器目标检测
即:如图4所示，第k+1帧的第一感兴趣区域的栅格图像依次通过方差分类器、多通道随机蕨分类器和相关一致分类器筛选，若筛选出检测区域，转至步骤S5.1，否则，以第k+1帧的第一感兴趣区域为中心生成第k+1帧第一训练样本，并基于第k+1帧第一训练样本更新跟踪模型的参数，k＝k+1，转至步骤S3.1；
具体包括如下步骤:
S4.1依次计算第k+1帧的第一感兴趣区域的各栅格图像的方差，若栅格图像的方差大于方差分类器的阈值，则该栅格图像通过，转至步骤S4.2，否则，栅格图像淘汰，以第k+1帧的第k+1帧的第一感兴趣区域为中心生成第k+1帧的第一训练样本，更新跟踪模型的参数，k＝k+1，转至步骤S3.1；
S4.2依次对通过方差分类器的各栅格图像提取每个特征通道对应的二值特征；
S4.3根据决策树的特征分布计算每个特征通道的后验概率；
S4.4将所有特征通道的后验概率按通道置信度进行叠加，若叠加值大于多通道随机蕨分类器的阈值，则栅格图像通过，转至步骤S4.5，否则，栅格图像淘汰，以第k+1帧的第一感兴趣区域为中心生成第k+1帧的第一训练样本，更新跟踪模型的参数，k＝k+1，转至步骤S3.1；
S4.5依次计算通过多通道随机蕨分类器的各栅格图像与目标窗的归一化互相关系数，若栅格图像的相关系数加权相加值大于相关一致分类器的阈值，则栅格图像通过，转至步骤S4.6，否则，栅格图像淘汰，以第k+1帧的第一感兴趣区域为中心生成第k+1帧的第一训练样本，更新跟踪模型的参数，k＝k+1，转至步骤S3.1；
S4.6判断通过多通道随机蕨分类器的栅格个数，若有多个栅格，则筛选与第k+1帧的第一感兴趣区域的位置最近的栅格作为检测区域，否存在唯一栅格，则唯一栅格为检测区域；
S5：第k+1帧的第一感兴趣区域与检测区域的综合
即：如图7所示，判断检测区域是否稳定，若稳定，则根据检测区域校准第k+1帧的第一感兴趣区域，获取第k+1帧的第二感兴趣区域，则转至S6；否则，以第k+1帧的第一感兴趣区域为中心生成第k+1帧的第一训练样本，更新跟踪模型的参数，k＝k+1，转至步骤S3.1；
具体地，相关滤波***获取第k+1帧的第一感兴趣区域与级联检测器获取检测区域，两者预测同一目标位置，则需要将两者综合考虑，确保最后跟踪结果的准确性和可靠性；
若检测区域是稳定的，则采用检测区域修正第一感兴趣区域，具体方式如下：
cx＝tcx*(1-rate)+dcx*rate
cy＝tcy*(1-rate)+dcy*rate
其中，tcx为第k+1帧的第一感兴趣区域的中心点的横坐标，tcy为第k+1帧的第一感兴趣区域的中心点的纵坐标；dcx为检测区域的中心点的横坐标，dcy为检测区域的中心点的纵坐标；cx为修正后的第k+1帧的第二感兴趣区域的中心点横坐标，cy为修正后的第k+1帧的第二感兴趣区域的中心点纵坐标；rate为检测区域在修正时所占比重，值越大那么第k+1帧的第二感兴趣区域越靠近检测区域。用第k+1帧的第二感兴趣区域更新样本特征的模板和跟踪模型的参数；
S6：更新跟踪模型与级联检测器
即：如图7所示，以第k+1帧的第二感兴趣区域为中心生成第k+1帧的第二训练样本，并基于第k+1帧的第二训练样本分别更新跟踪模型和级联检测器后，k＝k+1，转至步骤S3。
具体包括步骤：
S6.1跟踪模型的更新
具体如下：以第k+1帧的第二感兴趣区域为中心生成第k+1帧的第二训练样本，提取其样本特征，跟踪模型的参数计算公式如下：
其中，Y是高斯标签矩阵，对于固定的模板大小，Y是常数标签矩阵；X是前k帧学习的样本特征矩阵；Z是第k+1帧获取的样本特征矩阵；α为跟踪模型的参数；现需对X和α进行更新，即对跟踪模型参数和样本特征矩阵进行更新，具体包括如下步骤：
S6.1.1样本特征更新
具体地，由于目标在运动过程中的特征是在不断变化的，因此需要更新样本库以保证样本库中保存的是最新的特征，但是也不能完全替代原来的模型，否则一旦目标发生形变就很难适应；
利用第k+1帧第二训练样本更新样本特征矩阵，更新方式具体如下：
Xk+1＝(1-a)*Xk+a*Xk+1
其中，a为样本特征更新参数；Xk为前k帧学习的样本特征矩阵；Xk+1为第k+1帧的样本特征矩阵，将Xk与Xk+1加权相加可作为新的样本特征矩阵；
S6.1.2跟踪模型的参数更新
跟踪模型的参数更新与样本特征的更新相似，跟踪模型的阐述更新方式如下：
αk+1＝(1-a)*αk+a*αk+1
其中，a为样本特征更新参数；αk为前k帧学习的跟踪模型的参数；αk+1为第k+1帧的跟踪模型的参数，将αk与αk+1加权相加可作为新的跟踪模型参数；
S6.2级联检测器的更新
如图4所示，获取第k+1帧的第二训练样本后需要对级联检测器进行更新，具体包括以下步骤：
S6.2.1正样本和负样本的更新
更新第k+1帧的第二训练样本的栅格信息，重新划分good_boxes和bad_boxes，根据新的good_boxes和bad_boxes生成新的训练集和测试集；
S6.2.2方差分类器的更新
与初始化方差分类器相似，生成正样本的最小外接矩形然后计算其方差var，以var*0.5作为新的方差阈值；
S6.2.3按通道更新正负样本库和单个随机蕨中每棵决策树的后验概率；
S6.2.4相关一致分类器
计算正样本和第二训练样本的相似度，然后以正样本和目标窗的交并比为权重并归一化使权重和为1，然后按照初始化同样的方法更新相关分类器的阈值。
S7判断是否满足k+1<m，若满足，则k＝k+1，转至步骤S3；否则，停止；其中，m为序列图像的最大帧数。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于级联检测器的运动目标跟踪方法，其特征在于，包括：
(1)基于序列图像第k帧的训练样本，分别计算跟踪模型的参数获取级联检测器的参数；
所述级联检测器依次按照方差分类器、多通道随机蕨分类器和相关一致分类器的顺序级联构成；
(2)根据第k+1帧第一训练样本的样本特征以及基于第k帧训练样本的跟踪模型，计算第k+1帧第一训练样本的频域特征响应图和跟踪置信度；
(3)根据跟踪置信度，筛选频域特征响应值最大的点为第k+1帧的第一感兴趣区域；
(4)将第k+1帧第一感兴趣区域划分为栅格图像后，各栅格图像依次通过级联检测器筛选出检测区域；
(5)根据检测区域校准第k+1帧的第一感兴趣区域获取第k+1帧的第二感兴趣区域；
(6)以第k+1帧的第二感兴趣区域为中心生成第k+1帧的第二训练样本，并基于第k+1帧的第二训练样本分别更新跟踪模型和级联检测器；
(7)判断是否满足k+1<m，若满足，则k＝k+1，转至步骤(2)；否则，停止；其中，m为序列图像的最大帧数。
2.如权利要求1所述的运动目标跟踪方法，其特征在于，所述步骤(1)包括：
(1.1)根据第k帧的目标跟踪的初始感兴趣区域生成第k帧的训练样本，并基于第k帧的训练样本的样本特征和样本标签获取跟踪模型的参数；
(1.2)根据所述第k帧的训练样本生成的正样本和负样本初始化方差分类器、多通道随机蕨分类器和相关一致分类器。
3.如权利要求2所述的运动目标跟踪方法，其特征在于，所述步骤(1.2)中计算多通道随机蕨分类器的方法为：
按照相同比例在正样本和负样本中提取样本构建训练集，剩余正样本和负样本构成测试集；
提取训练集的每个特征通道对应的二值特征，计算每个随机蕨的后验概率，且利用相关滤波***获取每个通道的置信度；
将各训练集中训练样本的所有特征通道的后验概率按通道置信度进行叠加后设定后验概率阈值；
计算测试集中测试样本按通道置信度叠加后的后验概率；
筛选测试集中后验概率值大于后验概率阈值的测试样本，将筛选的测试样本的后验概率的平均值作为多通道随机蕨分类器的阈值。
4.如权利要求2或3所述的运动目标跟踪方法，其特征在于，所述步骤(1.2)中计算相关一致分类器的方法为：
计算正样本和初始感兴趣区域的归一化互相关系数；
以正样本和初始感兴趣区域的交并比为权重，将权重归一化处理；
将互相关系数加权相加初始化相关一致分类器。
5.如权利要求1至4所述的运动目标跟踪方法，其特征在于，所述步骤(2)包括：
(2.1)将第k帧感兴趣区域的中心点作为第k+1帧目标波门的中心点位置，计算第k+1帧目标波门的大小；
(2.2)根据第k+1帧目标波门的大小和中心点位置，获取第k+1帧的第一训练样本；
(2.3)提取归一化后的第k+1帧第一训练样本的样本特征，并利用汉宁窗滤波使样本特征边缘平滑过渡；；
(2.4)利用第k+1帧的样本特征和跟踪模型计算第k+1帧第一训练样本的频域特征响应值和跟踪置信度。
6.如权利要求5所述的运动目标跟踪方法，其特征在于，所述步骤(3)包括：
(3.1)将第k+1帧第一训练样本的跟踪置信度与相关滤波***的阈值比较，若第一训练样本的跟踪置信度大于相关滤波***的阈值，则第一训练样本无干扰，频域特征响应值最大的点为第k+1帧的第一感兴趣区域，转至步骤(4)；否则，转至步骤(3.2)；
(3.2)通过滑动窗口遍历扩大的第k+1帧的搜索区域，且各滑动窗口通过相关滤波***获取相应的响应图；
(3.3)计算各响应图的跟踪置信度，对比各响应图的跟踪置信度与相关滤波***的阈值，若响应图的跟踪置信度大于相关滤波***的阈值，则转至步骤(3.4)，否则，转至步骤(3.2)；
(3.4)判断通过相关滤波***的响应图个数，若存在多个响应图，则选择跟踪置信度值最大的滑动窗口作为第k+1帧第一感兴趣区域，转至步骤(4)；若存在唯一响应图，则对应的滑动窗口为第k+1帧第一感兴趣区域，转至步骤(4)；
所述相关滤波***包括第k帧的训练样本特征和跟踪模型。
7.如权利要求6所述的运动目标跟踪方法，其特征在于，所述步骤(4)包括：
(4.1)将所述第k+1帧第一感兴趣区域划分为若干栅格；
(4.2)依次计算所述各栅格图像的方差，若栅格图像的方差大于方差分类器的阈值，则该栅格图像通过，转至步骤(4.3)；否则，栅格图像淘汰，k＝k+1，执行步骤(2)-(3)以更新第k+1帧的第一感兴趣区域，转至步骤(4.1)；
(4.3)依次对通过方差分类器的各栅格图像提取每个特征通道对应的二值特征；
(4.4)根据决策树的特征分布计算每个特征通道的后验概率；
(4.5)将所有特征通道的后验概率按通道置信度进行叠加，若叠加值大于多通道随机蕨分类器的阈值，则栅格图像通过，转至步骤(4.6)，否则，栅格图像淘汰，k＝k+1，执行步骤(2)-(3)以更新第k+1帧的第一感兴趣区域，转至步骤(4.1)；
(4.6)依次计算通过多通道随机蕨分类器的各栅格图像与目标窗的归一化互相关系数，若栅格图像的相关系数加权相加值大于相关一致分类器的阈值，则栅格图像通过，转至步骤(4.6)，否则，栅格图像淘汰，k＝k+1，执行步骤(2)-(3)以更新第k+1帧的第一感兴趣区域，转至步骤(4.1)；
(4.7)判断通过多通道随机蕨分类器的栅格个数，若存在多个栅格，则筛选与第一感兴趣区域的位置最近的栅格作为检测区域；若存在唯一栅格，则唯一栅格为检测区域。
8.如权利要求7所述的运动目标跟踪方法，其特征在于，所述步骤(5)包括：
(5.1)判断检测区域是否稳定，若稳定，则根据检测区域校准第k+1帧的第一感兴趣区域获取第k+1帧的第二感兴趣区域，转至步骤(6)；否则，转至步骤(5.2)；
(5.2)以第k+1帧的第一感兴趣区域为中心更新第k+1帧的第一训练样本和跟踪模型的参数；
(5.3)k＝k+1，执行步骤(2)-(4)以更新检测区域，转到步骤(5.1)。
9.如权利要求7或8所述的运动目标跟踪方法，其特征在于，所述第k+1帧的第二感兴趣区域的中心位置靠近检测区域RES，大小与第k+1帧的的第一感兴趣区域相同。
CN201910400365.6A 2019-05-15 2019-05-15 一种基于级联检测器的运动目标跟踪方法 Active CN110222585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910400365.6A CN110222585B (zh) 2019-05-15 2019-05-15 一种基于级联检测器的运动目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910400365.6A CN110222585B (zh) 2019-05-15 2019-05-15 一种基于级联检测器的运动目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110222585A true CN110222585A (zh) 2019-09-10
CN110222585B CN110222585B (zh) 2021-07-27

Family

ID=67821217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910400365.6A Active CN110222585B (zh) 2019-05-15 2019-05-15 一种基于级联检测器的运动目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110222585B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633274A (zh) * 2020-12-21 2021-04-09 中国航天空气动力技术研究院 一种声呐图像目标检测方法、装置、电子设备
CN116363761A (zh) * 2023-06-01 2023-06-30 深圳海清智元科技股份有限公司 基于图像的行为识别方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609682A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种针对感兴趣区域的反馈式行人检测方法
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN105261040A (zh) * 2015-10-19 2016-01-20 北京邮电大学 一种多目标跟踪方法及装置
CN107248175A (zh) * 2017-05-15 2017-10-13 西安电子科技大学 一种基于圆投影匹配算法的tld目标跟踪方法
CN108447079A (zh) * 2018-03-12 2018-08-24 中国计量大学 一种基于tld算法框架的目标跟踪方法
GB2562251A (en) * 2017-05-09 2018-11-14 Zircon Software Ltd System and method for detecting unauthorised personnel
CN109191488A (zh) * 2018-10-18 2019-01-11 东北大学 一种基于csk与tld融合算法的目标跟踪***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609682A (zh) * 2012-01-13 2012-07-25 北京邮电大学 一种针对感兴趣区域的反馈式行人检测方法
CN102881024A (zh) * 2012-08-24 2013-01-16 南京航空航天大学 一种基于tld的视频目标跟踪方法
CN105261040A (zh) * 2015-10-19 2016-01-20 北京邮电大学 一种多目标跟踪方法及装置
GB2562251A (en) * 2017-05-09 2018-11-14 Zircon Software Ltd System and method for detecting unauthorised personnel
CN107248175A (zh) * 2017-05-15 2017-10-13 西安电子科技大学 一种基于圆投影匹配算法的tld目标跟踪方法
CN108447079A (zh) * 2018-03-12 2018-08-24 中国计量大学 一种基于tld算法框架的目标跟踪方法
CN109191488A (zh) * 2018-10-18 2019-01-11 东北大学 一种基于csk与tld融合算法的目标跟踪***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘晓: "基于CC-KCF的红外图像扛遮挡跟踪算法设计与实时实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633274A (zh) * 2020-12-21 2021-04-09 中国航天空气动力技术研究院 一种声呐图像目标检测方法、装置、电子设备
CN116363761A (zh) * 2023-06-01 2023-06-30 深圳海清智元科技股份有限公司 基于图像的行为识别方法、装置及电子设备
CN116363761B (zh) * 2023-06-01 2023-08-18 深圳海清智元科技股份有限公司 基于图像的行为识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN110222585B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN104835178A (zh) 一种低信噪比运动小目标的跟踪与识别的方法
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
Dong et al. A multiscale self-attention deep clustering for change detection in SAR images
Pratola et al. Toward fully automatic detection of changes in suburban areas from VHR SAR images by combining multiple neural-network models
CN110298865A (zh) 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法
CN104751185B (zh) 基于均值漂移遗传聚类的sar图像变化检测方法
Yang et al. Linear-time joint probabilistic data association for multiple extended object tracking
CN103729854A (zh) 一种基于张量模型的红外弱小目标检测方法
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
Tiwari et al. Deep learning networks for selection of measurement pixels in multi-temporal SAR interferometric processing
CN110222585A (zh) 一种基于级联检测器的运动目标跟踪方法
CN117349795B (zh) 基于ann和gwr耦合的降水融合方法和***
Maharani et al. Particle filter based single shot multibox detector for human moving prediction
Celik et al. Change detection without difference image computation based on multiobjective cost function optimization
CN117333468A (zh) 面向多模式时序PolSAR影像的洪涝灾害监测方法
CN104851090A (zh) 图像变化检测方法及装置
CN106093940A (zh) 合成孔径雷达图像序列生成方法
Luo et al. Real-time pedestrian detection method based on improved YOLOv3
Hao et al. Structure identification and tracking of multiple resolvable group targets with circular formation
Cui et al. Information theoretical similarity measure for change detection
Chu et al. Performance of Random Forest Classifier for Flood Mapping Using Sentinel-1 SAR Images
Ali et al. Applying Digital Image Processing Technology in Discovering Green Patches in the Desert of Saudi Arabia
Poornachandran et al. Satellite image retrieval based on adaptive Gaussian Markov random field model with bayes back-propagation neural network
Bouget et al. Fusion of Rain Radar Images and Wind Forecasts in a Deep Learning Model Applied to Rain Nowcasting. Remote Sens. 2021, 13, 246

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant