CN115953570A - 结合模板更新与轨迹预测的孪生网络目标跟踪方法 - Google Patents
结合模板更新与轨迹预测的孪生网络目标跟踪方法 Download PDFInfo
- Publication number
- CN115953570A CN115953570A CN202211647387.0A CN202211647387A CN115953570A CN 115953570 A CN115953570 A CN 115953570A CN 202211647387 A CN202211647387 A CN 202211647387A CN 115953570 A CN115953570 A CN 115953570A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- template
- updating
- target tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 102400000832 Antiplasmin-cleaving enzyme FAP, soluble form Human genes 0.000 claims 4
- 101800000492 Antiplasmin-cleaving enzyme FAP, soluble form Proteins 0.000 claims 4
- 238000001914 filtration Methods 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了结合模板更新与轨迹预测的孪生网络目标跟踪方法,包括:通过预处理后的数据集离线训练得到目标跟踪模型,当前帧通过目标跟踪模型提取图像特征,将其与模板图像进行比对,从而确定下一帧待跟踪目标在图像中的位置信息,在整个目标跟踪过程中,对于模板图像进行在线更新,持续迭代更新模板图像特征,同时根据历史帧中目标运动位置变化信息,利用卡尔曼滤波方法进行轨迹预测,实现对于单目标的稳定跟踪。
Description
技术领域
本发明属于目标跟踪方法技术领域,涉及结合模板更新与轨迹预测的孪生网络目标跟踪方法。
背景技术
目标跟踪作为计算机视觉领域的一个重要分支,在自动驾驶、人机交互、智能交通等方面获得了越来越广泛的应用。目标跟踪技术旨在通过跟踪过程获得目标的实时位置、运动轨迹、运动速度以及加速度等相关参数,并以此为基础进行高级视觉任务分析,从而实现对目标行为的理解。现有的目标跟踪方法根据观察模型的不同可以分为生成式方法和判别式方法。生成式方法只关注目标本身,而判别式方法则将目标周围的背景区域也作为关注对象进行针对性训练,因此判别式方法可以更好的处理目标周围环境较为复杂的场景。近年来深度学习的发展,使得基于深度学习的判别式目标跟踪算法取得了显著成就。以孪生网络结构为基础的目标跟踪算法是典型的基于深度学习的判别式目标跟踪方法,孪生网络指基于两个人工神经网络建立的耦合构架,Bertinetto等人提出的全卷积孪生网络(Fully-Convolutional Siamese Networks,SiamFC)是使用双支路孪生网络结构处理目标跟踪问题的开山之作,其通过利用两个结构完全相同的全卷积网络来提取目标区域和搜索区域的特征,并计算两者之间的相似度,其中相似度最高的位置作为预测的目标位置,后续大批优秀的框架都以该结构为基础进行优化和改进。Valmadre等人提出非对称孪生网络,将神经网络与相关滤波相结合。Guo等人提出动态孪生网络,在线学习跟踪目标的外观变化并进行背景抑制。Choi等人提出注意力相关滤波网络,将注意力机制引入了跟踪框架。Yuan等人提出抗遮挡跟踪算法,从残差神经网络(Residual Neural Network,ResNet)的不同层中提取目标特征以生成响应图,并引入遮挡检测策略来避免模型漂移。
但以上目标跟踪算法仍存在以下缺点,限制了算法的性能:1)孪生网络往往使用离线训练的方式,没有充分利用在线跟踪信息,并且这些方法始终以第一帧选取的目标作为模板图像,在后续目标发生形变、颜色或光照发生变化时,不能很好地识别目标,缺乏对模板图像的更新迭代。2)孪生网络是通过模板图像和搜索图像互相关进行目标的定位,没有利用跟踪过程中的目标轨迹信息,对于快速运动或者被遮挡的目标不能较好地进行稳定跟踪。
发明内容
本发明的目的是提供一种结合模板更新与轨迹预测的孪生网络目标跟踪方法,解决了现有技术中存在的目标跟踪稳定性差问题。
本发明所采用的技术方案是,结合模板更新与轨迹预测的孪生网络目标跟踪方法,包括:
步骤1、建立目标跟踪模型,目标跟踪模型包括特征提取分支、正负样本分类分支及位置信息回归分支;
步骤2、框选初始帧图像x0目标边界框,在初始帧图像x0目标边界框的中心位置裁剪得到模板图像,并进行模板图像的特征提取,得到模板图像特征;
步骤3、初始化卡尔曼滤波器,将初始帧图像x0目标边界框的中心位置输入卡尔曼滤波器,预测得到下一帧图像xt,t=1…n目标中心位置;
步骤4、获取下一帧图像xt,根据前一帧图像xt-1目标边界框的中心位置和当前帧图像xt目标中心位置融合出当前帧图像xt的目标搜索中心位置,在目标搜索中心位置裁剪得到搜索图像,对搜索图像进行特征提取,得到搜索图像特征;
步骤5、将模板图像特征与搜索图像特征进行互相关操作,得到响应图;将响应图分输入目标跟踪模型中得到当前帧图像xt的分类图和回归图,利用余弦窗和尺度变化惩罚平滑目标运动,然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息,得到当前帧图像xt预测的目标边界框;
步骤6、根据响应图判断是否需要进行模板图像更新;若需要,则在当前帧图像xt预测的目标边界框的中心位置裁剪得到模板图像,并提取模板图像特征,更新模板图像特征;否则不进行更新;
步骤7、获取当前帧图像xt预测的目标边界框信息,将其转化为图像的位置和尺度信息,输入卡尔曼滤波器,预测得到下一帧图像xt+1中目标的轨迹位置,并确定下一帧图像xt+1目标中心位置;若跟踪完成,结束跟踪;否则进行下一步;
步骤8、令t=t+1,重复步骤4-7,直至跟踪完成。
本发明的特点还在于:
步骤1中建立目标跟踪模型过程包括:
获取训练数据集,对训练数据集进行预处理,将预处理后的训练数据集输入目标跟模型中,分别进行正负样本的分类训练、位置信息的回归训练,目标跟踪模型的损失函数为L=Lcls+Lreg;
上式中,N为样本总数量,yi为样本i的标签,正样本为1,负样本为0,pi为样本i预测为正样本的概率;
回归损失函数定义为Lreg=1-IoU;
预处理方法为:将训练数据集中的图片进行裁剪,同时进行数据增强处理。
步骤6中通过APCE对响应图进行判断:
上式中,Fmax、Fmin及Fw,h分别代表响应图中的最大值、最小值及位于(w,h)坐标处的值。
步骤6中更新模板图像特征的公式为:
本发明的有益效果是:本发明的结合模板更新与轨迹预测的孪生网络目标跟踪方法,通过对跟踪过程中的模板图像进行实时在线更新迭代,时刻关注目标的形状和外观的变化,持续维持模板图像的有效性,提高了现有基于孪生网络的目标跟踪方法对于目标发生形变、颜色或者光照发生变化时的目标跟踪性能;在目标跟踪过程中引入卡尔曼轨迹预测方法,收集跟踪过程中目标位置信息并进行轨迹预测,通过预测目标中心点,从而确定待搜索区域,有效地利用了跟踪过程中目标的轨迹信息,进一步解决了目标被遮挡或者快速移动的问题,提高了目标跟踪准确率和精确率。
附图说明
图1是本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法的推理流程图;
图2是本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法的构架图;
图3是本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法中特征提取模型的训练流程图;
图4是本发明本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法与其他跟踪方法的EAO对比图;
图5是本发明本发明结合模板更新与轨迹预测的孪生网络目标跟踪方法与其他跟踪方法的跟踪效果雷达图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
结合模板更新与轨迹预测的孪生网络目标跟踪方法,如图1及图2所示,具体包括以下步骤:
步骤1、如图3所示,获取训练数据集,将训练数据集中图片大小统一裁剪至511×511大小,之后对训练数据集进行数据增强处理,包括进行随机的小移位以及目标长宽的缩放;建立目标跟踪模型,目标跟踪模型包括特征提取分支、正负样本分类分支和位置信息回归分支,将预处理后的训练数据集中的视频或者静止图像上采样的图像对输入目标跟踪模型中,分别进行正负样本的分类训练、位置信息的回归训练,并利用随机梯度下降算法(Stochastic Gradient Descent,SGD)优化模型中参数,使总损失值达到最小;目标跟踪模型的损失函数为L=Lcls+Lreg;
上式中,N为样本总数量,yi为样本i的标签,正样本为1,负样本为0,pi为样本i预测为正样本的概率;
回归损失函数定义为Lreg=1-IoU;
步骤2、如图2所示,框选初始帧图像x0目标边界框,在初始帧图像x0目标边界框的中心位置裁剪127×127大小的图像块作为模板图像,输入目标跟踪模型进行模板图像的特征提取,得到模板图像特征;
步骤3、初始化卡尔曼滤波器,将初始帧图像x0目标边界框的中心位置输入卡尔曼滤波器,预测得到下一帧图像xt,t=1…n目标中心位置;
步骤4、获取下一帧图像xt,根据前一帧图像xt-1目标边界框的中心位置和当前帧图像xt目标中心位置融合出当前帧图像xt的目标搜索中心位置,在目标搜索中心位置裁剪出255×255大小的搜索图像,输入目标跟踪模型进行搜索图像的特征提取,得到搜索图像特征;
步骤5、将模板图像特征与搜索图像特征进行互相关操作,得到响应图;将响应图分别输入目标跟踪模型中得到当前帧图像xt的分类图和回归图,利用余弦窗和尺度变化惩罚平滑目标运动,然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息,预测得到当前帧图像xt目标边界框;
步骤6、通过APCE(平均相关峰值能量)对响应图判断是否需要进行模板图像更新;若需要,则在步骤5得到的当前帧图像xt目标边界框的中心位置裁剪127×127大小的图像块作为模板图像,并提取模板图像特征,根据公式更新模板图像特征yt;否则不进行更新;
上式中,Fmax、Fmin及Fw,h分别代表响应图中的最大值、最小值及位于(w,h)坐标处的值;
更新模板图像特征的公式为:
上式中,η为模板图像的更新步长,β1和β2分别为判断APCE和Fmax是否进行更新的比例阈值,APCEavg、分别为历史平均APCE值、历史平均Fmax值;在每帧图像中,如果响应图的APCE值和Fmax值都超过一定比例下的历史均值,则认为当前帧中目标处于良好的状态,应学习当前帧的跟踪结果,对模板图像进行更新,以适应跟踪过程中目标的逐渐变化,否则不进行更新,防止污染模板图像。
步骤7、获取当前帧图像xt目标边界框信息,将其转化为图像的位置和尺度信息,输入卡尔曼滤波器,预测得到下一帧图像xt+1中目标的轨迹位置,并确定下一帧图像xt+1目标中心位置;若跟踪完成,结束跟踪;否则进行下一步;
步骤8、令t=t+1,重复步骤4-7,直至跟踪完成。
本实施例中,在目标跟踪过程中引入卡尔曼轨迹预测方法,将孪生网络***获得的位置信息作为卡尔曼滤波器的观察值,使卡尔曼滤波器预测结果更加稳定,弥补了孪生网络***只能离线跟踪不具有在线学习过程的缺点,进一步实现了离线跟踪与在线学习的结合,有效地利用了跟踪过程中目标的轨迹信息。卡尔曼滤波器包括时间更新和观测更新两个过程。时间更新主要用于跟踪***的预测,包括状态预测和协方差预测,观测更新主要用于跟踪***的校正,包括协方差更新、状态更新与卡尔曼增益更新。卡尔曼滤波方法主要思想是利用观测值校正预测值,从而得到更为准确的跟踪边界框。首先是对状态的预测:
其中,表示k时刻的先验状态估计值,是滤波的中间计算结果,即根据上一时刻(k-1)的最优估计预测的k时刻的结果,是预测方程的结果。表示k-1时刻的后验状态估计值,是更新后的结果,即最优估计。uk-1为***输入。A和B分别为状态转移矩阵和将输入转换为状态的矩阵。然后是对***结果对应的协方差进行预测:
其中,表示k时刻的先验估计协方差,Pk-1表示k-1时刻的后验估计协方差,Q是***过程噪声的协方差矩阵,表示状态转换矩阵与实际过程之间的误差。通过前面的状态预测得到的结果可以进行状态的观测更新,首先计算卡尔曼增益:
通过以上方式,本发明的结合模板更新与轨迹预测的孪生网络目标跟踪方法,通过对跟踪过程中的模板图像进行实时在线更新迭代,时刻关注目标的形状和外观的变化,持续维持模板图像的有效性,提高了现有基于孪生网络的目标跟踪方法对于目标发生形变、颜色或者光照发生变化时的目标跟踪性能;在目标跟踪过程中引入卡尔曼轨迹预测方法,收集跟踪过程中目标位置信息并进行轨迹预测,通过预测目标中心点,从而确定待搜索区域,有效地利用了跟踪过程中目标的轨迹信息,进一步解决了目标被遮挡或者快速移动的问题,提高了目标跟踪准确率和精确率。
如图4、图5所示,是将发明的结合模板更新与轨迹预测的孪生网络目标跟踪方法在VOT2018数据集上进行评估的平均重叠期望效果图与不同情况下的跟踪效果雷达图,VOT2018数据集包括60个具有不同挑战的视频测试序列,其主要评价指标为平均重叠期望(Expected Average Overlap,EAO),综合考虑了准确率(Accuracy,A)以及鲁棒性(Robustness,R)。将本发明的方法与ATOM、DiMP、Ocean、SiamDW、SiamMask、SiamR-CNN、SiamRPN++方法进行了对比。从图上的结果可以看到,本发明的单目标跟踪方法优于其他方法,且有效提升了算法在目标遮挡、目标在发生形变、相机移动以及目标快速移动等情况下的单目标跟踪方法性能。
Claims (5)
1.结合模板更新与轨迹预测的孪生网络目标跟踪方法,其特征在于,包括以下步骤:
步骤1、建立目标跟踪模型,所述目标跟踪模型包括特征提取分支、正负样本分类分支及位置信息回归分支;
步骤2、框选初始帧图像x0目标边界框,在所述初始帧图像x0目标边界框的中心位置裁剪得到模板图像,并进行模板图像的特征提取,得到模板图像特征;
步骤3、初始化卡尔曼滤波器,将所述初始帧图像x0目标边界框的中心位置输入卡尔曼滤波器,预测得到下一帧图像xt,t=1…n目标中心位置;
步骤4、获取下一帧图像xt,根据前一帧图像xt-1目标边界框的中心位置和当前帧图像xt目标中心位置融合出当前帧图像xt的目标搜索中心位置,在所述目标搜索中心位置裁剪得到搜索图像,对所述搜索图像进行特征提取,得到搜索图像特征;
步骤5、将所述模板图像特征与搜索图像特征进行互相关操作,得到响应图;将所述响应图分输入目标跟踪模型中得到当前帧图像xt的分类图和回归图,利用余弦窗和尺度变化惩罚平滑目标运动,然后根据分类图中得分最高的位置在回归图中选取对应的回归位置信息,预测得到当前帧图像xt目标边界框;
步骤6、根据所述响应图判断是否需要进行模板图像更新;若需要,则在当前帧图像xt目标边界框的中心位置裁剪得到模板图像,并提取模板图像特征,更新模板图像特征;否则不进行更新;
步骤7、获取所述当前帧图像xt目标边界框信息,将其转化为图像的位置和尺度信息,输入卡尔曼滤波器,预测得到下一帧图像xt+1中目标的轨迹位置,并确定下一帧图像xt+1目标中心位置;若跟踪完成,结束跟踪;否则进行下一步;
步骤8、令t=t+1,重复步骤4-7,直至跟踪完成。
3.根据权利要求2所述的结合模板更新与轨迹预测的孪生网络目标跟踪方法,其特征在于,预处理方法为:将所述训练数据集中的图片进行裁剪,同时进行数据增强处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211647387.0A CN115953570A (zh) | 2022-12-21 | 2022-12-21 | 结合模板更新与轨迹预测的孪生网络目标跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211647387.0A CN115953570A (zh) | 2022-12-21 | 2022-12-21 | 结合模板更新与轨迹预测的孪生网络目标跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115953570A true CN115953570A (zh) | 2023-04-11 |
Family
ID=87282086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211647387.0A Pending CN115953570A (zh) | 2022-12-21 | 2022-12-21 | 结合模板更新与轨迹预测的孪生网络目标跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115953570A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118096835A (zh) * | 2024-04-26 | 2024-05-28 | 南京卓宇智能科技有限公司 | 高速小目标图像跟踪算法 |
-
2022
- 2022-12-21 CN CN202211647387.0A patent/CN115953570A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118096835A (zh) * | 2024-04-26 | 2024-05-28 | 南京卓宇智能科技有限公司 | 高速小目标图像跟踪算法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110660082B (zh) | 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法 | |
CN109816689B (zh) | 一种多层卷积特征自适应融合的运动目标跟踪方法 | |
CN110298404B (zh) | 一种基于三重孪生哈希网络学习的目标跟踪方法 | |
CN108647577B (zh) | 一种自适应难例挖掘的行人重识别方法与*** | |
CN112132856B (zh) | 一种基于自适应模板更新的孪生网络跟踪方法 | |
CN111144364B (zh) | 一种基于通道注意更新机制的孪生网络目标跟踪方法 | |
CN108520530B (zh) | 基于长短时记忆网络的目标跟踪方法 | |
CN107146237B (zh) | 一种基于在线状态学习与估计的目标跟踪方法 | |
CN111476817A (zh) | 一种基于yolov3的多目标行人检测跟踪方法 | |
CN109993770B (zh) | 一种自适应时空学习与状态识别的目标跟踪方法 | |
CN107622507B (zh) | 一种基于深度学习的空中目标跟踪方法 | |
CN110555868A (zh) | 一种复杂地面背景下运动小目标检测方法 | |
CN110728694A (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN112489081A (zh) | 一种视觉目标跟踪方法及装置 | |
CN111274917A (zh) | 一种基于深度检测的长时目标跟踪方法 | |
CN112651998A (zh) | 基于注意力机制和双流多域卷积神经网络的人体跟踪算法 | |
CN111968155B (zh) | 一种基于分割目标掩模更新模板的目标跟踪方法 | |
CN110189362A (zh) | 基于多分支自编码对抗网络的高效目标跟踪方法 | |
CN114581486A (zh) | 基于全卷积孪生网络多层特征的模板更新目标跟踪算法 | |
CN115953570A (zh) | 结合模板更新与轨迹预测的孪生网络目标跟踪方法 | |
CN113129336A (zh) | 一种端到端多车辆跟踪方法、***及计算机可读介质 | |
CN110428447B (zh) | 一种基于策略梯度的目标跟踪方法与*** | |
CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 | |
CN106570536A (zh) | 一种时差定位***目标高精度跟踪滤波方法 | |
CN115035363B (zh) | 一种深度神经网络模型的在线训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |