CN114862914A - 一种基于检测跟踪一体式的行人跟踪方法 - Google Patents

一种基于检测跟踪一体式的行人跟踪方法 Download PDF

Info

Publication number
CN114862914A
CN114862914A CN202210581240.XA CN202210581240A CN114862914A CN 114862914 A CN114862914 A CN 114862914A CN 202210581240 A CN202210581240 A CN 202210581240A CN 114862914 A CN114862914 A CN 114862914A
Authority
CN
China
Prior art keywords
target
tracking
detection
sample
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210581240.XA
Other languages
English (en)
Inventor
杨玉东
张秀文
戴骥
李晓磊
周杰
王赫鑫
冯梦婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaiyin Institute of Technology
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202210581240.XA priority Critical patent/CN114862914A/zh
Publication of CN114862914A publication Critical patent/CN114862914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于检测跟踪一体式的行人跟踪方法，包括如下步骤：(1)选取目标区域，并对当前帧分别进行KCF目标行人跟踪以及Fast‑RCNN行人检测；(2)在KCF目标行人跟踪阶段，首先进行变量初始化，提取当前帧图像的目标感兴趣区域，调用KCF算法中的训练模块，得到更新后的岭回归系数α，调用KCF算法中的跟踪模块，得到跟踪候选目标Tα；(3)在Fast‑RCNN目标行人检测阶段，采用Fast‑RCNN通用目标检测器对当前帧图像进行目标检测；(4)设计并训练孪生网络目标确认模型L，将Tα和
Figure DDA0003663842580000011
作为模型输入，得到确认的目标Ok；(5)设定跟踪结束条件，否则转入步骤(2)中KCF的跟踪模块。本发明使得行人跟踪过程中效率和准确度更高，也在一定程度上解决了目标漂移的问题。

Description

一种基于检测跟踪一体式的行人跟踪方法
技术领域
本发明基于视频图像处理领域，具体涉及一种基于检测跟踪一体式的行人跟踪方法。
背景技术
目标跟踪在智能监测、运动和行为分析、自动驾驶、虚拟现实等日常应用领域有着广泛的应用，是近十年来计算机视觉领域的重要研究方向之一。例如，在自动驾驶***中，目标跟踪算法可以跟踪汽车和行人的运动，对他们的未来位置和速度进行预测，并为驾驶提供辅助决策。在虚拟现实领域，该***利用摄像机捕捉到的特征的运动和轨迹来实现人机交互的目的，为用户提供更好的沉浸式体验。行人跟踪是计算机视觉领域中研究的热点和难点,通过对视频资料中行人的跟踪,可以提取出行人的运动轨迹,进而分析个体或群体的行为规律。近年来，随着计算机硬件性能和人工智能技术的不断提高，目标跟踪算法的实时性和精度已显著提高。目前，行人跟踪方面的主流算法主要是基于深度学习的方法以及基于相关滤波的算法。
KCF(Kernel Correlation Filter，核相关滤波)算法在进行行人跟踪使用了追踪目标区域的图像提取出HOG(Histogram of Oriented Gradient，方向梯度直方图)特征，之后采取周围附近的图像作为训练样本训练目标检测器，训练好后在下一帧中使用高斯核函数计算出追踪目标图像HOG特征和周围提取出的样本图像HOG特征的相关性响应，响应值最大的图像就是追踪目标的在该一帧图像中的最新位置图像，之后在该帧中使用响应最大的图像重新训练目标检测器，使用离散傅里叶变换将上述过程从时域转为频域后，大大降低了计算量。核相关滤波因其超高的运算速度使其满足了实时跟踪的需求，但KCF因为在跟踪过程当中目标框是已经设定好的，从始至终大小为发生变化，但是我们的跟踪序列当中目标大小时有发生变化，这个就会导致***跟踪过程当中目标框漂移，从而导致跟踪失败。另外KCF对在跟踪过程当中当目标被遮挡时候的处理问题没有进行很好的解决。
而基于深度检测模型的DeepSort的框架，采用深度检测模型作为目标检测器，***往往采用卡尔曼滤波，将检测器的检测结果作为***的输入，这种两段式的结构结合了深度学习的精确率高以及传统滤波跟踪速度快的优势，一度成为目标跟踪领域的主流趋势，它的核心思想主要分为两块，即Deep和Sort两部分，分别采用了深度模型和卡尔曼滤波的算法，是典型的结合深度学习和传统方法的混合算法。但该框架往往是基于检测的跟踪，即检测结果作为跟踪的输入，跟踪效果受检测器的精确度影响很大，同时卡尔曼滤波只能进行线性空间的跟踪，行人的运动必须在线性***中，而在实际情况中，人群的运动往往是复杂多变的，对于复杂情况下的行人跟踪而言，效果不佳。
发明内容
发明目的：本发明提供一种基于检测跟踪一体式的行人跟踪方法，采用DeepSort的基本框架，引入Fast-RCNN检测器进行行人检测，采用KCF代替卡尔曼滤波，使得检测跟踪一体式进行，得到更为准确的跟踪效果。
技术方案：一种基于检测跟踪一体式的行人跟踪方法，包括如下步骤：
(1)取视频帧中的第k帧序列图像Mk，1≤k≤K，K为该视频的总帧数，对输入的第一帧选取目标区域，并对当前帧分别进行KCF目标行人跟踪以及Fast-RCNN行人检测；
(2)在KCF目标行人跟踪阶段，首先进行变量初始化：提取当前帧图像的目标感兴趣区域，即HOG特征区域，定义目标特征集变量Fk，同时初始化为X，将X作为初始训练目标样本，调用KCF算法中的训练模块，得到更新后的岭回归系数α，同样将X作为输入，调用KCF算法中的跟踪模块，得到跟踪候选目标Tα；
(3)在Fast-RCNN目标行人检测阶段，采用Fast-RCNN通用目标检测器对步骤(2)中的当前帧图像进行目标检测，得到检测候选目标合集Detk，
Figure BDA0003663842560000021
其中
Figure BDA0003663842560000022
是第n个行人检测目标，0≤n≤N，N为检测的目标行人的总个数，在Detk中确定最终检测目标
Figure BDA0003663842560000023
(4)设计并训练孪生网络目标确认模型L，将Tα和
Figure BDA0003663842560000024
作为模型输入，得到确认的目标Ok；
(5)当k≥K时，跟踪结束，否则转入步骤(2)中KCF的跟踪模块。
所述步骤(1)中选取目标区域为：对当前帧图像进行认为选定目标Objk，并以目标Objk为中心向外扩展一定的尺寸得到目标的扩展区域图像
Figure BDA0003663842560000031
所述步骤(2)具体为：对扩展区域
Figure BDA0003663842560000032
提取当前帧图像的目标感兴趣区域，即HOG特征区域，定义目标特征集变量Fk，同时初始化为X，将X作为初始训练目标样本，通过循环移位目标样本X，提取到包含目标即正样本，以及背景信息即负样本的训练样本，并构造出循环矩阵，增加训练样本的数量，使用采集到的正负样本来训练回归函数f(x)＝wTx，通过最小化样本与标签之间的误差平方和，求得权重向量w，如(1)式所示，xi表示第i个训练样本，yi表示第i个样本对应的标签，w为分类器权重，λ为防止过拟合的正则化参数：
Figure BDA0003663842560000033
在上一帧采集训练样本的同时，在目标位置处采集预测的候选样本Z,利用上述训练样本X和候选样本Z构造循环矩阵Cxz，且Cxz＝H(kxz),kxz为训练样本X和候选样本Z生成的互相关核向量，计算所有候选样本的回归响应值，如(2)式所示，α为更新的岭回归系数，生成的回归响应反映了训练模板和候选样本之间的相关性，最大响应值的位置即目标的可能位置，输出为目标Tα：
f(z)＝(Kxz)Tα (2)
同时为了避免跟踪过程因目标模板污染导致跟踪漂移，需要对目标模板以及循环采样时的权重向量进行实时更新，具体的更新过程如下式(3.1)和(3.2)所示：
Xt＝(1-β)Xt-1+βXt (3.1)
αt＝(1-β)αt-1+βαt (3.2)。
所述步骤(3)在Fast-RCNN目标行人检测阶段，Fast-RCNN先用选择性的搜索找到目标候选框，然后对当前帧图像进行一次CNN检测，使用感兴趣区域池化(RoI pooling)将目标候选框做采样，得到相同长度的特征，而后经过两层全连接层之后得到最终的特征，即检测候选目标合集Detk，
Figure BDA0003663842560000041
所述步骤(4)设计并训练孪生网络目标确认模型L，该模型为离线状态下训练好的已知模型，L模型采用ResNet34作为特征提取网络，将Tα和
Figure BDA0003663842560000042
作为模型输入，两个孪生网络均为ResNet34网络，且权值w共享，然后采用余弦相似度来衡量两者的相似性；设ResNet34网络Lw(x)，其中w表示共享的权重参数，x表示为经ResNet34网络对Tα和
Figure BDA0003663842560000043
提取到的特征向量，设置合适的权重承参数w使得相似度度量的输出值最大，如下式(4)所示，X1和X2分别为ResNet34网络对Tα和
Figure BDA0003663842560000044
提取到的特征向量：
Ew(X1,X2)＝||Lw(X1)-Lw(X2)|| (4)
X1和X2作为L模型的输入，Y作为L模型的二分类标签，当Y＝0时，X1和X2属于同一个目标，Y＝1时两者不是同一个目标，X1和X2通过ResNet34网络生成两个分支Lw(X1)和Lw(X2)，并映射到低维空间中，获得嵌入函数Ew(X1,X2)来衡量X1和X2的相似性。
为了所述孪生网络在进行特征提取时不丢失特征信息，在L模型的相似度衡量的同时，加入网络模型损失函数的计算，
设输入的正样本(X1,X2)和负样本
Figure BDA0003663842560000045
且满足任意m＞0，
Figure BDA0003663842560000046
则该在L模型往优化方向发展，其损失函数为式(5.1)和(5.2)：
Figure BDA0003663842560000047
S(w,(Y,X1,X2)i)＝(1-Y)SG(Ew(X1,X2)i)+YSI(Ew(X1,X2)i) (5.2)
其中，(Y,X1,X2)是孪生网络的样本对，LI和LG分别对应的正负样本对的空间损失函数，对正负样本优化后的结果进行相似度度量计算，求出相似度最大的结果即为最终的确认目标。
有益效果：
1、基于现有DeepSort模型在采用卡尔曼滤波存在的严重遮挡行人跟踪丢失的问题，本发明结合检测跟踪一体式的方法，采用核相关滤波跟踪代替卡尔曼滤波，与Fast-RCNN行人检测同时进行的一体化方法，避免了DeepSort的两段式结构存在的计算冗余问题，同时凭借KCF的实时性强的优点，使得行人跟踪过程中效率更高；
2、传统的KCF跟踪算法缺乏目标跟踪丢失判断机制，一旦目标跟踪丢失***很难再次获得目标信息，导致跟踪不稳定，结合Fast-RCNN模型进行行人检测，再通过孪生网络的目标确认，进一步提高了跟踪的准确性；
3、孪生网络使用两个共享参数的离线训练卷积神经网络来解决一般的相似性问题；在面对相似性问题时，往往可以通过寻找一个函数，该函数可以来将输入映射到目标空间，使得目标空间的距离与输入空间的语义距离相近。本发明采用ResNet34作为特征提取网络，对KCF***和Fast-RCNN检测器的检测结果进行目标确认，一定程度上解决了目标漂移的问题。
附图说明
图1为本发明的流程图；
图2为目标确认阶段孪生神经网络框图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明提供一种技术方案：一种基于检测跟踪一体式的行人跟踪方法，包括如下步骤：
(1)取视频帧中的第k帧序列图像Mk，1≤k≤K，K为该视频的总帧数，对输入的第一帧选取目标区域，并对当前帧分别进行KCF目标行人跟踪以及Fast-RCNN行人检测；
(2)在KCF目标行人跟踪阶段，首先进行变量初始化：提取当前帧图像的目标感兴趣区域，即HOG特征区域，定义目标特征集变量Fk，同时初始化为X，将X作为初始训练目标样本，调用KCF算法中的训练模块，得到更新后的岭回归系数α，同样将X作为输入，调用KCF算法中的跟踪模块，得到跟踪候选目标Tα；
(3)在Fast-RCNN目标行人检测阶段，采用Fast-RCNN通用目标检测器对步骤(2)中的当前帧图像进行目标检测，得到检测候选目标合集Detk，
Figure BDA0003663842560000061
其中
Figure BDA0003663842560000062
是第n个行人检测目标，0≤n≤N，N为检测的目标行人的总个数，在Detk中确定最终检测目标
Figure BDA0003663842560000063
(4)设计并训练孪生网络目标确认模型L，将Tα和
Figure BDA0003663842560000064
作为模型输入，得到确认的目标Ok；
(5)当k≥K时，跟踪结束，否则转入步骤(2)中KCF的跟踪模块。
所述步骤(1)中选取目标区域为：对当前帧图像进行认为选定目标Objk，并以目标Objk为中心向外扩展一定的尺寸得到目标的扩展区域图像
Figure BDA0003663842560000065
所述步骤(2)具体为：对扩展区域
Figure BDA0003663842560000066
提取当前帧图像的目标感兴趣区域，即HOG特征区域，定义目标特征集变量Fk，同时初始化为X，将X作为初始训练目标样本，通过循环移位目标样本X，提取到包含目标即正样本，以及背景信息即负样本的训练样本，并构造出循环矩阵，增加训练样本的数量，使用采集到的正负样本来训练回归函数f(x)＝wTx，通过最小化样本与标签之间的误差平方和，求得权重向量w，如(1)式所示，xi表示第i个训练样本，yi表示第i个样本对应的标签，w为分类器权重，λ为防止过拟合的正则化参数：
Figure BDA0003663842560000067
在上一帧采集训练样本的同时，在目标位置处采集预测的候选样本Z,利用上述训练样本X和候选样本Z构造循环矩阵Cxz，且Cxz＝H(kxz),kxz为训练样本X和候选样本Z生成的互相关核向量，计算所有候选样本的回归响应值，如(2)式所示，α为更新的岭回归系数，生成的回归响应反映了训练模板和候选样本之间的相关性，最大响应值的位置即目标的可能位置，输出为目标Tα：
f(z)＝(Kxz)Tα (2)
同时为了避免跟踪过程因目标模板污染导致跟踪漂移，需要对目标模板以及循环采样时的权重向量进行实时更新，具体的更新过程如下式(3.1)和(3.2)所示：
Xt＝(1-β)Xt-1+βXt (3.1)
αt＝(1-β)αt-1+βαt (3.2)。
所述步骤(3)在Fast-RCNN目标行人检测阶段，Fast-RCNN先用选择性的搜索找到目标候选框，然后对当前帧图像进行一次CNN检测，使用感兴趣区域池化(RoI pooling)将目标候选框做采样，得到相同长度的特征，而后经过两层全连接层之后得到最终的特征，即检测候选目标合集Detk，
Figure BDA0003663842560000071
如图2所示，所述步骤(4)设计并训练孪生网络目标确认模型L，该模型为离线状态下训练好的已知模型，L模型采用ResNet34作为特征提取网络，将Tα和
Figure BDA0003663842560000072
作为模型输入，两个孪生网络均为ResNet34网络，且权值w共享，然后采用余弦相似度来衡量两者的相似性；设ResNet34网络Lw(x)，其中w表示共享的权重参数，x表示为经ResNet34网络对Tα和
Figure BDA0003663842560000073
提取到的特征向量，设置合适的权重承参数w使得相似度度量的输出值最大，如下式(4)所示，X1和X2分别为ResNet34网络对Tα和
Figure BDA0003663842560000074
提取到的特征向量：
Ew(X1,X2)＝||Lw(X1)-Lw(X2)|| (4)
X1和X2作为L模型的输入，Y作为L模型的二分类标签，当Y＝0时，X1和X2属于同一个目标，Y＝1时两者不是同一个目标，X1和X2通过ResNet34网络生成两个分支Lw(X1)和Lw(X2)，并映射到低维空间中，获得嵌入函数Ew(X1,X2)来衡量X1和X2的相似性。
为了所述孪生网络在进行特征提取时不丢失特征信息，在L模型的相似度衡量的同时，加入网络模型损失函数的计算，
设输入的正样本(X1,X2)和负样本
Figure BDA0003663842560000075
且满足任意m＞0，
Figure BDA0003663842560000076
则该在L模型往优化方向发展，其损失函数为式(5.1)和(5.2)：
Figure BDA0003663842560000081
S(w,(Y,X1,X2)i)＝(1-Y)SG(Ew(X1,X2)i)+YSI(Ew(X1,X2)i) (5.2)
其中，(Y,X1,X2)是孪生网络的样本对，LI和LG分别对应的正负样本对的空间损失函数，对正负样本优化后的结果进行相似度度量计算，求出相似度最大的结果即为最终的确认目标。

Claims (6)

1.一种基于检测跟踪一体式的行人跟踪方法，其特征在于，包括如下步骤：
(1)取视频帧中的第k帧序列图像Mk，1≤k≤K，K为该视频的总帧数，对输入的第一帧选取目标区域，并对当前帧分别进行KCF目标行人跟踪以及Fast-RCNN行人检测；
(2)在KCF目标行人跟踪阶段，首先进行变量初始化：提取当前帧图像的目标感兴趣区域，即HOG特征区域，定义目标特征集变量Fk，同时初始化为X，将X作为初始训练目标样本，调用KCF算法中的训练模块，得到更新后的岭回归系数α，同样将X作为输入，调用KCF算法中的跟踪模块，得到跟踪候选目标Tα；
(3)在Fast-RCNN目标行人检测阶段，采用Fast-RCNN通用目标检测器对步骤(2)中的当前帧图像进行目标检测，得到检测候选目标合集Detk，
Figure FDA0003663842550000011
其中
Figure FDA0003663842550000012
是第n个行人检测目标，0≤n≤N，N为检测的目标行人的总个数，在Detk中确定最终检测目标
Figure FDA0003663842550000013
(4)设计并训练孪生网络目标确认模型L，将Tα和
Figure FDA0003663842550000014
作为模型输入，得到确认的目标Ok；
(5)当k≥K时，跟踪结束，否则转入步骤(2)中KCF的跟踪模块。
2.根据权利要求1所述的一种基于检测跟踪一体式的行人跟踪方法，其特征在于，所述步骤(1)中选取目标区域为：对当前帧图像进行认为选定目标Objk，并以目标Objk为中心向外扩展一定的尺寸得到目标的扩展区域图像
Figure FDA0003663842550000015
3.根据权利要求1或2所述的一种基于检测跟踪一体式的行人跟踪方法，其特征在于，所述步骤(2)具体为：对扩展区域
Figure FDA0003663842550000016
提取当前帧图像的目标感兴趣区域，即HOG特征区域，定义目标特征集变量Fk，同时初始化为X，将X作为初始训练目标样本，通过循环移位目标样本X，提取到包含目标即正样本，以及背景信息即负样本的训练样本，并构造出循环矩阵，增加训练样本的数量，使用采集到的正负样本来训练回归函数f(x)＝wTx，通过最小化样本与标签之间的误差平方和，求得权重向量w，如(1)式所示，xi表示第i个训练样本，yi表示第i个样本对应的标签，w为分类器权重，λ为防止过拟合的正则化参数：
Figure FDA0003663842550000021
在上一帧采集训练样本的同时，在目标位置处采集预测的候选样本Z,利用上述训练样本X和候选样本Z构造循环矩阵Cxz，且Cxz＝H(kxz),kxz为训练样本X和候选样本Z生成的互相关核向量，计算所有候选样本的回归响应值，如(2)式所示，α为更新的岭回归系数，生成的回归响应反映了训练模板和候选样本之间的相关性，最大响应值的位置即目标的可能位置，输出为目标Tα：
f(z)＝(Kxz)Tα (2)
同时为了避免跟踪过程因目标模板污染导致跟踪漂移，需要对目标模板以及循环采样时的权重向量进行实时更新，具体的更新过程如下式(3.1)和(3.2)所示：
Xt＝(1-β)Xt-1+βXt (3.1)
αt＝(1-β)αt-1+βαt (3.2)。
4.根据权利要求1所述的一种基于检测跟踪一体式的行人跟踪方法，其特征在于，所述步骤(3)在Fast-RCNN目标行人检测阶段，Fast-RCNN先用选择性的搜索找到目标候选框，然后对当前帧图像进行一次CNN检测，使用感兴趣区域池化将目标候选框做采样，得到相同长度的特征，而后经过两层全连接层之后得到最终的特征，即检测候选目标合集Detk，
Figure FDA0003663842550000022
5.根据权利要求1所述的一种基于检测跟踪一体式的行人跟踪方法，其特征在于，所述步骤(4)设计并训练孪生网络目标确认模型L，该模型为离线状态下训练好的已知模型，L模型采用ResNet34作为特征提取网络，将Tα和
Figure FDA0003663842550000023
作为模型输入，两个孪生网络均为ResNet34网络，且权值w共享，然后采用余弦相似度来衡量两者的相似性；设ResNet34网络Lw(x)，其中w表示共享的权重参数，x表示为经ResNet34网络对Tα和
Figure FDA0003663842550000024
提取到的特征向量，设置合适的权重承参数w使得相似度度量的输出值最大，如下式(4)所示，X1和X2分别为ResNet34网络对Tα和
Figure FDA0003663842550000031
提取到的特征向量：
Ew(X1,X2)＝||Lw(X1)-Lw(X2)|| (4)
X1和X2作为L模型的输入，Y作为L模型的二分类标签，当Y＝0时，X1和X2属于同一个目标，Y＝1时两者不是同一个目标，X1和X2通过ResNet34网络生成两个分支Lw(X1)和Lw(X2)，并映射到低维空间中，获得嵌入函数Ew(X1,X2)来衡量X1和X2的相似性。
6.根据权利要求5所述的一种基于检测跟踪一体式的行人跟踪方法，其特征在于，为了所述孪生网络在进行特征提取时不丢失特征信息，在L模型的相似度衡量的同时，加入网络模型损失函数的计算，
设输入的正样本(X1,X2)和负样本
Figure FDA0003663842550000032
且满足任意m＞0，
Figure FDA0003663842550000033
则该在L模型往优化方向发展，其损失函数为式(5.1)和(5.2)：
Figure FDA0003663842550000034
S(w,(Y,X1,X2)i)＝(1-Y)SG(Ew(X1,X2)i)+YSI(Ew(X1,X2)i) (5.2)
其中，(Y,X1,X2)是孪生网络的样本对，LI和LG分别对应的正负样本对的空间损失函数，对正负样本优化后的结果进行相似度度量计算，求出相似度最大的结果即为最终的确认目标。
CN202210581240.XA 2022-05-26 2022-05-26 一种基于检测跟踪一体式的行人跟踪方法 Pending CN114862914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210581240.XA CN114862914A (zh) 2022-05-26 2022-05-26 一种基于检测跟踪一体式的行人跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210581240.XA CN114862914A (zh) 2022-05-26 2022-05-26 一种基于检测跟踪一体式的行人跟踪方法

Publications (1)

Publication Number Publication Date
CN114862914A true CN114862914A (zh) 2022-08-05

Family

ID=82641711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210581240.XA Pending CN114862914A (zh) 2022-05-26 2022-05-26 一种基于检测跟踪一体式的行人跟踪方法

Country Status (1)

Country Link
CN (1) CN114862914A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665133A (zh) * 2023-07-24 2023-08-29 山东科技大学 基于三元组网络的安全帽检测跟踪方法、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665133A (zh) * 2023-07-24 2023-08-29 山东科技大学 基于三元组网络的安全帽检测跟踪方法、设备及存储介质
CN116665133B (zh) * 2023-07-24 2023-10-13 山东科技大学 基于三元组网络的安全帽检测跟踪方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109360226B (zh) 一种基于时间序列多特征融合的多目标跟踪方法
CN110070074B (zh) 一种构建行人检测模型的方法
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其***
CN108090919B (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN108154118B (zh) 一种基于自适应组合滤波与多级检测的目标探测***及方法
Soleimanitaleb et al. Object tracking methods: a review
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN109816689A (zh) 一种多层卷积特征自适应融合的运动目标跟踪方法
CN111767847B (zh) 一种集成目标检测和关联的行人多目标跟踪方法
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN111739053B (zh) 一种复杂场景下的在线多行人检测跟踪方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN108765374B (zh) 一种宫颈涂片图像中异常核区域筛查的方法
CN107194950B (zh) 一种基于慢特征分析的多人跟踪方法
CN103985143A (zh) 基于字典学习的视频中判别性在线目标跟踪方法
CN111931571B (zh) 基于在线增强检测的视频文字目标追踪方法与电子设备
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
Geng et al. Abnormal event detection in tourism video based on salient spatio-temporal features and sparse combination learning
Hao et al. Multiple person tracking based on slow feature analysis
CN114862914A (zh) 一种基于检测跟踪一体式的行人跟踪方法
CN116434150B (zh) 面向拥挤场景的多目标检测跟踪方法、***及存储介质
Ling et al. Pedestrian detection and feedback application based on YOLOv5s and DeepSORT
Xie et al. A multi-object tracking system for surveillance video analysis
Badal et al. Online multi-object tracking: multiple instance based target appearance model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination