CN112785627A - 一种基于重识别技术的多目标跟踪方法 - Google Patents

一种基于重识别技术的多目标跟踪方法 Download PDF

Info

Publication number
CN112785627A
CN112785627A CN202110143991.9A CN202110143991A CN112785627A CN 112785627 A CN112785627 A CN 112785627A CN 202110143991 A CN202110143991 A CN 202110143991A CN 112785627 A CN112785627 A CN 112785627A
Authority
CN
China
Prior art keywords
network
target
loss function
center point
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110143991.9A
Other languages
English (en)
Inventor
董乐
张宁
徐浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110143991.9A priority Critical patent/CN112785627A/zh
Publication of CN112785627A publication Critical patent/CN112785627A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机图像处理领域，具体是一种基于重识别技术的多目标跟踪方法，包括如下步骤：步骤一、数据预处理；步骤二、训练分支网络，构建分支网络的损失函数；步骤三、利用分支网络的损失函数构建主干网络的损失函数；步骤四、基于分支网络使用DeepSORT算法进行多目标跟踪；解决多目标跟踪准确性与实时性不足的问题。

Description

一种基于重识别技术的多目标跟踪方法
技术领域
本发明涉及计算机图像处理领域，具体是指一种基于重识别技术的多目标跟踪方法。
背景技术
多目标检测跟踪是计算机视觉的核心也是一直以来广泛被研究的领域之一，该技术可以应用于人数统计，视频分析，动作识别，异常行为检测，人机交互等方面，目前多目标检测跟踪的很多解决方案主要在于两方面：检测与关联，前者通过检测模型检测并定位到目标，后者通过关联模型抽取目标重识别特征，然后将其关联到某一条已经存在的轨迹上，目前已经提出的检测与重识别模型已经在很大程度上提高了整体的跟踪性能，但是当有很多的目标需要被跟踪的时候，这些方法都无法达到一个令人满意的实时性，而其原因之一在于：检测模型与re-ID模型没有共享特征，因此浪费了很多的计算性能在特征计算上，针对这个问题，Voigleander等人也提出了“一步式”的方法，他们使用ROI-Align在Mask R-CNN的上层增加了重识别分支，减少了重用主干网络对重识别分支的影响，但是使用这种方式跟踪的精确度相对于“两步式”有明显降低，为了解决这种精度损失问题，本发明研究了该问题的原因所在，并提出了相对应的解决方法，从而使得跟踪实时性与精度都得到巨大提升。
发明内容
基于以上问题，本发明提供了一种基于重识别技术的多目标跟踪方法，解决多目标跟踪准确性与实时性不足的问题。
为解决以上技术问题，本发明采用的技术方案如下：
一种基于重识别技术的多目标跟踪方法，包括如下步骤：
步骤一、数据预处理；
步骤二、训练分支网络，构建分支网络的损失函数；
步骤三、利用分支网络的损失函数构建主干网络的损失函数；
步骤四、基于分支网络使用DeepSORT算法进行多目标跟踪。
进一步，所述主干网络包括ResNet34网络和DLA34网络，所述分支网络包括检测分支网络和重识别分支网络，所述检测分支网络包括确定中心点网络、确定中心点偏移网络和确定目标大小网络。
进一步，所述确定中心点网络的损失函数构建如下：
对于数据集中的每一个目标标定框
Figure BDA0002928790120000021
计算目标中心点
Figure BDA0002928790120000022
其中，
Figure BDA0002928790120000023
目标中心点除以步长后得到
Figure BDA0002928790120000024
heatmap网络在(x,y)处的响应为
Figure BDA0002928790120000025
其中，N表示目标总数，σ是标准差，使用逻辑回归与focal loss构建确定中心点网络的损失函数如下：
Figure BDA0002928790120000026
其中，
Figure BDA0002928790120000027
表示确定中心点网络的估计值，α、β表示预定义参数。
进一步，所述确定中心点偏移网络和确定目标大小网络的损失函数构建如下：
对于数据集中的每一个目标标定框
Figure BDA0002928790120000028
计算目标大小
Figure BDA0002928790120000029
计算中心点偏移为
Figure BDA00029287901200000210
构建确定中心点偏移网络和确定目标大小网络损失函数如下：
Figure BDA00029287901200000211
其中，
Figure BDA00029287901200000212
分别为对应位置处的估计值，确定中心点偏移网络的输出为
Figure BDA00029287901200000213
确定目标大小网络输出为
Figure BDA00029287901200000214
进一步，通过确定中心点网络获取到目标中心点，对于每一个目标中心点，抽取出其重识别特征向量，通过分类学习将其映射到一个分类向量P＝{p(k),k∈[1,k]}，重识别模型的损失函数如下：
Figure BDA00029287901200000215
其中，K表示类别总数，Li(k)为类别标签的独热编码表示。
进一步，主干网络的损失函数Ltotal如下：
Ldtection＝Lheat+Lbox；
Figure BDA00029287901200000216
其中，w1、w2表示学习参数。
与现有技术相比，本发明的有益效果是：
1.对比现有技术***(CenterTrack、TubeTK、SST等)在各项指标上都有很大的提升，如多目标跟踪精确度(MOTA)、FPS等指标，可以应用于一些对实时性要求较高的领域。
2、使用基于Anchor-free的检测方法，可以避免网络歧义性，并且采用DLA34深层特征融合网络，并行地生成检测模型与重识别模型。
附图说明
图1为本实施例的流程图。
具体实施方式
下面结合附图对本发明作进一步的说明。本发明的实施方式包括但不限于下列实施例。
基于Anchor-Based检测器产生出来的anchor并不适合去学习合适的重识别信息，原因有二，其一是一个物体可能被多个anchor负责并进行检测，这会导致严重的网络模糊性(ambiguities for the network)；第二个原因是实际物体的中心可能与负责对该物体进行检测的anchor中心有偏差。
基于上述anchor-free的方式检测目标，提出了一种基于重识别技术的多目标跟踪方法，包括如下步骤：
步骤一、数据预处理；
其中，选用多目标跟踪数据集进行标签标定预处理，用于重识别模型的训练；使用标定好的数据集用于训练检测模型，另外，标定好的数据集包括但不限于MOT17。
步骤二、训练分支网络，构建分支网络的损失函数；
其中，分支网络包括检测分支网络和重识别分支网络，检测分支网络包括确定中心点网络、确定中心点偏移网络和确定目标大小网络，对于检测分支网络中的每一个分支网络，通过主干网络提取特征图并对特征图进行特征融合后，使用一个3×3(256channels)的卷积，进行ReLU后使用一个1×1卷积生成特征图；
另外，分别构建确定中心点网络、确定中心点偏移网络和确定目标大小网络的损失函数，确定中心点网络的损失函数构建方法如下：
对于数据集中的每一个目标标定框
Figure BDA0002928790120000031
计算目标中心点
Figure BDA0002928790120000032
其中，
Figure BDA0002928790120000033
目标中心点除以步长后得到
Figure BDA0002928790120000034
heatmap网络在(x,y)处的响应为
Figure BDA0002928790120000035
其中，N表示目标总数，σ是标准差，使用逻辑回归与focal loss构建确定中心点网络的损失函数如下：
Figure BDA0002928790120000036
其中，
Figure BDA0002928790120000041
表示确定中心点网络的估计值，α、β表示预定义参数；
另外，确定中心点偏移网络和确定目标大小网络的损失函数如下：
对于数据集中的每一个目标标定框
Figure BDA0002928790120000042
计算目标大小
Figure BDA0002928790120000043
计算中心点偏移为
Figure BDA0002928790120000044
构建确定中心点偏移网络和确定目标大小网络损失函数如下：
Figure BDA0002928790120000045
其中，
Figure BDA0002928790120000046
分别为对应位置处的估计值，确定中心点偏移网络的输出为
Figure BDA0002928790120000047
确定目标大小网络输出为
Figure BDA0002928790120000048
另外，重识别分支网络的损失函数如下：
通过确定中心点网络获取到目标中心点，对于每一个目标中心点，抽取出其重识别特征向量，通过分类学习将其映射到一个分类向量P＝{p(k),k∈[1,k]}，重识别模型的损失函数如下：
Figure BDA0002928790120000049
其中，K表示类别总数，Li(k)为类别标签的独热编码表示。
步骤三、利用分支模型的损失函数构建主干网络的损失函数；
其中，主干网络包括ResNet34网络和DLA34网络，为了能够在精确性和速度上取得一个较好的平衡，利用ResNet34网络提取出图像的特征图并对该特征图进行一些图形变换后，使用DLA34网络进行特征融合，DLA34网络融合其底层与高层特征避免一些底层特征的丢失，在该主干网络对特征图和对特征图进行特征融合的基础上，对分支网络进行学习；
另外，主干网络的损失函数Ltotal如下：
Ldtection＝Lheat+Lbox；
Figure BDA00029287901200000410
其中，w1、w2表示学习参数。
步骤四、基于分支网络使用DeepSORT算法进行多目标跟踪。
如上即为本发明的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (6)

1.一种基于重识别技术的多目标跟踪方法，其特征在于，包括如下步骤：
步骤一、数据预处理；
步骤二、训练分支网络，构建分支网络的损失函数；
步骤三、利用分支网络的损失函数构建主干网络的损失函数；
步骤四、基于分支网络使用DeepSORT算法进行多目标跟踪。
2.根据权利要求1所述的一种基于重识别技术的多目标跟踪方法，其特征在于：所述主干网络包括ResNet34网络和DLA34网络，所述分支网络包括检测分支网络和重识别分支网络，所述检测分支网络包括确定中心点网络、确定中心点偏移网络和确定目标大小网络。
3.根据权利要求2所述的一种基于重识别技术的多目标跟踪方法，其特征在于：所述确定中心点网络的损失函数构建如下：
对于数据集中的每一个目标标定框
Figure FDA0002928790110000011
计算目标中心点
Figure FDA0002928790110000012
其中，
Figure FDA0002928790110000013
目标中心点除以步长后得到
Figure FDA0002928790110000014
heatmap网络在(x,y)处的响应为
Figure FDA0002928790110000015
其中，N表示目标总数，σ是标准差，使用逻辑回归与focal loss构建确定中心点网络的损失函数如下：
Figure FDA0002928790110000016
其中，
Figure FDA0002928790110000017
表示确定中心点网络的估计值，α、β表示预定义参数。
4.根据权利要求3所述的一种基于重识别技术的多目标跟踪方法，其特征在于：所述确定中心点偏移网络和确定目标大小网络的损失函数构建如下：
对于数据集中的每一个目标标定框
Figure FDA0002928790110000018
计算目标大小
Figure FDA0002928790110000019
计算中心点偏移为
Figure FDA00029287901100000110
构建确定中心点偏移网络和确定目标大小网络损失函数如下：
Figure FDA00029287901100000111
其中，
Figure FDA00029287901100000112
分别为对应位置处的估计值，确定中心点偏移网络的输出为
Figure FDA00029287901100000113
确定目标大小网络输出为
Figure FDA00029287901100000114
5.根据权利要求2所述的一种基于重识别技术的多目标跟踪方法，其特征在于：通过确定中心点网络获取到目标中心点，对于每一个目标中心点，抽取出其重识别特征向量，通过分类学习将其映射到一个分类向量P＝{p(k),k∈[1,k]}，重识别模型的损失函数如下：
Figure FDA0002928790110000021
其中，K表示类别总数，Li(k)为类别标签的独热编码表示。
6.根据权利要求4和5所述的一种基于重识别技术的多目标跟踪方法，其特征在于：主干网络的损失函数Ltotal如下：
Ldtection＝Lheat+Lbox；
Figure FDA0002928790110000022
其中，w1、w2表示学习参数。
CN202110143991.9A 2021-02-02 2021-02-02 一种基于重识别技术的多目标跟踪方法 Pending CN112785627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110143991.9A CN112785627A (zh) 2021-02-02 2021-02-02 一种基于重识别技术的多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110143991.9A CN112785627A (zh) 2021-02-02 2021-02-02 一种基于重识别技术的多目标跟踪方法

Publications (1)

Publication Number Publication Date
CN112785627A true CN112785627A (zh) 2021-05-11

Family

ID=75760546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110143991.9A Pending CN112785627A (zh) 2021-02-02 2021-02-02 一种基于重识别技术的多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112785627A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971688A (zh) * 2021-11-04 2022-01-25 匀熵教育科技(无锡)有限公司 一种增强id重识别的无锚多目标跟踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443320B1 (en) * 2015-05-18 2016-09-13 Xerox Corporation Multi-object tracking with generic object proposals
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
US20200125925A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Foreground Attentive Feature Learning for Person Re-Identification
CN111488795A (zh) * 2020-03-09 2020-08-04 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN111860282A (zh) * 2020-07-15 2020-10-30 中国电子科技集团公司第三十八研究所 地铁断面客流量统计和行人逆行检测方法及***
CN112183450A (zh) * 2020-10-15 2021-01-05 成都思晗科技股份有限公司 一种多目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443320B1 (en) * 2015-05-18 2016-09-13 Xerox Corporation Multi-object tracking with generic object proposals
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
US20200125925A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Foreground Attentive Feature Learning for Person Re-Identification
CN111488795A (zh) * 2020-03-09 2020-08-04 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN111860282A (zh) * 2020-07-15 2020-10-30 中国电子科技集团公司第三十八研究所 地铁断面客流量统计和行人逆行检测方法及***
CN112183450A (zh) * 2020-10-15 2021-01-05 成都思晗科技股份有限公司 一种多目标跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YIFU ZHANG 等: "FairMOT:On the Fairness of Detection and Re-Identification in Multiple Object Tracking", 《ARXIV》 *
李小丹: "基于运动目标及块分类的人群场景异常检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
龚轩 等: "多目标跟踪中的数据关联技术综述", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971688A (zh) * 2021-11-04 2022-01-25 匀熵教育科技(无锡)有限公司 一种增强id重识别的无锚多目标跟踪方法
CN113971688B (zh) * 2021-11-04 2023-09-26 匀熵智能科技(无锡)有限公司 一种增强id重识别的无锚多目标跟踪方法

Similar Documents

Publication Publication Date Title
CN110555387B (zh) 骨架序列中基于局部关节点轨迹时空卷的行为识别方法
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN111444968A (zh) 一种基于注意力融合的图像描述生成方法
CN110458022B (zh) 一种基于域适应的可自主学习目标检测方法
WO2023273337A1 (zh) 一种基于代表特征的遥感图像中的密集目标检测方法
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
Cai et al. A novel saliency detection algorithm based on adversarial learning model
Shu et al. Center-point-guided proposal generation for detection of small and dense buildings in aerial imagery
Tan et al. A multiple object tracking algorithm based on YOLO detection
CN113554679A (zh) 一种面向计算机视觉应用的无锚框目标跟踪算法
Ren et al. Infrared small target detection via region super resolution generative adversarial network
CN112785627A (zh) 一种基于重识别技术的多目标跟踪方法
Liu et al. SLPR: A deep learning based Chinese ship license plate recognition framework
CN113724293A (zh) 一种基于视觉的智能网联公交场景下目标跟踪方法及***
CN116453514B (zh) 一种基于多视角的语音关键词检测与定位方法及装置
CN116385496A (zh) 一种基于图像处理的游泳运动实时测速方法及***
CN117437260A (zh) 一种基于联合检测和重识别的无锚实时多目标跟踪方法
CN116245913A (zh) 基于层次化上下文引导的多目标跟踪方法
CN114067359B (zh) 融合人体关键点与可见部位注意力特征的行人检测方法
Zhu et al. Confusion region mining for crowd counting
Wan et al. Orientation Detector for Small Ship Targets in SAR Images Based on Semantic Flow Feature Alignment and Gaussian Label Matching
CN113705489B (zh) 基于先验区域知识指导的遥感影像细粒度飞机识别方法
CN112906677B (zh) 基于改进型ssd网络的行人目标检测与重识别方法
CN114998567A (zh) 一种基于多模态特征判别的红外点群目标识别方法
CN110503663B (zh) 一种基于抽帧检测的随机多目标自动检测跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210511