CN116523957A - 一种多目标跟踪方法、***、电子设备及存储介质 - Google Patents

一种多目标跟踪方法、***、电子设备及存储介质 Download PDF

Info

Publication number
CN116523957A
CN116523957A CN202310301644.3A CN202310301644A CN116523957A CN 116523957 A CN116523957 A CN 116523957A CN 202310301644 A CN202310301644 A CN 202310301644A CN 116523957 A CN116523957 A CN 116523957A
Authority
CN
China
Prior art keywords
target
detection
tracking
container
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310301644.3A
Other languages
English (en)
Inventor
王军德
张佳琦
叶辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kotei Informatics Co Ltd
Original Assignee
Wuhan Kotei Informatics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Kotei Informatics Co Ltd filed Critical Wuhan Kotei Informatics Co Ltd
Priority to CN202310301644.3A priority Critical patent/CN116523957A/zh
Publication of CN116523957A publication Critical patent/CN116523957A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多目标跟踪方法、***、电子设备及存储介质，该方法包括：创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；通过主成分分析提取目标检测信息中对应的特征向量；基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。通过该方案可以降低跟踪模型数据集构建及训练的难度，减少对算力资源的占用，在保障检测精度的前提下提高模型运行速度。

Description

一种多目标跟踪方法、***、电子设备及存储介质
技术领域
本发明属于计算机视觉领域，尤其涉及一种多目标跟踪方法、***、电子设备及存储介质。
背景技术
多目标跟踪是同时对视频中的多个目标跟踪，并为目标分配id，最终得到目标的运动轨迹。多目标跟踪涵盖了多个计算机领域的内容，是计算机视觉领域的一项关键技术，在自动驾驶、智能监控、行为识别等方向有着广泛应用。
目前，常用的多目标跟踪方法包括：(1)基于目标检测的跟踪，其通过目标检测算法对每一帧图像进行目标检测，然后对前后两帧图像的目标进行关联，一般会采用SORT或DeepSORT算法实现；(2)采用目标检测和跟踪联合的框架，其通过在目标检测部分添加一个embedding分支同时输出目标检测结果和目标特征向量，然后进行目标匹配得到最终结果；(3)基于注意力机制的多目标跟踪框架，其利用query－key机制追踪当前帧已经存在的目标的同时完成新目标的检测。
然而，这些方法都存在一些较大缺陷：对于方法(1)，SORT算法的idswitch现象比较严重，DeepSORT是通过ReID网络提取目标embedding构建相似度矩阵，而ReID网络的数据训练集制作非常困难，公开数据集的规模比较小；对于方法(2)，由于目标的数量没有上限，为应对大量目标ID分配，通常会在输出层增加一个全连接层，如JDE设置了14455个输出节点，由此大幅增加了模型的运算量和存储体积，训练过程较为困难；对于方法(3)，由于transform运算量较大，导致跟踪模型在性能稍差的设备运行速度慢，难以实时更新。
发明内容
有鉴于此，本发明实施例提供了一种多目标跟踪方法、***、电子设备及存储介质，用于解决现有多目标跟踪中数据集制作及模型训练困难，以及模型运行计算量大的问题。
在本发明实施例的第一方面，提供了一种多目标跟踪方法，包括：
创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；
通过主成分分析提取目标检测信息中对应的特征向量；
基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；
基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。
在本发明实施例的第二方面，提供了一种全景成像中多目标跟踪***，包括：
目标检测模块，用于创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；
特征提取模块，用于通过主成分分析提取目标检测信息中对应的特征向量；
目标匹配模块，用于基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；
目标更新模块，用于基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，通过构建目标检测容器，采用CenterNet网络进行目标检测，通过主成分分析提取目标特征向量，结合匈牙利算法进行目标匹配，从而实现目标跟踪容器中目标的实时更新，在保障检测精度的前提下，大大降低模型计算量，减少对算力资源的消耗。基于主成分分析可以降低目标特征提取难度，避免目标遮挡、不清晰等带来的影响，克服传统多目标跟踪中数据集制作及模型训练中存在的困难。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明一个实施例提供的一种多目标跟踪方法的流程示意图；
图2为本发明一个实施例提供的一种多目标跟踪***的结构示意图；
图3为本发明的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
需要说明的是，基于纯视觉的多目标跟踪存在数据集标准困难、频繁的目标遮挡、摄像头受光线影响大、摄像头无法检测目标深度、不同角度下目标框与检测目标无法完全匹配等问题。
基于IoU进行数据关联的方法没有对检测目标的特征建模，会产生目标遮挡引起的id switch，这一现象在密集的行人跟踪上表现明显。同时，障碍物姿态的变化会影响检测框的变化，以往的Kalman滤波器会在状态变量中设置检测框长、宽作为状态变量，但是由于无法对障碍物姿态的变化规律精确建模，这会影响每次预测的检测框精度，造成累计误差。但在本实施例的方案中，状态变量不再对检测框的长宽进行预测，而是重点对障碍物中心位置进行预测，并为了提高对中心位置的预测精度，采用CenterNet进行目标检测。
IoU计算关联矩阵的方法一般只考虑了位置匹配的关系，没有考虑检测目标的特征。而基于深度学习的ReID能够较好的提取目标特征，但是网络难以训练，且面临着训练数据集不足的问题。本方案中采用了一种无监督特征提取方法，即通过主成分分析提取目标特征，同时结合IoU计算关联矩阵，实现目标相似度计算。
具体请参阅图1，本发明实施例提供的一种多目标跟踪方法的流程示意图，包括：
S101、创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；
所述目标跟踪容器用于存储图像帧的目标信息，并能对目标进行实时更新。所述CenterNet网络为一种目标检测器，本实施例中，采用CenterNet网络，基于CenterNet为无锚框的检测器，去除了低效且复杂的Anchors操作，提升了检测算法的性能，去除了耗时的非极大抑制NMS后，进一步提升了整个算法的运行速度；同时，CenterNet用heatmap方式输出检测目标中心的分布，损失函数中也包含对检测中心的修正，因此检测目标中心的准确程度比基于锚框的方法高，可以提高Kalman滤波器对检测目标中心的预测准确度。
优选的，通过采用anchor－free框架的CenterNet网络对相机采集的图像帧进行目标检测。
所述目标检测信息中可以包括目标位置、数量、检测框等信息，输出所述目标检测信息可以便于提取目标的特征向量。
其中，所述目标检测信息中至少包括检测到的目标数量、目标在图像中的二维坐标、检测框尺寸、目标置信度、目标类别和类别置信度。
示例性的，生成目标检测信息BBoxes，其数据维度是(,7)，n表示检测到的目标数量，7个维度分别是(x,,,h,bj_conf,class_conf,lass)，x,y为中心在图片上的坐标，w,h为检测框的宽和高，obj_conf,class_为目标置信度和类别置信度，class为类别。
S102、通过主成分分析提取目标检测信息中对应的特征向量；
所述主成分分析是通过对协方差矩阵进行特征分解，以得出数据的主成分(即特征向量)与权值。常用于减少数据集的维数，并保持数据集中的对方差贡献最大的特征。
具体的，将目标检测框的长宽按比例伸缩，得到m行的矩阵X，根据公式计算X协方差：
式中，Σ表示协方差，m表示矩阵行数，i为计数变量，X表示特征矩阵，表示特征矩阵的平均值；
计算协方差的特征矩阵，取前k列向量作为目标检测信息的m×k形状的特征矩阵，用于表示目标特征向量。
S103、基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；
分别获取当前图像帧中检测目标的特征向量，及目标跟踪容器中目标的特征向量，计算两者特征相似度。其中，相似度矩阵用αIoU+(1-)corr计算，α为权重。该相似度包含了位置和目标特征信息，且在[0,1]之间取值。
其中，通过kalman滤波对目标跟踪容器中检测目标进行预测。
Kalman滤波的状态为表示中心点在图像中的坐标及其变化率，用匀速模型可以建立如下预测方程：
sk＝sk-1+；
A表示状态转移矩阵，形式如下：
ω表示噪音，其方差为Q，设预测值为预测值方差为/>方差计算公式为：
所述匈牙利算法对图像帧的目标与目标跟踪容器中目标进行匹配，得到目标间的匹配结果。
可选的，对匹配到的检测目标，将检测结果的中心作为观测值用于Kalman滤波器的更新；
对未匹配到的新检测目标，将新检测目标添加到目标检测容器中；
对未匹配到且存在历史记录的检测目标，判断目标未匹配时间是否超过预设值，若超过预设值，则将未匹配目标从目标跟踪容器中删除，若未超过预设值，则将未匹配目标通过kalman滤波器进行预测。
S104、基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。
具体的，若所述目标跟踪容器中存在匹配到的目标，则按当前检测目标的观测值进行目标更新，若不存在匹配的目标，则基于kalman滤波器预测进行目标更新。
本实施例中，通过主成分分析克服了无法提取跟踪目标特征的问题，可以通过特征+IoU匹配改善SORT框架idswitch的现象。SORT框架由于无法提取目标特征，因此当出现遮挡目标重新出现时，会被检测为新的障碍物，而通过主成分分析对目标特征进行提取，将提取的特征与历史记录比对，可以改善短时间内目标被遮挡的跟踪问题。
多目标跟踪的检测框长、宽精度在多目标跟踪问题中并非重点，可以容许些许误差，可以通过精确估计跟踪目标的中心位置来降低模型运算量，因此在Kalman滤波阶段删除了检测框的变化预测，仅对中心位置进行修正。以目标检测的预测框长、宽作为预测结果具有足够的使用精度，可以在保证使用精度的前提下减小了Kalman预测模型的维度，提高运算速度。
由此，本实施例方案的目标检测精度虽然比传统深度学习模型稍低，但消耗的算力和存储空间远小于常规模型，运行速度也能大幅提高。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图2为本发明实施例提供的一种多目标跟踪***的结构示意图，该***包括：
目标检测模块210，用于创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；
其中，通过采用anchor－free框架的CenterNet网络对相机采集的图像帧进行目标检测。
其中，所述目标检测信息中至少包括检测到的目标数量、目标在图像中的二维坐标、检测框尺寸、目标置信度、目标类别和类别置信度。
特征提取模块220，用于通过主成分分析提取目标检测信息中对应的特征向量；
具体的，所述通过主成分分析提取目标检测信息中对应的特征向量包括：
将目标检测框的长宽按比例伸缩，得到m行的矩阵X，根据公式计算X协方差：
式中，Σ表示协方差，m表示矩阵行数，i为计数变量，X表示特征矩阵，表示特征矩阵的平均值；
计算协方差的特征矩阵，取前k列向量作为目标检测信息的m×k形状的特征矩阵，表示目标特征向量。
目标匹配模块230，用于基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；
可选的，所述目标匹配模块230还包括：
目标预测模块，用于通过kalman滤波对目标跟踪容器中检测目标进行预测。
优选的，所述通过匈牙利算法进行目标匹配包括：
对匹配到的检测目标，将检测结果的中心作为观测值用于Kalman滤波器的更新；
对未匹配到的新检测目标，将新检测目标添加到目标检测容器中；
对未匹配到且存在历史记录的检测目标，判断目标未匹配时间是否超过预设值，若超过预设值，则将未匹配目标从目标跟踪容器中删除，若未超过预设值，则将未匹配目标通过kalman滤波器进行预测。
目标更新模块240，用于基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。
其中，若所述目标跟踪容器中存在匹配到的目标，则按当前检测目标的观测值进行目标更新，若不存在匹配的目标，则基于kalman滤波器预测进行目标更新。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。
图3是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于多目标检测跟踪。如图3所示，该实施例的电子设备3包括：存储器310、处理器320以及***总线330，所述存储器310包括存储其上的可运行的程序3101，本领域技术人员可以理解，图3中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图3对电子设备的各个构成部件进行具体的介绍：
存储器310可用于存储软件程序以及模块，处理器320通过运行存储在存储器310的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在存储器310上包含网络请求方法的可运行程序3101，所述可运行程序3101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器310中，并由处理器320执行，以实现多目标跟踪等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序3101在所述电子设备3中的执行过程。例如，所述计算机程序3101可以被分割为目标检测模块、特征提取模块、目标匹配模块和目标更新模块等功能模块。
处理器320是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器310内的软件程序和/或模块，以及调用存储在存储器310内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器320可包括一个或多个处理单元；优选的，处理器320可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器320中。
***总线330是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、CAN总线等。处理器320的指令通过总线传递至存储器310，存储器310反馈数据给处理器320，***总线330负责处理器320与存储器310之间的数据、指令交互。当然***总线330还可以接入其他设备，例如网络接口、显示设备等。
在本发明实施例中，该电子设备所包括的处理320执行的可运行程序包括：
创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；
通过主成分分析提取目标检测信息中对应的特征向量；
基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；
基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多目标跟踪方法，其特征在于，包括：
创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；
通过主成分分析提取目标检测信息中对应的特征向量；
基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；
基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。
2.根据权利要求1所述的方法，其特征在于，所述通过CenterNet网络对相机采集的图像帧进行目标检测包括：
通过采用anchor－free框架的CenterNet网络对相机采集的图像帧进行目标检测。
3.根据权利要求1所述的方法，其特征在于，所述目标检测信息中至少包括检测到的目标数量、目标在图像中的二维坐标、检测框尺寸、目标置信度、目标类别和类别置信度。
4.根据权利要求1所述的方法，其特征在于，所述通过主成分分析提取目标检测信息中对应的特征向量包括：
将目标检测框的长宽按比例伸缩，得到m行的矩阵X，根据公式计算X协方差：
式中，Σ表示协方差，m表示矩阵行数，i为计数变量，X表示特征矩阵，表示特征矩阵的平均值；
计算协方差的特征矩阵，取前k列向量作为目标检测信息的m×k形状的特征矩阵，表示目标特征向量。
5.根据权利要求1所述的方法，其特征在于，所述基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度还包括：
通过kalman滤波对目标跟踪容器中检测目标进行预测。
6.根据权利要求1所述的方法，其特征在于，所述通过匈牙利算法进行目标匹配包括：
对匹配到的检测目标，将检测结果的中心作为观测值用于Kalman滤波器的更新；
对未匹配到的新检测目标，将新检测目标添加到目标检测容器中；
对未匹配到且存在历史记录的检测目标，判断目标未匹配时间是否超过预设值，若超过预设值，则将未匹配目标从目标跟踪容器中删除，若未超过预设值，则将未匹配目标通过kalman滤波器进行预测。
7.根据权利要求1所述的方法，其特征在于，所述对目标跟踪容器中的目标进行实时更新包括：
若所述目标跟踪容器中存在匹配到的目标，则按当前检测目标的观测值进行目标更新，若不存在匹配的目标，则基于kalman滤波器预测进行目标更新。
8.一种多目标跟踪***，其特征在于，包括：
目标检测模块，用于创建目标跟踪容器，通过CenterNet网络对相机采集的图像帧进行目标检测，输出目标检测信息，并将检测到的目标添加到所述目标跟踪容器中；
特征提取模块，用于通过主成分分析提取目标检测信息中对应的特征向量；
目标匹配模块，用于基于提取的特征向量计算当前帧检测目标与目标跟踪容器中检测目标的特征相似度，并通过匈牙利算法进行目标匹配；
目标更新模块，用于基于目标匹配结果，对目标跟踪容器中的目标进行实时更新。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的一种多目标跟踪方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至7任一项所述的一种多目标跟踪方法的步骤。
CN202310301644.3A 2023-03-24 2023-03-24 一种多目标跟踪方法、***、电子设备及存储介质 Pending CN116523957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310301644.3A CN116523957A (zh) 2023-03-24 2023-03-24 一种多目标跟踪方法、***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310301644.3A CN116523957A (zh) 2023-03-24 2023-03-24 一种多目标跟踪方法、***、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116523957A true CN116523957A (zh) 2023-08-01

Family

ID=87405482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310301644.3A Pending CN116523957A (zh) 2023-03-24 2023-03-24 一种多目标跟踪方法、***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116523957A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912508A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 多媒体数据的目标跟踪方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912508A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 多媒体数据的目标跟踪方法和装置

Similar Documents

Publication Publication Date Title
CN109559320B (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及***
CN112669349B (zh) 一种客流统计方法、电子设备及存储介质
WO2016034008A1 (zh) 一种目标跟踪方法及装置
CN113963445B (zh) 一种基于姿态估计的行人摔倒动作识别方法及设备
CN111523447B (zh) 车辆跟踪方法、装置、电子设备及存储介质
CN111627050B (zh) 一种目标跟踪模型的训练方法和装置
CN108182695B (zh) 目标跟踪模型训练方法及装置、电子设备和存储介质
CN109165309B (zh) 负例训练样本采集方法、装置及模型训练方法、装置
CN113628244B (zh) 基于无标注视频训练的目标跟踪方法、***、终端及介质
WO2022142417A1 (zh) 目标跟踪方法、装置、电子设备及存储介质
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及***
CN110738650B (zh) 一种传染病感染识别方法、终端设备及存储介质
CN115345905A (zh) 目标对象跟踪方法、装置、终端及存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN113240718A (zh) 多目标识别及跟踪方法、***、介质和计算设备
CN111091101A (zh) 基于一步法的高精度行人检测方法、***、装置
CN112634369A (zh) 空间与或图模型生成方法、装置、电子设备和存储介质
CN112802108A (zh) 目标对象定位方法、装置、电子设备及可读存储介质
CN116523957A (zh) 一种多目标跟踪方法、***、电子设备及存储介质
CN112634316A (zh) 目标跟踪方法、装置、设备和存储介质
CN112036381A (zh) 视觉跟踪方法、视频监控方法及终端设备
CN113256683B (zh) 目标跟踪方法及相关设备
CN114168768A (zh) 图像检索方法及相关设备
CN112884804A (zh) 行动对象追踪方法及相关设备
CN112734800A (zh) 一种基于联合检测与表征提取的多目标跟踪***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination