CN115359407A - 一种视频中的多车辆跟踪方法 - Google Patents
一种视频中的多车辆跟踪方法 Download PDFInfo
- Publication number
- CN115359407A CN115359407A CN202211070668.4A CN202211070668A CN115359407A CN 115359407 A CN115359407 A CN 115359407A CN 202211070668 A CN202211070668 A CN 202211070668A CN 115359407 A CN115359407 A CN 115359407A
- Authority
- CN
- China
- Prior art keywords
- target
- loss function
- sample
- feature
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种视频中的多车辆跟踪方法,包括构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型,构造实例和维度双重对比的目标特征损失函数和目标检测损失函数,将网络模型在无身份标签的目标检测数据集下训练,构造添加占位符机制的视觉相似性关联方法;将待进行多车辆跟踪的视频数据逐帧转化为图像,依次传入训练好的神经网络进行车辆的目标检测和特征提取,对相邻两帧图像间的所有车辆特征进行关联匹配,遍历全部帧图像后得到检测区域内所有车辆的跟踪结果。本发明减少了额外计算开销,提高了模型计算速度,极大地降低了构建目标跟踪数据集的成本,避免车辆目标因暂时遮挡消失又重新出现导致的跟踪不稳定,使多车辆跟踪更加准确。
Description
技术领域
本发明属于模式识别技术领域,涉及一种视频中的多车辆跟踪方法。
背景技术
多车辆跟踪任务包括了目标检测、视觉表征和数据关联三个模块。在现有的多车辆跟踪方法中,模型多为两阶段模式,即先对待检测区域进行目标检测,再将检测的目标图像或提取的目标特征进行视觉表征和数据关联;模型的训练大多需要在专门的具有目标位置、目标大小和目标身份信息的数据集上进行,需要大量的人工标注;在多车辆目标跟踪过程中,常因为车辆目标被遮挡后又重新出现而导致跟踪丢失。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种视频中的多车辆跟踪方法,减少了额外计算开销,提高了模型计算速度,极大地降低了构建目标跟踪数据集的成本,有效的记录消失和新出现的车辆,避免车辆目标因暂时遮挡消失又重新出现导致的跟踪不稳定,使多车辆跟踪更加准确。
为达到上述目的,本发明是采用下述技术方案实现的:
一种视频中的多车辆跟踪方法,包括如下步骤:
采用随机抽样的方法将图像数据集等分为若干个实例集Zi,每个实例集都有对应的标签集Ei,i∈{1,2,…T},T为实例集个数;
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型,成对提取两个样本集合Zi和Z'i的特征矩阵,记为hi和h'i;
根据样本集合的特征矩阵构建具有相同结构的分支网络,分别对特征矩阵hi和hi′进行预测,得到热力图Fi和F'i,中心偏移Oi和O'i,目标大小Si和S'i;
根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的目标特征表征网络模型和投影层网络模型,两个特征矩阵hi和h'i通过目标特征表征网络得到目标特征表征Hi和H'i,目标特征表征Hi和H'i经投影得到目标特征矩阵,记为Li和L'i;
将目标特征矩阵Li和L'i分别沿行列向量划分,得到实例特征和维度特征,构建正、负实例特征对和相关、无关维度特征对;
通过余弦距离度量函数计算实例特征对间的特征关系,通过相关系数度量函数计算维度特征对间的特征关系,构造实例特征和维度特征双重对比损失函数作为目标特征损失函数;
通过Focal Loss损失函数计算样本热力特征图Fi与F'i与之间的关系,通过损失函数计算样本中心点偏移量Oi与O'i与之间的关系和样本目标大小Si与S'i与之间的关系,根据计算的损失函数,构造目标检测损失函数,并与样本维度双重对比损失函数构成模型的目标检测与特征计算的总损失函数;
根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型进行训练;
对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系,对于同一目标进行轨迹更新,对新出现的目标为其初始化身份和轨迹;
可选的,图像随机变换包括随机水平翻转、随机灰度化、颜色抖动、高斯模糊、高斯噪声、锐化和过曝。
可选的,车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·);编码器f(·)为由多层卷积神经网络组成的网络模型,编码器f(·)用于提取样本集合的嵌入表示,计算公式如下:
可选的,编码器f(·)包括DarkNet-53、ResNet-50、DLA-34。
可选的,具有相同结构的分支网络为预测头pj(·),j={1,2,3},分别用于预测热力图、中心偏移向量和目标大小;
每个预测头pj(·)对特征图进行卷积核大小为3×3的卷积计算,通过批次归一化层和非线性激活函数计算后,通过1×1的卷积计算得到样本集合的预测矩阵,用来对样本集合的嵌入表示进行预测,计算公式如下:
I是样本热力特征图的大小;
J是样本目标中心点偏移向量预测的大小;
K是样本目标尺寸预测的大小。
可选的,目标特征表征网络模型为目标特征表征器c(·),投影层网络模型为投影头g(·);
目标特征表征器c(·)包括卷积神经网络和特征通道集合网络,目标的特征表示为经卷积计算所得特征矩阵的目标中心点坐标处所有通道的集合,计算公式如下:
N是样本目标中心点的数量,D是卷积计算所得特征矩阵的通道数;
投影头g(·)包含三层全连接网络,前两层之后连接批次归一化层和非线性激活函数,计算得到样本集合的特征矩阵,计算公式如下:
M是样本输出目标特征矩阵的大小。
可选的,将两个特征矩阵Li和L'i按行划分,得到实例表示集合 t表示图像增强算法,其中1为不使用图像增强算法,i为实例索引,从集合S中构造实例对为正对,i≠j为负对;将两个特征矩阵Li和L'i按列划分,得到特征维度集合p为维度索引,从集合D中构造维度对为相关对,p≠k为无关对。
可选的,通过余弦距离度量函数计算实例特征对间的相似度,余弦距离度量函数公式为:
|·|表示求样本特征的模长;
通过相关系数度量函数计算维度特征对间的相关性,相关系数度量函数公式为:
实例特征对比损失函数为:
维度特征对比损失函数为:
τ1,τ2为损失函数的超参数,表示温度参数;
其中λ为控制损失平衡的参数。
pi,p'i分别为Zi,Z'i的目标中心点坐标值;
表示热力特征图Fi,F'i上(x,y)处坐标像素的估计值,c为待检测目标的类别数;α和β为超参数,用于均衡难易样本数量;Yxyc表示热力特征图上(x,y)处坐标像素的标签值;N是样本目标中心点的数量;
通过固定权重的方式将三个分支的损失函数相加,以得到检测目标的整体损失,其损失函数计算公式如下:
λ1,λ2为固定权重;
将目标检测损失函数与目标特征损失函数结合,构造整体的损失函数,计算公式如下:
其中w1,w2是平衡两个任务的可学习参数。
可选的,将变换的样本集合Z'i和标签集合E'i,与原样本集合Zi和原标签集合Ei成对地输入深度神经网络模型,样本集合经计算得到特征矩阵,特征矩阵经计算得到对应的预测热力图、中心偏移量和目标大小,特征矩阵再经计算得到对应的目标特征矩阵,标签集合经计算得到对应的标签热力图、中心偏移量和目标大小,将预测热力图、中心偏移量和目标大小、目标特征矩阵、标签热力图、中心偏移量和目标大小的结果代入目标检测与特征计算总损失函数中进行计算,深度神经网络模型根据总损失函数反向传播以自动调整优化模型参数。
H1=c(f(I1));
由热力图F1和中心点偏移量O1可以计算出目标中心点位置,计算公式如下:
P1=q(F1,O1)。
可选的,将视频数据集中的所有图像送入经过训练的深度神经网络模型中进行计算,记录跟踪目标的轨迹其中表示目标i在t帧的轨迹信息,为中心点坐标,为边界框大小,为目标的特征表示,IDi为目标的身份标识,li为存活时间参数;
通过基于特征表示相似性的数据关联算法AFRS获得连续两帧图像帧间目标的关联关系,计算公式为:
将相似度矩阵S'i,j沿行向量进行带温度系数的Softmax函数计算,得到每行都包含了当前目标与两帧内所有目标的相似度结果的关联矩阵M:
T为温度参数,
使用自适应温度调节T:
T=2log(Nt-1+Nt+1);
对连续两帧图像的特征矩阵进行AFRS关联算法,若当前帧存在目标i,并与上一帧关联成功,则使用检测结果对目标轨迹进行更新,同时将中心点坐标边界框大小身份标识IDi以及当前帧数t保存到跟踪结果中。若关联失败,则保持上一帧的轨迹信息不变,并将存活时间li加1,若li>30,则认为该目标已经离开跟踪画面。
与现有技术相比,本发明所达到的有益效果:
本发明提供的一种视频中的多车辆跟踪方法,构建了一种车辆检测与自监督视觉表征相融合的跟踪框架,将传统的两阶段式车辆跟踪模型中的目标检测和视觉表征模块相融合,同时进行目标检测和高鉴别性视觉表征的学习,减少额外的计算开销,提高模型计算速度;
本发明通过数据增强算法获得同一图像的不同视图样本,并根据实例和维度双重对比损失函数最大化不同视图样本相同目标间的关系,使模型能够提取到准确的目标特征,相对于传统的基于监督学习的目标跟踪算法而言,在训练时不依赖数据集中的身份标签而学习目标自身的信息,在传统的目标检测数据集上就能训练,不需要再构建专门的目标跟踪数据集,极大地降低了需要人工标注的数据集的成本;
本发明设计了添加占位符机制的视觉相似性关联算法AFRS,以目标特征表示为基础,计算帧间目标对的相似度,构建关联矩阵,更简单地识别出消失和新出现的目标,在多车辆场景下仍能对全部车辆目标进行准确跟踪,并暂时保存消失目标的特征,设置存活时间来判断目标是否离开跟踪画面,极大地缓解了因目标遮挡带来的跟踪不稳定问题。
附图说明
图1为本发明实施例的车辆检测与自监督视觉表征学习相融合的深度神经网络模型训练流程图;
图2为本发明实施例UA-DETRAC数据集部分样例;
图3为本发明实施例数据增强变换图片;
图4为本发明实施例添加占位符机制的视觉相似性关联方法流程图;
图5为本发明实施例多车辆跟踪流程图;
图6为本发明实施例待进行多车辆跟踪的道路监控视频数据的初始帧图像和末尾帧图像;
图7为本发明实施例多车辆跟踪结果展示。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
在本文中所披露范围的端点和任何值都不限于该精确的范围或值,这些范围或值应该理解为包含接近这些范围或值的值。对于数值范围来说,各个范围的端点值之间、各个范围的端点值和单独的点值之间,以及单独的点值之间可以彼此组合而得到一个或多个新的数值范围,这些数值范围应被视为在本文中具体公开。
出于本说明书和所附权利要求书的目的,除非另有陈述,否则所有表达量、百分数或比例的数字及本说明书和所附权利要求书中所用的其他数值被理解为在所有情况下都由术语“约”修饰。此外,本文公开的所有范围都包括端点在内且可独立组合。
实施例一
图2为UA-DETRAC数据集中部分样例展示,该数据集采集了现实世界24个不同地点超过14万帧的道路监控视频图像,并对其中8250辆车进行身份标注,数据集标注了超121万个带标签的对象边界框。
如图1至7所示,一种视频中的多车辆跟踪方法,包括如下步骤:
图像随机变换为随机水平翻转、随机灰度化或颜色抖动,各个方法的具体参数依循当前自监督训练的通用方案设置;
S2,采用随机抽样的方法将图像数据集等分为若干个实例集Zi,每个实例集都有对应的标签集Ei,i∈{1,2,…T},T为实例集个数;
S4,根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型,成对提取两个样本集合Zi和Z'i的特征矩阵,记为hi和h'i;
构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·);
编码器f(·)为DLA-34网络模型,编码器f(·)用于提取样本集合的嵌入表示,计算公式如下:
S5,根据样本集合的特征矩阵构建三个具有相同结构的分支网络,分别对特征矩阵hi和hi′进行预测,得到热力图Fi和F'i,中心偏移Oi和O'i,目标大小Si和S'i;
三个具有完全相同结构的分支网络为预测头pj(·),j={1,2,3},分别用于预测热力图、中心偏移向量和目标大小;
其中每个预测头pj(·)对特征图先进行卷积核大小为3×3的卷积计算,再通过批次归一化层和非线性激活函数计算后,最终通过一个1×1的卷积计算得到样本集合的预测矩阵,用来对S4中的样本集合的嵌入表示进行预测,计算公式如下:
S6,根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的目标特征表征网络模型和投影层网络模型,两个特征矩阵hi和h'i通过目标特征表征网络得到目标特征表征Hi和H'i,目标特征表征Hi和H'i经投影得到目标特征矩阵,记为Li和L'i;
目标特征表征网络模型为目标特征表征器c(·),投影层网络模型为投影头g(·);
目标特征表征器c(·)包括两层卷积神经网络和一个特征通道集合网络,目标的特征表示为经卷积计算所得特征矩阵的目标中心点坐标处所有通道的集合,计算公式如下:
投影头g(·)包含三层全连接网络,前两层之后连接批次归一化层和非线性激活函数,计算得到样本集合的特征矩阵,计算公式如下:
S7,将目标特征矩阵Li和L'i分别沿行列向量划分,得到实例特征和维度特征,构建正、负实例特征对和相关、无关维度特征对;
两个特征矩阵Li和L'i按行划分,得到实例表示集合t表示图像增强算法,其中1为不使用图像增强算法,i为实例索引,从集合S中构造实例对为正对,i≠j为负对;两个特征矩阵Li和L'i按列划分,得到特征维度集合 p为维度索引,从集合D中构造维度对为相关对,p≠k为无关对;
S8,通过余弦距离度量函数计算实例特征对间的相似度,通过相关系数度量函数计算维度特征对间的相关性,构造实例特征和维度特征双重对比损失函数作为目标特征损失函数;
余弦距离度量函数公式为:
相关系数度量函数公式为:
实例特征对比损失函数为:
维度特征对比损失函数为:
τ1,τ2为损失函数的超参数,表示温度参数;
S10,通过Focal Loss损失函数计算样本热力特征图Fi与F'i与之间的关系,通过损失函数计算样本中心点偏移量Oi与O'i与之间的关系和样本目标大小Si与S'i与之间的关系,将三者损失函数结合,构造目标检测损失函数,并与样本维度双重对比损失函数构成模型的目标检测与特征计算的总损失函数;
Focal Loss损失函数公式为:
表示热力特征图Fi,F'i上(x,y)处坐标像素的估计值,c为待检测目标的类别数;α和β为超参数,用于均衡难易样本数量;Yxyc表示热力特征图上(x,y)处坐标像素的标签值;N是样本目标中心点的数量;
通过固定权重的方式将三个分支的损失函数相加,以得到检测目标的整体损失,其损失函数计算公式如下:
将目标检测损失函数与步骤(8)的目标特征损失函数结合,构造整体的损失函数,计算公式如下:
S11,根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型进行训练;
将S3中由实例集Zi和标签集Ei变换的样本集合Z'i和标签集合E'i,与原样本集合Zi和原标签集合Ei成对地输入深度神经网络模型,样本集合经S4计算得到特征矩阵,特征矩阵经S5计算得到对应的预测热力图、中心偏移量和目标大小,特征矩阵再经S6计算得到对应的目标特征矩阵,标签集合经S9计算得到对应的标签热力图、中心偏移量和目标大小,将S5、S6和S9的结果代入S10中的目标检测与特征计算总损失函数中进行计算,深度神经网络模型根据总损失函数反向传播以自动调整优化模型参数;
H1=c(f(I1));
由热力图F1和中心点偏移量O1可以计算出目标中心点位置,计算公式如下:
P1=q(F1,O1);
S13,对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系,对于同一目标进行轨迹更新,对新出现的目标为其初始化身份和轨迹;
通过基于特征表示相似性的数据关联算法AFRS获得连续两帧图像帧间目标的关联关系,计算公式为:
将相似度矩阵S'i,j沿行向量进行带温度系数的Softmax函数计算,得到每行都包含了当前目标与两帧内所有目标的相似度结果的关联矩阵M:
T=2log(Nt-1+Nt+1);
对连续两帧图像的特征矩阵进行AFRS关联算法,若当前帧存在目标i,并与上一帧关联成功,则使用检测结果对目标轨迹进行更新,同时将中心点坐标边界框大小身份标识IDi以及当前帧数t保存到跟踪结果中。若关联失败,则保持上一帧的轨迹信息不变,并将存活时间li加1,若li>30,则认为该目标已经离开跟踪画面;
图6为待进行车辆多目标跟踪的道路监控视频数据中的某一帧图像,其中图6(a)是该道路监控视频的初始帧图像,图6(b)是该道路监控视频的末尾帧图像;图7为车辆多目标跟踪结果,其中每条曲线都代表一辆车在该检测区域内的运动轨迹,经本发明的深度神经网络计算,准确的识别和跟踪了检测区域内的所有车辆并绘制出了它们的运动轨迹。
实施例二
图像随机变换为高斯模糊或高斯噪声,各个方法的具体参数依循当前自监督训练的通用方案设置。
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型,成对提取两个样本集合Zi和Z'i的特征矩阵,记为hi和h'i;
构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·);编码器f(·)为DarkNet-53网络模型。
实施例三
图像随机变换为锐化或过曝,各个方法的具体参数依循当前自监督训练的通用方案设置。
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型,成对提取两个样本集合Zi和Z'i的特征矩阵,记为hi和h'i;
构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型为编码器f(·);编码器f(·)为ResNet-50网络模型。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种视频中的多车辆跟踪方法,其特征在于,包括如下步骤:
采用随机抽样的方法将图像数据集等分为若干个实例集Zi,每个实例集都有对应的标签集Ei,i∈{1,2,…T},T为实例集个数;
根据样本集合构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的主干网络模型,成对提取两个样本集合Zi和Z'i的特征矩阵,记为hi和h'i;
根据样本集合的特征矩阵构建具有相同结构的分支网络,分别对特征矩阵hi和hi′进行预测,得到热力图Fi和F'i,中心偏移Oi和O'i,目标大小Si和S'i;
根据相同结构的分支网络构建车辆检测与自监督视觉表征学习相融合的深度神经网络模型的目标特征表征网络模型和投影层网络模型,两个特征矩阵hi和h'i通过目标特征表征网络得到目标特征表征Hi和H'i,目标特征表征Hi和H'i经投影得到目标特征矩阵,记为Li和L'i;
将目标特征矩阵Li和L'i分别沿行列向量划分,得到实例特征和维度特征,构建正、负实例特征对和相关、无关维度特征对;
通过余弦距离度量函数计算实例特征对间的特征关系,通过相关系数度量函数计算维度特征对间的特征关系,构造实例特征和维度特征双重对比损失函数作为目标特征损失函数;
通过Focal Loss损失函数计算样本热力特征图Fi与F'i与之间的关系,通过损失函数计算样本中心点偏移量Oi与O'i与之间的关系和样本目标大小Si与S'i与之间的关系,根据计算的损失函数,构造目标检测损失函数,并与样本维度双重对比损失函数构成模型的目标检测与特征计算的总损失函数;
根据目标检测与特征计算的总损失函数对构建的车辆检测与自监督视觉表征学习相融合的深度神经网络模型进行训练;
对连续两帧的图像的特征矩阵进行关联算法获得帧间目标的关联关系,对于同一目标进行轨迹更新,对新出现的目标为其初始化身份和轨迹;
表示热力特征图Fi,F'i上(x,y)处坐标像素的估计值,c为待检测目标的类别数;α和β为超参数,用于均衡难易样本数量;Yxyc表示热力特征图上(x,y)处坐标像素的标签值;N是样本目标中心点的数量;
通过固定权重的方式将三个分支的损失函数相加,以得到检测目标的整体损失,其损失函数计算公式如下:
λ1,λ2为固定权重;
将目标检测损失函数与目标特征损失函数结合,构造整体的损失函数,计算公式如下:
其中w1,w2是平衡两个任务的可学习参数。
10.根据权利要求1所述的一种视频中的多车辆跟踪方法,其特征在于:将视频数据集中的所有图像送入经过训练的深度神经网络模型中进行计算,记录跟踪目标的轨迹 其中表示目标i在t帧的轨迹信息,为中心点坐标,为边界框大小,为目标的特征表示,IDi为目标的身份标识,li为存活时间参数;
通过基于特征表示相似性的数据关联算法AFRS获得连续两帧图像帧间目标的关联关系,计算公式为:
将相似度矩阵S'i,j沿行向量进行带温度系数的Softmax函数计算,得到每行都包含了当前目标与两帧内所有目标的相似度结果的关联矩阵M:
T为温度参数,
使用自适应温度调节T:
T=2log(Nt-1+Nt+1);
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211070668.4A CN115359407A (zh) | 2022-09-02 | 2022-09-02 | 一种视频中的多车辆跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211070668.4A CN115359407A (zh) | 2022-09-02 | 2022-09-02 | 一种视频中的多车辆跟踪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115359407A true CN115359407A (zh) | 2022-11-18 |
Family
ID=84005997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211070668.4A Pending CN115359407A (zh) | 2022-09-02 | 2022-09-02 | 一种视频中的多车辆跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115359407A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116580060A (zh) * | 2023-05-31 | 2023-08-11 | 重庆理工大学 | 基于对比损失的无监督跟踪模型训练方法 |
CN117557977A (zh) * | 2023-12-28 | 2024-02-13 | 安徽蔚来智驾科技有限公司 | 环境感知信息获取方法、可读存储介质及智能设备 |
CN117853759A (zh) * | 2024-03-08 | 2024-04-09 | 山东海润数聚科技有限公司 | 一种多目标跟踪方法、***、设备和存储介质 |
-
2022
- 2022-09-02 CN CN202211070668.4A patent/CN115359407A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116580060A (zh) * | 2023-05-31 | 2023-08-11 | 重庆理工大学 | 基于对比损失的无监督跟踪模型训练方法 |
CN117557977A (zh) * | 2023-12-28 | 2024-02-13 | 安徽蔚来智驾科技有限公司 | 环境感知信息获取方法、可读存储介质及智能设备 |
CN117557977B (zh) * | 2023-12-28 | 2024-04-30 | 安徽蔚来智驾科技有限公司 | 环境感知信息获取方法、可读存储介质及智能设备 |
CN117853759A (zh) * | 2024-03-08 | 2024-04-09 | 山东海润数聚科技有限公司 | 一种多目标跟踪方法、***、设备和存储介质 |
CN117853759B (zh) * | 2024-03-08 | 2024-05-10 | 山东海润数聚科技有限公司 | 一种多目标跟踪方法、***、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110097568B (zh) | 一种基于时空双分支网络的视频对象检测与分割方法 | |
CN110111366B (zh) | 一种基于多级损失量的端到端光流估计方法 | |
CN111429484B (zh) | 一种基于交通监控视频的多目标车辆轨迹实时构建方法 | |
CN115359407A (zh) | 一种视频中的多车辆跟踪方法 | |
CN111723693B (zh) | 一种基于小样本学习的人群计数方法 | |
CN112348849B (zh) | 一种孪生网络视频目标跟踪方法及装置 | |
CN111080675B (zh) | 一种基于时空约束相关滤波的目标跟踪方法 | |
CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
CN110276785B (zh) | 一种抗遮挡红外目标跟踪方法 | |
CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN110598613B (zh) | 一种高速公路团雾监测方法 | |
CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN110084201B (zh) | 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法 | |
CN111368766A (zh) | 一种基于深度学习的牛脸检测与识别方法 | |
CN111462173B (zh) | 基于孪生网络判别特征学习的视觉跟踪方法 | |
CN116109499A (zh) | 一种基于Transformer的面向记忆的单图片去雨方法 | |
CN116188943A (zh) | 太阳射电频谱爆发信息检测方法及装置 | |
Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
CN104331700B (zh) | 基于轨迹能量扩散图的组行为识别方法 | |
CN107679467B (zh) | 一种基于hsv和sdalf的行人重识别算法实现方法 | |
CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
CN116934820A (zh) | 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及*** | |
CN116188555A (zh) | 一种基于深度网络与运动信息的单目室内深度估计算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |