CN115880615B - 一种基于细粒度外观表示的在线多目标跟踪方法 - Google Patents
一种基于细粒度外观表示的在线多目标跟踪方法 Download PDFInfo
- Publication number
- CN115880615B CN115880615B CN202310127440.2A CN202310127440A CN115880615B CN 115880615 B CN115880615 B CN 115880615B CN 202310127440 A CN202310127440 A CN 202310127440A CN 115880615 B CN115880615 B CN 115880615B
- Authority
- CN
- China
- Prior art keywords
- target
- feature
- features
- mask
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000012512 characterization method Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000000873 masking effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 101000642315 Homo sapiens Spermatogenesis-associated protein 17 Proteins 0.000 description 5
- 102100036408 Spermatogenesis-associated protein 17 Human genes 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 241001239379 Calophysus macropterus Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于细粒度外观表示的在线多目标跟踪方法，使用高性能检测器YOLOX对视频帧进行目标检测，得到目标边界框。选取主干输出的前三层细粒度特征图进行ROIAlign操作，得到对应的目标特征图。使用语义流对齐的多层特征融合模块学习不同尺度目标特征图之间的语义流，根据语义流引导不同尺度特征图进行语义对齐，使用加和操作聚合特征图上下文信息。采用多分支并行的目标部分掩码生成器对目标不同部位进行关注，生成对应的部分掩码并组合成全局掩码，获取全局、局部细粒度表征。在训练阶段，使用乱序分组采样视频帧，计算相关损失进行训练。在推理阶段，使用关联算法进行目标跟踪。提高了多目标跟踪中目标表征的能力和跟踪性能。
Description
技术领域
本发明涉及视频场景理解与分析领域中的多目标跟踪领域，尤其涉及一种基于细粒度外观表示的在线多目标跟踪方法。
背景技术
随着计算机视觉技术和相关硬件的不断发展，使得在线高精度多目标跟踪（Multi-Object Tracking, MOT）成为可能。作为计算机视觉中的一项基本任务，多目标跟踪在自动驾驶、视频监控等场景中有着重要的作用。例如，在自动驾驶中需要使用多目标跟踪技术检测并跟踪驾驶场景中的所有目标，以确保驾驶路径的正确可行，这对于自动驾驶而言至关重要。
MOT旨在定位目标并保持其独特的身份。最近的MOT方法主要遵循逐检测跟踪的范式，并将跟踪分为两个独立的步骤：检测和关联。检测器首先检测每一帧中的目标，然后使用外观表示和位置信息作为关联基础，将目标与相应的轨迹连接起来。作为目标的固有属性，外观和位置在关联中是互补的。
然而，由于目标或摄像机运动的原因，类内和类间的遮挡是不可避免的，这对外观表示提出了更严格的要求。最近的外观表示方法提取边界框区域或中心点的特征作为外观嵌入。基于边界框的方法采用全局平均池化，将目标边界框区域的特征转变为外观嵌入。这些方法平等的对待目标特征和干扰特征（背景和其他目标），这是不合理的。研究人员注意到了这个问题，并利用目标中心的特征作为其外观嵌入，尽可能地消除了来自背景的干扰。尽管如此，当目标被遮挡时，其中心的特征仍然不可避免地会受到来自其他物体的噪声信息的干扰。这些粗粒度的全局嵌入对噪声非常敏感，因此一旦信噪比降低，就会变得不可靠。全局表示的模糊性已成为这些方法的一个障碍。随着检测器的进展，外观表示逐渐不能保持与检测相同的性能。一些研究者发现，简单地使用位置线索就足以获得令人满意的结果，而外观线索则不利于进一步的改进。在训练阶段，现有的一些方法通过跟踪视频序列或变换所有视频帧来训练Re-ID（行人重新识别）。前者不分散训练数据，而后者是正样本和负样本不平衡的。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于细粒度外观表示的在线多目标跟踪方法，侧重于目标的不同局部细节，生成的细粒度全局表示和局部表示相互补充并共同描述外观。当目标被遮挡时，本发明仍然可以根据可见的部分进行识别，类似于人类在跟踪目标时才用的策略。在训练阶段采取正负样本均衡的采样策略，使模型收敛过程更加平稳同时获得更好的性能表现。
根据本发明的第一方面，提供了一种基于细粒度外观表示的在线多目标跟踪方法，包括：训练得到在线多目标跟踪模型；将待测视频帧输入训练完成的所述在线多目标跟踪模型进行推理实现在线多目标跟踪；
所述在线多目标跟踪模型在训练阶段的输入为乱序分组采样视频帧，在推理阶段的输入为待测的单个视频帧；
所述视频帧输入所述在线多目标跟踪模型后，所述在线多目标跟踪模型的处理过程包括：
使用YOLOX检测器对所述视频帧中的目标进行检测，输出各个不同分辨率的特征图；通过ROI Align操作所述特征图获得多尺度目标浅层特征图，学习不同尺度目标浅层特征图之间的语义流并进行对齐，聚合特征上下文信息后输出融合特征；所述融合特征包括掩码特征图和表征特征图；以所述掩码特征图作为输入，利用多分支并行的目标部分掩码生成器关注目标的不同部分并生成对应部分的目标局部掩码，将各个所述目标局部掩码组合成目标全局掩码；采用加权池化操作，利用所述表征特征图、目标全局掩码和目标局部掩码生成目标细粒度嵌入；所述目标细粒度嵌入包括：全局嵌入和多个局部嵌入；
在训练阶段，所述在线多目标跟踪模型根据目标的所述全局嵌入和局部嵌入计算损失；在推理阶段，所述在线多目标跟踪模型将目标的所述全局嵌入和局部嵌入拼接起来作为关联算法中的目标身份嵌入。
在上述技术方案的基础上，本发明还可以作出如下改进。
可选的，所述乱序分组采样视频帧的生成过程为：
对所述视频帧按照其顺序进行分组，每一组中的视频帧数量为训练时设置的batch size；
所述视频帧的分组完成后，打乱分组之间的顺序，且维持组内视频帧顺序。
可选的，所述输出融合特征的过程包括：
基于多层特征融合中的FPN结构，使用残差模块替换所述FPN结构中的卷积层，使用语义流对齐模块替换所述FPN结构中的加和操作，通过学习不同尺度之间的语义流，校正各个所述目标浅层特征图之间的空间错位；
其中，所述语义流对齐模块以两个不同尺度的特征图作为输入，通过卷积和上采样将小尺度特征图转换为与大尺度特征图同样尺寸的特征图，再将两个特征图沿着通道维度拼接，并使用卷积层学习语义流；根据学习到的语义流修正原始的两个尺度的特征图的偏移并统一尺度，最后通过相加操作聚合特征图的上下文信息。
可选的，所述生成目标细粒度嵌入的过程包括：
沿着通道维度将输入的所述掩码特征图划分为多块，每一块所述掩码特征图使用一个分支进行掩码生成；
对于所述目标部分掩码生成器的各个分支，基于Non-Local注意力模块，关注目标的不同局部特征，使用卷积生成对应的目标局部掩码；采用加权池化操作，利用所述表征特征图、目标全局掩码和目标局部掩码生成所述目标细粒度嵌入。
可选的，根据所述目标细粒度嵌入计算的损失包括：分类损失和Triplet损失；
将目标的部分特征表示为：
；
将目标的全局特征表示为：
；
其中，N表示图像中目标的数量，每个目标由K个部分组成；表示第n个目标的第k部分特征，表示第n个目标的全局特征；
计算所述部分特征的软裕度的Triplet损失为：
；
其中，代表Triplet损失，表示图像中n个目标的第k部分特征；
计算所述全局特征的Triplet损失为:
；
计算所述部分特征的分类损失为：
；
计算所述全局特征的分类损失为：
；
其中，，M为数据集中所有目标的数量，为第n个目标的第k部分特征的分类损失，为第n个目标的全局特征的分类向量。
可选的，第n个目标的第k部分特征的分类损失的计算过程包括：
分别采用K个线性层和Softmax的组合得到每个部分特征的分类结果向量；
表示第n个目标的第k部分特征的分类向量，其通道维数为M；
目标身份标签表示为；
的值为0或1，表示第n个目标是否与ID标签中的第m个目标具有相同的身份；
计算第n个目标的第k部分特征的分类损失为：
。
可选的，根据所述目标细粒度嵌入计算的损失还包括：多样性损失；所述多样性损失的计算公式为：
；
得到最后的所述训练损失：
；
其中，，和为设置用来调整不同损失的比例的系数。
可选的，将所述全局嵌入和局部嵌入拼接起来作为关联算法中的目标身份嵌入的方法包括：
基于ByteTrack跟踪算法，利用指数移动平均机制更新匹配轨迹的特征；对于第t帧中第i条匹配轨迹的特征，其更新过程为：
；
其中，为当前匹配检测的特征，为动量项；
在跟踪算法中，特征距离矩阵为：
；
其中，输出轨迹特征和目标特征之间的余弦相似度矩阵；
计算得到IoU的距离矩阵：
；
其中，输出检测框和预测框之间的IoU矩阵；
计算优化后的特征距离矩阵为：
；
得到关联的最终距离矩阵为：
；
设置关联阈值，根据计算得到的最终距离矩阵是否超过该关联阈值判定该相邻帧的两个特征是否进行关联。
本发明提供的一种基于细粒度外观表示的在线多目标跟踪方法，从多尺度细粒度特征图着手，构建语义流对齐的多层特征融合模块，并使用多分支并行的目标部分掩码生成器得到目标部分细粒度掩码，从而生成目标细粒度表征用于跟踪中的目标身份关联。使用高性能检测器YOLOX对视频帧进行目标检测，得到目标边界框。选取主干输出的前三层细粒度特征图进行ROIAlign操作，得到对应的目标特征图。使用语义流对齐的多层特征融合模块学习不同尺度目标特征图之间的语义流，根据语义流引导不同尺度特征图进行语义对齐，使用加和操作聚合特征图上下文信息。采用多分支并行的目标部分掩码生成器对目标不同部位进行关注，从而生成对应的部分掩码并组合成全局掩码。最终获取全局、局部细粒度表征。在训练阶段，使用乱序分组采样视频帧，并计算相关损失进行训练。在推理阶段，使用关联算法进行目标跟踪。提高了多目标跟踪中目标表征的能力，有效提升了跟踪性能。
附图说明
图1为本发明提供的一种基于细粒度外观表示的在线多目标跟踪方法的实施例的流程图；
图2为本发明提供的一种基于细粒度外观表示的在线多目标跟踪***的的实施例的结构示意图；
图3为本发明实施例提供的语义对齐的多尺度特征融合网络结构示意图；
图4（a）为本发明实施例提供的RB结构示意图;
图4（b）为本发明实施例提供的FAM结构示意图；
图5为本发明实施例提供的多分支并行的目标部分掩码生成器网络结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明提供的一种基于细粒度外观表示的在线多目标跟踪方法流程图，图2为本发明提供的一种基于细粒度外观表示的在线多目标跟踪***的的实施例的结构示意图，结合图1和图2可知，该在线多目标跟踪方法包括：训练得到在线多目标跟踪模型；将待测视频帧输入训练完成的在线多目标跟踪模型进行推理实现在线多目标跟踪。
在线多目标跟踪模型在训练阶段的输入为乱序分组采样视频帧，在推理阶段的输入为待测的单个视频帧。
视频帧输入在线多目标跟踪模型后，在线多目标跟踪模型的处理过程包括：
使用YOLOX检测器对视频帧中的目标进行检测，输出各个不同分辨率的特征图；通过ROIAlign操作特征图获得多尺度目标浅层特征图，学习不同尺度目标浅层特征图之间的语义流并进行对齐，聚合特征上下文信息后输出融合特征；融合特征包括掩码特征图和表征特征图；以掩码特征图作为输入，利用多分支并行的目标部分掩码生成器关注目标的不同部分并生成对应部分的目标局部掩码，将各个目标局部掩码组合成目标全局掩码；采用加权池化操作，利用表征特征图、目标全局掩码和目标局部掩码生成目标细粒度嵌入；目标细粒度嵌入包括：全局嵌入和多个局部嵌入。
在训练阶段，在线多目标跟踪模型根据目标的全局嵌入和局部嵌入计算损失；在推理阶段，在线多目标跟踪模型将目标的全局嵌入和局部嵌入拼接起来作为关联算法中的目标身份嵌入。
本发明提供的一种基于细粒度外观表示的在线多目标跟踪方法，专注于目标的细节，构建语义对齐的多尺度特征融合网络（Flow Alignment FPN，FAFPN）来对齐和聚合高分辨率的浅层特征图，并将它们输入多分支并行的目标部分掩码生成器（Multi-head PartMask Generator，MPMG），以获得精细的目标部分掩码。此外，利用目标的部分掩码组合成全局掩码，并提取细粒度的全局-局部外观嵌入，可以更全面地表示身份。为了更合理地训练Re-ID，本发明提出了一种名为乱序分组采样（ShuffleGroup Sampling，SGS）的训练策略。在这个策略中，将视频帧按照它们的顺序分组成短的片段，然后打乱这些片段，在分散训练数据的同时平衡正样本和负样本。
实施例1
本发明提供的实施例1为本发明提供的一种基于细粒度外观表示的在线多目标跟踪方法的实施例，结合图1和图2可知，该在线多目标跟踪方法的实施例包括：训练得到在线多目标跟踪模型；将待测视频帧输入训练完成的在线多目标跟踪模型进行推理实现在线多目标跟踪。在线多目标跟踪模型在训练阶段的输入为乱序分组采样视频帧，在推理阶段的输入为待测的单个视频帧。
训练阶段包括：
步骤1，使用训练好的YOLOX检测器模型，并冻结主干和检测部分的模型参数，加入本发明中的细粒度外观表示网络。
步骤2，使用乱序分组采样视频帧，将视频帧按照它们的顺序分组成短的片段，然后打乱这些片段作为训练时的模型输入，分组大小为训练设置的batch size。使用与ByteTrack相同的数据集来训练YOLOX，包括CrowdHuman、MOT17、Citypereson和ETHZ，然后冻结训练后的检测器参数，并分别在MOT17、MOT20、DanceTrack等数据集上训练Re-ID。训练Re-ID时batchsize设置为8，使用两张1080Ti显卡进行训练。部分特征维度和全局特征维度分别为128和256。目标掩码数设置为6。使用Adam优化器更新模型参数，初始学习率为和训练期为20轮。在第10轮，学习率降低到。
步骤3，使用目标边界框标签作为输入，使用ROI Align操作提取主干输出的前三层细粒度特征图中目标边界框区域的特征图，得到对应尺度的目标特征图。
步骤4，以多尺度目标特征图作为输入，使用语义流对齐的多层特征融合学习不同尺度特征图之间的语义流并进行对齐，聚合特征上下文信息后输出融合特征，包括掩码特征图和表征特征图。
在一种可能的实施例中，步骤4包括：基于多层特征融合中常用的FPN结构，使用残差模块替换FPN（Feature Pyramid Networks，特征金字塔网络）结构中的卷积层以更好地提取特征信息，同时使用语义流对齐模块替换FPN结构中的加和操作，通过学习不同尺度之间的语义流，校正各个目标浅层特征图之间的空间错位。
其中，语义流对齐模块以两个不同尺度的特征图作为输入，通过卷积和上采样将小尺度特征图转换为与大尺度特征图同样尺寸的特征图，再将两个特征图沿着通道维度拼接，并使用卷积层学习语义流；根据学习到的语义流修正原始的两个尺度的特征图的偏移并统一尺度，最后通过相加操作聚合特征图的上下文信息。
FAFPN的整体结构如图3所示，其中包含的残差块（ResBlock，RB）和语义流对齐模块（Flow Alignment Module，FAM）在图4（a）和图4(b)中具体展示。残差块（ResBlock，RB）取代了FPN中的1*1卷积，可以更充分地融合浅层特征。加和操作被替换为语义流对齐模块（Flow Alignment Module，FAM），使语义对齐成为可能。通过RB统一多尺度特征图的通道维度，然后输入FAM进行对齐和聚合。最后，使用两个RB分别生成和，以满足掩码和表示的不同需求。
图4（a）和图4(b)为RB和FAM的具体结构。RB是一个简单的残差块。它结合1*1卷积和BN层对输入特征图的通道维度进行变换，然后应用残差结构得到其输出。FAM将来自不同尺度的两个特征图作为输入。在上采样后，的大小与的大小相同。此外，它们被连接起来生成语义流：和，它们分别表示特征图和的像素偏移量。Warp操作基于语义流对齐这些特征图。最后，FAM使用了一个加和操作来聚合对齐的特征映射的上下文信息。经过语义对齐后，将多尺度浅层特征图聚合成具有精确语义信息的高分辨率特征图，这是生成多样细粒度表示的基础。
步骤5，对于输入的掩码特征图，沿着通道维度将其划分为多块，每一块特征图使用一个分支生成目标部分掩码。将得到的多个目标部分掩码组合成全局掩码，采用加权池化操作，利用表征特征图和目标全局、局部掩码生成目标细粒度嵌入，包括全局嵌入和多个部分嵌入。
生成目标细粒度嵌入的过程包括：
沿着通道维度将输入的掩码特征图划分为多块，每一块掩码特征图使用一个分支进行掩码生成；每一块目标特征图可以认为是目标的不同映射。
对于目标部分掩码生成器的各个分支，基于Non-Local注意力模块，关注目标的不同局部特征，使用卷积生成对应的目标局部掩码；采用加权池化操作，利用表征特征图、目标全局掩码和目标局部掩码生成目标细粒度嵌入。
如图5所示，对于MPMG中的任何分支，即PMG，分别使用三个1*1卷积来获取query、key和value。query和key生成注意力矩阵，注意力矩阵乘以value，然后与输入相加。在此之后，使用结合1*1卷积和Sigmoid层来生成值在0和1之间的目标部分掩码。对其余的特征块执行相同的操作，从而产生K个不同的目标部分掩码。沿着通道维度拼接多个目标部分掩码，并在通道维度取最大值，形成包含不同局部信息的全局掩码。值得注意的是，并行分支之间参数不共享，这确保了足够的注意力多样性。
步骤6，对于全局嵌入和多个局部嵌入分别计算分类损失、Triplet损失和多样性损失。
将目标的部分特征表示为：
；
将目标的全局特征表示为：
；
其中，N表示图像中目标的数量，每个目标由K个部分组成；表示第n个目标的第k部分特征，表示第n个目标的全局特征。
计算部分特征的软裕度的Triplet损失为：
；
其中，代表Triplet损失，表示图像中n个目标的第k部分特征。
类似地，计算全局特征的Triplet损失为:
。
计算所述部分特征的分类损失为：
。
计算所述全局特征的分类损失为：
。
其中，，M为数据集中所有目标的数量，为第n个目标的第k部分特征的分类损失，为第n个目标的全局特征的分类向量。
第n个目标的第k部分特征的分类损失的计算过程包括：
在得到K个部分特征后，分别采用K个线性层和Softmax的组合得到每个部分特征的分类结果向量。
表示第n个目标的第k部分特征的分类向量，其通道维数为M，也是数据集中所有目标的数量。
将目标身份标签表示为。
的值为0或1，表示第n个目标是否与ID标签中的第m个目标具有相同的身份。
计算第n个目标的第k部分特征的分类损失为：
。
由于多分支结构的特点，仅使用分类损失和Triplet损失并不能保证模型关注于目标的不同部分。为了避免多个分支关注相似的细节，可以使用多样性损失减小同一目标的不同部件特征之间的相似度，根据目标细粒度嵌入计算的损失还包括：多样性损失；多样性损失的计算公式为：
。
多样性损失的目的很直观，即使得同一目标的不同部分特征之间的余弦相似度尽可能低。将上述损失合并得到最后的训练损失：
。
其中，，和为设置用来调整不同损失的比例的系数，例如可以设置为。
推理阶段包括：
步骤1'，根据视频帧顺序，将单个视频帧作为在线多目标跟踪模型在训练阶段的输入。
步骤2'，检测视频帧中所有的目标并进行后处理，获得目标检测框和检测分数。
步骤3'，以检测框作为输入，使用ROIAlign操作提取主干输出的前三层细粒度特征图中目标边界框区域的特征图，得到对应尺度的目标特征图。
步骤4'和步骤5'与训练阶段中的步骤4、5相同。
步骤6'，将得到的全局嵌入和多个部分嵌入按照通道维度拼接起来，作为目标的外观表示，作为关联算法中判断目标身份的依据。
步骤7'，基于ByteTrack跟踪算法，利用指数移动平均（EMA）机制更新匹配轨迹的特征。对于第t帧中第i条匹配轨迹的特征，其更新过程如下：
。
其中，为当前匹配检测的特征，为动量项。
在跟踪算法中，特征距离矩阵为：
；
其中，输出轨迹特征和目标特征之间的余弦相似度矩阵。
同时，可以计算得到IoU的距离矩阵：
。
其中，输出检测框和预测框之间的IoU矩阵。
为了排除远处目标的干扰，只考虑IoU距离小于1的目标对之间的特征距离，这意味着存在边界框重叠。计算优化后的特征距离矩阵为：
。
将优化后的特征距离矩阵与IoU矩阵的乘积进行平方后，得到关联的最终距离矩阵为：
。
设置关联阈值，根据计算得到的最终距离矩阵是否超过该关联阈值判定该相邻帧的两个特征是否进行关联，例如可以将关联阈值设置为0.5。
将以上过程整合为统一的多目标跟踪框架，在MOT17和MOT20测试集上进行实验验证本发明的有效性。使用CLEAR-MOT指标，如HOTA、MOTA、IDF1、IDs、FP、FN等，来评估跟踪性能。其中HOTA综合评价检测、关联和定位的效果，MOTA表示整体跟踪正确的轨迹占比，IDF1表示跟踪轨迹的身份置信度得分，MT表示跟踪轨迹中有效长度超过80%的轨迹占比，ML表示跟踪轨迹中有效长度少于20%的轨迹占比，FP表示背景被判作跟踪对象的数量，FN表示跟踪对象被判作背景的数量，IDs表示轨迹中发生身份转换的次数。
MOT17测试集上的跟踪结果如表1所示，MOT17各视频具体结果见表2。MOT20测试集上的跟踪结果如表3所示，MOT20各视频具体结果见表4。
表1 MOT17测试集最终结果
表2 MOT17测试集各视频具体结果
表3 MOT20测试集最终结果
表4 MOT20测试集各视频具体结果
本发明实施例提供的一种基于细粒度外观表示的在线多目标跟踪方法，从多尺度细粒度特征图着手，构建语义流对齐的多层特征融合模块，并使用多分支并行的目标部分掩码生成器得到目标部分细粒度掩码，从而生成目标细粒度表征用于跟踪中的目标身份关联。使用高性能检测器YOLOX对视频帧进行目标检测，得到目标边界框。选取主干输出的前三层细粒度特征图进行ROIAlign操作，得到对应的目标特征图。使用语义流对齐的多层特征融合模块学习不同尺度目标特征图之间的语义流，根据语义流引导不同尺度特征图进行语义对齐，使用加和操作聚合特征图上下文信息。采用多分支并行的目标部分掩码生成器对目标不同部位进行关注，从而生成对应的部分掩码并组合成全局掩码。最终获取全局、局部细粒度表征。在训练阶段，使用乱序分组采样视频帧，并计算相关损失进行训练。在推理阶段，使用关联算法进行目标跟踪。提高了多目标跟踪中目标表征的能力，有效提升了跟踪性能。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (6)
1.一种基于细粒度外观表示的在线多目标跟踪方法，其特征在于，在线多目标跟踪方法包括：训练得到在线多目标跟踪模型；将待测视频帧输入训练完成的在线多目标跟踪模型进行推理实现在线多目标跟踪；
在线多目标跟踪模型在训练阶段的输入为乱序分组采样视频帧，在推理阶段的输入为待测的单个视频帧；
视频帧输入在线多目标跟踪模型后，在线多目标跟踪模型的处理过程包括：
使用YOLOX检测器对视频帧中的目标进行检测，输出各个不同分辨率的特征图；通过ROI Align操作特征图获得多尺度目标浅层特征图，学习不同尺度目标浅层特征图之间的语义流并进行对齐，聚合特征上下文信息后输出融合特征；融合特征包括掩码特征图和表征特征图；以掩码特征图作为输入，利用多分支并行的目标部分掩码生成器关注目标的不同部分并生成对应部分的目标局部掩码，将各个目标局部掩码组合成目标全局掩码；采用加权池化操作，利用表征特征图、目标全局掩码和目标局部掩码生成目标细粒度特征；目标细粒度特征包括：全局特征和多个局部特征；
在训练阶段，在线多目标跟踪模型根据目标的全局特征和局部特征计算损失；在推理阶段，在线多目标跟踪模型将目标的所述全局特征和局部特征拼接起来作为关联算法中的目标身份特征；
所述输出融合特征的过程包括：
基于多层特征融合中的FPN结构，使用残差模块替换所述FPN结构中的卷积层，使用语义流对齐模块替换所述FPN结构中的加和操作，通过学习不同尺度之间的语义流，校正各个所述目标浅层特征图之间的空间错位；再使用两个残差模块分别生成掩码特征图和表征特征图；
其中，所述语义流对齐模块以两个不同尺度的特征图作为输入，通过卷积和上采样将小尺度特征图转换为与大尺度特征图同样尺寸的特征图，再将两个特征图沿着通道维度拼接，并使用卷积层学习语义流；根据学习到的语义流修正原始的两个尺度的特征图的偏移并统一尺度，最后通过相加操作聚合特征图的上下文信息；
所述生成目标细粒度特征的过程包括：
沿着通道维度将输入的所述掩码特征图划分为多块，每一块所述掩码特征图使用一个分支进行掩码生成；
对于所述目标部分掩码生成器的各个分支，基于Non-Local注意力模块，关注目标的不同局部特征，使用卷积生成对应的目标局部掩码；采用加权池化操作，利用所述表征特征图、目标全局掩码和目标局部掩码生成所述目标细粒度特征。
2.根据权利要求1所述的在线多目标跟踪方法，其特征在于，所述乱序分组采样视频帧的生成过程为：
对所述视频帧按照其顺序进行分组，每一组中的视频帧数量为训练时设置的batchsize；
所述视频帧的分组完成后，打乱分组之间的顺序，且维持组内视频帧顺序。
3.根据权利要求1所述的在线多目标跟踪方法，其特征在于，根据所述目标细粒度特征计算的损失包括：分类损失和Triplet损失；
将目标的部分特征表示为：
；
将目标的全局特征表示为：
；
其中，N表示图像中目标的数量，每个目标由K个部分组成；表示第n个目标的第k部分特征，表示第n个目标的全局特征；
计算所述部分特征的软裕度的Triplet损失为：
；
其中，代表Triplet损失，表示图像中n个目标的第k部分特征；
计算所述全局特征的Triplet损失为:
；
计算所述部分特征的分类损失为：
；
计算所述全局特征的分类损失为：
；
其中，，M为数据集中所有目标的数量，为第n个目标的第k部分特征的分类损失，为第n个目标的全局特征的分类向量。
4.根据权利要求3所述的在线多目标跟踪方法，其特征在于，第n个目标的第k部分特征的分类损失的计算过程包括：
分别采用K个线性层和Softmax的组合得到每个部分特征的分类结果向量；
表示第n个目标的第k部分特征的分类向量，其通道维数为M；
目标身份标签表示为；
的值为0或1，表示第n个目标是否与ID标签中的第m个目标具有相同的身份；
计算第n个目标的第k部分特征的分类损失为：
。
5.根据权利要求3所述的在线多目标跟踪方法，其特征在于，根据所述目标细粒度特征计算的损失还包括：多样性损失；所述多样性损失的计算公式为：
；
得到最后的训练损失：
；
其中，，和为设置用来调整不同损失的比例的系数。
6.根据权利要求1所述的在线多目标跟踪方法，其特征在于，将所述全局特征和局部特征拼接起来作为关联算法中的目标身份特征之后还包括：
基于ByteTrack跟踪算法，利用指数移动平均机制更新匹配轨迹的特征；对于第t帧中第i条匹配轨迹的特征，其更新过程为：
；
其中，为当前匹配检测的特征，为动量项；
在跟踪算法中，特征距离矩阵为：
；
其中，输出轨迹特征和目标特征之间的余弦相似度矩阵；
计算得到IoU的距离矩阵：
；
其中，输出检测框和预测框之间的IoU矩阵；
计算优化后的特征距离矩阵为：
；
得到关联的最终距离矩阵为：
；
设置关联阈值，根据计算得到的最终距离矩阵是否超过该关联阈值判定该相邻帧的两个特征是否进行关联。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310127440.2A CN115880615B (zh) | 2023-02-17 | 2023-02-17 | 一种基于细粒度外观表示的在线多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310127440.2A CN115880615B (zh) | 2023-02-17 | 2023-02-17 | 一种基于细粒度外观表示的在线多目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115880615A CN115880615A (zh) | 2023-03-31 |
| CN115880615B true CN115880615B (zh) | 2023-05-09 |
Family
ID=85761279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310127440.2A Active CN115880615B (zh) | 2023-02-17 | 2023-02-17 | 一种基于细粒度外观表示的在线多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880615B (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116916080A (zh) * | 2019-05-17 | 2023-10-20 | 上海哔哩哔哩科技有限公司 | 视频数据处理方法、装置、计算机设备及可读存储介质 |
| CN111460926B (zh) * | 2020-03-16 | 2022-10-14 | 华中科技大学 | 一种融合多目标跟踪线索的视频行人检测方法 |
| US11544503B2 (en) * | 2020-04-06 | 2023-01-03 | Adobe Inc. | Domain alignment for object detection domain adaptation tasks |
| CN111652899B (zh) * | 2020-05-29 | 2023-11-14 | 中国矿业大学 | 一种时空部件图的视频目标分割方法 |
| CN114186564B (zh) * | 2021-11-05 | 2023-11-24 | 北京百度网讯科技有限公司 | 语义表示模型的预训练方法、装置以及电子设备 |
| CN115272404B (zh) * | 2022-06-17 | 2023-07-18 | 江南大学 | 一种基于核空间和隐式空间特征对齐的多目标跟踪方法 |
-
2023
- 2023-02-17 CN CN202310127440.2A patent/CN115880615B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115880615A (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mei et al. | Hdinet: Hierarchical dual-sensor interaction network for rgbt tracking | |
| Saribas et al. | TRAT: Tracking by attention using spatio-temporal features | |
| CN115223009A (zh) | 基于改进型YOLOv5的小目标检测方法及装置 | |
| CN115330837A (zh) | 基于图注意力Transformer网络的鲁棒目标跟踪方法及*** | |
| Liu et al. | Explicit visual prompting for universal foreground segmentations | |
| Khan et al. | Clip: Train faster with less data | |
| Duan | [Retracted] Deep Learning‐Based Multitarget Motion Shadow Rejection and Accurate Tracking for Sports Video | |
| CN115880615B (zh) | 一种基于细粒度外观表示的在线多目标跟踪方法 | |
| Wang et al. | Siamese attentional cascade keypoints network for visual object tracking | |
| CN112257638A (zh) | 一种图像比对方法、***、设备及计算机可读存储介质 | |
| Wang et al. | SPGNet: Spatial projection guided 3D human pose estimation in low dimensional space | |
| Luo et al. | Real-time multi-object tracking based on bi-directional matching | |
| CN111681260A (zh) | 一种面向无人机航拍影像的多目标跟踪方法及跟踪*** | |
| Gong et al. | ASAFormer: Visual tracking with convolutional vision transformer and asymmetric selective attention | |
| Bai et al. | Pedestrian Tracking and Trajectory Analysis for Security Monitoring | |
| CN117576167B (zh) | 多目标跟踪方法、多目标跟踪装置及计算机存储介质 | |
| Prathima et al. | Detection of Armed Assailants in Hostage Situations-A Machine Learning based approach | |
| Chen et al. | Siamese network algorithm based on multi-scale channel attention fusion and multi-scale depth-wise cross correlation | |
| CN111259701A (zh) | 行人再识别方法、装置及电子设备 | |
| Xu et al. | Deep Learning Techniques for Video Instance Segmentation: A Survey | |
| Pang et al. | An Efficient Network for Obstacle Detection in Rail Transit Based on Multi-Task Learning | |
| Qin et al. | End to end multi-object tracking algorithm applied to vehicle tracking | |
| CN113724291B (zh) | 多熊猫跟踪方法、***、终端设备及可读存储介质 | |
| Wang et al. | Learning Channel Attention in Frequency Domain for Visual Tracking | |
| Silva et al. | CL-MOT: A contrastive learning framework for multi-object tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 548, 5th Floor, Building 10, No. 28 Linping Avenue, Donghu Street, Linping District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Tuke Intelligent Information Technology Co.,Ltd. Country or region after: China Address before: 430000 B033, No. 05, 4th floor, building 2, international enterprise center, No. 1, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei (Wuhan area of free trade zone) Patentee before: Wuhan Tuke Intelligent Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |