CN115641454A - 目标跟踪方法、装置及电子设备、计算机可读存储介质 - Google Patents
目标跟踪方法、装置及电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN115641454A CN115641454A CN202211279721.1A CN202211279721A CN115641454A CN 115641454 A CN115641454 A CN 115641454A CN 202211279721 A CN202211279721 A CN 202211279721A CN 115641454 A CN115641454 A CN 115641454A
- Authority
- CN
- China
- Prior art keywords
- target
- matching
- frame
- tracking
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请公开了一种目标跟踪方法、装置及电子设备、计算机可读存储介质,该方法包括:获取当前帧的目标检测结果以及第一目标列表,目标检测结果包括高分检测框和低分检测框;对第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;利用预设匹配策略将各个目标在当前帧的预测位置与目标检测结果进行匹配,预设匹配策略包括高分检测框和低分检测框的匹配优先级;根据匹配结果更新第一目标列表中各个目标的跟踪结果。本申请将检测框划分为高分检测框和低分检测框,并根据高分检测框和低分检测框的匹配优先级将检测框与目标在当前帧的预测位置进行匹配,减小了遮挡情况对于同一目标跟踪的影响,提高了跟踪匹配的准确性。
Description
技术领域
本申请涉及目标跟踪技术领域,尤其涉及一种目标跟踪方法、装置及电子设备、计算机可读存储介质。
背景技术
目前路端相机对于目标的感知一般是先对图像进行目标检测,然后根据目标检测结果进行目标跟踪。跟踪的目的一方面是将不同帧所检测到同一目标关联起来,赋予同一个ID标识,另一方面是为了能得到平滑的目标检测框坐标,跟踪到的目标结合标定结果可以在云端平台或数字孪生平台上显示出一个3D物体的运动情况。
但是在路端场景下经常存在目标被遮挡的问题,在目标被遮挡的过程中,图像中检测不到目标,ID标识消失,在某一时刻重新被检测到之后赋予了新的ID标识,这里之所以会赋予新的ID标识是因为遮挡前的检测框无法和当前的检测框匹配关联在一起,因此从结果上看就会被认为是出现了新的目标,但实际上还是同一个目标,导致同一个目标被赋予了多个ID,降低了目标跟踪的准确性。
发明内容
本申请实施例提供了一种目标跟踪方法、装置及电子设备、计算机可读存储介质,以提高目标跟踪准确性。
本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种目标跟踪方法,其中,所述方法包括:
获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框;
对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;
利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级;
根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
可选地,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
基于所述高分检测框和低分检测框的匹配优先级,将各个目标在当前帧的预测位置与所述高分检测框进行匹配,得到第一匹配结果,所述第一匹配结果包括第一未匹配目标;
将所述第一未匹配目标与所述低分检测框进行匹配,得到第二匹配结果。
可选地,所述第一匹配结果包括第一未匹配高分检测框,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
获取第二目标列表,所述第二目标列表用于存储上一帧未匹配检测框对应的临时目标;
将所述第一未匹配高分检测框与所述临时目标在当前帧的预测位置进行匹配,得到第三匹配结果。
可选地,所述根据匹配结果更新所述第一目标列表中各个目标的跟踪结果包括:
若所述第三匹配结果包括已匹配临时目标,则将所述已匹配临时目标在当前帧的位置更新为相匹配的第一未匹配高分检测框的位置,并将所述已匹配临时目标的跟踪状态更新为跟踪中状态,将所述已匹配临时目标从所述第二目标列表中移入所述第一目标列表中;
若所述第三匹配结果包括未匹配临时目标,则将所述未匹配临时目标从所述第二目标列表中删除。
可选地,所述第二匹配结果包括第二未匹配目标,所述第三匹配结果包括第二未匹配高分检测框,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
根据所述第一目标列表确定所述第二未匹配目标的跟踪状态;
若所述第二未匹配目标的跟踪状态为跟丢状态,则获取所述第二未匹配目标的历史跟踪数据,所述历史跟踪数据包括第二未匹配目标的历史预测位置;
将所述第二未匹配目标的历史预测位置与所述第二未匹配高分检测框进行匹配,得到第四匹配结果。
可选地,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
确定各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比;
根据各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比,确定各个目标在当前帧的预测位置与所述目标检测框的匹配结果。
可选地,所述第一目标列表中包括跟踪中状态的目标和跟丢状态的目标,所述匹配结果包括已匹配的目标,所述根据匹配结果更新所述第一目标列表中各个目标的跟踪结果包括:
若所述已匹配的目标包括所述跟踪中状态的目标,则根据与所述跟踪中状态的目标匹配上的目标检测框的位置更新所述跟踪中状态的目标在当前帧的位置;
若所述已匹配的目标包括所述跟丢状态的目标,则根据与所述跟丢状态的目标匹配上的目标检测框的位置更新所述跟丢状态的目标在当前帧的位置,并将所述跟丢状态的目标更新为跟踪中状态。
第二方面,本申请实施例还提供一种目标跟踪装置,其中,所述装置包括:
获取单元,用于获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框;
预测单元,用于对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;
匹配单元,用于利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级;
更新单元,用于根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
第三方面,本申请实施例还提供一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:本申请实施例的目标跟踪方法,先获取当前帧的目标检测结果以及第一目标列表,目标检测结果包括目标检测框,目标检测框包括高分检测框和低分检测框;然后对第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;之后利用预设匹配策略将各个目标在当前帧的预测位置与目标检测结果进行匹配,预设匹配策略包括高分检测框和低分检测框的匹配优先级;最后根据匹配结果更新第一目标列表中各个目标的跟踪结果。本申请实施例的目标跟踪方法将检测框划分为高分检测框和低分检测框,并根据高分检测框和低分检测框的匹配优先级将检测框与目标在当前帧的预测位置进行匹配,减小了遮挡情况对于同一目标跟踪的影响,提高了跟踪匹配的准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例中一种目标跟踪方法的流程示意图;
图2为本申请实施例中一种目标跟踪流程的逻辑框图;
图3为本申请实施例中一种目标跟踪装置的结构示意图;
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种目标跟踪方法,如图1所示,提供了本申请实施例中一种目标跟踪方法的流程示意图,所述方法至少包括如下的步骤S110至步骤S140:
步骤S110,获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框。
本申请实施例的目标跟踪方法可以由路侧设备来执行,在进行目标跟踪时,需要先获取当前帧的目标检测结果,可以基于事先训练好的目标检测模型如YOLO V5、RCNN等得到,目标检测结果主要包括当前帧中检测到的所有目标检测框及检测框对应的置信度分数,置信度分数越高,说明检测结果越可信,即越有可能是想要检测的目标。
根据检测框对应的置信度分数高低可以基于预设置信度分数阈值将检测框划分为高分检测框和低分检测框,高分检测框一般对应的是图像中相对清晰且没有受到遮挡的目标,因此检测结果更可靠,低分检测框往往对应的是图像中相对模糊或者受到遮挡的目标,因此检测结果的可信程度相对较低。
除了需要获取目标检测结果,还需要获取第一目标列表,第一目标列表是指还没有利用当前帧的检测结果进行更新的第一目标列表,第一目标列表中主要用于记录一段时间内所有检测到的处于跟踪中状态以及跟丢状态的目标的信息,跟踪中状态即目标持续被检测到的状态,跟丢状态即目标在之前被持续跟踪到但在上一帧没有被检测到的状态。
步骤S120,对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置。
由于第一目标列表是上一帧更新后得到的,因此可以对第一目标列表中的各个目标包括跟踪中状态和跟丢状态的目标在当前帧的位置进行预测,例如可以基于上一帧的各个目标的检测框的位置,利用卡尔曼滤波计算出各个目标在当前帧的预测位置。
步骤S130,利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级。
现有一些方案在利用卡尔曼滤波预测出目标在当前帧的位置后,通常是直接将目标在当前帧的预测位置和当前帧的检测框位置进行匹配,然而由于遮挡情况的存在,会导致预测的位置和当前的实际位置偏差较大,从而影响匹配结果。
基于此,本申请基于前述步骤得到的高分检测框和低分检测框定义了相应的匹配策略,即针对高分检测框和低分检测框设定不同的匹配优先级,由于高分检测框通常对应的是清晰且没有受到遮挡的目标,因此检测结果具有较高的可信度,那么可以赋予较高的匹配优先级,即优先与高分检测框进行匹配,而由于低分检测框通常对应的是模糊或者受到遮挡的目标,因此检测结果的可信度较低,那么可以赋予较低的匹配优先级。
基于上述匹配策略将各个目标在当前帧的预测位置与当前帧的目标检测框进行匹配,避免低分检测框由于遮挡等原因而影响匹配结果,大大提高了匹配准确性。
步骤S140,根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
本申请实施例得到的匹配结果可以包括匹配成功或者匹配失败的结果,基于该匹配结果就可以对第一目标列表中的各个目标的跟踪状态以及当前帧的位置等信息进行更新,从而得到当前帧更新后的第一目标列表,作为当前帧的目标跟踪结果。
本申请实施例的目标跟踪方法将检测框划分为高分检测框和低分检测框,并根据高分检测框和低分检测框的匹配优先级将检测框与目标在当前帧的预测位置进行匹配,减小了遮挡情况对于同一目标跟踪的影响,提高了跟踪匹配的准确性。
在本申请的一些实施例中,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:基于所述高分检测框和低分检测框的匹配优先级,将各个目标在当前帧的预测位置与所述高分检测框进行匹配,得到第一匹配结果,所述第一匹配结果包括第一未匹配目标;将所述第一未匹配目标与所述低分检测框进行匹配,得到第二匹配结果。
本申请实施例设定的匹配优先级为高分检测框的优先级高于低分检测框的优先级,基于此可以先将各个目标在当前帧的预测位置与当前帧检测到的各个高分检测框进行匹配,得到第一匹配结果,第一匹配结果中会包括已匹配即匹配成功的目标,也可能会包括未匹配即匹配失败的目标,未匹配目标即与当前帧的所有高分检测框均未匹配上的目标,但并不代表这些目标一定在当前帧没有被检测到,还有可能因为在当前帧由于受到遮挡等原因而导致检测出的检测框置信度分数较低,既其仍然有可能与低分检测框匹配上,因此可以进一步将这些未匹配目标与低分检测框进行匹配,从而得到第二匹配结果,通过上述方式可以匹配出大部分的目标。
之所以设置上述匹配优先级,是因为如果不进行高分检测框和低分检测框的匹配优先级的区分,直接将各个目标在当前帧的预测位置与所有的检测框进行匹配,那么很有可能出现的一种情况是预测目标在当前帧的预测位置先和低分检测框匹配上了,此时就不会再与高分检测框进行匹配,但由于低分检测框的置信度较低,因此匹配结果并不可靠,很有可能出现某个目标的预测位置与低分检测框匹配上了,但其实际上对应的是某个高分检测框的目标的情况,从而导致匹配错误,因此本申请实施例通过匹配优先级的设置可以大大提高匹配的准确性,避免误匹配。
在本申请的一些实施例中,所述第一匹配结果包括第一未匹配高分检测框,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:获取第二目标列表,所述第二目标列表用于存储上一帧未匹配检测框对应的临时目标;将所述第一未匹配高分检测框与所述临时目标在当前帧的预测位置进行匹配,得到第三匹配结果。
如前所述,第一目标列表中主要记录的是跟踪中状态以及跟丢状态的目标,但还有一种目标是上一帧新检测到的目标,即整个跟踪匹配流程没有匹配上的目标,这些目标不同于跟踪中或者跟丢状态的目标,因此本申请实施例可以将这些目标作为“临时目标”并单独用第二目标列表对这些目标进行记录。
之所以称之为“临时目标”或者单独设置第二目标列表来管理临时目标是因为上一帧检测到的这些目标的检测框可能会存在误检的情况,也即将某些非目标物检测成了目标物,这也是本申请在前述实施例中没有将这些“临时目标”也直接一起纳入第一目标列表中并进行位置预测和匹配的原因。
但这种误检并不会持续发生,通常仅是某一帧出现误检,因此通过将前述实施例匹配后剩余的第一未匹配高分检测框与这些临时目标在当前帧的预测位置进行匹配,可以得到第三匹配结果,如果第三匹配结果中包含匹配成功的临时目标,那么说明上一帧检测到的该临时目标在当前帧再次被检测到,那么大概率可以排除误检的可能,而如果第三匹配结果中包含匹配失败的临时目标,那么说明该临时目标在当前帧没有再被检测到,进而说明上一帧检测到的该临时目标存在较大的误检的可能,因此本申请实施例通过“临时目标”的设置可以在一定程度上过滤误检,进一步提高匹配跟踪的准确性。
在本申请的一些实施例中,所述根据匹配结果更新所述第一目标列表中各个目标的跟踪结果包括:若所述第三匹配结果包括已匹配临时目标,则将所述已匹配临时目标在当前帧的位置更新为相匹配的第一未匹配高分检测框的位置,并将所述已匹配临时目标的跟踪状态更新为跟踪中状态,将所述已匹配临时目标从所述第二目标列表中移入所述第一目标列表中;若所述第三匹配结果包括未匹配临时目标,则将所述未匹配临时目标从所述第二目标列表中删除。
对于已匹配即匹配成功的临时目标,可以直接将其在当前帧的位置更新为与其匹配的第一未匹配高分检测框的位置,同时更新卡尔曼滤波参数。此外,临时目标匹配成功,说明该目标已经连续两帧被检测到,那么其对应的跟踪状态就可以更新为跟踪中状态,也即该临时目标变为正常跟踪中的目标,进而可以将其移入第一目标列表中进行维护。
对于未匹配即匹配失败的临时目标,说明其仅在上一帧突然被检测到,在当前帧又没有再检测到,因此该临时目标很有可能是误检,即非目标物体,那么直接将其从第二目标列表中删除即可。
在本申请的一些实施例中,所述第二匹配结果包括第二未匹配目标,所述第三匹配结果包括第二未匹配高分检测框,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:根据所述第一目标列表确定所述第二未匹配目标的跟踪状态;若所述第二未匹配目标的跟踪状态为跟丢状态,则获取所述第二未匹配目标的历史跟踪数据,所述历史跟踪数据包括第二未匹配目标的历史预测位置;将所述第二未匹配目标的历史预测位置与所述第二未匹配高分检测框进行匹配,得到第四匹配结果。
在将各个目标在当前帧的预测位置与低分检测框匹配之后,如果还有未匹配的目标即第二未匹配目标,说明该第二未匹配目标与高分检测框和低分检测框都没有匹配上,如果该目标的跟踪状态是跟踪中状态,那么此时可以更新为跟丢状态,而如果该目标的跟踪状态是跟丢状态,则可以进一步确认该目标是否真正跟丢或者离开相机视野,因为该目标在当前帧的位置是预测得到的,如果预测位置不准确,匹配结果也会出错,因此可以进一步通过对该跟丢目标的历史跟踪数据进行挖掘来确定该目标是否真正跟丢或者离开相机视野。
这里先对跟丢目标在当前帧的位置预测进行说明,假设该跟丢目标在第前4帧开始处于跟丢状态,那么在预测跟丢目标在每一帧的位置时,是基于该跟丢目标在第前5帧的检测位置预测其在第前4帧的位置,基于跟丢目标在第前5帧的检测位置预测其在第前3帧的位置,……,基于跟丢目标在第前5帧的检测位置预测其在当前帧的位置,随着时间的推移,目标处于跟丢状态中的每一帧预测位置都会被保留下来,也即形成跟丢目标的历史跟踪数据。
基于上述位置预测过程,预测位置的偏差可能会随着之间的推移或者其他因素影响而有所变化,因此在整个跟丢状态过程中,如果跟丢目标在当前帧的预测位置与高分检测框和低分检测框都匹配不上,那么可以将该跟丢目标从跟丢开始的各个历史帧的预测位置逐一与前述实施例中剩余的未匹配高分检测框进行匹配,如果有一个位置匹配上,就可以认为该跟丢目标与当前帧的检测框匹配成功,说明其在当前帧又被再次检测到,那么可以将其跟踪状态激活为跟踪中状态,同时更新其在当前帧的位置和卡尔曼滤波参数。
此外,本申请实施例对于跟丢的目标,如果其在行驶区域则依然保留其在云端平台或者数字孪生平台上的显示状态,这里可以通过高精地图确定图像中哪些区域是行驶区域,比如十字路口的中间区域等。
在本申请的一些实施例中,所述第四匹配结果包括第三未匹配目标,所述根据匹配结果更新所述第一目标列表中各个目标的跟踪结果包括:若所述第三未匹配目标对应的当前帧的预测位置位于图像边界,则将所述第三未匹配目标从所述第一目标列表中删除。
对于前述实施例得到的第四匹配结果,如果包含未匹配目标,还可以进一步判断该目标在当前帧的预测位置是否处于图像边界上,如果处于图像边界,说明当前帧该目标已经离开了相机视野,因此将其从第一目标列表中删除即可。
需要说明的是,经过上述各个实施例的整个匹配流程匹配之后有可能还会有剩余的高分检测框,也即第四匹配结果中还可能包括第三未匹配高分检测框,这些高分检测框对应的目标就可以看作是当前帧匹配之后未匹配成功的目标,因此可以将其作为临时目标放入第二目标列表中,为后续过滤误检提供基础。
在本申请的一些实施例中,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:确定各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比;根据各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比,确定各个目标在当前帧的预测位置与所述目标检测框的匹配结果。
为了提高匹配的准确性,本申请实施例对于预测位置与目标检测框的匹配可以通过两个方面来计算,一方面可以将各个目标在当前帧的预测位置对应的预测框与目标检测框计算交并比(Intersection-over-Union,简称IoU),交并比数值越大,说明两框越匹配。另一方面可以将各个目标在当前帧的预测框的长宽比与目标检测框的长宽比进行比较,二者相差越小,说明两框越匹配。
最后可以将交并比计算的结果以及长宽比比较的结果进行加权求和,从而得到一个最终的匹配分数,如果匹配分数超过预设匹配分数阈值,可以认为两框匹配成功,否则则匹配失败。
在本申请的一些实施例中,所述第一目标列表中包括跟踪中状态的目标和跟丢状态的目标,所述匹配结果包括已匹配的目标,所述根据匹配结果更新所述第一目标列表中各个目标的跟踪结果包括:若所述已匹配的目标包括所述跟踪中状态的目标,则根据与所述跟踪中状态的目标匹配上的目标检测框的位置更新所述跟踪中状态的目标在当前帧的位置;若所述已匹配的目标包括所述跟丢状态的目标,则根据与所述跟丢状态的目标匹配上的目标检测框的位置更新所述跟丢状态的目标在当前帧的位置,并将所述跟丢状态的目标更新为跟踪中状态。
本申请实施例可以根据已匹配目标对第一目标列表中的目标信息进行更新,如果已匹配目标的跟踪状态是跟踪中状态,那么继续保持跟踪中状态,并利用相匹配的检测框的位置更新目标在当前帧的位置,如果已匹配目标的跟踪状态是跟丢状态,那么需要将其状态由跟丢状态激活为跟踪中状态,同样利用相匹配的检测框的位置更新目标在当前帧的位置。
为了便于对本申请各实施例的理解,如图2所示,提供了本申请实施例中一种目标跟踪流程的逻辑框图。首先获取当前帧的目标检测结果以及第一目标列表,根据目标检测结果将检测到的检测框划分为高分检测框和低分检测框,根据第一目标列表通过卡尔曼滤波预测第一目标列表中的跟踪中目标和跟丢目标在当前帧的位置。
之后根据高分检测框和低分检测框的匹配优先级,优先将目标在当前帧的预测位置与高分检测框进行匹配,得到第一未匹配高分检测框和第一未匹配目标。对于第一未匹配高分检测框,将其与第二目标列表中的临时目标在当前帧的预测位置进行匹配,得到第二未匹配高分检测框和未匹配临时目标,对于未匹配临时目标直接从第二目标列表中删除即可。对于第一未匹配目标,将其与低分检测框再进行匹配,得到第二未匹配目标和未匹配低分检测框。
对于未匹配低分检测框直接舍弃即可,对于第二未匹配目标,将其中处于跟踪中状态的第二未匹配目标更新为跟丢状态,将其中处于跟丢状态的第二未匹配目标从跟丢开始在各个历史帧的预测位置与第二未匹配高分检测框进行匹配,得到第三未匹配目标和第三未匹配高分检测框。对于第三未匹配目标,如果其在当前帧的预测位置位于图像边界,则可以将其从第一目标列表中删除,对于第三未匹配高分检测框,可以将其加入第二目标列表,为后续过滤误检做准备。
综上所述,本申请的目标跟踪方法至少取得了如下的技术效果:
1)本申请将检测框划分为高分检测框和低分检测框,并根据高分检测框和低分检测框的匹配优先级将检测框与目标在当前帧的预测位置进行匹配,提高了跟踪匹配的准确性;
2)本申请的匹配逻辑对于同一目标即使在遮挡时也能在被遮挡区域显示一个检测框,且在去除遮挡后仍能够继续维持同一ID标识运动,大大减少了ID跳变的情况,进而减小了遮挡情况对于目标跟踪的影响;
3)本申请对跟丢目标的历史跟踪数据进行挖掘匹配,也大大提高了跟踪匹配的准确性。
本申请实施例还提供了一种目标跟踪装置300,如图3所示,提供了本申请实施例中一种目标跟踪装置的结构示意图,所述装置300包括:获取单元310、预测单元320、匹配单元330以及更新单元340,其中:
获取单元310,用于获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框;
预测单元320,用于对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;
匹配单元330,用于利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级;
更新单元340,用于根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
在本申请的一些实施例中,所述匹配单元330具体用于:基于所述高分检测框和低分检测框的匹配优先级,将各个目标在当前帧的预测位置与所述高分检测框进行匹配,得到第一匹配结果,所述第一匹配结果包括第一未匹配目标;将所述第一未匹配目标与所述低分检测框进行匹配,得到第二匹配结果。
在本申请的一些实施例中,所述第一匹配结果包括第一未匹配高分检测框,所述匹配单元330具体用于:获取第二目标列表,所述第二目标列表用于存储上一帧未匹配检测框对应的临时目标;将所述第一未匹配高分检测框与所述临时目标在当前帧的预测位置进行匹配,得到第三匹配结果。
在本申请的一些实施例中,所述更新单元340具体用于:若所述第三匹配结果包括已匹配临时目标,则将所述已匹配临时目标在当前帧的位置更新为相匹配的第一未匹配高分检测框的位置,并将所述已匹配临时目标的跟踪状态更新为跟踪中状态,将所述已匹配临时目标从所述第二目标列表中移入所述第一目标列表中;若所述第三匹配结果包括未匹配临时目标,则将所述未匹配临时目标从所述第二目标列表中删除。
在本申请的一些实施例中,所述第二匹配结果包括第二未匹配目标,所述第三匹配结果包括第二未匹配高分检测框,所述匹配单元330具体用于:根据所述第一目标列表确定所述第二未匹配目标的跟踪状态;若所述第二未匹配目标的跟踪状态为跟丢状态,则获取所述第二未匹配目标的历史跟踪数据,所述历史跟踪数据包括第二未匹配目标的历史预测位置;将所述第二未匹配目标的历史预测位置与所述第二未匹配高分检测框进行匹配,得到第四匹配结果。
在本申请的一些实施例中,所述匹配单元330具体用于:确定各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比;根据各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比,确定各个目标在当前帧的预测位置与所述目标检测框的匹配结果。
在本申请的一些实施例中,所述第一目标列表中包括跟踪中状态的目标和跟丢状态的目标,所述匹配结果包括已匹配的目标,所述更新单元340具体用于:若所述已匹配的目标包括所述跟踪中状态的目标,则根据与所述跟踪中状态的目标匹配上的目标检测框的位置更新所述跟踪中状态的目标在当前帧的位置;若所述已匹配的目标包括所述跟丢状态的目标,则根据与所述跟丢状态的目标匹配上的目标检测框的位置更新所述跟丢状态的目标在当前帧的位置,并将所述跟丢状态的目标更新为跟踪中状态。
能够理解,上述目标跟踪装置,能够实现前述实施例中提供的目标跟踪方法的各个步骤,关于目标跟踪方法的相关阐释均适用于目标跟踪装置,此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成目标跟踪装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框;
对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;
利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级;
根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
上述如本申请图1所示实施例揭示的目标跟踪装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中目标跟踪装置执行的方法,并实现目标跟踪装置在图1所示实施例的功能,本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图1所示实施例中目标跟踪装置执行的方法,并具体用于执行:
获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框;
对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;
利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级;
根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种目标跟踪方法,其中,所述方法包括:
获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框;
对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;
利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级;
根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
2.如权利要求1所述方法,其中,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
基于所述高分检测框和低分检测框的匹配优先级,将各个目标在当前帧的预测位置与所述高分检测框进行匹配,得到第一匹配结果,所述第一匹配结果包括第一未匹配目标;
将所述第一未匹配目标与所述低分检测框进行匹配,得到第二匹配结果。
3.如权利要求2所述方法,其中,所述第一匹配结果包括第一未匹配高分检测框,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
获取第二目标列表,所述第二目标列表用于存储上一帧未匹配检测框对应的临时目标;
将所述第一未匹配高分检测框与所述临时目标在当前帧的预测位置进行匹配,得到第三匹配结果。
4.如权利要求3所述方法,其中,所述根据匹配结果更新所述第一目标列表中各个目标的跟踪结果包括:
若所述第三匹配结果包括已匹配临时目标,则将所述已匹配临时目标在当前帧的位置更新为相匹配的第一未匹配高分检测框的位置,并将所述已匹配临时目标的跟踪状态更新为跟踪中状态,将所述已匹配临时目标从所述第二目标列表中移入所述第一目标列表中;
若所述第三匹配结果包括未匹配临时目标,则将所述未匹配临时目标从所述第二目标列表中删除。
5.如权利要求3所述方法,其中,所述第二匹配结果包括第二未匹配目标,所述第三匹配结果包括第二未匹配高分检测框,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
根据所述第一目标列表确定所述第二未匹配目标的跟踪状态;
若所述第二未匹配目标的跟踪状态为跟丢状态,则获取所述第二未匹配目标的历史跟踪数据,所述历史跟踪数据包括第二未匹配目标的历史预测位置;
将所述第二未匹配目标的历史预测位置与所述第二未匹配高分检测框进行匹配,得到第四匹配结果。
6.如权利要求1~5之任一所述方法,其中,所述利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配包括:
确定各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比;
根据各个目标在当前帧的预测位置对应的预测框与所述目标检测框的交并比,以及各个目标在当前帧的预测位置对应的预测框的长宽比和所述目标检测框的长宽比,确定各个目标在当前帧的预测位置与所述目标检测框的匹配结果。
7.如权利要求1~5之任一所述方法,其中,所述第一目标列表中包括跟踪中状态的目标和跟丢状态的目标,所述匹配结果包括已匹配的目标,所述根据匹配结果更新所述第一目标列表中各个目标的跟踪结果包括:
若所述已匹配的目标包括所述跟踪中状态的目标,则根据与所述跟踪中状态的目标匹配上的目标检测框的位置更新所述跟踪中状态的目标在当前帧的位置;
若所述已匹配的目标包括所述跟丢状态的目标,则根据与所述跟丢状态的目标匹配上的目标检测框的位置更新所述跟丢状态的目标在当前帧的位置,并将所述跟丢状态的目标更新为跟踪中状态。
8.一种目标跟踪装置,其中,所述装置包括:
获取单元,用于获取当前帧的目标检测结果以及第一目标列表,所述目标检测结果包括目标检测框,所述目标检测框包括高分检测框和低分检测框;
预测单元,用于对所述第一目标列表中各个目标的位置进行预测,得到各个目标在当前帧的预测位置;
匹配单元,用于利用预设匹配策略将各个目标在当前帧的预测位置与所述目标检测结果进行匹配,所述预设匹配策略包括高分检测框和低分检测框的匹配优先级;
更新单元,用于根据匹配结果更新所述第一目标列表中各个目标的跟踪结果。
9.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行所述权利要求1~7之任一所述方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行所述权利要求1~7之任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211279721.1A CN115641454A (zh) | 2022-10-19 | 2022-10-19 | 目标跟踪方法、装置及电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211279721.1A CN115641454A (zh) | 2022-10-19 | 2022-10-19 | 目标跟踪方法、装置及电子设备、计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115641454A true CN115641454A (zh) | 2023-01-24 |
Family
ID=84945073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211279721.1A Pending CN115641454A (zh) | 2022-10-19 | 2022-10-19 | 目标跟踪方法、装置及电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115641454A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830075A (zh) * | 2023-02-20 | 2023-03-21 | 武汉广银飞科技发展有限公司 | 一种面向行人多目标跟踪的分级关联匹配方法 |
CN116091552A (zh) * | 2023-04-04 | 2023-05-09 | 上海鉴智其迹科技有限公司 | 基于DeepSORT的目标跟踪方法、装置、设备及存储介质 |
-
2022
- 2022-10-19 CN CN202211279721.1A patent/CN115641454A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115830075A (zh) * | 2023-02-20 | 2023-03-21 | 武汉广银飞科技发展有限公司 | 一种面向行人多目标跟踪的分级关联匹配方法 |
CN116091552A (zh) * | 2023-04-04 | 2023-05-09 | 上海鉴智其迹科技有限公司 | 基于DeepSORT的目标跟踪方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115641454A (zh) | 目标跟踪方法、装置及电子设备、计算机可读存储介质 | |
CN111709975B (zh) | 多目标跟踪方法、装置、电子设备及存储介质 | |
CN113791435B (zh) | Gnss信号异常值的检测方法、装置及电子设备、存储介质 | |
CN111814746A (zh) | 一种识别车道线的方法、装置、设备及存储介质 | |
CN111723608A (zh) | 一种驾驶辅助***的报警方法、装置及电子设备 | |
CN110647818A (zh) | 一种遮挡目标物体的识别方法及装置 | |
CN113903014B (zh) | 车道线预测方法、装置及电子设备、计算机可读存储介质 | |
CN111160187A (zh) | 一种遗留物体检测的方法、装置及*** | |
CN113804214B (zh) | 车辆定位方法、装置及电子设备、计算机可读存储介质 | |
CN113674318B (zh) | 一种目标跟踪方法、装置及设备 | |
CN114419679A (zh) | 基于可穿戴设备数据的数据分析方法、装置及*** | |
CN112883871B (zh) | 一种模型训练以及确定无人车运动策略方法及装置 | |
CN112863242B (zh) | 一种车位检测的方法和装置 | |
CN113763425A (zh) | 道路区域标定方法及电子设备 | |
CN117197796A (zh) | 一种车辆遮挡识别方法及相关装置 | |
CN115556827A (zh) | 自动驾驶车辆的航向角确定方法、装置及电子设备 | |
CN112902987A (zh) | 一种位姿修正的方法及装置 | |
CN114397671B (zh) | 目标的航向角平滑方法、装置及计算机可读存储介质 | |
CN113111872B (zh) | 图像识别模型的训练方法、装置及电子设备、存储介质 | |
CN112731447B (zh) | 一种障碍物跟踪方法、装置、存储介质及电子设备 | |
CN113900133A (zh) | 目标轨迹的平滑方法和装置、电子设备和存储介质 | |
CN114842322A (zh) | 遗留物检测方法、装置及电子设备、计算机可读存储介质 | |
CN109740518B (zh) | 一种视频中对象的确定方法及装置 | |
CN111539961A (zh) | 一种目标分割方法、装置以及设备 | |
CN117078607A (zh) | 航向角修正方法、装置及电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |