CN116309696B - 一种基于改进广义交并比的多类别多目标跟踪方法及装置 - Google Patents
一种基于改进广义交并比的多类别多目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN116309696B CN116309696B CN202211668177.XA CN202211668177A CN116309696B CN 116309696 B CN116309696 B CN 116309696B CN 202211668177 A CN202211668177 A CN 202211668177A CN 116309696 B CN116309696 B CN 116309696B
- Authority
- CN
- China
- Prior art keywords
- frame
- det
- prediction
- detection frame
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于改进广义交并比的多类别多目标跟踪方法及装置，涉及自动驾驶技术领域，所述方法包括：获取检测器输出的当前图像帧中的所有运动目标的检测框；利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。本申请提高了检测框匹配的正确率，提高了多类别多目标的跟踪精度。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其是涉及一种基于改进广义交并比的多类别多目标跟踪方法及装置。
背景技术
多目标跟踪的关键是关联检测器输出的检测框和预测算法根据过去时刻预测出的活跃轨迹在当前时刻的检测框，并将关联成功的检测框都赋予唯一的标识ID。关联的主要方法是对每个检测器输出的检测框和每个预测出的检测框分别计算关联代价，并建立代价矩阵，最终使用匹配算法得到配对关系。
常用的匹配代价损失函数是基于交并比(IoU：Intersection over Union)和广义交并比(GIoU：Generalized Intersection over Union)的计算。其中，IoU算法通过计算两个检测框的交集和并集来评价两个检测框的相关程度，其缺点是若两个目标没有重合部分此时交并比为0，无法反映两个目标之间的距离大小，且IoU无法精确的反映两个目标的重合度大小和重合度位置。而GIoU通过引入两个检测框的最小闭包解决了IoU存在的问题，但采用GIoU计算代价矩阵的缺点是GIoU无法精确反映两个目标运动的方向带来的差异，即两个物体运动方向相同或相反计算出的GIoU值是完全相同的，在多目标跟踪的应用场景下，两个运动方向相反的目标几乎不可能属于同一物体。上述两种关联算法均存在误关联检测框的情况，降低了跟踪精度。
发明内容
有鉴于此，本申请提供了一种基于改进广义交并比的多类别多目标跟踪方法及装置，以解决上述技术问题。
第一方面，本申请实施例一种基于改进广义交并比的多类别多目标跟踪方法，所述方法包括：
获取检测器输出的当前图像帧中的所有运动目标的检测框；
利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；
基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。
进一步地，所述检测框的信息包括：目标类型、位置、运动方向、偏航角和速度；所述预测框的信息：目标序号、目标类型、位置、运动方向、偏航角和速度。
进一步地，计算每个检测框和每个预测框之间的广义交并比，包括：
当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的广义交并比GIOU(det[i]，pre[j])为：
其中，IOU(det[i]，pre[j])表示检测框det[i]以及第j个预测框pre[j]之间的交并比，Cv是包含检测框der[i]与预测框pre[j]的最小三维闭包，|Cv|表示Cv的体积；Cv\(det[i]∪pre[j])表示Cv去除检测框det[i]与预测框pre[j]之后的部分，|Cv\(det[i]∪pre[j])|表示Cv\(det[i]∪pre[j])的体积；1≤i≤Ndet，1≤j≤Npre；Ndet为检测框的数量，Npre为预测框的数量。
进一步地，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：
计算当前图像帧的第i个检测框det[i]的偏航角θi和第j个预测框pre[j]的偏航角θj的差Δθij：
Δθij＝θi-θj
计算惩罚系数C：
进一步地，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：
计算当前图像帧的第i个检测框det[i]的偏航角θi和第j个预测框pre[j]的偏航角θj的差Δθij：
Δθij＝θi-θj
计算第二惩罚系数C：
进一步地，根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；
判断第i个检测框det[i]以及第j个预测框pre[j]的目标类型是否相同，若相同，则计算当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值LGIoU(det[i]，pre[j])：
LGIou(det[i]，pre[j])＝2-GIOU(det[i]，pre[j])-C
否则，当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值为无穷大；
则关联代价矩阵R2的第i行第j列的元素R2[i，j]为：
0≤i≤Ndet，0≤j≤Npre
其中，class(det[i])为第i个检测框det[i]的目标类型，class(pre[j])为第j个预测框pre[j]的目标类型。
进一步地，所述方法还包括：
将未匹配成功的检测框判定为新运动目标，并为新运动目标赋予目标序号；
统计未匹配成功的预测框的连续未匹配成功的次数，当连续未匹配成功的次数大于阈值，则将未匹配成功的预测框删除。
第二方面，本申请实施例提供了一种基于改进广义交并比的多类别多目标跟踪装置，所述装置包括：
获取单元，用于获取检测器输出的当前图像帧中的所有运动目标的检测框；
预测单元，用于利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
第一计算单元，用于计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
第二计算单元，用于根据广义交并比和惩罚系数计算各检测框和各预测框之间的关联代价矩阵；
匹配单元，用于基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的方法。
本申请提高了检测框匹配的正确率，提高了多类型多目标的跟踪精度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于改进广义交并比的多类别多目标跟踪方法的流程图；
图2为本申请实施例提供的惩罚系数的示意图；
图3为本申请实施例提供的基于改进广义交并比的多类别多目标跟踪装置的功能结构图；
图4为本申请实施例提供的电子设备的功能结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请实施例的设计思想进行简单介绍。
多目标跟踪是计算机视觉领域的一项重要研究问题，目前广泛应用于自动驾驶、安防监控和体育赛事转播等领域。多目标跟踪所解决的问题是对图像序列中的运动物体进行检测、识别、预测和跟踪。目前常用的跟踪策略是TBD(Tracking_by-Detecton)，首先将图像序列依次送入目标检测器中，由检测器以检测框的形式输出每一帧中包含的目标信息，跟踪算法接收由检测器输出的检测框。同时，预测算法根据在过去帧接收到的检测框信息为每一条轨迹预测当前帧的检测框位置，由数据关联算法将预测出的检测框与检测器检测出的当前帧的检测框进行关联，其中关联成功的目标信息加入轨迹并继续用来预测下一帧的检测框，完成多目标跟踪。
为了克服广义交并比存在的无法反映两个目标运动方向差异的问题，本申请提出了一种基于改进广义交并比的多类别多目标跟踪方法，该方法通过引入了偏航角的概念，在计算两个目标的代价矩阵时考虑两个目标的偏航角差异计算出一个额外的惩罚系数。当两个物体交并比很大，但运动方向相反时，广义交并比计算出的代价较小，二者可能会被误判为同一物体，而使用改进的广义交并比则输出一个较大的代价值，使两个目标不会被误判为同一物体。为此，提出了两种考虑偏航角的关联代价计算方式。
第一种匹配代价计算方式通过计算两个检测框的角度差，为不同的角度差赋予不同大小的惩罚系数，其中，两个检测框的角度差越接近反向，给予的惩罚系数越大，最终的匹配代价越大，反之则给予更小的惩罚系数，使得角度差对匹配代价的影响更小。第二种匹配代价计算方式采取截断方式，当两个检测框的角度差小于一定阈值时，忽略角度差对匹配代价的影响，否则直接将匹配代价加上一个由角度差异带来的惩罚项。
本申请提高了检测框匹配的正确率，提高了多类型多目标的跟踪精度。
在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。
如图1所示，本申请实施提供一种基于改进广义交并比的多类别多目标跟踪方法，包括：
步骤101：获取检测器输出的当前图像帧中的所有运动目标的检测框；
其中，所述检测框的信息包括：目标类型、位置、运动方向、偏航角和速度；所述预测框的信息：目标序号、目标类型、位置、运动方向、偏航角和速度。所述目标类型至少包括：车辆、自行车和行人。
步骤102：利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
步骤103：计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
本实施例中，计算每个检测框和每个预测框之间的广义交并比，包括：
当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的广义交并比GIOU(det[i]，pre[j])为：
其中，IOU(det[i]，pre[j])表示检测框det[i]以及第j个预测框pre[j]之间的交并比，Cv是包含检测框det[i]与预测框pre[j]的最小三维闭包，|Cv|表示Cv的体积；Cv\(det[i]∪pre[j])表示Cv去除检测框det[i]与预测框pre[j]之后的部分，|Cv\(det[i]∪pre[j])|表示Cv\(det[i]∪pre[j])的体积；1≤i≤Ndet，1≤j≤Npre；Ndet为检测框的数量，Npre为预测框的数量。
本实施例中，通过两种方式实现：根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
第一种方式：
计算当前图像帧的第i个检测框det[i]的偏航角θi和第j个预测框pre[j]的偏航角θj的差Δθij：
Δθij＝θi-θj
计算惩罚系数C1：
第二种方式：
计算惩罚系数C2：
图2为两种方式得到的惩罚系数(C1和C2)随框偏航角差值(x)变化的函数图像。其中，偏航角差值变化范围为0≤|x|≤2π，对应的惩罚系数值域为[0，1]；由偏航角差值可以计算出对应的惩罚系数，惩罚系数的值用于计算两个检测框的改进广义交并比，并根据实际效果选择使用两种方式得到的惩罚系数。
步骤104：根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；
判断第i个检测框det[i]以及第j个预测框pre[j]的目标类型是否相同，若相同，则计算当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值LGIoU(det[i]，pre[j])：
LGIou(det[i]，pre[j])＝2-GIOU(det[i]，pre[j])-C
否则，当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值为无穷大；C为C1或C2；
则关联代价矩阵R2的第i行第j列的元素R2[i，j]为：
0≤i≤Ndet，0≤j≤Npre
其中，class(det[i])为第i个检测框det[i]的目标类型，class(pre[j])为第j个预测框pre[j]的目标类型。
步骤105：基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。
其中，匹配算法采用贪婪算法或匈牙利算法。
此外，所述方法还包括：
将未匹配成功的检测框判定为新运动目标，并为新运动目标赋予目标序号；
统计未匹配成功的预测框的连续未匹配成功的次数，当连续未匹配成功的次数大于阈值，则将未匹配成功的预测框删除。
基于上述实施例，本申请实施例提供了一种基于改进广义交并比的多类别多目标跟踪装置，参阅图2所示，本申请实施例提供的基于改进广义交并比的多类别多目标跟踪装置200至少包括：
获取单元201，用于获取检测器输出的当前图像帧中的所有运动目标的检测框，所述检测框信息包括：目标类型、位置、运动方向、偏航角和速度；
预测单元202，用于利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
第一计算单元203，用于计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
第二计算单元204，用于根据广义交并比和惩罚系数计算各检测框和各预测框之间的关联代价矩阵；
匹配单元205，用于基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号。
要说明的是，本申请实施例提供的基于改进广义交并比的多类别多目标跟踪装置200解决技术问题的原理与本申请实施例提供的方法相似，因此，本申请实施例提供的基于改进广义交并比的多类别多目标跟踪装置200的实施可以参见本申请实施例提供的方法的实施，重复之处不再赘述。
基于上述实施例，本申请实施例还提供了一种电子设备，参阅图3所示，本申请实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本申请实施例提供的基于改进广义交并比的多类别多目标跟踪方法。
本申请实施例提供的电子设备300还可以包括连接不同组件(包括处理器301和存储器302)的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、***总线、局域总线等。
存储器302可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)3021和/或高速缓存存储器3022，还可以进一步包括只读存储器(ReadOnly Memory，ROM)3023。
存储器302还可以包括具有一组(至少一个)程序模块3024的程序工具3025，程序模块3024包括但不限于：操作子***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备300也可以与一个或多个外部设备304(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)子***、磁带驱动器以及数据备份存储子***等。
需要说明的是，图3所示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的方法。具体地，该可执行程序可以内置或者安装在电子设备300中，这样，电子设备300就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的基于改进广义交并比的多类别多目标跟踪方法。
本申请实施例提供的多目标跟踪方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在电子设备300上运行时，该程序代码用于使电子设备300执行本申请实施例提供的基于改进广义交并比的多类别多目标跟踪方法。
本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行修改或者等同替换，都不脱离本申请技术方案的精神和范围，其均应涵盖在本申请的权利要求范围当中。
Claims (7)
1.一种基于改进广义交并比的多类别多目标跟踪方法，其特征在于，所述方法包括：
获取检测器输出的当前图像帧中的所有运动目标的检测框；
利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；
基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号；
计算每个检测框和每个预测框之间的广义交并比，包括：
当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的广义交并比GIOU(det[i],pre[j])为：
其中，IOU(det[i],pre[j])表示检测框det[i]以及第j个预测框pre[j]之间的交并比，Cv是包含检测框det[i]与预测框pre[j]的最小三维闭包,|Cv|表示Cv的体积；Cv\(det[i]∪pre[j])表示Cv去除检测框det[i]与预测框pre[j]之后的部分，|Cv\(det[i]∪pre[j])|表示Cv\(det[i]∪pre[j])的体积；1≤i≤Ndet，1≤j≤Npre；Ndet为检测框的数量，Npre为预测框的数量；
根据广义交并比和惩罚系数建立各检测框和各预测框之间的关联代价矩阵；包括：
判断第i个检测框det[i]以及第j个预测框pre[j]的目标类型是否相同，若相同，则计算当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值LGIoU(det[i],pre[j])：
lGIoU(det[i],pre[j])＝2-GIOU(det[i],pre[j])-C
其中，C为惩罚系数；
否则，当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值为无穷大；
则关联代价矩阵R2的第i行第j列的元素R2[i,j]为：
0≤i≤Ndet,0≤j≤Npre
其中，class(det[i])为第i个检测框det[i]的目标类型，class(pre[j])为第j个预测框pre[j]的目标类型；
根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：
计算当前图像帧的第i个检测框det[i]的偏航角θi和第j个预测框pre[j]的偏航角θj的差Δθij：
Δθij＝θi-θj
计算惩罚系数C：
2.根据权利要求1所述的方法，其特征在于，所述检测框的信息包括：目标类型、位置、运动方向、偏航角和速度；所述预测框的信息：目标序号、目标类型、位置、运动方向、偏航角和速度。
3.根据权利要求1所述的方法，其特征在于，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：
计算当前图像帧的第i个检测框det[i]的偏航角θi和第j个预测框pre[j]的偏航角θj的差Δθij：
Δθij＝θi-θj
计算惩罚系数C：
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将未匹配成功的检测框判定为新运动目标，并为新运动目标赋予目标序号；
统计未匹配成功的预测框的连续未匹配成功的次数，当连续未匹配成功的次数大于阈值，则将未匹配成功的预测框删除。
5.一种基于改进广义交并比的多类别多目标跟踪装置，其特征在于，所述装置包括：
获取单元，用于获取检测器输出的当前图像帧中的所有运动目标的检测框；
预测单元，用于利用上一图像帧中所有运动目标的运动信息，得到上一图像帧中所有运动目标在当前图像帧中的预测框；
第一计算单元，用于计算每个检测框和每个预测框之间的广义交并比，根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；
第二计算单元，用于根据广义交并比和惩罚系数计算各检测框和各预测框之间的关联代价矩阵；
匹配单元，用于基于关联代价矩阵，使用匹配算法得到当前图像帧中匹配成功的检测框的目标序号；
计算每个检测框和每个预测框之间的广义交并比，包括：
当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的广义交并比GIOU(det[i],pre[j])为：
其中，IOU(det[i],pre[j])表示检测框det[i]以及第j个预测框pre[j]之间的交并比，Cv是包含检测框det[i]与预测框pre[j]的最小三维闭包,|Cv|表示Cv的体积；Cv\(det[i]∪pre[j])表示Cv去除检测框det[i]与预测框pre[j]之后的部分，|Cv\(det[i]∪pre[j])|表示Cv\(det[i]∪pre[j])的体积；1≤i≤Ndet，1≤j≤Npre；Ndet为检测框的数量，Npre为预测框的数量；
第二计算单元具体用于；
判断第i个检测框det[i]以及第j个预测框pre[j]的目标类型是否相同，若相同，则计算当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值LGIoU(det[i],pre[j])：
LGIoU(det[i],pre[j])＝2-GIOU(det[i],pre[j])-C
其中，C为惩罚系数；
否则，当前图像帧的第i个检测框det[i]以及第j个预测框pre[j]的关联代价值为无穷大；
则关联代价矩阵R2的第i行第j列的元素R2[i,j]为：
0≤i≤Ndet,0≤j≤Npre
其中，class(det[i])为第i个检测框det[i]的目标类型，class(pre[j])为第j个预测框pre[j]的目标类型；
根据每个检测框的偏航角和每个预测框的偏航角的差计算对应的惩罚系数；包括：
计算当前图像帧的第i个检测框det[i]的偏航角θi和第j个预测框pre[j]的偏航角θj的差Δθij：
Δθij＝θi-θj
计算惩罚系数C：
6.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211668177.XA CN116309696B (zh) | 2022-12-23 | 2022-12-23 | 一种基于改进广义交并比的多类别多目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211668177.XA CN116309696B (zh) | 2022-12-23 | 2022-12-23 | 一种基于改进广义交并比的多类别多目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116309696A CN116309696A (zh) | 2023-06-23 |
| CN116309696B true CN116309696B (zh) | 2023-12-01 |
Family
ID=86787622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211668177.XA Active CN116309696B (zh) | 2022-12-23 | 2022-12-23 | 一种基于改进广义交并比的多类别多目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309696B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935074B (zh) * | 2023-07-25 | 2024-03-26 | 苏州驾驶宝智能科技有限公司 | 基于深度亲和网络自适应关联的多目标跟踪方法及装置 |
| CN117671296A (zh) * | 2023-12-19 | 2024-03-08 | 珠海市欧冶半导体有限公司 | 目标跟踪法、装置、计算机设备和存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及*** |
| CN110503095A (zh) * | 2019-08-27 | 2019-11-26 | 中国人民公安大学 | 目标检测模型的定位质量评价方法、定位方法及设备 |
| CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
| WO2020151329A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 基于目标检测的识别框确定方法、装置及终端设备 |
| CN112906502A (zh) * | 2021-01-29 | 2021-06-04 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、设备以及存储介质 |
| CN112967316A (zh) * | 2021-03-05 | 2021-06-15 | 中国科学技术大学 | 一种面向3d多目标追踪的运动补偿优化方法及*** |
| CN113160274A (zh) * | 2021-04-19 | 2021-07-23 | 桂林电子科技大学 | 一种基于YOLOv4的改进DeepSort目标检测跟踪方法 |
| CN113610895A (zh) * | 2021-08-06 | 2021-11-05 | 烟台艾睿光电科技有限公司 | 目标跟踪方法、装置、电子设备及可读存储介质 |
| CN114022508A (zh) * | 2021-09-18 | 2022-02-08 | 浙江大华技术股份有限公司 | 一种目标跟踪方法、终端及计算机可读存储介质 |
| CN114140730A (zh) * | 2021-11-24 | 2022-03-04 | 驭势科技（北京）有限公司 | 目标匹配方法、装置、设备及存储介质 |
| CN114169425A (zh) * | 2021-12-03 | 2022-03-11 | 北京百度网讯科技有限公司 | 训练目标跟踪模型和目标跟踪的方法和装置 |
| CN114419467A (zh) * | 2021-12-24 | 2022-04-29 | 中国科学院深圳先进技术研究院 | 旋转船只目标检测模型的训练方法、训练装置和存储介质 |
| CN114445482A (zh) * | 2022-01-29 | 2022-05-06 | 福州大学 | 基于Libra-RCNN和椭圆形状特征的图像中目标检测方法及*** |
| CN114548214A (zh) * | 2021-12-30 | 2022-05-27 | 浙江大华技术股份有限公司 | 目标跟踪方法、计算机设备及存储装置 |
-
2022
- 2022-12-23 CN CN202211668177.XA patent/CN116309696B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及*** |
| WO2020151329A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 基于目标检测的识别框确定方法、装置及终端设备 |
| CN110503095A (zh) * | 2019-08-27 | 2019-11-26 | 中国人民公安大学 | 目标检测模型的定位质量评价方法、定位方法及设备 |
| CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
| CN112906502A (zh) * | 2021-01-29 | 2021-06-04 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、设备以及存储介质 |
| CN112967316A (zh) * | 2021-03-05 | 2021-06-15 | 中国科学技术大学 | 一种面向3d多目标追踪的运动补偿优化方法及*** |
| CN113160274A (zh) * | 2021-04-19 | 2021-07-23 | 桂林电子科技大学 | 一种基于YOLOv4的改进DeepSort目标检测跟踪方法 |
| CN113610895A (zh) * | 2021-08-06 | 2021-11-05 | 烟台艾睿光电科技有限公司 | 目标跟踪方法、装置、电子设备及可读存储介质 |
| CN114022508A (zh) * | 2021-09-18 | 2022-02-08 | 浙江大华技术股份有限公司 | 一种目标跟踪方法、终端及计算机可读存储介质 |
| CN114140730A (zh) * | 2021-11-24 | 2022-03-04 | 驭势科技（北京）有限公司 | 目标匹配方法、装置、设备及存储介质 |
| CN114169425A (zh) * | 2021-12-03 | 2022-03-11 | 北京百度网讯科技有限公司 | 训练目标跟踪模型和目标跟踪的方法和装置 |
| CN114419467A (zh) * | 2021-12-24 | 2022-04-29 | 中国科学院深圳先进技术研究院 | 旋转船只目标检测模型的训练方法、训练装置和存储介质 |
| CN114548214A (zh) * | 2021-12-30 | 2022-05-27 | 浙江大华技术股份有限公司 | 目标跟踪方法、计算机设备及存储装置 |
| CN114445482A (zh) * | 2022-01-29 | 2022-05-06 | 福州大学 | 基于Libra-RCNN和椭圆形状特征的图像中目标检测方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| Arbitrarily Oriented Object Detection in Remote Sensing Images Based on Improved YOLOv4-CSP;Ziyang Zheng 等;《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》;全文 * |
| 基于多特征融合的高速路车辆多目标跟踪算法研究;胡随芯;常艳昌;杨俊;章振原;;汽车技术(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116309696A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116309696B (zh) | 一种基于改进广义交并比的多类别多目标跟踪方法及装置 | |
| CN110134126B (zh) | 轨迹匹配方法、装置、设备和介质 | |
| CN109870698B (zh) | 一种超声波阵列障碍物检测结果处理方法及*** | |
| CN113537445B (zh) | 一种轨迹预测方法、装置、设备和存储介质 | |
| EP4152258A1 (en) | Target part tracking method and apparatus, electronic device and readable storage medium | |
| Jiao et al. | End-to-end uncertainty-based mitigation of adversarial attacks to automated lane centering | |
| CN109635868B (zh) | 障碍物类别的确定方法、装置、电子设备及存储介质 | |
| CN111612818A (zh) | 新型双目视觉多目标跟踪方法及*** | |
| CN117372983B (zh) | 一种低算力的自动驾驶实时多任务感知方法及装置 | |
| CN112356845B (zh) | 一种目标运动状态的预测方法、装置、设备及车辆 | |
| US11226350B2 (en) | Method and device for detecting obstacle speed, computer device, and storage medium | |
| CN117592787A (zh) | 海上船舶安全风险预测方法、电子设备 | |
| CN116189150A (zh) | 基于融合输出的单目3d目标检测方法、装置、设备和介质 | |
| EP4139832A1 (en) | Tracking vulnerable road users across image frames using fingerprints obtained from image analysis | |
| CN111985379A (zh) | 基于车载雷达的目标追踪方法、装置、设备及车辆 | |
| US20200370893A1 (en) | Device and method for compensating for route of autonomous vehicle | |
| CN116935074B (zh) | 基于深度亲和网络自适应关联的多目标跟踪方法及装置 | |
| CN113963027B (zh) | 不确定性检测模型的训练、不确定性的检测方法及装置 | |
| US20230316569A1 (en) | Apparatus and method for detecting a 3d object | |
| CN117456407B (zh) | 一种多目标图像跟踪方法及装置 | |
| US20240230842A9 (en) | Method and apparatus of filtering dynamic objects in radar-based ego-emotion estimation | |
| CN117291952B (zh) | 一种基于速度预测和图像重建的多目标跟踪方法及装置 | |
| CN116580063B (zh) | 目标追踪方法、装置、电子设备及存储介质 | |
| CN116612154A (zh) | 基于最优运动模型轨迹预测的高稳定多目标跟踪方法 | |
| US20230316775A1 (en) | Methods and Systems for Object Tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Li Inventor after: Liu Dedong Inventor after: Xie Tao Inventor after: Xu Dazhong Inventor before: Zhang Xinyu Inventor before: Wang Li Inventor before: Liu Dedong Inventor before: Xie Tao Inventor before: Xu Dazhong |