CN115953434B - 轨迹匹配方法、装置、电子设备和存储介质 - Google Patents
轨迹匹配方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115953434B CN115953434B CN202310118712.2A CN202310118712A CN115953434B CN 115953434 B CN115953434 B CN 115953434B CN 202310118712 A CN202310118712 A CN 202310118712A CN 115953434 B CN115953434 B CN 115953434B
- Authority
- CN
- China
- Prior art keywords
- target
- bounding box
- track
- image
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000008447 perception Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 11
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000011144 upstream manufacturing Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种轨迹匹配方法，涉及计算机视觉、图像处理、深度学习等人工智能技术领域，可应用于自动驾驶、无人驾驶等场景。具体实现方案为：从来自第一感知设备的第一图像序列中确定n个第一轨迹，以及从来自第二感知设备的第二图像序列中确定m个第二轨迹，第一轨迹包括第一包围框序列和第一特征序列，第二轨迹包括第二包围框序列和第二特征序列；根据第一特征序列和第二特征序列，计算n个第一轨迹与m个第二轨迹之间的距离关系；根据距离关系，确定n个第一轨迹中每个第一包围框的互最近邻集合；根据互最近邻集合，确定m个第二轨迹中与第一轨迹匹配的第二轨迹。本公开还提供了一种轨迹匹配装置、电子设备和存储介质。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及计算机视觉、图像处理、深度学习技术领域，可应用于自动驾驶、无人驾驶等场景。更具体地，本公开提供了一种轨迹匹配方法、装置、电子设备和存储介质。
背景技术
多目标跟踪的主要任务包括在给定视频中同时对多个目标进行定位，并且维持多个目标各自的标识、记录多个目标各自的轨迹等。多目标跟踪任务广泛应用于机器人导航、智能监控视频、工业检测、航空航天、自动驾驶等领域。
跨摄像头的连续多目标跟踪可以获得目标在多个摄像头视野下完整的轨迹，可用于城市、高速等道路管理，数字孪生等场景。
发明内容
本公开提供了一种轨迹匹配方法、装置、设备以及存储介质。
根据第一方面，提供了一种轨迹匹配方法，该方法包括：从来自第一感知设备的第一图像序列中确定n个第一轨迹，以及从来自第二感知设备的第二图像序列中确定m个第二轨迹，n和m均为大于1的整数，第一轨迹包括第一包围框序列和第一特征序列，第二轨迹包括第二包围框序列和第二特征序列；根据第一特征序列和第二特征序列，计算n个第一轨迹与m个第二轨迹之间的距离关系；根据距离关系，确定n个第一轨迹中每个第一包围框的互最近邻集合，互最近邻集合包括与第一包围框互为最近邻的多个第二包围框；以及根据互最近邻集合，确定m个第二轨迹中与第一轨迹匹配的第二轨迹。
根据第二方面，提供了一种轨迹匹配装置，该装置包括：轨迹确定模块，用于从来自第一感知设备的第一图像序列中确定n个第一轨迹，以及从来自第二感知设备的第二图像序列中确定m个第二轨迹，n和m均为大于1的整数，第一轨迹包括第一包围框序列和第一特征序列，第二轨迹包括第二包围框序列和第二特征序列；计算模块，用于根据第一特征序列和第二特征序列，计算n个第一轨迹与m个第二轨迹之间的距离关系；最近邻确定模块，用于根据距离关系，确定n个第一轨迹中每个第一包围框的互最近邻集合，互最近邻集合包括与第一包围框互为最近邻的多个第二包围框；以及轨迹匹配模块，用于根据互最近邻集合，确定m个第二轨迹中与第一轨迹匹配的第二轨迹。
根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例的可以应用轨迹匹配方法和装置的示例性***架构示意图；
图2是根据本公开的一个实施例的轨迹匹配方法的流程图；
图3是根据本公开的一个实施例的轨迹匹配方法的***架构图；
图4是根据本公开的一个实施例的包围框粒度的跨摄像头轨迹匹配方法的示意图；
图5是根据本公开的一个实施例的跨摄像头多目标跟踪的效果图；
图6是根据本公开的一个实施例的轨迹匹配装置的框图；
图7是根据本公开的一个实施例的轨迹匹配方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，主流的多目标跟踪方法多为基于检测的跟踪方法。目标可以指车辆、行人、机器人等。
例如，一种针对单摄像头的多目标跟踪方法，获取单摄像头下连续多帧图像中每一帧图像的检测结果，每一帧图像的检测结果包括该帧图像内的多个目标各自的包围框，包围框包括位置和尺寸特征。对每个目标的包围框内的小图提取特征，得到每个目标的特征。接下来比较每相邻两帧图像中的目标的特征，完成相邻两帧图像中目标的匹配，进而完成连续多帧图像中的目标的匹配，得到单摄像头下的多个目标各自的包围框序列，作为多个目标各自的轨迹，也即单摄像头多目标跟踪结果。
一种跨摄像头多目标跟踪方法，对于存在距离间隔的连续多个摄像头，可以先获得单摄像头下的多目标跟踪结果，再根据目标的轨迹级别的特征(例如与包围框序列对应的特征序列)进行轨迹匹配，得到多个目标在连续多个摄像头下的各自的轨迹，即跨摄像头多目标跟踪结果。
例如，根据目标的轨迹级别的特征进行轨迹匹配可以包括将特征序列的平均值或者特征序列中关键帧的特征作为整个轨迹的特征，进而进行轨迹匹配。但是该方法容易忽略一些具体包围框的特征，造成目标特征不明显，进而容易造成跟踪混淆。尤其在场景复杂、存在相似度较高的目标的情况下，目标跟踪易混淆，鲁棒性差。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
图1是根据本公开一个实施例的可以应用轨迹匹配方法和装置的示例性***架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105进行交互，以接收或发送消息等。终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的轨迹匹配方法一般可以由服务器105执行。相应地，本公开实施例所提供的轨迹匹配装置一般可以设置于服务器105中。
连续多个摄像头各自采集的图像序列可以由终端101、102、103通过网络104上传给服务器105。由服务器105执行本公开实施例提供的轨迹匹配方法，进而得到跨摄像头多目标跟踪结果。服务器105还可以将跨摄像头多目标跟踪结果通过网络104反馈给终端101、102、103，由终端101、102、103或者与终端101、102、103连接的其他设备基于跟踪结果显示多个目标在连续多个摄像头下的运动轨迹。
图2是根据本公开的一个实施例的轨迹匹配方法的流程图。
如图2所示，该轨迹匹配方法200包括操作S210～操作S240。
在操作S210，从来自第一感知设备的第一图像序列中确定n个第一轨迹，以及从来自第二感知设备的第二图像序列中确定m个第二轨迹。m和n均为大于1的整数，第一轨迹包括第一包围框序列和第一特征序列，第二轨迹包括第二包围框序列和第二特征序列。
第一感知设备和第二感知设备可以是地理位置相邻的两个摄像头，第一图像序列是第一感知设备拍摄得到的，第二图像序列是第二感知设备拍摄得到的。
n个第一轨迹可以是第一图像序列中的n个第一目标的轨迹，包括n个第一目标各自的第一包围框序列和第一特征序列。第一包围框表示第一目标的位置和尺寸，第一特征表示第一目标的外观信息。每个第一目标的第一包围框序列和第一特征序列是彼此对应的。
m个第二轨迹可以是第二图像序列中的m个第二目标的轨迹。包括m个第二目标各自的第二包围框序列和第二特征序列。第二包围框表示第二目标的位置和尺寸，第二特征表示第二目标的外观信息。每个第二目标的第二包围框序列和第二特征序列是彼此对应的。
第一目标和第二目标可以均为车辆。
在操作S220，根据第一特征序列和第二特征序列，计算n个第一轨迹与m个第二轨迹之间的距离关系。
例如，可以计算n个第一轨迹中每个第一包围框分别与m个第二轨迹中每个第二包围框之间的相似度。根据相似度来确定n个第一轨迹与m个第二轨迹之间的距离关系。
例如，可以将n个第一轨迹中的n个第一包围框序列表示为第一矩阵，第一矩阵中的每个元素表示一个第一包围框，第一矩阵中的每个元素具有与该元素所表示的第一包围框对应的第一特征。将m个第二轨迹中的m个第二包围框序列表示为第二矩阵，第二矩阵中的每个元素表示一个第二包围框，第二矩阵中的每个元素具有与该元素所表示的第二包围框对应的第二特征。
例如，将第一矩阵中的每个元素的第一特征和第二矩阵中的每个元素的第二特征分别进行相似度计算，得到相似度矩阵。该相似度矩阵可以表示n个第一轨迹与m个第二轨迹之间的距离关系。
在操作S230，根据距离关系，确定n个第一轨迹中每个第一包围框的互最近邻集合，互最近邻集合包括与第一包围框互为最近邻的多个第二包围框。
例如，针对每个第一包围框，可以根据距离关系查找与该第一包围框最近邻的k(k为大于1的整数，例如k＝3)个第二包围框。针对每个第二包围框，也可以根据距离关系查找与该第二包围框最近邻的k个第一包围框。根据每个第一包围框的k-最近邻和每个第二包围框的k-最近邻，可以确定k-互最近邻关系。
例如，第一包围框X属于第二包围框Y的k-最近邻，且第二包围框Y属于第一包围框X的k-最近邻，那么第一包围框X和第二包围框Y互为k-最近邻。
针对每个第一包围框，可以将与该第一包围框互为k-最近邻的所有第二包围框组成k-互最近邻集合。
在操作S240，根据互最近邻集合，确定m个第二轨迹中与第一轨迹匹配的第二轨迹。
根据本公开的实施例，针对每个第一包围框，该第一包围框的互最近邻集合中包括多个第二包围框，该多个第二包围框的部分或全部第二包围框可能属于同一个第二轨迹，因此可以将多个第二包围框组成的第二轨迹确定为与该第一包围框匹配的第二轨迹。
例如，第一包围框A1的k-互最近邻集合为{第二包围框B1、第二包围框B2、第二包围框C1}。第二包围框B1和第二包围框B2属于第二轨迹B。因此，可以确定第二轨迹B为与第一包围框A1匹配的第二轨迹。
根据本公开的实施例，针对每个第一轨迹，该第一轨迹中的每个第一包围框均可以确定与该第一包围框对应的第二轨迹。将与第一轨迹的每个第一包围框匹配的第二轨迹组合为候选轨迹集合，将候选轨迹集合中数量最多的第二轨迹确定为与该第一轨迹匹配的第二轨迹。
例如，第一轨迹A包括第一包围框A1、第一包围框A2和第一包围框A3。第一包围框A1的k-互最近邻集合为{第二包围框B1、第二包围框B2、第二包围框C1}，因此，与第一包围框A1匹配的第二轨迹为第二轨迹B，第二轨迹B作为候选第二轨迹添加到候选轨迹集合中。
第一包围框A2的k-互最近邻集合为{第二包围框C1、第二包围框C2}，因此，与第一包围框A2匹配的第二轨迹为第二轨迹C，第二轨迹C作为候选第二轨迹添加到候选轨迹集合中。
第一包围框A3的k-互最近邻集合为{第二包围框C1、第二包围框C2、第二包围框C3}，因此，与第一包围框A3匹配的第二轨迹为第二轨迹C，第二轨迹C作为候选第二轨迹添加到候选轨迹集合中。
因此，候选轨迹集合为{第二轨迹B、第二轨迹C、第二轨迹C}，其中候选轨迹集合数量最多的候选轨迹为第二轨迹C，因此，可以将第二轨迹C确定为与第一轨迹A匹配的第二轨迹。
由于第一轨迹A和第二轨迹C彼此匹配，因此可以确定第一轨迹A和第二轨迹C为同一目标的轨迹，进而可以确定该同一目标的跨摄像头的运动轨迹。
相比于相关技术中根据轨迹级别的特征序列进行轨迹匹配，本实施例针对来自不同摄像头的第一轨迹和第二轨迹，计算包围框粒度的距离关系，根据距离关系进行包围框粒度的轨迹匹配，能够使得轨迹匹配更加精确。
根据本公开的实施例，操作S220包括针对n个第一轨迹中的每个包围框，根据该包围框的特征分别与m个第二轨迹中的每个包围框的特征之间的相似度，计算相似度矩阵；以及针对相似度矩阵中的每个元素，根据与该元素对应的两个包围框各自的遮挡比例，优化元素，得到优化后的相似度矩阵，作为距离关系。
例如，可以将n个第一轨迹中的第i个轨迹表示为i∈[1，n]，hi表示第i个轨迹的长度，/>表示第i个轨迹中第1帧中的第一包围框，/>表示第i个轨迹中最后一帧的第一包围框。
类似地，可以将m个第二轨迹中的第j个轨迹表示为j∈[1，m]，hj表示第j个轨迹的长度，/>表示第j个轨迹中第1帧的第二包围框，/>表示第j个轨迹中最后一帧的第二包围框。
计算n个第一轨迹中每个第一包围框分别与m个第二轨迹中每个第二包围框之间的相似度，得到的相似度矩阵D表示如下：
其中，cos()表示两个包围框的特征之间的余弦距离，1-cos()可以表示两个包围框的相似度距离，也是相似度矩阵D中的元素。可以用表示相似度矩阵D中的元素，即具体表示包围框I和包围框J之间的相似度距离。
针对相似度矩阵D中的每个元素根据包围框I和包围框J被遮挡的比例，可以优化元素/>可以根据以下公式(1)来优化元素/>
其中，表示相似度矩阵中的元素，I，J表示与该元素对应的两个包围框，ro表示包围框I的遮挡比例和包围框J的遮挡比例中的最大值，rthre和αo为超参数。
在ro大于rthre时，即包围框遮挡比例最大值大于阈值(例如50％)的情况下，由于包围框被其他车辆遮挡的比例较大，两个包围框之间的相似度不准确，因此可以抑制该两个包围框之间的相似度距离。例如，αo小于0，函数单调递减，使得相似度越大，越被抑制。
优化后的相似度距离矩阵可以作为n个第一轨迹与m个第二轨迹之间的距离矩阵，也即距离关系。
下面结合图3对本公开实施例提供的轨迹匹配方法进行详细说明。
图3是根据本公开的一个实施例的轨迹匹配方法的***架构图。
如图3所示，本实施例的***架构图包括目标检测模块310、特征提取模块320、单摄像头跟踪模块330和跨摄像头关联模块340。图像序列301～304例如分别是来自连续多个摄像头的图像序列，例如图像序列301来自摄像头A，图像序列302来自摄像头B，图像序列303来自摄像头C，图像序列304来自摄像头D，摄像头A～D是地理位置上连续(彼此相邻)的摄像头。
针对图像序列301，输入目标检测模块310，得到图像序列301中目标的包围框。目标检测模块310可以通过卷积神经网络实现，网络结构为PPYOLO-E(PaddlePaddle-YOLO，PPYOLO-E是基于PPYOLO系列模型改进得到的)，模型输入为单个图像，输出为目标在图像上的包围框位置、类别和置信度分数。
特征提取模块320用于将目标检测模块310输出的每个目标的包围框围成的小图输入卷积神经网络得到目标的ReID(Re-identification，重识别)特征321，ReID特征321区别于单个维度的颜色特征、形状特征等，是表示目标整体外观信息的特征。针对一个特定目标，利用该目标的ReID特征能够确定该目标在其他图像中是否出现。特征提取模块320的骨干网络结构可以为HRNet(High-Resolution Network，高分辨率网络)。
单摄像头跟踪模块330的网络结构可以是基于DeepSORT(Simple OnlineRealtime Tracking，SORT，SORT是DeepSORT的前身)改进得到的。单摄像头跟踪模块330的输入为图像以及图像的目标检测结果，该目标检测结果包括目标检测模块310输出的包围框信息以及特征提取模块320输出的ReID特征321。输出为每个目标在当前摄像头下的跟踪标识(跟踪ID)。
例如，获取将当前图像的目标检测结果，当前图像的目标检测结果包括当前图像中每个目标的包围框和ReID特征。获取在前图像的目标跟踪结果，目标跟踪结果包括在前图像中每个目标的包围框、ReID特征和跟踪ID。根据ReID特征对当前图像中的目标和在前图像中的目标进行关联匹配，得到匹配成功的目标对。匹配成功的目标对表示该目标对为同一目标。针对匹配成功的目标对，将目标对中来自在前图像的目标的跟踪ID赋予来自当前图像的目标，使得同一个目标具有相同的跟踪ID。
对于当前图像中未匹配成功的目标，该目标可能是图像序列301中第一个图像的目标，或者是新进入到摄像头的拍摄范围的新目标。对于此类目标，可以为该目标新创建一个跟踪ID。
图像序列301中的图像的目标检测结果，按照图像顺序连续输入单摄像头跟踪模块330，可以得到每一个图像的目标跟踪结果，进而得到图像序列301的单摄像头多目标跟踪结果。图像序列301中具有相同跟踪ID的目标的包围框序列和ReID特征序列作为目标的轨迹，因此，图像序列301的单摄像头多目标跟踪结果包括多个目标各自的轨迹。
类似地，还可以得到图像序列302～图像序列304各自的单摄像头多目标跟踪结果。
跨摄像头关联模块340的输入为连续的图像序列各自的单摄像头多目标跟踪结果，对相邻的图像序列中的多目标轨迹进行匹配，可以得到跨摄像头多目标跟踪结果。
根据本公开的实施例，在得到跨摄像头多目标跟踪结果之后，还包括将被确定为彼此匹配的第一轨迹和第二轨迹分别对应的第一目标和第二目标确定为同一目标；以及为被确定为同一目标的第一目标和第二目标赋予相同的全局标识。
例如，轨迹341和轨迹342相匹配，可以确定与轨迹341对应的目标和与轨迹342对应的目标为同一目标。可以为该同一目标创建全局标识(全局ID)，使得该目标在连续多个摄像头下具有相同的数字ID，不易与其他目标混淆。
跨摄像头关联模块340对相邻的图像序列中的多目标轨迹进行匹配的方法，具体是基于包围框粒度的跨摄像头轨迹匹配方法。下面结合图4对本公开提供的包围框粒度的跨摄像头轨迹匹配方法进行具体说明。
图4是根据本公开的一个实施例的包围框粒度的跨摄像头轨迹匹配方法的示意图。
如图4所示，本实施例的跨摄像头可以包括具有地理位置相邻关系的上游摄像头和下游摄像头。
视频410可以来自上游摄像头，通过对视频410抽帧为图像序列，并进行目标检测，得到多个(例如3个)包围框序列411，每个包围框序列对应视频410中的一个目标。通过对包围框序列411进行特征提取，得到与包围框序列对应的特征序列，多个包围框序列411和对应的特征序列组成多个上游轨迹412。
例如，多个上游轨迹412包括上游轨迹B1、上游轨迹B2和上游轨迹B3，可以通过在没有特征的帧位置补0的操作将上游轨迹B1、上游轨迹B2和上游轨迹B3的长度处理为一致，并组成第一矩阵413。
视频420可以来自下游摄像头，通过对视频420抽帧为图像序列，并进行目标检测，得到多个(例如3个)包围框序列421，每个包围框序列对应视频420中的一个目标。通过对包围框序列421进行特征提取，得到与包围框序列对应的特征序列，多个包围框序列421和对应的特征序列组成多个下游轨迹422。
例如，多个下游轨迹422包括下游轨迹下游轨迹/>和下游轨迹/> 可以通过在没有特征的帧位置补0的操作将下游轨迹/>下游轨迹/>和下游轨迹/>的长度处理为一致，并组成第二矩阵423。
计算第一矩阵413中的每个元素分别与第二矩阵423中的每个元素之间的相似度，得到相似度矩阵。并通过上述公式(1)进行相似度矩阵优化，得到包围框粒度的距离矩阵430，距离矩阵430中的元素表示两个包围框之间的相似度距离。
接下来，基于距离矩阵430，利用k-互近邻匹配算法进行包围框粒度的轨迹匹配。
可以通过如下公式(2)定义k-最近邻关系。
其中，表示第i个轨迹中第h帧的包围框，/>表示/>的k个最近邻。
可以通过如下公式(3)定义k-互最近邻关系。
其中，表示第i个轨迹中第h帧的包围框，/>表示/>的k-互最近邻集合。
为便于描述，下面将上游轨迹中的包围框称为上游包围框，将下游轨迹中的包围框称为下游包围框。
针对每个上游包围框，可以查找与该上游包围框最近邻的k(例如k＝3)个下游包围框。例如，针对上游轨迹中的每个上游包围框，分别根据距离矩阵430查找与各自最近邻的k个下游包围框，得到上游轨迹B1的最近邻关系集合441。类似地，可以得到上游轨迹B2的最近邻关系集合442，以及上游轨迹B3的最近邻关系集合443。
针对每个下游包围框，可以反向查找与该下游包围框最近邻的k(例如k＝3)个下游包围框。例如，集合451～453可以是通过反向查找得到的、分别对应集合441～443的最近邻关系集合。
例如，在上游轨迹B1的最近邻关系集合441中，上游包围框的k-最近邻集合为 和/>均属于下游轨迹/>针对/>和/>分别通过距离矩阵430反向查找k-最近邻，在/>和/>各自的k-最近邻中均包含/>(例如集合451中分别与/>和/>各自对应的灰色框的内容为/>)。因此，/>和/>属于/>的k-互最近邻集合。由于/>和/>属于下游轨迹/>因此下游轨迹/>与上游包围框/>匹配，下游轨迹/>可以作为上游轨迹B1为候选轨迹。
类似地，在上游轨迹B1的最近邻关系集合441中，上游包围框的k-最近邻集合为 和/>属于下游轨迹/>针对/>和/>分别通过距离矩阵430反向查找k-最近邻，在/>和/>各自的k-最近邻中均包含/>(例如集合451中分别与/>和/>各自对应的灰色框的内容为/>)，因此，/>和/>属于/>的k-互最近邻集合。由于/>和/>属于下游轨迹/>因此下游轨迹/>与上游包围框/>匹配，下游轨迹/>可以作为上游轨迹B1为候选轨迹。
类似地，针对上游轨迹B1中的上游包围框可以确定下游轨迹/>与/>匹配，下游轨迹/>可以作为上游轨迹B1为候选轨迹。
因此，针对上游轨迹B1，候选轨迹集合为通过投票法，统计候选轨迹集合中数量最多的下游轨迹/>为与上游轨迹B1匹配的下游轨迹，即上游轨迹B1与下游轨迹/>匹配。
类似地，还可以确定上游轨迹B2与下游轨迹匹配，上游轨迹B3与下游轨迹/>匹配。
本实施例通过计算包围框粒度的距离矩阵，利用k-互最近邻匹配算法进行包围框粒度的轨迹匹配，能够使得轨迹匹配更加精确。
图5是根据本公开的一个实施例的跨摄像头多目标跟踪的效果图。
如图5所示，目标包括ID为65的车辆以及ID为67的车辆。车辆的ID是根据本公开提供的匹配方法为每个目标创建的全局ID。由于为同一目标赋予相同的全局ID，使得车辆在连续多个摄像头下具有相同的数字标识。
例如，针对ID为65的车辆，在摄像头A、摄像头B和摄像头C拍摄下的画面中均以包围框和ID(65)的形式进行显示。类似地，针对ID为67的车辆，在摄像头A、摄像头B和摄像头C拍摄下的画面中也均以包围框和ID(67)的形式进行显示。
本实施例将目标以包围框和ID的形式进行跨摄像头跟踪显示，能够使得目标更加明确，跟踪不易混淆。
图6是根据本公开的一个实施例的轨迹匹配装置的框图。
如图6所示，该轨迹匹配装置600包括轨迹确定模块601、计算模块602、最近邻确定模块603和轨迹匹配模块604。
轨迹确定模块601用于从来自第一感知设备的第一图像序列中确定n个第一轨迹，以及从来自第二感知设备的第二图像序列中确定m个第二轨迹，n和m均为大于1的整数，第一轨迹包括第一包围框序列和第一特征序列，第二轨迹包括第二包围框序列和第二特征序列。
计算模块602用于根据第一特征序列和第二特征序列，计算n个第一轨迹与m个第二轨迹之间的距离关系。
最近邻确定模块603用于根据距离关系，确定n个第一轨迹中每个第一包围框的互最近邻集合，互最近邻集合包括与第一包围框互为最近邻的多个第二包围框。
轨迹匹配模块604用于根据互最近邻集合，确定m个第二轨迹中与第一轨迹匹配的第二轨迹。
根据本公开的实施例，第一包围框序列中的包围框与第一特征序列中的特征对应。计算模块602包括计算单元和优化单元。
计算单元用于针对n个第一轨迹中的每个包围框，根据该包围框的特征分别与m个第二轨迹中的每个包围框的特征之间的相似度，计算相似度矩阵。
优化单元用于针对相似度矩阵中的每个元素，根据与该元素对应的两个包围框各自的遮挡比例，优化元素，得到优化后的相似度矩阵，作为距离关系。
优化单元用于根据以下公式优化元素：
其中，表示相似度矩阵中的元素，I，J表示与该元素对应的两个包围框，ro表示包围框I的遮挡比例和包围框J的遮挡比例中的最大值，rthr和αo为超参数。
最近邻确定模块603包括第一最近邻确定单元、第二最近邻确定单元、互最近邻确定单元和组合单元。
第一最近邻确定单元用于针对每个第一包围框，根据距离关系确定与该第一包围框最近邻的k个第二包围框，k为大于1的整数。
第二最近邻确定单元用于针对每个第二包围框，根据距离关系确定与该第二包围框最近邻的k个第一包围框。
互最近邻确定单元用于响应于特定的第一包围框属于特定的第二包围框的最近邻，且特定的第二包围框属于特定的第一包围框的最近邻，确定特定的第一包围框与特定的第二包围框互为最近邻。
组合单元用于针对每个第一包围框，将与该第一包围框互为最近邻的所有第二包围框组合为互最近邻集合。
轨迹匹配模块604包括轨迹匹配单元和筛选单元。
轨迹匹配单元用于针对每个第一包围框，将该第一包围框的互最近邻集合中的多个第二包围框组成的第二轨迹确定为与该第一包围框匹配的第二轨迹。
筛选单元用于针对每个第一轨迹，将与该第一轨迹中的每个第一包围框匹配的第二轨迹组合为候选轨迹集合，将候选轨迹集合中数量最多的第二轨迹确定为与该第一轨迹匹配的第二轨迹。
根据本公开的实施例，第一轨迹是第一目标的轨迹，第二轨迹是第二目标的轨迹。轨迹匹配装置600还包括目标确定模块和标识模块。
目标确定模块用于将被确定为彼此匹配的第一轨迹和第二轨迹分别对应的第一目标和第二目标确定为同一目标。
标识模块用于为被确定为同一目标的第一目标和第二目标赋予相同的全局标识。
轨迹确定模块601包括第一检测结果获取单元、第一跟踪结果获取单元、第一目标对匹配单元、第一标识单元和第一轨迹确定单元。
第一检测结果获取单元用于获取第一图像序列中当前第一图像的第一目标检测结果，第一目标检测结果包括当前第一图像中的至少一个第一目标各自的第一包围框和第一特征。
第一跟踪结果获取单元用于获取当前第一图像的在前第一图像的第一目标跟踪结果，第一目标跟踪结果包括在前第一图像中的至少一个第一目标各自的第一包围框、第一特征和第一跟踪标识。
第一目标对匹配单元用于根据第一包围框和第一特征，对当前第一图像中的至少一个第一目标和在前第一图像中的至少一个第一目标进行匹配，得到匹配成功的第一目标对。
第一标识单元用于针对匹配成功的第一目标对，将第一目标对中来自在前第一图像的第一目标的第一跟踪标识赋予来自当前第一图像的第一目标。
第一轨迹确定单元用于将第一图像序列中具有相同第一跟踪标识的第一目标的第一包围框序列和第一特征序列确定为第一轨迹。
轨迹确定模块601还包括第二检测结果获取单元、第二跟踪结果获取单元、第二目标对匹配单元、第二标识单元和第二轨迹确定单元。
第二检测结果获取单元用于获取第二图像序列中当前第二图像的第二目标检测结果，第二目标检测结果包括当前第二图像中的至少一个第二目标各自的第二包围框和第二特征。
第二跟踪结果获取单元用于获取当前第二图像的在前第二图像的第二目标跟踪结果，第二目标跟踪结果包括在前第二图像中的至少一个第二目标各自的第二包围框、第二特征和第二跟踪标识。
第二目标对匹配单元用于根据第二包围框和第二特征，对当前第二图像中的至少一个第二目标和在前第二图像中的至少一个第二目标进行匹配，得到匹配成功的第二目标对。
第二标识单元用于针对匹配成功的第二目标对，将第二目标对中来自在前第二图像的第二目标的第二跟踪标识赋予来自当前第二图像的第二目标。
第二轨迹确定单元用于将第二图像序列中具有相同第二跟踪标识的第二目标的第二包围框序列和第二特征序列确定为第二轨迹。
轨迹匹配装置600还包括第一创建单元和第二创建单元。
第一创建模块用于为当前第一图像中未匹配成功的第一目标创建跟踪标识。
第二创建模块用于为当前第二图像中未匹配成功的第二目标创建第二跟踪标识。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如轨迹匹配方法。例如，在一些实施例中，轨迹匹配方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的轨迹匹配方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行轨迹匹配方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (22)
1.一种轨迹匹配方法，包括：
从来自第一感知设备的第一图像序列中确定n个第一轨迹，以及从来自第二感知设备的第二图像序列中确定m个第二轨迹，n和m均为大于1的整数，所述第一轨迹包括彼此对应的第一包围框序列和第一特征序列，所述第二轨迹包括彼此对应的第二包围框序列和第二特征序列；
根据所述第一特征序列和第二特征序列，计算所述n个第一轨迹与所述m个第二轨迹之间的距离关系；
根据所述距离关系，确定所述n个第一轨迹中每个第一包围框的互最近邻集合，所述互最近邻集合包括与所述第一包围框互为最近邻的多个第二包围框；以及
根据所述互最近邻集合，确定所述m个第二轨迹中与所述第一轨迹匹配的第二轨迹；
其中，所述计算所述n个第一轨迹与所述m个第二轨迹之间的距离关系包括：
针对所述n个第一轨迹中的每个包围框，根据该包围框的特征分别与所述m个第二轨迹中的每个包围框的特征之间的相似度，计算相似度矩阵；
针对所述相似度矩阵中的每个相似度元素，确定与该相似度元素对应的两个包围框的遮挡比例中的最大值，响应于遮挡比例最大值大于阈值，将所述相似度元素的值乘以一个函数的输出值，所述函数是以e为底的指数函数，所述指数函数的参数为1加所述遮挡比例最大值的和再乘以一个小于0的超参数。
2.根据权利要求1所述的方法，其中，所述根据所述第一特征序列和第二特征序列，计算所述n个第一轨迹与所述m个第二轨迹之间的距离关系还包括：
针对所述相似度矩阵中的每个元素，根据与该元素对应的两个包围框各自的遮挡比例，优化所述元素，得到优化后的相似度矩阵，作为所述距离关系。
3.根据权利要求2所述的方法，其中，所述针对所述相似度矩阵中的每个元素，根据与该元素对应的两个包围框各自的遮挡比例，优化所述元素包括：
根据以下公式优化所述元素：
其中，表示所述相似度矩阵中的元素，I，J表示与该元素对应的两个包围框，ro表示包围框I的遮挡比例和包围框J的遮挡比例中的最大值，rthre和αo为超参数。
4.根据权利要求1所述的方法，其中，所述根据所述距离关系，确定所述n个第一轨迹中每个第一包围框的互最近邻集合包括：
针对每个第一包围框，根据所述距离关系确定与该第一包围框最近邻的k个第二包围框，k为大于1的整数；
针对每个第二包围框，根据所述距离关系确定与该第二包围框最近邻的k个第一包围框；
响应于特定的第一包围框属于特定的第二包围框的最近邻，且所述特定的第二包围框属于所述特定的第一包围框的最近邻，确定所述特定的第一包围框与所述特定的第二包围框互为最近邻；以及
针对每个第一包围框，将与该第一包围框互为最近邻的所有第二包围框组合为所述互最近邻集合。
5.根据权利要求1或4所述的方法，其中，所述根据所述互最近邻集合，确定所述m个第二轨迹中与所述第一轨迹匹配的第二轨迹包括：
针对每个第一包围框，将该第一包围框的互最近邻集合中的多个第二包围框组成的第二轨迹确定为与该第一包围框匹配的第二轨迹；
针对每个第一轨迹，将与该第一轨迹中的每个第一包围框匹配的第二轨迹组合为候选轨迹集合，将所述候选轨迹集合中数量最多的第二轨迹确定为与该第一轨迹匹配的第二轨迹。
6.根据权利要求1所述的方法，其中，所述第一轨迹是第一目标的轨迹，所述第二轨迹是第二目标的轨迹；所述方法还包括：
将被确定为彼此匹配的第一轨迹和第二轨迹分别对应的第一目标和第二目标确定为同一目标；以及
为被确定为同一目标的第一目标和第二目标赋予相同的全局标识。
7.根据权利要求1所述的方法，其中，所述从来自第一感知设备的第一图像序列中确定n个第一轨迹包括：
获取所述第一图像序列中当前第一图像的第一目标检测结果，所述第一目标检测结果包括所述当前第一图像中的至少一个第一目标各自的第一包围框和第一特征；
获取所述当前第一图像的在前第一图像的第一目标跟踪结果，所述第一目标跟踪结果包括所述在前第一图像中的至少一个第一目标各自的第一包围框、第一特征和第一跟踪标识；
根据所述第一包围框和第一特征，对所述当前第一图像中的至少一个第一目标和所述在前第一图像中的至少一个第一目标进行匹配，得到匹配成功的第一目标对；
针对所述匹配成功的第一目标对，将所述第一目标对中来自在前第一图像的第一目标的第一跟踪标识赋予来自当前第一图像的第一目标；以及
将所述第一图像序列中具有相同第一跟踪标识的第一目标的第一包围框序列和第一特征序列确定为第一轨迹。
8.根据权利要求7所述的方法，还包括：
为所述当前第一图像中未匹配成功的第一目标创建跟踪标识。
9.根据权利要求1所述的方法，其中，所述从来自第二感知设备的第二图像序列中确定m个第二轨迹包括：
获取所述第二图像序列中当前第二图像的第二目标检测结果，所述第二目标检测结果包括所述当前第二图像中的至少一个第二目标各自的第二包围框和第二特征；
获取所述当前第二图像的在前第二图像的第二目标跟踪结果，所述第二目标跟踪结果包括所述在前第二图像中的至少一个第二目标各自的第二包围框、第二特征和第二跟踪标识；
根据所述第二包围框和第二特征，对所述当前第二图像中的至少一个第二目标和所述在前第二图像中的至少一个第二目标进行匹配，得到匹配成功的第二目标对；
针对所述匹配成功的第二目标对，将所述第二目标对中来自在前第二图像的第二目标的第二跟踪标识赋予来自当前第二图像的第二目标；以及
将所述第二图像序列中具有相同第二跟踪标识的第二目标的第二包围框序列和第二特征序列确定为第二轨迹。
10.根据权利要求9所述的方法，还包括：
为所述当前第二图像中未匹配成功的第二目标创建第二跟踪标识。
11.一种轨迹匹配装置，包括：
轨迹确定模块，用于从来自第一感知设备的第一图像序列中确定n个第一轨迹，以及从来自第二感知设备的第二图像序列中确定m个第二轨迹，n和m均为大于1的整数，所述第一轨迹包括彼此对应的第一包围框序列和第一特征序列，所述第二轨迹包括彼此对应的第二包围框序列和第二特征序列；
计算模块，用于根据所述第一特征序列和第二特征序列，计算所述n个第一轨迹与所述m个第二轨迹之间的距离关系；
最近邻确定模块，用于根据所述距离关系，确定所述n个第一轨迹中每个第一包围框的互最近邻集合，所述互最近邻集合包括与所述第一包围框互为最近邻的多个第二包围框；以及
轨迹匹配模块，用于根据所述互最近邻集合，确定所述m个第二轨迹中与所述第一轨迹匹配的第二轨迹；
其中，所述计算模块用于针对所述n个第一轨迹中的每个包围框，根据该包围框的特征分别与所述m个第二轨迹中的每个包围框的特征之间的相似度，计算相似度矩阵；针对所述相似度矩阵中的每个相似度元素，确定与该相似度元素对应的两个包围框的遮挡比例中的最大值，响应于遮挡比例最大值大于阈值，将所述相似度元素的值乘以一个函数的输出值，所述函数是以e为底的指数函数，所述指数函数的参数为1加所述遮挡比例最大值的和再乘以一个小于0的超参数。
12.根据权利要求11所述的装置，所述计算模块包括：
优化单元，用于针对所述相似度矩阵中的每个元素，根据与该元素对应的两个包围框各自的遮挡比例，优化所述元素，得到优化后的相似度矩阵，作为所述距离关系。
13.根据权利要求12所述的装置，其中，所述优化单元，用于根据以下公式优化所述元素：
其中，表示所述相似度矩阵中的元素，I，J表示与该元素对应的两个包围框，ro表示包围框I的遮挡比例和包围框J的遮挡比例中的最大值，rthre和αo为超参数。
14.根据权利要求11所述的装置，其中，所述最近邻确定模块包括：
第一最近邻确定单元，用于针对每个第一包围框，根据所述距离关系确定与该第一包围框最近邻的k个第二包围框，k为大于1的整数；
第二最近邻确定单元，用于针对每个第二包围框，根据所述距离关系确定与该第二包围框最近邻的k个第一包围框；
互最近邻确定单元，用于响应于特定的第一包围框属于特定的第二包围框的最近邻，且所述特定的第二包围框属于所述特定的第一包围框的最近邻，确定所述特定的第一包围框与所述特定的第二包围框互为最近邻；以及
组合单元，用于针对每个第一包围框，将与该第一包围框互为最近邻的所有第二包围框组合为所述互最近邻集合。
15.根据权利要求11或14所述的装置，其中，所述轨迹匹配模块包括：
轨迹匹配单元，用于针对每个第一包围框，将该第一包围框的互最近邻集合中的多个第二包围框组成的第二轨迹确定为与该第一包围框匹配的第二轨迹；
筛选单元，用于针对每个第一轨迹，将与该第一轨迹中的每个第一包围框匹配的第二轨迹组合为候选轨迹集合，将所述候选轨迹集合中数量最多的第二轨迹确定为与该第一轨迹匹配的第二轨迹。
16.根据权利要求11所述的装置，其中，所述第一轨迹是第一目标的轨迹，所述第二轨迹是第二目标的轨迹；所述装置还包括：
目标确定模块，用于将被确定为彼此匹配的第一轨迹和第二轨迹分别对应的第一目标和第二目标确定为同一目标；以及
标识模块，用于为被确定为同一目标的第一目标和第二目标赋予相同的全局标识。
17.根据权利要求11所述的装置，其中，所述轨迹确定模块包括：
第一检测结果获取单元，用于获取所述第一图像序列中当前第一图像的第一目标检测结果，所述第一目标检测结果包括所述当前第一图像中的至少一个第一目标各自的第一包围框和第一特征；
第一跟踪结果获取单元，用于获取所述当前第一图像的在前第一图像的第一目标跟踪结果，所述第一目标跟踪结果包括所述在前第一图像中的至少一个第一目标各自的第一包围框、第一特征和第一跟踪标识；
第一目标对匹配单元，用于根据所述第一包围框和第一特征，对所述当前第一图像中的至少一个第一目标和所述在前第一图像中的至少一个第一目标进行匹配，得到匹配成功的第一目标对；
第一标识单元，用于针对所述匹配成功的第一目标对，将所述第一目标对中来自在前第一图像的第一目标的第一跟踪标识赋予来自当前第一图像的第一目标；以及
第一轨迹确定单元，用于将所述第一图像序列中具有相同第一跟踪标识的第一目标的第一包围框序列和第一特征序列确定为第一轨迹。
18.根据权利要求17所述的装置，还包括：
第一创建模块，用于为所述当前第一图像中未匹配成功的第一目标创建跟踪标识。
19.根据权利要求11所述的装置，其中，所述轨迹确定模块还包括：
第二检测结果获取单元，用于获取所述第二图像序列中当前第二图像的第二目标检测结果，所述第二目标检测结果包括所述当前第二图像中的至少一个第二目标各自的第二包围框和第二特征；
第二跟踪结果获取单元，用于获取所述当前第二图像的在前第二图像的第二目标跟踪结果，所述第二目标跟踪结果包括所述在前第二图像中的至少一个第二目标各自的第二包围框、第二特征和第二跟踪标识；
第二目标对匹配单元，用于根据所述第二包围框和第二特征，对所述当前第二图像中的至少一个第二目标和所述在前第二图像中的至少一个第二目标进行匹配，得到匹配成功的第二目标对；
第二标识单元，用于针对所述匹配成功的第二目标对，将所述第二目标对中来自在前第二图像的第二目标的第二跟踪标识赋予来自当前第二图像的第二目标；以及
第二轨迹确定单元，用于将所述第二图像序列中具有相同第二跟踪标识的第二目标的第二包围框序列和第二特征序列确定为第二轨迹。
20.根据权利要求19所述的装置，还包括：
第二创建模块，用于为所述当前第二图像中未匹配成功的第二目标创建第二跟踪标识。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310118712.2A CN115953434B (zh) | 2023-01-31 | 2023-01-31 | 轨迹匹配方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310118712.2A CN115953434B (zh) | 2023-01-31 | 2023-01-31 | 轨迹匹配方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115953434A CN115953434A (zh) | 2023-04-11 |
| CN115953434B true CN115953434B (zh) | 2023-12-19 |
Family
ID=87287812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310118712.2A Active CN115953434B (zh) | 2023-01-31 | 2023-01-31 | 轨迹匹配方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953434B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576167B (zh) * | 2024-01-16 | 2024-04-12 | 杭州华橙软件技术有限公司 | 多目标跟踪方法、多目标跟踪装置及计算机存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751017A (zh) * | 2019-09-03 | 2020-02-04 | 上海交通大学 | 一种基于强化学习的在线非监督的人群组分割方法及终端 |
| CN110852321A (zh) * | 2019-11-11 | 2020-02-28 | 北京百度网讯科技有限公司 | 候选框过滤方法、装置以及电子设备 |
| CN111651573A (zh) * | 2020-05-26 | 2020-09-11 | 上海智臻智能网络科技股份有限公司 | 一种智能客服对话回复生成方法、装置和电子设备 |
| CN113901922A (zh) * | 2021-10-11 | 2022-01-07 | 北京大学深圳研究生院 | 一种基于隐式表征解耦网络的遮挡行人重识别方法及*** |
| CN114612521A (zh) * | 2022-03-22 | 2022-06-10 | 中国科学技术大学 | 一种多目标多相机跟踪方法、***、设备及存储介质 |
| CN115641359A (zh) * | 2022-10-17 | 2023-01-24 | 北京百度网讯科技有限公司 | 确定对象的运动轨迹的方法、装置、电子设备和介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9355463B1 (en) * | 2014-11-24 | 2016-05-31 | Raytheon Company | Method and system for processing a sequence of images to identify, track, and/or target an object on a body of water |
| CN109214238B (zh) * | 2017-06-30 | 2022-06-28 | 阿波罗智能技术(北京)有限公司 | 多目标跟踪方法、装置、设备及存储介质 |
| CN110517293A (zh) * | 2019-08-29 | 2019-11-29 | 京东方科技集团股份有限公司 | 目标跟踪方法、装置、***和计算机可读存储介质 |
-
2023
- 2023-01-31 CN CN202310118712.2A patent/CN115953434B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751017A (zh) * | 2019-09-03 | 2020-02-04 | 上海交通大学 | 一种基于强化学习的在线非监督的人群组分割方法及终端 |
| CN110852321A (zh) * | 2019-11-11 | 2020-02-28 | 北京百度网讯科技有限公司 | 候选框过滤方法、装置以及电子设备 |
| CN111651573A (zh) * | 2020-05-26 | 2020-09-11 | 上海智臻智能网络科技股份有限公司 | 一种智能客服对话回复生成方法、装置和电子设备 |
| CN113901922A (zh) * | 2021-10-11 | 2022-01-07 | 北京大学深圳研究生院 | 一种基于隐式表征解耦网络的遮挡行人重识别方法及*** |
| CN114612521A (zh) * | 2022-03-22 | 2022-06-10 | 中国科学技术大学 | 一种多目标多相机跟踪方法、***、设备及存储介质 |
| CN115641359A (zh) * | 2022-10-17 | 2023-01-24 | 北京百度网讯科技有限公司 | 确定对象的运动轨迹的方法、装置、电子设备和介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于内容的图象检索技术研究综述;张宜;广西广播电视大学学报(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115953434A (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
| CN113221677B (zh) | 一种轨迹异常检测方法、装置、路侧设备和云控平台 | |
| CN113284168A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN113392794B (zh) | 车辆跨线识别方法、装置、电子设备和存储介质 | |
| CN110502962B (zh) | 视频流中目标的检测方法、装置、设备和介质 | |
| CN115641359B (zh) | 确定对象的运动轨迹的方法、装置、电子设备和介质 | |
| CN110909712A (zh) | 运动目标检测方法、装置、电子设备及存储介质 | |
| CN115953434B (zh) | 轨迹匹配方法、装置、电子设备和存储介质 | |
| CN116311063A (zh) | 监控视频下基于人脸识别的人员细粒度跟踪方法及*** | |
| CN115690545B (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
| CN113256683B (zh) | 目标跟踪方法及相关设备 | |
| CN111681264A (zh) | 一种监控场景的实时多目标跟踪方法 | |
| CN116363628A (zh) | 标志检测方法、装置、非易失性存储介质及计算机设备 | |
| CN114332509B (zh) | 图像处理方法、模型训练方法、电子设备及自动驾驶车辆 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| CN112861811B (zh) | 目标识别方法、装置、设备、存储介质及雷达 | |
| Khan et al. | Foreground detection using motion histogram threshold algorithm in high-resolution large datasets | |
| CN115331151A (zh) | 一种视频测速方法、装置、电子设备和存储介质 | |
| CN115393755A (zh) | 视觉目标跟踪方法、装置、设备以及存储介质 | |
| Nguyen et al. | An algorithm using YOLOv4 and DeepSORT for tracking vehicle speed on highway | |
| CN113379799B (zh) | 基于轮廓估计的无锚框目标跟踪方法 | |
| CN116228834B (zh) | 图像深度获取方法、装置、电子设备及存储介质 | |
| CN114820700B (zh) | 对象跟踪方法及装置 | |
| CN114091587A (zh) | 用于高精地图的确定对象类别的方法、装置、设备和介质 | |
| Nemcev et al. | Visual Objects Tracking on Road Sequences Using Information about Scene Perspective Transform. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |