CN116363565B - 目标轨迹确定方法、装置、电子设备及存储介质 - Google Patents
目标轨迹确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116363565B CN116363565B CN202310639967.3A CN202310639967A CN116363565B CN 116363565 B CN116363565 B CN 116363565B CN 202310639967 A CN202310639967 A CN 202310639967A CN 116363565 B CN116363565 B CN 116363565B
- Authority
- CN
- China
- Prior art keywords
- frame
- track
- target
- tracks
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 150
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机技术领域，提供了一种目标轨迹确定方法、装置、电子设备及存储介质。包括：获取目标运动视频；使用预测器预测目标在视频第i帧和第j帧的预测框；使用目标检测算法获取目标在视频第i帧和第j帧的检测框；响应于第i帧的预测框与第i帧的检测框未进行关联且第j帧的预测框与第j帧的检测框进行了关联，使用第i帧检测框和第j帧检测框生成虚拟轨迹；基于虚拟轨迹更新预测器；基于更新后的预测器预测目标在视频第j+n帧的预测框；使用目标检测算法获取目标在视频第j+n帧的检测框；将目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置；基于位置确定目标的轨迹。该方法能提高目标轨迹确定精度。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种目标轨迹确定方法、装置、电子设备及存储介质。
背景技术
现有追踪算法的运动模型假设目标运动是线性的，同时在追踪过程中需要连续的检测值来更新预测器，因此这些算法对于轨迹中的遮挡和目标的非线性运动是特别敏感的，往往会出现轨迹跳变（switch）和轨迹***的问题。
为了解决复杂场景下的目标追踪问题，相关技术提出了使用相机运动补偿来增强运动建模方法，基于目标检查算法检测到的目标检测框和预测器预测得到的目标预测框来确定目标轨迹。其中，预测器的状态会根据当前检测结果实时更新。然而，在真实场景下，当追踪过程中存在对象的遮挡或非线性运动，导致当长时间没有目标检测框与现有轨迹关联时，预测器的状态向量噪声会逐渐累积，从而造成预测偏差。
发明内容
有鉴于此，本申请实施例提供了一种目标轨迹确定方法、装置、电子设备及存储介质，以解决现有技术中目标轨迹确定精度不高的问题。
本申请实施例的第一方面，提供了一种目标轨迹确定方法，包括：
获取目标运动视频；
使用预测器预测目标在视频第i帧和第j帧的预测框；
使用目标检测算法获取目标在视频第i帧和第j帧的检测框；
响应于第i帧的预测框与第i帧的检测框未进行关联，且第j帧的预测框与第j帧的检测框进行了关联，使用第i帧检测框和第j帧检测框生成虚拟轨迹；
基于虚拟轨迹更新预测器；
基于更新后的预测器预测目标在视频第j+n帧的预测框；
使用目标检测算法获取目标在视频第j+n帧的检测框；
将目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置；
基于目标在第j+n帧的位置确定目标的轨迹；
其中，i、j和n为正整数，且j大于i。
本申请实施例的第二方面，提供了一种目标轨迹确定装置，包括：
获取装置，被配置为获取目标运动视频；
预测装置，被配置为使用预测器预测目标在视频第i帧和第j帧的预测框；
检测装置，被配置为使用目标检测算法获取目标在视频第i帧和第j帧的检测框；
生成装置，被配置为响应于第i帧的预测框与第i帧的检测框未进行关联，且第j帧的预测框与第j帧的检测框进行了关联，使用第i帧检测框和第j帧检测框生成虚拟轨迹；
更新装置，被配置为基于虚拟轨迹更新预测器；
预测装置还被配置为基于更新后的预测器预测目标在视频第j+n帧的预测框；
检测装置还被配置为使用目标检测算法获取目标在第视频j+n帧的检测框；
关联装置，被配置为将目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置；
确定装置，被配置为基于目标在第j+n帧的位置确定目标的轨迹；
其中，i、j和n为正整数，且j大于i。
本申请实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：通过在轨迹在丢失后再重新成功关联后，基于丢失前以及重新关联后的检测框确定虚拟轨迹，并基于虚拟轨迹对应的目标框更新预测器状态，即通过当前检测值反向平滑更新预测器，避免了预测器的误差累积，提高了目标轨迹确定精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是一种基于运动检测补偿的目标跟踪方法的流程示意图。
图2是本申请实施例提供的一种目标轨迹确定方法的流程示意图。
图3是本申请实施例提供的一种目标轨迹确定方法的流程示意图。
图4（a）是本申请实施例提供的未发生轨迹***的目标轨迹的示意图。
图4（b）是本申请实施例提供的发生了轨迹***的目标轨迹的示意图。
图5是本申请实施例提供的使用训练好的预测模型确定N段轨迹中，对应相同时间区间的任意两段轨迹的关联度的方法的流程示意图。
图6是本申请实施例提供的基于第一轨迹和第二轨迹的聚合特征，确定第一轨迹和第二轨迹的关联度的方法的流程示意图。
图7是本申请实施例提供的对***轨迹进行离线关联的方法的示意图。
图8是本申请实施例提供的训练预测模型的方法的流程示意图。
图9是本申请实施例提供的一种目标轨迹确定装置的示意图。
图10是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
上文提及，为了解决复杂场景下的目标追踪问题，相关技术提出了使用相机运动补偿来增强运动建模方法。图1是一种基于运动检测补偿的目标跟踪方法的流程示意图。如图1所示，该方法包括如下步骤：
步骤S101，对象检测。
可以使用目标检测算法提取当前帧的目标检测对象框，并过滤掉低对象框阈值的检测对象框。其中，目标检测算法可以是基于区域卷积神经网络（Region-ConvolutionalNeural Networks，R-CNN）、空间金字塔池化网络（Spatial PyramidPooling Network，SPP-Net）、快速区域卷积神经网络（Fast Region-ConvolutionalNeuralNetworks，Fast R-CNN）和基于区域的全卷积网络（Region-basedfullyconvolutional network，R-FCN）等实现的两级（TwoStage）目标检测算法，也可以是基于全局化特征（OverFeat）、单次预测（You Only Look Once，YOLO） v1、YOLO v3、单级多框预测（Single Shot MultiBoxDetector，SSD）和RetinaNet等实现的单级（One Stage）目标检测算法。目标检测算法的好坏对目标跟踪精度影响很大。
步骤S102，预测器估计及预测器状态更新。
使用预测器预测当前帧所有目标的预测对象框，同时使用当前帧的检测结果来更新预测器的状态。其中，预测器可以使用卡尔曼（Kalman）预测器，或者其他预测器。
步骤S103，轨迹关联、删除和新建。
将当前帧的检测对象框和预测对象框进行关联。若关联成功，则可以基于检测对象框和预测对象框确定目标框，并基于目标框为当前检测对象分配轨迹标识（ID）。若有轨迹在一定时间范围内未与检测对象框成功关联，则删除该轨迹。若有高检测置信度的检测对象框未能与当前存在的轨迹成功关联，则将当前检测对象框新建为一条新的轨迹。
然而，在真实场景下，当追踪过程中存在对象的遮挡或非线性运动，导致当长时间没有目标检测框与现有轨迹关联时，预测器的状态向量噪声会逐渐累积，从而造成预测偏差。
鉴于此，本申请实施例提供了一种目标轨迹确定方法，通过在轨迹在丢失后再重新成功关联后，基于丢失前以及重新关联后的检测框确定虚拟轨迹，并基于虚拟轨迹对应的目标框更新预测器状态，即通过当前检测值反向平滑更新预测器，避免了预测器的误差累积，提高了目标轨迹确定精度。
图2是本申请实施例提供的一种目标轨迹确定方法的流程示意图。如图2所示，该方法包括如下步骤：
在步骤S201中，获取目标运动视频。
在步骤S202中，使用预测器预测目标在视频第i帧和第j帧的预测框。
在步骤S203中，使用目标检测算法获取目标在视频第i帧和第j帧的检测框。
在步骤S204中，响应于第i帧的预测框与第i帧的检测框未进行关联，且第j帧的预测框与第j帧的检测框进行了关联，使用第i帧检测框和第j帧检测框生成虚拟轨迹。
在步骤S205中，基于虚拟轨迹更新预测器。
在步骤S206中，基于更新后的预测器预测目标在视频第j+n帧的预测框。
在步骤S207中，使用目标检测算法获取目标在视频第j+n帧的检测框。
在步骤S208中，将目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置。
在步骤S209中，基于目标在第j+n帧的位置确定目标的轨迹。
其中，i、j和n为正整数，且j大于i。
本申请实施例中，该目标轨迹确定方法可以由终端设备或服务器执行。其中，终端设备可以是硬件，也可以是软件。当终端设备为硬件时，其可以是具有显示屏且支持与服务器通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等；当终端设备为软件时，其可以安装在如上所述的电子设备中。终端设备可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本申请实施例对此不作限制。进一步地，终端设备上可以安装有各种应用，例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本申请实施例对此不作限制。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，其可以是为终端设备提供各种服务的各种电子设备。当服务器为软件时，其可以是为终端设备提供各种服务的多个软件或软件模块，也可以是为终端设备提供各种服务的单个软件或软件模块，本申请实施例对此不作限制。
目标可以是任意需要进行运动跟踪的目标。例如，运动中的车辆、船只、飞行器、动物、游戏等应用中的角色和物体、医学影像中的对象等。
本申请实施例中，可以获取目标的运动视频，以基于视频内容确定目标运动轨迹。一示例中，目标的运动视频可以是包括车辆的监控视频，可以基于该监控视频的内容分别确定其中某辆车的运动轨迹。可以理解的是，目标的运动视频也可以是针对船只、飞行器、动物等其他目标的拍摄的运动视频，此处不做限制。
本申请实施例中，可以使用预测器预测目标在视频第i帧和第j帧的预测框。其中，预测器可以为Kalman预测器，或者其他预测器，此处不做限制。预测器可以首先预测目标在第i帧的预测框，随后预测目标在第j帧的预测框。j为大于i的正整数，即预测第j帧的预测框的操作在预测第i帧的预测框之后进行。
本申请实施例中，还可以使用目标检测算法获取目标在视频第i帧和第j帧的检测框。其中，目标检测算法可以是Two Stage目标检测算法，或者One Stage目标检测算法，此处不做限制。同样的，可以首先使用目标检测算法检测目标在第i帧的检测框，随后检测目标在第j帧的检测框，即检测第j帧的检测框的操作在检测第i帧的检测框之后进行。
本申请实施例中，可以判断第i帧的预测框与第i帧的检测框是否成功关联。当确定第i帧的预测框与第i帧的检测框未成功关联时，进一步判断第j帧的预测框与第j帧的检测框是否成功关联。当确定第j帧的预测框与第j帧的检测框可成功关联时，使用第i帧检测框和第j帧检测框生成虚拟轨迹。
进一步的，可以基于生成的虚拟轨迹更新预测器。即，可以获取生成的虚拟轨迹中，第i帧至第j-1帧的目标框，将各帧的目标框作为各帧的检测框对预测器参数进行更新。具体的，可以从第i帧开始，首先获取预测器在第i-1帧的状态，然后使用第i帧的目标框作为检测框，更新该预测器在第i-1帧的状态，得到预测器在第i帧的状态。接着，使用第i+1帧的目标框作为检测框，更新该预测器在第i帧的状态，得到预测器在第i+1帧的状态。以此类推，直至更新得到预测器在第j-1帧的状态。最后，基于第j帧的检测框对第j-1帧的预测器的状态进行更新，得到预测器在第j帧的状态。
相比相关技术中仅根据第j帧检测框更新预测器状态的处理方法，本申请实施例的技术方案能够降低预测器的累积误差，并在后续轨迹确定过程中提高计算精度。
本申请实施例中，视频第i帧可以是预测框与检测框未成功关联的第一帧，视频第j帧可以是预测框与检测框在未成功关联后重新关联的第一帧。也就是说，可以在进行目标轨迹确定时，当确定当前帧的预测框与检测框未能成功关联时，将当前帧记为第i帧。进一步的，自第i+1帧开始，判断每一帧的预测框与检测框是否成功关联。若第i+k帧的预测框与检测框成功关联，则将第i+k帧记为第j帧。其中，k为正整数。
本申请实施例中，可以基于更新后的预测器预测目标在视频第j+n帧的预测框，并使用目标检测算法获取目标在视频第j+n帧的检测框。将目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置，基于目标在第j+n帧的位置确定目标的轨迹。
根据本申请实施例提供的技术方案，通过在轨迹在丢失后再重新成功关联后，基于丢失前以及重新关联后的检测框确定虚拟轨迹，并基于虚拟轨迹对应的目标框更新预测器状态，即通过当前检测值反向平滑更新预测器，避免了在目标跟踪过程中，由于目标长时间被遮挡或非线性运动导致的预测器误差累积，提高了目标轨迹确定精度。
也就是说，本申请实施例的技术方案，为了解决复杂场景下追踪噪声会逐渐累积的问题，采用了基于检测值对历史预测器进行修正的方法。即，当轨迹在丢失后再重新关联到时，通过当前的检测值反向平滑更新预测器。具体的，假设某条轨迹在t1时刻丢失，在t2时刻重新关联，此时通过t1时刻的检测值和t2时刻的检测值生成虚拟轨迹，然后用虚拟轨迹中的目标框代替丢失阶段的检测框，用这些虚拟轨迹中的目标框从t1时刻开始更新预测器的状态，从而可以避免预测器的误差累积。
本申请实施例中，第i帧的预测框与第i帧的检测框未进行关联，可以包括：未获取第i帧的检测框；或者，获取的第i帧的检测框与第i帧的预测框无法关联。也就是说，若确定未检测到第i帧的检测框，或第i帧的检测框低于预设检测框阈值而被过滤了，则可以确定第i帧的预测框与第i帧的检测框未进行关联。另一方面，若检测到了第i帧的检测框，且第i帧的检测框高于预设检测框阈值，但第i帧的检测框与第i帧的预测框无法关联，即二者不匹配，则同样可以确定第i帧的预测框与第i帧的检测框未进行关联。其中，预设检测框阈值的取值可以根据实际需要设置，此处不做限制。
相关技术中，由于目标跟踪算法存在种种缺陷，可能导致轨迹***的问题。即正常情况下针对同一目标，确定的目标轨迹应当是一条完整的轨迹曲线，但由于目标跟踪算法出现偏差，导致确定的目标轨迹为多段轨迹，且该多段轨迹存在冗余轨迹。也就是说，该多段轨迹中，至少两段轨迹在时间上重叠。此时，相关技术中可以使用跨境追踪（Person Re-Identification，ReID）模型来提取各段轨迹中目标的外观信息，进而基于时间信息和外观信息将对应的轨迹关联，确定目标的正确轨迹。然而，跨境追踪模型处理速度较慢，且占用计算资源较多，导致关联效率低。
鉴于此，本申请实施例提出的目标轨迹确定方法，通过离线轨迹关联来对***的轨迹进行关联，以解决上述使用跨境追踪模型关联效率低的问题。
图3是本申请实施例提供的一种目标轨迹确定方法的流程示意图。其中，图3所示实施例的步骤S301-S309与图2所示实施例中的步骤S201-S209相同，此处不再赘述。如图3所示，该方法还包括如下步骤：
在步骤S310中，响应于确定的目标的轨迹包括N段轨迹，且N段轨迹中至少两段轨迹在时间上重叠，使用训练好的预测模型确定N段轨迹中，对应相同时间区间的任意两段轨迹的关联度。
在步骤S311中，基于关联度确定目标在各时间区间的轨迹。
在步骤S312中，基于各时间区间的轨迹确定目标的轨迹。
其中，N为大于1的正整数。
本申请实施例中，可以通过判断确定的目标的轨迹是否包括N段轨迹，且N段轨迹中至少两段轨迹在时间上重叠来判断是否发生了轨迹***。其中，至少两段轨迹在时间上重叠可以包括至少两段轨迹在时间上完全重叠，或者至少两段轨迹在时间上部分重叠。
图4（a）是本申请实施例提供的未发生轨迹***的目标轨迹的示意图，图4（b）是本申请实施例提供的发生了轨迹***的目标轨迹的示意图。如图4（a）所示，曲线1为一条完整的曲线，其代表未发生轨迹***的目标轨迹，其中不存在在时间上重叠的轨迹段。如图4（b）所示，曲线1至曲线6为共同组成发生了轨迹***的目标轨迹，曲线1至曲线6无法构成一条完整的曲线，其中，曲线1和曲线2、曲线3在时间上重叠，曲线3和曲线4在时间上重叠，曲线4和曲线5在时间上重叠，曲线5和曲线6在时间上重叠。需要说明的是，在某些情况下发生了轨迹***的目标轨迹也可以构成一条完整的曲线，但同时存在其他冗余轨迹段。
在确定发生了轨迹***时，可以使用训练好的预测模型确定N段轨迹中，对应相同时间区间的任意两段轨迹的关联度。其中，相同时间区间是指，获取目标轨迹对应的轨迹起始时间和轨迹终止时间，将轨迹起始时间至轨迹终止时间划分为多个时间区间，每个时间区间中，至少对应两段轨迹。其中，时间区间的区分方法可以根据轨迹的分布确定，也可以根据其他方法确定，此处不做限制。需要说明的是，划分的多个时间区间彼此在时间上不重叠。
在使用训练好的预测模型确定一时间区间中，任意两段轨迹的关联度后，可以基于该关联度确定目标在各时间区间的轨迹。具体的，可以首先筛选出关联度大于预设关联度阈值的轨迹，然后对筛选出的轨迹进行排序，选取关联度最高的两段轨迹进行关联，得到该时间区间的轨迹。
在某些实施方式中，还可以在筛选出关联度大于预设关联度阈值的轨迹后，获取当前时间区间的前一时间区间的轨迹，以及后一时间区间的轨迹。将筛选出的关联度大于预设关联度阈值的各轨迹，分别预测其与该前一时间区间中的各轨迹的关联度，以及与该后一时间区间中的各轨迹的关联度，并基于该筛选出的关联度大于预设关联度阈值的各轨迹自身的两两关联度，以及与前一时间区间中的各轨迹的关联度和与后一时间区间中的各轨迹的关联度，确定出最关联的两段轨迹。随后将这两段轨迹关联，即可得到该时间区间的轨迹。
进一步的，可以根据各时间区间的轨迹确定目标的轨迹。即，将各时间区间的轨迹按照时间顺序关联，即可确定出目标的轨迹。其中，预设关联度阈值的取值可以根据实际需要设置，此处不做限制。
根据本申请实施例提供的技术方案，通过使用离线轨迹关联算法直接对***的轨迹进行关联，无需额外检测目标的外观信息，降低了目标轨迹确定的计算量，提高了处理速度，提升了轨迹确定效率。
图5是本申请实施例提供的使用训练好的预测模型确定N段轨迹中，对应相同时间区间的任意两段轨迹的关联度的方法的流程示意图。如图5所示，该方法包括如下步骤：
在步骤S501中，通过预测模型中带通道注意力的时间模块，分别聚合第一轨迹和第二轨迹的时间特征，得到第一轨迹和第二轨迹的中间特征。
在步骤S502中，通过预测模型中带空间注意力的融合模块，分别聚合第一轨迹和第二轨迹的中间特征的融合特征，得到第一轨迹和第二轨迹的聚合特征。
在步骤S503中，基于第一轨迹和第二轨迹的聚合特征，确定第一轨迹和第二轨迹的关联度。
本申请实施例中，在使用训练好的预测模型确定N段轨迹中，对应相同时间区间的任意两段轨迹的关联度时，可以通过预测模型中带通道注意力的时间模块，分别聚合第一轨迹和第二轨迹的时间特征，得到第一轨迹和第二轨迹的中间特征。对同一段轨迹而言，其所有时间上的目标框都是关联的，通过将轨迹的特征按照时间进行聚合，可以计算出更加丰富的特征。其中，轨迹的特征包括每一帧的目标对象特征。
进一步的，还可以通过预测模型中带空间注意力的融合模块，分别聚合第一轨迹和第二轨迹的中间特征的融合特征，得到第一轨迹和第二轨迹的聚合特征。也就是说，可以通过预测模型首先按照时间维度聚合轨迹的特征，然后将聚合后的特征送入带空间注意力的融合模块来进一步聚合轨迹不同特征维度的信息，得到轨迹的融合特征。其中，不同特征维度可以是以下中的至少之一：轨迹标识、轨迹对应的帧、轨迹中目标框坐标。
可以理解的是，每一段轨迹都包括时间维度的特征和空间维度的特征。例如，若两段轨迹在时间上间隔很久，则这两段轨迹必然不是***后的轨迹，不应该将这两段轨迹关联。因此，在通过带通道注意力的时间模块时，不会将这两段轨迹聚合。另一方面，若两段轨迹在空间维度上，例如ID、坐标等差异很大，则这两段轨迹必然不是属于同一目标对象的轨迹，因此在通过带空间注意力的融合模块时，不会将这两段轨迹聚合。
更进一步的，在确定了第一轨迹和第二轨迹的聚合特征后，可以基于第一轨迹和第二轨迹的聚合特征，确定第一轨迹和第二轨迹的关联度。也就是说，通过带通道注意力的时间模块和带空间注意力的融合模块后，提取出的轨迹的特征在时间上和空间上都具有较高的相关度，此时进一步基于分类算法等对特征进行处理，可以确定出两段轨迹的相关度。
图6是本申请实施例提供的基于第一轨迹和第二轨迹的聚合特征，确定第一轨迹和第二轨迹的关联度的方法的流程示意图。如图6所示，该方法包括如下步骤：
在步骤S601中，分别对第一轨迹和第二轨迹的聚合特征进行全局平均池化处理，得到第一池化结果和第二池化结果。
在步骤S602中，将第一池化结果和第二池化结果融合，得到融合特征。
在步骤S603中，使用全连接层和分类层对融合特征进行处理，得到第一轨迹和第二轨迹的关联度。
本申请实施例中，可以首先对第一轨迹和第二轨迹的聚合特征进行全局平均池化处理，得到第一池化结果和第二池化结果。然后将第一池化结果和第二池化结果融合，得到融合特征。最后使用全连接层和分类层对融合特征进行处理，得到第一轨迹和第二轨迹的关联度。
图7是本申请实施例提供的对***轨迹进行离线关联的方法的示意图。如图7所示，可以首先对轨迹进行格式化处理，将轨迹转换为（轨迹id，帧，目标框坐标）的格式；接着将在一定时间范围内同时存在的轨迹进行归档，此时存在不同时间的组，即划分多个不同的时间区间；然后在每一组也就是每一个时间区间中选取轨迹1和轨迹2；再将轨迹1和轨迹2分别送入带通道注意力的时间模块，按照时间维度聚合轨迹特征，然后将聚合后的特征送入带空间注意力的融合模块来进一步聚合轨迹不同特征维度的信息；随后将聚合后的特征经过全局平均池化，用提取的平均池化结果进行融合，例如进行相加，得到融合特征；最后将融合特征经过全连接层和分类层，得到两段轨迹的关联分。
根据本申请实施例提供的技术方案，通过使用离线轨迹关联算法直接对***的轨迹进行关联，无需额外检测目标的外观信息，降低了目标轨迹确定的计算量，提高了处理速度，提升了轨迹确定效率。
根据本申请实施例提供的技术方案，通过采用在线轨迹平滑和离线轨迹关联两种方式实现轨迹确认，可以显著提升遮挡以及目标非线性运动场景下跟踪算法精度不高的技术问题。具体的，针对遮挡场景以及目标非线性运动下预测器误差持续累积的技术问题，采用在线轨迹平滑算法，通过关联后的检测框对历史丢失过程中的预测器进行修正，以提高预测器的预测精度。另一方面，针对***的轨迹，采用离线轨迹关联模型直接对轨迹进行关联，无需使用跨境追踪模型提取目标的外观信息，在无需增加较多计算量的基础上，快速实现了轨迹关联，降低了轨迹***程度。
图8是本申请实施例提供的训练预测模型的方法的流程示意图。如图8所示，该方法包括如下步骤：
在步骤S801中，获取历史连续轨迹。
其中，历史连续轨迹包括目标的历史连续轨迹，或者其他目标的历史连续轨迹。
在步骤S802中，将历史连续轨迹随机切分，得到M段轨迹。
其中，M为大于1的正整数。
在步骤S803中，对M段轨迹进行格式化。
在步骤S804中，获取历史连续轨迹对应的时间范围，将时间范围划分为L个时间区间，将格式化后的M段轨迹保存至对应的时间区间。
其中，L为正整数。
在步骤S805中，获取任一时间区间中的两段轨迹，使用预测模型确定两段轨迹的预测关联度。
在步骤S806中，基于预测关联度确定目标在各时间区间的预测轨迹，基于各时间区间的预测轨迹确定目标的预测轨迹。
在步骤S807中，响应于预测轨迹与历史连续轨迹的差值大于预设损失阈值，修改预测模型的参数，直至模型收敛。
本申请实施例中，可以基于历史轨迹预先训练预测模型。其中，历史轨迹可以是待确定轨迹的目标的历史连续轨迹，也可以是其他目标的历史连续轨迹。由于历史轨迹是已经确定的轨迹，其为一条完整的曲线，为了使用历史轨迹来表示发生了轨迹***的轨迹，需要对历史轨迹进行处理。
本申请实施例中，可以对历史连续轨迹随机切分，得到M段轨迹，用该M段轨迹来表达发生了轨迹***的轨迹。其中，随机切分是指，随机使用多个时间区间对历史连续轨迹进行切分，该多个时间区间中的部分时间区间在时间上交叠。如此，可以得到部分轨迹在时间上交叠的M段轨迹。
进一步的，为更准确地表达发生了轨迹***的轨迹，还可以对切分得到的M段轨迹的首尾随机进行随机丢弃，其中丢弃的最大时间间隔可以设置为Q帧，Q为正整数。一示例中，Q可以取值为30。
在划分得到M段轨迹后，可以对该M段轨迹进行格式化。格式化后的M段轨迹中的每段轨迹都可以使用（轨迹id，帧，目标框坐标）进行表达。
更进一步的，还可以获取历史连续轨迹对应的时间范围，将时间范围划分为L个时间区间，将格式化后的M段轨迹保存至对应的时间区间。也就是说，可以获取历史连续轨迹对应的轨迹起始时间和轨迹终止时间，将轨迹起始时间至轨迹终止时间划分为多个时间区间，每个时间区间中，至少对应两段轨迹。其中，时间区间的区分方法可以根据轨迹的分布确定，也可以根据其他方法确定，此处不做限制。需要说明的是，划分的多个时间区间彼此在时间上不重叠。
随后，获取任一时间区间中的两段轨迹，使用预测模型确定两段轨迹的预测关联度。其中，使用预测模型确定两段轨迹的预测关联度的具体实现过程可以参考图5和图6所示实施例的描述，此处不再赘述。
在确定了各时间区间中，任意两段轨迹的预测关联度后，可以首先筛选出关联度大于预设关联度阈值的轨迹，然后对筛选出的轨迹进行排序，选取关联度最高的两段轨迹进行关联，得到该时间区间的预测轨迹。进一步的，可以根据各时间区间的轨迹确定目标的预测轨迹。即，将各时间区间的轨迹按照时间顺序关联，即可确定出目标的预测轨迹。
可以将确定出的预测轨迹与历史连续轨迹进行比较，当确定预测轨迹与历史连续轨迹的差值大于预设损失阈值时，可以认为基于预测模型得出的预测轨迹与实际值差异较大，模型预测效果不好，因此需要对模型参数进行修正。在修改预测模型的参数后，可以使用修改后的模型再次确定任一时间区间中两段轨迹的预测相关度，并基于预测关联度确定目标在各时间区间的预测轨迹，基于各时间区间的预测轨迹确定目标的预测轨迹。随后，再次将确定出的预测轨迹与历史连续轨迹进行比较，直至模型收敛。也就是说，直至预测轨迹与历史连续轨迹的差值小于或者预设损失阈值。其中，预设损失阈值的取值可以根据实际需要设置，此处不做限制。
根据本申请实施例提供的技术方案，通过使用历史连续轨迹构建训练数据，训练用于预测两段轨迹间关联度的预测模型，无需获取并标引大量样本数据，实现简单效率高。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图9是本申请实施例提供的一种目标轨迹确定装置的示意图。如图9所示，该装置包括：
获取模块901，被配置为获取目标运动视频。
预测模块902，被配置为使用预测器预测目标在视频第i帧和第j帧的预测框。
检测模块903，被配置为使用目标检测算法获取目标在视频第i帧和第j帧的检测框。
生成模块904，被配置为响应于第i帧的预测框与第i帧的检测框未进行关联，且第j帧的预测框与第j帧的检测框进行了关联，使用第i帧检测框和第j帧检测框生成虚拟轨迹。
更新模块905，被配置为基于虚拟轨迹更新预测器。
进一步的，预测模块还被配置为基于更新后的预测器预测目标在视频第j+n帧的预测框，检测模块还被配置为使用目标检测算法获取目标在视频第j+n帧的检测框。
关联模块906，被配置为将目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置。
确定模块907，被配置为基于目标在第j+n帧的位置确定目标的轨迹。
其中，i、j和n为正整数，且j大于i。
根据本申请实施例提供的技术方案，通过在轨迹在丢失后再重新成功关联后，基于丢失前以及重新关联后的检测框确定虚拟轨迹，并基于虚拟轨迹对应的目标框更新预测器状态，即通过当前检测值反向平滑更新预测器，避免了预测器的误差累积，提高了目标轨迹确定精度。
本申请实施例中，第i帧的预测框与第i帧的检测框未进行关联，包括：未获取第i帧的检测框；或者，获取的第i帧的检测框与第i帧的预测框无法关联。
本申请实施例中，方法还包括：响应于确定的目标的轨迹包括N段轨迹，且N段轨迹中至少两段轨迹在时间上重叠，使用训练好的预测模型确定N段轨迹中，对应相同时间区间的任意两段轨迹的关联度；基于关联度确定目标在各时间区间的轨迹；基于各时间区间的轨迹确定目标的轨迹。其中，N为大于1的正整数。
根据本申请实施例提供的技术方案，通过使用离线轨迹关联算法直接对***的轨迹进行关联，无需额外检测目标的外观信息，降低了目标轨迹确定的计算量，提高了处理速度，提升了轨迹确定效率。
本申请实施例中，相同时间区间的任意两段轨迹包括第一轨迹和第二轨迹，使用训练好的预测模型确定N段轨迹中，对应相同时间区间的任意两段轨迹的关联度，包括：通过预测模型中带通道注意力的时间模块，分别聚合第一轨迹和第二轨迹的时间特征，得到第一轨迹和第二轨迹的中间特征；通过预测模型中带空间注意力的融合模块，分别聚合第一轨迹和第二轨迹的中间特征的融合特征，得到第一轨迹和第二轨迹的聚合特征；基于第一轨迹和第二轨迹的聚合特征，确定第一轨迹和第二轨迹的关联度。
本申请实施例中，基于第一轨迹和第二轨迹的聚合特征，确定第一轨迹和第二轨迹的关联度，包括：分别对第一轨迹和第二轨迹的聚合特征进行全局平均池化处理，得到第一池化结果和第二池化结果；将第一池化结果和第二池化结果融合，得到融合特征；使用全连接层和分类层对融合特征进行处理，得到第一轨迹和第二轨迹的关联度。
本申请实施例中，融合特征包括以下中的至少之一：轨迹标识、轨迹对应的帧、轨迹中目标框坐标。
根据本申请实施例提供的技术方案，通过使用离线轨迹关联算法直接对***的轨迹进行关联，无需额外检测目标的外观信息，降低了目标轨迹确定的计算量，提高了处理速度，提升了轨迹确定效率。
本申请实施例中，预测模型采用如下方式训练得到：获取历史连续轨迹，历史连续轨迹包括目标的历史连续轨迹，或者其他目标的历史连续轨迹；将历史连续轨迹随机切分，得到M段轨迹，M为大于1的正整数；对M段轨迹进行格式化；获取历史连续轨迹对应的时间范围，将时间范围划分为L个时间区间，将格式化后的M段轨迹保存至对应的时间区间；获取任一时间区间中的两段轨迹，使用预测模型确定两段轨迹的预测关联度；基于预测关联度确定目标在各时间区间的预测轨迹，基于各时间区间的预测轨迹确定目标的预测轨迹；响应于预测轨迹与历史连续轨迹的差值大于预设损失阈值，修改预测模型的参数，直至模型收敛。
根据本申请实施例提供的技术方案，通过使用历史连续轨迹构建训练数据，训练用于预测两段轨迹间关联度的预测模型，无需获取并标引大量样本数据，实现简单效率高。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图10是本申请实施例提供的电子设备的示意图。如图10所示，该实施例的电子设备10包括：处理器1001、存储器1002以及存储在该存储器1002中并且可在处理器1001上运行的计算机程序1003。处理器1001执行计算机程序1003时实现上述各个方法实施例中的步骤。或者，处理器1001执行计算机程序1003时实现上述各装置实施例中各模块/单元的功能。
电子设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备10可以包括但不仅限于处理器1001和存储器1002。本领域技术人员可以理解，图10仅仅是电子设备10的示例，并不构成对电子设备10的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器1001可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器1002可以是电子设备10的内部存储单元，例如，电子设备10的硬盘或内存。存储器1002也可以是电子设备10的外部存储设备，例如，电子设备10上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（FlashCard）等。存储器1002还可以既包括电子设备10的内部存储单元也包括外部存储设备。存储器1002用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种目标轨迹确定方法，其特征在于，包括：
获取目标运动视频；
使用预测器预测所述目标在所述视频第i帧和第j帧的预测框；
使用目标检测算法获取所述目标在视频第i帧和第j帧的检测框；
响应于所述第i帧的预测框与所述第i帧的检测框未进行关联，且所述第j帧的预测框与所述第j帧的检测框进行了关联，使用所述第i帧检测框和第j帧检测框生成虚拟轨迹；
基于所述虚拟轨迹更新所述预测器；
基于更新后的预测器预测所述目标在视频第j+n帧的预测框；
使用目标检测算法获取所述目标在视频第j+n帧的检测框；
将所述目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置；
基于所述目标在第j+n帧的位置确定所述目标的轨迹；
响应于确定的所述目标的轨迹包括N段轨迹，且所述N段轨迹中至少两段轨迹在时间上重叠，使用训练好的预测模型确定所述N段轨迹中，对应相同时间区间的任意两段轨迹的关联度；
基于所述关联度确定所述目标在各时间区间的轨迹；
基于所述各时间区间的轨迹确定所述目标的轨迹；
所述相同时间区间的任意两段轨迹包括第一轨迹和第二轨迹，所述使用训练好的预测模型确定所述N段轨迹中，对应相同时间区间的任意两段轨迹的关联度，包括：
通过所述预测模型中带通道注意力的时间模块，分别聚合所述第一轨迹和第二轨迹的时间特征，得到所述第一轨迹和第二轨迹的中间特征；
通过所述预测模型中带空间注意力的融合模块，分别聚合所述第一轨迹和第二轨迹的中间特征的融合特征，得到所述第一轨迹和第二轨迹的聚合特征；
基于所述第一轨迹和第二轨迹的聚合特征，确定所述第一轨迹和第二轨迹的关联度；
其中，i、j和n为正整数，且j大于i，N为大于1的正整数。
2. 根据权利要求1所述的方法，其特征在于，所述第i帧的预测框与所述第i帧的检测框未进行关联，包括：
未获取所述第i帧的检测框；或者
获取的第i帧的检测框与所述第i帧的预测框无法关联。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一轨迹和第二轨迹的聚合特征，确定所述第一轨迹和第二轨迹的关联度，包括：
分别对所述第一轨迹和第二轨迹的聚合特征进行全局平均池化处理，得到第一池化结果和第二池化结果；
将所述第一池化结果和第二池化结果融合，得到融合特征；
使用全连接层和分类层对所述融合特征进行处理，得到所述第一轨迹和第二轨迹的关联度。
4.根据权利要求1所述的方法，其特征在于，所述融合特征包括以下中的至少之一：
轨迹标识、轨迹对应的帧、轨迹中目标框坐标。
5.根据权利要求1所述的方法，其特征在于，所述预测模型采用如下方式训练得到：
获取历史连续轨迹，所述历史连续轨迹包括所述目标的历史连续轨迹，或者其他目标的历史连续轨迹；
将所述历史连续轨迹随机切分，得到M段轨迹，M为大于1的正整数；
对所述M段轨迹进行格式化；
获取所述历史连续轨迹对应的时间范围，将所述时间范围划分为L个时间区间，将格式化后的所述M段轨迹保存至对应的时间区间，其中，L为正整数；
获取任一时间区间中的两段轨迹，使用所述预测模型确定所述两段轨迹的预测关联度；
基于所述预测关联度确定所述目标在各时间区间的预测轨迹，基于所述各时间区间的预测轨迹确定所述目标的预测轨迹；
响应于所述预测轨迹与所述历史连续轨迹的差值大于预设损失阈值，修改所述预测模型的参数，直至模型收敛。
6.一种目标轨迹确定装置，其特征在于，包括：
获取模块，被配置为获取目标运动视频；
预测模块，被配置为使用预测器预测所述目标在视频第i帧和第j帧的预测框；
检测模块，被配置为使用目标检测算法获取所述目标在视频第i帧和第j帧的检测框；
生成模块，被配置为响应于所述第i帧的预测框与所述第i帧的检测框未进行关联，且所述第j帧的预测框与所述第j帧的检测框进行了关联，使用所述第i帧检测框和第j帧检测框生成虚拟轨迹；
更新模块，被配置为基于所述虚拟轨迹更新所述预测器；
所述预测模块还被配置为基于更新后的预测器预测所述目标在视频第j+n帧的预测框；
所述检测模块还被配置为使用目标检测算法获取所述目标在视频第j+n帧的检测框；
关联模块，被配置为将所述目标在第j+n帧的预测框和检测框关联，得到目标在第j+n帧的位置；
确定模块，被配置为基于所述目标在第j+n帧的位置确定所述目标的轨迹；
响应于确定的所述目标的轨迹包括N段轨迹，且所述N段轨迹中至少两段轨迹在时间上重叠，使用训练好的预测模型确定所述N段轨迹中，对应相同时间区间的任意两段轨迹的关联度；
基于所述关联度确定所述目标在各时间区间的轨迹；
基于所述各时间区间的轨迹确定所述目标的轨迹；
所述相同时间区间的任意两段轨迹包括第一轨迹和第二轨迹，所述使用训练好的预测模型确定所述N段轨迹中，对应相同时间区间的任意两段轨迹的关联度，包括：
通过所述预测模型中带通道注意力的时间模块，分别聚合所述第一轨迹和第二轨迹的时间特征，得到所述第一轨迹和第二轨迹的中间特征；
通过所述预测模型中带空间注意力的融合模块，分别聚合所述第一轨迹和第二轨迹的中间特征的融合特征，得到所述第一轨迹和第二轨迹的聚合特征；
基于所述第一轨迹和第二轨迹的聚合特征，确定所述第一轨迹和第二轨迹的关联度；
其中，i、j和n为正整数，且j大于i，N为大于1的正整数。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310639967.3A CN116363565B (zh) | 2023-06-01 | 2023-06-01 | 目标轨迹确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310639967.3A CN116363565B (zh) | 2023-06-01 | 2023-06-01 | 目标轨迹确定方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116363565A CN116363565A (zh) | 2023-06-30 |
| CN116363565B true CN116363565B (zh) | 2023-08-11 |
Family
ID=86939940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310639967.3A Active CN116363565B (zh) | 2023-06-01 | 2023-06-01 | 目标轨迹确定方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363565B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117671296A (zh) * | 2023-12-19 | 2024-03-08 | 珠海市欧冶半导体有限公司 | 目标跟踪法、装置、计算机设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334111A (zh) * | 2019-06-13 | 2019-10-15 | 武汉市公安局视频侦查支队 | 一种多维轨迹分析方法及装置 |
| CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
| CN111445501A (zh) * | 2020-03-25 | 2020-07-24 | 苏州科达科技股份有限公司 | 多目标跟踪方法、装置和存储介质 |
| CN112465866A (zh) * | 2020-11-27 | 2021-03-09 | 杭州海康威视数字技术股份有限公司 | 多目标轨迹获取方法、装置、***及存储介质 |
| CN115236603A (zh) * | 2022-07-26 | 2022-10-25 | 西安电子科技大学 | 隧道内基于时空关系的毫米波雷达量测异常轨迹处理方法 |
| CN115438856A (zh) * | 2022-09-05 | 2022-12-06 | 重庆邮电大学 | 基于时空交互特征和终点信息的行人轨迹预测方法 |
| CN115690146A (zh) * | 2021-07-29 | 2023-02-03 | 北京图森智途科技有限公司 | 一种多目标跟踪方法、装置、计算设备和存储介质 |
| CN116012418A (zh) * | 2023-02-06 | 2023-04-25 | 深圳须弥云图空间科技有限公司 | 多目标跟踪方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10648803B2 (en) * | 2012-02-29 | 2020-05-12 | Nec Corporation | Movement line information generation system, movement line information generation method and movement line information generation program |
| JP6822906B2 (ja) * | 2017-06-23 | 2021-01-27 | 株式会社東芝 | 変換行列算出装置、位置推定装置、変換行列算出方法および位置推定方法 |
-
2023
- 2023-06-01 CN CN202310639967.3A patent/CN116363565B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334111A (zh) * | 2019-06-13 | 2019-10-15 | 武汉市公安局视频侦查支队 | 一种多维轨迹分析方法及装置 |
| CN111179311A (zh) * | 2019-12-23 | 2020-05-19 | 全球能源互联网研究院有限公司 | 多目标跟踪方法、装置及电子设备 |
| CN111445501A (zh) * | 2020-03-25 | 2020-07-24 | 苏州科达科技股份有限公司 | 多目标跟踪方法、装置和存储介质 |
| CN112465866A (zh) * | 2020-11-27 | 2021-03-09 | 杭州海康威视数字技术股份有限公司 | 多目标轨迹获取方法、装置、***及存储介质 |
| CN115690146A (zh) * | 2021-07-29 | 2023-02-03 | 北京图森智途科技有限公司 | 一种多目标跟踪方法、装置、计算设备和存储介质 |
| CN115236603A (zh) * | 2022-07-26 | 2022-10-25 | 西安电子科技大学 | 隧道内基于时空关系的毫米波雷达量测异常轨迹处理方法 |
| CN115438856A (zh) * | 2022-09-05 | 2022-12-06 | 重庆邮电大学 | 基于时空交互特征和终点信息的行人轨迹预测方法 |
| CN116012418A (zh) * | 2023-02-06 | 2023-04-25 | 深圳须弥云图空间科技有限公司 | 多目标跟踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116363565A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230077355A1 (en) | Tracker assisted image capture | |
| US9767570B2 (en) | Systems and methods for computer vision background estimation using foreground-aware statistical models | |
| US11836931B2 (en) | Target detection method, apparatus and device for continuous images, and storage medium | |
| CN108875465B (zh) | 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质 | |
| US9852511B2 (en) | Systems and methods for tracking and detecting a target object | |
| CN110853078B (zh) | 一种基于遮挡对的在线多目标跟踪方法 | |
| CN110751674A (zh) | 多目标跟踪方法及相应视频分析*** | |
| CN109145771B (zh) | 一种人脸抓拍方法及装置 | |
| US20170177947A1 (en) | Methods, devices and computer programs for tracking targets using independent tracking modules associated with cameras | |
| CN116363565B (zh) | 目标轨迹确定方法、装置、电子设备及存储介质 | |
| CN110930434B (zh) | 目标对象跟随方法、装置、存储介质和计算机设备 | |
| US10319095B2 (en) | Method, an apparatus and a computer program product for video object segmentation | |
| CN110335313B (zh) | 音频采集设备定位方法及装置、说话人识别方法及*** | |
| CN107992790B (zh) | 目标长时跟踪方法及***、存储介质及电子终端 | |
| KR102489113B1 (ko) | 고해상도 객체 검출장치 및 방법 | |
| CN112668524A (zh) | 多目标跟踪***及方法 | |
| CN110009662A (zh) | 人脸跟踪的方法、装置、电子设备及计算机可读存储介质 | |
| KR101492059B1 (ko) | 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템 | |
| Stadler et al. | BYTEv2: Associating more detection boxes under occlusion for improved multi-person tracking | |
| Stadler et al. | Past information aggregation for multi-person tracking | |
| CN116330658B (zh) | 基于深度图像的目标跟踪方法、装置、***及摄像设备 | |
| CN109815861B (zh) | 一种基于人脸识别的用户行为信息统计方法 | |
| Nalaie et al. | DeepScale: Online frame size adaptation for multi-object tracking on smart cameras and edge servers | |
| CN112040325B (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
| CN113657218A (zh) | 一种能够减少冗余数据的视频对象检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |