CN105046220A - 一种多目标跟踪方法、装置及设备 - Google Patents
一种多目标跟踪方法、装置及设备 Download PDFInfo
- Publication number
- CN105046220A CN105046220A CN201510406330.5A CN201510406330A CN105046220A CN 105046220 A CN105046220 A CN 105046220A CN 201510406330 A CN201510406330 A CN 201510406330A CN 105046220 A CN105046220 A CN 105046220A
- Authority
- CN
- China
- Prior art keywords
- movement locus
- target
- tracked
- track
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种多目标跟踪方法、装置及设备,该方法包括:获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合;获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;生成由可与所述轨迹集合中的运动轨迹匹配的虚拟目标形成的虚拟集合,生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,用于解决在多目标检测过程中容易造成目标误检或漏检,无法准确确定出各个跟踪目标的运动轨迹的问题。
Description
技术领域
本发明涉及信息处理技术领域,尤其是涉及一种多目标跟踪方法、装置及设备。
背景技术
多目标跟踪(英文:multi-objecttracking,缩写:MOT)是指对视频序列中的多个感兴趣目标,维持各个目标的身份,并推理各个目标的位置、速度等运动信息。
和单目标跟踪相比,多目标跟踪存在更多挑战性的难点。首先,目标的数目未知,而且随着目标进出场景,目标的数目会发生变化。其次,多目标跟踪过程中,目标经常被前景物体或其他目标部分遮挡甚至完全遮挡,导致目标跟踪失败或造成目标间的身份交换。最后,当场景中同时存在相似外观的目标,尤其是该些相似外观的目标之间相互靠近发生遮挡时,很难区分各个目标。
随着目标检测技术的进步,多目标跟踪方法主要运用基于检测的跟踪方法,即应用一个预先训练好的目标检测器,在视频序列的每幅图像上进行目标检测,该种跟踪算法主要是对时间序列上的检测响应进行数据连接,将属于同一个目标的检测响应连接成一条轨迹,从而实现对目标的跟踪。但是目前的多目标跟踪技术,对于跟踪目标的遮挡,新跟踪目标的随机加入和旧目标的消失都没有较好的解决方法,在多目标检测过程中容易造成目标误检或漏检,无法准确确定出各个跟踪目标的运动轨迹。
发明内容
本发明提供了一种多目标跟踪方法、装置及设备,用于解决在多目标检测过程中容易造成目标误检或漏检,,无法准确确定出各个跟踪目标的运动轨迹的问题。
第一方面,提供了一种多目标跟踪方法,包括:获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹;获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等;生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等;将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
结合第一方面,在第一方面的第一种可能实现方式中,将第一集合中的元素,与第二集合中的元素进行匹配,包括:将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
结合第一方面和第一方面的第一种可能实现方式,在第一方面的第二种可能的实现方式中,在得到所述第N+1个视频帧图像的运动轨迹之后,还包括:根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
结合第一方面和第一方面的第二种可能实现方式,在第一方面的第三种可能的实现方式中,根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型,包括:若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
第二方面,提供了一种多目标跟踪装置,包括:获得模块,用于获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹;获取模块,用于获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;第一生成模块,用于生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等;第二生成模块,用于生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等;匹配模块,用于将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
结合第二方面,在第二方面的第一种可能实现方式中,所述匹配模块,具体用于将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
结合第二方面和第二方面的第一种可能实现方式,在第二方面的第二种可能的实现方式中,还包括:确定模块,用于根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
结合第二方面和第二方面的第二种可能实现方式,在第二方面的第三种可能的实现方式中,所述确定模块,具体用于若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
第三方面,提供了一种多目标跟踪设备,包括:存储器,用于存储程序指令;信号处理器,用于通过接口,获得所述存储其中存储的程序指令,并按照程序指令执行:获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹;获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等;生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等;将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
结合第三方面,在第三方面的第一种可能实现方式中,所述信号处理器,具体用于将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
结合第三方面和第三方面的第一种可能实现方式,在第三方面的第二种可能的实现方式中,所述信号处理器,还用于根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
结合第三方面和第三方面的第二种可能实现方式,在第三方面的第三种可能的实现方式中,所述信号处理器,具体用于若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
第四方面,提供了一种目标跟踪方法,包括:从待进行目标跟踪的视频中的第N个视频帧开始的每个视频帧,执行:确定所述视频帧中待跟踪的目标作为跟踪目标;将确定了跟踪目标的所述视频帧作为初始视频帧,针对所述初始视频帧和所述初始视频帧相邻的下一视频帧,执行:获得所述初始视频帧中的由至少一个跟踪目标运动形成的轨迹集合,以及所述下一视频帧中出现的检测目标形成的检测目标集合,其中,所述检测目标是所述下一视频帧中待跟踪的目标;在所述检测目标集合中,确定与所述轨迹集合中的轨迹匹配的检测目标子集;根据针对每个视频帧分别确定的检测目标子集中包含的检测目标的位置信息,确定所述跟踪目标的运动轨迹。
结合第四发面,在第四方面的第一种可能的实现方式中,在所述检测目标集合中,确定与所述轨迹集合中的轨迹匹配的检测目标,包括:在形成的所述检测目标集合中增加第一数量的虚拟目标和第二数量的源目标;其中,第一数量为所述轨迹集合中包括的轨迹数量,第二数量为所述检测目标集合中包括的检测目标数量;在增加了所述虚拟目标和源目标后的所述检测目标集合中,确定与所述轨迹集合中的轨迹匹配的检测目标。
结合第四方面和第四方面的第一种可能实现方式,在第四方面的第二种可能实现方式中,按照下述方式中的至少一种匹配所述轨迹集合中的轨迹与检测目标:将所述轨迹与所述检测目标匹配;将未能和检测目标匹配的轨迹与虚拟目标匹配;将所述源目标与所述检测目标匹配;将源目标与虚拟目标匹配。
结合第四方面和第四方面的第一种可能实现方式,在第四方面的第三种可能实现方式中,确定所述跟踪目标的运动轨迹之后,还包括:针对确定的任意跟踪目标对应的运动轨迹,确定所述运动轨迹中包含的检测目标的第三数量,以及包含的虚拟目标的第四数量;根据所述第三数量和第四数量,确定所述运动轨迹的类型。
结合第四方面和第四方面的第三种可能实现方式,在第四方面的第四种可能实现方式中,根据所述第三数量和第四数量,确定所述运动轨迹的类型,包括:若所述第三数量小于第一设定阈值,且所述第四数量大于或等于第二设定阈值时,确定所述运动轨迹的类型为处于稳定运动中的运动轨迹;若所述第三数量大于或等于第一设定阈值,且所述第四数量大于或等于第二设定阈值,确定所述运动轨迹的类型为跟踪目标已经结束运动的运动轨迹;若所述第四数量大于或等于第一设定阈值,且所述第四数量小于第二设定阈值,确定所述运动轨迹的类型为由于误判导致的错误的运动轨迹;若所述第三数量为零且所述第四数量为1,或所述第三数量小于第一设定阈值且第四数量小于第二设定阈值,确定所述运动轨迹的类型为新加入的运动轨迹。
第五方面,提供了一种目标跟踪装置,包括:
第一执行单元,用于从待进行目标跟踪的视频中的第N个视频帧开始的每个视频帧,执行:确定所述视频帧中待跟踪的目标作为跟踪目标;将确定了跟踪目标的所述视频帧作为初始视频帧;
第二执行单元,用于针对所述初始视频帧和所述初始视频帧相邻的下一视频帧,执行:获得所述初始视频帧中的由至少一个跟踪目标运动形成的轨迹集合,以及所述下一视频帧中出现的检测目标形成的检测目标集合,其中,所述检测目标是所述下一视频帧中待跟踪的目标;在所述检测目标集合中,确定与所述轨迹集合中的轨迹匹配的检测目标子集;
确定单元,用于根据针对每个视频帧分别确定的检测目标子集中包含的检测目标的位置信息,确定所述跟踪目标的运动轨迹。
结合第五发面,在第五方面的第一种可能的实现方式中,所述确定单元,具体用于在形成的所述检测目标集合中增加第一数量的虚拟目标和第二数量的源目标;其中,第一数量为所述轨迹集合中包括的轨迹数量,第二数量为所述检测目标集合中包括的检测目标数量;在增加了所述虚拟目标和源目标后的所述检测目标集合中,确定与所述轨迹集合中的轨迹匹配的检测目标。
结合第五方面和第五方面的第一种可能实现方式,在第五方面的第二种可能实现方式中,所述确定单元,具体用于按照下述方式中的至少一种匹配所述轨迹集合中的轨迹与检测目标:将所述轨迹与所述检测目标匹配;将未能和检测目标匹配的轨迹与虚拟目标匹配;将所述源目标与所述检测目标匹配;将源目标与虚拟目标匹配。
结合第五方面和第五方面的第一种可能实现方式,在第五方面的第三种可能实现方式中,所述确定单元,还用于针对确定的任意跟踪目标对应的运动轨迹,确定所述运动轨迹中包含的检测目标的第三数量,以及包含的虚拟目标的第四数量;根据所述第三数量和第四数量,确定所述运动轨迹的类型。
结合第五方面和第五方面的第三种可能实现方式,在第五方面的第四种可能实现方式中,所述确定单元,具体用于若所述第三数量小于第一设定阈值,且所述第四数量大于或等于第二设定阈值时,确定所述运动轨迹的类型为处于稳定运动中的运动轨迹;若所述第三数量大于或等于第一设定阈值,且所述第四数量大于或等于第二设定阈值,确定所述运动轨迹的类型为跟踪目标已经结束运动的运动轨迹;若所述第四数量大于或等于第一设定阈值,且所述第四数量小于第二设定阈值,确定所述运动轨迹的类型为由于误判导致的错误的运动轨迹;若所述第三数量为零且所述第四数量为1,或所述第三数量小于第一设定阈值且第四数量小于第二设定阈值,确定所述运动轨迹的类型为新加入的运动轨迹。
本发明提出的技术方案中,针对视频中已跟踪目标的运动轨迹信息的形成的轨迹集合,和待跟踪目标形成的待跟踪集合、生成的源集合和虚拟集合,得到所述第N+1个视频帧图像的运动轨迹,能够较好地对视频中至少一个目标的运动轨迹进行跟踪,解决多目标跟踪准确率较低的问题。
附图说明
图1为本发明提出的多目标跟踪方法流程图;
图2为本发明提出的运动轨迹更新示意图;
图3为本发明提出的多目标跟踪装置结构组成示意图;
图4为本发明提出的多目标跟踪设备结构组成示意图;
图5为本发明提出的多目标跟踪方法流程图;
图6为本发明提出的多目标跟踪装置结构组成示意图。
具体实施方式
针对目前的多目标跟踪技术,对于跟踪目标的遮挡,新跟踪目标的随机加入和旧目标的消失都没有较好的解决方法,在多目标检测过程中容易造成目标误检或漏检,使得多目标跟踪准确率较低的问题,本发明提出的技术方案中,针对视频中已跟踪目标的运动轨迹信息的形成的轨迹集合,和待跟踪目标形成的待跟踪集合、生成的源集合和虚拟集合,得到所述第N+1个视频帧图像的运动轨迹,能够较好地对视频中至少一个目标的运动轨迹进行跟踪,解决多目标跟踪准确率较低的问题。
下面将结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细地阐述。
实施例一
本发明实施例一提出一种多目标跟踪方法,如图1所示,其具体处理流程如下述:
通过预先训练的目标检测器,对待进行多目标跟踪的视频中的每个视频帧图像进行跟踪目标的检测,获得每个视频帧图像中待跟踪的目标的坐标以及待跟踪目标的大小。
本发明实施一提出的技术方案中,确定出的待跟踪目标可以通过检测框来表示,坐标可以是检测框的中心位置坐标,待跟踪目标的大小可以是检测框的大小。检测框可以是方形、菱形或其他形状。
其中,确定每个视频帧图像中的待跟踪的目标,可以在执行其他步骤过程中确定,也可以预先确定出各个视频帧图像中的待跟踪目标。每个视频帧图像中的待跟踪目标并不完全相同。例如在场景没有变化的情况下,可能连续几个视频帧图像中的待跟踪目标均相同,如果场景变化,例如有遮挡物或者漏检的情况下,相邻两个视频帧图像中的待跟踪目标可能会增加或减少。
为便于阐述,本发明实施例一提出的技术方案中,将视频帧图像中的待跟踪目标分为两种,一种为在初始条件下确定出的目标作为已跟踪目标,另一种为其它视频帧中未确定的目标称之为待跟踪目标。
本发明实施例一提出技术方案中,可以实现离线视频中的多目标跟踪,也可以实现在线视频中的多目标跟踪。若是离线视频中的多目标跟踪,则视频是已经录制存储的视频,若是实现在线视频中的多目标跟踪,则可以实时确定视频帧中的跟踪目标的运动轨迹。
步骤11,获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合。
其中第N个视频帧图像的运动轨迹是第N个视频帧图像中的已跟踪目标在视频中形成的轨迹。
步骤12,获取由视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合。
其中,对视频检测时,可以从视频中任一视频帧作为第N个视频帧图像,,也可以在视频中的任一视频帧图像中结束目标跟踪。
步骤13,生成由可与轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合。
其中,轨迹集合中的运动轨迹的数量与虚拟集合中的虚拟目标的数量相等。
步骤14,生成由可与待跟踪集合中的待跟踪目标匹配的源目标形成的源集合。
其中,待跟踪集合中的待跟踪目标的数量与源集合中的源目标的数量相等。
其中,图1以及本发明实施一仅给出一种较佳地实施方式,为便于阐述,依次执行步骤13和步骤14,在具体实施时,上述步骤13和步骤14之间并没有严格的执行顺序,即也可以先执行步骤14,再执行步骤13。
步骤15,将第一集合中的元素,与第二集合中的元素进行匹配,获取第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹。
其中,第一集合为源集合和轨迹集合构成的集合,第二集合为待跟踪集合和虚拟集合构成的集合,第N+1个视频帧图像的运动轨迹包括匹配成功的元素对应在第一集合中的元素以及匹配成功的元素,第N+1个视频帧图像的运动轨迹与匹配成功的元素一一对应,第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在第一集合中的元素一一对应。
不同的视频帧图像中,确定出的跟踪目标的数量也不完全相同,当出现遮挡、复杂背景的情况下,前后相邻的视频帧图像中的出现的跟踪目标可能会出现增加、减少的情况。因此为便于阐述,分别称作为已跟踪目标和待跟踪目标。
视频帧图像中跟踪目标运动,会形成相应的轨迹。本发明实施例一提出的技术方案中,将第一集合中的元素,与第二集合中的元素进行匹配,包括:
A:将轨迹集合中的运动轨迹与待跟踪集合中的待跟踪目标匹配。
将第N个视频帧图像以t帧表示,第N+1个视频帧图像以t+1帧表示,该种情况中,是将t帧中的运动轨迹与t+1帧中的待跟踪目标直接匹配。如图2所示的标号为1的轨迹,即t帧中的运动轨迹可以直接在t+1帧中找到待跟踪目标连接形成新的运动轨迹。
B:将未能和待跟踪集合中的待跟踪目标匹配的轨迹集合中的运动轨迹,与虚拟集合中的虚拟目标匹配。
将第N个视频帧图像以t帧表示,第N+1个视频帧图像以t+1帧表示,该种情况中,是将t帧中的轨迹与虚拟目标连接,如图2所示的标号为2的轨迹,即t帧中的轨迹在t+1帧中不能找到待跟踪目标形成新的运动轨迹,因此将t帧中的轨迹与虚拟目标连接。
C:将未能和轨迹集合中的运动轨迹匹配的待跟踪集合中的待跟踪目标,与源集合中的源目标匹配。
将第N个视频帧图像以t帧表示,第N+1个视频帧图像以t+1帧表示,该种情况中,在t+1帧中出现了新的目标,如图2所示的标号为3的轨迹,即假设t帧中有3个目标,则在t+1帧中出现了4个目标,则将该新目标和增加的源目标连接。
D:将未能和待跟踪集合中的待跟踪目标匹配的源集合中的源目标,与未能和轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
将第N个视频帧图像以t帧表示,第N+1个视频帧图像以t+1帧表示,该种情况中,如图2所示的标号为4的轨迹,通过算法进行匹配的过程中,会出现将源目标和虚拟目标匹配,形成一条运动轨迹。
在上述步骤15之后,还可以包括:
根据第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及任一运动轨迹中的虚拟目标的第二数量,确定任一运动轨迹的类型。
其中,确定运动轨迹的类型,包括:
A:若第一数量小于第一设定阈值,且第二数量大于或等于第二设定阈值,则确定任一运动轨迹的类型为处于稳定运动中的运动轨迹。
B:若第一数量大于或等于第一设定阈值,且第二数量大于或等于第二设定阈值,则确定任一运动轨迹的类型为已经结束运动的运动轨迹。
C:若第二数量大于或等于所述第一设定阈值,且第二数量小于第二设定阈值,则确定任一运动轨迹的类型为由于误判导致的错误的运动轨迹。
D:若第一数量为零且第二数量为1,或第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定任一运动轨迹的类型为新加入的运动轨迹。
相应地,本发明实施一还提出一种多目标跟踪装置,如图3所示,包括:
获得模块301,用于获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹.
获取模块302,用于获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合。
第一生成模块303,用于生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等。
第二生成模块304,用于生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等。
匹配模块305,用于将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
具体地,上述匹配模块305,具体用于将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
还包括:
确定模块,用于根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
具体地,上述确定模块,具体用于若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
相应地,本发明实施一还提出一种多目标跟踪设备,如图4所示,包括:
存储器401,用于存储程序指令。
存储器,可以是易失性存储器(英文:volatilememory),例如随机存取存储器(英文:random-accessmemory,缩写:RAM);或者非易失性存储器(英文:non-volatilememory),例如快闪存储器(英文:flashmemory),硬盘(英文:harddiskdrive,缩写:HDD)或固态硬盘(英文:solid-statedrive,缩写:SSD);或者上述种类的存储器的组合。
信号处理器402,用于通过接口403,获得所述存储其中存储的程序指令,并按照程序指令执行:获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹;获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等;生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等;将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
接口可以为以下一种或多种:提供有线接口的网络接口控制器(英文:networkinterfacecontroller,缩写:NIC),例如以太网NIC,该以太网NIC可以提供铜线和/或光纤接口;提供无线接口的NIC,例如无线局域网(英文:wirelesslocalareanetwork,缩写:WLAN)NIC。
信号处理器可以是中央处理器(英文:centralprocessingunit,缩写:CPU),或者是CPU和硬件芯片的组合。信号处理器804还可以是网络处理器(英文:networkprocessor,缩写:NP)。或者是CPU和NP的组合,或者是NP和硬件芯片的组合。
上述硬件芯片可以是以下一种或多种的组合:专用集成电路(英文:application-specificintegratedcircuit,缩写:ASIC),现场可编程逻辑门阵列(英文:field-programmablegatearray,缩写:FPGA),复杂可编程逻辑器件(英文:complexprogrammablelogicdevice,缩写:CPLD)
具体地,上述信号处理器402,具体用于将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
具体地,上述信号处理器402,还用于根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
具体地,上述信号处理器402,具体用于若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
实施例二
本发明实施例二提出一种多目标跟踪方法,如图5所示,其具体处理流程如下述:
通过预先训练的目标检测器,对待进行目标跟踪的视频中的每个视频帧进行跟踪目标的检测,获得每个视频帧中待跟踪的目标的坐标以及待跟踪的目标的大小。
本发明实施二提出的技术方案中,确定出的跟踪目标可以通过检测框来表示,坐标可以是检测框的中心位置坐标,跟踪目标的大小可以是检测框的大小。检测框可以是方形、菱形或其他形状。
其中,确定每个视频帧中的待跟踪的目标,可以在执行其他步骤过程中确定,也可以预先确定出各个视频帧中的待跟踪的目标。每个视频帧中的待跟踪目标并不完全相同。例如在场景没有变化的情况下,可能连续几个视频帧中的待跟踪目标均相同,如果场景变化,例如有遮挡物或者漏检的情况下,相邻两个视频帧中的待跟踪目标可能会增加或减少。
为便于阐述,本发明实施例一提出的技术方案中,将视频帧中的待跟踪目标分为两种,一种为在初始条件下确定出的目标作为跟踪目标,另一种为其它视频帧中未确定的目标称之为检测目标。
本发明实施例一提出技术方案中,可以实现离线目标跟踪,也可以实现在线目标跟踪。若是离线目标跟踪,则视频是已经录制存储的视频,若是实现在线目标跟踪,则可以实时确定视频帧中的跟踪目标。因此,针对待进行目标跟踪的视频,从待进行目标跟踪的视频中的第N个视频帧开始的每个视频帧,执行下述操作:
步骤51,确定视频帧中待跟踪的目标作为跟踪目标。
例如可以通过目标检测器确定视频帧中的跟踪目标,跟踪目标可以通过检测框来标识,具体的,跟踪目标的位置信息可以是检测框的中心位置,跟踪目标的大小可以是检测框的大小。本发明实施一提出的技术方案中,将确定了跟踪目标的视频帧作为初始视频帧。
步骤52,将确定了跟踪目标的视频帧作为初始视频帧,针对初始视频帧和初始视频帧相邻的下一视频帧,循环执行步骤53~步骤54,直至视频中的视频帧判断结束。
其中,对视频检测时,可以从视频中任一视频帧作为初始视频帧,也可以在视频中的任一视频帧结束目标跟踪。
步骤53,获得初始视频帧中的由至少一个跟踪目标运动形成的轨迹集合,以及下一视频帧中出现的检测目标形成的检测目标集合。
其中,检测目标是下一视频帧中待跟踪的目标。
不同的视频帧中,确定出的检测目标的数量也不完全相同,当出现遮挡、复杂背景的情况下,前后相邻的视频帧中的出现的检测目标可能会出现增加、减少的情况。初始视频帧中的检测目标是已经确定为要进行跟踪的目标,其它视频帧中的检测目标尚未确定是否是要进行跟踪的目标,因此为便于阐述,分别称作为跟踪目标和检测目标。
步骤54,在检测目标集合中,确定与轨迹集合中的轨迹匹配的检测目标子集。
视频帧中跟踪目标运动,会形成相应的轨迹。本发明实施例一提出的技术方案中,通过跟踪目标、以及跟踪目标形成的轨迹,详细阐述目标跟踪方法。
按照下述方式,确定与轨迹集合中的轨迹匹配的检测目标子集:
步骤一:在形成的检测目标集合中增加第一数量的虚拟目标和第二数量的源目标。
其中,第一数量为轨迹集合中包括的轨迹数量,第二数量为检测目标集合中包括的检测目标数量。
步骤二:在增加了虚拟目标和源目标后的检测目标集合中,确定与轨迹集合中的轨迹匹配的检测目标。
其中,按照下述方式中的至少一种匹配所述轨迹集合中的轨迹与检测目标:
A:将轨迹直接与所述检测目标匹配。
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,是将t帧中的轨迹与t+1帧中的跟踪目标直接匹配。如图2所示的标号为1的轨迹,即t帧中的轨迹可以直接在t+1帧中找到跟踪目标连接形成新的轨迹。
B:将未能和检测目标匹配的轨迹与虚拟目标匹配。
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,是将t帧中的轨迹与虚拟目标连接,如图2所示的标号为2的轨迹,即t帧中的轨迹在t+1帧中不能找到跟踪目标形成新的轨迹,因此将t帧中的轨迹与虚拟目标连接。
C:将源目标与检测目标匹配;
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,在t+1帧中出现了新的跟踪目标,如图2所示的标号为3的轨迹,即假设t帧中有3个跟踪目标,则在t+1帧中出现了4个跟踪目标,则将该新跟踪目标和增加的源目标连接。
D:将源目标和虚拟目标匹配。
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,如图2所示的标号为4的轨迹,源目标和虚拟目标数值较近,通过算法进行匹配的过程中,会出现将源目标和虚拟目标匹配,形成一条轨迹。
步骤55,根据针对每个视频帧分别确定的检测目标子集中包含的检测目标的位置信息,确定跟踪目标的运动轨迹。
在上述步骤55之后,还可以包括:
针对确定的任意跟踪目标对应的运动轨迹,确定运动轨迹中包含的检测目标的第三数量,以及包含的虚拟目标的第四数量,根据第三数量和第四数量,确定运动轨迹的类型。
其中,确定运动轨迹的类型,包括:
A:若第三数量小于第一设定阈值,且第四数量大于或等于第二设定阈值时,确定运动轨迹的类型为处于稳定运动中的运动轨迹。
B:若第三数量大于或等于第一设定阈值,且第四数量大于或等于第二设定阈值,确定运动轨迹的类型为跟踪目标已经结束运动的运动轨迹。
C:若第三数量大于或等于第一设定阈值,且第四数量小于第二设定阈值,确定运动轨迹的类型为由于误判导致的错误的运动轨迹。
D:若第三数量为零且第四数量为1,或第三数量小于第一设定阈值且第四数量小于第二设定阈值,确定运动轨迹的类型为新加入的运动轨迹。
相应地,本发明实施例二还提出一种多目标跟踪装置,如图6所示,其结构组成如下述:
第一执行单元601,用于从待进行目标跟踪的视频中的第N个视频帧开始的每个视频帧,执行:确定所述视频帧中待跟踪的目标作为跟踪目标;将确定了跟踪目标的所述视频帧作为初始视频帧。
第二执行单元602,用于针对所述初始视频帧和所述初始视频帧相邻的下一视频帧,执行:获得所述初始视频帧中的由至少一个跟踪目标运动形成的轨迹集合,以及所述下一视频帧中出现的检测目标形成的检测目标集合,其中,所述检测目标是所述下一视频帧中待跟踪的目标;在所述检测目标集合中,确定与所述轨迹集合中的轨迹匹配的检测目标子集。
确定单元603,用于根据针对每个视频帧分别确定的检测目标子集中包含的检测目标的位置信息,确定所述跟踪目标的运动轨迹。
具体地,上述确定单元603,具体用于在形成的所述检测目标集合中增加第一数量的虚拟目标和第二数量的源目标;其中,第一数量为所述轨迹集合中包括的轨迹数量,第二数量为所述检测目标集合中包括的检测目标数量;在增加了所述虚拟目标和源目标后的所述检测目标集合中,确定与所述轨迹集合中的轨迹匹配的检测目标。
具体地,上述确定单元603,具体用于按照下述方式中的至少一种匹配所述轨迹集合中的轨迹与检测目标:将所述轨迹与所述检测目标匹配;将未能和检测目标匹配的轨迹与虚拟目标匹配;将所述源目标与所述检测目标匹配;将源目标与虚拟目标匹配。
具体地,上述确定单元603,还用于针对确定的任意跟踪目标对应的运动轨迹,确定所述运动轨迹中包含的检测目标的第三数量,以及包含的虚拟目标的第四数量;根据所述第三数量和第四数量,确定所述运动轨迹的类型。
具体地,上述确定单元603,具体用于若所述第三数量小于第一设定阈值,且所述第四数量大于或等于第二设定阈值时,确定所述运动轨迹的类型为处于稳定运动中的运动轨迹;若所述第三数量大于或等于第一设定阈值,且所述第四数量大于或等于第二设定阈值,确定所述运动轨迹的类型为跟踪目标已经结束运动的运动轨迹;若所述第四数量大于或等于第一设定阈值,且所述第四数量小于第二设定阈值,确定所述运动轨迹的类型为由于误判导致的错误的运动轨迹;若所述第三数量为零且所述第四数量为1,或所述第三数量小于第一设定阈值且第四数量小于第二设定阈值,确定所述运动轨迹的类型为新加入的运动轨迹。
实施例三
本发明实施三以一实例来进行详细阐述上述实施例一和实施例二提出的技术方案:
步骤一:通过预先训练的目标检测器,对待进行目标跟踪的视频中的每个视频帧进行跟踪目标的检测,获得每个视频帧中待跟踪的目标的位置信息。
步骤二:确定待进行目标跟踪的视频中的初始视频帧t帧。
与初始视频帧t相邻的下一视频帧为t+1帧。
步骤三:获取轨迹集合,以及检测目标集合。
t帧中的目标称之为跟踪目标,跟踪目运动形成轨迹集合,t+1帧中的目标称之为检测目标,对应形成检测目标集合。
步骤四:在检测目标集合中,确定与轨迹集合中的轨迹匹配的检测目标子集。
首先,在形成的检测目标集合中增加第一数量的虚拟目标和第二数量的源目标。
其中,第一数量为轨迹集合中包括的轨迹数量,第二数量为检测目标集合中包括的检测目标数量。
例如根据第t帧的轨迹数量m,增加m个虚拟目标,根据第t+1帧的检测目标数量n,增加n个源目标。如图4所示,t帧中的跟踪目标形成的轨迹有两个,则对应的轨迹集合中的元素数量为2,相应地,增加2个虚拟目标,t+1帧中的检测目标有三个,则对应的检测目标集合中的元素的数量为3,相应地,增加3个源目标。
其次,在增加了虚拟目标和源目标后的检测目标集合中,确定与轨迹集合中的轨迹匹配的检测目标。
每次对m+n个对象进行匹配。其中匹配算法可以是匈牙利算法、最大网络流算法中的一种或多种。
具体地,通过对m+n个对象进行匹配,使能够连接上检测目标的轨迹形成新的轨迹。当无法匹配合适检测目标的轨迹和新出现的检测目标,在实际情况中,出现了遮挡问题和新目标增加问题,通常情况下的匹配算法是无法解决跟踪目标遮挡、跟踪目标增加的问题。本发明实施例提出的技术方案中,由于增加了虚拟目标和源目标,因此可以进行如下操作:将无法匹配合适检测目标的轨迹暂时和虚拟目标连接,将新出现的检测目标暂时和源目标连接。
A:将轨迹直接与所述检测目标匹配。
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,是将t帧中的轨迹与t+1帧中的跟踪目标直接匹配。如图2所示的标号为1的轨迹,即t帧中的轨迹可以直接在t+1帧中找到跟踪目标连接形成新的轨迹。
B:将未能和检测目标匹配的轨迹与虚拟目标匹配。
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,是将t帧中的轨迹与虚拟目标连接,如图2所示的标号为2的轨迹,即t帧中的轨迹在t+1帧中不能找到跟踪目标形成新的轨迹,因此将t帧中的轨迹与虚拟目标连接。
C:将源目标与检测目标匹配;
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,在t+1帧中出现了新的跟踪目标,如图2所示的标号为3的轨迹,即假设t帧中有3个跟踪目标,则在t+1帧中出现了4个跟踪目标,则将该新跟踪目标和增加的源目标连接。
D:将源目标和虚拟目标匹配。
假设t帧是初始视频帧,则下一视频帧为t+1帧,该种情况中,如图2所示的标号为4的轨迹,源目标和虚拟目标数值较近,通过算法进行匹配的过程中,会出现将源目标和虚拟目标匹配,形成一条轨迹。
步骤五:将与初始视频帧相邻的下一视频帧t+1帧重新作为初始视频帧t帧,返回执行步骤三,直至全部视频帧均处理完毕。
匹配完成后,对第t帧之前的轨迹进行统计并更新,通过第t+1帧前的轨迹来代替第t帧之前所有轨迹进行更新。
假设第t帧中第i条轨迹通过参数表示,则按照下述公式通过第t+1帧前的轨迹来代替第t帧之前所有轨迹进行更新:
(1)若在进行匹配时,轨迹集合中的轨迹和检测目标集合中的检测目标连接,则按照下述方式进行更新:
其中,p表示检测目标的位置中心坐标,q表示检测目标的大小;若检测目标通过检测框表示,则p表示检测框的位置中心坐标,q表示检测框的大小。
P用于表示匹配到轨迹中,每个检测目标的位置中心坐标p集合。
Q用于表示匹配到轨迹中,每个检测目标的大小q集合。
t是第t帧,i是第t帧中轨迹序号,j是t+1帧中轨迹序号。
是权重,可以通过颜色直方图和时间因素确定。
A是时间因素权重。较佳地,本发明实施例一提出的技术方案中,A的取值可以是0.5。
是轨迹中已经链接上的检测目标数量,若检测目标通过检测框表示,则是轨迹中已经链接上的检测框数量。
是第t帧中第j条轨迹的颜色直方图的权重。
是轨迹中已经链接上的虚拟目标数量。
是轨迹中已经链接上的虚拟目标数量。
(2)若在进行匹配时,轨迹集合中的轨迹和虚拟目标连接,该种方式中,轨迹集合中的轨迹未能和检测目标匹配,则按照下述方式进行更新:
其中,p表示检测目标的位置中心坐标,q表示检测目标的大小;若检测目标通过检测框表示,则p表示检测框的位置中心坐标,q表示检测框的大小。
P用于表示匹配到轨迹中,每个检测目标的位置中心坐标p集合。
Q用于表示匹配到轨迹中,每个检测目标的大小q集合。
t是第t帧,i是第t帧中轨迹序号,j是t+1帧中轨迹序号。
是权重,可以通过颜色直方图和时间因素确定。
A是时间因素权重。较佳地,本发明实施例一提出的技术方案中,A的取值可以是0.5。
是轨迹中已经匹配上的检测目标数量,若检测目标通过检测框表示,则是轨迹中已经链接上的检测框数量。
是第t帧中第j条轨迹的颜色直方图的权重。
是轨迹中已经链接上的虚拟目标数量。
步骤七:待跟踪视频中的视频帧匹配完成后,对形成的轨迹进行分析,确定跟踪目标的运动轨迹。
其中,按照上述方式对待跟踪的视频帧进行匹配时,针对待检测的视频,可以从任一视频帧起始,也可以从任一视频帧结束。
通常情况下进行目标跟踪时,若场景中出现遮挡,会出现目标减少,或者目标增加的问题,针对此,本发明实施例提出的技术方案中,通过上述公式中的和来对进行如下处理,其中:
运动轨迹类型包括处于稳定运动中的运动轨迹,以表示,跟踪目标已经结束运动的运动轨迹,以表示,由于误判导致的错误的运动轨迹,以表示,新加入的运动轨迹,以表示。
是确定的当前稳定运动的轨迹,是确定的已经在算法中确定结束的轨迹,而会根据条件继续判断变为或者
具体判断第t帧的第i条轨迹类型的方法是根据最新生成的(例如某种场景设定为阈值为J)和的数量(例如某种场景设定为阈值为K):
A:若第一数量小于第一设定阈值,且第二数量大于或等于第二设定阈值时,确定运动轨迹的类型为处于稳定运动中的运动轨迹。该种情况中,如果轨迹中包含较多的真实检测框(即),则该条轨迹被归为
B:B:若第一数量大于或等于第一设定阈值,且第二数量大于或等于第二设定阈值,确定运动轨迹的类型为跟踪目标已经结束运动的运动轨迹。如果轨迹中虚拟目标的数量过多且也达到一定数量(即),那么这条轨迹就归为
C:若第一数量大于或等于第一设定阈值,且第二数量小于第二设定阈值,确定运动轨迹的类型为由于误判导致的错误的运动轨迹。如果轨迹中前面都有真实检测框,后面链接的虚拟目标过多时(即),那么这条轨迹归为
D:若第一数量为零且所述第二数量为1,或第一数量小于第一设定阈值且第二数量小于第二设定阈值,确定运动轨迹的类型为新加入的运动轨迹。如果轨迹中第一个是源目标后面链接上的是真实检测框(即)或者轨迹中()轨迹无法准确判断时,那么这条轨迹被归为
本领域的技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、只读光盘、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种多目标跟踪方法,其特征在于,包括:
获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹;
获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;
生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等;
生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等;
将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
2.如权利要求1所述的方法,其特征在于,将第一集合中的元素,与第二集合中的元素进行匹配,包括:
将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;
将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;
将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;
将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
3.如权利要求1或2所述的方法,其特征在于,在得到所述第N+1个视频帧图像的运动轨迹之后,还包括:
根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
4.如权利要求3所述的方法,其特征在于,根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型,包括:
若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,
若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,
若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,
若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
5.一种多目标跟踪装置,其特征在于,包括:
获得模块,用于获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹;
获取模块,用于获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;
第一生成模块,用于生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等;
第二生成模块,用于生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等;
匹配模块,用于将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
6.如权利要求5所述的装置,其特征在于,所述匹配模块,具体用于将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
7.如权利要求5或6所述的装置,其特征在于,还包括:
确定模块,用于根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
8.如权利要求7所述的装置,其特征在于,所述确定模块,具体用于若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
9.一种多目标跟踪设备,其特征在于,包括:
存储器,用于存储程序指令;
信号处理器,用于通过接口,获得所述存储其中存储的程序指令,并按照程序指令执行:获得由视频中第N个视频帧图像的运动轨迹形成的轨迹集合,其中所述第N个视频帧图像的运动轨迹是所述第N个视频帧图像中的已跟踪目标在所述视频中形成的轨迹;获取由所述视频中第N+1个视频帧图像中检测出的待跟踪目标形成的待跟踪集合;生成由可与所述轨迹集合中的的运动轨迹匹配的虚拟目标形成的虚拟集合,所述轨迹集合中的运动轨迹的数量与所述虚拟集合中的虚拟目标的数量相等;生成由可与所述待跟踪集合中的待跟踪目标匹配的源目标形成的源集合,所述待跟踪集合中的待跟踪目标的数量与所述源集合中的源目标的数量相等;将第一集合中的元素,与第二集合中的元素进行匹配,获取所述第二集合中匹配成功的元素,从而得到所述第N+1个视频帧图像的运动轨迹,所述第一集合为所述源集合和所述轨迹集合构成的集合,所述第二集合为所述待跟踪集合和所述虚拟集合构成的集合,所述第N+1个视频帧图像的运动轨迹包括所述匹配成功的元素对应在所述第一集合中的元素以及所述匹配成功的元素,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素一一对应,所述第N+1个视频帧图像的运动轨迹与所述匹配成功的元素对应在所述第一集合中的元素一一对应。
10.如权利要求9所述的设备,其特征在于,所述信号处理器,具体用于将所述轨迹集合中的运动轨迹与所述待跟踪集合中的待跟踪目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述轨迹集合中的运动轨迹,与所述虚拟集合中的虚拟目标匹配;将未能和所述轨迹集合中的运动轨迹匹配的所述待跟踪集合中的待跟踪目标,与所述源集合中的源目标匹配;将未能和所述待跟踪集合中的待跟踪目标匹配的所述源集合中的源目标,与未能和所述轨迹集合中的运动轨迹匹配的所述虚拟集合中的虚拟目标匹配。
11.如权利要求9或10所述的设备,其特征在于,所述信号处理器,还用于根据所述第N+1个视频帧图像的运动轨迹中任一运动轨迹中的待跟踪目标的第一数量,以及所述任一运动轨迹中的虚拟目标的第二数量,确定所述任一运动轨迹的类型。
12.如权利要求11所述的设备,其特征在于,所述信号处理器,具体用于若所述第一数量小于第一设定阈值,且所述第二数量大于或等于第二设定阈值,则确定所述任一运动轨迹的类型为处于稳定运动中的运动轨迹;或者,若所述第一数量大于或等于所述第一设定阈值,且所述第二数量大于或等于所述第二设定阈值,则确定所述任一运动轨迹的类型为已经结束运动的运动轨迹;或者,若所述第二数量大于或等于所述第一设定阈值,且所述第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为由于误判导致的错误的运动轨迹;或者,若所述第一数量为零且所述第二数量为1,或所述第一数量小于所述第一设定阈值且第二数量小于所述第二设定阈值,则确定所述任一运动轨迹的类型为新加入的运动轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510406330.5A CN105046220A (zh) | 2015-07-10 | 2015-07-10 | 一种多目标跟踪方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510406330.5A CN105046220A (zh) | 2015-07-10 | 2015-07-10 | 一种多目标跟踪方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105046220A true CN105046220A (zh) | 2015-11-11 |
Family
ID=54452749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510406330.5A Withdrawn CN105046220A (zh) | 2015-07-10 | 2015-07-10 | 一种多目标跟踪方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105046220A (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106067179A (zh) * | 2016-05-31 | 2016-11-02 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于分层网络流图的多目标跟踪方法 |
CN106127807A (zh) * | 2016-06-21 | 2016-11-16 | 中国石油大学(华东) | 一种实时的视频多类多目标跟踪方法 |
CN106371459A (zh) * | 2016-08-31 | 2017-02-01 | 京东方科技集团股份有限公司 | 目标跟踪方法及装置 |
CN107578368A (zh) * | 2017-08-31 | 2018-01-12 | 成都观界创宇科技有限公司 | 应用于全景视频的多目标跟踪方法及全景相机 |
CN108090421A (zh) * | 2017-11-30 | 2018-05-29 | 睿视智觉(深圳)算法技术有限公司 | 一种运动员竞技能力分析方法 |
CN108875666A (zh) * | 2018-06-27 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 运动轨迹的获取方法、装置、计算机设备及存储介质 |
CN109325467A (zh) * | 2018-10-18 | 2019-02-12 | 广州云从人工智能技术有限公司 | 一种基于视频检测结果的车辆跟踪方法 |
CN109784173A (zh) * | 2018-12-14 | 2019-05-21 | 合肥阿巴赛信息科技有限公司 | 一种单摄像头的商店客人在线跟踪算法 |
CN109840503A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技(上海)有限公司 | 一种确定种类信息的方法及装置 |
CN110163889A (zh) * | 2018-10-15 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、目标跟踪装置、目标跟踪设备 |
CN110163124A (zh) * | 2019-04-30 | 2019-08-23 | 北京易华录信息技术股份有限公司 | 一种轨迹追踪处理*** |
CN110519324A (zh) * | 2019-06-06 | 2019-11-29 | 特斯联(北京)科技有限公司 | 一种基于网络轨迹大数据的人物追踪方法与*** |
WO2020015498A1 (zh) * | 2018-07-16 | 2020-01-23 | 腾讯科技(深圳)有限公司 | 一种人脸跟踪方法、装置和存储介质 |
CN110766715A (zh) * | 2019-10-31 | 2020-02-07 | 智慧视通(杭州)科技发展有限公司 | 一种结合单目标轨迹的多目标跟踪方法 |
CN110807377A (zh) * | 2019-10-17 | 2020-02-18 | 浙江大华技术股份有限公司 | 目标跟踪和入侵检测方法、装置、及存储介质 |
CN111681208A (zh) * | 2020-05-08 | 2020-09-18 | 浙江大华技术股份有限公司 | 漏装零件检测方法、装置、计算机设备和存储介质 |
CN112070802A (zh) * | 2020-09-02 | 2020-12-11 | 合肥英睿***技术有限公司 | 一种目标跟踪方法、装置、设备及计算机可读存储介质 |
CN112396635A (zh) * | 2020-11-30 | 2021-02-23 | 深圳职业技术学院 | 一种基于多设备的复杂环境下多目标检测方法 |
CN112507949A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、路侧设备以及云控平台 |
CN112528932A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 用于优化位置信息的方法、装置、路侧设备和云控平台 |
CN112639872A (zh) * | 2020-04-24 | 2021-04-09 | 华为技术有限公司 | 一种目标检测中难例挖掘的方法及装置 |
CN113808105A (zh) * | 2021-09-17 | 2021-12-17 | 合肥合滨智能机器人有限公司 | 一种基于超声扫查的病灶检测方法 |
CN113820704A (zh) * | 2020-06-19 | 2021-12-21 | 富士通株式会社 | 检测运动目标的方法、装置和电子设备 |
CN114879696A (zh) * | 2019-05-15 | 2022-08-09 | 百度在线网络技术(北京)有限公司 | 轨迹匹配方法、装置、设备和介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090031560A1 (en) * | 2007-07-30 | 2009-02-05 | Masanori Tomioka | Fabrication line |
CN102971767A (zh) * | 2010-03-17 | 2013-03-13 | Isis创新有限公司 | 一种跟踪视频数据中的目标的方法 |
CN103729861A (zh) * | 2014-01-03 | 2014-04-16 | 天津大学 | 一种多目标跟踪方法 |
KR20140108790A (ko) * | 2013-02-28 | 2014-09-15 | 경북대학교 산학협력단 | 다중 객체 추적 장치 및 방법 |
-
2015
- 2015-07-10 CN CN201510406330.5A patent/CN105046220A/zh not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090031560A1 (en) * | 2007-07-30 | 2009-02-05 | Masanori Tomioka | Fabrication line |
CN102971767A (zh) * | 2010-03-17 | 2013-03-13 | Isis创新有限公司 | 一种跟踪视频数据中的目标的方法 |
KR20140108790A (ko) * | 2013-02-28 | 2014-09-15 | 경북대학교 산학협력단 | 다중 객체 추적 장치 및 방법 |
CN103729861A (zh) * | 2014-01-03 | 2014-04-16 | 天津大学 | 一种多目标跟踪方法 |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106067179A (zh) * | 2016-05-31 | 2016-11-02 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于分层网络流图的多目标跟踪方法 |
CN106067179B (zh) * | 2016-05-31 | 2019-07-09 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于分层网络流图的多目标跟踪方法 |
CN106127807A (zh) * | 2016-06-21 | 2016-11-16 | 中国石油大学(华东) | 一种实时的视频多类多目标跟踪方法 |
CN106371459A (zh) * | 2016-08-31 | 2017-02-01 | 京东方科技集团股份有限公司 | 目标跟踪方法及装置 |
CN107578368A (zh) * | 2017-08-31 | 2018-01-12 | 成都观界创宇科技有限公司 | 应用于全景视频的多目标跟踪方法及全景相机 |
CN108090421A (zh) * | 2017-11-30 | 2018-05-29 | 睿视智觉(深圳)算法技术有限公司 | 一种运动员竞技能力分析方法 |
CN108090421B (zh) * | 2017-11-30 | 2021-10-08 | 睿视智觉(深圳)算法技术有限公司 | 一种运动员竞技能力分析方法 |
CN108875666A (zh) * | 2018-06-27 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 运动轨迹的获取方法、装置、计算机设备及存储介质 |
CN108875666B (zh) * | 2018-06-27 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 运动轨迹的获取方法、装置、计算机设备及存储介质 |
WO2020015498A1 (zh) * | 2018-07-16 | 2020-01-23 | 腾讯科技(深圳)有限公司 | 一种人脸跟踪方法、装置和存储介质 |
CN110163889A (zh) * | 2018-10-15 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、目标跟踪装置、目标跟踪设备 |
CN109325467A (zh) * | 2018-10-18 | 2019-02-12 | 广州云从人工智能技术有限公司 | 一种基于视频检测结果的车辆跟踪方法 |
CN109784173A (zh) * | 2018-12-14 | 2019-05-21 | 合肥阿巴赛信息科技有限公司 | 一种单摄像头的商店客人在线跟踪算法 |
CN109840503A (zh) * | 2019-01-31 | 2019-06-04 | 深兰科技(上海)有限公司 | 一种确定种类信息的方法及装置 |
CN110163124A (zh) * | 2019-04-30 | 2019-08-23 | 北京易华录信息技术股份有限公司 | 一种轨迹追踪处理*** |
CN114879696A (zh) * | 2019-05-15 | 2022-08-09 | 百度在线网络技术(北京)有限公司 | 轨迹匹配方法、装置、设备和介质 |
CN110519324A (zh) * | 2019-06-06 | 2019-11-29 | 特斯联(北京)科技有限公司 | 一种基于网络轨迹大数据的人物追踪方法与*** |
CN110519324B (zh) * | 2019-06-06 | 2020-08-25 | 特斯联(北京)科技有限公司 | 一种基于网络轨迹大数据的人物追踪方法与*** |
CN110807377B (zh) * | 2019-10-17 | 2022-08-09 | 浙江大华技术股份有限公司 | 目标跟踪和入侵检测方法、装置、及存储介质 |
CN110807377A (zh) * | 2019-10-17 | 2020-02-18 | 浙江大华技术股份有限公司 | 目标跟踪和入侵检测方法、装置、及存储介质 |
CN110766715A (zh) * | 2019-10-31 | 2020-02-07 | 智慧视通(杭州)科技发展有限公司 | 一种结合单目标轨迹的多目标跟踪方法 |
CN112639872A (zh) * | 2020-04-24 | 2021-04-09 | 华为技术有限公司 | 一种目标检测中难例挖掘的方法及装置 |
CN111681208A (zh) * | 2020-05-08 | 2020-09-18 | 浙江大华技术股份有限公司 | 漏装零件检测方法、装置、计算机设备和存储介质 |
CN111681208B (zh) * | 2020-05-08 | 2023-08-22 | 浙江大华技术股份有限公司 | 漏装零件检测方法、装置、计算机设备和存储介质 |
CN113820704A (zh) * | 2020-06-19 | 2021-12-21 | 富士通株式会社 | 检测运动目标的方法、装置和电子设备 |
CN112070802A (zh) * | 2020-09-02 | 2020-12-11 | 合肥英睿***技术有限公司 | 一种目标跟踪方法、装置、设备及计算机可读存储介质 |
CN112070802B (zh) * | 2020-09-02 | 2024-01-26 | 合肥英睿***技术有限公司 | 一种目标跟踪方法、装置、设备及计算机可读存储介质 |
CN112396635B (zh) * | 2020-11-30 | 2021-07-06 | 深圳职业技术学院 | 一种基于多设备的复杂环境下多目标检测方法 |
CN112396635A (zh) * | 2020-11-30 | 2021-02-23 | 深圳职业技术学院 | 一种基于多设备的复杂环境下多目标检测方法 |
CN112507949A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、路侧设备以及云控平台 |
CN112528932A (zh) * | 2020-12-22 | 2021-03-19 | 北京百度网讯科技有限公司 | 用于优化位置信息的方法、装置、路侧设备和云控平台 |
CN112528932B (zh) * | 2020-12-22 | 2023-12-08 | 阿波罗智联(北京)科技有限公司 | 用于优化位置信息的方法、装置、路侧设备和云控平台 |
CN113808105A (zh) * | 2021-09-17 | 2021-12-17 | 合肥合滨智能机器人有限公司 | 一种基于超声扫查的病灶检测方法 |
CN113808105B (zh) * | 2021-09-17 | 2024-03-19 | 合肥合滨智能机器人有限公司 | 一种基于超声扫查的病灶检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105046220A (zh) | 一种多目标跟踪方法、装置及设备 | |
Tobin et al. | Domain randomization for transferring deep neural networks from simulation to the real world | |
Jana et al. | YOLO based Detection and Classification of Objects in video records | |
CN108573496B (zh) | 基于lstm网络和深度增强学习的多目标跟踪方法 | |
Li et al. | Deep learning for 2D scan matching and loop closure | |
Boniardi et al. | Robot localization in floor plans using a room layout edge extraction network | |
EP3899786A1 (en) | Detecting objects in crowds using geometric context | |
CN107316317A (zh) | 一种行人多目标跟踪方法和装置 | |
Mei et al. | Hdinet: Hierarchical dual-sensor interaction network for rgbt tracking | |
CN103729861A (zh) | 一种多目标跟踪方法 | |
Mozhdehi et al. | Deep convolutional particle filter for visual tracking | |
CN111798487A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
Schubert et al. | Generalized probabilistic data association for vehicle tracking under clutter | |
Pang et al. | 3d multi-object tracking using random finite set-based multiple measurement models filtering (rfs-m 3) for autonomous vehicles | |
Yu et al. | Cattrack: Single-stage category-level 6d object pose tracking via convolution and vision transformer | |
Sahin et al. | A multi-dimensional Hough transform algorithm based on unscented transform as a track-before-detect method | |
Chavez et al. | Vision-based obstacle avoidance using SIFT features | |
Kao et al. | An Appearance-and-Structure Fusion Network for Object Viewpoint Estimation. | |
CN115147385A (zh) | 一种航空孔探视频中重复损伤的智能检测和判定方法 | |
Wang et al. | Pmds-slam: Probability mesh enhanced semantic slam in dynamic environments | |
Su et al. | Real-time multiple object tracking based on optical flow | |
Lee et al. | A Study on American Football Player Tracking Based on Video Through Deep Learning and GPS Convergence | |
Daramouskas et al. | A design and simulation of a target detection, tracking and localisation system for UAVs | |
Liu et al. | DOTF-SLAM: Real-Time Dynamic SLAM Using Dynamic Odject Tracking and Key-Point Filtering | |
He et al. | PFET: Multi-vehicle tracking with pseudo-feature embeddings for traffic video surveillance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20151111 |
|
WW01 | Invention patent application withdrawn after publication |