CN109816701B - 一种目标跟踪方法及装置、存储介质 - Google Patents

一种目标跟踪方法及装置、存储介质 Download PDF

Info

Publication number
CN109816701B
CN109816701B CN201910045247.8A CN201910045247A CN109816701B CN 109816701 B CN109816701 B CN 109816701B CN 201910045247 A CN201910045247 A CN 201910045247A CN 109816701 B CN109816701 B CN 109816701B
Authority
CN
China
Prior art keywords
target
determining
similarity
position information
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910045247.8A
Other languages
English (en)
Other versions
CN109816701A (zh
Inventor
冯炜韬
胡智昊
武伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910045247.8A priority Critical patent/CN109816701B/zh
Publication of CN109816701A publication Critical patent/CN109816701A/zh
Priority to PCT/CN2019/111038 priority patent/WO2020147348A1/zh
Priority to JP2020533117A priority patent/JP6944598B2/ja
Priority to SG11202007604XA priority patent/SG11202007604XA/en
Priority to KR1020207021162A priority patent/KR102444769B1/ko
Priority to TW108143794A priority patent/TWI715320B/zh
Priority to US16/986,740 priority patent/US20200364882A1/en
Application granted granted Critical
Publication of CN109816701B publication Critical patent/CN109816701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本实施例公开一种目标跟踪方法及装置、存储介质，该方法可以包括：根据历史图像帧，确定第一目标对象的预测目标位置信息和遮挡对象的预测遮挡对象位置信息；根据历史图像帧序列，确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列；根据当前图像帧，确定第二目标对象的当前目标位置信息和当前目标外观特征；根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定目标相似度信息；根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息；根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象的跟踪轨迹。

Description

一种目标跟踪方法及装置、存储介质
技术领域
本公开涉及图像处理领域，尤其涉及一种目标跟踪方法及装置、存储介质。
背景技术
多目标跟踪(MOT，Multi-Object-Tracking)是视频分析***中的一个重要组成部分，如视频监控***和自驾汽车。现有的多目标跟踪算法主要分为两种类型，一种是直接利用多种特征直接处理轨迹关系，但是会导致无法准确预测非常规运动、且容易出现错判和漏判；另一种是先进行单目标跟踪，之后处理轨迹关联关系，优点是能提供目标短期位置变化的预测，能够弥补目标检测缺陷，能够更准确预测非常规运动，然而当遇到遮挡对象遮蔽目标时，会跟丢目标，进而导致目标跟踪的准确性降低。
发明内容
本实施例提供一种目标跟踪方法及装置、存储介质，能够提高目标跟踪的准确性。
本公开的技术方案是这样实现的：
本实施例提供一种目标跟踪方法，所述方法包括：
根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；
根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；
根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；
根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹。
在上述方法中，所述根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息，包括：
根据所述预测目标位置信息和所述当前目标位置信息，确定所述目标位置相似度；
根据所述历史目标外观特征序列和所述当前目标外观特征，确定所述目标外观相似度序列；
将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
在上述方法中，所述根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息，包括：
根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定所述遮挡对象位置相似度；
根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定所述遮挡对象外观相似度；
将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
在上述方法中，所述确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，包括：
利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
在上述方法中，所述确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列，包括：
利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹，包括：
根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；
利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定所述第一目标对象的跟踪轨迹。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系，包括：
将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；
从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
在上述方法中，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
在上述方法中，所述方法还包括：
利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
在上述方法中，所述根据所述第三目标对象的置信度值，获取所述预测目标位置信息，包括：
当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
在上述方法中，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
本实施例提供一种目标跟踪装置，所述目标跟踪装置包括：
第一确定模块，用于根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
第二确定模块，用于根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
轨迹跟踪模块，用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象的跟踪轨迹。
在上述装置中，所述第一确定模块，还用于根据所述预测目标位置信息和所述当前目标位置信息，确定出所述目标位置相似度；根据所述历史目标外观特征序列和所述当前目标外观特征，确定出所述目标外观相似度序列；将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
在上述装置中，所述第一确定模块，还用于根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定出所述遮挡对象位置相似度；根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定出所述遮挡对象外观相似度；将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
在上述装置中，所述第一确定模块，还用于利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
在上述装置中，所述第一确定模块，还用于利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
在上述装置中，所述轨迹跟踪模块，还用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定出所述第一目标对象的跟踪轨迹。
在上述装置中，所述轨迹跟踪模块包括：输入子模块和第三确定子模块；
所述输入子模块，用于将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
所述第三确定子模块，还用于利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
在上述装置中，所述轨迹跟踪模块还包括：获取子模块；
所述获取子模块，还用于当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
所述第三确定子模块，还用于利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
在上述装置中，所述装置还包括：添加模块；
所述添加模块，还用于当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
在上述装置中，所述第二确定模块，还用于利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
在上述装置中，所述获取子模块，还用于当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
在上述装置中，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
本实施例提供一种目标跟踪装置，所述目标跟踪装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如上述任一项所述的目标跟踪方法。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，应用于目标跟踪装置，该计算机程序被处理器执行时实现如上述任一项所述的目标跟踪方法。
本实施例公开一种目标跟踪方法及装置、存储介质，该方法可以包括：根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息；根据当前图像帧之前的历史图像帧序列，确定第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定第一目标对象和第二目标对象之间的目标相似度信息；根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息；根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象的跟踪轨迹。采用上述方法实现方案，目标跟踪装置根据与当前图像帧相邻的历史图像帧，确定遮挡对象的预测遮挡对象位置信息、根据当前图像帧之前的历史图像帧序列，确定遮挡对象的历史遮挡对象外观特征序列，并融合遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，确定出历史图像帧中的第一目标对象的跟踪轨迹，使得在进行目标跟踪时，由于利用了遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，进而降低了遮挡对象对目标跟踪造成的影响，提高了目标跟踪的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本实施例提供的一种目标跟踪方法的流程图；
图2为本实施例提供的一种示例性的目标跟踪方法的流程示意图；
图3为本实施例提供的一种目标跟踪装置的结构示意图一；
图4为本实施例提供的一种目标跟踪装置的结构示意图二。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本公开。并不用于限定本公开。
本实施例公开一种目标跟踪方法，如图1所示，该方法可以包括：
S101、根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，遮挡对象为与第一目标对象最接近的目标。
本实施例提供的一种目标跟踪方法适用于在视频中对多个目标进行跟踪的场景下。
本实施例中，历史图像帧中的目标可以为行人、车辆等，具体的根据实际情况进行选择，本实施例不做具体的限定。
本实施例中，目标跟踪装置在历史图像帧中确定出第一目标对象和与第一目标对象最接近的遮挡对象，之后利用可实现单目标跟踪的神经网络，确定第一目标对象的预测目标位置信息和遮挡对象的预测遮挡对象位置信息。
本实施例中，可实现单目标跟踪的神经网络可以利用单目标跟踪算法组成的网络。
本实施例中，目标跟踪装置在历史图像帧中框定包括第一目标对象的目标外接矩形，之后，目标跟踪装置将目标外接矩形的交面积除以并面积的值最大的一个额外的目标对象，确定为与第一目标对象最接近的遮挡对象。
本实施例中，目标跟踪装置获取当前图像帧之前的一帧相邻图像，作为历史图像帧，并利用单目标跟踪算法，确定第一目标对象在当前图像帧中的预测目标位置信息和遮挡对象在当前图像帧中的预测遮挡对象位置信息。
可选的，单目标跟踪算法包括孪生区域提议网络(SiameseRegion ProposalNetwork)方法、孪生全卷积网络(Siamese FullyConvolutional)方法等，具体的可以根据实际情况进行选择，本实施例不做具体的限定。
本实施例中，位置信息可以包括坐标信息或经纬度信息，具体的根据实际情况进行选择，本实施例不做具体的限定。
S102、根据当前图像帧之前的历史图像帧序列，确定第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列。
本实施例中，目标跟踪装置根据当前图像帧之前的历史图像帧序列，确定出第一目标对象和与第一目标对象最接近的遮挡对象，之后利用行人重识别算法，确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列。
本实施例中，目标跟踪装置获取当前图像帧之前的连续多帧图像，作为历史图像帧序列，并利用可实现行人重识别的神经网络，确定第一目标对象的历史目标外观特征序列和遮挡对象的历史遮挡对象外观特征序列。
本实施例中，历史目标外观特征序列中的特征个数和历史遮挡对象外观特征序列中的特征个数，与历史图像帧序列的帧数一一对应，具体的根据实际情况进行选择，本实施例不做具体的限定。
本实施例中，可实现行人重识别的神经网络可以利用行人重识别算法组成的网络。
本实施例中，行人重识别算法包括Inception-v4模型。
本实施例中，第一目标对象的个数为多个。
需要说明的是，S101和S102为S103之前的两个并列的步骤，S101和S102之间并没有绝对的时序关系，具体的根据实际情况进行选择，本实施例不限定两者的执行顺序。
S103、根据当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征。
当目标跟踪装置确定出第一目标对象对应的预测目标位置信息和历史目标外观特征序列，以及遮挡对象对应的预测遮挡对象位置信息和历史遮挡对象外观特征序列之后，目标跟踪装置根据当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征。
本实施例中，目标跟踪装置根据当前图像帧，确定出第二目标对象以及第二目标对象对应的当前目标位置信息和当前目标外观特征。
本实施例中，第一目标对象和第二目标对象至少部分匹配，即第一目标对象中的至少部分目标与第二目标对象中的至少部分目标匹配。
本实施例中，第二目标对象的对象为多个。
S104、根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定第一目标对象和第二目标对象之间的目标相似度信息。
当目标跟踪装置在当前图像帧中，确定出第二目标对象对应的当前目标位置信息和当前目标外观特征之后，目标跟踪装置根据预测目标位置信息、历史目标外观特征序列、当前目标位置信息和当前目标外观特征，确定第一目标对象和第二目标对象之间的目标相似度信息。
本实施例中，目标跟踪装置根据预测目标位置信息和当前目标位置信息，确定目标位置相似度；目标跟踪装置根据历史目标外观特征序列和当前目标外观特征，确定目标外观相似度序列；之后，目标跟踪装置将目标位置相似度和目标外观相似度序列确定为第一目标对象和第二目标对象之间的目标相似度信息。
本实施例中，目标跟踪装置将预测目标位置信息和当前目标位置信息进行相似度计算，得到目标位置相似度；目标跟踪装置对历史目标外观特征序列和当前目标外观特征进行相似度计算，得到目标外观相似度序列。
S105、根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息。
当目标跟踪装置在当前图像帧中，确定出第二目标对象对应的当前目标位置信息和当前目标外观特征之后，目标跟踪装置根据预测遮挡对象位置信息、历史遮挡对象外观特征序列、当前目标位置信息和当前目标外观特征，确定遮挡对象相似度信息。
本实施例中，目标跟踪装置根据预测遮挡对象位置信息和当前目标位置信息，确定遮挡对象位置相似度；目标跟踪装置根据历史遮挡对象外观特征序列和当前目标外观特征，确定遮挡对象外观相似度；之后，目标跟踪装置将遮挡对象位置相似度和遮挡对象外观相似度确定为遮挡对象相似度信息。
本实施例中，目标跟踪装置对预测遮挡对象位置信息和当前目标位置信息进行相似度计算，得到遮挡对象位置相似度；目标跟踪装置对历史遮挡对象外观特征序列和当前目标外观特征进行相似度计算，得到遮挡对象外观相似度。
本实施例中，目标位置相似度为目标外接矩形的交面积除以并面积的值，目标外观相似度序列为外观特征余弦夹角。
需要说明的是，遮挡对象位置相似度的计算过程与目标位置相似度的计算过程相同，遮挡对象外观相似度和目标外观相似度序列的计算过程相同，在此不再赘述。
需要说明的是，S104和S105为S103之后、S106之前的两个并列的步骤，S104和S105之间并没有绝对的时序关系，具体的根据实际情况进行选择，本实施例不限定两者的执行顺序。
S106、根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象的跟踪轨迹。
当目标跟踪装置确定出目标相似度信息和遮挡对象相似度信息之后，目标追踪装置根据目标相似度信息和遮挡对象相似度信息，确定出第一目标对象的跟踪轨迹。
本实施例中，目标跟踪装置根据目标相似度信息和遮挡对象相似度信息，确定第一目标对象和第二目标对象之间的目标轨迹关联关系；目标跟踪装置利用目标轨迹关联关系，在第二目标对象中查找与第一目标对象关联的目标，以确定第一目标对象的跟踪轨迹。
本实施例中，目标跟踪装置将目标相似度信息和遮挡对象相似度信息，输入预设分类器；之后利用预设分类器，确定出多种轨迹关联关系的多个决策分数，其中多种轨迹关联关系为对第一目标对象和第二目标对象之间进行轨迹关联，得到的轨迹关联关系；目标跟踪装置从多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为目标轨迹关联关系。
本实施例中，预设分类器输出多种轨迹关联关系中每个关联目标之间的决策分数，之后，将每一种轨迹关联关系中的决策分数进行叠加，得到该种轨迹关联关系对应的决策分数，至此，就得到了多种轨迹关联关系的多个决策分数。
本实施例中，目标跟踪装置利用预设轨迹关联算法，对历史图像帧中的第一目标对象和当前图像帧中的第二目标对象进行轨迹关联，得到第一目标对象和第二目标对象之间的多种轨迹关联关系。
本实施例中，分类器采用梯度增强决策树模型。
本实施例中，预设轨迹关联算法为二分图的加权最大匹配算法，即最小费用最大流算法。
进一步地，当目标跟踪装置确定出目标轨迹关联关系之后，目标跟踪装置在目标关联关系中的第一目标对象中确定与第二目标对象关联的目标，当目标跟踪装置在目标关联关系中的第一目标对象中确定出与第二目标对象不关联的第三目标对象时，目标跟踪装置根据第三目标对象的置信度值，获取预测目标位置信息，之后，目标跟踪装置利用目标关联关系和预测目标位置信息，确定出第一目标对象的跟踪轨迹。
示例性的，当目标跟踪装置在第一目标对象中确定出与第二目标对象不关联的第三目标对象时，目标跟踪装置判断出历史图像帧中的第三目标对象并未在当前图像帧中显现，此时，目标跟踪装置判断第三目标对象并未在当前图像帧中显现的原因，当第三目标对象的置信度值不满足预设置信度阈值时，表征第三目标对象离开当前图像帧；当第三目标对象的置信度值满足预设置信度阈值时，表征第三目标对象在当前图像帧中被遮挡对象遮挡，此时，目标跟踪装置根据第三目标对象对应的预测目标位置信息，预测第三目标对象在当前图像帧中的位置。
进一步地，目标跟踪装置在目标关联关系中的第二目标对象中确定与第一目标对象关联的目标，当目标跟踪装置在目标关联关系中的第二目标对象中确定出与第一目标对象不关联的第四目标对象时，目标跟踪装置将第四目标对象添加至下一轮关联关系中，其中，下一轮关联关系为以当前图像帧为历史图像帧生成的关联关系。
示例性的，当目标跟踪装置在第二目标对象中确定出与第一目标对象不关联的第四目标对象时，表征第四目标对象为新增的目标对象，此时，目标跟踪装置对第四目标对象进行目标跟踪。
本实施例中，在目标关联关系中，第一目标对象和第二目标对象中匹配的目标对象组成了二元组，第一目标对象和第二目标对象中未匹配的目标对象组成了一元组，目标跟踪装置从一元组中查找第二目标对象中的目标对象，作为与第一目标对象不关联的第四目标对象；目标跟踪装置从一元组中查找第一目标对象中的目标对象，作为与第二目标对象不关联的第三目标对象。
本实施例中，目标跟踪装置利用单目标跟踪算法，分别计算第一目标对象对应的置信度值和预测目标位置信息。
本实施例中，目标跟踪装置将第三目标对象对应的置信度值和预设置信度值进行比较，当第三目标对象对应的置信度值满足预设置信度值时，目标跟踪装置获取预测目标位置信息。
需要说明的是，本实施例中的单目标跟踪算法、行人重识别算法、预设分类器和预设轨迹关联算法均为可替换算法，具体的根据实际情况进行选择，本实施例不做具体的限定。
本实施例中，目标跟踪装置从目标关联关系，确定出在视频中的不同目标对象的行动轨迹，进而能够对目标对象进行跟踪。
示例性的，如图2所示，在短期线索中，输入Ex模板至单目标跟踪算法(SOT，SingleObject Tracking)子网中，得到在t+1时刻的预测目标位置信息Dtrack和置信度Score map，之后将检测到的t+1时刻的当前目标位置信息Ddet和Dtrack进行相似度计算，得到目标位置相似度fs(Dtrack,Ddet)；在长期线索中，输入Ddet对应的当前图像区域It+1,Ddet至行人重识别(ReID，Person Re-identification)子网中，得到当前目标外观特征Adet，并获取当前目标在历史图像帧中的历史图像区域
Figure BDA0001948928510000131
并将历史图像区域输入至ReID子网中，得到历史目标外观特征序列
Figure BDA0001948928510000132
之后，依次计算当前目标外观特征与历史目标外观特征序列之间的相似度，得到目标外观相似度序列
Figure BDA0001948928510000133
之后，将目标位置相似度和目标外观相似度序列输入遮挡对象敏感的分类器(SAC，Switcher-Aware Classifier)中，得到多种轨迹关联关系的多个决策分数，之后，从多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为目标轨迹关联关系。
可以理解的是，目标跟踪装置根据与当前图像帧相邻的历史图像帧，确定遮挡对象的预测遮挡对象位置信息、根据当前图像帧之前的历史图像帧序列，确定遮挡对象的历史遮挡对象外观特征序列，并融合遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，确定出历史图像帧中的第一目标对象的跟踪轨迹，使得在进行目标跟踪时，由于利用了遮挡对象的预测遮挡对象位置信息和历史遮挡对象外观特征序列，进而降低了遮挡对象对目标跟踪造成的影响，提高了目标跟踪的准确性。
本实施例提供一种目标跟踪装置1，如图3所示，该装置可以包括：
第一确定模块10，用于根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
第二确定模块11，用于根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
轨迹跟踪模块12，用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象的跟踪轨迹。
可选的，所述第一确定模块10，还用于根据所述预测目标位置信息和所述当前目标位置信息，确定出所述目标位置相似度；根据所述历史目标外观特征序列和所述当前目标外观特征，确定出所述目标外观相似度序列；将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
可选的，所述第一确定模块10，还用于根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定出所述遮挡对象位置相似度；根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定出所述遮挡对象外观相似度；将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
可选的，所述第一确定模块10，还用于利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
可选的，所述第一确定模块10，还用于利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
可选的，所述轨迹跟踪模块12，还用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定出所述第一目标对象的跟踪轨迹。
可选的，所述轨迹跟踪模块12包括：输入子模块120和第三确定子模块121；
所述输入子模块120，用于将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
所述第三确定子模块121，还用于利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
可选的，所述轨迹跟踪模块12还包括：获取子模块122；
所述获取子模块122，还用于当在所述目标关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
所述第三确定子模块121，还用于利用所述目标关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
可选的，所述装置还包括：添加模块13；
所述添加模块13，还用于当在所述目标关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
可选的，所述第二确定模块11，还用于利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
可选的，所述获取子模块122，还用于当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
可选的，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
图4为本实施例提出的目标跟踪装置1的组成结构示意图一，在实际应用中，基于上述实施例的同一公开构思下，如图4所示，本实施例的目标跟踪装置1包括：处理器14、存储器15、及通信总线16。所述第一确定模块10、所述第二确定模块11、所述轨迹跟踪模块12、所述输入子模块120、所述第三确定子模块121、获取子模块122和添加模块13由处理器1实现。
在具体的实施例的过程中，上述处理器14可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，Digital SignalProcessor)、数字信号处理图像显示设备(DSPD，Digital Signal Processing Device)、可编程逻辑图像显示设备(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本公开的实施例中，上述通信总线16用于实现处理器14和存储器15之间的连接通信；上述处理器14用于执行存储器15中存储的运行程序，以实现如上述实施例的方法。
本实施例提供一种计算机可读存储介质，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于目标跟踪装置中，该程序被处理器执行时实现如上述实施例的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (26)

1.一种目标跟踪方法，其特征在于，所述方法包括：
根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；
根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；
根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；
根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息，包括：
根据所述预测目标位置信息和所述当前目标位置信息，确定所述目标位置相似度；
根据所述历史目标外观特征序列和所述当前目标外观特征，确定所述目标外观相似度序列；
将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息，包括：
根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定所述遮挡对象位置相似度；
根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定所述遮挡对象外观相似度；
将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
4.根据权利要求1所述的方法，其特征在于，所述确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，包括：
利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
5.根据权利要求1所述的方法，其特征在于，所述确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列，包括：
利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象的跟踪轨迹，包括：
根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；
利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定所述第一目标对象的跟踪轨迹。
7.根据权利要求6所述的方法，其特征在于，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系，包括：
将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；
从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
8.根据权利要求6所述的方法，其特征在于，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
当在所述目标轨迹关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
利用所述目标轨迹关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
9.根据权利要求6所述的方法，其特征在于，所述根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系之后，所述方法还包括：
当在所述目标轨迹关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
10.根据权利要求4所述的方法，其特征在于，所述方法还包括：
利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
11.根据权利要求8所述的方法，其特征在于，所述根据所述第三目标对象的置信度值，获取所述预测目标位置信息，包括：
当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
12.根据权利要求1-11任一项所述的方法，其特征在于，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
13.一种目标跟踪装置，其特征在于，所述目标跟踪装置包括：
第一确定模块，用于根据与当前图像帧相邻的历史图像帧，确定第一目标对象对应的预测目标位置信息和遮挡对象对应的预测遮挡对象位置信息，所述遮挡对象为与所述第一目标对象最接近的目标；根据所述当前图像帧之前的历史图像帧序列，确定所述第一目标对象对应的历史目标外观特征序列和遮挡对象对应的历史遮挡对象外观特征序列；根据所述当前图像帧，确定第二目标对象对应的当前目标位置信息和当前目标外观特征；
第二确定模块，用于根据所述预测目标位置信息、所述历史目标外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定所述第一目标对象和所述第二目标对象之间的目标相似度信息；根据所述预测遮挡对象位置信息、所述历史遮挡对象外观特征序列、所述当前目标位置信息和所述当前目标外观特征，确定遮挡对象相似度信息；
轨迹跟踪模块，用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象的跟踪轨迹。
14.根据权利要求13所述的装置，其特征在于，
所述第一确定模块，还用于根据所述预测目标位置信息和所述当前目标位置信息，确定出所述目标位置相似度；根据所述历史目标外观特征序列和所述当前目标外观特征，确定出所述目标外观相似度序列；将所述目标位置相似度和所述目标外观相似度序列确定为所述目标相似度信息。
15.根据权利要求13所述的装置，其特征在于，
所述第一确定模块，还用于根据所述预测遮挡对象位置信息和所述当前目标位置信息，确定出所述遮挡对象位置相似度；根据所述历史遮挡对象外观特征序列和所述当前目标外观特征，确定出所述遮挡对象外观相似度；将所述遮挡对象位置相似度和所述遮挡对象外观相似度确定为所述遮挡对象相似度信息。
16.根据权利要求13所述的装置，其特征在于，
所述第一确定模块，还用于利用可实现单目标跟踪的神经网络，确定所述预测目标位置信息和所述预测遮挡对象位置信息。
17.根据权利要求13所述的装置，其特征在于，
所述第一确定模块，还用于利用可实现行人重识别的神经网络，确定所述历史目标外观特征序列和所述历史遮挡对象外观特征序列。
18.根据权利要求13所述的装置，其特征在于，
所述轨迹跟踪模块，还用于根据所述目标相似度信息和所述遮挡对象相似度信息，确定出所述第一目标对象和所述第二目标对象之间的目标轨迹关联关系；利用所述目标轨迹关联关系，在所述第二目标对象中查找与所述第一目标对象关联的目标，以确定出所述第一目标对象的跟踪轨迹。
19.根据权利要求18所述的装置，其特征在于，所述轨迹跟踪模块包括：输入子模块和第三确定子模块；
所述输入子模块，用于将所述目标相似度信息和所述遮挡对象相似度信息，输入预设分类器；
所述第三确定子模块，还用于利用所述预设分类器，确定出多种轨迹关联关系的多个决策分数，所述多种轨迹关联关系为对所述第一目标对象和所述第二目标对象之间进行轨迹关联，得到的轨迹关联关系；从所述多种轨迹关联关系中确定出决策分数最高的轨迹关联关系，作为所述目标轨迹关联关系。
20.根据权利要求19所述的装置，其特征在于，所述轨迹跟踪模块还包括：获取子模块；
所述获取子模块，还用于当在所述目标轨迹关联关系的所述第一目标对象中确定出与所述第二目标对象不关联的第三目标对象时，根据所述第三目标对象的置信度值，获取所述预测目标位置信息；
所述第三确定子模块，还用于利用所述目标轨迹关联关系和所述预测目标位置信息，确定出所述第一目标对象的跟踪轨迹。
21.根据权利要求18所述的装置，其特征在于，所述装置还包括：添加模块；
所述添加模块，还用于当在所述目标轨迹关联关系的所述第二目标对象中确定出与所述第一目标对象不关联的第四目标对象时，将所述第四目标对象添加至下一轮关联关系中，所述下一轮关联关系为以所述当前图像帧为历史图像帧生成的关联关系。
22.根据权利要求16所述的装置，其特征在于，
所述第二确定模块，还用于利用所述可实现单目标跟踪的神经网络，确定所述第一目标对象对应的置信度值。
23.根据权利要求20所述的装置，其特征在于，
所述获取子模块，还用于当所述第三目标对象的置信度值满足预设置信度值时，获取所述预测目标位置信息。
24.根据权利要求13-23任一项所述的装置，其特征在于，所述第一目标对象的个数和所述第二目标对象的个数均为多个。
25.一种目标跟踪装置，其特征在于，所述目标跟踪装置包括：处理器、存储器及通信总线，所述处理器执行所述存储器中存储的运行程序时实现如权利要求1-12任一项所述的方法。
26.一种计算机可读存储介质，其上存储有计算机程序，应用于目标跟踪装置，其特征在于，该计算机程序被处理器执行时实现如权利要求1-12任一项所述的方法。
CN201910045247.8A 2019-01-17 2019-01-17 一种目标跟踪方法及装置、存储介质 Active CN109816701B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910045247.8A CN109816701B (zh) 2019-01-17 2019-01-17 一种目标跟踪方法及装置、存储介质
PCT/CN2019/111038 WO2020147348A1 (zh) 2019-01-17 2019-10-14 一种目标跟踪方法及装置、存储介质
JP2020533117A JP6944598B2 (ja) 2019-01-17 2019-10-14 目標追跡方法及び装置、記憶媒体
SG11202007604XA SG11202007604XA (en) 2019-01-17 2019-10-14 Method and apparatuses for target tracking, and storage medium
KR1020207021162A KR102444769B1 (ko) 2019-01-17 2019-10-14 목표 추적 방법 및 장치, 저장 매체
TW108143794A TWI715320B (zh) 2019-01-17 2019-11-29 一種目標跟蹤方法及裝置、儲存介質
US16/986,740 US20200364882A1 (en) 2019-01-17 2020-08-06 Method and apparatuses for target tracking, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910045247.8A CN109816701B (zh) 2019-01-17 2019-01-17 一种目标跟踪方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN109816701A CN109816701A (zh) 2019-05-28
CN109816701B true CN109816701B (zh) 2021-07-27

Family

ID=66604404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910045247.8A Active CN109816701B (zh) 2019-01-17 2019-01-17 一种目标跟踪方法及装置、存储介质

Country Status (7)

Country Link
US (1) US20200364882A1 (zh)
JP (1) JP6944598B2 (zh)
KR (1) KR102444769B1 (zh)
CN (1) CN109816701B (zh)
SG (1) SG11202007604XA (zh)
TW (1) TWI715320B (zh)
WO (1) WO2020147348A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN110197502B (zh) * 2019-06-06 2021-01-22 山东工商学院 一种基于身份再识别的多目标跟踪方法及***
US11679764B2 (en) * 2019-06-28 2023-06-20 Baidu Usa Llc Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle
CN110414443A (zh) * 2019-07-31 2019-11-05 苏州市科远软件技术开发有限公司 一种目标跟踪方法、装置及枪球联动跟踪方法
CN110647818A (zh) * 2019-08-27 2020-01-03 北京易华录信息技术股份有限公司 一种遮挡目标物体的识别方法及装置
CN110517293A (zh) * 2019-08-29 2019-11-29 京东方科技集团股份有限公司 目标跟踪方法、装置、***和计算机可读存储介质
CN110533685B (zh) 2019-08-30 2023-10-24 腾讯科技（深圳）有限公司 对象跟踪方法和装置、存储介质及电子装置
CN110751205A (zh) * 2019-10-17 2020-02-04 北京百度网讯科技有限公司 物体关联方法、装置、设备和介质
US11043003B2 (en) 2019-11-18 2021-06-22 Waymo Llc Interacted object detection neural network
KR102311798B1 (ko) * 2019-12-12 2021-10-08 포항공과대학교 산학협력단 다중 객체 추적 방법 및 장치
CN111402293B (zh) * 2020-03-10 2023-11-14 北京邮电大学 面向智能交通的一种车辆跟踪方法及装置
CN112084914B (zh) * 2020-08-31 2024-04-26 的卢技术有限公司 一种融合空间运动和表观特征学习的多目标跟踪方法
CN112288775B (zh) * 2020-10-23 2022-04-15 武汉大学 一种基于长短期预测模型的多目标遮挡跟踪方法
CN112507949A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 目标跟踪方法、装置、路侧设备以及云控平台
CN112528932B (zh) * 2020-12-22 2023-12-08 阿波罗智联(北京)科技有限公司 用于优化位置信息的方法、装置、路侧设备和云控平台
KR102405955B1 (ko) * 2020-12-29 2022-06-08 현대위아 주식회사 다수의 모바일 로봇 경로 분석 시스템 및 방법
CN112734802B (zh) * 2020-12-31 2024-02-09 杭州海康威视***技术有限公司 一种轨迹获取方法及装置
CN112837349A (zh) * 2021-02-09 2021-05-25 普联技术有限公司 一种目标跟踪方法、设备及计算机可读存储介质
TWI758162B (zh) * 2021-04-15 2022-03-11 和碩聯合科技股份有限公司 生物形體的追蹤系統及方法
CN113420697B (zh) * 2021-07-01 2022-12-09 中科人工智能创新技术研究院(青岛)有限公司 基于表观和形状特征的换装视频行人重识别方法及***
CN113674317B (zh) * 2021-08-10 2024-04-26 深圳市捷顺科技实业股份有限公司 一种高位视频的车辆跟踪方法及装置
CN113808162B (zh) * 2021-08-26 2024-01-23 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN113793031B (zh) * 2021-09-15 2023-09-29 中海油安全技术服务有限公司 海底管线风险预测方法及装置
CN113870312B (zh) * 2021-09-30 2023-09-22 四川大学 基于孪生网络的单目标跟踪方法
CN115035158B (zh) * 2022-06-05 2023-11-17 东北石油大学 目标跟踪的方法及装置、电子设备和存储介质
CN115641359B (zh) * 2022-10-17 2023-10-31 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN117409044B (zh) * 2023-12-14 2024-06-14 深圳卡思科电子有限公司 一种基于机器学习的智能对象动态跟随方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631896A (zh) * 2015-12-18 2016-06-01 武汉大学 一种基于混合分类器决策的压缩感知跟踪方法
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
CN106846373A (zh) * 2016-11-16 2017-06-13 浙江工业大学 一种融合目标外观模型和博弈论的视频目标互遮挡处理方法
CN108470353A (zh) * 2018-03-01 2018-08-31 腾讯科技（深圳）有限公司 一种目标跟踪方法、装置和存储介质
CN108875465A (zh) * 2017-05-26 2018-11-23 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006097681A1 (en) * 2005-03-17 2006-09-21 British Telecommunications Public Limited Company Method of tracking objects in a video sequence
GB2452512B (en) * 2007-09-05 2012-02-29 Sony Corp Apparatus and method of object tracking
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US20110115909A1 (en) * 2009-11-13 2011-05-19 Sternberg Stanley R Method for tracking an object through an environment across multiple cameras
US8600106B1 (en) * 2010-08-31 2013-12-03 Adobe Systems Incorporated Method and apparatus for tracking objects within a video frame sequence
JP2015198592A (ja) * 2014-04-07 2015-11-12 コニカミノルタ株式会社 細胞配列チップおよび細胞の配列方法
US9390328B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Static occlusion handling using directional pixel replication in regularized motion environments
JP6474126B2 (ja) 2015-02-27 2019-02-27 Kddi株式会社 オブジェクト追跡方法、装置およびプログラム
JP6614611B2 (ja) 2016-02-29 2019-12-04 Ｋｄｄｉ株式会社 画像間類似度を考慮して物体を追跡する装置、プログラム及び方法
JP6504711B2 (ja) * 2016-03-29 2019-04-24 Kddi株式会社 画像処理装置
JP6465068B2 (ja) * 2016-04-28 2019-02-06 株式会社村田製作所 コイル部品
CN107346538A (zh) * 2016-05-06 2017-11-14 株式会社理光 对象跟踪方法及设备
JP6439757B2 (ja) * 2016-07-08 2018-12-19 オムロン株式会社 画像処理装置および画像処理方法
CN106355604B (zh) * 2016-08-22 2019-10-18 杭州保新科技有限公司 图像目标跟踪方法与***
CA3041651A1 (en) 2016-10-25 2018-05-03 Deep North, Inc. Vision based target tracking using tracklets
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技（上海）有限公司 视频目标跟踪的方法和装置
KR101866338B1 (ko) 2017-01-23 2018-06-11 광주과학기술원 상대적 외형 특징 및 모션 패턴을 통한 다중 객체 추적 방법 및 이에 관한 컴퓨터 판독가능 저장 매체
US10373369B2 (en) * 2017-03-16 2019-08-06 Qualcomm Technologies, Inc. Three-dimensional pose estimation of symmetrical objects
US10977827B2 (en) * 2018-03-27 2021-04-13 J. William Mauchly Multiview estimation of 6D pose
CN108573496B (zh) * 2018-03-29 2020-08-11 淮阴工学院 基于lstm网络和深度增强学习的多目标跟踪方法
CN108986138A (zh) 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标跟踪方法及设备
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle
CN109145781B (zh) * 2018-08-03 2021-05-04 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
US11948312B2 (en) * 2019-04-17 2024-04-02 Nec Corporation Object detection/tracking device, method, and program recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631896A (zh) * 2015-12-18 2016-06-01 武汉大学 一种基于混合分类器决策的压缩感知跟踪方法
CN105678808A (zh) * 2016-01-08 2016-06-15 浙江宇视科技有限公司 运动目标跟踪方法及装置
CN106846373A (zh) * 2016-11-16 2017-06-13 浙江工业大学 一种融合目标外观模型和博弈论的视频目标互遮挡处理方法
CN108875465A (zh) * 2017-05-26 2018-11-23 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN108470353A (zh) * 2018-03-01 2018-08-31 腾讯科技（深圳）有限公司 一种目标跟踪方法、装置和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Real-Time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification;Long Chen，et al.;《arXiv》;20180912;全文 *
Tracking The Untrackable：Learning to Track Multiple Cues with Long-Term Dependencies;Amir Sadeghian，et al.;《arXiv》;20170403;第1-10页 *
基于多对象特征获取的多目标跟踪算法研究;孙学彬;《万方数据》;20141028;摘要，第4章 *
孙学彬.基于多对象特征获取的多目标跟踪算法研究.《万方数据》.2014, *

Also Published As

Publication number Publication date
KR102444769B1 (ko) 2022-09-19
WO2020147348A1 (zh) 2020-07-23
CN109816701A (zh) 2019-05-28
TWI715320B (zh) 2021-01-01
JP2021514498A (ja) 2021-06-10
SG11202007604XA (en) 2020-09-29
US20200364882A1 (en) 2020-11-19
TW202029129A (zh) 2020-08-01
JP6944598B2 (ja) 2021-10-06
KR20200100792A (ko) 2020-08-26

Similar Documents

Publication Publication Date Title
CN109816701B (zh) 一种目标跟踪方法及装置、存储介质
CN111709975B (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN113284168A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112926531B (zh) 特征信息提取方法、模型训练方法、装置及电子设备
Jo Cumulative dual foreground differences for illegally parked vehicles detection
KR20140028809A (ko) 이미지 피라미드의 적응적 이미지 처리 장치 및 방법
CN111275737A (zh) 一种目标跟踪方法、装置、设备及存储介质
CN112784725B (zh) 行人防撞预警方法、设备、存储介质及堆高机
CN114332708A (zh) 交通行为检测方法、装置、电子设备及存储介质
CN110647818A (zh) 一种遮挡目标物体的识别方法及装置
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111832349A (zh) 遗留物错误检测的识别方法、装置及图像处理设备
CN113569812A (zh) 未知障碍物的识别方法、装置和电子设备
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶***
CN112070083A (zh) 图像内容检测方法、装置、电子设备和存储介质
WO2023179031A1 (zh) 一种图像处理方法、装置、电子设备、存储介质及计算机程序产品
CN114882491B (zh) 一种非机动车目标的跟踪方法、装置和电子设备
CN113994391B (zh) 车辆通行提醒方法、装置及车载终端
CN110782425A (zh) 图像处理方法、图像处理装置和电子设备
CN111950501B (zh) 障碍物检测方法、装置以及电子设备
CN112906495A (zh) 一种目标检测方法、装置、电子设备及存储介质
CN111753593A (zh) 车载环视***骑行车实时检测方法、***及装置
CN117495916B (zh) 多目标轨迹关联方法、装置、通信设备及存储介质
CN117197422B (zh) 识别码的定位方法、电子设备及存储介质
CN116563769B (zh) 一种视频目标识别追踪方法、***、计算机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40006464

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 1101-1117, 11 / F, No. 58, Beisihuan West Road, Haidian District, Beijing 100080

Patentee after: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.

Address before: Room 710-712, 7th floor, No. 1 Courtyard, Zhongguancun East Road, Haidian District, Beijing

Patentee before: BEIJING SENSETIME TECHNOLOGY DEVELOPMENT Co.,Ltd.