CN110503662A - 跟踪方法及相关产品 - Google Patents
跟踪方法及相关产品 Download PDFInfo
- Publication number
- CN110503662A CN110503662A CN201910617283.7A CN201910617283A CN110503662A CN 110503662 A CN110503662 A CN 110503662A CN 201910617283 A CN201910617283 A CN 201910617283A CN 110503662 A CN110503662 A CN 110503662A
- Authority
- CN
- China
- Prior art keywords
- tracking object
- tracking
- image
- detection image
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 186
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 7
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 2
- 238000013497 data interchange Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 238000012876 topography Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种跟踪方法及相关产品，其中方法包括：获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息；针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合。因此通过本申请实施例，可快速准确的对多跟踪目标进行跟踪，满足跟踪时的实时性要求。
Description
技术领域
本申请涉及跟踪技术领域，尤其涉及一种跟踪方法及相关产品。
背景技术
随着图像处理技术的飞速发展，运动目标检测以及跟踪技术已经被运用到各行各业，如安防、人机交互、医学图像等领域，其中安防领域的x光安检图像的目标跟踪技术受到越来越多的学者和专家的重视。
在目标跟踪技术方面，很多场景都需要进行多目标跟踪，且在跟踪的过程中要满足目标跟踪的实时性，例如，安防领域的安检目标跟踪、各种监控视频中的移动物体的跟踪等。然而，传统的目标跟踪方法，例如，帧间差分法和光流分割法等，由于存在这运算量大，跟踪方法复杂等问题，而无法满足上述多目标跟踪的实时性要求。
发明内容
本申请实施例提供一种跟踪方法，可快速准确的对多跟踪目标进行跟踪，满足跟踪时的实时性要求。
第一方面，本申请实施例提供了一种跟踪方法，该方法包括：
获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息，所述每个跟踪对象的跟踪信息包括所述每个跟踪对象的位置信息和所述每个跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个跟踪对象的图像的面积，所述至少一个跟踪对象是根据一帧或多帧的检测图像的检测结果而得到的；
针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合，其中，所述图像搜索操作包括模板匹配操作，所述模板匹配操作所使用的图像模板为当前处理的跟踪对象的局部模板图像。
第二方面，本申请实施例提供一种跟踪装置，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息，所述每个跟踪对象的跟踪信息包括所述每个跟踪对象的位置信息和所述每个跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个跟踪对象的图像的面积，所述至少一个跟踪对象是根据一帧或多帧的检测图像的检测结果而得到的；以及用于针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合，其中，所述图像搜索操作包括模板匹配操作，所述模板匹配操作所使用的图像模板为当前处理的跟踪对象的局部模板图像。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备能够在对视频图像中的跟踪对象进行跟踪时，通过跟踪对象的历史位置确定一个较小的搜索区域，然后在该搜索区域对跟踪对象的局部图形进行匹配，从而确定跟踪对象当前的位置，以达到对跟踪对象进行跟踪的目的。由于，在跟踪过程中是在一个较小的范围对跟踪对象的局部图像进行匹配，所以相对于目前的全局搜索匹配，本申请实施例的运算量要小得多。因此通过本申请实施例，可快速准确的对多跟踪目标进行跟踪，满足跟踪时的实时性要求。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种跟踪***的示意图；
图2a是本申请实施例提供的一种跟踪方法的流程示意图；
图2b是本申请实施例提供的一种待搜索区域的示意图；
图2c是本申请实施例提供的一种待搜索区域的示意图；
图3本申请实施例提供的一种电子设备的结构示意图；
图4本申请实施例提供的一种跟踪装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，图1为一个跟踪***100的示意图，该跟踪***100包括图像获取装置110、图像处理装置120，所述图像获取装置110连接所述图像处理装置120，图像获取装置110用于获取图像数据并发给图像处理装置120进行处理，图像处理装置120用于对图像数据进行处理并输出处理结果，该跟踪***100可以包括集成式单体设备或者多设备，为方便描述，本申请将跟踪***100统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
传统的目标跟踪方法主要是根据运动分析以及根据图像匹配的方法。其中根据运动分析的方法主要包括帧间差分法和光流分割法。帧间差分法是对相邻帧的数据图像进行相减操作，然后对结果图像进行阈值分割，获得运动目标。光流分割法是根据目标以及背景之间的不同运动速度，通过计算光流并对光流图像分类来检测运动目标。光流表征了图像的变化，因为它包含了目标运动的信息，所以可以用来判断目标的运动情况。
此外，目标跟踪方法还可以分为两类：生成模型方法和判别模型方法。生成类方法是对当前帧目标对象建模，然后在次帧查找最相似的位置作为跟踪结果，常用的有卡尔曼滤波，粒子滤波等方法。判别类方法就是将图像特征和机器学习融合，以当前帧目标对象为正样本，背景为负样本，使用机器学习方法训练分类器，然后在次帧利用训练好的分类器找最优区域。
对于帧间差分法由于目标信号以及噪声在相邻帧间相关性很弱，二者很难做到区分，所以常见的手段只能检测像素的强度变化从而推断图像中目标是否运动。而对于另外三种方法，均存在计算量大，时间复杂度较高，效率低，无法满足多目标跟踪的实时性要求。
针对上述问题，本申请实施例提出一种跟踪方法，下面结合附图进行详细说明。
请参阅图2a，图2a是本申请实施例提供了一种跟踪方法的流程示意图，应用于如图1所示的电子设备，如图所示，本跟踪方法包括：
201：电子设备获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像。
其中，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息，所述每个跟踪对象的跟踪信息包括所述每个跟踪对象的位置信息和所述每个跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个跟踪对象的图像的面积，所述至少一个跟踪对象是根据一帧或多帧的检测图像的检测结果而得到的。
具体实现中，所述第一检测图像为所述电子设备的图像处理装置当前正在处理的图像；所述第一检测图像可以是所述电子设备正在拍摄的视频中的视频帧图像，也可以是存储在本地、数据库、或云端的视频中的视频帧图像。所述预设检测区域可以是电子设备的显示器的整个显示区域，也可以是所述电子设备的显示器的指定显示区域(例如，和显示器的显示界面同中心点的预设大小的矩形区域)。所述跟踪对象为视频帧图像(如，所述第一检测图像或所述第一检测图像之前的一帧或多帧检测图像)中出现的具体事务，例如可以是移动的人或物，也可以是静止的物体等。
另外，在具体实现中，所述第一跟踪集合具体可以是存储在所述电子设备缓存中的前一帧或多帧检测图像中包括的跟踪对象以及跟踪对象的跟踪信息的跟踪对象列表。跟踪对象以跟踪对象的唯一标识符体现，跟踪对象的位置信息可以用跟踪对象在检测图像中的坐标和跟踪对象的外接矩形(也可以是其他形状)框的大小来体现；跟踪对象的局部模板图像可以是包括跟踪图像中心的固定大小的图像，例如和跟踪对象同中心的固定大小的正方形(如100*100像素)包括的图像。
202：电子设备针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合。
其中，所述图像搜索操作包括模板匹配操作，所述模板匹配操作所使用的图像模板为当前处理的跟踪对象的局部模板图像。
在具体实现中，所述图像搜索操作可以是所述电子设备在所述第一检测图像中确定一个图像区域，然后在该确定的图像区域中进行模板匹配操作得到模板图像在该确定区域中的位置信息，即在该图像区域中与模板图像最相似的图像所在的区域的位置信息。所述模板匹配操作具体指所述电子设备使用一个固定大小的模板图像在所述确定的图像区域中找到与模板图像最相似的图像，然后确定该最相似图像在该确定区域中的位置等信息的过程，可以理解的是所述确定图像区域的尺寸要大于或等于模板图像。
另外，在具体实现中，上述位置更新操作为：在所述电子设备在进行所述图像搜索操作得到位置信息后，使用得到的位置信息去更新所述第一跟踪对象集合中跟踪对象的跟踪信息的过程。最后，所述电子设备对所有跟踪对象的跟踪信息进行更新，从而实现对所述第一跟踪对象集合进行更新的目的，即得到了第一跟踪对象集合中的跟踪对象在所述第一检测图像中的跟踪信息，实现对跟踪对象的跟踪。
可以看出，本申请实施例中，电子设备能够在对视频图像中的跟踪对象进行跟踪时，通过跟踪对象的历史位置确定一个较小的搜索区域，然后在该搜索区域对跟踪对象的局部图形进行匹配，从而确定跟踪对象当前的位置，以达到对跟踪对象进行跟踪的目的。由于，在跟踪过程中是在一个较小的范围对跟踪对象的局部图像进行匹配，所以相对于目前的全局搜索匹配，本申请实施例的运算量要小得多。因此通过本申请实施例，可快速准确的对多跟踪目标进行跟踪，满足跟踪时的实时性要求。
在本申请可能的示例中，所述图像搜索操作包括如下处理步骤：电子设备根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域；以及根据所述每个跟踪对象的局部模板图像在所述待搜索区域进行模板匹配，得到所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息。
其中，所述跟踪对象的位置信息可以包括跟踪对象在已经处理过的检测图像(距离所述第一检测图像之前一帧或多帧的图像)中的位置坐标和跟踪对象的外接矩形框的长和宽，以及跟踪对象的模板图像的位置坐标。可以理解的是所述跟踪对象的位置坐标可以是跟踪对象的外接矩形框的某个定点(如左上定点)，也可以是跟踪对象的外接矩形框的中心点；跟踪对象的模板图像的位置坐标可以是模板图像的中心点在所述已经处理过的检测图像中的坐标，也可以是模板图像的某个顶点在所述已经处理过的检测图像中的坐标；本申请实施例不做唯一限定。
在具体实现中，在没有对所述第一跟踪对象集合更新之前，所述第一跟踪对象集合中跟踪对象的跟踪信息是在当前正在距离处理的所述第一检测图像之前一帧或多帧的检测图像中的跟踪信息，而跟踪对象在所述第一检测图像以及所述第一检测图像之前一帧或多帧的检测图像中的位置可能由于运动会发生变化。因此在电子设备确定所述待搜索区域的时候，可以根据模板图像的大小，以及模板图像在未更新之前的位置来确定所述待搜索区域；例如，可以在所述第一检测图像中，以模板图像在未更新之前的位置坐标来确定一个和模板图像大小相同的区域，然后将该区域进行扩大，从而得到所述待搜索区域。如图2b所示，A区域为在所述第一检测图像中，以模板图像在未更新之前的位置坐标来确定的一个和模板图像大小相同的区域，B区域为A区域向外扩大的区域，然后将A加B的C区域作为所述待搜索区域。
由于所述待搜索区域是在所述第一检索图像中的一个比所述第一检索图像小的图像区域，因此相比于目前已有的在整个图像中进行全局模板匹配，减小了运算量，从而提升了对跟踪对象的跟踪效率。
在具体实现中，所述电子设备根据所述每个跟踪对象的局部模板图像在所述待搜索区域进行模板匹配，得到所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息的具体实现方式可以是：所述电子设备使用每个跟踪对象的局部模板图像在各自的待搜索区域进行模板匹配，得到每个跟踪对象的局部模板图像的模板匹配的最大标准相关系数对应的目标图像，然后确定所述每个跟踪对象的目标图像在各自的待搜索区域的目标位置信息，最后根据每个跟踪对象的目标图像在各自的待搜索区域的目标位置信息以及各自的待搜索图像在所述第一检测图像中的位置信息，确定每个跟踪对象的局部模板图像在第一检测图像中的参考位置信息，即确定了每个跟踪对象的局部模板图像(或目标图像)在所述第一检测图像中的实际位置。
其中，所述相关系数的计算公式如下：
T'(x',y')＝T(x',y')-1/(w·h)·∑x",y"T(x",y")
I'(x+x',y+y')＝I(x+x',y+y')-1/(w·h)·∑x",y"I(x+x",y+y")
其中，x，x'，x"，x+x'，x+x"分别表示图像的不同水平坐标；y，y'，y"，y+y'，y+y"分别表示图像的不同垂直坐标；w表示图像的宽；h表示图像的高；T(x,y)，T(x',y')，T(x",y")表示模板匹配中的模板，即所述局部模板图像；I(x,y)，I(x+x',y+y')，I(x+x",y+y")表示模板匹配中的被搜索图像，即所述待搜索区域；∑x',y'(T'(x',y')·I'(x+x',y+y'))表示两个图像的协方差；∑x',y'T'(x',y')2表示模板图像的方差；∑x',y'I'(x+x',y+y')2表示被搜索图像的方差；R(x,y)表示标准相关系数。
在本申请可能的示例中，所述根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域的具体实现方式可以是：电子设备判断是否能够检测到所述每个跟踪对象的运动方向；若是，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第一区域，以及根据所述第一区域和所述每个跟踪对象的运动方向确定与所述第一区域相邻的第二区域，将所述第一区域和所述第二区域确定为所述第一检测图像中的待搜索区域；若否，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第三区域，以及确定与所述第三区域相邻的第四区域，将所述第三区域和所述第四区域确定为所述第一检测图像中的待搜索区域。
其中，所述第一区域具体可以为在所述第一检测图像中，与跟踪对象的位置信息(即未更新之前跟踪对象在所述已经处理过的检测图像中的位置信息)对应的区域，且该第一区域的大小和跟踪对象的局部模板图像大小相同。参考图2c，箭头表示跟踪目标的移动方向，所述第一区域相当于图2c中的A区域。所述第二区域相当于图2c中的B区域。图2c中的C区域，即相当于所述待搜索区域。对于所述第三区域可以参考图2b，相当于图2b中的B区域，所述第四区域相当于图2b中的C区域。
在具体实现中，为了减小所述模板匹配操作的运算量，且又能尽可能的保证能够在所述待搜索区域匹配到所述局部模板图像，在所述电子设备可以先判断是否能够检测到跟踪对象的运动方向。若所述电子设备检测到跟踪对象的运动方向，则在所述第一区域的基础上向运动方向上扩展图像区域(即所述与第一区域相邻的第二区域)，并将所述第一区域和所述扩展图像区域确定为待搜索区域来执行所述模板匹配的操作。
由于所述第二区域是向跟踪对象的运动方向进行扩展得到的，相比于在不知道跟踪对象的运动方向的情况下，向四周进行扩展图像区域得到待搜索区域，进一步减小了待搜索区域，减小了模板匹配操作的运算量，从而能够进一步提升对跟踪对象的跟踪效率。
在本申请可能的示例中，所述位置更新操作包括如下处理步骤：电子设备根据所述跟踪对象的位置信息和所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息，确定所述每个跟踪对象的位置偏移值；以及根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新。
在具体实现中，所述电子设备根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新的具体过程可以是：电子设备根据每个跟踪对象的位置偏移值依次对每个跟踪对象的位置信息进行更新。也可以进一步考虑到特殊场景，如所有的跟踪对象的移动方向和距离保持一致的场景(例如，物品过安检时扫描的视频检测图像)，对于该场景则可以使用至少一个跟踪对象中的一个跟踪对象的位置偏移值对所有的跟踪对象的位置信息进行更新，进一步考虑到可能存在的误差，可以使用所述至少一个跟踪对象的位置偏移值的众数(即取值最多的那个位置偏移值)来对所有的跟踪对象的位置信息进行更新，还可以使用所述至少一个跟踪对象的位置偏移值的平均值来对所有的跟踪对象的位置信息进行更新。
在本申请可能的示例中，在所述至少一个跟踪对象的移动方向和距离保持一致的情况下，所述电子设备根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新的具体实现方式可以是：电子设备将所述至少一个跟踪对象的至少一个位置偏移值中占比最多的位置偏移值确定为目标偏移值；以及根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
例如，所述电子设备通过对10个跟踪对象进行图像搜索操作，得到8个目标偏移值，其中分别有3个偏移值相同以及2个偏移值相同，另外3个各不相同。此时，电子设备则将所述3个偏移值相同的值确定为目标偏移值，并使用该目标偏移值对所述10个跟踪对象的位置信息进行更新。
在本申请可能的示例中，在所述至少一个跟踪对象的移动方向和距离保持一致的情况下，所述电子设备根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新的具体实现方式可以是：电子设备将所述至少一个位置偏移值的平均值确定为目标偏移值；根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
在具体实现中，所述电子设备根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新的具体实现方式可以是：所述电子设备使用每个跟踪对象的在各自跟踪信息中原有的位置坐标加上所述目标偏移值得到新的位置坐标，并将原有的位置坐标替换为所述新的位置坐标。
下面以对x光安检视频中的物体进行跟踪为例，对上述的跟踪过程进行说明。
假设在开始安检时通过对一帧或多帧的x光安检视频图像进行检测得到一个跟踪对象列表，如表1所示，其中A1-An表示跟踪对象的唯一标识符；在(Xn,Yn,an,bn)中，Xn和Yn分别表示第n个跟踪对象在安检视频帧图像中的横纵坐标，an和bn分别表示第n个跟踪对象在安检视频帧图像中位置矩形框的长和宽；Image-n(xn,yn,100*100)中，Image-n表示第n个跟踪对象的局部模板图像，xn和yn分别表示第n个跟踪对象的局部模板图像在安检视频帧图像中的横纵坐标，100*100表示大小为100*100像素。另外在所述x光安检视频中的物体均是匀速从右往左移动。
表1-更新前的第一跟踪对象集合
| A1 | (X1,Y1,a1,b1) | Image-1(x1,y1,100*100) | …… |
| A2 | (X2,Y2,a2,b2) | Image-2(x2,y2,100*100) | …… |
| A3 | (X3,Y3,a3,b3) | Image-3(x3,y3,100*100) | …… |
| …… | …… | …… | …… |
| An | (Xn,Yn,an,bn) | Image-n(xn,yn,100*100) | …… |
(1)电子设备获取如表1所示的跟踪对象集合，以及在x光安检过程中，当前扫描到的x光安检视频图像。
(2)电子设备在所述当前扫描到的x光安检视频图像中，将分别以(x1,y1)、(x2,y2)(x3,y3)……(xn,yn)为中心，100*100像素为大小的图像区域确定为A1-An的第一图像区域；
(3)电子设备将所述A1-An在所述当前扫描到的x光安检视频图像中与各自的第一图像区域向左扩展预设个像素(例如20个像素)得到各自的待搜索区域；
(4)电子设备在A1-An的待搜索区域中分别对各自的局部模板图像image-1-image-n进行模板匹配，并返回A1-An的模板匹配结果image-T1(x11,y11,R1)-image-Tn(xnn,ynn,Rn)；
其中，image-Tn(xnn,ynn,Rn)中，image-Tn表示目标图像，xnn,ynn表示目标图像在所述当前扫描到的x光安检视频图像中的位置坐标，Rn表示标准相关系数；
(5)若R1-Rn均大于阈值(例如0.9)，即所有的局部模板图像都匹配成功，则电子设备使用A1-An的局部模板图像的位置坐标减去目标图像的位置坐标得到各自的目标偏移值k1-kn，由于A1-An均是向左均速移动，所以目标偏移值为局部模板图像的位置坐标和目标图像的位置坐标的两个横坐标之差；
若R1-Rn中存在小于所示阈值的Rm，则将与Rm对应跟踪对象从所述第一跟踪对象集合中删除(包括跟踪信息)。
(6)若k1-kn中有与km的值相等的数量最多，km为k1-kn中的任意一个，电子设备将A1-An的横坐标X1-Xn均减去km来更新A1-An的位置坐标，并将A1-An的局部模板图像替换为各自的目标图像，即将各自的目标图像作为下一次更新时使用的局部模板图像，得到如表2所示的更新后的第一跟踪对象集合。
表2-更新后的第一跟踪对象集合
| A1 | (X1-k1,Y1,a1,b1) | Image-T1(x11,y11,100*100) | …… |
| A2 | (X2-k1,Y2,a2,b2) | Image-T2(x22,y22,100*100) | …… |
| A3 | (X3-k1,Y3,a3,b3) | Image-T3(x33,y33,100*100) | …… |
| …… | …… | …… | …… |
| An | (Xn-k1,Yn,an,bn) | Image-Tn(xnn,ynn,100*100) | …… |
在本申请可能的示例中，所述一帧或多帧的检测图像包括第二检测图像；所述电子设备获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像之前，所述跟踪方法还包括：所述电子设备获取所述第二检测图像；以及对所述第二检测图像进行物体类别识别，得到至少一个参考跟踪对象；以及根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合；以及根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合。
其中，所述第二检测图像即所述电子设备为了实现对新出现的跟踪目标进行跟踪，所述电子设备对视频图像帧进行物体类别识别时所对应的视频帧图像。所述第二跟踪对象集合中包括所述至少一个参考跟踪对象和所述至少一个参考跟踪对象中每个参考跟踪对象的跟踪信息，所述每个参考跟踪对象的跟踪信息包括所述每个参考跟踪对象的位置信息和所述每个参考跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个参考跟踪对象的图像的面积。
可以理解的是，在对视频中的跟踪对象进行跟踪的过程中，在视频帧图像中有可能会出现新的跟踪目标，然而所述第一跟踪对象集合中只有已有的跟踪对象的跟踪信息，而没有新目标的跟踪信息，因此无法对新出现的跟踪目标进行跟踪。为了能够对新出现的跟踪对象进行跟踪，所述电子设备可以在对已有的跟踪对象进行跟踪的过程中对所述第二检测图像进行物体类别识别，即对视频图像帧中的所有跟踪对象进行检测，若视频图像帧中出现新的跟踪对象，则会被检测到，然后所述电子设备将检测到的新的跟踪对象的跟踪信息添加到上述第一跟踪对象集合中，即对所述第一跟踪对象集合进行跟踪对象更新，从而实现对新出现的跟踪对象进行跟踪的目的。
还可以理解的是，所述电子设备获取所述第二检测图像，并根据所述第二检测图像得到所述第二跟踪对象集合，并使用第二个跟踪对象集合更新所述第一跟踪对象集合的操作步骤，和所述电子设备预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像；然后针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合的操作步骤是并行的，因此不会减小电子设备对跟踪对象进行跟踪的效率。
此外由于，电子设备在跟踪的过程中在不断的通过对检测图像进行物体类别识别，得到所述第二个跟踪对象集合，不仅能够检测出新出现的目标，还可以重新检测出跟踪过程中跟踪丢失的对象。所以通过所述第二跟踪对象集合来更新所述第一跟踪对象集合还可以有效的解决跟踪对象丢失的问题。
在本申请可能的示例中，所述电子设备根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合的具体实现方式可以是：电子设备根据所述第二检测图像确定所述至少一个参考跟踪对象中每个参考跟踪对象的跟踪信息；以及根据所述每个参考跟踪对象的跟踪信息生成所述第二跟踪对象集合。
在本申请可能的示例中，所述电子设备根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合的具体实现方式可以是：所述电子设备针对所述第二跟踪对象集合中的每个参考跟踪对象，根据所述第一跟踪对象集合执行跟踪信息更新操作，得到更新后的所述第一跟踪对象集合；其中，所述跟踪信息更新操作包括以下至少一种：添加、更新和删除。
可以理解的是，所述第二跟踪对象集合中每个参考跟踪对象位置信息和所述第一跟踪对象集合中每个跟踪对象的位置信息类似，包括看考跟踪对象在第二检测图像中的位置坐标和跟踪对象的外接矩形框的长和宽，以及跟踪对象的模板图像的位置坐标。
其中，所述跟踪信息更新操作中的添加操作是指：对于在所述第二跟踪对象集合中存在，但在第一跟踪对象集合中不存在的新跟踪对象，电子设备将将该新跟踪对象以及该新对象在所述第二跟踪对象集合中的跟踪信息以及局部模板添加到所述第一跟踪对象集合中。所述跟踪信息更新操作中的删除操作是指：对于在所述第一跟踪对象集合中存在，但在第二跟踪对象集合中不存在的消失跟踪对象，电子设备将该消失跟踪对象从所述第一跟踪对象集合中删除。所述跟踪信息更新操作中的更新操作是指：对于在所述第一跟踪对象集合和所述第二跟踪对象集合中都存在的跟踪中的跟踪对象，所述电子设备使用所述第二跟踪对象集合中所述跟踪中的跟踪对象的信息去更新所述第一跟踪对象集合中所述跟踪中的跟踪对象的信息。
在具体实现中，所述电子设备针对所述第二跟踪对象集合中的每个参考跟踪对象，根据所述第一跟踪对象集合执行跟踪信息更新操作，得到更新后的所述第一跟踪对象集合的具体实现方式可以是：所述电子设备将所述第一跟踪对象集合和所述第二跟踪对象集合中的跟踪对象进行两两比较，判断两个跟踪对象是否为同一个对象，若是则对该跟踪对象执行所述跟踪信息更新操作中的更新操作；若在第二跟踪对象集合中不存在与所述第一跟踪对象集合中的第一跟踪对象，则将所述第一跟踪对象的消失次数加1，若所述第一跟踪对象的消失次数大于等于预设次数(即确定所述第一跟踪对象为所述消失跟踪对象)，则对所述第一跟踪对象执行所述跟踪信息更新操作中的删除操作；若在所述第一跟踪对象集合中不存在与所述第二跟踪对象集合中的第二跟踪对象(即所述新跟踪对象)，则对所述第二跟踪对象执行所述跟踪信息更新操作中的添加操作。
在本申请可能的示例中，所述电子设备判断两个跟踪对象是否为同一个对象的具体实现方式可以是：所述电子设备判断所述两个跟踪对象的标识符是否一致，若所述两个跟踪对象的标识符不一致，这确定所述另个跟踪对象不为同一个对象，若所述两个跟踪对象的标识符一致，则所述计算所述两个跟踪对象的外接矩形框的交并比；若所述两个跟踪对象的外接矩形框的交并比小于预设值，则确定所述两个跟踪对象不为同一对象，若所述两个跟踪对象的外接矩形框的交并比大于预设值，则确定所述两个跟踪对象为同一对象。
其中，所述交并比的计算公式如下：
其中，area(C)表示所述第一跟踪对象集合中某个外接矩形框的面积，area(G)表示所述第二跟踪对象集合中某个外接矩形框框的面积，area(C)∩area(G)表示二者的交集，area(C)∪area(G)表示二者的并集，IoU表示交并比。
在本申请实施例中，考虑到所述电子设备在对所述第二检测图像进行物体类别识别的过程需要时间，而若这个时间对于跟踪对象的跟踪处理时间比较长，即无法在帧间间隔的时间内完成所述对所述第二检测图像进行物体类别识别的过程，所以无法对每一帧都进行所述物体类别识别。即在每次得到所述第二跟踪对象集合的时刻，当前正在处理的检测图像可能为与所述第二检测图像之后相隔两帧或两帧以上的检测图像。因此，若直接使用所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，则更新后的第一跟踪对象集合中，各跟踪对象的跟踪信息和实际的跟踪信息存在偏差。为了消除这种偏差，需要先对所述第二跟踪对象集合中的跟踪信息进行更新，然后使用更新之后的第二跟踪对象集合对所述第一跟踪对象集合进行更新操作。
在本申请可能的示例中，所述电子设备根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合之后，所述根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合之前，所述跟踪方法还包括：所述电子设备获取第三检测图像，所述第三检测图像为所述一帧或多帧的检测图像中所述第二检测图像之后的检测图像；以及针对所述第二跟踪对象集合中的至少一个参考跟踪对象，根据所述第三检测图像执行所述图像搜索操作和所述位置更新操作，得到更新后的第二跟踪对象集合。
其中，所述第三检测图像为电子设备根据所述第二检测图像得到所述第二跟踪对象集合之后所述电子设备正在处理的检测图像。
在具体实现中，所述电子设备针对所述第二跟踪对象集合中的至少一个参考跟踪对象，根据所述第三检测图像执行所述图像搜索操作和所述位置更新操作，得到更新后的第二跟踪对象集合的具体实现方式，和所述电子设备针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合的具体实现方式类似，因此不再赘述。
在本申请可能的示例中，所述跟踪方法还包括：所述电子设备在检测到所述至少一个跟踪对象中存在超出所述预设检测区域的目标跟踪对象时，从所述第一跟踪对象集合中删除所述目标跟踪对象。
在具体是先中，所述电子设备在检测到所述至少一个跟踪对象中存在超出所述预设检测区域的目标跟踪对象时，从所述第一跟踪对象集合中删除所述目标跟踪对象的具体实现方式可以是：所述电子设备根据所述至少一个跟踪对象的外接框的位置判断所述至少一个跟踪对象的外接框是否超出所述预设检测区域，若是，则将外接矩形框超出所述预设检测区域的跟踪对象从述第一跟踪对象集合中删除。
与上述图2a所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种电子设备300的结构示意图，如图所示，所述电子设备300包括应用处理器310、存储器320、通信接口330以及一个或多个程序321，其中，所述一个或多个程序321被存储在上述存储器320中，并且被配置由上述应用处理器310执行，所述一个或多个程序321包括用于执行以下步骤的指令；
获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息，所述每个跟踪对象的跟踪信息包括所述每个跟踪对象的位置信息和所述每个跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个跟踪对象的图像的面积，所述至少一个跟踪对象是根据一帧或多帧的检测图像的检测结果而得到的；以及针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合，其中，所述图像搜索操作包括模板匹配操作，所述模板匹配操作所使用的图像模板为当前处理的跟踪对象的局部模板图像。
可以看出，本申请实施例中，电子设备能够在对视频图像中的跟踪对象进行跟踪时，通过跟踪对象的历史位置确定一个较小的搜索区域，然后在该搜索区域对跟踪对象的局部图形进行匹配，从而确定跟踪对象当前的位置，以达到对跟踪对象进行跟踪的目的。由于，在跟踪过程中是在一个较小的范围对跟踪对象的局部图像进行匹配，所以相对于目前的全局搜索匹配，本申请实施例的运算量要小得多。因此通过本申请实施例，可快速准确的对多跟踪目标进行跟踪，满足跟踪时的实时性要求。
在一个可能的示例中，在所述图像搜索操作方面，所述程序中的指令具体用于执行以下操作：根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域；根据所述每个跟踪对象的局部模板图像在所述待搜索区域进行模板匹配，得到所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息。
在一个可能的示例中，在所述位置更新操作方面，所述程序中的指令具体用于执行以下操作：根据所述跟踪对象的位置信息和所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息，确定所述每个跟踪对象的位置偏移值；根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新。
在一个可能的示例中，在所述根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新方面，所述程序中的指令具体用于执行以下操作：将所述至少一个跟踪对象的至少一个位置偏移值中占比最多的位置偏移值确定为目标偏移值；根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
在一个可能的示例中，在所述根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新方面，所述程序中的指令具体用于执行以下操作：将所述至少一个位置偏移值的平均值确定为目标偏移值；根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
在一个可能的示例中，在所述根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域方面，所述程序中的指令具体用于执行以下操作：判断是否能够检测到所述每个跟踪对象的运动方向；若是，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第一区域，以及根据所述第一区域和所述每个跟踪对象的运动方向确定与所述第一区域相邻的第二区域，将所述第一区域和所述第二区域确定为所述第一检测图像中的待搜索区域；若否，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第三区域，以及确定与所述第三区域相邻的第四区域，将所述第三区域和所述第四区域确定为所述第一检测图像中的待搜索区域。
在一个可能的示例中，所述一帧或多帧的检测图像包括第二检测图像；在所述获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像之前，所述程序中的指令还用于执行以下操作：获取所述第二检测图像；对所述第二检测图像进行物体类别识别，得到至少一个参考跟踪对象；根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合；根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合。
在一个可能的示例中，在所述根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合方面，所述程序中的指令具体用于执行以下操作：针对所述第二跟踪对象集合中的每个参考跟踪对象，根据所述第一跟踪对象集合执行跟踪信息更新操作，得到更新后的所述第一跟踪对象集合；其中，所述跟踪信息更新操作包括以下至少一种：添加、更新和删除。
在一个可能的示例中，在所述根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合方面，所述程序中的指令具体用于执行以下操作：根据所述第二检测图像确定所述至少一个参考跟踪对象中每个参考跟踪对象的跟踪信息；根据所述每个参考跟踪对象的跟踪信息生成第二跟踪对象集合。
在一个可能的示例中，在所述根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合之后，所述根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合之前，所述程序中的指令还用于执行以下操作：获取第三检测图像，所述第三检测图像为所述一帧或多帧的检测图像中所述第二检测图像之后的检测图像；针对所述第二跟踪对象集合中的至少一个参考跟踪对象，根据所述第三检测图像执行所述图像搜索操作和所述位置更新操作，得到更新后的第二跟踪对象集合。
在一个可能的示例中，所述程序中的指令还用于执行以下操作：在检测到所述至少一个跟踪对象中存在超出所述预设检测区域的目标跟踪对象时，从所述第一跟踪对象集合中删除所述目标跟踪对象。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的跟踪装置400的功能单元组成框图。该跟踪装置400应用于电子设备，所述电子设备包括处理单元401和通信单元402，其中，
所述处理单元，用于通过所述通信单元获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息，所述每个跟踪对象的跟踪信息包括所述每个跟踪对象的位置信息和所述每个跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个跟踪对象的图像的面积，所述至少一个跟踪对象是根据一帧或多帧的检测图像的检测结果而得到的；以及用于针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合，其中，所述图像搜索操作包括模板匹配操作，所述模板匹配操作所使用的图像模板为当前处理的跟踪对象的局部模板图像。
其中，所述跟踪装置400还可以包括存储单元403，用于存储电子设备的程序代码和数据。所述处理单元401可以是处理器，所述通信单元402可以是内部通信接口，存储单元403可以是存储器。
可以看出，本申请实施例中，电子设备能够在对视频图像中的跟踪对象进行跟踪时，通过跟踪对象的历史位置确定一个较小的搜索区域，然后在该搜索区域对跟踪对象的局部图形进行匹配，从而确定跟踪对象当前的位置，以达到对跟踪对象进行跟踪的目的。由于，在跟踪过程中是在一个较小的范围对跟踪对象的局部图像进行匹配，所以相对于目前的全局搜索匹配，本申请实施例的运算量要小得多。因此通过本申请实施例，可快速准确的对多跟踪目标进行跟踪，满足跟踪时的实时性要求。
在一个可能的示例中，在所述图像搜索操作方面，所述程序中的指令具体用于执行以下操作：根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域；根据所述每个跟踪对象的局部模板图像在所述待搜索区域进行模板匹配，得到所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息。
在一个可能的示例中，在所述位置更新操作方面，所述程序中的指令具体用于执行以下操作：根据所述跟踪对象的位置信息和所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息，确定所述每个跟踪对象的位置偏移值；根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新。
在一个可能的示例中，在所述根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新方面，所述程序中的指令具体用于执行以下操作：将所述至少一个跟踪对象的至少一个位置偏移值中占比最多的位置偏移值确定为目标偏移值；根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
在一个可能的示例中，在所述根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新方面，所述处理单元401具体用于：将所述至少一个位置偏移值的平均值确定为目标偏移值；根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
在一个可能的示例中，在所述根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域方面，所述处理单元401具体用于：判断是否能够检测到所述每个跟踪对象的运动方向；若是，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第一区域，以及根据所述第一区域和所述每个跟踪对象的运动方向确定与所述第一区域相邻的第二区域，将所述第一区域和所述第二区域确定为所述第一检测图像中的待搜索区域；若否，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第三区域，以及确定与所述第三区域相邻的第四区域，将所述第三区域和所述第四区域确定为所述第一检测图像中的待搜索区域。
在一个可能的示例中，所述一帧或多帧的检测图像包括第二检测图像；在所述获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像之前，所述处理单元401还用于：获取所述第二检测图像；对所述第二检测图像进行物体类别识别，得到至少一个参考跟踪对象；根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合；根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合。
在一个可能的示例中，在所述根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合方面，所述处理单元401具体用于：针对所述第二跟踪对象集合中的每个参考跟踪对象，根据所述第一跟踪对象集合执行跟踪信息更新操作，得到更新后的所述第一跟踪对象集合；其中，所述跟踪信息更新操作包括以下至少一种：添加、更新和删除。
在一个可能的示例中，在所述根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合方面，所述处理单元401具体用于：根据所述第二检测图像确定所述至少一个参考跟踪对象中每个参考跟踪对象的跟踪信息；根据所述每个参考跟踪对象的跟踪信息生成第二跟踪对象集合。
在一个可能的示例中，在所述根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合之后，所述根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合之前，所述处理单元401还用于：获取第三检测图像，所述第三检测图像为所述一帧或多帧的检测图像中所述第二检测图像之后的检测图像；针对所述第二跟踪对象集合中的至少一个参考跟踪对象，根据所述第三检测图像执行所述图像搜索操作和所述位置更新操作，得到更新后的第二跟踪对象集合。
在一个可能的示例中，所述处理单元401还用于：在检测到所述至少一个跟踪对象中存在超出所述预设检测区域的目标跟踪对象时，从所述第一跟踪对象集合中删除所述目标跟踪对象。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种跟踪方法，其特征在于，包括：
获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息，所述每个跟踪对象的跟踪信息包括所述每个跟踪对象的位置信息和所述每个跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个跟踪对象的图像的面积，所述至少一个跟踪对象是根据一帧或多帧的检测图像的检测结果而得到的；
针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合，其中，所述图像搜索操作包括模板匹配操作，所述模板匹配操作所使用的图像模板为当前处理的跟踪对象的局部模板图像。
2.根据权利要求1所述的方法，其特征在于，所述图像搜索操作包括如下处理步骤：
根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域；
根据所述每个跟踪对象的局部模板图像在所述待搜索区域进行模板匹配，得到所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息。
3.根据权利要求2所述的方法，其特征在于，所述位置更新操作包括如下处理步骤：
根据所述跟踪对象的位置信息和所述每个跟踪对象的局部模板图像在所述第一检测图像中的参考位置信息，确定所述每个跟踪对象的位置偏移值；
根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新。
4.根据权利要求3所述的方法，其特征在于，所述根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新，包括：
将所述至少一个跟踪对象的至少一个位置偏移值中占比最多的位置偏移值确定为目标偏移值；
根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
5.根据权利要求3所述的方法，其特征在于，所述根据所述至少一个跟踪对象的至少一个位置偏移值，对所述每个跟踪对象的位置信息进行更新，包括：
将所述至少一个位置偏移值的平均值确定为目标偏移值；
根据所述目标偏移值对所述每个跟踪对象的位置信息进行更新。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述根据所述每个跟踪对象的位置信息确定所述第一检测图像中的待搜索区域，包括：
判断是否能够检测到所述每个跟踪对象的运动方向；
若是，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第一区域，以及根据所述第一区域和所述每个跟踪对象的运动方向确定与所述第一区域相邻的第二区域，将所述第一区域和所述第二区域确定为所述第一检测图像中的待搜索区域；
若否，则根据所述每个跟踪对象的位置信息确定所述第一检测图像中的第三区域，以及确定与所述第三区域相邻的第四区域，将所述第三区域和所述第四区域确定为所述第一检测图像中的待搜索区域。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述一帧或多帧的检测图像包括第二检测图像；所述获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像之前，所述方法还包括：
获取所述第二检测图像；
对所述第二检测图像进行物体类别识别，得到至少一个参考跟踪对象；
根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合；
根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合，包括：
针对所述第二跟踪对象集合中的每个参考跟踪对象，根据所述第一跟踪对象集合执行跟踪信息更新操作，得到更新后的所述第一跟踪对象集合；
其中，所述跟踪信息更新操作包括以下至少一种：添加、更新和删除。
9.根据权利要求7或8所述的方法，其特征在于，所述根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合，包括：
根据所述第二检测图像确定所述至少一个参考跟踪对象中每个参考跟踪对象的跟踪信息；
根据所述每个参考跟踪对象的跟踪信息生成第二跟踪对象集合。
10.根据权利要求7-9任一项所述的方法，其特征在于，所述根据所述至少一个参考跟踪对象和所述第二检测图像确定第二跟踪对象集合之后，所述根据所述第二跟踪对象集合对所述第一跟踪对象集合进行更新，得到更新后的所述第一跟踪对象集合之前，所述方法还包括：
获取第三检测图像，所述第三检测图像为所述一帧或多帧的检测图像中所述第二检测图像之后的检测图像；
针对所述第二跟踪对象集合中的至少一个参考跟踪对象，根据所述第三检测图像执行所述图像搜索操作和所述位置更新操作，得到更新后的第二跟踪对象集合。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：
在检测到所述至少一个跟踪对象中存在超出所述预设检测区域的目标跟踪对象时，从所述第一跟踪对象集合中删除所述目标跟踪对象。
12.一种跟踪装置，其特征在于，包括处理单元和通信单元，其中，
所述处理单元，用于通过所述通信单元获取预设检测区域的第一跟踪对象集合和所述预设检测区域的第一检测图像，所述第一跟踪对象集合包括至少一个跟踪对象和所述至少一个跟踪对象中每个跟踪对象的跟踪信息，所述每个跟踪对象的跟踪信息包括所述每个跟踪对象的位置信息和所述每个跟踪对象的局部模板图像，所述局部模板图像的面积小于所述每个跟踪对象的图像的面积，所述至少一个跟踪对象是根据一帧或多帧的检测图像的检测结果而得到的；以及用于针对所述第一跟踪对象集合中的所述至少一个跟踪对象，根据所述第一检测图像执行图像搜索操作和位置更新操作，得到更新后的第一跟踪对象集合，其中，所述图像搜索操作包括模板匹配操作，所述模板匹配操作所使用的图像模板为当前处理的跟踪对象的局部模板图像。
13.一种电子设备，其特征在于，包括处理器、存储器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-11任一项所述的方法中的步骤的指令。
14.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910617283.7A CN110503662A (zh) | 2019-07-09 | 2019-07-09 | 跟踪方法及相关产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910617283.7A CN110503662A (zh) | 2019-07-09 | 2019-07-09 | 跟踪方法及相关产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110503662A true CN110503662A (zh) | 2019-11-26 |
Family
ID=68585614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910617283.7A Pending CN110503662A (zh) | 2019-07-09 | 2019-07-09 | 跟踪方法及相关产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110503662A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111553950A (zh) * | 2020-04-30 | 2020-08-18 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷对中判断方法、***、介质及电子终端 |
| CN112200830A (zh) * | 2020-09-11 | 2021-01-08 | 山东信通电子股份有限公司 | 一种目标跟踪方法及设备 |
| CN112348852A (zh) * | 2020-11-04 | 2021-02-09 | 北京伟杰东博信息科技有限公司 | 一种目标对象的位置更新方法及*** |
| WO2021208258A1 (zh) * | 2020-04-15 | 2021-10-21 | 上海摩象网络科技有限公司 | 基于跟踪目标的搜索方法、设备及其手持相机 |
| CN116309710A (zh) * | 2023-02-27 | 2023-06-23 | 荣耀终端有限公司 | 目标追踪方法和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170683A (zh) * | 2006-10-27 | 2008-04-30 | 松下电工株式会社 | 目标移动对象跟踪设备 |
| CN102509457A (zh) * | 2011-10-09 | 2012-06-20 | 青岛海信网络科技股份有限公司 | 一种车辆跟踪的方法及装置 |
| CN102646279A (zh) * | 2012-02-29 | 2012-08-22 | 北京航空航天大学 | 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法 |
| US20140072168A1 (en) * | 2012-09-12 | 2014-03-13 | Xerox Corporation | Video-tracking for video-based speed enforcement |
-
2019
- 2019-07-09 CN CN201910617283.7A patent/CN110503662A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101170683A (zh) * | 2006-10-27 | 2008-04-30 | 松下电工株式会社 | 目标移动对象跟踪设备 |
| CN102509457A (zh) * | 2011-10-09 | 2012-06-20 | 青岛海信网络科技股份有限公司 | 一种车辆跟踪的方法及装置 |
| CN102646279A (zh) * | 2012-02-29 | 2012-08-22 | 北京航空航天大学 | 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法 |
| US20140072168A1 (en) * | 2012-09-12 | 2014-03-13 | Xerox Corporation | Video-tracking for video-based speed enforcement |
Non-Patent Citations (1)
| Title |
|---|
| 赵瑜 等: "核函数自适应的Mean Shift目标跟踪算法", 《计算机工程与设计》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021208258A1 (zh) * | 2020-04-15 | 2021-10-21 | 上海摩象网络科技有限公司 | 基于跟踪目标的搜索方法、设备及其手持相机 |
| CN111553950A (zh) * | 2020-04-30 | 2020-08-18 | 中冶赛迪重庆信息技术有限公司 | 一种钢卷对中判断方法、***、介质及电子终端 |
| CN111553950B (zh) * | 2020-04-30 | 2023-04-18 | 中冶赛迪信息技术(重庆)有限公司 | 一种钢卷对中判断方法、***、介质及电子终端 |
| CN112200830A (zh) * | 2020-09-11 | 2021-01-08 | 山东信通电子股份有限公司 | 一种目标跟踪方法及设备 |
| CN112348852A (zh) * | 2020-11-04 | 2021-02-09 | 北京伟杰东博信息科技有限公司 | 一种目标对象的位置更新方法及*** |
| CN116309710A (zh) * | 2023-02-27 | 2023-06-23 | 荣耀终端有限公司 | 目标追踪方法和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503662A (zh) | 跟踪方法及相关产品 | |
| Kamal et al. | A hybrid feature extraction approach for human detection, tracking and activity recognition using depth sensors | |
| CN105550678B (zh) | 基于全局显著边缘区域的人体动作特征提取方法 | |
| Jin et al. | Towards multi-person pose tracking: Bottom-up and top-down methods | |
| US20180204070A1 (en) | Image processing apparatus and image processing method | |
| US10482613B2 (en) | Movement monitoring system | |
| JP4894741B2 (ja) | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
| JP2015522200A (ja) | 人顔特徴点の位置決め方法、装置及び記憶媒体 | |
| JP2006524394A (ja) | 画像における人体輪郭描写 | |
| CN102567994B (zh) | 基于角点高斯特性分析的红外小目标检测方法 | |
| CN106570480A (zh) | 一种基于姿势识别的人体动作分类方法 | |
| US11450148B2 (en) | Movement monitoring system | |
| CN104700408A (zh) | 一种基于摄像机网络的室内单目标定位方法 | |
| CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
| CN110084830A (zh) | 一种视频运动目标检测与跟踪方法 | |
| CN111709391A (zh) | 一种人脸人体匹配方法、装置及设备 | |
| Zhang et al. | Intelligent sports performance scoring and analysis system based on deep learning network | |
| Migniot et al. | 3D human tracking from depth cue in a buying behavior analysis context | |
| CN117291951A (zh) | 一种基于人体关键点的多人体姿态追踪方法 | |
| JP2002218449A (ja) | 移動物体追跡装置 | |
| Stronger et al. | Selective visual attention for object detection on a legged robot | |
| CN110895684B (zh) | 一种基于Kinect的手势动作识别方法 | |
| CN107818287A (zh) | 一种客流统计装置及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |
|
| RJ01 | Rejection of invention patent application after publication |