CN108010052A - 复杂场景中的目标跟踪方法及***、存储介质及电子终端 - Google Patents

复杂场景中的目标跟踪方法及***、存储介质及电子终端 Download PDF

Info

Publication number
CN108010052A
CN108010052A CN201710953914.3A CN201710953914A CN108010052A CN 108010052 A CN108010052 A CN 108010052A CN 201710953914 A CN201710953914 A CN 201710953914A CN 108010052 A CN108010052 A CN 108010052A
Authority
CN
China
Prior art keywords
tracking
frame image
target
nearest neighbor
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710953914.3A
Other languages
English (en)
Inventor
韩雪云
胡锦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Original Assignee
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd filed Critical XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority to CN201710953914.3A priority Critical patent/CN108010052A/zh
Publication of CN108010052A publication Critical patent/CN108010052A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，具体涉及一种复杂场景中的目标跟踪方法、一种复杂场景中的目标跟踪***、一种存储介质以及一种电子终端。所述方法包括获取当前帧图像；在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；计算各候选样本的最近邻相似度；选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。本公开能够有效解决传统方法无法适应极低对比度的场景的问题，进而实现了对复杂场景下低小慢目标的稳定跟踪。

Description

复杂场景中的目标跟踪方法及***、存储介质及电子终端
技术领域
本公开涉及图像处理技术领域，具体涉及一种复杂场景中的目标跟踪方法、一种复杂场景中的目标跟踪***、一种存储介质以及一种电子终端。
背景技术
在红外搜索和跟踪***中，对于在低信噪比条件下的弱小目标跟踪是一个重要的研究课题。由于目标受背景噪声和背景杂波的影响极大，同时低空目标容易受到地面物体的影响，给目标跟踪带来了极大的挑战。
现有的弱小目标跟踪方法主要包括：基于目标模型的跟踪方法以及基于滤波和数据关联的跟踪方法。其中，基于目标模型的方法需要对目标进行建模，计算图像中每一点与该模型的相似度，相似度越高的点越有可能是目标。由于目标在跟踪过程中一般为运动状态，目标可能出现大小、形状或姿态等的变化，并且存在背景、光照等因素的干扰，以及图像处理最小计量单位的精度问题，匹配跟踪得不到绝对最佳的匹配位置，从而带来跟踪点的漂移。而均值漂移跟踪方法虽然能够在简单场景下对目标跟踪可以获得较好的效果，但在复杂场景中仍然容易出现跟踪失效的情况；同时，当背景中出现与目标相似的物体时也容易发生跟踪漂移甚至失效的情况。而基于滤波和数据关联的方法则是将目标跟踪看作状态估计问题，通过估计***的最佳状态选择最可能的目标估计。然而，由于在实际场景中存在目标成像面积小、对比度低、场景复杂多变等因素，对弱小目标的跟踪状态也并不稳定。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种复杂场景中的目标跟踪方法、一种复杂场景中的目标跟踪***、一种存储介质以及一种电子终端，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种复杂场景中的目标跟踪方法，包括：
获取当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各候选样本的最近邻相似度；
选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
在本公开的一种示例性实施例中，所述获取当前帧图像包括：
接收一包含所述跟踪目标信息的初始图像以及包含所述初始图像的跟踪视频；
截取所述跟踪视频的当前帧图像。
在本公开的一种示例性实施例中，所述计算各候选样本的最近邻相似度值包括：
根据一最近邻分类器依次计算各候选样本的最近邻相似度值；其中，所述最近邻分类器的建立包括：
以所述初始图像中所述跟踪目标中心点为中心，在预设范围内选取正样本和负样本；
根据所述正样本和负样本建立所述最近邻分类器。
在本公开的一种示例性实施例中，所述在预设范围内选取正样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设的邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
在本公开的一种示例性实施例中，所述在预设范围内选取负样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在一预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
在本公开的一种示例性实施例中，所述重叠率的计算方式为：
其中，IoU为重叠率；Rt为跟踪目标，Rc为第一或第二窗口。
在本公开的一种示例性实施例中，所述根据所述正样本和负样本建立所述最近邻分类器包括：
对所述正样本及负样本归一化处理；
分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
在本公开的一种示例性实施例中，所述获取当前帧图像还包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
在本公开的一种示例性实施例中，上述跟踪方法还包括：在预设范围内选取候选样本后，对所述候选样本进行归一化处理。
根据本公开的第二方面，提供一种复杂场景中的目标跟踪装置，包括：
图像获取模块，用于获取当前帧图像；
候选样本采集模块，用于在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
相似度计算模块，用于计算各候选样本的最近邻相似度；
目标选择模块，选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的复杂场景中的目标跟踪方法。
根据本公开的第四方面，提供一种电子终端，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行以下操作：
获取当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各候选样本的最近邻相似度；
选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
本公开的一种实施例所提供的复杂场景中的目标跟踪方法中，通过在当前帧图像中选取候选样本并计算各候选样本的最近邻相似度，最终选取最近邻相似度最高的候选样本作为当前帧图像中的跟踪目标，充分考虑了探测距离较远的条件下，复杂场景中目标尺寸小、对比度弱的情况。有效解决了传统方法无法适应极低对比度的场景的问题，进而实现了对复杂场景下低小慢目标的稳定跟踪。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种复杂场景中的目标跟踪方法示意图；
图2示意性示出本公开示例性实施例中一种最近邻相似度计算方法示意图；
图3示意性示出本公开示例性实施例中接收的初始图像示意图；
图4示意性示出本公开示例性实施例中一种目标区域对比度约为15％的无人机的跟踪结果示意图；
图5示意性示出本公开示例性实施例中另一种目标区域对比度约为15％的无人机的跟踪结果示意图；
图6示意性示出本公开示例性实施例中一种目标区域对比度约为2％的无人机的跟踪结果示意图；
图7示意性示出本公开示例性实施例中另一种目标区域对比度约为2％的无人机的跟踪结果示意图；
图8示意性示出本公开示例性实施例中一种目标区域对比度约为8％的无人机的跟踪结果示意图；
图9示意性示出本公开示例性实施例中一种复杂场景中的目标跟踪方法的流程示意图；
图10示意性示出本公开示例性实施例中一种复杂场景中的目标跟踪装置的组成示意图；
图11示意性示出本公开示例性实施例中一种复杂场景中的目标跟踪装置的另一种示意图；
图12示意性示出本公开示例性实施例中一种复杂场景中的目标跟踪装置的再一种示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了一种复杂场景中的目标跟踪方法，可以应用于军用或民用中在复杂背景下对于低空目标的跟踪或预警，例如对无人机、直升机或侦察机等飞行器，其具有侦测距离远，且跟踪目标成像对比度低、跟踪目标成像尺寸小的特点。参考图1中所示，上述的复杂场景中的目标跟踪方法可以包括以下步骤：
S1，获取当前帧图像；
S2，在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
S3，计算各候选样本的最近邻相似度；
S4，选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
本示例实施方式所提供的复杂场景中的目标跟踪方法中，通过在当前帧图像中选取候选样本并计算各候选样本的最近邻相似度，最终选取最近邻相似度最高的候选样本作为当前帧图像中的跟踪目标，充分考虑了探测距离较远的条件下，复杂场景中目标尺寸小、对比度弱的情况。有效解决了传统方法无法适应极低对比度的场景的问题，进而实现了对复杂场景下低小慢目标的稳定跟踪。
下面，将结合附图及实施例对本示例实施方式中的复杂场景中的目标跟踪方法的各个步骤进行更详细的说明。
步骤S1，获取当前帧图像。
本示例实施方式中，上述的目标跟踪方法在初次跟踪时可以接收一包含跟踪目标信息的初始图像，以及包含所述初始图像的跟踪视频。该初始图像中可以包含所述跟踪目标的坐标信息及跟踪目标的信息，例如所述跟踪目标中心点坐标以及跟踪目标的宽度、高度等信息。
根据接收的该初始图像中所包含的跟踪目标的信息可以对所述跟踪目标开始进行跟踪，并作为后续各帧图像中跟踪目位置信息判断的初始化图像。所述初始图像中跟踪目标的信息可以通过检测算法自动获取，也可以通过人工框定的方式在初始图像中标识。参考图3所示，图中跟踪目标由方框标识。同时，依次截取所述跟踪视频中的每一帧画面，并依次对每一帧图像进行跟踪目标位置的判断。上述的初始图像中跟踪目标的获取方式本公开对其不作特殊限定。
步骤S2，在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本。
本示例实施方式中，在开始跟踪后，在对第n帧图像中进行跟踪时(n>1)，首先获取跟踪目标在第n-1帧图像中跟踪目标的中心点位置，在当前帧图像中以该中心点位置为中心，在一预设大小的邻域范围内按照步长为1、窗口大小与第n-1帧图像中所述跟踪目标大小相等的方式滑窗选取窗口作为候选样本。
举例而言，在初次跟踪时，根据图3所示初始图像开始跟踪，在第二帧图像时，在第二帧图像上以跟踪目标在初始图像上中心点的坐标为中心，在21*21大小的邻域范围内选取候选样本，便可以获取共441个候选样本。在本公开的其他示例性实施方式中，也可以根据具体情况选择不同大小的邻域范围，以及其他选取方式对窗口进行选取，本公开对此不作特殊限定。
基于上述内容，上述在预设范围内选取候选样本之后，可以对候选样本进行归一化处理，将各候选样本中的像素值范围全部转化到0-1之间。通过对候选样本进行归一化处理，使候选样本的选择可以不受光照变化的影响，进而使本实施例所提供的跟踪方法对光照变化具有鲁棒性。
步骤S3，计算各候选样本的最近邻相似度。
本示例实施方式中，参考图2所示，上述的计算最近邻相似度具体可以包括：
步骤S31，根据所述初始图像中所述跟踪目标为中心，在预设范围内选取正样本和负样本；
步骤S32，根据所述正样本和负样本建立所述最近邻分类器；
步骤S33，根据所述最近邻分类器依次计算各候选样本的最近邻相似度值。
举例来说，上述的步骤S31中在预设范围内选取正样本具体可以包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设的邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
上述的在预设范围内选取负样本具体可以包括：
在所述初始图像上以所述跟踪目标中心点为中心，在一预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
对于上述重叠率IoU可以具有如下定义：
其中，IoU为重叠率；Rt为跟踪目标，Rc为第一或第二窗口。
举例来说，在初始帧图像上以目标中心点为中心、11*11大小的邻域内按照步长为1、窗口大小与目标大小相等的方式滑窗选取121个第一窗口。随后，计算每个第一窗口与目标区域的重叠率，将重叠率大于0.8的第一窗口作为最终的正样本。
在初始帧图像上以目标中心点为中心，半径在5到30之间的区域内随机挑选出300个与目标大小相等的第二窗口。随后，计算每个第二窗口与目标的重叠率，将重叠率小于0.2的第二窗口作为最终的负样本。
上述的步骤S32具体可以包括：
S321，对所述正样本及负样本归一化处理。
S322，分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
在本示例性实施方式中，考虑到跟踪目标在飞行的过程中可能会受到光照变化的影响，因此在建立最近邻分类器之前，对得到的所有正、负样本进行归一化，将其像素值范围变换到0-1之间。从而使正、负样本与候选样本的像素值均在0-1之间，进而在求解候选样本的最近邻相似度的时与正、负样本对应。进而保证跟踪方法的稳定性。
具体来说，对于上述归一化后正样本和负样本的均值向量的求解具体可以包括以下内容：
设归一化后的正样本集为Pex＝{px1,px2,...,pxm}，归一化后的负样本集为Nex＝{nx1,nx2,...,nxk}，则归一化后的正样本和负样本的均值向量为：
其中，分别表示归一化后正样本和负样本的均值向量；m、k分别表示归一化后正、负样本的个数，pxi、nxj分别表示归一化后第i个正样本和第j个负样本。
基于上述内容，则最近邻分类器的建立如下：
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
其求解方式如下：
其中，和分别表示候选样本xi与的归一化互相关系数值(NCC)。
选取正、负样本时，首先采用滑窗的方式逐个选取，随后利用每个窗口与目标的重叠率来来进一步剔除不合适的正、负样本，降低了计算复杂度，提高了正、负样本的质量，保证了最近邻分类器的质量和有效性。
步骤S4，选取最近邻相似度值最大的所述候选样本作为所述跟踪目标在所述当前帧图像的位置。
在本示例性实施方式中，通过最近邻分类器分别计算每个候选样本的最近邻相似度值(NNS)，挑选出NNS值最大的候选样本，该候选样本所在位置即为当前帧图像中目标最可能出现的位置。
举例来说，将上述的441个候选样本分别输入到上述步骤中建立的最近邻分类器中，计算每个候选样本的最近邻相似度值。NNS值越大表示该候选样本属于目标的可能越大。因此，在所有候选样本中挑选出NNS值最大的候选样本，此时该候选样本最有可能是跟踪目标，即其所在位置为当前帧目标最可能出现的位置。
进一步的，为了保证最近邻分类器能够适应复杂背景的变化，从而保证各帧图像上所述跟踪目标判断的准确性，参考图9所示，上述的跟踪方法还可包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
具体来说，由于实际场景中目标距离探测器较远，目标成像模糊，并且目标尺寸、形状较小，对比度较低，因此为了避免跟踪过程中漂移现象的发生，可以采取不更新正样本、只更新负样本的方式来更新最近邻分类器。例如，采用每5、8、10或15帧更新一次负样本，正样本不更新的方式更新最近邻分类器，从而在保证跟踪精度的同时避免了漂移。在更新最近邻分类器后，重复步骤S1-S4，直至跟踪停止。
举例来说，令m＝5、8、10或15，当n＝1时，即跟踪到第5、8、10或15帧图像，当前帧图像为当前循环的最后一帧，当前帧图像仍然使用当前的最近邻分类器。但此时可以在当前帧图像上重新选取负样本，并根据上述的正样本和新生成的负样本重新建立最近邻分类器，并将更新后的最近邻分类器应用于下一循环中，即第6、9、11或16帧中。
基于上述内容，为了适应跟踪目标的运动变化及跟踪目标所在背景区域的变化，在判断跟踪图像到达一循环时，还可以对候选样本的采样范围进行适应性修正。例如，可以根据跟踪目标的运动变化对候选目标的采样范围进行扩大或缩小。或者根据背景的变化，将候选目标的采样范围边界修正为圆形、矩形、椭圆形或不规则边界。具体修正方式可以根据实时情况具体调整，本公开对此不作特殊限定。
为了验证上述目标跟踪方法在不同对比度场景中低小慢目标跟踪的准确性，采用实际场景进行测试，飞行器目标为大疆无人机，该无人机物理尺寸较小，飞行器对角线长度为59mm。参见图4、图5所示，其目标区域的对比度约为15％，背景较复杂，包含路灯、电缆、树木、建筑房屋等，此时目标跟踪状态稳定。参见图8中所示，其目标区域的对比度约为8％，此时跟踪图像中目标成像较模糊、对比度明显较低，并且距离较远，目标尺寸更小，此时依然能够保持稳定跟踪。参见图6、图7所示，其目标区域的对比度约为2％，跟踪目标为5*5个像素单元；此时对比度极低，图像中跟踪目标尺寸仅为5*5个像素单元，此时依然能够保证稳定的、准确的跟踪状态。以上各图中通过矩形框标识跟踪目标。
以上实验结果表明，本公开提供的跟踪方法可以在背景较复杂，存在诸多疑似目标或障碍物，且对比度极低时，仍然可以稳定跟踪目标。
本公开提供的跟踪方法通过将最近邻分类器应用于对低小慢目标跟踪中，提高了对低对比度场景的适应性，很大程度上解决了复杂场景下低小慢目标稳定跟踪的难题。并且该跟踪方法计算简单、易于实现，可用于各种嵌入式图像处理平台中。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图10所示，本示例的实施方式中还提供一种复杂场景中的目标跟踪装置10，包括：图像获取模块21、候选样本采集模块22、相似度计算模块23以及目标选择模块24。其中：
所述图像获取模块21可以用于获取当前帧图像。
所述候选样本采集模块22可以用于在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本。
所述相似度计算模块23可以用于计算各候选样本的最近邻相似度。
所述目标选择模块24可以用于选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
上述的复杂场景中的目标跟踪装置10中各模块的具体细节已经在对应的目标跟踪方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
下面参照图11来描述根据本发明的这种实施方式的电子设备600。图11显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线630、显示单元640。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤S1：获取当前帧图像；步骤S2：在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；步骤S3：计算各候选样本的最近邻相似度；步骤S4：选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图12所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (12)

1.一种复杂场景中的目标跟踪方法，其特征在于，包括：
获取当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各候选样本的最近邻相似度；
选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
2.根据权利要求1所述的复杂场景中的目标跟踪方法，其特征在于，所述获取当前帧图像包括：
接收一包含所述跟踪目标信息的初始图像以及包含所述初始图像的跟踪视频；
截取所述跟踪视频的当前帧图像。
3.根据权利要求2所述的复杂场景中的目标跟踪方法，其特征在于，所述计算各候选样本的最近邻相似度值包括：
根据一最近邻分类器依次计算各候选样本的最近邻相似度值；其中，所述最近邻分类器的建立包括：
以所述初始图像中所述跟踪目标中心点为中心，在预设范围内选取正样本和负样本；
根据所述正样本和负样本建立所述最近邻分类器。
4.根据权利要求3所述的复杂场景中的目标跟踪方法，其特征在于，所述在预设范围内选取正样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设的邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
5.根据权利要求3所述的复杂场景中的目标跟踪方法，其特征在于，所述在预设范围内选取负样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在一预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
6.根据权利要求4或5所述的复杂场景中的目标跟踪方法，其特征在于，所述重叠率的计算方式为：
<mrow> <mi>I</mi> <mi>o</mi> <mi>U</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>&amp;cap;</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> </mrow> <mrow> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>&amp;cup;</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> </mrow> </mfrac> </mrow>
其中，IoU为重叠率；Rt为跟踪目标，Rc为第一或第二窗口。
7.根据权利要求3所述的复杂场景中的目标跟踪方法，其特征在于，所述根据所述正样本和负样本建立所述最近邻分类器包括：
对所述正样本及负样本归一化处理；
分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
<mrow> <mi>N</mi> <mi>N</mi> <mi>S</mi> <mo>=</mo> <mfrac> <mrow> <msup> <mi>N</mi> <mo>+</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>p</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> <mrow> <msup> <mi>N</mi> <mo>+</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>p</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>N</mi> <mo>-</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>n</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中：所述NNS表示最近邻相似度值；和分别表示第i个候选样本xi属于正样本和负样本的概率。
8.根据权利要求3所述的复杂场景中的目标跟踪方法，其特征在于，所述获取当前帧图像还包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
9.根据权利要求1所述的复杂场景中的目标跟踪方法，其特征在于，上述跟踪方法还包括：
在预设范围内选取候选样本后，对所述候选样本进行归一化处理。
10.一种复杂场景中的目标跟踪装置，其特征在于，包括：
图像获取模块，用于获取当前帧图像；
候选样本采集模块，用于在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
相似度计算模块，用于计算各候选样本的最近邻相似度；
目标选择模块，用于选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
11.一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至10中任一项所述的复杂场景中的目标跟踪方法。
12.一种电子终端，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行以下操作：
获取当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各候选样本的最近邻相似度；
选取最近邻相似度值最大的所述候选样本作为所述当前帧图像中的所述跟踪目标。
CN201710953914.3A 2017-10-13 2017-10-13 复杂场景中的目标跟踪方法及***、存储介质及电子终端 Pending CN108010052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710953914.3A CN108010052A (zh) 2017-10-13 2017-10-13 复杂场景中的目标跟踪方法及***、存储介质及电子终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710953914.3A CN108010052A (zh) 2017-10-13 2017-10-13 复杂场景中的目标跟踪方法及***、存储介质及电子终端

Publications (1)

Publication Number Publication Date
CN108010052A true CN108010052A (zh) 2018-05-08

Family

ID=62051720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710953914.3A Pending CN108010052A (zh) 2017-10-13 2017-10-13 复杂场景中的目标跟踪方法及***、存储介质及电子终端

Country Status (1)

Country Link
CN (1) CN108010052A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508036A (zh) * 2018-12-24 2019-03-22 深圳市道通智能航空技术有限公司 一种中继点生成方法、装置和无人机
CN110706202A (zh) * 2019-09-05 2020-01-17 苏州浪潮智能科技有限公司 一种非典型目标探测方法、装置和计算机可读存储介质
CN110830846A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种视频裁剪方法及服务器
CN111292350A (zh) * 2018-12-10 2020-06-16 北京京东尚科信息技术有限公司 目标朝向的优化算法、***、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376576A (zh) * 2014-09-04 2015-02-25 华为技术有限公司 一种目标跟踪方法及装置
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106326924A (zh) * 2016-08-23 2017-01-11 武汉大学 一种基于局部分类的目标跟踪方法及***
WO2017161443A1 (en) * 2016-03-22 2017-09-28 Communities Uncomplicated Inc. A method and system for tracking objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376576A (zh) * 2014-09-04 2015-02-25 华为技术有限公司 一种目标跟踪方法及装置
WO2017161443A1 (en) * 2016-03-22 2017-09-28 Communities Uncomplicated Inc. A method and system for tracking objects
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106326924A (zh) * 2016-08-23 2017-01-11 武汉大学 一种基于局部分类的目标跟踪方法及***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830846A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种视频裁剪方法及服务器
CN111292350A (zh) * 2018-12-10 2020-06-16 北京京东尚科信息技术有限公司 目标朝向的优化算法、***、电子设备及存储介质
CN111292350B (zh) * 2018-12-10 2024-03-01 北京京东乾石科技有限公司 目标朝向的优化算法、***、电子设备及存储介质
CN109508036A (zh) * 2018-12-24 2019-03-22 深圳市道通智能航空技术有限公司 一种中继点生成方法、装置和无人机
US11982758B2 (en) 2018-12-24 2024-05-14 Autel Robotics Co., Ltd. Relay point generation method and apparatus, and unmanned aerial vehicle
CN110706202A (zh) * 2019-09-05 2020-01-17 苏州浪潮智能科技有限公司 一种非典型目标探测方法、装置和计算机可读存储介质
CN110706202B (zh) * 2019-09-05 2022-05-13 苏州浪潮智能科技有限公司 一种非典型目标探测方法、装置和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107886048B (zh) 目标跟踪方法及***、存储介质及电子终端
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
US11321593B2 (en) Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN109242913B (zh) 采集器相对参数的标定方法、装置、设备和介质
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
CN108269254B (zh) 图像质量评估方法和装置
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
CN107992790B (zh) 目标长时跟踪方法及***、存储介质及电子终端
CN108010052A (zh) 复杂场景中的目标跟踪方法及***、存储介质及电子终端
JP2018508078A (ja) オブジェクト追跡のためのシステムおよび方法
CN110874853B (zh) 目标运动的确定方法、装置、设备及存储介质
CN110706262B (zh) 图像处理方法、装置、设备及存储介质
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN108320298B (zh) 一种视觉目标跟踪方法与设备
CN112597895A (zh) 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN112861830A (zh) 特征提取方法、装置、设备、存储介质以及程序产品
CN110910445A (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN112528927A (zh) 基于轨迹分析的置信度确定方法、路侧设备及云控平台
CN114037087B (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN115937071A (zh) 一种图像检测方法、装置、设备及介质
CN111563916B (zh) 基于立体视觉的长时无人机跟踪定位方法、***、装置
CN116385313B (zh) 基于图像处理的婴幼儿人际沟通拼图训练***及方法
JP2013187910A (ja) ロバストに非均一モーションブラーを推定する方法及び装置
CN108961293B (zh) 一种背景减除的方法、装置、设备及存储介质
CN109993767B (zh) 图像处理方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180508

RJ01 Rejection of invention patent application after publication