CN107992791A - 目标跟踪失效重检方法及装置、存储介质、电子设备 - Google Patents

目标跟踪失效重检方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN107992791A
CN107992791A CN201710952475.4A CN201710952475A CN107992791A CN 107992791 A CN107992791 A CN 107992791A CN 201710952475 A CN201710952475 A CN 201710952475A CN 107992791 A CN107992791 A CN 107992791A
Authority
CN
China
Prior art keywords
candidate samples
mrow
target
tracking target
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710952475.4A
Other languages
English (en)
Inventor
胡锦龙
韩雪云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Original Assignee
XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd filed Critical XIAN TIANHE DEFENCE TECHNOLOGY Co Ltd
Priority to CN201710952475.4A priority Critical patent/CN107992791A/zh
Publication of CN107992791A publication Critical patent/CN107992791A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，尤其涉及一种目标跟踪失效重检方法及装置、存储介质、电子设备。该目标跟踪失效重检方法可以包括：获取当前帧图像，并判断跟踪目标是否丢失；在判断跟踪目标丢失时，在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；计算各第一候选样本的局部对比度，并从第一候选样本中去除局部对比度小于一第一局部对比度阈值的第一候选样本，以得到第二候选样本；计算各第二候选样本的最近邻相似度，并将最近邻相似度大于最近邻相似度阈值的第二候选样本确定为跟踪目标。本公开减少了***的计算工作量，提高了跟踪目标的重检准确率以及跟踪目标的重检效率。

Description

目标跟踪失效重检方法及装置、存储介质、电子设备
技术领域
本公开涉及图像处理技术领域，尤其涉及一种目标跟踪失效重检方法及装置、存储介质、电子设备。
背景技术
在红外搜索和跟踪***中，对于在低信噪比条件下的弱小目标跟踪是一个重要的研究课题。由于目标受背景噪声和背景杂波的影响极大，同时低空目标容易受到地面物体的影响，给目标跟踪带来了极大的挑战。
在传统的跟踪目标检测方法中，通常采用建立跟踪目标的特征模型，并根据该特征模型计算图像中候选目标与跟踪目标的相似度，并将相似度最高的候选目标确定为跟踪目标。
然而，一方面，传统的跟踪目标更侧重于目标的短时间跟踪，而对长时间的跟踪鲜有研究；另一方面，由于在现实应用场景中，跟踪目标体积小，背景复杂，在通过传统的跟踪目标检测方法检测跟踪目标时，容易造成干扰，进而降低了跟踪目标检测的准确性；又一方面，由于在传统的跟踪目标检测的方法中，候选目标是在整个图像区域中选取，因此，候选目标的数量大，计算量大，检测效率低。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种目标跟踪失效重检方法及装置、存储介质、电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开的一个方面，提供一种目标跟踪失效重检方法，包括：
获取当前帧图像，并判断跟踪目标是否丢失；
在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；
计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本；
计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
在本公开的一种示例性实施例中，所述方法还包括计算所述第一局部对比度阈值，其中，所述第一局部对比度阈值的计算公式为：
其中，Tc为所述第一局部对比度阈值，为所述第一候选样本的局部对比度的均值，为所述第一候选样本的局部对比度的标准差，k为常数。3、根据上述任意一项所述的目标跟踪失效重检方法，所述方法还包括计算所述最近邻相似度阈值，包括：
获取所述当前帧图像之前的多帧图像中的所述跟踪目标的最近邻相似度；
根据每帧图像中的所述跟踪目标的最近邻相似度计算所述跟踪目标的最近邻相似度的平均值和最小值；
根据下式计算所述最近邻相似度阈值：
THNNS＝(mu_NNS-min_NNS)/2
其中：THNNS为所述最近邻相似度阈值，mu_NNS为所述跟踪目标的最近邻相似度的平均值，min_NNS为所述所述跟踪目标的最近邻相似度的最小值。
在本公开的一种示例性实施例中，所述第一候选样本的局部对比度的计算公式为：
其中：Ci为第i个第一候选样本si的局部对比度，max(si)为所述第一候选样本si中像素的最大灰度值，max(ti)为所述第一候选样本si邻域中像素的最大灰度值，min(ti)为所述第一候选样本si邻域中像素的最小灰度值，ε为调整函数。
在本公开的一种示例性实施例中，所述计算各所述第一候选样本的局部对比度还包括：
根据各所述第一候选样本的局部对比度并结合一第二局部对比度阈值在所述第一候选样本中去除所述局部对比度小于所述第二局部对比度阈值的所述第一候选样本。
在本公开的一种示例性实施例中，所述方法还包括计算所述第二局部对比度阈值，包括：
获取所述当前帧图像之前的多帧图像中的所述跟踪目标的局部对比度；
根据每帧图像中的所述跟踪目标的局部对比度计算所述跟踪目标的局部对比度的平均值和最小值；
根据下式计算所述第二局部对比度阈值：
THLCM＝(mu_lcm-min_lcm)/2
其中：THLCM为所述第二局部对比度阈值，mu_lcm为所述跟踪目标的局部对比度的平均值，min_lcm为所述跟踪目标的局部对比度的最小值。
在本公开的一种示例性实施例中，所述计算各所述第二候选样本的最近邻相似度包括：
根据一最近邻分类器依次计算各所述第二候选样本的最近邻相似度；其中，所述最近邻分类器的建立包括：
在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心选取正样本和负样本；
根据所述正样本和所述负样本建立所述最近邻分类器。
在本公开的一种示例性实施例中，所述在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心选取正样本包括：
在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心在第一预设范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与上一帧图像中的所述跟踪目标的重叠率；
将所述重叠率大于第一重叠率阈值的所述第一窗口作为正样本。
在本公开的一种示例性实施例中，所述在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心选取负样本包括：
在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在第二预设范围中按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第二窗口；
计算各所述第二窗口与上一帧图像中的所述跟踪目标的重叠率；
将所述重叠率小于第二重叠率阈值的所述第二窗口作为负样本。
在本公开的一种示例性实施例中，所述重叠率的计算公式为：
其中，IoU为所述重叠率；Rt为所上一帧图像中的所述跟踪目标，Rc为所述第一窗口或所述第二窗口。
在本公开的一种示例性实施例中，所述根据所述正样本和所述负样本建立所述最近邻分类器包括：
对所述正样本和所述负样本进行归一化处理；
分别计算归一化处理后的所述正样本和所述负样本的均值向量以用于建立所述最近邻分类器：
其中：NSS为第i个第二候选样本xi的最近邻相似度，和分别表示第i个第二候选样本xi分别与正样本和负样本的最近邻相似度。
在本公开的一种示例性实施例中，所述在预设区域中获取第一候选样本包括：
对所述预设区域进行形态学变换以获取所述预设区域的二值图像，并在所述二值图像中获取第一候选样本。
在本公开的一种示例性实施例中，所述对所述预设区域进行形态学变换以获取所述预设区域的二值图像包括：
根据所述跟踪目标的先验尺寸生成第一结构元和第二结构元；
根据所述第一结构元对所述预设区域进行形态学膨胀运算，以获取膨胀后的所述预设区域；
根据所述第二结构元对膨胀后的所述预设区域进行腐蚀运算，以获取所述预设区域的背景图像；
将所述预设区域的背景图像与所述预设区域进行差分，以获取所述预设区域的差值图像；
根据一灰度阈值将所述差值图像转化为二值图像。
在本公开的一种示例性实施例中，所述在所述二值图像中获取第一候选样本包括：
对所述二值图像进行聚类分析以获取所述第一候选样本。
根据本公开的一个方面，提供一种目标跟踪失效重检装置，包括：
判断模块，用于获取当前帧图像，并判断跟踪目标是否丢失；
获取模块，用于在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；
去除模块，用于计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本；
确定模块，用于计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的目标跟踪失效重检方法。
根据本公开的一个方面，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述中任意一项所述的目标跟踪失效重检方法。
本公开一种示例实施例提供的目标跟踪失效重检方法及装置、存储介质、电子设备。该方法在跟踪目标丢失时，通过在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心在预设区域中选取第一候选样本并计算各第一候选样本的局部对比度，再在第一候选样本中去除局部对比度小于第一局部对比度阈值的第一候选样本以得到第二候选样本，最后，计算各第二候选样本的最近邻相似度，并将最近邻相似度大于最近邻相似度阈值的第二候选样本确定为跟踪目标。一方面，在跟踪目标丢失时，在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心在预设区域中选取第一候选样本，相比于现有技术，其更侧重于跟踪目标在丢失后的重新检测，进而实现跟踪目标的长期且稳定的跟踪；另一方面，在当前帧图像中的预设区域中获取第一候选样本，与现有技术在整个图像区域中选取第一候选样本相比，大大减少了第一候选样本的数量，进而也大大的减少了***的计算工作量，同时也降低了计算的复杂度，提高了重检效率，且更易于硬件实现；又一方面，通过去除局部对比度小于第一局部对比度阈值的第一候选目标，以将不可能为跟踪目标的第一候选样本筛选出去(即去除部分干扰)，进一步减少了第一候选样本的数量，进而也减少了***的计算工作量，从而提高了跟踪目标的重检准确率和跟踪目标的重检效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
通过参照附图来详细描述其示例性实施例，本公开的上述和其它特征及优点将变得更加明显。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本公开一种目标跟踪失效重检方法的流程图；
图2为本公开一示例性实施例中提供的无人机在进入高楼之前的跟踪结果；
图3为本公开一示例性实施例中提供的无人机被高楼遮挡时的跟踪失效结果；
图4为本公开一示例性实施例中提供的无人机重新出现时的失效重检结果；
图5为本公开一示例性实施例中提供的无人机在进入树丛之前的跟踪结果；
图6为本公开一示例性实施例中提供的无人机被树丛遮挡时的跟踪失效结果；
图7为本公开一示例性实施例中提供的无人机重新出现时的失效重检结果；
图8公开一种目标跟踪失效重检装置的框图；
图9公开示一示例性实施例中的电子设备的模块示意图；
图10公开示一示例性实施例中的程序产品示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例性实施例中首先公开了一种目标跟踪失效重检方法，可以应用于军用或民用中在复杂背景下对于低空目标的失效重检，所述低空目标例如可以为无人机、直升机或侦察机等飞行器，该低空目标具有侦测距离远，对比度低、成像尺寸小的特点。如图1所示，上述目标跟踪失效重检方法可以包括：
步骤S1.获取当前帧图像，并判断跟踪目标是否丢失；
步骤S2.在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；
步骤S3.计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本；
步骤S4.计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
根据本示例性实施例中的目标跟踪失效重检方法，一方面，在跟踪目标丢失时，在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心在预设区域中选取第一候选样本，相比于现有技术，其更侧重于跟踪目标在丢失后的重新检测，进而实现跟踪目标的长期且稳定的跟踪；另一方面，在当前帧图像中的预设区域中获取第一候选样本，与现有技术在整个图像区域中选取第一候选样本相比，大大减少了第一候选样本的数量，进而也大大的减少了***的计算工作量，同时也降低了计算的复杂度，提高了重检效率，且更易于硬件实现；又一方面，通过去除局部对比度小于第一局部对比度阈值的第一候选目标，以将不可能为跟踪目标的第一候选样本筛选出去(即去除部分干扰)，进一步减少了第一候选样本的数量，进而也减少了***的计算工作量，从而提高了跟踪目标的重检准确率和跟踪目标的重检效率。
下面，将参照图1，对本示例性实施例中的目标跟踪失效重检方法作进一步说明。
在步骤S1中，获取当前帧图像，并判断跟踪目标是否丢失。
在本示例性实施例中，在对跟踪目标进行跟踪的过程中，获取当前帧图像并判断跟踪目标是否丢失时；在判断跟踪目标未丢失时，获取跟踪目标在当前帧图像中的坐标，并计算跟踪目标在当前帧图像中的局部对比度以及最近邻相似度，以及将跟踪目标的坐标、局部对比度以及最近邻相似度保存至存储器。在判断跟踪目标丢失时，通过步骤S2、步骤S3、步骤S4重现检测跟踪目标。
所述当前帧中跟踪目标的局部对比度的计算公式为：
其中，C为跟踪目标的局部对比度，max(S)为跟踪目标中的像素的最大值，max(t)为跟踪目标的邻域中的像素的最大值，min(t)为跟踪目标的邻域中的像素的最小值，ε为一调整参数，其用于防止上述公式的分母为零，ε的取值通常为0.01。
所述当前帧中跟踪目标的最近邻相似度的计算过程可以包括：以跟踪目标在当前帧中的坐标为中心选取正样本和负样本；对正样本和负样本进行归一化处理；根据下述最近邻相似度的计算公式并结合归一化处理后的正样本和负样本的均值向量计算跟踪目标的最近邻相似度，所述近邻相似度的计算公式为：
其中，NNS为跟踪目标X的最近邻相似度，和分别表示跟踪目标X分别与正样本和负样本的最近邻相似度，
上述其中，表示跟踪目标X与的度量值，表示归一化处理后的正样本的均值向量，所述的计算过程为：设归一化后的正样本集为Pex＝{px1,px2,...,pxm}，则m为正样本的数量。
上述其中，表示跟踪目标X与的度量值，表示归一化处理后负样本的均值向量。所述的计算过程为：设归一化后的负样本集为Pex＝{nx1,nx2,...,nxk}，则，k表示负样本的数量。
需要说明的是，选取正样本和负样本时，首先采用滑窗的方式选取，随后利用每个窗口与跟踪目标的重叠率来进一步去除不合适的正样本和负样本，通过上述方式可以降低计算的复杂度、提高了正样本和负样本的质量，保证了跟踪目标的最近邻相似度的准确性。
在步骤S2中，在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本。
在本示例性实施例中，在跟踪目标丢失时，获取上一帧图像中跟踪目标的坐标，并在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心确定一预设区域，以及在该预设区域中获取第一候选样本。由于在相邻两帧图像中，跟踪目标的坐标的变化范围可以根据跟踪目标的运动速度进行预估，因此预设区域可以根据跟踪目标的运动速度进行确定，例如，预设区域可以为150*300的区域，但本示例性实施例中的预设区域不限于此。所述预设区域的形状可以根据具体的应用场景进行设定，其可以为圆形区域、还可以为方形区域，本示例性实施例对此不作特殊限定。显然，通过确定预设区域，并在预设区域内获取第一候选样本，与现有技术在整个图像区域中选取第一候选样本相比，大大减少了第一候选样本的数量，进而也大大的减少了***的计算工作量，同时也降低了计算的复杂度，提高了重检效率，且更易于硬件实现。此外，在跟踪目标丢失时，在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心在预设区域中选取第一候选样本，即在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心确定预设区域，以及在该预设区域中获取第一候选样本，相比于现有技术，其更侧重于跟踪目标在丢失后的重新检测，进而实现跟踪目标的长期且稳定的跟踪。
进一步的，所述在预设区域中获取第一候选样本可以包括：对所述预设区域进行形态学变换以获取所述预设区域的二值图像，并在所述二值图像中获取第一候选样本。
需要说明的是，在本示例性实施例中，由于跟踪目标的特征信息为灰度值，因此，此处选择通过形态学变换的方式获取预设区域的二值图像。具体的，对所述预设区域进行形态学变换以获取所述预设区域的二值图像可以包括步骤S21、步骤S22、步骤S23、步骤S24以及步骤S25，其中：
在步骤S21中，根据所述跟踪目标的先验尺寸生成第一结构元和第二结构元。
在本示例性实施例中，所述先验尺寸指跟踪目标的大小，即跟踪目标的长、宽、高。在此可以根据跟踪目标的大小的上限生成第一结构元Ed和第二结构元Ee。所述第一结构元Ed和第二结构元Ee的结构均为M*N的矩阵，其中矩阵中的元素可以为0和/或1。举例说明，第一结构元Ed可以为7*15的矩阵，即：
第二结构元Ee可以为7*15的矩阵，即：
需要说明的是，所述第一结构元Ed与第二机构元Ee的结构相同，但第一结构元Ed中的元素和第二结构元Ee中的元素可以相同也可以不同。
在步骤S22中根据所述第一结构元对所述预设区域进行形态学膨胀运算，以获取膨胀后的所述预设区域。
在本示例性实施例中，根据第一结构元对预设区域进行形态学膨胀运算之后，预设区域中的第一候选样本变暗，而第一候选样本周围变亮。
在步骤S23中根据所述第二结构元对膨胀后的所述预设区域进行腐蚀运算，以获取所述预设区域的背景图像。
在本示例性实施例中，为了获取背景图像，需要将第一候选样本周围变暗，因此，根据第二结构元对膨胀后的预设区域进行腐蚀，以降低第一候选样本周围的亮度，进而得到预设区域的背景图像。
步骤S24、将所述预设区域的背景图像与所述预设区域进行差分，以获取所述预设区域的差值图像。
在本示例性实施例中，将预设区域的背景图像与预设区域进行差分，以得到预设区域的差值图像，需要说明的是，该差分图像包含所有像素的灰度信息。
步骤S25、根据一灰度阈值将所述差值图像转化为二值图像。
在本示例性实施例中，分别将差值图像中的各像素的灰度值与灰度阈值进行比较，将灰度值大于灰度阈值的像素标记为1，将灰度值不大于灰度阈值的像素标记为0，以将差值图像转换为二值图像。所述灰度阈值的计算公式为：
Threshold(x，y)＝1/3*max(IDE(x，y))
其中，Threshold(x，y)为灰度阈值，max(IDE(x，y))为差值图像的最大灰度值。
由上可知，通过对预设区域进行形态学变换，即先根据跟踪目标的先验尺寸生成第一结构元和第二结构元，再根据第一结构元和第二结构元分别对预设区域进行形态学膨胀运算和腐蚀运算以得到预设区域的背景图像，最后通过将预设区域的背景图像与预设区域进行差分以去掉预设区域中的背景图像，从而在获取预设区域的第一候选样本时，滤除了绝大部分背景的干扰，提高第一候选样本的准确性，进而也提高了失效重检的准确率。
在此基础上，所述在所述二值图像中获取第一候选样本可以包括：对所述二值图像进行聚类分析以获取所述第一候选样本。
在本示例性实施例中，根据各标记为1的像素在二值图像中的位置，将距离最近的标记为1的像素进行合并，该合并后的区域即为第一候选样本，以及根据合并后的区域的个数确定第一候选样本的个数。
目前，常用的获取第一候选样本的方法是通过对二值图像进行连通域分析，即在整幅二值图像中进行遍历，在遍历到某个像素的标记为1时，判断与该标记为1的像素相邻的像素的标记是否为1，若为1，将该像素与其相邻的像素进行合并，因此，连通域分析需要对整幅二值图像进行遍历，计算量大，效率低，且不利于嵌入式平台的实现。而本公开通过对二值图像进行聚类分析获取第一候选样本，即根据各标记为1的像素在二值图像中的位置，直接将距离最近的标记为1的像素进行合并，不需要对整幅二值图像进行遍历，因此，计算量小，效率高，且利于嵌入式平台的实现。
在步骤S3中，计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本。
在本示例性实施例中，计算各所述第一候选样本的局部对比度可以包括：分别获取各第一候选样本的邻域，并结合第一候选样本的局部对比度的计算公式分别计算各第一候选样本的局部对比度。所述第一候选样本的局部对比度的计算公式为：
其中：Ci为第i个第一候选样本si的局部对比度，max(si)为所述第一候选样本si中像素的最大灰度值，max(ti)为所述第一候选样本si邻域中像素的最大灰度值，min(ti)为所述第一候选样本si邻域中像素的最小灰度值，ε为调整函数。
基于此，在计算出各第一候选样本的局部对比度之后，为了对第一候选样本进行初步筛选，以从第一候选样本中筛选出不合适的第一候选样本，减少第一候选样本的数量，进而减少***的计算工作量，降低计算的复杂度，提高跟踪目标的重检效率。所述计算各所述第一候选样本的局部对比度还可以包括：根据各所述第一候选样本的局部对比度并结合一第二局部对比度阈值在所述第一候选样本中去除所述局部对比度小于所述第二局部对比度阈值的所述第一候选样本。
在本示例性实施例中，在计算出各第一候选样本的局部对比度之后，判断各第一候选样本的局部对比度与第二局部对比度阈值的关系，在第一候选样本的局部对比度不大于第二局部对比度阈值时，说明该第一候选样本不可能为跟踪目标，并去除该第一候选样本，在第一候选样本的局部对比度大于第二局部对比度阈值时，说明该第一候选样本可能为跟踪目标，并保留该第一候选样本。
进一步的，计算所述第二局部对比度阈值可以包括步骤S31、步骤S32以及步骤S33，其中：
在步骤S31中，获取所述当前帧图像之前的多帧图像中的所述跟踪目标的局部对比度。
在本示例性实施例中，从存储器中获取当前帧图像之前的多帧图像中的跟踪目标的局部对比度。所述多帧图像的数量可以根据具体的实现效果进行确定，其可以为30帧图像，也可以为25帧图像，本示例性实施例对此不作特殊限定。所述多帧图像可以为当前帧图像之前的连续的多帧图像，例如，当前帧图像之前的连续30帧图像；所述多帧图像还可以为当前帧图像之前的不连续的多帧图像，例如，当前帧图像之前的随机30帧图像。
在步骤S32中，根据每帧图像中的所述跟踪目标的局部对比度计算所述跟踪目标的局部对比度的平均值和最小值。
在本示例性实施例中，将所有图像中的跟踪目标的局部对比度相加并除以所有图像的数量即可得到跟踪目标的局部对比度的平均值。跟踪目标的局部对比度的最小值可以通过依次对每帧图像中的跟踪目标的局部对比度进行比较的方式获得。
在步骤S33中，根据下式计算所述第二局部对比度阈值：
THLCM＝(mu_lcm-min_lcm)/2
其中：THLCM为所述第二局部对比度阈值，mu_lcm为所述跟踪目标的局部对比度的平均值，min_lcm为所述跟踪目标的局部对比度的最小值。
基于此，通过第一局部对比度阈值对经过初步筛选的第一候选样本进行再次筛选，以将局部对比度小于第一局部对比度阈值的第一候选样本从经过初步筛选的第一候选样本中去除，即从经过初步筛选的第一候选样本中去除不可能为跟踪目标的第一候选样本，进一步减少第一候选样本的数量，减少***的计算工作量，降低了计算的复杂度，提高跟踪目标的重检效率且更易于硬件实现。鉴于此，所述方法还可以包括计算所述第一局部对比度阈值，其中，所述第一局部对比度的计算公式为：其中，Tc为所述第一局部对比度阈值，为所述第一候选样本的局部对比度的均值，即将所有第一候选样本的局部对比度相加再除以所有第一候选样本的数量即可得第一候选样本的局部对比度的均值。为所述第一候选样本的局部对比度的标准差。k为常数，其取值通常为0.3。
在步骤S4中，计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
在本示例性实施例中，可以根据一最近邻分类器依次计算各所述第二候选样本的最近邻相似度。所述最近邻分类器的建立可以包括步骤S41以及步骤S42，其中：
步骤S41、在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心选取正样本和负样本。
在本示例性实施例中，上述步骤S41中选取正样本的过程可以包括：在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心在第一预设范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；计算各所述第一窗口与上一帧图像中的所述跟踪目标的重叠率；将所述重叠率大于第一重叠率阈值的所述第一窗口作为正样本。
举例说明，在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心在11*11大小的第一预设范围内按照步长为1，窗口大小与跟踪目标大小相等的方式滑窗选取第一窗口，然后，计算各第一窗口与上一帧图像中的跟踪目标的重叠率，并将重叠率大于0.8的第一窗口确定为正样本。
在本示例性实施例中，上述步骤S41中选取负样本的过程可以包括：在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在第二预设范围中按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第二窗口；计算各所述第二窗口与上一帧图像中的所述跟踪目标的重叠率；将所述重叠率小于第二重叠率阈值的所述第二窗口作为负样本。
举例说明，在当前帧图像中以跟踪目标在上一帧图像中的坐标为中心，半径在5到11之间的第二预设范围内，按照步长为1，窗口大小与跟踪目标大小相等的方式滑窗选取第二窗口。然后计算各第二窗口与上一帧图像中的跟踪目标的重叠率，并将重叠率小于0.2的第二窗口确定为负样本。
在本示例性实施例中，第一窗口与上一帧图像中的跟踪目标的重叠率以及第二窗口与上一帧图像中的跟踪目标的重叠率均可以通过下式进行计算：
其中，IoU为所述重叠率；Rt为所上一帧图像中的所述跟踪目标，Rc为所述第一窗口或所述第二窗口。
步骤S42、根据所述正样本和所述负样本建立所述最近邻分类器。
上述步骤S42中建立最近邻分类器的过程可以包括步骤S421以及步骤S422，其中：
步骤S421，对所述正样本和所述负样本进行归一化处理。
在本示例性实施例中，考虑到跟踪目标在运动过程中可能会受到光照变化的影响，因此在建立最近邻分类器之前，对所有正样本和负样本进行归一化处理，以将其像素范围变换到0～1之间，以保证重检方法的稳定性。
步骤S422，分别计算归一化处理后的所述正样本和所述负样本的均值向量以用于建立所述最近邻分类器：
其中：NSS为第i个第二候选样本xi的最近邻相似度，和分别表示第i个第二候选样本xi分别与正样本和负样本的最近邻相似度。
具体的，对上述归一化处理后的正样本和负样本的均值向量的求解过程可以包括以下内容：
设归一化处理后的正样本集为Pex＝{px1,px2,...,pxm}，归一化处理后的负样本集为Nex＝{nx1,nx2,...,nxk}，则归一化处理后的正样本和负样本的均值向量分别为：
其中，分别表示归一化处理后的正样本和负样本的均值向量；m、k分别表示归一化后正样本和负样本的个数，pxi、nxj分别表示归一化后第i个正样本和第j个负样本。
基于上述内容，则最近邻分类器的建立如下：
其中：其中：NSS为第i个第二候选样本xi的最近邻相似度，和分别表示第i个第二候选样本xi分别与正样本和负样本的最近邻相似度。
所述和的求解过程如下：
其中：和分别表示候选样本xi与的度量值。
所述和的求解过程如下：
其中，Xi表示第i个第二候选样本，分别表示归一化处理后的正样本和负样本的均值向量；
在选取正样本和负样本时，首先采用滑窗的方式逐个选取，随后根据各第一窗口和各第二窗口分别与上一帧图像中的跟踪目标的重叠率来进一步剔除不合适的正样本和负样本，降低了计算复杂度，提高了正样本和负样本的质量，保证了最近邻分类器的质量和有效性。
进一步的，所述方法还可以包括计算所述最近邻相似度阈值，其中，计算最近邻相似度阈值的过程可以包括步骤S43、步骤S44以及步骤S45，其中：
步骤S43，获取所述当前帧图像之前的多帧图中的所述跟踪目标的最近邻相似度。
在本示例性实施例中，从存储器中获取当前帧图像之前的多帧图像中的跟踪目标的最近邻相似度。所述多帧图像的数量可以根据具体的实现效果进行确定，其可以为30帧图像，也可以为25帧图像，本示例性实施例对此不作特殊限定。所述多帧图像可以为当前帧图像之前的连续的多帧图像，例如，当前帧图像之前的连续30帧图像；所述多帧图像还可以为当前帧图像之前的不连续的多帧图像，例如，当前帧图像之前的随机30帧图像。
步骤S44，根据每帧图像中的所述跟踪目标的最近邻相似度计算所述跟踪目标的最近邻相似度的平均值和最小值。
在本示例性实施例中，将所有图像中的跟踪目标的最近邻相似度相加并除以所有图像的数量即可得到跟踪目标的最近邻相似度的平均值。跟踪目标的最近邻相似度的最小值可以通过依次对每帧图像中的跟踪目标的最近邻相似度进行比较的方式获得。
步骤S45，根据下式计算所述最近邻相似度阈值：
THNNS＝(mu_NNS-min_NNS)/2
其中：THNNS为所述最近邻相似度阈值，mu_NNS为所述跟踪目标的最近邻相似度的平均值，min_NNS为所述所述跟踪目标的最近邻相似度的最小值。
为了验证上述目标跟踪失效重检方法在不同场景中对低小慢目标跟踪失效重检的准确性，采用实际场景进行测试。其中，跟踪目标为无人机，其对角线的长度为59mm。如图2、图3以及图4所示，其中，图2表示无人机进入高楼之前，***对无人机进行跟踪的结果，图3表示无人机进入高楼之后，***对无人机的跟踪发生失效，即检测不到无人机，图4表示无人机重新出现，***对无人机进行失效重检的结果。再如图5、图6以及图7所示，图5表示无人机在进入树丛之前，***对无人机进行跟踪的结果，图6表示无人机在进入树丛之后，***对无人机的跟踪发生失效，图7表示无人机重新出现时，***对无人机进行失效重检的结果。从上述跟踪失效重检结果中可以看出，飞行器在运动过程中发生各种变化时(如，建筑物遮挡、树丛遮挡)，该方法均可以准确的对跟踪失效后的飞行器进行重新检测，进而实现了飞行器的长久且稳定的跟踪。需要说明的是，以上各图中通过矩形框标识飞行器的位置。
需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
在本公开的示例性实施例中，还提供了一种目标跟踪失效重检装置，如图8所示，该目标跟踪失效重检装置100可以包括判断模块101、获取模块102、去除模块103以及确定模块104，其中：
判断模块101可以用于获取当前帧图像，并判断跟踪目标是否丢失；
获取模块102可以用于在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；
去除模块103可以用于计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本；
确定模块104可以用于计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
上述中各目标跟踪失效重检装置模块的具体细节已经在对应的目标跟踪失效重检方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线630、显示单元640。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤S1.获取当前帧图像，并判断跟踪目标是否丢失；步骤S2.在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；步骤S3.计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本；步骤S4.计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (17)

1.一种目标跟踪失效重检方法，其特征在于，包括：
获取当前帧图像，并判断跟踪目标是否丢失；
在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；
计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本；
计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
2.根据权利要求1所述的目标跟踪失效重检方法，其特征在于，所述方法还包括计算所述第一局部对比度阈值，其中，所述第一局部对比度阈值的计算公式为：
<mrow> <mi>T</mi> <mi>c</mi> <mo>=</mo> <msup> <mover> <mi>I</mi> <mo>&amp;OverBar;</mo> </mover> <mi>C</mi> </msup> <mo>+</mo> <mi>k</mi> <mo>&amp;times;</mo> <msub> <mi>&amp;sigma;</mi> <msup> <mi>I</mi> <mi>C</mi> </msup> </msub> </mrow>
其中，Tc为所述第一局部对比度阈值，为所述第一候选样本的局部对比度的均值，为所述第一候选样本的局部对比度的标准差，k为常数。
3.根据权利要求1所述的目标跟踪失效重检方法，其特征在于，所述方法还包括计算所述最近邻相似度阈值，包括：
获取所述当前帧图像之前的多帧图像中的所述跟踪目标的最近邻相似度；
根据每帧图像中的所述跟踪目标的最近邻相似度计算所述跟踪目标的最近邻相似度的平均值和最小值；
根据下式计算所述最近邻相似度阈值：
THNNS＝(mu_NNS-min_NNS)/2
其中：THNNS为所述最近邻相似度阈值，mu_NNS为所述跟踪目标的最近邻相似度的平均值，min_NNS为所述所述跟踪目标的最近邻相似度的最小值。
4.根据权利要求1所述的目标跟踪失效重检方法，其特征在于，所述第一候选样本的局部对比度的计算公式为：
<mrow> <msub> <mi>C</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>max</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;epsiv;</mi> </mrow> </mfrac> </mrow>
其中：Ci为第i个第一候选样本si的局部对比度，max(si)为所述第一候选样本si中像素的最大灰度值，max(ti)为所述第一候选样本si邻域中像素的最大灰度值，min(ti)为所述第一候选样本si邻域中像素的最小灰度值，ε为调整函数。
5.根据权利要求4所述的目标跟踪失效重检方法，其特征在于，所述计算各所述第一候选样本的局部对比度还包括：
根据各所述第一候选样本的局部对比度并结合一第二局部对比度阈值在所述第一候选样本中去除所述局部对比度小于所述第二局部对比度阈值的所述第一候选样本。
6.根据权利要求5所述的目标跟踪失效重检方法，其特征在于，所述方法还包括计算所述第二局部对比度阈值，包括：
获取所述当前帧图像之前的多帧图像中的所述跟踪目标的局部对比度；
根据每帧图像中的所述跟踪目标的局部对比度计算所述跟踪目标的局部对比度的平均值和最小值；
根据下式计算所述第二局部对比度阈值：
THLCM＝(mu_lcm-min_lcm)/2
其中：THLCM为所述第二局部对比度阈值，mu_lcm为所述跟踪目标的局部对比度的平均值，min_lcm为所述跟踪目标的局部对比度的最小值。
7.根据权利要求1所述的目标跟踪失效重检方法，其特征在于，所述计算各所述第二候选样本的最近邻相似度包括：
根据一最近邻分类器依次计算各所述第二候选样本的最近邻相似度；其中，所述最近邻分类器的建立包括：
在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心选取正样本和负样本；
根据所述正样本和所述负样本建立所述最近邻分类器。
8.根据权利要求7所述的目标跟踪失效重检方法，其特征在于，所述在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心选取正样本包括：
在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心在第一预设范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与上一帧图像中的所述跟踪目标的重叠率；
将所述重叠率大于第一重叠率阈值的所述第一窗口作为正样本。
9.根据权利要求7所述的目标跟踪失效重检方法，其特征在于，所述在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心选取负样本包括：
在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在第二预设范围中按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第二窗口；
计算各所述第二窗口与上一帧图像中的所述跟踪目标的重叠率；
将所述重叠率小于第二重叠率阈值的所述第二窗口作为负样本。
10.根据权利要求8或9所述的目标跟踪失效重检方法，其特征在于，所述重叠率的计算公式为：
<mrow> <mi>I</mi> <mi>o</mi> <mi>U</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>&amp;cap;</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> </mrow> <mrow> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>&amp;cup;</mo> <msub> <mi>R</mi> <mi>c</mi> </msub> </mrow> </mfrac> </mrow>
其中，IoU为所述重叠率；Rt为所上一帧图像中的所述跟踪目标，Rc为所述第一窗口或所述第二窗口。
11.根据权利要求7所述的目标跟踪失效重检方法，其特征在于，所述根据所述正样本和所述负样本建立所述最近邻分类器包括：
对所述正样本和所述负样本进行归一化处理；
分别计算归一化处理后的所述正样本和所述负样本的均值向量以用于建立所述最近邻分类器：
<mrow> <mi>N</mi> <mi>N</mi> <mi>S</mi> <mo>=</mo> <mfrac> <mrow> <msup> <mi>N</mi> <mo>+</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>p</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> <mrow> <msup> <mi>N</mi> <mo>+</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>p</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>N</mi> <mo>-</mo> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mover> <mrow> <mi>n</mi> <mi>x</mi> </mrow> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中：NSS为第i个第二候选样本xi的最近邻相似度，和分别表示第i个第二候选样本xi分别与正样本和负样本的最近邻相似度。
12.根据权利要求1所述的目标跟踪失效重检方法，其特征在于，所述在预设区域中获取第一候选样本包括：
对所述预设区域进行形态学变换以获取所述预设区域的二值图像，并在所述二值图像中获取第一候选样本。
13.根据权利要求12所述的目标跟踪失效重检方法，其特征在于，所述对所述预设区域进行形态学变换以获取所述预设区域的二值图像包括：
根据所述跟踪目标的先验尺寸生成第一结构元和第二结构元；
根据所述第一结构元对所述预设区域进行形态学膨胀运算，以获取膨胀后的所述预设区域；
根据所述第二结构元对膨胀后的所述预设区域进行腐蚀运算，以获取所述预设区域的背景图像；
将所述预设区域的背景图像与所述预设区域进行差分，以获取所述预设区域的差值图像；
根据一灰度阈值将所述差值图像转化为二值图像。
14.根据权利要求12所述的目标跟踪失效重检方法，其特征在于，所述在所述二值图像中获取第一候选样本包括：
对所述二值图像进行聚类分析以获取所述第一候选样本。
15.一种目标跟踪失效重检装置，其特征在于，包括：
判断模块，用于获取当前帧图像，并判断跟踪目标是否丢失；
获取模块，用于在判断所述跟踪目标丢失时，在所述当前帧图像中以所述跟踪目标在上一帧图像中的坐标为中心，在预设区域中获取第一候选样本；
去除模块，用于计算各所述第一候选样本的局部对比度，并从所述第一候选样本中去除所述局部对比度小于一第一局部对比度阈值的所述第一候选样本，以得到第二候选样本；
确定模块，用于计算各所述第二候选样本的最近邻相似度，并将所述最近邻相似度大于最近邻相似度阈值的所述第二候选样本确定为所述跟踪目标。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～14中任意一项所述的目标跟踪失效重检方法。
17.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～14中任意一项所述的目标跟踪失效重检方法。
CN201710952475.4A 2017-10-13 2017-10-13 目标跟踪失效重检方法及装置、存储介质、电子设备 Pending CN107992791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710952475.4A CN107992791A (zh) 2017-10-13 2017-10-13 目标跟踪失效重检方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710952475.4A CN107992791A (zh) 2017-10-13 2017-10-13 目标跟踪失效重检方法及装置、存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN107992791A true CN107992791A (zh) 2018-05-04

Family

ID=62029656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710952475.4A Pending CN107992791A (zh) 2017-10-13 2017-10-13 目标跟踪失效重检方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN107992791A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492537A (zh) * 2018-10-17 2019-03-19 桂林飞宇科技股份有限公司 一种物体识别方法及装置
CN109543534A (zh) * 2018-10-22 2019-03-29 中国科学院自动化研究所南京人工智能芯片创新研究院 一种目标跟踪中目标丢失重检的方法及装置
CN109741370A (zh) * 2019-01-04 2019-05-10 北京环境特性研究所 一种目标跟踪方法和装置
CN111444948A (zh) * 2020-03-21 2020-07-24 哈尔滨工程大学 一种图像特征提取与匹配方法
CN111833380A (zh) * 2020-09-17 2020-10-27 武汉光谷信息技术股份有限公司 一种多视角影像融合的空间目标跟踪***及方法
CN113361388A (zh) * 2021-06-03 2021-09-07 北京百度网讯科技有限公司 图像数据修正方法、装置、电子设备及自动驾驶车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
CN105046206A (zh) * 2015-06-24 2015-11-11 北京***工程研究所 基于视频中运动先验信息的行人检测方法及装置
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347263A1 (en) * 2013-05-23 2014-11-27 Fastvdo Llc Motion-Assisted Visual Language For Human Computer Interfaces
CN105046206A (zh) * 2015-06-24 2015-11-11 北京***工程研究所 基于视频中运动先验信息的行人检测方法及装置
CN106204649A (zh) * 2016-07-05 2016-12-07 西安电子科技大学 一种基于tld算法的目标跟踪方法
CN106683121A (zh) * 2016-11-29 2017-05-17 广东工业大学 一种融合检测过程的鲁棒目标追踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. L. PHILIP CHEN等: "A Local Contrast Method for Small Infrared Target Detection", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492537A (zh) * 2018-10-17 2019-03-19 桂林飞宇科技股份有限公司 一种物体识别方法及装置
CN109492537B (zh) * 2018-10-17 2023-03-14 桂林飞宇科技股份有限公司 一种物体识别方法及装置
CN109543534A (zh) * 2018-10-22 2019-03-29 中国科学院自动化研究所南京人工智能芯片创新研究院 一种目标跟踪中目标丢失重检的方法及装置
CN109543534B (zh) * 2018-10-22 2020-09-01 中国科学院自动化研究所南京人工智能芯片创新研究院 一种目标跟踪中目标丢失重检的方法及装置
CN109741370A (zh) * 2019-01-04 2019-05-10 北京环境特性研究所 一种目标跟踪方法和装置
CN109741370B (zh) * 2019-01-04 2020-09-11 北京环境特性研究所 一种目标跟踪方法和装置
CN111444948A (zh) * 2020-03-21 2020-07-24 哈尔滨工程大学 一种图像特征提取与匹配方法
CN111833380A (zh) * 2020-09-17 2020-10-27 武汉光谷信息技术股份有限公司 一种多视角影像融合的空间目标跟踪***及方法
CN113361388A (zh) * 2021-06-03 2021-09-07 北京百度网讯科技有限公司 图像数据修正方法、装置、电子设备及自动驾驶车辆
CN113361388B (zh) * 2021-06-03 2023-11-24 北京百度网讯科技有限公司 图像数据修正方法、装置、电子设备及自动驾驶车辆

Similar Documents

Publication Publication Date Title
CN107992791A (zh) 目标跟踪失效重检方法及装置、存储介质、电子设备
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN107886048B (zh) 目标跟踪方法及***、存储介质及电子终端
CN105550678B (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN109740499A (zh) 视频分割方法、视频动作识别方法、装置、设备及介质
CN111127563A (zh) 联合标定方法、装置、电子设备及存储介质
US11740321B2 (en) Visual inertial odometry health fitting
CN109664820A (zh) 基于行车记录仪的驾驶提示方法、装置、设备和存储介质
WO2023087636A1 (zh) 异常检测方法及装置、电子设备、存储介质和计算机程序产品
CN110956255A (zh) 难样本挖掘方法、装置、电子设备及计算机可读存储介质
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端
CN107992790B (zh) 目标长时跟踪方法及***、存储介质及电子终端
CN115616937B (zh) 自动驾驶仿真测试方法、装置、设备和计算机可读介质
CN114418069A (zh) 一种编码器的训练方法、装置及存储介质
Elbakly et al. The StoryTeller: Scalable building-and ap-independent deep learning-based floor prediction
CN107992873A (zh) 目标检测方法及装置、存储介质、电子设备
CN111507204A (zh) 倒计时信号灯的检测方法、装置、电子设备及存储介质
JP2020060879A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN112907557A (zh) 道路检测方法、装置、计算设备及存储介质
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
Catbas et al. A review of latest trends in bridge health monitoring
CN112595728B (zh) 一种道路问题确定方法和相关装置
CN116958959B (zh) 一种高程信息的处理方法、装置、电子设备和存储介质
CN110008815A (zh) 人脸识别融合模型的生成方法和装置
CN111798516B (zh) 一种桥式起重机设备运行状态量的检测及误差分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180504