CN110659566B - 一种遮挡状态下的目标跟踪方法及*** - Google Patents

一种遮挡状态下的目标跟踪方法及*** Download PDF

Info

Publication number
CN110659566B
CN110659566B CN201910754803.9A CN201910754803A CN110659566B CN 110659566 B CN110659566 B CN 110659566B CN 201910754803 A CN201910754803 A CN 201910754803A CN 110659566 B CN110659566 B CN 110659566B
Authority
CN
China
Prior art keywords
target
picture
occlusion
candidate
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910754803.9A
Other languages
English (en)
Other versions
CN110659566A (zh
Inventor
王海华
马福齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN201910754803.9A priority Critical patent/CN110659566B/zh
Publication of CN110659566A publication Critical patent/CN110659566A/zh
Application granted granted Critical
Publication of CN110659566B publication Critical patent/CN110659566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种遮挡状态下的目标跟踪方法，该方法包括：S1、从第1帧视频画面帧中选定跟踪目标，并提取所述跟踪目标在该画面帧中的画面特征；S2、从第2帧，第3帧，…，第n帧的连续视频画面帧中选定一个或者多个候选目标；S3、判断S2选定的候选目标是否处于遮挡状态；S4、当所述候选目标处于遮挡状态时，利用GAN神经网络对候选目标进行去遮挡重建；S5、当所述候选目标处于未遮挡状态或者进行去遮挡重建后，对所述候选目标进行一般的目标跟踪处理，确认被遮挡的画面帧中的候选目标为所述跟踪目标。基于上述方法设计出一套匹配使用的***，该***利用GAN神经网络实现对被遮挡候选目标的去遮挡重建，保证了目标跟踪技术在人流、车流中的正常使用。

Description

一种遮挡状态下的目标跟踪方法及***
技术领域
本发明涉及视频监控技术领域，更具体的说是涉及一种遮挡状态下的目标跟踪方法及***。
背景技术
随着视频监控***规模的不断扩大，目标跟踪作为视频监控领域的基础性技术，也在不断地发展进步，并应用于跟踪可疑人物、追踪违章车辆等紧急场景中。
目标跟踪指的是从连续的视频画面帧中分析提取出同一个目标，例如同一个人物、车辆或者是动物等，属于视频监控领域的基础性技术。目标跟踪的一般方法是：首先，进行跟踪目标的特征提取，即从第一帧视频画面帧中选定跟踪目标，提取跟踪目标在该视频画面帧中的画面特征，例如颜色分布特征、纹理特征、边缘特征的一种或者多种；进而，进行候选目标的特征提取，即从后续的连续视频画面帧中选中一个或者多个候选目标，并提取一个或者多个候选目标的画面特征；最后，进行跟踪目标与候选目标的画面特征相似度比较，如果相似度大于阈值，则认定后续视频画面帧中的候选目标是跟踪目标。
对于上述功能来说，跟踪目标的局部乃至大部分区域，被其它物体遮挡是一个棘手的问题，例如作为跟踪目标的人员或者车辆在人流和车流当中被其它人或者车遮挡，那么即便选中的候选目标实际上确实是跟踪目标，但是受到遮挡物的影响，提取的画面特征与跟踪目标的画面特征的相似度无法大于阈值，这样就很容易造成识别失败。
目前目标跟踪技术，只能对具有清晰跟踪目标的视频画面中的人物、车辆进行跟踪，无法对局部乃至绝大部分被遮挡的跟踪目标进行跟踪，然而跟踪目标被遮挡却是不可避免的普遍现象。
GAN是一种生成对抗神经网络，相比其他生成模型，GAN只用到了反向传播，并且能够产生更加清晰、真实的样本，GAN采用一种无监督的学习方式训练，可以被广泛用在无监督学习和半监督学习领域，比如当应用到图像补全等场景时，只需要一个基准，并用判别器判别，其余交给对抗训练，能够有效的避免设计损失函数的困难。
因此，如何将GAN与目标跟踪技术结合起来，实现对被遮挡的跟踪目标的去遮挡处理，进而实现在人流、车流的现实场景中，保证跟踪目标技术的可实施性，是本领域技术人员亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种遮挡状态下的目标跟踪方法及***，利用GAN神经网络实现对被遮挡的候选目标的去遮挡重建，然后提取去遮挡重建后的候选目标的画面特征，与跟踪目标的画面特征进行相似度比较，从而完成被遮挡的候选目标的目标跟踪，该方法和***增强了目标跟踪技术在实际的车流、人流中追踪目标的可实施性。
为了实现上述目的，本发明采用如下技术方案：
一种遮挡状态下的目标跟踪方法，包括如下步骤：
S1、从第1帧视频画面帧中选定跟踪目标，并提取所述跟踪目标在该画面帧中的画面特征；
S2、从第2帧，第3帧，…，第n帧的连续视频画面帧中选定一个或者多个候选目标；
S3、判断S2选定的候选目标是否处于遮挡状态；
S4、当所述候选目标处于遮挡状态时，利用GAN神经网络对候选目标进行去遮挡重建；
S5、当所述候选目标处于未遮挡状态或者进行去遮挡重建后，对所述候选目标进行一般的目标跟踪处理，确认被遮挡的画面帧中的候选目标为所述跟踪目标。
优选的，所述述S1中提取的所述画面特征包括颜色分布特征、纹理特征以及边缘特征的一种或多种，选择特征明显的画面特征易于比对候选目标与跟踪目标相似度。
优选的，所述S3的具体步骤如下：
S31、将所述候选目标画面分别分割为若干个子区域；
S32、提取每个子区域的画面特征；
S33、计算每个子区域相对于其相邻子区域的画面特征的变化量；
S34、判断所述变化量是否超过突变阈值。
当候选目标被遮挡时，该候选目标画面帧的画面特征如颜色分布特征、纹理特征、边缘特征，在分布上会发生区域突变，而未被遮挡的候选目标的画面帧的画面特征的分布较为均匀，不存在突变；因此，将候选目标分割为若干个子区域，假设将每一个候选目标画面分割为10*10的矩阵排列的子区域，提取每个子区域的画面特征如颜色分布特征、纹理特征、边缘特征，计算这100个子区域中每一个子区域相对于其相邻子区域的画面特征的变化量，如果存在大于突变阈值的变化量，则认为该候选目标存在区域突变，处于遮挡状态。
优选的，所述S4的具体步骤如下：
S41、建立训练样本库，训练样本库中包含遮挡状态的样本目标画面和无遮挡状态的样本目标画面；
S42、将遮挡状态的样本目标画面与随机分布变量叠加，利用生成器生成一个去遮挡重建后的样本目标画面；
S43、由判别器计算去遮挡重建后的样本目标画面相对于无遮挡状态的样本目标画面的损失函数值；
S44、在损失函数值未在允许范围内，反馈生成器进行优化，直至生成器输出的去遮挡重建后的样本目标画面被判别器判定损失函数值在允许范围内，获得一个训练完成的GAN；
S45、将被遮挡状态的候选目标画面带入训练完成的GAN中，获得一个去遮挡重建后的目标画面。
GAN神经网络包括一个作为生成器的卷积神经网络和一个作为判别器的卷积神经网络，卷积神经网络具有自学能力、联想存储能力以及高速寻找优化解的能力，作为判别其的卷积神经网络在使用时已经通过大量判别样本被训练完成，可以直接使用。为了训练作为生成器的卷积神经网络，因此先建立一个包含遮挡状态的样本目标画面和一个无遮挡状态的样本目标画面的样本库，将包含遮挡状态的样本目标画面叠加一个随机分布变量，叠加后传输到作为生成器的卷积神经网络，作为生成器的卷积神经网络随机生成一个去遮挡重建后的样本目标画面，并将生成的去遮挡重建后的样本目标画面传输给作为判别器的卷积神经网络，作为判别器的卷积神经网络判别比对生成的去遮挡重建后的样本目标画面与未遮挡状态的样本目标画面，计算损失函数值，若损失函数值在允许范围内则该GAN神经网络训练完成；若损失函数值不在允许范围内，则将该结果反馈给作为生成器的卷积神经网络进行学习优化，不断重复上述过程，直至所述损失函数值在允许范围内，则作为生成器的卷积神经网络训练完成，GAN神经网络完成。
优选的，所述S5的具体步骤如下：
S51、提取所述候选目标所在的画面帧的画面特征；
S52、将所述跟踪目标与所述候选目标的画面特征进行相似度比较；
S53、判断相似度是否大于阈值，如果相似度大于阈值，则认定后续视频画面帧中的候选目标是跟踪目标。
一种遮挡状态下的目标跟踪***，包括：跟踪目标画面特征提取模块、候选目标选定模块、遮挡状态判断模块、去遮挡重建模块、一般目标跟踪处理模块；其中，
所述跟踪目标画面特征提取模块用于从第一帧视频画面帧中选定跟踪目标，并提取所述跟踪目标在该画面帧中的画面特征；
所述候选目标选定模块用于从第2帧，第3帧，…，第n帧的连续视频画面帧中选定一个或者多个候选目标；
所述遮挡状态判断模块用于判断所述候选目标选定模块选定的候选目标是否处于遮挡状态；
所述去遮挡重建模块用于在所述候选目标处于遮挡状态时，利用GAN神经网络对候选目标进行去遮挡重建；
所述一般目标跟踪处理模块用于当所述候选目标处于未遮挡状态或者进行去遮挡重建后，对所述候选目标进行一般的目标跟踪处理，确认被遮挡的画面帧中的候选目标为所述跟踪目标。
优选的，所述跟踪目标画面特征提取模块提取的所述画面特征包括颜色分布特征、分离特征以及边缘特征的一种或多种。
优选的，所述遮挡状态判断模块包括：区域离散单元、子区域画面特征提取单元、变化量计算单元、判断单元；其中，
所述区域离散单元用于将所述候选目标画面分别分割为若干个子区域；
所述子区域画面特征提取单元用于提取每个子区域的画面特征；
所述变化量计算单元用于计算每个子区域相对于其相邻子区域的画面特征的变化量；
所述判断单元用于判断所述变化量是否超过突变阈值。
优选的，所述去遮挡重建模块，包括：训练样本库建立单元、去遮挡重建后的样本目标画面生成单元、损失函数值计算单元、生成器优化单元、去遮挡重建后的目标画面生成单元；其中，
所述训练样本库建立单元用于建立训练样本库，训练样本库中包含遮挡状态的样本目标画面和无遮挡状态的样本目标状态；
所述去遮挡重建后的样本目标画面生成单元用于将遮挡状态的样本目标画面与随机分布变量叠加，利用生成器生成一个去遮挡重建后的样本目标画面；
所述损失函数值计算单元用于由判别器计算去遮挡重建后的样本目标画面相对于无遮挡状态的样本目标画面的损失函数值；
所述生成器优化单元用于在损失函数值未在允许范围内，反馈生成器进行优化，直至生成器输出的去遮挡重建后的样本目标画面被判别器判定损失函数值在允许范围内，获得一个训练完成的GAN；
所述去遮挡重建后的目标画面生成单元用于将被指当状态的候选目标画面带入训练完成的GAN中，获得一个去遮挡重建后的目标画面。
优选的，所述一般目标跟踪处理模块包括：候选目标画面特征提取单元、相似度比较单元、结果判断单元；其中，
所述候选目标画面特征提取单元用于提取所述候选目标所在的画面帧的画面特征；
所述相似度比较单元用于将所述跟踪目标所与所述候选目标的画面特征进行相似度比较；
所述结果判断单元用于判断相似度是否大于阈值，如果相似度大于阈值，则认定后续视频画面帧中的候选目标是跟踪目标。
本发明具有以下有益效果：
经由上述的技术方案可知，基于现有技术，本发明提出了一种遮挡状态下的目标跟踪方法，并根据该方法设计了一种遮挡状态下的目标跟踪***，利用GAN神经网络实现对候选目标的去遮挡重建，高效的还原被遮挡的候选目标，在目标跟踪过程中，避免了因候选目标被遮挡而无法识别的情况，增强了目标跟踪技术在实际的人流、车流中对嫌疑人和肇事车辆的跟踪效率，使目标跟踪技术具备可实施性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程图；
图2为本发明的***结构框图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提出了如下方法：
一种遮挡状态下的目标跟踪方法，包括如下步骤：
S1、从第1帧视频画面帧中选定跟踪目标，并提取所述跟踪目标在该画面帧中的画面特征；
S2、从第2帧，第3帧，…，第n帧的连续视频画面帧中选定一个或者多个候选目标；
S3、判断S2选定的候选目标是否处于遮挡状态；
S4、当所述候选目标处于遮挡状态时，利用GAN神经网络对候选目标进行去遮挡重建；
S5、当所述候选目标处于未遮挡状态或者进行去遮挡重建后，对所述候选目标进行一般的目标跟踪处理，确认被遮挡的画面帧中的候选目标为所述跟踪目标。
为了便于与候选目标进行相似度对比，S1中提取的易于区分的画面特征，包括颜色分布特征、纹理特征以及边缘特征的一种或多种。
为了进一步优化上述技术特征，S3的具体步骤如下：
S31、将所述候选目标画面分别分割为若干个子区域；
S32、提取每个子区域的画面特征；
S33、计算每个子区域相对于其相邻子区域的画面特征的变化量；
S34、判断所述变化量是否超过突变阈值。
具体的，当对第2帧，第3帧，…，第n帧的连续视频画面帧进行是否处于遮挡状态的判断时，若候选目标被遮挡，则该候选目标的画面特征分布会发生区域突变，而未被遮挡的候选目标在画面特征的分布上一般较为均均，不存在突变，基于上述原理，将候选目标画面分割为10*10矩阵排列的子区域，分别提取这100个子区域的画面特征，包括颜色分布特征、纹理特征及边缘特征的一种或者多种，然后计算每个子区域相对于其相邻子区域的画面特征的变化量，如果存在超过突变阈值的变化量，则认定候选目标存在区域突变，因此该候选目标处于遮挡状态，应该进行去遮挡重建。
为了进一步优化上述技术特征，S4的具体步骤如下：
S41、建立训练样本库，训练样本库中包含遮挡状态的样本目标画面和无遮挡状态的样本目标画面；
S42、将遮挡状态的样本目标画面与随机分布变量叠加，利用生成器生成一个去遮挡重建后的样本目标画面；
S43、由判别器计算去遮挡重建后的样本目标画面相对于无遮挡状态的样本目标画面的损失函数值；
S44、在损失函数值未在允许范围内，反馈生成器进行优化，直至生成器输出的去遮挡重建后的样本目标画面被判别器判定损失函数值在允许范围内，获得一个训练完成的GAN；
S45、将被遮挡状态的候选目标画面带入训练完成的GAN中，获得一个去遮挡重建后的目标画面。
GAN神经网络包括一个生成器和一个判别器，生成器和判别器都是卷积神经网络，具有神经网络的自学能力等优良性能，在本发明中才用的作为判别器的卷积神经网络是已经训练完成的具备准确判别能力的神经网络，因此，本发明将建立训练样本库，训练作为生成器的卷积神经网络，训练样本库中包括遮挡状态的样本目标画面和无遮挡状态的样本目标画面，使用遮挡状态的样本目标画面叠加随机分布变量，由生成器生成一个去遮挡重建后的样本目标画面，并由判别器以无遮挡状态的样本目标画面为基准，对去遮挡重建后的样本目标画面进行损失函数值的计算，并将结果反馈给生成器，生成器不断地自学训练，并重复上述过程，直至计算的损失函数值在允许的范围内，则作为生成器的卷积神经网络训练完成，GAN神经网络训练完成，可以对遮挡目标画面进行去遮挡重建。
7、为了进一步优化上述技术特征，S5的具体步骤如下：
S51、提取所述候选目标所在的画面帧的画面特征；
S52、将所述跟踪目标与所述候选目标的画面特征进行相似度比较；
S53、判断相似度是否大于阈值，如果相似度大于阈值，则认定后续视频画面帧中的候选目标是跟踪目标。
如图2所示，
一种遮挡状态下的目标跟踪***，其特征在于，包括：跟踪目标画面特征提取模块1、候选目标选定模块2、遮挡状态判断模块3、去遮挡重建模块4、一般目标跟踪处理模块5；其中，
跟踪目标画面特征提取模块1用于从第一帧视频画面帧中选定跟踪目标，并提取所述跟踪目标在该画面帧中的画面特征；
候选目标选定模块2用于从第2帧，第3帧，…，第n帧的连续视频画面帧中选定一个或者多个候选目标；
遮挡状态判断模块3用于判断候选目标选定模块2选定的候选目标是否处于遮挡状态；
去遮挡重建模块4用于在所述候选目标处于遮挡状态时，利用GAN神经网络对候选目标进行去遮挡重建；
一般目标跟踪处理模块5用于当所述候选目标处于未遮挡状态或者进行去遮挡重建后，对所述候选目标进行一般的目标跟踪处理，确认被遮挡的画面帧中的候选目标为所述跟踪目标。
为了进一步优化上述技术特征，跟踪目标画面特征提取模块1提取的所述画面特征包括颜色分布特征、分离特征以及边缘特征的一种或多种。
为了进一步优化上述技术特征，遮挡状态判断模块3包括：区域离散单元、子区域画面特征提取单元、变化量计算单元、判断单元；其中，
区域离散单元用于将所述候选目标画面分别分割为若干个子区域；
子区域画面特征提取单元用于提取每个子区域的画面特征；
变化量计算单元用于计算每个子区域相对于其相邻子区域的画面特征的变化量；
判断单元用于判断所述变化量是否超过突变阈值。
为了进一步优化上述技术特征，去遮挡重建模块4包括：训练样本库建立单元、去遮挡重建后的样本目标画面生成单元、损失函数值计算单元、生成器优化单元、去遮挡重建后的目标画面生成单元；其中，
训练样本库建立单元用于建立训练样本库，训练样本库中包含遮挡状态的样本目标画面和无遮挡状态的样本目标状态；
去遮挡重建后的样本目标画面生成单元用于将遮挡状态的样本目标画面与随机分布变量叠加，利用生成器生成一个去遮挡重建后的样本目标画面；
损失函数值计算单元用于由判别器计算去遮挡重建后的样本目标画面相对于无遮挡状态的样本目标画面的损失函数值；
生成器优化单元用于在损失函数值未在允许范围内，反馈生成器进行优化，直至生成器输出的去遮挡重建后的样本目标画面被判别器判定损失函数值在允许范围内，获得一个训练完成的GAN；
去遮挡重建后的目标画面生成单元用于将被指当状态的候选目标画面带入训练完成的GAN中，获得一个去遮挡重建后的目标画面。
为了进一步优化上述技术特征，一般目标跟踪处理模块5包括：候选目标画面特征提取单元、相似度比较单元、结果判断单元；其中，
候选目标画面特征提取单元用于提取所述候选目标所在的画面帧的画面特征；
相似度比较单元用于将所述跟踪目标所与所述候选目标的画面特征进行相似度比较；
结果判断单元用于判断相似度是否大于阈值，如果相似度大于阈值，则认定后续视频画面帧中的候选目标是跟踪目标。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种遮挡状态下的目标跟踪方法，其特征在于，包括如下步骤：
S1、从第1帧视频画面帧中选定跟踪目标，并提取所述跟踪目标在该画面帧中的画面特征；提取的所述画面特征包括颜色分布特征、纹理特征以及边缘特征的多种；
S2、从第2帧，第3帧，…，第n帧的连续视频画面帧中选定一个或者多个候选目标；
S3、判断S2选定的候选目标是否处于遮挡状态；
S4、当所述候选目标处于遮挡状态时，利用GAN神经网络对候选目标进行去遮挡重建；
S5、当所述候选目标处于未遮挡状态或者进行去遮挡重建后，对所述候选目标进行一般的目标跟踪处理，确认被遮挡的画面帧中的候选目标为所述跟踪目标；
其中，所述S3的具体步骤如下：S31、将所述候选目标画面分别分割为若干个子区域，所述子区域以矩阵排列；S32、提取每个子区域的画面特征，包括颜色分布特征、纹理特征以及边缘特征的一种或者多种；S33、计算每个子区域相对于其相邻子区域的画面特征的变化量；S34、判断所述变化量是否超过突变阈值，如果存在超过突变阈值的变化量，则认定候选目标处于遮挡状态；
S4的具体步骤如下：S41、建立训练样本库，训练样本库中包含遮挡状态的样本目标画面和无遮挡状态的样本目标画面；S42、将遮挡状态的样本目标画面与随机分布变量叠加，利用生成器生成一个去遮挡重建后的样本目标画面；S43、由判别器以无遮挡状态的样本目标画面为基准，计算去遮挡重建后的样本目标画面相对于无遮挡状态的样本目标画面的损失函数值；S44、在损失函数值未在允许范围内，反馈生成器进行优化，直至生成器输出的去遮挡重建后的样本目标画面被判别器判定损失函数值在允许范围内，获得一个训练完成的GAN；S45、将被遮挡状态的候选目标画面带入训练完成的GAN中，获得一个去遮挡重建后的目标画面；并且，所述GAN的判别器采用已经训练完成的具备准确判别能力的神经网络实现。
2.根据权利要求1所述的一种遮挡状态下的目标跟踪方法，其特征在于，所述S5的具体步骤如下：
S51、提取所述候选目标所在的画面帧的画面特征；
S52、将所述跟踪目标与所述候选目标的画面特征进行相似度比较；
S53、判断相似度是否大于阈值，如果相似度大于阈值，则认定后续视频画面帧中的候选目标是跟踪目标。
3.一种遮挡状态下的目标跟踪***，其特征在于，包括：跟踪目标画面特征提取模块(1)、候选目标选定模块(2)、遮挡状态判断模块(3)、去遮挡重建模块(4)、一般目标跟踪处理模块(5)；其中，
所述跟踪目标画面特征提取模块(1)用于从第一帧视频画面帧中选定跟踪目标，并提取所述跟踪目标在该画面帧中的画面特征；提取的所述画面特征包括颜色分布特征、纹理特征以及边缘特征的多种；
所述候选目标选定模块(2)用于从第2帧，第3帧，…，第n帧的连续视频画面帧中选定一个或者多个候选目标；
所述遮挡状态判断模块(3)用于判断所述候选目标选定模块(2)选定的候选目标是否处于遮挡状态；
所述去遮挡重建模块(4)用于在所述候选目标处于遮挡状态时，利用GAN神经网络对候选目标进行去遮挡重建；
所述一般目标跟踪处理模块(5)用于当所述候选目标处于未遮挡状态或者进行去遮挡重建后，对所述候选目标进行一般的目标跟踪处理，确认被遮挡的画面帧中的候选目标为所述跟踪目标；
所述遮挡状态判断模块(3)具体包括：区域离散单元、子区域画面特征提取单元、变化量计算单元、判断单元；其中，所述区域离散单元用于将所述候选目标画面分别分割为若干个子区域，所述子区域以矩阵排列；所述子区域画面特征提取单元用于提取每个子区域的画面特征，包括颜色分布特征、纹理特征以及边缘特征的一种或者多种；所述变化量计算单元用于计算每个子区域相对于其相邻子区域的画面特征的变化量；所述判断单元用于判断所述变化量是否超过突变阈值，如果存在超过突变阈值的变化量，则认定候选目标处于遮挡状态；
所述去遮挡重建模块(4)具体包括：训练样本库建立单元、去遮挡重建后的样本目标画面生成单元、损失函数值计算单元、生成器优化单元、去遮挡重建后的目标画面生成单元；其中，所述训练样本库建立单元用于建立训练样本库，训练样本库中包含遮挡状态的样本目标画面和无遮挡状态的样本目标画面；所述去遮挡重建后的样本目标画面生成单元用于将遮挡状态的样本目标画面与随机分布变量叠加，利用生成器生成一个去遮挡重建后的样本目标画面；所述损失函数值计算单元用于由判别器以无遮挡状态的样本目标画面为基准，计算去遮挡重建后的样本目标画面相对于无遮挡状态的样本目标画面的损失函数值；所述生成器优化单元用于在损失函数值未在允许范围内，反馈生成器进行优化，直至生成器输出的去遮挡重建后的样本目标画面被判别器判定损失函数值在允许范围内，获得一个训练完成的GAN；所述去遮挡重建后的目标画面生成单元用于将被指当状态的候选目标画面带入训练完成的GAN中，获得一个去遮挡重建后的目标画面；并且，所述GAN的判别器采用已经训练完成的具备准确判别能力的神经网络实现。
4.根据权利要求3所述的一种遮挡状态下的目标跟踪***，其特征在于，所述一般目标跟踪处理模块(5)包括：候选目标画面特征提取单元、相似度比较单元、结果判断单元；其中，
所述候选目标画面特征提取单元用于提取所述候选目标所在的画面帧的画面特征；
所述相似度比较单元用于将所述跟踪目标与所述候选目标的画面特征进行相似度比较；
所述结果判断单元用于判断相似度是否大于阈值，如果相似度大于阈值，则认定后续视频画面帧中的候选目标是跟踪目标。
CN201910754803.9A 2019-08-15 2019-08-15 一种遮挡状态下的目标跟踪方法及*** Active CN110659566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910754803.9A CN110659566B (zh) 2019-08-15 2019-08-15 一种遮挡状态下的目标跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910754803.9A CN110659566B (zh) 2019-08-15 2019-08-15 一种遮挡状态下的目标跟踪方法及***

Publications (2)

Publication Number Publication Date
CN110659566A CN110659566A (zh) 2020-01-07
CN110659566B true CN110659566B (zh) 2020-12-18

Family

ID=69037498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910754803.9A Active CN110659566B (zh) 2019-08-15 2019-08-15 一种遮挡状态下的目标跟踪方法及***

Country Status (1)

Country Link
CN (1) CN110659566B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365416A (zh) * 2020-11-10 2021-02-12 浙江大华技术股份有限公司 图片遮挡的处理方法和装置、存储介质及电子装置
CN112489086A (zh) * 2020-12-11 2021-03-12 北京澎思科技有限公司 目标跟踪方法、目标跟踪装置、电子设备及存储介质
CN113111823A (zh) * 2021-04-22 2021-07-13 广东工业大学 一种建筑施工地的异常行为检测方法和相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN107909061A (zh) * 2017-12-07 2018-04-13 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN109711283A (zh) * 2018-12-10 2019-05-03 广东工业大学 一种联合双字典和误差矩阵的遮挡表情识别算法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887588B (zh) * 2010-08-04 2012-07-25 中国科学院自动化研究所 一种基于表观分块的遮挡处理方法
KR101492059B1 (ko) * 2013-05-31 2015-02-11 전자부품연구원 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
CN103456030B (zh) * 2013-09-08 2016-04-13 西安电子科技大学 基于散射描述子的目标跟踪方法
CN105139418A (zh) * 2015-08-04 2015-12-09 山东大学 一种新型的基于分块策略的视频跟踪方法
CN105335986B (zh) * 2015-09-10 2018-11-30 西安电子科技大学 基于特征匹配和MeanShift算法的目标跟踪方法
CN107730458A (zh) * 2017-09-05 2018-02-23 北京飞搜科技有限公司 一种基于生成式对抗网络的模糊人脸重建方法及***
CN108205659A (zh) * 2017-11-30 2018-06-26 深圳市深网视界科技有限公司 人脸遮挡物去除及其模型构建的方法、设备及介质
CN108549905A (zh) * 2018-04-09 2018-09-18 上海方立数码科技有限公司 一种严重遮挡情况下的精准目标跟踪方法
CN109145745B (zh) * 2018-07-20 2022-02-11 上海工程技术大学 一种遮挡情况下的人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204638A (zh) * 2016-06-29 2016-12-07 西安电子科技大学 一种基于尺度自适应和遮挡处理的航拍目标跟踪方法
CN107909061A (zh) * 2017-12-07 2018-04-13 电子科技大学 一种基于不完备特征的头部姿态跟踪装置及方法
CN109711283A (zh) * 2018-12-10 2019-05-03 广东工业大学 一种联合双字典和误差矩阵的遮挡表情识别算法

Also Published As

Publication number Publication date
CN110659566A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110659566B (zh) 一种遮挡状态下的目标跟踪方法及***
Cho et al. A neural-based crowd estimation by hybrid global learning algorithm
KR102155182B1 (ko) 비디오 리코딩 방법, 서버, 시스템 및 저장 매체
Sen-Ching et al. Robust techniques for background subtraction in urban traffic video
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
US20140064626A1 (en) Adaptive image processing apparatus and method based in image pyramid
CN112767711B (zh) 一种多类别多尺度多目标抓拍方法及***
GB2409028A (en) Face detection
Casasent et al. Real, imaginary, and clutter Gabor filter fusion for detection with reduced false alarms
GB2409030A (en) Face detection
EP1542152A1 (en) Object detection
CN111753732A (zh) 一种基于目标中心点的车辆多目标跟踪方法
US20070104373A1 (en) Method for automatic key posture information abstraction
CN113033523A (zh) 跌倒判断模型的构建方法及***、跌倒判断方法及***
CN109685062A (zh) 一种目标检测方法、装置、设备及存储介质
CN108921147B (zh) 一种基于动态纹理和变换域时空特征的黑烟车识别方法
Su et al. Violence detection using 3D convolutional neural networks
KR102506971B1 (ko) 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템
CN116246200A (zh) 一种基于视觉识别的屏显信息偷拍检测方法及***
CN116309729A (zh) 目标追踪方法、装置、终端、***及可读存储介质
CN112001387B (zh) 对焦区域的确定方法及装置、终端、存储介质
CN113657169A (zh) 一种步态识别方法、装置、***和计算机可读存储介质
CN113938671A (zh) 图像内容分析方法、装置、电子设备和存储介质
CN104751489A (zh) 一种在线课堂中基于网格的接力跟踪方法及装置
CN112560825B (zh) 人脸检测方法、装置、电子设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant