CN108875655A - 一种基于多特征的实时目标视频跟踪方法及*** - Google Patents

一种基于多特征的实时目标视频跟踪方法及*** Download PDF

Info

Publication number
CN108875655A
CN108875655A CN201810662349.XA CN201810662349A CN108875655A CN 108875655 A CN108875655 A CN 108875655A CN 201810662349 A CN201810662349 A CN 201810662349A CN 108875655 A CN108875655 A CN 108875655A
Authority
CN
China
Prior art keywords
video
sub
subgraph
sample
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810662349.XA
Other languages
English (en)
Inventor
曲海平
刘显林
岳峻
寇光杰
贾世祥
张志旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ludong University
Original Assignee
Ludong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ludong University filed Critical Ludong University
Priority to CN201810662349.XA priority Critical patent/CN108875655A/zh
Publication of CN108875655A publication Critical patent/CN108875655A/zh
Priority to CN201910142073.7A priority patent/CN109685045B/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多特征的实时目标视频跟踪方法及***，其中方法包括：根据预设规则将待跟踪视频按时序分为若干个子视频，其中，子视频的个数至少为一个；对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；对于该子视频中位于第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各距离确定每个样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。该方法及***能够适应目标跟踪过程中目标的外观变化，并能够有效解决遮挡问题，有利于提高目标跟踪结果的准确性。

Description

一种基于多特征的实时目标视频跟踪方法及***
技术领域
本发明涉及目标跟踪技术领域，更具体地，涉及一种基于多特征的实时目标视频跟踪方法及***。
背景技术
目标跟踪是计算机视觉领域的一个研究热点，随着视频摄像机的普及化，视频跟踪有着广泛的应用前景，在人机交互、智能监控、目标识别等领域都有重要的应用。
虽然近年来有大量的跟踪算法涌现，但大部分的跟踪算法在进行目标表示时，仅考虑了目标的单独某种特征。由于目标的形变、目标被遮挡等问题的影响，对于目标跟踪算法的性能受到了很大的影响。因此，采取单独的一种特征信息不能够应对多种场景条件下的变化，没有任何一种单特征的算法能够处理所有场景下的跟踪问题。
此外，现有的跟踪算法在整个跟踪过程中均采用单一的分类器将目标与背景进行分离，然而在跟踪过程中目标可能存在形变，单一的分类器很难准确地将目标与背景进行分离，导致跟踪的结果准确度不高。
有鉴于此，亟待提供一种能够适应目标外观变化并能较好地解决遮挡问题的实时跟踪方法及***。
发明内容
本发明为了克服现有技术中跟踪算法无法适应目标外观变化且无法解决遮挡问题，导致目标跟踪结果的准确度不高的问题，提供一种基于多特征的实时目标视频跟踪方法及***。
一方面，本发明提供一种基于多特征的实时目标视频跟踪方法，包括：
根据预设规则将待跟踪视频按时序分为若干个子视频，其中，所述子视频的个数至少为一个；
对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；
对于该子视频中位于所述第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个所述样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各所述距离确定每个所述样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
优选地，所述从该图像中选取多个样本子图像，具体为：
获取该图像的前一帧图像中各样本子图像的权重；
根据该图像的前一帧图像中各样本子图像的权重，从该图像中选取多个样本子图像。
优选地，所述根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像，之前还包括：
获取该子视频对应的带有标记的训练样本，利用所述训练样本对分类器进行训练，获得该子视频对应的预设分类器。
优选地，所述利用所述训练样本对分类器进行训练，获得该子视频对应的预设分类器，具体为：
对于任意一个训练样本，提取该训练样本对应的HOG特征、SILTP特征和Harr-like特征，将该训练样本对应的HOG特征、SILTP特征和Harr-like特征进行级联，获得该训练样本对应的特征向量；
根据所有所述训练样本对应的特征向量对分类器进行训练，获得该子视频对应的预设分类器。
优选地，所述获得该训练样本对应的特征向量，之后还包括：
对该训练样本对应的特征向量进行降维，获得该训练样本对应的降维后的特征向量；
对应地，所述根据所有所述训练样本对应的特征向量对分类器进行训练，具体为：
根据所有所述训练样本对应的降维后的特征向量对分类器进行训练。
优选地，所述对该训练样本对应的特征向量进行降维，具体为：
获取该训练样本对应的特征向量中每两个特征之间的类内差值或类间差值，根据所有所述类内差值获得类内协方差矩阵，并根据所有所述类间差值获得类间协方差矩阵；
根据所述类内协方差矩阵和所述类间协方差矩阵计算所述特征向量对应的映射矩阵，利用所述映射矩阵对所述特征向量进行降维。
优选地，所述根据所有所述类内差值获得类内协方差矩阵，之后还包括：
在所述类内协方差矩阵中添加正则化参数，获得更新后的类内协方差矩阵；
相应地，所述根据所述类内协方差矩阵和所述类间协方差矩阵计算所述特征向量对应的映射矩阵，具体为：
根据所述更新后的类内协方差矩阵和所述类间协方差矩阵计算所述特征向量对应的映射矩阵。
一方面，本发明提供一种基于多特征的实时目标视频跟踪***，包括：
视频划分模块，用于根据预设规则将待跟踪视频按时序分为若干个子视频，其中，所述子视频的个数至少为一个；
目标初始化模块，用于对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；
目标跟踪模块，用于对于该子视频中位于所述第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个所述样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各所述距离确定每个所述样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
一方面，本发明提供一种基于多特征的实时目标视频跟踪方法的设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述任一所述的方法。
一方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一所述的方法。
本发明提供的一种基于多特征的实时目标视频跟踪方法及***，将待跟踪视频划分为多个子视频，并针对每个子视频训练单独的分类器，然后利用各自对应的分类器初始化每个子视频的第一帧图像中的目标位置，最终利用目标跟踪算法对每个子视频的其他帧图像中的目标进行跟踪。该方法及***在目标跟踪过程中针对不同的子视频设置不同的分类器，使得不同的分类器能够适应目标跟踪过程中目标的外观变化，并能够有效解决遮挡问题，有利于提高目标跟踪结果的准确性。
附图说明
图1为本发明实施例的一种基于多特征的实时目标视频跟踪方法的整体流程示意图；
图2为本发明实施例的一种基于多特征的实时目标视频跟踪***的整体结构示意图；
图3为本发明实施例的一种基于多特征的实时目标视频跟踪方法的设备的结构框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例的一种基于多特征的实时目标视频跟踪方法的整体流程示意图，如图1所示，本发明提供一种基于多特征的实时目标视频跟踪方法，包括：
S1，根据预设规则将待跟踪视频按时序分为若干个子视频，其中，子视频的个数至少为一个；
具体地，通过图像采集装置进行图像采集获得待跟踪视频，针对待跟踪视频，根据预设规则将待跟踪视频按照时序划分为若干个子视频，其中时序即为待跟踪视频中每帧图像采集的先后顺序。本实施例中，预设规则可以设置为间隔一定数量的图像帧进行一次划分，具体的间隔帧数可以根据实际需求进行设置，此处不做具体限定。由此，在一定预设规则的基础上，子视频的数量可以根据待跟踪视频中包含图像帧的数量进行确定，且子视频的数量至少为一个。
S2，对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；
具体地，在将待跟踪视频划分为若干个子视频的基础上，针对每个子视频可预先选取一定数量的目标图像和背景图像分别作为正样本和负样本，将正样本和负样本输入分类器进行训练，即可获得每个子视频对应的预设分类器。在此基础上，对于任意一个子视频，根据该子视频对应的预设分类器将该子视频中第一帧图像所包含的目标和背景进行分类，获取该子视频中第一帧图像中的目标子图像。由此，对于整个待跟踪视频而言，在间隔一定数量的图像帧之后，则可采用新的分类器将图像帧中的目标与背景进行分离，能够有效自适应目标的外观变化。
S3，对于该子视频中位于第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各距离确定每个样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
具体地，在获得该子视频中第一帧图像中的目标子图像的基础上，则采用预设的目标跟踪算法对该子视频中位于第一帧图像之后的任意一帧图像进行目标跟踪。具体地，对于该子视频中位于第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，一般地，所选取的样本子图像的大小和该子视频中第一帧图像中的目标子图像的大小相同，样本子图像的数量和具***置可以根据实际需求进行设置，此处不做具体限定。
在此基础上，计算每个样本子图像与该帧图像前一帧图像中的目标子图像之间的距离，所计算的距离可以根据实际需求进行设置，如巴氏距离，此处不做具体限定。针对每个样本子图像计算的距离可以用于衡量样本子图像与目标子图像的相似度。最终，利用正态分布的思想，根据每个样本子图像对应计算的距离可确定每个样本子图像对应的后验概率，并比较出最大后验概率，进而可将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
本实施例中，对于该子视频中位于第一帧图像之后的任意一帧图像，采用粒子滤波作为目标定位算法，利用基于瑞利分布的动态模型替代传统粒子滤波高斯分布以适应目标的快速移动。二维瑞利分布定义为：
其中x为x轴方向的位置，y为y轴上的位置，μ是模型参数。在基于瑞利分布的动态模型中，粒子在半径为μ的圆周分布的粒子较多，因此需要控制μ的大小，使尽最多的粒子分布在真实的目标周围。本发明主要根据目标的速度来定义μ的大小：
跟踪算法流程如下五步：
1)对于上式给出的二维瑞利分布定义，对粒子进行重采样，产生n个服从R2(x，y)分布的粒子{(γj)：j＝1，2，3，…，n}；
2)通过粒子状态转移方程得到新的粒子集，以每个粒子为中心，根据粒子的状态参数采集图像样本，即可获得样本子图像。其中，粒子状态转移方程如下式：
其中，代表第j个粒子的水平坐标，代表第j个粒子的垂直坐标，和别代表粒子在第t帧图像中的水平坐标和垂直坐标两个状态分量。
3)在上述基础上，计算各粒子的观测概率，即粒子样本图像块与目标图像之间的距离，具体计算公式如下：
其中，ht为目标图像的特征直方图，hb为粒子样本图像块的特征直方图，D为二者的巴氏距离。
4)根据每个粒子的观测概率并结合Bhattacharyya系数(即相似性度量)和正态分布函数来估计目标的最大后验概率：
其中，P(h)为没训练数据h的先验概率，P(D)为训练数据D的先验概率，P(D|h)代表h成立的前提下观察到D的概率。
5)根据最大后验概率即可确定出每帧图像中的目标子图像。
本发明提供的一种基于多特征的实时目标视频跟踪方法，将待跟踪视频划分为多个子视频，并针对每个子视频训练单独的分类器，然后利用各自对应的分类器初始化每个子视频的第一帧图像中的目标位置，最终利用目标跟踪算法对每个子视频的其他帧图像中的目标进行跟踪。该方法在目标跟踪过程中针对不同的子视频设置不同的分类器，使得不同的分类器能够适应目标跟踪过程中目标的外观变化，并能够有效解决遮挡问题，有利于提高目标跟踪结果的准确性。
基于上述任一实施例，提供一种基于多特征的实时目标视频跟踪方法，从该图像中选取多个样本子图像，具体为：获取该图像的前一帧图像中各样本子图像的权重；根据该图像的前一帧图像中各样本子图像的权重，从该图像中选取多个样本子图像。
具体地，对于任意一个子视频，对于该子视频中位于第一帧图像之后的任意一帧图像，在从该图像中选取多个样本子图像时，此时表明该图像的前一帧图像中的目标跟踪已经完成，即前一帧图像中各样本子图像的后验概率已经确定，且已将最大后验概率对应的样本子图像确定为目标子图像。同时，在计算该图像的前一帧图像中各样本子图像的后验概率时，已经确定了各样本子图像与前两帧图像中的目标子图像之间的距离。在此基础上，可以根据各样本子图像与前两帧图像中的目标子图像之间的距离确定各样本子图像的权重。具体地，可以将某个样本子图像与前两帧图像中的目标子图像之间的距离和所有样本子图像与前两帧图像中的目标子图像之间的距离总和的比值确定为该样本子图像的权重。
在上述基础上，在该图像中映射出前一帧图像中各样本子图像的位置，将该图像的前一帧图像中各样本子图像的权重作为该图像重采样的权重，在权重高的样本子图像周围重新选取多个样本子图像，即可获得该图像对应的样本子图像。
本发明提供的一种基于多特征的实时目标视频跟踪方法，获取该图像的前一帧图像中各样本子图像的权重，根据该图像的前一帧图像中各样本子图像的权重，从该图像中选取多个样本子图像。该方法将前一帧图像中各样本子图像的权重作为当前图像重采样的权重，有利于使得选取的样本子图像沿着目标位置进行收敛，进一步提高了目标跟踪结果的准确性。
基于上述任一实施例，提供一种基于多特征的实时目标视频跟踪方法，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像，之前还包括：获取该子视频对应的带有标记的训练样本，利用训练样本对分类器进行训练，获得该子视频对应的预设分类器。
具体地，对于任意一个子视频，在根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像之前，还需获取该子视频对应的带有标记的训练样本，利用训练样本对分类器进行训练，获得该子视频对应的预设分类器，进而根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像。
本实施例中，对于待跟踪视频中的第一个子视频，首先从第一个子视频中的前两帧图像中获取训练样本，并给每个训练样本设置一个标签，且标签可以用1和-1表示，其中1代表目标，-1代表背景。由此，即可获得带有标签标记的训练样本。在此基础上，利用上述训练样本对分类器进行训练，获得第一个子视频对应的预设分类器。其中，分类器的类型可以根据实际需求进行设置，此处不做具体限定。
在上述基础上，对于待跟踪视频中的其他子视频，采用子空间学习方法针对每个子视频依次更新训练样本，即针对每个子视频重新选择训练样本，再通过重新选择训练样本训练分类器，进而实现分类器的更新，能较好地处理遮挡等因素造成的不良影响。
本实施例中，所选用的分类器为学习机(Extreme Learning Machine)ELM，ELM是一种求解单隐层神经网络的算法，ELM可以随机初始化输入权重和偏置并得到相应的输出权重。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下学习算法速度更快。ELM的目标是寻找一个对所有训练数据具有最小误差的函数f(xi)，即：
其中，和分别表示连接第i个隐层节点和输入层的权重量和连接第i个隐层节点和输出层的输出量。此外，bl是第i个隐层节点的阀值；L为隐层节点个数；g(x)是激活函数，使得N0个训练样本的误差接近于0，即
本发明提供的一种基于多特征的实时目标视频跟踪方法，在根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像之前，还需获取该子视频对应的带有标记的训练样本，利用训练样本对分类器进行训练，获得该子视频对应的预设分类器。该方法在目标跟踪过程中针对不同的子视频设置不同的分类器，使得不同的分类器能够适应目标跟踪过程中目标的外观变化，并能够有效解决遮挡问题，有利于提高目标跟踪结果的准确性。
基于上述任一实施例，提供一种基于多特征的实时目标视频跟踪方法，利用训练样本对分类器进行训练，获得该子视频对应的预设分类器，具体为：对于任意一个训练样本，提取该训练样本对应的HOG特征、SILTP特征和Harr-like特征，将该训练样本对应的HOG特征、SILTP特征和Harr-like特征进行级联，获得该训练样本对应的特征向量；根据所有训练样本对应的特征向量对分类器进行训练，获得该子视频对应的预设分类器。
具体地，对于任意一个子视频，在获得该子视频对应的训练样本之后，利用训练样本对分类器进行训练，获得该子视频对应的预设分类器。具体地，对于任意一个训练样本，提取该训练样本对应的HOG特征、SILTP特征和Harr-like特征，将该训练样本对应的HOG特征、SILTP特征和Harr-like特征进行级联形成统一的特征向量，即可获得该训练样本对应的特征向量。再将所有训练样本对应的特征向量输入分类器，根据所有训练样本对应的特征向量对分类器进行训练，获得该子视频对应的预设分类器。
本实施例中，利用级联强分类器将训练样本对应的HOG特征、SILTP特征和Harr-like特征进行级联形成统一的特征向量，其中级联强分类器的策略是将若干个强分类器由简单到复杂排列，经过训练使每个强分类器都有较高检测率，而误识率可以放低。采用添加特征法，对于第一个分类器，只用少数几个特征，之后的每个分类器都在上一个的基础上添加特征，直到满足该级的要求。
本实施例中，提取每个训练样本对应的HOG特征的具体提取过程如下：
1)标准化gamma空间和颜色空间
首先，将整个图像进行规范化(归一化)，因为在图像的纹理强度中局部的表层曝光贡献的比重较大，所以压缩处理能有效减少局部的阴影与光照的变化。Gamma压缩公式如下(可以取gamma＝1/2)：
I(x，y)＝I(x，y)gamma
2)计算图像梯度大小和方向
首先用[-1，0，1]梯度算子对原图像做卷积运算，得到x方向上的梯度分量gradscalx，然后用[-1，0，1]T梯度算子对原图像做卷积运算，得到y方向上的梯度分量gradscaly，最后分别求得该像素点的梯度大小和方向，具体计算公式如下：
3)为每个单元格构建梯度方向直方图
将图像分为若干个单元格，对单元格内的每个像素沿梯度方向在直方图中进行加权投影，将单元格的梯度方向360°分成9个方向块，此像素梯度方向所在的方向块的计数加上投影权值(梯度大小)，可得到这个单元格的梯度方向直方图。
4)收集HOG特征
首先把单元格组合成大的块(block)，然后将块内所有单元格的特征向量串联起来得到该block的HOG特征，最后将检测窗口中所有重叠的块进行HOG特征的收集，并将它们结合成最终的特征向量。
本实施例中，提取每个训练样本对应的SILTP特征的具体提取过程如下：
1)对经过2×2局部均值池化的图像建立三层金字塔
2)通过步长为5像素，大小为10×10的滑动窗口获得重叠矩形块；
3)在每一个矩形块中计算局部直方图和两种尺度的纹理特征；
4)将每一层上的特征串联起来形成最后的SILTP特征。
此外，本实施例中，利用积分图的方法提取每个训练样本对应的Harr-like特征。在其他实施例中，也可以采用其他方式每个训练样本对应的HOG特征、SILTP特征和Harr-like特征，可以根据实际需求进行设置，此处不做具体限定。
本发明提供的一种基于多特征的实时目标视频跟踪方法，对于任意一个训练样本，提取该训练样本对应的HOG特征、SILTP特征和Harr-like特征，将该训练样本对应的HOG特征、SILTP特征和Harr-like特征进行级联，获得该训练样本对应的特征向量；根据所有训练样本对应的特征向量对分类器进行训练，获得该子视频对应的预设分类器。该方法结合训练样本的多个特征对分类器进行训练，能够应对多种场景条件下的目标跟踪问题，有利于提高目标跟踪结果的准确性。
基于上述任一实施例，提供一种基于多特征的实时目标视频跟踪方法，获得该训练样本对应的特征向量，之后还包括：对该训练样本对应的特征向量进行降维，获得该训练样本对应的降维后的特征向量；对应地，根据所有训练样本对应的特征向量对分类器进行训练，具体为：根据所有训练样本对应的降维后的特征向量对分类器进行训练。
具体地，由于每个训练样本对应的特征向量是通过级联每个训练样本对应的HOG特征、SILTP特征和Harr-like特征获得的，故而每个训练样本对应的特征向量的维度较高。有鉴于此，本实施例中，对于任意一个训练样本，在获得该训练样本对应的特征向量之后，对该训练样本对应的特征向量进行降维，获得该训练样本对应的降维后的特征向量。其中特征向量的降维方式可以根据实际需求进行设置，此处不做具体限定。在此基础上，将所有训练样本对应的降维后的特征向量输入分类器，根据所有训练样本对应的降维后的特征向量对分类器进行训练。由此，可有效降低分类器在训练过程中所存在的信息冗余性，有利于提高分类器的训练效率。
本发明提供的一种基于多特征的实时目标视频跟踪方法，对训练样本对应的特征向量进行降维，根据所有训练样本对应的降维后的特征向量对分类器进行训练；可有效降低分类器在训练过程中所存在的信息冗余性，有利于提高分类器的训练效率。
基于上述任一实施例，提供一种基于多特征的实时目标视频跟踪方法，对该训练样本对应的特征向量进行降维，具体为：获取该训练样本对应的特征向量中每两个特征之间的类内差值或类间差值，根据所有类内差值获得类内协方差矩阵，并根据所有类间差值获得类间协方差矩阵；根据类内协方差矩阵和类间协方差矩阵计算特征向量对应的映射矩阵，利用映射矩阵对特征向量进行降维。
具体地，本实施例中，对于任意一个训练样本，利用交叉二次判别分析算法(XQDA)对该训练样本对应的特征向量进行降维。该算法利用交叉视图数据学习特征子空间，同时在新的特征子空间内学习用于相似度量的距离函数。对原始特征xi，xj∈Rd，XQDA通过学习映射矩阵W∈Rd×r(r＜d)，将原始特征映射到低维子空间，距离函数如下式：
其中，当两个特征xi，xj对应的样本标签一致时，则将该两个特征之间的差值称为类内差值ΩI；当两个特征xi，xj对应的样本标签不一致时，则将该两个特征之间的差值称为类间差值ΩE。上式中，∑′I为类内差值对应的协方差矩阵，称为类内协方差矩阵；∑′E为类间差值对应的协方差矩阵，称为类间协方差矩阵。由于W存在于两个逆矩阵中，所以直接优化上式比较困难。假设ΩI和ΩE均服从均值为0，方差分别为σI和σE的高斯分布，由此可推断出，将ΩI和ΩE进行映射后的样本也服从均值为0，方差分别为σI(W)和σE(W)的高斯分布。众所周知，线性判别分析(Linear Discriminant Analysis，LDA)是将特征由高维空间映射到低维子空间的一种监督分类方法。当两类样本均值相同时，LDA算法不再适用，但投影后的σI(W)和σE(W)仍可以用于分类。基于此，通过选择优化投影方向W，使σE(W)/σI(W)最大化，对应于广义Rayleigh熵，如下式：
其中，σE(W)＝WT∑EW，σI(W)＝WT∑IW，所以可得到下式：
为了保证J(W)最大化，需对上式以W为变量求导，并令导数为0，得到的结果如下式：
∑EW＝J(W)∑IW
则求解J(W)可以看作广义特征值的问题，则可将上式等价转换为：
在上式中，令J(W)＝α，得到对进行特征值分解，求得的的最大特征值即为J(W)的最大值，其对应的特征向量作为W的第一列w1，映射矩阵W则由前r个最大特征值对应的特征向量组成。最终，利用映射矩阵对特征向量进行降维，获得降维后的特征向量。
本发明提供的一种基于多特征的实时目标视频跟踪方法，对训练样本对应的特征向量进行降维，根据所有训练样本对应的降维后的特征向量对分类器进行训练；可有效降低分类器在训练过程中所存在的信息冗余性，有利于提高分类器的训练效率。
基于上述任一实施例，提供一种基于多特征的实时目标视频跟踪方法，根据所有类内差值获得类内协方差矩阵，之后还包括：在类内协方差矩阵中添加正则化参数，获得更新后的类内协方差矩阵；相应地，根据类内协方差矩阵和类间协方差矩阵计算特征向量对应的映射矩阵，具体为：根据更新后的类内协方差矩阵和类间协方差矩阵计算特征向量对应的映射矩阵。
具体地，在上述技术方案的基础上，由特征矩阵可以看出，类内协方差矩阵可能存在奇异，导致解不存在。因此，采用对类内协方差矩阵增加正则化参数的方法，即令∑I＝∑I+λI，其中利用以下方法来得到正则化参数λ，使其自适应地匹配不同的数据集。
假设有C1，…，CL的L个类别，数据空间中样本表示类标签为Ck中的第i个样本，Nk表示类别为Ck的样本数量。对此，每一类的类经验均值以及总样本均值定义分别如下：
其中，为全部样本数量。根据Fisher线性判别分析准则寻找最优映射矩阵，如下式：
其中，和分别为类间以及类内协方差矩阵，定义分别如下式：
假设每一类的样本数据服从正态分布。给定输入(x，y)，其中x∈X，类标签y∈{C1，…，CL}。在此，定义作为扰动量来描述样本x和标签为y的样本期望Ex′|y[x′]之间的差异，然后模拟一个随机均值去描述Ex′|y[x′]，其中x′代表真实样本与期望样本的差异。ξx服从均值为0、方差为Ωy的高斯分布。即表示为：
其中Ωy为ξx的协方差矩阵。即扰动模型为
那么，对于x中的特定样本它的扰动随机向量服从其扰动向量模型为：
由此，对特定类Ck样本的期望可以表示为：
经推导，新的类内协方差矩阵以及类间协方差矩阵如下：
从上式可以看出，扰动随机向量是包含在新的协方差矩阵之中，和分别记为类内扰动协方差矩阵和类间扰动协方差矩阵。
在类内数据服从高斯分布的情况下，通过对下式寻找最优的线性映射矩阵从而确定扰动随机向量ξx。
对于L类样本均服从高斯分布分布的情况下，利用均值代替扰动协方差矩阵。采用下式表示最终的扰动协方差矩阵，具体为：
因此，对于任意给定的输入样本x＝(x1，…，xn)T∈X，ξx～N(0，Ω)。因此，Ω可以被写成：
其中，表示样本x中第i维特征的方差为该算法中对所有的方差求和取平均，即来代替单个的方差那么可以用下式表示：
Ω＝σ2I，σ≠0
上式即为扰动随机向量Ω的正则化估计，也即对应上述正则化参数λ。
本发明提供的一种基于多特征的实时目标视频跟踪方法，在类内协方差矩阵中添加正则化参数，获得更新后的类内协方差矩阵，再根据更新后的类内协方差矩阵和类间协方差矩阵计算特征向量对应的映射矩阵。该方法在类内协方差矩阵中添加正则化参数，可使其自适应匹配不同的数据集，有利于实现不同特征向量的降维。
图2为本发明实施例的一种基于多特征的实时目标视频跟踪***的整体结构示意图，如图2所示，基于上述任一实施例，提供一种基于多特征的实时目标视频跟踪***，包括：
视频划分模块1，用于根据预设规则将待跟踪视频按时序分为若干个子视频，其中，子视频的个数至少为一个；
目标初始化模块2，用于对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；
目标跟踪模块3，用于对于该子视频中位于第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各距离确定每个样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
具体地，本实施例提供一种基于多特征的实时目标视频跟踪***，包括视频划分模块1、目标初始化模块2和目标跟踪模块3，通过各模块实现上述任一方法实施例中的方法，具体实现过程可以参考上述方法实施例，此处不再赘述。
本发明提供的一种基于多特征的实时目标视频跟踪***，将待跟踪视频划分为多个子视频，并针对每个子视频训练单独的分类器，然后利用各自对应的分类器初始化每个子视频的第一帧图像中的目标位置，最终利用目标跟踪算法对每个子视频的其他帧图像中的目标进行跟踪。该***在目标跟踪过程中针对不同的子视频设置不同的分类器，使得不同的分类器能够适应目标跟踪过程中目标的外观变化，并能够有效解决遮挡问题，有利于提高目标跟踪结果的准确性。
图3示出本申请实施例的基于多特征的实时目标视频跟踪方法的设备的结构框图。参照图3，所述基于多特征的实时目标视频跟踪方法的设备，包括：处理器(processor)31、存储器(memory)32和总线33；其中，所述处理器31和存储器32通过所述总线33完成相互间的通信；所述处理器31用于调用所述存储器32中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：根据预设规则将待跟踪视频按时序分为若干个子视频，其中，子视频的个数至少为一个；对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；对于该子视频中位于第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各距离确定每个样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据预设规则将待跟踪视频按时序分为若干个子视频，其中，子视频的个数至少为一个；对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；对于该子视频中位于第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各距离确定每个样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：根据预设规则将待跟踪视频按时序分为若干个子视频，其中，子视频的个数至少为一个；对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；对于该子视频中位于第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各距离确定每个样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的基于多特征的实时目标视频跟踪方法的设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多特征的实时目标视频跟踪方法，其特征在于，包括：
根据预设规则将待跟踪视频按时序分为若干个子视频，其中，所述子视频的个数至少为一个；
对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；
对于该子视频中位于所述第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个所述样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各所述距离确定每个所述样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
2.根据权利要求1所述的方法，其特征在于，所述从该图像中选取多个样本子图像，具体为：
获取该图像的前一帧图像中各样本子图像的权重；
根据该图像的前一帧图像中各样本子图像的权重，从该图像中选取多个样本子图像。
3.根据权利要求1所述的方法，其特征在于，所述根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像，之前还包括：
获取该子视频对应的带有标记的训练样本，利用所述训练样本对分类器进行训练，获得该子视频对应的预设分类器。
4.根据权利要求3所述的方法，其特征在于，所述利用所述训练样本对分类器进行训练，获得该子视频对应的预设分类器，具体为：
对于任意一个训练样本，提取该训练样本对应的HOG特征、SILTP特征和Harr-like特征，将该训练样本对应的HOG特征、SILTP特征和Harr-like特征进行级联，获得该训练样本对应的特征向量；
根据所有所述训练样本对应的特征向量对分类器进行训练，获得该子视频对应的预设分类器。
5.根据权利要求4所述的方法，其特征在于，所述获得该训练样本对应的特征向量，之后还包括：
对该训练样本对应的特征向量进行降维，获得该训练样本对应的降维后的特征向量；
对应地，所述根据所有所述训练样本对应的特征向量对分类器进行训练，具体为：
根据所有所述训练样本对应的降维后的特征向量对分类器进行训练。
6.根据权利要求5所述的方法，其特征在于，所述对该训练样本对应的特征向量进行降维，具体为：
获取该训练样本对应的特征向量中每两个特征之间的类内差值或类间差值，根据所有所述类内差值获得类内协方差矩阵，并根据所有所述类间差值获得类间协方差矩阵；
根据所述类内协方差矩阵和所述类间协方差矩阵计算所述特征向量对应的映射矩阵，利用所述映射矩阵对所述特征向量进行降维。
7.根据权利要求6所述的方法，其特征在于，所述根据所有所述类内差值获得类内协方差矩阵，之后还包括：
在所述类内协方差矩阵中添加正则化参数，获得更新后的类内协方差矩阵；
相应地，所述根据所述类内协方差矩阵和所述类间协方差矩阵计算所述特征向量对应的映射矩阵，具体为：
根据所述更新后的类内协方差矩阵和所述类间协方差矩阵计算所述特征向量对应的映射矩阵。
8.一种基于多特征的实时目标视频跟踪***，其特征在于，包括：
视频划分模块，用于根据预设规则将待跟踪视频按时序分为若干个子视频，其中，所述子视频的个数至少为一个；
目标初始化模块，用于对于任意一个子视频，根据该子视频对应的预设分类器获取该子视频中第一帧图像中的目标子图像；
目标跟踪模块，用于对于该子视频中位于所述第一帧图像之后的任意一帧图像，从该图像中选取多个样本子图像，计算每个所述样本子图像与该图像前一帧图像中的目标子图像之间的距离，根据各所述距离确定每个所述样本子图像对应的后验概率，将最大后验概率对应的样本子图像确定为该图像中的目标子图像。
9.一种基于多特征的实时目标视频跟踪方法的设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201810662349.XA 2018-06-25 2018-06-25 一种基于多特征的实时目标视频跟踪方法及*** Pending CN108875655A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810662349.XA CN108875655A (zh) 2018-06-25 2018-06-25 一种基于多特征的实时目标视频跟踪方法及***
CN201910142073.7A CN109685045B (zh) 2018-06-25 2019-02-26 一种运动目标视频跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810662349.XA CN108875655A (zh) 2018-06-25 2018-06-25 一种基于多特征的实时目标视频跟踪方法及***

Publications (1)

Publication Number Publication Date
CN108875655A true CN108875655A (zh) 2018-11-23

Family

ID=64295579

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810662349.XA Pending CN108875655A (zh) 2018-06-25 2018-06-25 一种基于多特征的实时目标视频跟踪方法及***
CN201910142073.7A Active CN109685045B (zh) 2018-06-25 2019-02-26 一种运动目标视频跟踪方法及***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910142073.7A Active CN109685045B (zh) 2018-06-25 2019-02-26 一种运动目标视频跟踪方法及***

Country Status (1)

Country Link
CN (2) CN108875655A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685045A (zh) * 2018-06-25 2019-04-26 鲁东大学 一种运动目标视频跟踪方法及***
CN109743617A (zh) * 2018-12-03 2019-05-10 清华大学 一种视频播放的跳转导航方法和设备
CN109919043A (zh) * 2019-02-18 2019-06-21 北京奇艺世纪科技有限公司 一种行人跟踪方法、装置及设备
CN110288633A (zh) * 2019-06-04 2019-09-27 东软集团股份有限公司 目标追踪方法、装置、可读存储介质及电子设备
CN110489592A (zh) * 2019-07-18 2019-11-22 平安科技（深圳）有限公司 视频分类方法、装置、计算机设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221689B (zh) * 2021-04-27 2022-07-29 苏州工业职业技术学院 视频多目标情感度预测方法
CN113256685B (zh) * 2021-06-25 2021-09-24 南昌工程学院 基于卷积神经网络字典对学习的目标跟踪方法与***
CN113743252B (zh) * 2021-08-17 2024-05-31 北京佳服信息科技有限公司 一种目标跟踪方法、装置、设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546556B (zh) * 2008-03-28 2011-03-23 展讯通信（上海）有限公司 用于音频内容识别的分类***
CN101783012B (zh) * 2010-04-06 2012-05-30 中南大学 一种基于暗原色的自动图像去雾方法
US8989442B2 (en) * 2013-04-12 2015-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN108875655A (zh) * 2018-06-25 2018-11-23 鲁东大学 一种基于多特征的实时目标视频跟踪方法及***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685045A (zh) * 2018-06-25 2019-04-26 鲁东大学 一种运动目标视频跟踪方法及***
CN109685045B (zh) * 2018-06-25 2020-09-29 鲁东大学 一种运动目标视频跟踪方法及***
CN109743617A (zh) * 2018-12-03 2019-05-10 清华大学 一种视频播放的跳转导航方法和设备
CN109743617B (zh) * 2018-12-03 2020-11-24 清华大学 一种视频播放的跳转导航方法和设备
CN109919043A (zh) * 2019-02-18 2019-06-21 北京奇艺世纪科技有限公司 一种行人跟踪方法、装置及设备
CN109919043B (zh) * 2019-02-18 2021-06-04 北京奇艺世纪科技有限公司 一种行人跟踪方法、装置及设备
CN110288633A (zh) * 2019-06-04 2019-09-27 东软集团股份有限公司 目标追踪方法、装置、可读存储介质及电子设备
CN110288633B (zh) * 2019-06-04 2021-07-23 东软集团股份有限公司 目标追踪方法、装置、可读存储介质及电子设备
CN110489592A (zh) * 2019-07-18 2019-11-22 平安科技（深圳）有限公司 视频分类方法、装置、计算机设备和存储介质
CN110489592B (zh) * 2019-07-18 2024-05-03 平安科技（深圳）有限公司 视频分类方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109685045B (zh) 2020-09-29
CN109685045A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN108875655A (zh) 一种基于多特征的实时目标视频跟踪方法及***
Gai et al. A detection algorithm for cherry fruits based on the improved YOLO-v4 model
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
Li et al. Fast and accurate green pepper detection in complex backgrounds via an improved Yolov4-tiny model
Song et al. Tracking body and hands for gesture recognition: Natops aircraft handling signals database
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
CN110929578A (zh) 一种基于注意力机制的抗遮挡行人检测方法
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN109299716A (zh) 神经网络的训练方法、图像分割方法、装置、设备及介质
Hu Design and implementation of abnormal behavior detection based on deep intelligent analysis algorithms in massive video surveillance
Yu et al. An object-based visual attention model for robotic applications
CN104537689B (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN105701467A (zh) 一种基于人体形态特征的多人异常行为识别方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
Bhatt et al. Comparison of CNN models for application in crop health assessment with participatory sensing
Wang et al. Precision detection of dense plums in orchards using the improved YOLOv4 model
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN108038515A (zh) 无监督多目标检测跟踪方法及其存储装置与摄像装置
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
Jia et al. Accurate segmentation of green fruit based on optimized mask RCNN application in complex orchard
CN111199245A (zh) 油菜害虫识别方法
Li et al. Fast recognition of pig faces based on improved Yolov3
Yang et al. An improved algorithm for the detection of fastening targets based on machine vision
CN114492634A (zh) 一种细粒度装备图片分类识别方法及***
Su et al. A CNN-LSVM model for imbalanced images identification of wheat leaf

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123

WD01 Invention patent application deemed withdrawn after publication