CN107146238A - 基于特征块优选的运动目标跟踪方法 - Google Patents
基于特征块优选的运动目标跟踪方法 Download PDFInfo
- Publication number
- CN107146238A CN107146238A CN201710269627.0A CN201710269627A CN107146238A CN 107146238 A CN107146238 A CN 107146238A CN 201710269627 A CN201710269627 A CN 201710269627A CN 107146238 A CN107146238 A CN 107146238A
- Authority
- CN
- China
- Prior art keywords
- mrow
- target area
- msub
- msubsup
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于优选特征块的视觉目标跟踪方法，包括1.读取待跟踪视频；2.初始化；3.分块并检测特征点；4.筛选特征点；5.筛选子块；6.计算目标区域响应图；7.更新目标区域状态；8.更新目标区域分类器；9.输出目标区域信息；10.判断是否读完待跟踪视频的所有帧；11.运动目标跟踪结束。本发明在运动目标跟踪过程中具有很好的实时性和较高的精度，本发明在目标发生遮挡和目标尺度变化剧烈的情况下能够平稳的跟踪运动目标。
Description
技术领域
本发明属于计算机技术领域，更进一步涉及计算机视觉跟踪技术领域中的一种基于特征块优选的运动目标跟踪方法。本发明可以用于对视频场景中的车辆、坦克、行人等运动目标进行实时跟踪。
背景技术
运动目标跟踪方法主要分为单目标跟踪与多目标跟踪。单目标跟踪主要对视频场景中感兴趣的单个目标持续跟踪，获得目标在视频每一帧中的位置。多目标跟踪只要对视频场景中多个目标进行跟踪。近几年，跟踪性能比较高的运动目标跟踪方法主要有STRUCK、KCF、STC等跟踪方法。STRUCK将跟踪问题转化为分类问题，在线训练样本来更新目标模型，然而训练的样本和实际目标并不一定一致，从而影响分类效果。KCF***采用核化相关滤波方法，利用循环矩阵和傅里叶变换完成样本的训练，获得高效的目标分类器，然而该方法不能应对目标遮挡，在目标发生遮挡时，容易造成跟踪失败。STC跟踪算法对目标和它上下文的空间关系进行建模，该方法可以很好的应对目标遮挡问题。视觉目标跟踪普遍存在场景光照复杂、目标遮挡、尺度变化、目标形变等问题，导致跟踪算法的精度、鲁棒性不高。
浙江生辉照明有限公司在其申请的专利文献“一种基于核化相关滤波高速自动多目标跟踪”(专利申请号201410418797.7，公开号CN104200237A)中公开了一种基于核化相关滤波高速自动多目标跟踪方法。该方法采用岭回归训练方案，通过加速傅里叶变换训练目标样本获得分类器，完成对大量样本的快速训练，获得高性能的目标分类器。但是，该方法依然存在的不足之处是，没有考虑在连续帧上目标发生遮挡的问题，在目标发生遮挡时，容易造成跟踪失败，从而不能长时间持续跟踪目标。
山东大学在其申请的专利文献“一种新型的基于分块策略的视频跟踪方法”(专利申请号201510471102.6，公开号CN105139418A)中公开了一种新型的基于分块策略的视频跟踪方法。该方法将目标区域分成若干个小块，利用每一个小块的颜色直方图与周围的小块的颜色直方图来比较，判断目标是否发生遮挡，当发生遮挡时，在后面的粒子滤波算法中降低该块的权重，降低遮挡对目标跟踪造成的影响。但是，该方法依然存在的不足之处是，颜色直方图的鲁棒性不高，在发生关照变化时，容易丢失目标，造成跟踪失败。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提出了一种基于特征块优选的运动目标跟踪方法。
实现本发明的思路是，基于特征点并利用光流跟踪获得特征点对，根据两个特征点判断准则筛选特征点，从而获得有效块。利用核化相关滤波KCF得到响应图、峰值旁瓣比PSR以及目标分类器，以响应图作为特征点的权重，进而得到平移变化和尺度变化。通过峰值旁瓣比PSR判断，获得目标的遮挡状态，依据遮挡状态采用相应不同的策略，从而完成对目标持续鲁棒性跟踪，提高算法应对遮挡和尺度变化的能力，增强算法的鲁棒性和精度。
为了实现上述目的，本发明的具体步骤如下包括：
(1)从视频摄像头中读取待跟踪的运动目标视频：
(2)初始化：
(2a)从待跟踪的运动目标视频中读入第一帧图像；
(2b)在待跟踪的第一帧图像上用鼠标框出待跟踪的运动目标；
(2c)利用分块方法，对待跟踪的运动目标区域进行分块，得到运动目标区域的子块区域；
(2d)利用特征检测器FAST，从待跟踪的第一帧图像运动目标区域的每一个子块中检测特征点，将检测到的所有特征点作为初始化特征点；
(2e)采用核化相关滤波***KCF训练样本的方法，训练目标区域样本，得到第一帧图像上运动目标区域的分类器，将目标区域分类器作为初始化运动目标区域分类器；
(3)检测特征点：
(3a)从待跟踪的运动目标视频中任意读入一帧图像；
(3b)利用分块方法，在所读入帧图像上对得到的运动目标区域进行分块，得到所读入帧图像上运动目标区域的子块区域；
(3c)利用特征检测器FAST，检测运动目标区域的每一个子块区域，得到每一个子块区域的特征点；
(4)筛选特征点：
(4a)利用光流向前跟踪方法，在当前读入的图像帧上的所有特征点中，找到与上一次读入的图像帧上特征一一对应的特征点，组成一个特征点对，将所有的特征点对构成一个特征点集，存到当前读入的图像帧中；
(4b)按照下式，计算特征点集中的每一对特征点的向前向后误差：
其中，表示当前读入的图像帧中第l子块区域第k个特征点对的向前向后误差，表示当前读入的图像帧c中第l子块区域第k个特征点，表示与对应的在上一次读入的图像帧b中第l子块区域第k个特征点，与形成一对特征点，l＝1，2，…，M，k＝1，2，…，Ql，c表示当前帧，b表示上一帧，M表示运动目标区域所分的子块总数，Ql表示第l子块区域中特征点的总数；
(4c)按照下式，计算特征点集中的每一对特征点归一化误差：
其中，表示当前读入的图像帧上第l子块区域第k个特征点对的归一化误差，Ql表示第l子块区域特征点的总数，μb(l)和δb(l)表示上一次当前读入的图像帧b上的第l子块区域内所有特征点像素的均值和标准差，μc(l)和δc(l)表示当前读入的图像帧c上的第l子块区域内所有特征点的像素的均值和标准差；
(4d)按照下式，计算所有特征点的归一化误差均值；
其中，μ表示所有特征点的归一化误差均值，M表示运动目标区域所分的子块区域数目，Ql表示第l子块中的跟踪点对的数目总数；
(4e)从特征点中选取所有满足划分条件的的特征点，将满足划分条件的特征点归入可靠特征点集；
(5)获得优选特征块：
(5a)从子块区域中选取所有满足精度条件的子块，将子块归入优选块集中；
(5b)合并优选块集中的所有特征点，获得优选特征点集；
(6)计算目标区域的响应图和峰值旁瓣比：
(6a)利用目标区域分类器检测目标区域，得到目标区域的响应图，以该响应图作为特征点的权重；
(6b)按照下式，计算目标区域的响应图的峰值旁瓣比；
其中，PSR(o)表示目标区域o的响应图的峰值旁瓣比，max(R(o))表示响应图R(o)的最大值，μ(R(o))表示响应图R(o)的均值，标准差σ(R(o))表示响应图R(o)的标准差；
(7)更新目标区域状态；
(7a)按照下式，计算目标区域的尺度变化；
其中，S(Ic)表示当前读入的图像帧上目标区域的尺度变化，和表示当前读入的图像帧上优选特征点集中的特征点，和表示上一次读入的图像帧上优选特征点集中的特征点，wi、wj表示优选特征点集中的特征点的权重；
(7b)按照下式，计算目标区域的尺寸；
wc＝wb*S(Ic)
hc＝hb*S(Ic)
其中，wc表示当前读入的图像帧上目标区域的宽，hc表示当前读入的图像帧上目标区域的高，wb表示上一次读入的图像帧上目标区域的宽，hb表示上一次读入的图像帧上目标区域的高；
(7c)按照下式，计算目标区域的平移变化：
其中，D(Ic)表示当前所读入的图像帧上目标区域的平移变化，η表示变换因子一般取0.35，D(Ib)表示上一次读入的图像帧上目标区域的平移变化，wi表示对应可靠特征点的权值，表示对应于当前读入的图像帧上第i个可靠特征点的坐标，u表示特征点的横坐标，v表示特征点的纵坐标，表示对应于上一次读入的图像帧上第i个可靠特征点的坐标；
(7d)按照下式，计算目标区域位置：
Cc＝Cb+D(Ic)
其中，Cc表示当前读入图像帧上目标的位置，Cb表示上一次读入图像帧上目标的位置；
(7e)利用目标区域的尺寸和目标区域位置，更新当前读入图像帧上的目标区域状态；
(8)更新目标区域分类器；
(8a)使用核化相关滤波方法KCF训练目标区域样本，得到当前读入的图像帧上运动目标区域的分类器；
(8b)判断目标区域分类器是否满足更新条件，若是，则执行(8c)，否则，执行(8d)；
(8c)目标区域未发生遮挡，更新目标区域分类器，用步骤(8a)得到的当前读入的图像帧上目标区域的分类器替换上一次读入的图像帧上得到的目标区域分类器；
(8d)目标区域发生遮挡，不更新目标分类器，保持上一次读入的图像帧上得到的目标区域分类器不变；
(9)将目标区域状态信息，以矩形框的形式输出到所读入帧图像中；
(10)判断是否读完待跟踪视频的所有帧，若是，则执行步骤(11)，否则，执行步骤(3)；
(11)结束运动目标的跟踪。
本发明与现有技术相比具有以下优点
第一，由于本发明采用特征检测器FAST检测特征点，克服了现有技术特征点描述能力不足，检测速度慢的问题，使得本发明在运动目标跟踪过程中具有很好的实时性。
第二，由于本发明采用目标区域分块方法，克服了现有技术中不能应对目标遮挡下的跟踪，使得本发明能够在遮挡下很好的跟踪运动目标。
第三，由于本发明采用目标区域分类器检测图像获得特征点权重的方法，客服了现有技术中特征点权重不精确描述的问题，使得本发明获得能够获得高精度的目标尺寸。
第四，由于本发明采用光流向前跟踪方法，客服现有技术中特征点跟踪精度低的问题，使得本发明能够高精度的运动目标位移。
附图说明
图1为本发明的流程图；
图2为本发明仿真实验中对davidce3视频序列中运动目标跟踪的中心位置误差曲线对比图；
图3为本发明仿真实验中对davidce3视频序列中运动目标跟踪的重叠率曲线对比图；
图4为本发明仿真实验中对Jogging视频序列中运动目标跟踪的中心位置误差曲线对比图；
图5为本发明对仿真实验中Jogging视频序列中运动目标跟踪的重叠率曲线对比图；
图6为本发明仿真实验中对Car视频序列中运动目标跟踪的中心位置误差曲线对比图；
图7为本发明仿真实验中对Car视频序列中运动目标跟踪的重叠率曲线对比图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，对本发明的具体步骤做进一步的描述。
步骤1，从视频摄像头中读取待跟踪的运动目标视频。
步骤2，初始化。
从待跟踪的运动目标视频中读入第一帧图像。
在待跟踪的第一帧图像上用鼠标框出待跟踪的运动目标。
利用分块方法，对待跟踪的运动目标区域进行分块，得到运动目标区域的子块区域。
第一步，依据目标区域能够分成整数个子块区域的标准，子块区域边长是大于等于10个像素，将待跟踪的运动目标区域的四个边界同时扩展，得到扩展运动目标区域。
第二步，对扩展运动目标区域分块，得到运动目标区域的子块区域，子块区域是边长大于等于10个像素的正方形区域，且每一个子块区域大小相同。
利用特征检测器FAST，从待跟踪的第一帧图像运动目标区域的每一个子块中检测特征点，将检测到的所有特征点作为初始化特征点。
采用核化相关滤波***KCF训练样本的方法，训练目标区域样本，得到第一帧图像上运动目标区域的分类器，将目标区域分类器作为初始化运动目标区域分类器。
步骤3，检测特征点。
从待跟踪的运动目标视频中任意读入一帧图像。
利用分块方法，在所读入帧图像上对得到的运动目标区域进行分块，得到所读入帧图像上运动目标区域的子块区域。
第一步，依据目标区域能够分成整数个子块区域的标准，子块区域边长是大于等于10个像素，将待跟踪的运动目标区域的四个边界同时扩展，得到扩展运动目标区域。
第二步，对扩展运动目标区域分块，得到运动目标区域的子块区域，子块区域是边长大于等于10个像素的正方形区域，且每一个子块区域大小相同。
利用特征检测器FAST，检测运动目标区域的每一个子块区域，得到每一个子块区域的特征点。
步骤4，筛选特征点。
利用光流向前跟踪方法，在当前读入的图像帧上的所有特征点中，找到与上一次读入的图像帧上特征一一对应的特征点，组成一个特征点对，将所有的特征点对构成一个特征点集，存到当前读入的图像帧中。
按照下式，计算特征点集中的每一对特征点的向前向后误差：
其中，表示当前读入的图像帧中第l子块区域第k个特征点对的向前向后误差，表示当前读入的图像帧c中第l子块区域第k个特征点，表示与对应的在上一次读入的图像帧b中第l子块区域第k个特征点，与形成一对特征点，l＝1，2，…，M，k＝1，2，…，Ql，c表示当前帧，b表示上一帧，M表示运动目标区域所分的子块总数，Ql表示第l子块区域中特征点的总数。
按照下式，计算特征点集中的每一对特征点归一化误差：
其中，表示当前读入的图像帧上第l子块区域第k个特征点对的归一化误差，Ql表示第l子块区域特征点的总数，μb(l)和δb(l)表示上一次当前读入的图像帧b上的第l子块区域内所有特征点像素的均值和标准差，μc(l)和δc(l)表示当前读入的图像帧c上的第l子块区域内所有特征点的像素的均值和标准差。
按照下式，计算所有特征点的归一化误差均值；
其中，μ表示所有特征点的归一化误差均值，M表示运动目标区域所分的子块区域数目，Ql表示第l子块中的跟踪点对的数目总数。
从特征点中选取所有满足划分条件的的特征点，将满足划分条件的特征点归入可靠特征点集，所述的划分条件是指：
NCC(Pl k)＞μ且FB(Pl k)＜QFB
其中，QFB表示特征点的先前向后误差阈值，根据目标移动速度或者相机移动速度而定，可取8～12中的整数，移动速度小，该值越小，反之，该值越大。
步骤5，获得优选特征块。
从子块区域中选取所有满足精度条件的子块，将子块归入优选块集中。
合并优选块集中的所有特征点，获得优选特征点集。
步骤6，计算目标区域的响应图和峰值旁瓣比。
利用目标区域分类器检测目标区域，得到目标区域的响应图，以该响应图作为特征点的权重。
按照下式，计算目标区域的响应图的峰值旁瓣比。
其中，PSR(o)表示目标区域o的响应图的峰值旁瓣比，max(R(o))表示响应图R(o)的最大值，μ(R(o))表示响应图R(o)的均值，标准差σ(R(o))表示响应图R(o)的标准差。
步骤7，更新目标区域状态。
按照下式，计算目标区域的尺度变化；
其中，S(Ic)表示当前读入的图像帧上目标区域的尺度变化，和表示当前读入的图像帧上优选特征点集中的特征点，和表示上一次读入的图像帧上优选特征点集中的特征点，wi、wj表示优选特征点集中的特征点的权重；
按照下式，计算目标区域的尺寸；
wc＝wb*S(Ic)
hc＝hb*S(Ic)
其中，wc表示当前读入的图像帧上目标区域的宽，hc表示当前读入的图像帧上目标区域的高，wb表示上一次读入的图像帧上目标区域的宽，hb表示上一次读入的图像帧上目标区域的高；
按照下式，计算目标区域的平移变化：
其中，D(Ic)表示当前所读入的图像帧上目标区域的平移变化，η表示变换因子一般取0.35，D(Ib)表示上一次读入的图像帧上目标区域的平移变化，wi表示对应可靠特征点的权值，表示对应于当前读入的图像帧上第i个可靠特征点的坐标，u表示特征点的横坐标，v表示特征点的纵坐标，表示对应于上一次读入的图像帧上第i个可靠特征点的坐标。
按照下式，计算目标区域位置：
Cc＝Cb+D(Ic)
其中，Cc表示当前读入图像帧上目标的位置，Cb表示上一次读入图像帧上目标的位置；
利用目标区域的尺寸和目标区域位置，更新当前读入图像帧上的目标区域状态。
步骤8，更新目标区域分类器。
使用核化相关滤波方法KCF训练目标区域样本，得到当前读入的图像帧上运动目标区域的分类器；
(8b)判断目标区域分类器是否满足更新条件，若是，则执行(8c)，否则，执行(8d)，所述的更新条件是指：
PSR(o)≥T
其中，T表示更新阈值，根据目标大小和在相机视场中的移动速度决定，取20～30中的整数，目标越小，该值越小，目标越大，该值越大，目标运动速度越快，该值越大，目标运动速度越慢，该值越小；
(8c)目标区域未发生遮挡，更新目标区域分类器，用当前读入的图像帧上目标区域的分类器替换上一次读入的图像帧上得到的目标区域分类器；
(8d)目标区域发生遮挡，不更新目标分类器，保持上一次读入的图像帧上得到的目标区域分类器不变；
步骤9，输出目标区域状态信息。
将目标区域状态信息，以框的形式输出到当前所读入的一帧图像上。
步骤10，判断是否读完所有的帧，若是，则执行步骤3，否则，执行步骤11。
步骤11，运动目标跟踪结束。
下面结合本发明的仿真实验对本发明扥效果做进一步的说明。
1、仿真条件：
本发明的仿真实验是在AMD A10-6700，4GB内存的电脑上采用VS2010和OpenCV2.4.4软件进行的。仿真实验采用的视频是，标准测试视频集Visual TrackerBenchmark Dataset 2013。
2、仿真内容：
将本发明的***OUR与三个现有技术进行仿真，该三个现有技术采用的目标跟踪算法是KCF方法、STRUCK方法、STC方法，分别进行了三组仿真。
第一组仿真实验，利用本发明和三个现有技术对davidce3视频进行中心位置误差和重叠率的仿真，得到四条目标中心位置误差曲线如图2所示，得到四条目标区域重叠率曲线如图3所示。
第二组仿真实验，利用本发明和三个现有技术对Jogging视频进行中心位置误差和重叠率的仿真，得到四条目标中心位置误差曲线如图4所示，得到四条目标区域重叠率曲线如图5所示。
第三组仿真实验，利用本发明和三个现有技术对CarScale视频进行中心位置误差和重叠率的仿真，得到四条目标中心位置误差曲线如图6所示，得到四条目标区域重叠率曲线如图7所示。
3、仿真结果分析：
图2，图3，图4，图5，图6，图7中以标示的曲线表示KCF方法的跟踪结果的精度曲线，以“+++”标示的曲线表示STRUCK方法的跟踪结果的精度曲线，以“______”标示的曲线表示STC方法的跟踪结果的精度曲线，以“”标示的曲线表示本发明的跟踪结果的精度曲线。图2，图4，图6的横坐标表示帧数，纵坐标表示中心位置误差值。图3，图5，图7的横坐标表示帧数，纵坐标表示目标区域重叠率。
由图2可见，本发明和KCF方法一直保持较低的目标中心位置误差率，STRUCK方法的目标中心位置误差经历一个增大和降低的过程，STC方法的目标中心位置误差逐渐增大。由图3可见，本发明、STRUCK方法和KCF方法的目标区域重叠率都经历一个降低又回升过程，STC方法的目标重叠率一直降低。本发明和现有三个技术跟踪的运动目标是视频中的行人，由于在第100帧到第160帧行人经过电线杆发生了遮挡，STRUCK方法直接跟踪失败，但是在后面又逐渐恢复跟踪，STC方法发生跟踪失败，并且没有恢复跟踪，综合来看，本发明的跟踪精度较高，能够更好的应对目标遮挡。
由图4可见，本发明和KCF方法维持较低中心位置误差持续跟踪，STC方法和STRUCK方法的中心位置误差逐渐增大。由图5可见，本发明和KCF方法的目标区域重叠率维持较高水平，但是KCF方法的中心位置误差有一个降低和回升的过程，STC方法和STRUCK方法的目标区域重叠率逐渐降低，一直降低到0。本发明和现有三个技术跟踪的运动目标是视频中穿白色短袖的人，由于在第48帧时，行人被电线杆完全遮挡，导致STC方法和STRUCK方法迅速发生跟踪失败，并且从失败没有恢复，KCF方法的跟踪精度也出现了暂时的降低，而本发明则以低的目标中心位置误差和高的目标重叠率持续跟踪，综合来看，本发明的抗目标遮挡能力最强，能够更好的应对目标遮挡下的跟踪问题。
由图6可见，本发明和现有三个技术的目标中心位置误差逐渐增大，但是本发明的目标中心位置误差一直是最低的。由图7可见，本发明和现有三个技术的目标区域重叠率均逐渐下降，但是本发明的目标区域重叠率降低速度最慢，在四条曲线中维持较高目标区域重叠率。本发明和现有三个技术跟踪的运动目标是一辆由远到近行驶的车辆，由于车辆由远到近行驶，尺度变化明显，随着镜头离车辆越来越近，目标也越来越大，在第150帧以后，本发明和现有三个技术的目标中心位置误差都逐渐变大，目标区域重叠率逐渐降低。跟踪精度都有所降低，但是本发明的跟踪依然是四个算法中性能最好的，本发明能够更好应对目标尺度变化剧烈下跟踪的问题。
Claims (5)
1.一种基于优选特征块的运动目标跟踪方法，包括步骤如下：
(1)从视频摄像头中读取待跟踪的运动目标视频：
(2)初始化：
(2a)从待跟踪的运动目标视频中读入第一帧图像；
(2b)在待跟踪的第一帧图像上用鼠标框出待跟踪的运动目标；
(2c)利用分块方法，对待跟踪的运动目标区域进行分块，得到运动目标区域的子块区域；
(2d)利用特征检测器FAST，从待跟踪的第一帧图像运动目标区域的每一个子块中检测特征点，将检测到的所有特征点作为初始化特征点；
(2e)采用核化相关滤波***KCF训练样本的方法，训练目标区域样本，得到第一帧图像上运动目标区域的分类器，将目标区域分类器作为初始化运动目标区域分类器；
(3)检测特征点：
(3a)从待跟踪的运动目标视频中任意读入一帧图像；
(3b)利用分块方法，在所读入帧图像上对得到的运动目标区域进行分块，得到所读入帧图像上运动目标区域的子块区域；
(3c)利用特征检测器FAST，检测运动目标区域的每一个子块区域，得到每一个子块区域的特征点；
(4)筛选特征点：
(4a)利用光流向前跟踪方法，在当前读入的图像帧上的所有特征点中，找到与上一次读入的图像帧上特征一一对应的特征点，组成一个特征点对，将所有的特征点对构成一个特征点集，存到当前读入的图像帧中；
(4b)按照下式，计算特征点集中的每一对特征点的向前向后误差：
<mrow>
<mi>F</mi>
<mi>B</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>c</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>b</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
</mrow>
其中，FB(Pl k)表示当前读入的图像帧中第l子块区域第k个特征点对的向前向后误差，表示当前读入的图像帧c中第l子块区域第k个特征点，表示与对应的在上一次读入的图像帧b中第l子块区域第k个特征点，与形成一对特征点，l＝1，2，…，M，k＝1，2，…，Ql，c表示当前帧，b表示上一帧，M表示运动目标区域所分的子块总数，Ql表示第l子块区域中特征点的总数；
(4c)按照下式，计算特征点集中的每一对特征点归一化误差：
<mrow>
<mi>N</mi>
<mi>C</mi>
<mi>C</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msubsup>
<mi>Q</mi>
<mi>l</mi>
<mo>&prime;</mo>
</msubsup>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msubsup>
<mi>Q</mi>
<mi>l</mi>
<mo>&prime;</mo>
</msubsup>
</munderover>
<mfrac>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>b</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>b</mi>
</msub>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
<mo>)</mo>
<mo>*</mo>
<mo>(</mo>
<msup>
<msub>
<mi>P</mi>
<mrow>
<mi>c</mi>
<mo>,</mo>
<mi>l</mi>
</mrow>
</msub>
<mi>k</mi>
</msup>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>c</mi>
</msub>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mrow>
<msub>
<mi>&delta;</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msub>
<mi>&delta;</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，NCC(Pl k)表示当前读入的图像帧上第l子块区域第k个特征点对的归一化误差，Ql表示第l子块区域特征点的总数，μb(l)和δb(l)表示上一次当前读入的图像帧b上的第l子块区域内所有特征点像素的均值和标准差，μc(l)和δc(l)表示当前读入的图像帧c上的第l子块区域内所有特征点的像素的均值和标准差；
(4d)按照下式，计算所有特征点的归一化误差均值；
<mrow>
<mi>&mu;</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>M</mi>
<mo>&times;</mo>
<msubsup>
<mi>Q</mi>
<mi>l</mi>
<mo>&prime;</mo>
</msubsup>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>l</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>l</mi>
<mo>=</mo>
<mi>M</mi>
<mo>,</mo>
<mi>k</mi>
<mo>=</mo>
<msubsup>
<mi>Q</mi>
<mi>l</mi>
<mo>&prime;</mo>
</msubsup>
</mrow>
</munderover>
<mi>N</mi>
<mi>C</mi>
<mi>C</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>l</mi>
<mi>k</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，μ表示所有特征点的归一化误差均值，M表示运动目标区域所分的子块区域数目，Ql表示第l子块中的跟踪点对的数目总数；
(4e)从特征点中选取所有满足划分条件的的特征点，将满足划分条件的特征点归入可靠特征点集；
(5)获得优选特征块：
(5a)从子块区域中选取所有满足精度条件的子块，将子块归入优选块集中；
(5b)合并优选块集中的所有特征点，获得优选特征点集；
(6)计算目标区域的响应图和峰值旁瓣比：
(6a)利用目标区域分类器检测目标区域，得到目标区域的响应图，以该响应图作为特征点的权重；
(6b)按照下式，计算目标区域的响应图的峰值旁瓣比；
<mrow>
<mi>P</mi>
<mi>S</mi>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>o</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>(</mo>
<mi>o</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&mu;</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>(</mo>
<mi>o</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>(</mo>
<mi>o</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
其中，PSR(o)表示目标区域o的响应图的峰值旁瓣比，max(R(o))表示响应图R(o)的最大值，μ(R(o))表示响应图R(o)的均值，标准差σ(R(o))表示响应图R(o)的标准差；
(7)更新目标区域状态；
(7a)按照下式，计算目标区域的尺度变化；
<mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>i</mi>
<mo>&NotEqual;</mo>
<mi>j</mi>
</mrow>
<msub>
<mi>Q</mi>
<mi>g</mi>
</msub>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
</mrow>
</mfrac>
<mo>*</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mi>i</mi>
<mo>&NotEqual;</mo>
<mi>j</mi>
</mrow>
<msub>
<mi>Q</mi>
<mi>g</mi>
</msub>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
<mo>*</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>A</mi>
<mi>c</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>A</mi>
<mi>c</mi>
<mi>j</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>A</mi>
<mi>b</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>A</mi>
<mi>b</mi>
<mi>j</mi>
</msubsup>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
其中，S(Ic)表示当前读入的图像帧上目标区域的尺度变化，和表示当前读入的图像帧上优选特征点集中的特征点，和表示上一次读入的图像帧上优选特征点集中的特征点，wi、wj表示优选特征点集中的特征点的权重；
(7b)按照下式，计算目标区域的尺寸；
wc＝wb*S(Ic)
hc＝hb*S(Ic)
其中，wc表示当前读入的图像帧上目标区域的宽，hc表示当前读入的图像帧上目标区域的高，wb表示上一次读入的图像帧上目标区域的宽，hb表示上一次读入的图像帧上目标区域的高；
(7c)按照下式，计算目标区域的平移变化：
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&eta;</mi>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>b</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mi>&eta;</mi>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>Q</mi>
<mi>g</mi>
</msub>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>*</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>Q</mi>
<mi>g</mi>
</msub>
</munderover>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
<mo>*</mo>
<mrow>
<mo>(</mo>
<msubsup>
<mi>Z</mi>
<mi>c</mi>
<mi>i</mi>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>Z</mi>
<mi>b</mi>
<mi>i</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中，D(Ic)表示当前所读入的图像帧上目标区域的平移变化，η表示变换因子一般取0.35，D(Ib)表示上一次读入的图像帧上目标区域的平移变化，wi表示对应可靠特征点的权值，表示对应于当前读入的图像帧上第i个可靠特征点的坐标，u表示特征点的横坐标，v表示特征点的纵坐标，表示对应于上一次读入的图像帧上第i个可靠特征点的坐标；
(7d)按照下式，计算目标区域位置：
Cc＝Cb+D(Ic)
其中，Cc表示当前读入图像帧上目标的位置，Cb表示上一次读入图像帧上目标的位置；
(7e)利用目标区域的尺寸和目标区域位置，更新当前读入图像帧上的目标区域状态；
(8)更新目标区域分类器；
(8a)使用核化相关滤波方法KCF训练目标区域样本，得到当前读入的图像帧上运动目标区域的分类器；
(8b)判断目标区域分类器是否满足更新条件，若是，则执行(8c)，否则，执行(8d)；
(8c)目标区域未发生遮挡，更新目标区域分类器，用当前读入的图像帧上目标区域的分类器替换上一次读入的图像帧上得到的目标区域分类器；
(8d)目标区域发生遮挡，不更新目标分类器，保持上一次读入的图像帧上得到的目标区域分类器不变；
(9)将目标区域状态信息，以矩形框的形式输出到所读入帧图像中；
(10)判断是否读完待跟踪视频的所有帧，若是，则执行步骤(11)，否则，执行步骤(3)；
(11)结束运动目标的跟踪。
2.根据权利要求1所述的基于优选特征块的运动目标跟踪方法，其特征在于，步骤(2c)、步骤(3b)中所述分块方法的具体步骤如下：
第一步，依据目标区域能够分成整数个子块区域的标准，子块区域边长是大于等于10个像素，将待跟踪的运动目标区域的四个边界同时扩展，得到扩展运动目标区域；
第二步，对扩展运动目标区域分块，得到运动目标区域的子块区域，子块区域是边长大于等于10个像素的正方形区域，且每一个子块区域大小相同。
3.根据权利要求1所述的基于优选特征块的运动目标跟踪方法，其特征在于，步骤(4e)中所述的划分条件如下：
NCC(Pl k)＞μ且FB(Pl k)＜QFB
其中，QFB表示特征点的先前向后误差阈值。
4.根据权利要求1所述的基于优选特征块的运动目标跟踪方法，其特征在于，步骤(5a)中所述精度条件如下：
<mrow>
<msubsup>
<mi>Q</mi>
<mi>l</mi>
<mo>&prime;</mo>
</msubsup>
<mo>&GreaterEqual;</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<msub>
<mi>Q</mi>
<mi>l</mi>
</msub>
</mrow>
其中，Ql表示第l子块区域上特征点总数，Ql′表示筛选后第l子块区域上特征点总数。
5.根据权利要求1所述的基于优选特征块的运动目标跟踪方法，其特征在于，步骤(8b)中所述更新条件如下：
PSR(o)≥T
其中，T表示更新阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710269627.0A CN107146238B (zh) | 2017-04-24 | 2017-04-24 | 基于特征块优选的运动目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710269627.0A CN107146238B (zh) | 2017-04-24 | 2017-04-24 | 基于特征块优选的运动目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107146238A true CN107146238A (zh) | 2017-09-08 |
| CN107146238B CN107146238B (zh) | 2019-10-11 |
Family
ID=59773981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710269627.0A Active CN107146238B (zh) | 2017-04-24 | 2017-04-24 | 基于特征块优选的运动目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107146238B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610177A (zh) * | 2017-09-29 | 2018-01-19 | 联想(北京)有限公司 | 一种同步定位与地图构建中确定特征点的方法和设备 |
| CN107920257A (zh) * | 2017-12-01 | 2018-04-17 | 北京奇虎科技有限公司 | 视频关键点实时处理方法、装置及计算设备 |
| CN107967693A (zh) * | 2017-12-01 | 2018-04-27 | 北京奇虎科技有限公司 | 视频关键点处理方法、装置、计算设备及计算机存储介质 |
| CN109448021A (zh) * | 2018-10-16 | 2019-03-08 | 北京理工大学 | 一种运动目标跟踪方法及*** |
| CN109584269A (zh) * | 2018-10-17 | 2019-04-05 | 龙马智芯（珠海横琴）科技有限公司 | 一种目标跟踪方法 |
| CN110246155A (zh) * | 2019-05-17 | 2019-09-17 | 华中科技大学 | 一种基于模型交替的抗遮挡目标跟踪方法及*** |
| CN110276784A (zh) * | 2019-06-03 | 2019-09-24 | 北京理工大学 | 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法 |
| CN110619654A (zh) * | 2019-08-02 | 2019-12-27 | 北京佳讯飞鸿电气股份有限公司 | 一种运动目标检测与跟踪方法 |
| CN111712833A (zh) * | 2018-06-13 | 2020-09-25 | 华为技术有限公司 | 一种筛选局部特征点的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091348A (zh) * | 2014-05-19 | 2014-10-08 | 南京工程学院 | 融合显著特征和分块模板的多目标跟踪方法 |
| US9582718B1 (en) * | 2015-06-30 | 2017-02-28 | Disney Enterprises, Inc. | Method and device for multi-target tracking by coupling multiple detection sources |
| CN106485732A (zh) * | 2016-09-09 | 2017-03-08 | 南京航空航天大学 | 一种视频序列的目标跟踪方法 |
-
2017
- 2017-04-24 CN CN201710269627.0A patent/CN107146238B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091348A (zh) * | 2014-05-19 | 2014-10-08 | 南京工程学院 | 融合显著特征和分块模板的多目标跟踪方法 |
| US9582718B1 (en) * | 2015-06-30 | 2017-02-28 | Disney Enterprises, Inc. | Method and device for multi-target tracking by coupling multiple detection sources |
| CN106485732A (zh) * | 2016-09-09 | 2017-03-08 | 南京航空航天大学 | 一种视频序列的目标跟踪方法 |
Non-Patent Citations (3)
| Title |
|---|
| JOÃO F. HENRIQUES 等: "High-Speed Tracking with Kernelized Correlation Filters", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 余礼杨 等: "改进的核相关滤波器目标跟踪算法", 《计算机应用》 * |
| 邢运龙 等: "改进核相关滤波的运动目标跟踪算法", 《红外与激光工程》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107610177A (zh) * | 2017-09-29 | 2018-01-19 | 联想(北京)有限公司 | 一种同步定位与地图构建中确定特征点的方法和设备 |
| CN107920257B (zh) * | 2017-12-01 | 2020-07-24 | 北京奇虎科技有限公司 | 视频关键点实时处理方法、装置及计算设备 |
| CN107920257A (zh) * | 2017-12-01 | 2018-04-17 | 北京奇虎科技有限公司 | 视频关键点实时处理方法、装置及计算设备 |
| CN107967693A (zh) * | 2017-12-01 | 2018-04-27 | 北京奇虎科技有限公司 | 视频关键点处理方法、装置、计算设备及计算机存储介质 |
| CN107967693B (zh) * | 2017-12-01 | 2021-07-09 | 北京奇虎科技有限公司 | 视频关键点处理方法、装置、计算设备及计算机存储介质 |
| CN111712833B (zh) * | 2018-06-13 | 2023-10-27 | 华为技术有限公司 | 一种筛选局部特征点的方法及装置 |
| CN111712833A (zh) * | 2018-06-13 | 2020-09-25 | 华为技术有限公司 | 一种筛选局部特征点的方法及装置 |
| CN109448021A (zh) * | 2018-10-16 | 2019-03-08 | 北京理工大学 | 一种运动目标跟踪方法及*** |
| CN109584269A (zh) * | 2018-10-17 | 2019-04-05 | 龙马智芯（珠海横琴）科技有限公司 | 一种目标跟踪方法 |
| CN110246155B (zh) * | 2019-05-17 | 2021-05-18 | 华中科技大学 | 一种基于模型交替的抗遮挡目标跟踪方法及*** |
| CN110246155A (zh) * | 2019-05-17 | 2019-09-17 | 华中科技大学 | 一种基于模型交替的抗遮挡目标跟踪方法及*** |
| CN110276784A (zh) * | 2019-06-03 | 2019-09-24 | 北京理工大学 | 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法 |
| CN110276784B (zh) * | 2019-06-03 | 2021-04-06 | 北京理工大学 | 基于记忆机制与卷积特征的相关滤波运动目标跟踪方法 |
| CN110619654A (zh) * | 2019-08-02 | 2019-12-27 | 北京佳讯飞鸿电气股份有限公司 | 一种运动目标检测与跟踪方法 |
| CN110619654B (zh) * | 2019-08-02 | 2022-05-13 | 北京佳讯飞鸿电气股份有限公司 | 一种运动目标检测与跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107146238B (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107146238A (zh) | 基于特征块优选的运动目标跟踪方法 | |
| CN110929578B (zh) | 一种基于注意力机制的抗遮挡行人检测方法 | |
| Wang et al. | Pixel-wise crowd understanding via synthetic data | |
| CN105069472B (zh) | 一种基于卷积神经网络自适应的车辆检测方法 | |
| CN104850865B (zh) | 一种多特征迁移学习的实时压缩跟踪方法 | |
| CN104183127B (zh) | 交通监控视频检测方法和装置 | |
| CN106022263B (zh) | 一种融合特征匹配和光流法的车辆跟踪方法 | |
| CN108921875A (zh) | 一种基于航拍数据的实时车流检测与追踪方法 | |
| WO2021212443A1 (zh) | 一种基于轻量化3D-RDNet模型的烟雾视频检测方法及*** | |
| CN104680559B (zh) | 基于运动行为模式的多视角室内行人跟踪方法 | |
| CN109271888A (zh) | 基于步态的身份识别方法、装置、电子设备 | |
| CN110472542A (zh) | 一种基于深度学习的红外图像行人检测方法及检测*** | |
| CN109961037A (zh) | 一种考场视频监控异常行为特征识别方法 | |
| CN109800692A (zh) | 一种基于预训练卷积神经网络的视觉slam回环检测方法 | |
| CN112241969A (zh) | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 | |
| CN115346177A (zh) | 一种新的路侧视角下目标检测***及方法 | |
| CN106295532A (zh) | 一种视频图像中的人体动作识别方法 | |
| CN110458128A (zh) | 一种姿态特征获取方法、装置、设备及存储介质 | |
| CN110633678A (zh) | 一种基于视频图像的快速高效的车流量计算方法 | |
| CN105590328A (zh) | 基于稀疏表示选择性外观模型的帧自适应目标跟踪算法 | |
| CN111199245A (zh) | 油菜害虫识别方法 | |
| CN116503725A (zh) | 红外弱小目标实时检测方法及装置 | |
| CN111260687A (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
| CN107038710B (zh) | 一种以纸张为目标的视觉跟踪算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |