CN107403175A - 一种运动背景下的视觉跟踪方法及视觉跟踪*** - Google Patents

一种运动背景下的视觉跟踪方法及视觉跟踪*** Download PDF

Info

Publication number
CN107403175A
CN107403175A CN201710857674.7A CN201710857674A CN107403175A CN 107403175 A CN107403175 A CN 107403175A CN 201710857674 A CN201710857674 A CN 201710857674A CN 107403175 A CN107403175 A CN 107403175A
Authority
CN
China
Prior art keywords
target
candidate
model
region
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710857674.7A
Other languages
English (en)
Inventor
何自芬
张印辉
曹双旭
吴启科
唐海艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201710857674.7A priority Critical patent/CN107403175A/zh
Publication of CN107403175A publication Critical patent/CN107403175A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种运动背景下的视觉跟踪方法及视觉跟踪***。所述视觉跟踪方法：读取视频第一帧并标注目标及跟踪区域；循环密集采集标注目标及跟踪区域的图像并提取特征；以目标周围上下文区域x i为基训练样本，加入上下帧约束，得学习分类器增量系数a；在下一帧中循环移动检测区域z得候选块，代入分类器得以及目标位置；返回B步骤，然后在C步骤中以目标中心(x i ,y i )所在上下文作为基训练样本，得到分类器增量系数a，更新模型，继续下一帧的更新。所述视觉跟踪***包括目标初始化模块、图像特征提取模块、分类器初始训练模块、快速目标检测模块、分类器训练模块。本发明在跟踪目标快速移动和发生尺度变化时，都能够较准确地跟踪。

Description

一种运动背景下的视觉跟踪方法及视觉跟踪***
技术领域
本发明属于计算机视觉技术领域，具体涉及一种计算强度低、应用范围广、能够准确跟踪目标快速移动和发生尺度变化的运动背景下的视觉跟踪方法及视觉跟踪***。
背景技术
机器视觉是现代制造的一个极其其重要的组成部分，涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等多个领域的交叉学科。在计算机视觉中，如何准确的知道目标在视频图像中的位置甚至是大小、方向、形状，是一个基本的问题，也是视频跟踪技术所要解决的问题。目标跟踪技术的目的就是在给定视频或图像序列中定位目标的位置、状态、运动轨迹、尺度及速度等信息，进而依据这些信息进行更高一级的任务。因为这些特性，目标跟踪技术可以应用到生活中的各个场所，其中比较典型的应用就是视频监控、智能驾驶、人机交互、军事应用、视频检索等。如基于机器视觉的工业机器人自动跟踪，所要实现的功能是机械手对流水线上运动中的零件图像进行实时跟踪，为后续识别分类和装配工作做准备。因此，目标跟踪研究有着非常重要的意义，其研究成果具有广阔的应用前景。
现有的目标跟踪方法大致可以分为四类，分别是基于模型的跟踪、基于区域的跟踪、基于特征的跟踪、基于主动轮廓的跟踪。基于模型的跟踪由于鲁棒性强，在出现噪声、遮挡、目标变形等复杂的序列中也能获取较好的目标跟踪性能，现有的方法大多偏向于这种基于模型的跟踪；但也存在着分析复杂、运行速度慢、实时性较差的缺陷。基于区域的跟踪由于提取的目标模板是以目标整体作为对象，包含了较完整的目标信息，因而具有较高的可信度；但也存在实时性较差，跟踪的目标变形大会导致跟踪精度下降甚至目标丢失，目标出现太大遮挡容易造成跟踪目标的丢失。基于主动轮廓的跟踪以目标轮廓为特征的，因此，当目标发生形变时，其轮廓特征也会发生变化，跟踪精确度就会下降，特别是形变发生比较大的图像序列中，这种基于轮廓的方法实现目标跟踪就会比较困难。基于特征的跟踪是提取图像中元素，然后采用相关算法处理，而不同的是基于区域的跟踪一般提取的是整体模板，而基于特征的跟踪提取的是可以用来区别目标与背景的一些特征，这些特征具有不变性，用这些特征来描述目标，在后面的图像序列中使用这些提取的特征来定位图像中的目标，以实现跟踪目标的目的；基于特征的跟踪在序列图像中，单一的特征选取往往无法实现跟踪的准确性。因此，基于多特征融合的目标跟踪成为当前研究的趋势。其中Shift特征跟踪算法是一种比较经典的特征跟踪算法，该算法衍生了Mean Shift 和Cam Shift两种重要改进算法。其中，作者Comaniciu在文献中将Mean Shift 应用到跟踪算法中，得到了具有较强鲁棒性的跟踪算法。
核相关滤波器(KCF)跟踪算法(Henriques J F,Rui C,Martins P,et al. High-Speed Tracking with Kernelized Correlation Filters.IEEE Transactions onPattern Analysis&Machine Intelligence,2015,37(3):583.)，该算法(图1)是通过对目标所在的周围区域循环密集采样，提前图像特征，并进一步通过核函数映射到高维空间，增加目标的可分性，利用循环矩阵的性质快速跟踪目标，获得具有循环结构的训练样本，再使用核函数的非线性脊回归(正则化的最小二乘)，并进行快速傅立叶变换进行训练得到分类器，然后将分类器用于下一帧的检测，得到循环偏移构成的所有测试样本的响应，最终得到目标的位置。该算法由于考虑了目标的背景信息，而且利用循环矩阵的性质来加快运算速度，因此在运动目标发生尺度变化、运动模糊、光照变化、复杂背景、快速运动等，该算法具有很好的实时性和自适应性，是针对运动背景下视觉跟踪的研究热点之一。但核相关滤波器跟踪算法学习的分类器未考虑连续两帧间的时空关系，当目标表面发生突变时，学到的判别式分类器难以鲁棒地表示目标表面变化，易造成跟踪漂移。另外，核相关滤波器跟踪算法由于没有考虑尺度问题，运动过程中相机与目标位置之间的距离产生的尺度变化，也会导致在目标跟踪过程中后续跟踪出现偏移。因此，进一步研究在兼顾实时性和自适应性的同时，又能准确跟踪快速移动和发生尺度变化的目标的视觉跟踪方法，具有重要的意义。
发明内容
本发明的第一目的在于提供一种计算强度低、应用范围广、能够准确跟踪目标快速移动和发生尺度变化的运动背景下的视觉跟踪方法，第二目的在于提供一种实现第一目的的视觉跟踪***。
本发明的第一目的是这样实现的：包括目标初始化、图像特征提取、分类器初始训练、快速目标检测、分类器训练步骤，具体包括：
A、目标初始化：读取视频序列第一帧并标注目标(x1,y1)及跟踪区域；
B、图像特征提取：循环密集采集标注目标及跟踪区域的图像并提取特征；
C、分类器初始训练：以目标周围上下文区域xi为作为基训练样本，，加入上下帧约束，得到学习分类器增量系数a为：
其中：∧表示离散傅立叶变换，y为回归标签，kpc表示上一帧的目标外观与当前帧外观在高维空间的互相关，ap表示上一帧的分类器系数，表示对角元素为基样本的傅立叶变换，λ为控制过拟合的正则参数，I是单位向量；
D、快速目标检测：在下一帧中循环移动检测区域z得到候选块，代入分类器得到f(z)＝(Kz)Tα以及目标位置(xi,yi)＝argmaxf(z)，其中：K为核矩阵；
F、分类器训练：返回B步骤，然后在C步骤中以目标中心(xi,yi)所在上下文作为基训练样本，得到分类器增量系数a，更新模型，继续下一帧的更新。
本发明的第二目的是这样实现的：包括目标初始化模块、图像特征提取模块、分类器初始训练模块、快速目标检测模块、分类器训练模块，
所述目标初始化模块，用于读取视频序列第一帧并标注目标(x1,y1)及跟踪区域；
所述图像特征提取模块，用于循环密集采集标注目标及跟踪区域的图像并提取特征；
所述分类器初始训练模块，用于将目标周围上下文区域xi为作为基训练样本，，加入上下帧约束，得到学习分类器增量系数a为：
其中：∧表示离散傅立叶变换，y为回归标签，kpc表示上一帧的目标外观与当前帧外观在高维空间的互相关，ap表示上一帧的分类器系数，表示对角元素为基样本的傅立叶变换，λ为控制过拟合的正则参数，I是单位向量；
所述快速目标检测模块，用于在下一帧中循环移动检测区域z得到候选块，代入分类器得到f(z)＝(Kz)Tα以及目标位置(xi,yi)＝argmaxf(z)，其中：K为核矩阵；
所述分类器训练模块，用于返回图像特征提取模块，然后在分类器初始训练模块中以目标中心(xi,yi)所在上下文作为基训练样本，得到分类器增量系数a，更新模型，继续下一帧的更新。
本发明与现有技术相比具有以下有益效果：
1、本发明在核相关滤波器(KCF)跟踪算法上进行优化，保留了核相关滤波器跟踪算法对运动目标具有很好的实时性和自适应性，而且资源占用率低。
2、在线跟踪算法需要对目标的外观变化进行学习，核相关滤波器算法在得到当前帧的目标后，对目标所在的上下文区域进行循环密集采样得到训练样本，通过对这些样本学习得到分类器。因此在学习分类器过程中是基于每帧的分别学习，没有考虑目标在相邻两帧间的关系，导致得到的分类器与实际情况存在差别，随着误差的累积分类器无法正确判别出目标。针对此问题，本发明通过脊回归模型求解分类器系数时加入上一帧的分类器系数进行约束以达到鲁棒性，使视频序列相邻两帧之间产生了自然的联系，限制分类器系数的学习速度，使得学习的分类器系数为上一帧分类器系数的一个增量，有效增强分类器的稳定性，从而能在目标快速移动时，仍然能够较准确地跟踪目标。
3、针对运动过程中相机与目标位置之间的距离产生的尺度变化，核相关滤波器跟踪算法没有考虑目标尺度变化问题，导致在目标跟踪过程中，由于尺度变化，后续跟踪误差较大，从而出现偏移现象。为了解决尺度更新问题，本发明在核相关滤波器跟踪算法计算下一帧的位置后，利用Mean Shift算法中的目标的颜色直方图模型，在候选目标区域可计算得到区域内像素点颜色值与目标颜色直方图模型对应分量的相似性权值，得到候选区域的权重分布图，再根据权重分布图的一阶统计特征来计算目标尺度的大小，从而在目标发生尺度变化仍然能够进行准确地跟踪。
因此，本发明具有计算强度低、应用范围广、能够准确跟踪快速移动和发生尺度变化目标的特点。
附图说明
图1为核相关滤波器跟踪算法流程图；
图2为本发明之视觉跟踪方法流程图之一；
图3为本发明之视觉跟踪方法流程图之二；
图4为本发明之视觉跟踪***原理图；
图5为实验例之视频序列中各算法在不同光照时位置误差概率；
图6为实验例之视频序列中各算法在复杂背景时位置误差概率；
图7为实验例之视频序列中各算法在运动模糊时位置误差概率；
图8为实验例之视频序列中各算法在尺度变化时位置误差概率；
图9为实验例之视频序列中各算法在快速运动时位置误差概率；
图10为实验例之视频序列中目标突然运动时跟踪捕捉前后对比图；
图11为实验例之视频序列中目标尺度变化时跟踪捕捉前后对比图；
图12为实验例之视频序列中目标背景杂乱时跟踪捕捉前后对比图；
图13为实验例之视频序列中目标光照变化时跟踪捕捉前后对比图；
图14为实验例之视频序列中目标运动模糊时跟踪捕捉前后对比图；
图1至3中：S100-目标初始化，S200-图像特征提取，S300-分类器初始训练，S400-快速目标检测，S500-目标尺度估计，S510-候选目标颜色直方图模型计算，S520-候选目标区域权重计算，S530-确定目标跟踪结果，S600-分类器训练；
图4中：1-目标初始化模块，2-图像特征提取模块，3-分类器初始训练模块、快速目标检测模块，4-快速目标检测模块，5-目标尺度估计模块，51-候选目标颜色直方图模型计算模块，52-候选目标区域权重计算模块，53-确定目标跟踪结果模块，6-分类器训练模块，7-判断模块，8-输出模块；
图10至14中：左侧为变化前的捕捉图，左侧为变化后的捕捉图，白色框为OUR。
具体实施方式
下面结合附图与实施例对本发明作进一步的说明，但不以任何方式对本发明加以限制，依据本发明的教导所作的任何变更或替换，均属于本发明的保护范围。
如图2和3所示，本发明的视觉跟踪方法包括目标初始化、图像特征提取、分类器初始训练、快速目标检测、分类器训练步骤，具体包括：
A、目标初始化：读取视频序列第一帧并标注目标(x1,y1)及跟踪区域；
B、图像特征提取：循环密集采集标注目标及跟踪区域的图像并提取特征；
C、分类器初始训练：以目标周围上下文区域xi为作为基训练样本，加入上下帧约束，使用核函数将非线性问题转化为线性问题，样本x通过核函数映射为分类器函数f(z)＝WTz中的系数W转化为对偶空间中的系数a，当加入了上一帧的分类器系数Wp时，可得出此时的分类器系数a(ZHANG Lei,WANG Yan-jie,SUN Hong-hai,et al.Adaptive scaleobject tracking with kernelized correlation filters.Guangxue JingmiGongcheng,optics&Precision Engineering, 2016,24(2):448-459)：
a＝(K+λI)-1(y-KPCap)
其中K是核矩阵，K中的元素为了减少运算量，提高计算速度，根据循环矩阵的性质可得到上述学习分类器增量系数a为：
其中：∧表示离散傅立叶变换，y为回归标签，kpc表示上一帧的目标外观与当前帧外观在高维空间的互相关，ap表示上一帧的分类器系数，表示对角元素为基样本的傅立叶变换，λ为控制过拟合的正则参数，I是单位向量，基训练样本是在目标及其周围背景中基于块的循环密集采样所得；
D、快速目标检测：在下一帧中循环移动检测区域z得到候选块，代入分类器得到f(z)＝(Kz)Tα(Lima C H R,Lall U.Climate informed monthly streamflow forecastsfor the Brazilian hydropower network using a periodic ridge regressionmodel.Journal of Hydrology,2010,380(3–4):438-449.)以及目标位置 (xi,yi)＝argmaxf(z)，其中：K为核矩阵；
F、分类器训练：返回B步骤，然后在C步骤中以目标中心(xi,yi)所在上下文作为基训练样本，得到分类器增量系数a，更新模型，继续下一帧的更新。
所述A步骤中通过手动输入或自动读取并通过内置模型判别来标注目标 (x1,y1)及跟踪区域。
所述D步骤后及F步骤还包括目标尺度估计步骤，所述目标尺度估计步骤是利用Mean Shift算法中的目标的颜色直方图模型，在候选目标区域计算得到区域内像素点颜色值与目标颜色直方图模型对应分量的相似性权值，得到候选区域的权重分布图，再根据权重分布图的一阶统计特征来计算目标尺度的大小。
所述目标尺度估计步骤包括候选目标颜色直方图模型计算、候选目标区域权重计算、确定目标跟踪结果分步骤，具体包括：
E1、候选目标颜色直方图模型计算：(Rifkin R,Yeo G,Poggio T.RegularizedLeast-Squares Classification.Acta Electronica Sinica,2007,190(1):93-10)
目标颜色直方图模型
候选目标颜色直方图模型
目标颜色直方图模型qu的相似度
其中：C、Ch为常数，即函数在某区间的积分始终为1，k(x)为核化函数， xi、xi *分别为目标区域、候选目标区域的特殊标记位置，h为频带参数，u为直方图的分量，nh为目标窗口的像素数，m通常取值为8，16或32，优选取m＝16，ρ(y)为Bhattacharyya系数；
E2、候选目标区域权重计算：(Ning J,Zhang L,Zhang D,et al.Scale andorientation adaptive mean shift tracking.Iet Computer Vision,2012,6(1):52-61.)
根据权值分布图，计算目标在候选区域的权重其中：wi为候选目标区域的相似性权值；
E3、确定目标跟踪结果：
研究表明，当只通过M0来计算目标尺度大小，存在一定的误差，即当目标尺寸过小，候选目标框相对于目标尺寸比较大，这就会导致M0计算出的尺度大于目标的真实尺度，因此需要通过相似度ρ(y)来修正；ρ(y)的值如果越接近1，则表示候选区域与目标尺寸大小越相近；ρ(y)的值越近似等于零，也就是说背景区域比较大，包含的信息比较多，则肯定有候选区域内目标比较小。因此，通过ρ(y)的计算可以很好地反映出目标权重M0。为了能够准确的计算出目标的真实尺寸大小，用ρ(y)的函数来修正权重M0的大小；
目标尺度的估计值A＝c(ρ)M0，
式中，c(内是关于ρ(0≤ρ≤1)的单调递增函数，
由上式可以看出，当目标尺度远小于候选目标区域尺度时，原先计算出的 M0相对比原目标尺寸大，此时ρ比较小，通过修正系数δl计算出的c(ρ)变小，从而使得目标尺度估计值A也变小，这样更加接近目标的真实值；
对目标进行跟踪时，跟踪框为矩形框，其长宽比恒为K，则目标长h’和宽w’分别为：
其中：δl为常数，当ρ等于1时c(ρ)＝1。
所述E2步骤中候选目标区域的相似性权值wi为：
所述C步骤中：
所述E3分步骤中δl的取值范围为1～2。
所述D步骤中候选块代入分类器f(z)进行傅里叶变换对角化为：
所述F步骤中更新模型按下式进行：
model_x＝(1-ρ)model_x+ρxf，
model_α＝(1-ρ)model_x+ρ×α。
如图4所示，本发明之视觉跟踪***包括目标初始化模块、图像特征提取模块、分类器初始训练模块、快速目标检测模块、分类器训练模块，
所述目标初始化模块，用于读取视频序列第一帧并标注目标(xl，y1)及跟踪区域；
所述图像特征提取模块，用于循环密集采集标注目标及跟踪区域的图像并提取特征；
所述分类器初始训练模块，用于将目标周围上下文区域xi为作为基训练样本，加入上下帧约束，得到学习分类器增量系数a为：
其中：∧表示离散傅立叶变换，y为回归标签，kpc表示上一帧的目标外观与当前帧外观在高维空间的互相关，ap表示上一帧的分类器系数，表示对角元素为基样本的傅立叶变换，λ为控制过拟合的正则参数，I是单位向量；
所述快速目标检测模块，用于在下一帧中循环移动检测区域z得到候选块，代入分类器得到f(z)＝(Kz)Tα以及目标位置(xi,yi)＝argmaxf(z)，其中：K为核矩阵；
所述分类器训练模块，用于返回图像特征提取模块，然后在分类器初始训练模块中以目标中心(xi,yi)所在上下文作为基训练样本，得到分类器增量系数a，更新模型，继续下一帧的更新。
所述目标初始化模块中通过输入模块手动输入或自动读取并通过内置模型判别来标注目标(x1,y1)及跟踪区域。
本发明之视觉跟踪***还包括目标尺度估计模块，所述目标尺度估计模块利用Mean Shift算法中的目标的颜色直方图模型，在候选目标区域计算得到区域内像素点颜色值与目标颜色直方图模型对应分量的相似性权值，得到候选区域的权重分布图，再根据权重分布图的一阶统计特征来计算目标尺度的大小。
所述目标尺度估计模块包括候选目标颜色直方图模型计算单元、候选目标区域权重计算单元、确定目标跟踪结果单元，
所述候选目标颜色直方图模型计算单元：用于计算目标颜色直方图模型、候选目标颜色直方图模型及目标颜色直方图模型qu的相似度，
目标颜色直方图模型
候选目标颜色直方图模型
目标颜色直方图模型qu的相似度
其中：C、Ch为常数，即函数在某区间的积分始终为1，k(x)为核化函数，xi，xi *分别为目标区域、候选目标区域的特殊标记位置，h为频带参数，u为直方图的分量，nh为目标窗口的像素数，m通常取值为8，16或32，优选取m＝16，ρ(y)为Bhattacharyya系数；
所述候选目标区域权重计算单元用于计算目标在候选区域的权重：
目标在候选区域的权重其中：wi为候选目标区域的相似性权值；
所述确定目标跟踪结果单元用于计算目标尺度的估计值及目标的长和宽：
目标尺度的估计值A＝c(ρ)M0，
式中，c(ρ)是关于ρ(0≤ρ≤1)的单调递增函数，
目标的长h’和宽w’，
其中：δl为常数，当ρ等于1时c(ρ)＝1，K为跟踪框为矩形框时的长宽比恒定值。
所述目标初始化模块中更新模型按下式进行：
model_x＝(1-ρ)model_x+ρxf，
model_α＝(1-ρ)model_x+ρ×α。
本发明之视觉跟踪***还包括判断模块7、输出模块8，所述判断模块 7用于判断是否是最后一帧，如果是则输出当前目标的长h’和宽w’，如果不是则将分类器初始训练模块3的结果转入快速目标检测模块4；所述输出模块8用于根据判断模块3当前目标的长h’和宽w’输出捕捉的图像。
实验例
选取了5段动态场景下拍摄的目标零件跟踪视频进行实验验证，实验在Windows 7***、Intel(R)Core(TM)i5-2450M [email protected]下，使用MATLAB 2012运行实现。
1、目标跟踪实验
为了验证本发明的方法在背景干扰、光照强度变化、目标运动模糊、尺度变化、快速运动等复杂环境下保持准确、稳定的实时跟踪，选取动态场景中的5 段视频进行实验验证。这5段视频中包含背景干扰、光照强度变化、目标运动模糊、尺度变化、快速运动干扰因素，视频参数如下表1所示。
表1视频序列参数
视频序列 图像大小 帧速率(fps) 视频长度(帧)
1(光照强度) 1280×720 20 302
2(背景干扰) 1280×720 20 247
3(目标运动模糊) 1280×720 20 335
4(尺度变化) 1280×720 20 200
5(快速运动) 1280×720 10 232
同时，为了对比本发明的方法跟踪效果及实时性是否有所提升，选择核相关滤波器跟踪算法(Tracking with Kernelized Correlation Filters,KCF)、基于时空上下文学习的快速跟踪方法(Fast Tracking via Spatio-Temporal Context Learning,STC)(Zhang K,Zhang L,Yang M H,et al.Fast Tracking via Spatio-Temporal ContextLearning.Computer Science,2013.)、跟踪-学习-检测的目标跟踪算法(tracking-learning-detection,TLD)(Kalal Z,Mikolajczyk K,Matas J. Tracking-Learning-Detection.IEEE Computer Society,2012.)及本发明的方法(OUR) 分别对上述5段视频进行跟踪实验。
跟踪-学习-检测的目标跟踪算法(TLD)是英国萨里大学的Zdenek Kalal提出的一种新的单目标长时间跟踪算法。该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。该方法主要需要一个离线的学习过程，即选取大量的目标样本进行预训练，训练的样本需要包括目标出现的各种可能的变化，如尺度、姿态、形变等。同时，通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。
基于时空上下文学习的快速跟踪方法(STC)主要思想是通过贝叶斯框架对要跟踪的目标和它的局部上下文区域的时空关系进行建模，从而得到目标和其周围区域低级特征的统计相关性。然后综合这一时空关系来评估新的一帧中目标出现位置的置信图，置信最大的位置就是我们得到的新的一帧的目标位置。另外，时空模型的学习和目标的检测都是通过傅里叶变换来实现，所以学习和检测的速度都比较快。
2定量分析
通过相机采集5段视频，分别对各视频进行分帧以及对零件在每一帧中的目标位置进行人工标注，即跟踪框的坐标(xi,yi,widthi,heighti)，i＝1,2,3…,n，制作数据集。
对本发明的方法(OUR)、核相关滤波器跟踪算法(KCF)、基于时空上下文学习的快速跟踪方法(STC)、跟踪-学习-检测的目标跟踪算法(TLD)进行测试。评价指标采用文献(Gauglitz S,T,Turk M.Evaluation of Interest Point Detectors andFeature Descriptors for Visual Tracking.International Journal of ComputerVision,2011,94(3):335-360.)所公布的标准：中心位置误差(Center location error，CLE)、距离精度(Distance precision，DP)和重叠精度(Overlap precision，OP)。CLE是跟踪目标中心和标注目标中心之间的欧式距离，单位为像素；DP是CLE小于某一个阈值的百分比，本实验例选取阈值为20像素， DP即为跟踪目标中心距离标注目标中心小于20个像素的帧数占跟踪总帧数的百分比；定义跟踪得分，
其中，Bt为第t帧跟踪结果，Gt为第t帧标注框，(Bt∩Gt)表示重叠区域， (Bt∪Gt)表示二者覆盖总区域，area表示区域的面积。OP就是得分大于某一阈值的帧数占跟踪总帧数的百分比，同时OP也是三个指标中最重要的一个，根据 PASCAL评价指标，选重叠率阈值为0.5。
在定量分析中分别比较了各算法的跟踪成功率和位置误差阈值概率。实验中的跟踪成功率指在20个像素误差范围内成功跟踪目标的概率，即每帧由算法得到的目标中心与实际的目标中心距离小于20个像素即认为跟踪成功。为进一步作直观的分析，给出了位置误差阈值为50个像素内的跟踪成功的概率，即在 50个像素误差内各个误差值的跟踪成功率。
50个像素误差范围内跟踪成功的概率曲线如图5至图9所示，其中横坐标表示位置误差，纵坐标表示在该误差值下的跟踪成功率。这里给出有代表性的5 个不同环境下的视频序列的跟踪成功的概率曲线。在每一个视频序列跟踪概率曲线图中，给出对比的每种算法在位置误差下跟踪的成功率。对于一个固定的位置误差值，若代表算法的曲线距离横坐标越远，表明算法对于该视频序列跟踪的成功率越大。图中本发明的方法(OUR)直观上可以看出整体上取得了好的成绩。
表2给出了20个像素误差下各个视频序列的平均跟踪成功率。表中加粗的黑体数字为最优的，表示在这个视频序列的跟踪中平均成功率最高，斜体为次优的。
表2每种算法在各视频序列的成功跟踪率
从表2中可以看出本发明的方法(OUR)在整体上表现出一定优势，5个视频序列的平均跟踪成功率在核相关滤波器跟踪算法(KCF)的基础上提高了7.0％。基于时空上下文学习的目标跟踪方法(STC)、核相关滤波器跟踪算法 (KCF)、跟踪-学习-检测的跟踪算法(TLD)在光照变化、复杂背景、目标模糊运动环境下，均能有效的进行跟踪。但视频序列中目标一旦出现快速运动， STC、KCF、TLD跟踪算法跟踪成功率明显下降。由于STC与KCF算法都没有考虑上下帧之间的关系，导致跟踪误差会越来越大，而TLD跟踪算法存在不断检测更新问题使得处理速度变慢，目标运动过快导致跟踪成功率下降。在尺度问题上，本发明的方法(OUR)在核相关滤波器跟踪算法上有很大提高，也是在五种跟踪算法中最优，同时基于上下文的目标跟踪也体现了很好的优势。
综上所示，实验可以得出本发明的方法(OUR)与基于上下文的目标跟踪算法(STC)都能在尺度更新上都能很好的适应，若考虑跟踪目标的快速运动，改进后的算法更好，若考虑光照变化、复杂背景、目标运动模糊，以上选择的5 种跟踪算法也均能很好的跟踪。
3定性分析
由于实验中每个视频序列包含的视频数量较多，因此对于每个视频序列抽取几幅有代表性的图像并把参与实验的算法的跟踪结果框同时标记到各幅图像中。实验给出了有代表性的5个视频序列帧的跟踪结果，如图9、10、11、12、 13所示，每个视频的随机帧中各算法的跟踪框，图中红实线代表本章提出改进的算法。
(1)目标突然运动：图10在视频序列5中因镜头抖动导致目标运动幅度大，可以看出提出改进的核相关滤波器算法在处理前后帧间目标外观变动大的情况更好，这是因为训练时加入了上一帧系数的限制，学习的分类器更加鲁棒。其它跟踪算法对目标跟踪时无法准确捕捉目标，存在漂移现象。因此改进的算法整体上比其它算法表现稳定。
(2)目标尺度变化：图11在视频序列4中相机离目标不断靠近，目标图像不断变大引起尺度的变化。实验中本发明的方法(OUR)考虑了尺度问题，在跟踪尺度上能够很好地适应目标尺度的变化，因此跟踪成功率最高；STC算法也同样考虑了尺度问题，能够较好地适应目标尺度变化，在跟踪成功率上略低于OUR，但跟踪速度最快，对于其它3种跟踪算法STC、KCF、TLD，目标尺度的改变导致学习的外观模型发生错误，基于上述的原因，STC、KCF、TLD跟踪算法的跟踪成功率都不高，结果非常接近。
(3)背景杂乱：图12在视频序列2中存在背景干扰，光线条件差，背景复杂且图像不清晰，从图12中可以看出，该5种跟踪算法都具有很好的适应性，能较好的进行跟踪。
(4)光照发生变化：图13在视频序列1中光照在不断变化，OUR整体跟踪效果最好，KCF、TLD、STC算法跟踪效果其次，但也都有很好的跟踪效果。
(5)目标运动模糊：图14根前两种情况类似，OUR整体跟踪效果最好， KCF、TLD、STC算法跟踪效果其次，但也都有很好的跟踪效果。
综上分析，OUR比实验中的选取的其它3中算法能整体上更好地应对跟踪过程中的内、外在挑战因素，算法取得了好的跟踪成绩。
4实时性分析
表3每种算法在各视频序列的跟踪速度(单位：fps)
表3给出了每个算法在各视频序列的跟踪速度，可以看出基于时空上下文学习的快速目标跟踪方法(STC)的跟踪速度最快，这是因为STC算法为在目标及其周围区域基于点进行密集采样，相对于基于块密集采样的核相关滤波器跟踪算法(KCF)运算量小。本发明的方法(OUR)在跟踪速度上较慢，相对于 KCF算法直接通过对每帧循环密集采样学习得到分类器的方法，OUR须要借助于连续两帧的上下文外观进行学习得到分类器的增量系数，同时还要更新尺度，所以在4个算法中排在第三位。TLD算法在跟踪检测之前，需要挑选大量的被跟踪目标的样本来进行学习和训练，导致算法的跟踪速度最慢。总体来讲，排名前三的算法STC、KCF、OUR均能满足实时性要求。

Claims (10)

1.一种运动背景下的视觉跟踪方法，其特征在于包括目标初始化、图像特征提取、分类器初始训练、快速目标检测、分类器训练步骤，具体包括：
A、目标初始化：读取视频序列第一帧并标注目标(x1,y1)及跟踪区域；
B、图像特征提取：循环密集采集标注目标及跟踪区域的图像并提取特征；
C、分类器初始训练：以目标周围上下文区域xi为作为基训练样本，加入上下帧约束，得到学习分类器增量系数a为：
<mrow> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mo>=</mo> <mfrac> <mrow> <mover> <mi>y</mi> <mo>^</mo> </mover> <mo>-</mo> <msub> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>p</mi> <mi>c</mi> </mrow> </msub> <msub> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>p</mi> </msub> </mrow> <mrow> <msup> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>I</mi> </mrow> </mfrac> <mo>,</mo> </mrow>
其中：∧表示离散傅立叶变换，y为回归标签，kpc表示上一帧的目标外观与当前帧外观在高维空间的互相关，ap表示上一帧的分类器系数，表示对角元素为基样本的傅立叶变换，λ为控制过拟合的正则参数，I是单位向量；
D、快速目标检测：在下一帧中循环移动检测区域z得到候选块，代入分类器得到f(z)＝(Kz)Tα以及目标位置(xi,yi)＝arg max f(z)，其中：K为核矩阵；
F、分类器训练：返回B步骤，然后在C步骤中以目标中心(xi,yi)所在上下文作为基训练样本，得到分类器增量系数a，更新模型，继续下一帧的更新。
2.根据权利要求1所述运动背景下的视觉跟踪方法，其特征在于所述D步骤后及F步骤还包括目标尺度估计步骤，所述目标尺度估计步骤是利用Mean Shift方法中的目标的颜色直方图模型，在候选目标区域计算得到区域内像素点颜色值与目标颜色直方图模型对应分量的相似性权值，得到候选区域的权重分布图，再根据权重分布图的一阶统计特征来计算目标尺度的大小。
3.根据权利要求2所述运动背景下的视觉跟踪方法，其特征在于所述目标尺度估计步骤包括候选目标颜色直方图模型计算、候选目标区域权重计算、确定目标跟踪结果分步骤，具体包括：
E1、候选目标颜色直方图模型计算：
目标颜色直方图模型
候选目标颜色直方图模型
目标颜色直方图模型qu的相似度
其中：C、Ch为常数，即函数在某区间的积分始终为1，k(x)为核化函数，xi、xi *分别为目标区域、候选目标区域的特殊标记位置，h为频带参数，u为直方图的分量，nh为目标窗口的像素数，m通常取值为8，16或32，ρ(y)为Bhattacharyya系数；
E2、候选目标区域权重计算：
目标在候选区域的权重其中：wi为候选目标区域的相似性权值；
E3、确定目标跟踪结果：
目标尺度的估计值A＝c(ρ)M0，
式中，c(ρ)是关于ρ(0≤ρ≤1)的单调递增函数，
目标的长h’和宽w’，
其中：δ1为常数，当ρ等于1时c(ρ)＝1，K为跟踪框为矩形框时的长宽比恒定值。
4.根据权利要求3所述运动背景下的视觉跟踪方法，其特征在于所述E2步骤中候选目标区域的相似性权值wi为：
5.根据权利要求1、2或3所述运动背景下的视觉跟踪方法，其特征在于所述C步骤中：
6.根据权利要求1、2或3所述运动背景下的视觉跟踪方法，其特征在于所述F步骤中更新模型按下式进行：
model_x＝(1-ρ)model_x+ρxf，
model_α＝(1-ρ)model_x+ρ×α。
7.根据权利要求1、2或3所述运动背景下的视觉跟踪方法，其特征在于所述A步骤中自动读取并判别内置模型或手动来标注目标(x1,y1)及跟踪区域。
8.一种基于权利要求1所述运动背景下的视觉跟踪方法的视觉跟踪***，其特征在于包括目标初始化模块、图像特征提取模块、分类器初始训练模块、快速目标检测模块、分类器训练模块，
所述目标初始化模块，用于读取视频序列第一帧并标注目标(x1,y1)及跟踪区域；
所述图像特征提取模块，用于循环密集采集标注目标及跟踪区域的图像并提取特征；
所述分类器初始训练模块，用于将目标周围上下文区域xi为作为基训练样本，加入上下帧约束，得到学习分类器增量系数a为：
<mrow> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mo>=</mo> <mfrac> <mrow> <mover> <mi>y</mi> <mo>^</mo> </mover> <mo>-</mo> <msub> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>p</mi> <mi>c</mi> </mrow> </msub> <msub> <mover> <mi>&amp;alpha;</mi> <mo>^</mo> </mover> <mi>p</mi> </msub> </mrow> <mrow> <msup> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>x</mi> <mi>x</mi> </mrow> </msup> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>I</mi> </mrow> </mfrac> <mo>,</mo> </mrow>
其中：∧表示离散傅立叶变换，y为回归标签，kpc表示上一帧的目标外观与当前帧外观在高维空间的互相关，ap表示上一帧的分类器系数，表示对角元素为基样本的傅立叶变换，λ为控制过拟合的正则参数，I是单位向量；
所述快速目标检测模块，用于在下一帧中循环移动检测区域z得到候选块，代入分类器得到f(z)＝(Kz)Tα以及目标位置(xi,yi)＝arg max f(z)，其中：K为核矩阵；
所述分类器训练模块，用于返回图像特征提取模块，然后在分类器初始训练模块中以目标中心(xi,yi)所在上下文作为基训练样本，得到分类器增量系数a，更新模型，继续下一帧的更新。
9.根据权利要求8所述视觉跟踪***，其特征在于还包括目标尺度估计模块，所述目标尺度估计模块利用Mean Shift方法中的目标的颜色直方图模型，在候选目标区域计算得到区域内像素点颜色值与目标颜色直方图模型对应分量的相似性权值，得到候选区域的权重分布图，再根据权重分布图的一阶统计特征来计算目标尺度的大小。
10.根据权利要求9所述视觉跟踪***，其特征在于所述目标尺度估计模块包括候选目标颜色直方图模型计算单元、候选目标区域权重计算单元、确定目标跟踪结果单元，
所述候选目标颜色直方图模型计算单元：用于计算目标颜色直方图模型、候选目标颜色直方图模型及目标颜色直方图模型qu的相似度，
目标颜色直方图模型
候选目标颜色直方图模型
目标颜色直方图模型qu的相似度
其中：C、Ch为常数，即函数在某区间的积分始终为1，k(x)为核化函数，xi、xi *分别为目标区域、候选目标区域的特殊标记位置，h为频带参数，u为直方图的分量，nh为目标窗口的像素数，m通常取值为8，16或32，ρ(y)为Bhattacharyya系数；
所述候选目标区域权重计算单元用于计算目标在候选区域的权重：
目标在候选区域的权重其中：wi为候选目标区域的相似性权值；
所述确定目标跟踪结果单元用于计算目标尺度的估计值及目标的长和宽：
目标尺度的估计值A＝c(ρ)M0，
式中，c(ρ)是关于ρ(0≤ρ≤1)的单调递增函数，
目标的长h’和宽w’，
其中：δ1为常数，当ρ等于1时c(ρ)＝1，K为跟踪框为矩形框时的长宽比恒定值。
CN201710857674.7A 2017-09-21 2017-09-21 一种运动背景下的视觉跟踪方法及视觉跟踪*** Pending CN107403175A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710857674.7A CN107403175A (zh) 2017-09-21 2017-09-21 一种运动背景下的视觉跟踪方法及视觉跟踪***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710857674.7A CN107403175A (zh) 2017-09-21 2017-09-21 一种运动背景下的视觉跟踪方法及视觉跟踪***

Publications (1)

Publication Number Publication Date
CN107403175A true CN107403175A (zh) 2017-11-28

Family

ID=60388209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710857674.7A Pending CN107403175A (zh) 2017-09-21 2017-09-21 一种运动背景下的视觉跟踪方法及视觉跟踪***

Country Status (1)

Country Link
CN (1) CN107403175A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977980A (zh) * 2017-12-06 2018-05-01 北京飞搜科技有限公司 一种目标跟踪方法、设备以及可读介质
CN108320306A (zh) * 2018-03-06 2018-07-24 河北新途科技有限公司 融合tld和kcf的视频目标跟踪方法
CN108334844A (zh) * 2018-02-06 2018-07-27 贵州电网有限责任公司 一种输电线路巡检的沿线自动跟踪方法
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN108470355A (zh) * 2018-04-04 2018-08-31 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
CN108734109A (zh) * 2018-04-24 2018-11-02 中南民族大学 一种面向图像序列的视觉目标跟踪方法及***
CN109035290A (zh) * 2018-07-16 2018-12-18 南京信息工程大学 一种基于高置信度更新补充学习的跟踪算法
CN109887005A (zh) * 2019-02-26 2019-06-14 华北理工大学 基于视觉注意机制的tld目标跟踪算法
CN109934098A (zh) * 2019-01-24 2019-06-25 西北工业大学 一种带隐私保护的摄像机智能***及其实现方法
CN110111370A (zh) * 2019-05-15 2019-08-09 重庆大学 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法
CN110348492A (zh) * 2019-06-24 2019-10-18 昆明理工大学 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法
CN110458045A (zh) * 2019-07-22 2019-11-15 浙江大华技术股份有限公司 响应概率直方图的获取方法、图像处理方法以及装置
CN110751670A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN110930434A (zh) * 2019-11-21 2020-03-27 腾讯科技（深圳）有限公司 目标对象跟踪方法、装置、存储介质和计算机设备
CN110929560A (zh) * 2019-10-11 2020-03-27 杭州电子科技大学 融合目标检测与跟踪的视频半自动目标标注方法
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN112233143A (zh) * 2020-12-14 2021-01-15 浙江大华技术股份有限公司 目标跟踪方法、装置以及计算机可读存储介质
CN112465871A (zh) * 2020-12-07 2021-03-09 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种视觉跟踪算法准确性的评价方法及***
CN112580478A (zh) * 2020-12-14 2021-03-30 深圳创怀医疗科技有限公司 判断样本漂动的方法以及电子设备
CN112785726A (zh) * 2020-12-31 2021-05-11 杭州滨雅科技有限公司 一种智慧景区管理***
CN112907630A (zh) * 2021-02-06 2021-06-04 洛阳热感科技有限公司 基于均值漂移预测和时空上下文信息的实时跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506901A (zh) * 2016-09-18 2017-03-15 昆明理工大学 一种显著性视觉注意模型的混合式数字图像半色调方法
CN106570887A (zh) * 2016-11-04 2017-04-19 天津大学 结合LBP特征自适应Mean Shift目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506901A (zh) * 2016-09-18 2017-03-15 昆明理工大学 一种显著性视觉注意模型的混合式数字图像半色调方法
CN106570887A (zh) * 2016-11-04 2017-04-19 天津大学 结合LBP特征自适应Mean Shift目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宁纪锋: "图像分割和目标跟踪中的若干问题研究" *
***: "基于时空上下文和核相关滤波器的密集采样目标跟踪方法研究" *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977980A (zh) * 2017-12-06 2018-05-01 北京飞搜科技有限公司 一种目标跟踪方法、设备以及可读介质
CN107977980B (zh) * 2017-12-06 2021-01-05 北京飞搜科技有限公司 一种目标跟踪方法、设备以及可读介质
CN108470332A (zh) * 2018-01-24 2018-08-31 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN108470332B (zh) * 2018-01-24 2023-07-07 博云视觉（北京）科技有限公司 一种多目标跟踪方法及装置
CN108334844A (zh) * 2018-02-06 2018-07-27 贵州电网有限责任公司 一种输电线路巡检的沿线自动跟踪方法
CN108320306A (zh) * 2018-03-06 2018-07-24 河北新途科技有限公司 融合tld和kcf的视频目标跟踪方法
CN108470355B (zh) * 2018-04-04 2022-08-09 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
CN108470355A (zh) * 2018-04-04 2018-08-31 中山大学 融合卷积网络特征和判别式相关滤波器的目标跟踪方法
CN108734109A (zh) * 2018-04-24 2018-11-02 中南民族大学 一种面向图像序列的视觉目标跟踪方法及***
CN108734109B (zh) * 2018-04-24 2020-11-17 中南民族大学 一种面向图像序列的视觉目标跟踪方法及***
CN109035290A (zh) * 2018-07-16 2018-12-18 南京信息工程大学 一种基于高置信度更新补充学习的跟踪算法
CN110751670B (zh) * 2018-07-23 2022-10-25 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN110751670A (zh) * 2018-07-23 2020-02-04 中国科学院长春光学精密机械与物理研究所 一种基于融合的目标跟踪方法
CN109934098A (zh) * 2019-01-24 2019-06-25 西北工业大学 一种带隐私保护的摄像机智能***及其实现方法
CN109887005A (zh) * 2019-02-26 2019-06-14 华北理工大学 基于视觉注意机制的tld目标跟踪算法
CN109887005B (zh) * 2019-02-26 2023-05-30 天津城建大学 基于视觉注意机制的tld目标跟踪方法
CN110111370B (zh) * 2019-05-15 2023-05-30 重庆大学 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法
CN110111370A (zh) * 2019-05-15 2019-08-09 重庆大学 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法
CN110348492A (zh) * 2019-06-24 2019-10-18 昆明理工大学 一种基于上下文信息及多特征融合的相关滤波目标跟踪方法
CN110458045A (zh) * 2019-07-22 2019-11-15 浙江大华技术股份有限公司 响应概率直方图的获取方法、图像处理方法以及装置
CN110929560A (zh) * 2019-10-11 2020-03-27 杭州电子科技大学 融合目标检测与跟踪的视频半自动目标标注方法
CN110929560B (zh) * 2019-10-11 2022-10-14 杭州电子科技大学 融合目标检测与跟踪的视频半自动目标标注方法
CN110930434A (zh) * 2019-11-21 2020-03-27 腾讯科技（深圳）有限公司 目标对象跟踪方法、装置、存储介质和计算机设备
CN110930434B (zh) * 2019-11-21 2023-05-12 腾讯科技（深圳）有限公司 目标对象跟随方法、装置、存储介质和计算机设备
CN111161311A (zh) * 2019-12-09 2020-05-15 中车工业研究院有限公司 一种基于深度学习的视觉多目标跟踪方法及装置
CN112465871B (zh) * 2020-12-07 2023-10-17 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种视觉跟踪算法准确性的评价方法及***
CN112465871A (zh) * 2020-12-07 2021-03-09 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种视觉跟踪算法准确性的评价方法及***
CN112233143A (zh) * 2020-12-14 2021-01-15 浙江大华技术股份有限公司 目标跟踪方法、装置以及计算机可读存储介质
CN112233143B (zh) * 2020-12-14 2021-05-11 浙江大华技术股份有限公司 目标跟踪方法、装置以及计算机可读存储介质
CN112580478A (zh) * 2020-12-14 2021-03-30 深圳创怀医疗科技有限公司 判断样本漂动的方法以及电子设备
CN112785726B (zh) * 2020-12-31 2022-06-24 浙江滨雅数智信息产业有限公司 一种智慧景区管理***
CN112785726A (zh) * 2020-12-31 2021-05-11 杭州滨雅科技有限公司 一种智慧景区管理***
CN112907630A (zh) * 2021-02-06 2021-06-04 洛阳热感科技有限公司 基于均值漂移预测和时空上下文信息的实时跟踪方法

Similar Documents

Publication Publication Date Title
CN107403175A (zh) 一种运动背景下的视觉跟踪方法及视觉跟踪***
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN107452015B (zh) 一种具有重检测机制的目标跟踪***
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN113592911B (zh) 表观增强深度目标跟踪方法
CN110059642B (zh) 人脸图像筛选方法与装置
CN109635634B (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN110298297A (zh) 火焰识别方法和装置
CN108648211A (zh) 一种基于深度学习的小目标检测方法、装置、设备和介质
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及***
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN111582349A (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN113160283A (zh) 一种基于sift的多摄像头场景下的目标跟踪方法
CN109165602A (zh) 一种基于视频分析的黑烟车检测方法
CN109697727A (zh) 基于相关滤波和度量学习的目标跟踪方法、***及存储介质
Song et al. Target detection via HSV color model and edge gradient information in infrared and visible image sequences under complicated background
CN113569726B (zh) 一种联合自动数据增广和损失函数搜索的行人检测方法
Ding et al. Machine learning model for feature recognition of sports competition based on improved TLD algorithm
CN108257148B (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
Li et al. A context-free method for robust grasp detection: Learning to overcome contextual bias
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171128

RJ01 Rejection of invention patent application after publication