CN102074016A - 运动目标自动跟踪的装置和方法 - Google Patents

运动目标自动跟踪的装置和方法 Download PDF

Info

Publication number
CN102074016A
CN102074016A CN2009102250180A CN200910225018A CN102074016A CN 102074016 A CN102074016 A CN 102074016A CN 2009102250180 A CN2009102250180 A CN 2009102250180A CN 200910225018 A CN200910225018 A CN 200910225018A CN 102074016 A CN102074016 A CN 102074016A
Authority
CN
China
Prior art keywords
target
moving target
image
tracking
movement properties
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009102250180A
Other languages
English (en)
Inventor
全晓臣
贾永华
胡扬忠
邬伟琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Software Co Ltd filed Critical Hangzhou Hikvision Software Co Ltd
Priority to CN2009102250180A priority Critical patent/CN102074016A/zh
Priority to PCT/CN2010/070307 priority patent/WO2011063616A1/zh
Publication of CN102074016A publication Critical patent/CN102074016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了运动目标自动跟踪装置和方法。所述运动目标自动跟踪装置包括:跟踪目标选择单元,选择所跟踪的运动目标;目标特征初始化单元,用于对运动目标进行特征初始化,来获得运动目标的特征模板;模板匹配单元,用于根据所初始化的运动目标的特征模板进行基于特征的模板匹配,来产生图像匹配信息;运动属性计算单元,用于计算运动目标的特征模板的运动属性;模板更新单元,用于根据运动目标的特征模板的运动属性来进行特征模板的更新;和目标搜寻单元,用于根据所述特征模板的运动属性来进行目标的搜寻;所述运动目标自动跟踪装置还包括控制模块,其用于根据模板匹配单元产生的图像匹配信息产生控制命令,来进行运动目标的自动跟踪。

Description

运动目标自动跟踪的装置和方法
技术领域
本发明涉及运动目标自动跟踪的装置和方法,更具体地说,本申请涉及能让快球在预置位自动检测异常的运动目标,并能不断的调整自身的姿态和倍率值的运动目标自动跟踪的装置和方法,其使得目标始终以一定大小保持在目标的中心,得到目标丰富的细节。
背景技术
随着社会的不断进步,视频监控***的应用范围越来越广。现有的数字监控***远远不能满足于许多应用场合的需要,主要体现在智能化程度不够高,还处于一种半自动化状态,很多场合还需要人工干预,比如当发现异常情况(运动目标等)时,不能自动的识别和跟踪目标,不能自动的完成光圈调整和聚焦功能,这一切都需要人工来完成,由于人工操作具有滞后性,使许多重要的信息丢失。整个***处于一种被动监控之中。因此为了解决上述问题,快球需要有自动跟踪的功能,要能自动检测异常目标,并能自动的调整焦距和位置使目标始终以预定尺寸处于视野的中心,得到目标丰富的信息,同时立即报警通知相关人员来处理,是一种主动的监控方式,大大发挥了快球的实际应用价值。
快球自动跟踪主要涉及图像分析和自动控制两个模块。图像分析模块得到快球自动跟踪的信息,经过自动控制模块执行来控制快球。根据图像分析信息的来源不同,可以有两种方式实现自动跟踪:一种是主从摄像机跟踪***,另一种是单个快球跟踪***。主从摄像机跟踪***的分析信息来自***中的静态摄像机,也就是主摄像机,这些分析信息传递给快球后,控制快球自动跟踪目标。单个快球跟踪是指快球利用本身的图像信息进行分析,得到信息后控制快球本身去跟踪目标。
主从摄像机跟踪***由于需要至少一个静态摄像机的配合,增加了成本,而且静态摄像机和快球之间的标定也是比较复杂的过程。单个快球跟踪由于只需一个快球就可以做自动跟踪的功能,因此成本较低,许多科研机构和公司也开展了这方面的研究和应用。例如博世公司的autotrack快球,其采用基于运动检测的目标跟踪,其对于运动目标微小运动,如正对着快球的时候运动的时候,效果不好,而且容易受到背景运动目标的干扰,如玻璃的倒影等。
发明内容
因此,本发明的目的是解决上述现有技术中的一个或多个问题和缺点。
为了解决现有技术中的问题,本发明的目的是提供一种简单,稳定的目标自动跟踪装置和方法。
根据本发明的一个方面,提供了一种运动目标自动跟踪装置,包括:跟踪目标选择单元,用于选择所述运动目标自动跟踪装置所跟踪的运动目标;目标特征初始化单元,用于对由跟踪目标选择单元选择的运动目标进行特征初始化,来获得运动目标的特征模板;模板匹配单元,用于根据由目标特征初始化单元所初始化的运动目标的特征模板进行基于特征的模板匹配,来产生图像匹配信息;运动属性计算单元,用于计算运动目标的特征模板的运动属性;模板更新单元,用于根据运动属性计算单元计算的运动目标的特征模板的运动属性来进行特征模板的更新;和目标搜寻单元,用于根据运动属性计算单元计算的运动目标的特征模板的运动属性来进行所要跟踪目标的搜寻;和控制模块,其用于根据模板匹配单元产生的图像匹配信息产生控制命令,来进行运动目标的自动跟踪。
在本发明中,所述运动属性计算单元进一步包括:差分图像计算部分,其对于前一帧图像进行图像配准以得到当前帧的补偿图,并将当前帧的补偿图与当前帧的图像进行差分得到二值图像;比例计算部分,在特征模板相对应的矩形框内计算差分图像的前景值,并统计前景点数占整个矩形框的比例;其中,所述运动属性计算单元在所述比例大于一阈值时判定运动属性为动态的,且在所述比例小于一阈值时判定运动属性为静态的。
在本发明中,当所述运动属性计算单元判定所述特征模板的运动属性是动态的时,由所述模板更新单元进行所述特征模板的更新。
在本发明中,当所述运动属性计算单元判定所述特征模板的运动属性是静态时,由所述目标搜寻单元进行目标的特征模板的搜寻,以进行新的跟踪或结束本次跟踪。
在本发明中,当该目标搜寻单元搜寻到原来的运动目标时,开始新的跟踪。
在本发明中,当该目标搜寻单元没有搜寻到原来的运动目标时,表明目标离开自动跟踪范围,结束本次跟踪。
根据本发明的另一方面,提供了一种运动目标自动跟踪方法,包括:图像分析步骤,其采用基于特征点的跟踪方法对作为跟踪目标的图像进行图像分析,以产生用于运动目标自动跟踪的控制信息,所述图像分析步骤进一步包括:跟踪目标选择步骤,用于选择所述运动目标自动跟踪方法所跟踪的运动目标;目标特征初始化步骤,用于对由跟踪目标选择步骤选择的目标进行特征初始化,来获得所述运动目标的特征模板;模板匹配步骤,根据由目标特征初始化步骤所初始化的运动目标的特征模板进行基于特征的模板匹配,来产生图像匹配信息;运动属性计算步骤,计算所述运动目标的特征模板的运动属性;目标漂移判定步骤,根据运动属性计算步骤所计算的特征模板的运动属性,判定目标是否发生了漂移;模板更新步骤,其根据目标漂移判定步骤进行的目标没有发生漂移的判定,进行特征模板的更新;和目标搜寻步骤,其根据目标漂移判定步骤进行的目标已经发生漂移的判定,进行所跟踪的目标搜寻;控制步骤,用于根据图像分析步骤产生的图像匹配信息产生控制命令,来进行运动目标的自动跟踪。
在本发明中,所述运动属性计算步骤进一步包括:差分图像计算步骤,对于前一帧图像进行图像配准以得到当前帧的补偿图,并将当前帧的补偿图与当前帧的图像进行差分得到二值图像;比例计算步骤,在特征模板相对应的矩形框内计算差分图像的前景值,并统计前景点数占整个矩形框的比例。
在本发明中,所述目标漂移判定步骤在所述比例计算步骤所计算的所述比例大于一阈值时判定运动属性为动态的,且在所述比例小于一阈值时判定运动属性为静态的。
本发明采用基于特征点跟踪的方法,对于运动目标微小运动甚至暂时静止的情况也能获得较好的跟踪,能有效抑制背景运动的干扰,获得比较平滑稳定的跟踪。
附图说明
图1是示出根据本发明的运动目标跟踪装置的总体配置的***框图;
图2是示出根据本发明的运动目标跟踪装置的图像分析模块的具体配置的框图;
图3是示出了本发明的运动目标跟踪装置100的控制模块102的具体配置的框图;
图4是示出了根据本发明的倍率控制的示意图;和
图5是示出了本发明的运动目标跟踪方法中图像分析的具体流程图。
具体实施方式
为了实现以上根据本发明的目的,在本发明的运动目标自动跟踪的装置和方法中,其采用的硬件为高速球,且主要包含数字信号处理(DSP),ARM和电机及镜头部分。
图1是示出根据本发明的运动目标跟踪装置100的总体配置的***框图。如图1所示,运动目标跟踪装置100包括图像分析模块101、控制模块102和步进电机和镜头103。在图1的运动目标跟踪装置100中,图像分析模块101在DSP上,控制模块102在ARM上。其中,控制模块102根据图像分析模块101得到的控制信息发送控制命令到步进电机和镜头103以驱动步进电机和镜头103,从而不断调整镜头的摇摄值、俯仰值和倍率值,使目标始终以预定尺寸处于图像视野的中心。这里,镜头的摇摄值表示镜头的摇摄角(即水平方向)的值,镜头的俯仰值表示镜头的俯仰角(即垂直方向)的值,且镜头的倍率值表示镜头的倍率(即,前后方向的放大/缩小倍率)的值。并且,图像分析模块101又从步进电机和镜头103接收图像,以进行图像分析。
这里,图像分析模块101先在视野较大的预置位检测异常目标,如果有检测到异常目标后,就提取目标的特征模板,并依此在以后的图像中搜索目标。
图2是示出根据本发明的运动目标跟踪装置100的图像分析模块101的具体配置的框图。
如图2所示,图像分析模块101包括跟踪目标选择单元201、目标特征初始化单元202、模板匹配单元203、运动属性计算单元204、模板更新单元205和目标搜寻单元206。下面,将对图像分析模块101的各个单元作具体描述如下。
在跟踪目标选择单元201中,选择要跟踪以进行图像分析的目标。这里,选择要跟踪的目标有两种方式:一是采用人机交互的方式在视频中指定目标,人员可以利用鼠标点击视频中感兴趣的目标,然后快球自动去跟踪。二是通过事件检测自动获取跟踪目标,如有异常目标触发了跨越警戒线,进入警戒区域等预先设置好的警戒规则等。
目标特征初始化单元202连接到跟踪目标选择单元201,并对于跟踪目标选择单元201所选择的要进行图像分析的目标进行特征初始化。由于本发明采用基于特征的跟踪方式,因此目标的特征模板为目标特征点附近的一块灰度区域,而特征点则为人工指定目标或者检测目标的中心点。
模板匹配单元203连接到目标特征初始化单元202,其基于由目标特征初始化单元202进行初始化的特征,进行基于特征的模板匹配,根据目标的模板,在当前图像寻找与目标最匹配的区域。在本发明的模板匹配单元203中,采用Lucas-Kanade特征点跟踪方法。Lucas-Kanade算法的目的是在当前图像中搜索位移量使得与对应点相关的邻域的匹配误差最小。假设相邻两帧图像I1,I2,对I1中的特征点p=(x,y)T,偏移量为d=(u,v)T,则在I2中对应的特征点为p+d,在p的局部邻域N(P)上定义如下的代价函数:
c ( d ) = Σ r ∈ N ( p ) w ( r ) ( I 2 ( r + d ) - I 1 ( r ) ) 2 公式1
其中w(r)为权函数。
对其优化得到所求解:d=G-1h,其中
G = Σ r ∈ N ( p ) w ( r ) ▿ I 2 ▿ I 2 T , 公式2
h = Σ r ∈ N ( p ) w ( r ) ▿ I 2 ▿ I , 公式3
ΔI=I1-I2,    公式4
▿ I 2 = dI 2 dr . 公式5
Lucas-Kanade算法是一种Newton梯度下降法,通过多次迭代可以得到较好的解。
在自动跟踪过程中,由于倍率的变化,目标在图像中的位置可能变化较大,为增加Lucas-Kanade算法搜索的稳定性,对图像进行金字塔分解,对目标进行由粗到细的搜索。
运动属性计算单元204连接到模板匹配单元203,计算运动目标的模板运动属性。在实际监控场景应用中,目标在运动时,目标的姿态和环境的光照等都会发生变化,如果目标的线索模板不更新,没有及时反映目标的变化,线索模板的可靠性降低,容易导致跟踪失败。因此,将目标最新的匹配值也包含在目标模板中来,具体公式如下:
Tk(x,y)=(1-α)Tk-1(x,y)+αIk(x,y)     公式6
其中Tk-1(x,y)和Tk(x,y)为目标k-1时刻和k时刻的模板,Ik(x,y)为目标当前时刻的匹配值,α为更新率,即将新的匹配值融合到灰度模板中的速率,当α比较大时,新的观测值很快就融入灰度模板,当如果前一时刻目标跟踪不是很准确,则这不准确的观测值也很快融入灰度模板,形成一个正反馈,容易导致跟踪失败。而当α比较小时,如果新的观测值没有及时反映到灰度模板中,也容易造成跟踪失误。因此选取一个合适的更新率对整个跟踪结果起着重要的作用,然而这个更新率很难做到自适应的取值。
由于目标特征模板基本上都是漂移到背景上,本发明采用模板的运动属性来判断目标是否发生漂移。如果特征模板运动属性是动的,则表明没有发生漂移,在正常跟踪,模板更新单元205工作。如果特征模板运动属性为静态的,则表明发生了漂移,目标搜寻单元206工作。
对于模板的运动属性计算,所述运动属性计算单元204可进一步包括差分图像计算部分301和比例计算部分302。
其中,差分图像计算部分301计算补偿后的差分图像,其将前一帧图通过图像配准的方法补偿得到相对于当前帧的补偿图,再与当前帧图像差分得到二值图像。由于不动的背景已经通过图像配准方式得到补偿,因此二值图像显示的是运动目标的信息。
并且,比例计算部分302计算运动属性的比例,其中,在特征模板相对应的矩形框里计算差分图像的前景值,统计前景点数占整个矩形框的比例,比例如果大于一定阈值则运动属性为动态的,如果小于一定阈值则运动属性为静态的。
在模板更新单元205中,如果特征模板运动属性是动态的,则表明目标没有发生漂移,在正常跟踪,进行特征模板更新,将当前的观测值作为目标模板,即α=1,然后开始下一帧的跟踪。
在目标搜寻单元206中,如果特征模板运动属性是静态的,则有两种可能性,一是模板漂移到背景上,二是目标离开快球的监控范围,真正消失了。通过帧差法重新寻找目标,如果搜寻到原来的运动目标的话则表明此前是模板发生漂移,开始新的跟踪。如果没有搜寻到原来的运动目标的话,则表明目标已经消失,结束此次跟踪。
随后,控制模块102将来自图像分析模块101的图像匹配的信息翻译成步进电机的控制命令,驱动镜头始终对着目标。
图3是示出了本发明的运动目标跟踪装置100的控制模块102的具体配置的框图。
如图3所示,控制模块102包括图像坐标转化单元401、速度控制单元402和倍率控制单元403。下面,将详细描述控制模块102的各个单元。
在图像坐标转化单元401中,由于图像分析模块101传递给控制模块102的信息是目标在当前图像的坐标信息,是基于图像空间的,而快球控制的空间是PTZ空间,因此需要将图像坐标转化到PTZ坐标。如果已知快球的内部参数,如CCD感光元件大小和焦距,在图像坐标转化单元401中,可以利用3D圆型旋转的方式得到图像坐标和PTZ坐标之间的对应关系。
速度控制单元402与图像坐标转化单元401连接,并从图像坐标转化单元401接收目标的PTZ坐标,从而控制电机的转动。如果采用绝对值的方式控制,则可能会造成画面不连续的情况。为了得到平稳的图像,本发明采用基于速度的控制方法,将得到的目标PT值与当前电机的PT值进行差分,假设Pnew,Tnew为目标在快球坐标系下的PT值,Pcur,Pcur为快球当前的PT状态值,Δt为处理一帧所需的时间,可以根据下面的公式确定定电机运动的方向和速度大小。
V pan = ΔP Δt = P new - P cuw Δt 公式7
V tilt = ΔT Δt = T new - T cuw Δt 公式8
随后,在倍率控制单元403中,由于在跟踪阶段中,运动目标离快球的距离会发生变化,因此需要进行适当的倍率控制,如果目标远离快球,则放大倍率,如果目标走近快球,则缩小倍率,保证目标始终以一定的尺寸在场景视野中。本发明假设监控视野为地平面,采用如图4所示的简单的模型,这里,图4示出了倍率控制的示意图。
如图4所示,假设目标的距离和倍率是成正比的,满足以下关系:
Z 1 Z 0 = D 1 D 0 = H / sin ( T 1 ) H / sin ( T 0 ) = sin ( T 0 ) sin ( T 1 ) 公式9
其中Z0,T0为根据实际场景预先确定的缩放系数,因此如果知道了T1,也就可以求出此时的倍率Z1,然后控制模块将镜头设置为Z1的倍率。
下面,将描述根据本发明的运动目标自动跟踪方法。在本发明的运动目标自动跟踪方法中,基于对于目标图像进行图像分析的结果进行控制,从而不断调整镜头的摇摄值、俯仰值和倍率值,使目标始终以一定的尺寸处于图像视野的中心。
接下来将参考图5的流程图对本发明的运动目标自动跟踪方法中的图像分析进行具体描述。
在步骤S10,选择要跟踪的目标,如上所述,选择要跟踪的目标有两种方式:一是采用人机交互的方式在视频中指定目标,人员可以利用鼠标点击视频中感兴趣的目标,然后快球自动去跟踪。二是通过事件检测自动获取跟踪目标,如有异常目标触发了跨越警戒线,进入警戒区域等预先设置好的警戒规则。
随后,在步骤S20,初始化目标特征。由于本发明采用基于特征的跟踪方式,因此目标的特征模板为目标特征点附近的一块灰度区域,而特征点则为人工指定目标或者检测目标的中心点。
之后,在步骤S30,进行基于特征的模板匹配。在本发明中,根据目标的模板,在当前图像寻找与目标最匹配的区域。本发明采用Lucas-Kanade特征点跟踪方法。由于在上文中已经描述了Lucas-Kanade方法,这里将省略对其的重复描述。
此外,同上述相同,在自动跟踪过程中,由于倍率的变化,目标在图像中的位置可能变化较大,为增加Lucas-Kanade算法搜索的稳定性,对图像进行金字塔分解,对目标进行由粗到细的搜索。
随后,在步骤S40,计算运动目标的模板的运动属性。这里,运动目标的模板的运动属性的计算同上述结合图像分析模块101的运动属性计算单元204所述的相同,这里,将省略其重复描述。
随后,在步骤S50,本发明通过上述步骤S40中计算的模板的运动属性来判断目标是否发生漂移。如果特征模板的运动属性是动的,则表明没有发生漂移,进入步骤S60中正常跟踪,对模板进行更新。如果特征模板运动属性为静态的,则表明发生了漂移,进入步骤S70。
如上所述,模板的运动属性计算可包括计算补偿后差分图像和计算运动属性的比例的两个具体步骤,其与上述差分图像计算部分和比率计算部分中的描述相同,这里,将省略其重复描述。
随后,在步骤S60,当特征模板运动属性是动态的时,表明目标没有发生漂移,在正常跟踪,进行特征模板更新,将当前的观测值作为目标模板,即α=0,然后开始下一帧的跟踪。
并且,在步骤S70,当特征模板运动属性是静态的时,对于目标进行搜寻。并在步骤S80判断是否找到目标。例如,通过帧差法重新寻找目标,如果搜寻到原来的运动目标的话则表明此前是模板发生漂移,开始新的跟踪,即,返回到初始化目标特征的步骤。而如果没有搜寻到原来的运动目标的话,则表明目标已经消失,在步骤S90结束此次跟踪。
之后,在本发明的运动目标跟踪方法中,根据上述图像分析步骤中所产生的控制信息,对于快球进行自动控制。在本发明中,上述图像分析中采用基于特征点跟踪的方法,对于运动目标微小运动甚至暂时静止的情况也能获得较好的跟踪,能有效抑制背景运动的干扰,获得比较平滑稳定的跟踪。
在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时,可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中,使得计算机执行该计算机程序。或者,可以把计算机程序安装到能够执行各种类型的处理的通用计算机中,使得计算机执行该计算机程序。
例如,可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者,可以临时或者永久地存储(记录)计算机程序到可移动记录介质中,诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。
本发明已经参考具体实施例进行了详细说明。然而,很明显,在不背离本发明的精神的情况下,本领域技术人员能够对实施例执行更改和替换。换句话说,本发明用说明的形式公开,而不是被限制地解释。要判断本发明的要旨,应该考虑所附的权利要求。

Claims (9)

1.一种运动目标自动跟踪装置,包括:
跟踪目标选择单元,用于选择所述运动目标自动跟踪装置所跟踪的运动目标;
目标特征初始化单元,用于对由跟踪目标选择单元选择的运动目标进行特征初始化,来获得运动目标的特征模板;
模板匹配单元,用于根据由目标特征初始化单元所初始化的运动目标的特征模板进行基于特征的模板匹配,来产生图像匹配信息;
运动属性计算单元,用于计算运动目标的特征模板的运动属性;
模板更新单元,用于根据运动属性计算单元计算的运动目标的特征模板的运动属性来进行特征模板的更新;
目标搜寻单元,用于根据运动属性计算单元计算的运动目标的特征模板的运动属性来进行目标的搜寻;和
控制模块,其用于根据模板匹配单元产生的图像匹配信息产生控制命令,来进行运动目标的自动跟踪。
2.如权利要求1所述的运动目标自动跟踪装置,其中,所述运动属性计算单元进一步包括:
差分图像计算部分,其对于前一帧图像进行图像配准以得到当前帧的补偿图,并将当前帧的补偿图与当前帧的图像进行差分得到二值图像;
比例计算部分,在特征模板相对应的矩形框内计算差分图像的前景值,并统计前景点数占整个矩形框的比例;
其中,所述运动属性计算单元在所述比例大于一阈值时判定运动属性为动态的,且在所述比例小于一阈值时判定运动属性为静态的。
3.如权利要求2所述的运动目标自动跟踪装置,其中,当所述运动属性计算单元判定所述特征模板的运动属性是动态的时,由所述模板更新单元进行所述特征模板的更新。
4.如权利要求2所述的运动目标自动跟踪装置,其中,当所述运动属性计算单元判定所述特征模板的运动属性是静态时,由所述目标搜寻单元进行目标的特征模板的搜寻,以进行新的跟踪或结束本次跟踪。
5.如权利要求4所述的运动目标自动跟踪装置,其中,当该目标搜寻单元搜寻到原来的运动目标时,开始新的跟踪。
6.如权利要求4所述的运动目标自动跟踪装置,其中,当该目标搜寻单元没有搜寻到原来的运动目标时,表明目标离开自动跟踪范围,结束本次跟踪。
7.一种运动目标自动跟踪方法,包括:
图像分析步骤,其采用基于特征点的跟踪方法对作为跟踪目标的图像进行图像分析,以产生用于运动目标自动跟踪的控制信息,所述图像分析步骤进一步包括:
跟踪目标选择步骤,用于选择所述运动目标自动跟踪方法所跟踪的运动目标;
目标特征初始化步骤,用于对由跟踪目标选择步骤选择的目标进行特征初始化,来获得所述运动目标的特征模板;
模板匹配步骤,根据由目标特征初始化步骤所初始化的运动目标的特征模板进行基于特征的模板匹配,来产生图像匹配信息;
运动属性计算步骤,计算所述运动目标的特征模板的运动属性;
目标漂移判定步骤,根据运动属性计算步骤所计算的特征模板的运动属性,判定目标是否发生了漂移;
模板更新步骤,其根据目标漂移判定步骤进行的目标没有发生漂移的判定,进行特征模板的更新;和
目标搜寻步骤,其根据目标漂移判定步骤进行的目标已经发生漂移的判定,进行所跟踪的目标搜寻;
控制步骤,用于根据模板匹配步骤产生的图像匹配信息产生控制命令,来进行运动目标的自动跟踪。
8.如权利要求7所述的运动目标自动跟踪方法,其中,所述运动属性计算步骤进一步包括:
差分图像计算步骤,对于前一帧图像进行图像配准以得到当前帧的补偿图,并将当前帧的补偿图与当前帧的图像进行差分得到二值图像;
比例计算步骤,在特征模板相对应的矩形框内计算差分图像的前景值,并统计前景点数占整个矩形框的比例。
9.如权利要求8所述的运动目标自动跟踪方法,其中,所述目标漂移判定步骤在所述比例计算步骤所计算的所述比例大于一阈值时判定运动属性为动态的,且在所述比例小于一阈值时判定运动属性为静态的。
CN2009102250180A 2009-11-24 2009-11-24 运动目标自动跟踪的装置和方法 Pending CN102074016A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009102250180A CN102074016A (zh) 2009-11-24 2009-11-24 运动目标自动跟踪的装置和方法
PCT/CN2010/070307 WO2011063616A1 (zh) 2009-11-24 2010-01-21 运动目标自动跟踪的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102250180A CN102074016A (zh) 2009-11-24 2009-11-24 运动目标自动跟踪的装置和方法

Publications (1)

Publication Number Publication Date
CN102074016A true CN102074016A (zh) 2011-05-25

Family

ID=44032545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102250180A Pending CN102074016A (zh) 2009-11-24 2009-11-24 运动目标自动跟踪的装置和方法

Country Status (2)

Country Link
CN (1) CN102074016A (zh)
WO (1) WO2011063616A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679687A (zh) * 2012-09-18 2014-03-26 杭州海康威视数字技术股份有限公司 一种智能跟踪高速球机的目标跟踪的方法
CN103810692A (zh) * 2012-11-08 2014-05-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
WO2014131252A1 (zh) * 2013-02-28 2014-09-04 杭州海康威视数字技术股份有限公司 人体目标锁定跟踪装置和方法
CN104408725A (zh) * 2014-11-28 2015-03-11 中国航天时代电子公司 一种基于tld优化算法的目标重捕获***及方法
CN105867371A (zh) * 2016-04-06 2016-08-17 北京小米移动软件有限公司 控制平衡车移动的方法及装置
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN105931263A (zh) * 2016-03-31 2016-09-07 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
CN106296722A (zh) * 2015-05-25 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN106331625A (zh) * 2016-08-30 2017-01-11 天津天地伟业数码科技有限公司 一种室内单个人体目标ptz跟踪方法
CN106570892A (zh) * 2015-08-18 2017-04-19 航天图景(北京)科技有限公司 一种基于边缘增强模板匹配的运动目标主动跟踪方法
CN107454316A (zh) * 2017-07-24 2017-12-08 艾普柯微电子(上海)有限公司 运动检测方法及装置
CN108885469A (zh) * 2016-09-27 2018-11-23 深圳市大疆创新科技有限公司 用于在跟踪***中初始化目标物体的***和方法
CN110099209A (zh) * 2018-01-30 2019-08-06 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN110930429A (zh) * 2018-09-19 2020-03-27 杭州海康威视数字技术股份有限公司 一种目标跟踪处理方法、装置及设备、可读介质
US10782688B2 (en) 2015-12-10 2020-09-22 Autel Robotics Co., Ltd. Method, control apparatus, and system for tracking and shooting target

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046719B (zh) * 2015-07-03 2017-11-14 苏州科达科技股份有限公司 一种视频监控方法及***
CN106980843B (zh) * 2017-04-05 2019-09-06 南京航空航天大学 目标跟踪的方法及装置
TWI751866B (zh) * 2020-12-29 2022-01-01 仁寶電腦工業股份有限公司 影音通訊系統及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621929B1 (en) * 1999-06-22 2003-09-16 Siemens Corporate Research, Inc. Method for matching images using spatially-varying illumination change models
CN101369346A (zh) * 2007-08-13 2009-02-18 北京航空航天大学 一种视频运动目标自适应窗口的跟踪方法
CN101551909A (zh) * 2009-04-09 2009-10-07 上海交通大学 基于核及目标连续自适应分布特征的跟踪方法
CN101572803A (zh) * 2009-06-18 2009-11-04 中国科学技术大学 基于视频监控的可定制式自动跟踪***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157599A (ja) * 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法,物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
JP4283005B2 (ja) * 2003-02-06 2009-06-24 パナソニック株式会社 物体追跡方法、プログラム、及び記録媒体
CN1738426A (zh) * 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
US8379915B2 (en) * 2006-11-20 2013-02-19 Videosurf, Inc. Method of performing motion-based object extraction and tracking in video
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
CN101098465A (zh) * 2007-07-20 2008-01-02 哈尔滨工程大学 一种视频监控中运动目标检测与跟踪方法
CN101159855B (zh) * 2007-11-14 2011-04-06 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN101556697B (zh) * 2008-04-10 2012-07-25 上海宝康电子控制工程有限公司 一种基于快速特征点的运动目标跟踪方法与***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621929B1 (en) * 1999-06-22 2003-09-16 Siemens Corporate Research, Inc. Method for matching images using spatially-varying illumination change models
CN101369346A (zh) * 2007-08-13 2009-02-18 北京航空航天大学 一种视频运动目标自适应窗口的跟踪方法
CN101551909A (zh) * 2009-04-09 2009-10-07 上海交通大学 基于核及目标连续自适应分布特征的跟踪方法
CN101572803A (zh) * 2009-06-18 2009-11-04 中国科学技术大学 基于视频监控的可定制式自动跟踪***

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955074B2 (en) 2012-09-18 2018-04-24 Hangzhou Hikvision Digital Technology Co., Ltd. Target tracking method and system for intelligent tracking high speed dome camera
CN103679687A (zh) * 2012-09-18 2014-03-26 杭州海康威视数字技术股份有限公司 一种智能跟踪高速球机的目标跟踪的方法
CN103810692B (zh) * 2012-11-08 2016-12-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
CN103810692A (zh) * 2012-11-08 2014-05-21 杭州海康威视数字技术股份有限公司 视频监控设备进行视频跟踪的方法及该视频监控设备
CN104021569B (zh) * 2013-02-28 2018-03-20 杭州海康威视数字技术股份有限公司 人体目标锁定跟踪装置和方法
WO2014131252A1 (zh) * 2013-02-28 2014-09-04 杭州海康威视数字技术股份有限公司 人体目标锁定跟踪装置和方法
CN104408725B (zh) * 2014-11-28 2017-07-04 中国航天时代电子公司 一种基于tld优化算法的目标重捕获***及方法
CN104408725A (zh) * 2014-11-28 2015-03-11 中国航天时代电子公司 一种基于tld优化算法的目标重捕获***及方法
CN106296722B (zh) * 2015-05-25 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN106296722A (zh) * 2015-05-25 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN106570892A (zh) * 2015-08-18 2017-04-19 航天图景(北京)科技有限公司 一种基于边缘增强模板匹配的运动目标主动跟踪方法
CN106570892B (zh) * 2015-08-18 2019-05-28 航天图景(北京)科技有限公司 一种基于边缘增强模板匹配的运动目标主动跟踪方法
US10782688B2 (en) 2015-12-10 2020-09-22 Autel Robotics Co., Ltd. Method, control apparatus, and system for tracking and shooting target
WO2017167282A1 (zh) * 2016-03-31 2017-10-05 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备、计算机存储介质
CN105931263A (zh) * 2016-03-31 2016-09-07 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
CN105931263B (zh) * 2016-03-31 2019-09-20 纳恩博(北京)科技有限公司 一种目标跟踪方法及电子设备
CN105867371A (zh) * 2016-04-06 2016-08-17 北京小米移动软件有限公司 控制平衡车移动的方法及装置
CN105867371B (zh) * 2016-04-06 2019-05-21 北京小米移动软件有限公司 控制平衡车移动的方法及装置
CN105930858A (zh) * 2016-04-06 2016-09-07 吴晓军 一种带旋转、缩放的快速高精度几何模板匹配方法
CN106331625A (zh) * 2016-08-30 2017-01-11 天津天地伟业数码科技有限公司 一种室内单个人体目标ptz跟踪方法
CN108885469A (zh) * 2016-09-27 2018-11-23 深圳市大疆创新科技有限公司 用于在跟踪***中初始化目标物体的***和方法
CN107454316A (zh) * 2017-07-24 2017-12-08 艾普柯微电子(上海)有限公司 运动检测方法及装置
CN107454316B (zh) * 2017-07-24 2021-10-15 艾普柯微电子(江苏)有限公司 运动检测方法及装置
CN110099209A (zh) * 2018-01-30 2019-08-06 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN110099209B (zh) * 2018-01-30 2021-03-23 佳能株式会社 图像处理装置、图像处理方法和存储介质
US11100655B2 (en) 2018-01-30 2021-08-24 Canon Kabushiki Kaisha Image processing apparatus and image processing method for hiding a specific object in a captured image
CN110930429A (zh) * 2018-09-19 2020-03-27 杭州海康威视数字技术股份有限公司 一种目标跟踪处理方法、装置及设备、可读介质
CN110930429B (zh) * 2018-09-19 2023-03-31 杭州海康威视数字技术股份有限公司 一种目标跟踪处理方法、装置及设备、可读介质

Also Published As

Publication number Publication date
WO2011063616A1 (zh) 2011-06-03

Similar Documents

Publication Publication Date Title
CN102074016A (zh) 运动目标自动跟踪的装置和方法
CN109696663B (zh) 一种车载三维激光雷达标定方法和***
CN108717710A (zh) 室内环境下的定位方法、装置及***
US9955074B2 (en) Target tracking method and system for intelligent tracking high speed dome camera
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位***及方法
CN107131883A (zh) 基于视觉的全自动移动终端室内定位***
CN104021569B (zh) 人体目标锁定跟踪装置和方法
CN110597265A (zh) 一种扫地机器人回充方法和装置
CN103837143A (zh) 一种超级测绘机
CN105874384A (zh) 基于多种测距方式的跟焦***、方法及拍摄***
CN115205559A (zh) 一种跨域车辆重识别及连续轨迹构建方法
CN111192303B (zh) 一种点云数据处理方法及装置
CN103868504A (zh) 自主测绘机
CN110809118A (zh) 一种用于枪球联动的快速聚焦方法
WO2021232826A1 (zh) 基于无线定位技术的摄像机动态跟踪路面目标的控制方法和装置
CN114923491A (zh) 一种基于特征融合和距离融合的三维多目标在线跟踪方法
CN113741550B (zh) 移动机器人跟随方法和***
CN110889353A (zh) 基于主焦点大视场光电望远镜的空间目标识别方法
CN110176022A (zh) 一种基于视频检测的隧道全景监控***及方法
CN109559333A (zh) 跟踪记录装置
CN105791686A (zh) 多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方法
Notz et al. Extraction and assessment of naturalistic human driving trajectories from infrastructure camera and radar sensors
CN117053779A (zh) 一种基于冗余关键帧去除的紧耦合激光slam方法及装置
CN116363611A (zh) 一种多传感器决策级融合的车辆轨迹跟踪方法
CN115639826A (zh) 机器人驱动轨迹纠偏方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: HANGZHOU HIKVISION DIGITAL TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: HANGZHOU HAIKANG WEISHI SOFTWARE CO., LTD.

Effective date: 20130105

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 310012 HANGZHOU, ZHEJIANG PROVINCE TO: 310051 HANGZHOU, ZHEJIANG PROVINCE

TA01 Transfer of patent application right

Effective date of registration: 20130105

Address after: No. 700 Kang Hangzhou Science Park of Zhejiang province Binjiang District East Road 310051

Applicant after: Hangzhou Hikvision Digital Technology Co., Ltd.

Address before: Xihu District Ma Cheng Road Hangzhou City, Zhejiang province 310012 No. 36 building 11 layer research

Applicant before: Hangzhou Haikang Weishi Software Co., Ltd.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110525