CN104504724B - 一种不受障碍物影响的运动物体跟踪及提取算法 - Google Patents

一种不受障碍物影响的运动物体跟踪及提取算法 Download PDF

Info

Publication number
CN104504724B
CN104504724B CN201510020446.5A CN201510020446A CN104504724B CN 104504724 B CN104504724 B CN 104504724B CN 201510020446 A CN201510020446 A CN 201510020446A CN 104504724 B CN104504724 B CN 104504724B
Authority
CN
China
Prior art keywords
mrow
characteristic point
mtr
mtd
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510020446.5A
Other languages
English (en)
Other versions
CN104504724A (zh
Inventor
李竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU GUOCE MAP TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU GUOCE MAP TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU GUOCE MAP TECHNOLOGY Co Ltd filed Critical HANGZHOU GUOCE MAP TECHNOLOGY Co Ltd
Priority to CN201510020446.5A priority Critical patent/CN104504724B/zh
Publication of CN104504724A publication Critical patent/CN104504724A/zh
Application granted granted Critical
Publication of CN104504724B publication Critical patent/CN104504724B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明设计一种不受障碍物影响的运动物体提取及跟踪算法,同时该算法在追踪目标物体的同时还可以提供目标物体各个部分的详细运动信息。该算法对由摄像头获取的连续视频图像帧提取特征点,并将获得的特征点建立匹配矩阵,并将运动物体的提取及追踪转换为一次指派问题,通过求解一次指派问题获得特征点的匹配关系,并实现对移动物体的提取与追踪。由于该算法在匹配时同时处理多幅图像帧,因此在当运动物体被障碍物遮挡时,追踪不会受到影响。

Description

一种不受障碍物影响的运动物体跟踪及提取算法
技术领域
本发明涉及计算机视觉的技术领域,特别涉及一种不受障碍物影响的运动物体跟踪及提取算法。
背景技术
在摄像头获取的视频中的移动物体的追踪是计算机视觉研究领域的一个热点,在机器人视觉,视频监控等***中有着广阔的应用前景。传统方法如背景差分法,连续帧间差分法在摄像头固定的情况下可以实现较为良好的追踪效果,但是在受障碍物影响的情况下,运动物体的跟踪通常会被中断。
目前许多研究人员提出的用于追踪移动物体的方法,如光流法,基于SIFT特征点的匹配法,Mean-Shift法和粒子滤波法,均不能解决在追踪中遇到障碍物体的问题。不受障碍物影响的运动物体跟踪及提取算法在如安防,机器人视觉等应用领域却是必不可少的。
发明内容
本发明的目的在于,提供一种不受障碍物影响的运动物体跟踪及提取算法,该方法在追踪目标物体的同时还可以提供目标物体各个部分的详细运动信息。因此,该算法不仅在移动物体的追踪中相较传统的方法又更好的效果外,也可以被应用于人物的行为识别领域中。
为了实现上述发明目的,本发明提供了一种基于多帧特征点同时匹配的新的移动物体跟踪方法。该方法首先将由移动摄像头获得的视频图像的当前时刻的图像帧及之前时刻的图像帧提取出来,并将图像中的特征点提取:
假设当前t时刻的图像帧为framet
t时刻之前的T帧被同时提取,该T帧为framet-h,h={1,...T},
对framet及framet-h,h={1,...T}提取特征点,并在每一帧所提取的特征点中保留稳定性最好的N个特征点,则被提取的特征点总数为N×(T+1)个。
由于移动物体的轨迹追踪问题可以转换为移动物体中各个部分在连续帧中的匹配问题,因此,通过求得当前帧中的各个特征点与之前帧中的各个特征点的匹配结果即可得到移动物体在连续帧中的轨迹。
求当前帧中的N个特征点与之前帧中的N×T的特征点的匹配结果,可建立N×N×T的原始效益矩阵,匹配结果即移动物体的各个部位在连续帧中的移动轨迹。
当前帧的特征点与之前帧的特征点在匹配时应该满足以下条件:
相匹配的特征点之间的相似度的累加总值最大,即该1对1的匹配问题可以视为一个全局相似度最大化的最优化问题,即一次指派问题,。
当一个新的移动物体首次出现在图像帧画面中时,该移动物体的特征点可能与之前帧的任何特征点都无法匹配,作为上述技术方案的一种改进,本方案对N×N×T的原效益矩阵进行扩展。
N×N×T原效益矩阵被扩展为N×(N×T+1)。效益矩阵的扩展部分的元素值为预设的阈值。
则当前帧的特征点与之前帧的特征点的匹配问题的最优化匹配的数学表达为:
Minimize
s.t
pij={0,1},
其中T为当前帧之前的帧数,similarity{Curr(t)i,Prev(t-h)j}为当前帧特征点i与之前帧的特征点j之间的特征空间空间距离,thresholdforcreating为预设的阈值。
在实际计算中,相似度由两个特征点的特征直方图之间的距离来计算。因此,全局相似度最大化实际为将C最小化。这个1对1的最优化匹配可以视为1次指派问题,并求解。
当前帧的特征点与的阈值部分相匹配时,则此特征点被视为属于新的移动物体。
之前帧中属于移动物体的特征点中在当前帧中无匹配点时,之前帧中的移动体被视为被遮挡。被遮挡的特征点在一定时间内没有再次被当前时刻图像帧中的特征点匹配,该特征点被视为从画面中消失。当被追踪的移动物体在被遮挡后再次被当前时刻图像帧中的特征点匹配,该特征点被视为遮挡后的再次出现。
当被追踪的移动物体在被遮挡时,其位置可由遮挡前后的位置做线性估算。
本发明的优点在于可以实现一种不受障碍物影响而中断的追踪算法。在物体被障碍物挡住的时候可以实现持续的追踪,并可推算出被遮挡时的位置。这一特点使本方法在追踪物体方面相对传统方法有更好的适用性及实用性。此外,本发明的技术方案由于可以对移动物体的各个部分进行追踪,因此可为人物的行为识别提供轨迹特征。
附图说明
图1是基本效益矩阵示意图。
图2是扩展后的效益矩阵示意图。
图3是色彩差异最有小化的矩阵的最终形式。
图4是形状结构变化约束的示意图。
具体实施方式
在实际操作中使用SIFT算法对各个图像帧提取特征点。并通过特征点周围的像素的方向梯度直方图对特征点进行描述。
在实际操作中,得到各个特征点的特征直方图后,通过巴氏距离计算2个特征点的特征直方图之间的距离,即两个特征点的相似度。其中巴氏距离的计算公式如下:
其中p和q分别代表2个经过归一化的直方图。
假设在每一帧所提取的特征点中保留稳定性最好的N个特征点,则被提取的特征点总数为N×(T+1)个。
通过计算得到当前帧所有特征点和之前帧所有特征点之间的相似度后,可以建立一个基本效益矩阵。该效益矩阵的尺寸为N×N×T,如图1所示。效益矩阵的匹配结果即特征点在时空间中的移动轨迹。
当一个新的移动物体首次出现在图像帧画面中时,该移动物体的特征点可能与之前帧的任何特征点都无法匹配,因此N×N×T的原效益矩阵进行扩展。原效益矩阵被扩展为N×(N×T+1)。效益矩阵的扩展部分的元素值为预设的阈值,如图2所示。当前帧的特征点与的阈值部分相匹配时,则此特征点被视为属于新的移动物体。
在实际匹配中,之前帧中属于移动物体的特征点中在当前帧中无匹配点时,之前帧中的移动体被视为被遮挡。被遮挡的特征点在一定时间内没有再次被当前时刻图像帧中的特征点匹配,该特征点被视为从画面中消失。当被追踪的移动物体在被遮挡后再次被当前时刻图像帧中的特征点匹配,该特征点被视为遮挡后的再次出现。
图3中给出一个实际被遮挡物体的匹配例,在当前帧t中的特征点a和t-3时刻的图像帧中的特征点匹配成功,则表明特征点a在t-2及t-3时刻中被障碍物遮挡,而在t时刻又再度出现。
图4给出一个被障碍物遮挡时的移动物体的位置推算例,图中三角形的物体在t+2时刻被遮挡,根据其被遮挡前的位置3及被遮挡后的位置5可做线性推算,其在被遮挡时的位置为4。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。本领域的技术人员应当理解,对本发明的技术方案进行修改或者等同替换,如最优化问题的解法,特征差异的计算等都不脱离本发明技术方案的精神和范围,均应覆盖在本发明的权利要求范围当中。

Claims (5)

1.一种不受障碍物影响的运动物体跟踪及提取算法,其特征在于:
S01:当前t时刻的图像帧记为framet,t时刻之前的T帧记为framet-h,h={1,...T},并分别提取特征点,各帧的特征点个数记为N;
S02:然后计算framet的各个特征点与framet-h,h={1,...T}的各特征点之前的特征空间空间距离,建立一个尺寸为N×N×T的原始效益矩阵;
S03:建立一个尺寸为N×(T×N+1)的扩展效益矩阵,包括T个尺寸为N×N的原始效益矩阵和一个尺寸为N×N的阈值矩阵;
S04:将效益矩阵的匹配问题作为一次指派问题求解;
S05:根据不同的匹配结果判断特征点是否为新的移动物体,如果当前帧的特征点与阈值矩阵的阈值相匹配,则此特征点被视为属于新的移动物体;
S06:根据连续的匹配结果判断特征点是否消失,当之前帧中属于移动物体的特征点中在当前帧中无可匹配点时,之前帧中的移动物体被视为被遮挡或消失;
S07:根据连续的匹配结果判断特征点是否为遮挡后的再出现;
S08:根据连续的匹配结果估算遮挡后的再出现的特征点在遮挡时的位置。
2.根据权利要求1所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是N×(T×N+1)的效益矩阵中包括T个尺寸为N×N的原始效益矩阵和一个尺寸为N×N的阈值矩阵。
3.根据权利要求1所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是其最优化匹配的数学表达为:
Minimize
<mrow> <mi>C</mi> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <mi>T</mi> <mo>&amp;times;</mo> <mi>N</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </munderover> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>c</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow>
s.t
<mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <mi>T</mi> <mo>&amp;times;</mo> <mi>N</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow> </munderover> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>N</mi> <mo>}</mo> <mo>,</mo> </mrow>
<mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>&amp;le;</mo> <mn>1</mn> <mo>,</mo> <mi>j</mi> <mo>=</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>N</mi> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <mi>T</mi> <mo>&amp;times;</mo> <mi>N</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>}</mo> <mo>,</mo> </mrow>
pij={0,1},
<mrow> <mi>c</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mi>i</mi> <mi>m</mi> <mi>i</mi> <mi>l</mi> <mi>a</mi> <mi>r</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> <mo>{</mo> <mi>C</mi> <mi>u</mi> <mi>r</mi> <mi>r</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mi>i</mi> <mo>,</mo> <mi>Pr</mi> <mi>e</mi> <mi>v</mi> <msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mi>h</mi> <mo>)</mo> </mrow> <mi>j</mi> </msub> <mo>}</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>h</mi> <mo>=</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>T</mi> <mo>}</mo> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>N</mi> <mo>}</mo> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>j</mi> <mo>=</mo> <mo>{</mo> <mrow> <mo>(</mo> <mi>h</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>N</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mi>h</mi> <mo>&amp;times;</mo> <mi>N</mi> <mo>}</mo> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>T</mi> <mi>h</mi> <mi>r</mi> <mi>e</mi> <mi>s</mi> <mi>h</mi> <mi>o</mi> <mi>l</mi> <mi>d</mi> <mi> </mi> <mi>f</mi> <mi>o</mi> <mi>r</mi> <mi> </mi> <mi>c</mi> <mi>r</mi> <mi>e</mi> <mi>a</mi> <mi>t</mi> <mi>i</mi> <mi>n</mi> <mi>g</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>i</mi> <mo>=</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mi>N</mi> <mo>}</mo> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>j</mi> <mo>=</mo> <mo>{</mo> <mrow> <mo>(</mo> <mi>T</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>N</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <mrow> <mo>(</mo> <mi>T</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>N</mi> <mo>}</mo> <mo>.</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中T为当前帧之前的帧数,similarity{Curr(t)i,Prev(t-h)j}为当前帧特征点i与之前帧的特征点j之间的特征空间空间距离,threshold for creating为预设的阈值。
4.根据权利要求3所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是当被追踪的移动物体在被遮挡时,其位置可由遮挡前后的位置做线性估算。
5.根据权利要求1所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是当被追踪的移动物体在被遮挡时,对物体的追踪不会被中断。
CN201510020446.5A 2015-01-15 2015-01-15 一种不受障碍物影响的运动物体跟踪及提取算法 Expired - Fee Related CN104504724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510020446.5A CN104504724B (zh) 2015-01-15 2015-01-15 一种不受障碍物影响的运动物体跟踪及提取算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510020446.5A CN104504724B (zh) 2015-01-15 2015-01-15 一种不受障碍物影响的运动物体跟踪及提取算法

Publications (2)

Publication Number Publication Date
CN104504724A CN104504724A (zh) 2015-04-08
CN104504724B true CN104504724B (zh) 2018-04-06

Family

ID=52946118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510020446.5A Expired - Fee Related CN104504724B (zh) 2015-01-15 2015-01-15 一种不受障碍物影响的运动物体跟踪及提取算法

Country Status (1)

Country Link
CN (1) CN104504724B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803264A (zh) * 2015-11-25 2017-06-06 天津工业大学 一种用于多目标物体跟踪的图像匹配方法
CN108701362B (zh) 2016-02-29 2022-12-27 深圳市大疆创新科技有限公司 目标跟踪期间的障碍避免
CN106096508B (zh) * 2016-05-30 2019-09-13 无锡天脉聚源传媒科技有限公司 一种图像中确定目标遮掩的方法及装置
CN106056630B (zh) * 2016-06-06 2018-09-21 南昌航空大学 基于图像序列光流与三角网格的遮挡区域检测方法
CN108304766B (zh) * 2017-12-12 2019-01-04 交通运输部规划研究院 一种基于高分辨率遥感筛选危险品堆场的方法
CN110293551B (zh) * 2018-03-21 2020-10-16 北京猎户星空科技有限公司 视觉传感器安装位置确定方法、装置及电子设备
CN111241979B (zh) * 2020-01-07 2023-06-23 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246547A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 一种根据场景变化特征对视频中运动物体检测的方法
CN102456225A (zh) * 2010-10-22 2012-05-16 深圳中兴力维技术有限公司 一种视频监控***及其运动目标检测与跟踪方法
CN103037140A (zh) * 2012-12-12 2013-04-10 杭州国策商图科技有限公司 一种基于块匹配的鲁棒性极强的目标跟踪算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246547A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 一种根据场景变化特征对视频中运动物体检测的方法
CN102456225A (zh) * 2010-10-22 2012-05-16 深圳中兴力维技术有限公司 一种视频监控***及其运动目标检测与跟踪方法
CN103037140A (zh) * 2012-12-12 2013-04-10 杭州国策商图科技有限公司 一种基于块匹配的鲁棒性极强的目标跟踪算法

Also Published As

Publication number Publication date
CN104504724A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
CN104504724B (zh) 一种不受障碍物影响的运动物体跟踪及提取算法
Bergmann et al. Tracking without bells and whistles
Beery et al. Context r-cnn: Long term temporal context for per-camera object detection
Liu et al. Multi-camera multi-object tracking
CN106650620B (zh) 一种应用无人机监测的目标人员识别追踪方法
Ojha et al. Image processing techniques for object tracking in video surveillance-A survey
CN102456225B (zh) 一种运动目标检测与跟踪方法和***
US10140521B2 (en) Method, system and apparatus for processing an image
Risse et al. Visual tracking of small animals in cluttered natural environments using a freely moving camera
CN110569785B (zh) 一种融合跟踪技术的人脸识别方法
Sun et al. Moving foreground object detection via robust SIFT trajectories
Deilamani et al. Moving object tracking based on mean shift algorithm and features fusion
Fazli et al. Particle filter based object tracking with sift and color feature
Lee et al. Driving recorder based on-road pedestrian tracking using visual SLAM and constrained multiple-kernel
Kothiya et al. A review on real time object tracking in video sequences
Martin et al. Multiple-object tracking in cluttered and crowded public spaces
Zhang et al. A fast and robust people counting method in video surveillance
Ramos et al. Fast-forward video based on semantic extraction
CN102194270B (zh) 基于启发信息的行人流量统计方法
Delibasoglu UAV images dataset for moving object detection from moving cameras
Wang et al. Video stabilization based on high degree b-spline smoothing
Chattopadhyay et al. Gait recognition from front and back view sequences captured using kinect
Delibaşoğlu PESMOD: Small moving object detection benchmark dataset for moving cameras
Ladjailia et al. Automated detection of similar human actions using motion descriptors
Ben Shitrit et al. Tracking multiple players using a single camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: HANGZHOU GUOCE MAP TECHNOLOGY Co.,Ltd. Person in charge of patents

Document name: payment instructions

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: HANGZHOU GUOCE MAP TECHNOLOGY Co.,Ltd. Person in charge of patents

Document name: Notice of Termination of Patent Rights

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180406