CN104504724A - 一种不受障碍物影响的运动物体跟踪及提取算法 - Google Patents
一种不受障碍物影响的运动物体跟踪及提取算法 Download PDFInfo
- Publication number
- CN104504724A CN104504724A CN201510020446.5A CN201510020446A CN104504724A CN 104504724 A CN104504724 A CN 104504724A CN 201510020446 A CN201510020446 A CN 201510020446A CN 104504724 A CN104504724 A CN 104504724A
- Authority
- CN
- China
- Prior art keywords
- frame
- unique point
- mobile object
- matrix
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 230000009286 beneficial effect Effects 0.000 claims description 17
- 230000004888 barrier function Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明设计一种不受障碍物影响的运动物体提取及跟踪算法,同时该算法在追踪目标物体的同时还可以提供目标物体各个部分的详细运动信息。该算法对由摄像头获取的连续视频图像帧提取特征点,并将获得的特征点建立匹配矩阵,并将运动物体的提取及追踪转换为一次指派问题,通过求解一次指派问题获得特征点的匹配关系,并实现对移动物体的提取与追踪。由于该算法在匹配时同时处理多幅图像帧,因此在当运动物体被障碍物遮挡时,追踪不会受到影响。
Description
技术领域
本发明涉及计算机视觉的技术领域,特别涉及一种不受障碍物影响的运动物体跟踪及提取算法。
背景技术
在摄像头获取的视频中的移动物体的追踪是计算机视觉研究领域的一个热点,在机器人视觉,视频监控等***中有着广阔的应用前景。传统方法如背景差分法,连续帧间差分法在摄像头固定的情况下可以实现较为良好的追踪效果,但是在受障碍物影响的情况下,运动物体的跟踪通常会被中断。
目前许多研究人员提出的用于追踪移动物体的方法,如光流法,基于SIFT特征点的匹配法,Mean-Shift法和粒子滤波法,均不能解决在追踪中遇到障碍物体的问题。不受障碍物影响的运动物体跟踪及提取算法在如安防,机器人视觉等应用领域却是必不可少的。
发明内容
本发明的目的在于,提供一种不受障碍物影响的运动物体跟踪及提取算法,该方法在追踪目标物体的同时还可以提供目标物体各个部分的详细运动信息。因此,该算法不仅在移动物体的追踪中相较传统的方法又更好的效果外,也可以被应用于人物的行为识别领域中。
为了实现上述发明目的,本发明提供了一种基于多帧特征点同时匹配的新的移动物体跟踪方法。该方法首先将由移动摄像头获得的视频图像的当前时刻的图像帧及之前时刻的图像帧提取出来,并将图像中的特征点提取:
假设当前t时刻的图像帧为framet,
t时刻之前的T帧被同时提取,该T帧为framet-h,h={1,...T},
对framet及framet-h,h={1,...T}提取特征点,并在每一帧所提取的特征点中保留稳定性最好的N个特征点,则被提取的特征点总数为N×(T+1)个。
由于移动物体的轨迹追踪问题可以转换为移动物体中各个部分在连续帧中的匹配问题,因此,通过求得当前帧中的各个特征点与之前帧中的各个特征点的匹配结果即可得到移动物体在连续帧中的轨迹。
求当前帧中的N个特征点与之前帧中的N×T的特征点的匹配结果,可建立N×N×T的原始效益矩阵,匹配结果即移动物体的各个部位在连续帧中的移动轨迹。
当前帧的特征点与之前帧的特征点在匹配时应该满足以下条件:
相匹配的特征点之间的相似度的累加总值最大,即该1对1的匹配问题可以视为一个全局相似度最大化的最优化问题,即一次指派问题,。
当一个新的移动物体首次出现在图像帧画面中时,该移动物体的特征点可能与之前帧的任何特征点都无法匹配,作为上述技术方案的一种改进,本方案对N×N×T的原效益矩阵进行扩展。
N×N×T原效益矩阵被扩展为N×(N×T+1)。效益矩阵的扩展部分的元素值为预设的阈值。
则当前帧的特征点与之前帧的特征点的匹配问题的最优化匹配的数学表达为:
Minimize
s.t
pij={0,1},
其中T为当前帧之前的帧数,similarity{Curr(t)i,Prev(t-h)j}为当前帧特征点i与之前帧的特征点j之间的特征空间空间距离,thresholdforcreating为预设的阈值。
在实际计算中,相似度由两个特征点的特征直方图之间的距离来计算。因此,全局相似度最大化实际为将C最小化。这个1对1的最优化匹配可以视为1次指派问题,并求解。
当前帧的特征点与的阈值部分相匹配时,则此特征点被视为属于新的移动物体。
之前帧中属于移动物体的特征点中在当前帧中无匹配点时,之前帧中的移动体被视为被遮挡。被遮挡的特征点在一定时间内没有再次被当前时刻图像帧中的特征点匹配,该特征点被视为从画面中消失。当被追踪的移动物体在被遮挡后再次被当前时刻图像帧中的特征点匹配,该特征点被视为遮挡后的再次出现。
当被追踪的移动物体在被遮挡时,其位置可由遮挡前后的位置做线性估算。
本发明的优点在于可以实现一种不受障碍物影响而中断的追踪算法。在物体被障碍物挡住的时候可以实现持续的追踪,并可推算出被遮挡时的位置。这一特点使本方法在追踪物体方面相对传统方法有更好的适用性及实用性。此外,本发明的技术方案由于可以对移动物体的各个部分进行追踪,因此可为人物的行为识别提供轨迹特征。
附图说明
图1是基本效益矩阵示意图。
图2是扩展后的效益矩阵示意图。
图3是色彩差异最有小化的矩阵的最终形式。
图4是形状结构变化约束的示意图。
具体实施方式
在实际操作中使用SIFT算法对各个图像帧提取特征点。并通过特征点周围的像素的方向梯度直方图对特征点进行描述。
在实际操作中,得到各个特征点的特征直方图后,通过巴氏距离计算2个特征点的特征直方图之间的距离,即两个特征点的相似度。其中巴氏距离的计算公式如下:
其中p和q分别代表2个经过归一化的直方图。
假设在每一帧所提取的特征点中保留稳定性最好的N个特征点,则被提取的特征点总数为N×(T+1)个。
通过计算得到当前帧所有特征点和之前帧所有特征点之间的相似度后,可以建立一个基本效益矩阵。该效益矩阵的尺寸为N×N×T,如图1所示。效益矩阵的匹配结果即特征点在时空间中的移动轨迹。
当一个新的移动物体首次出现在图像帧画面中时,该移动物体的特征点可能与之前帧的任何特征点都无法匹配,因此N×N×T的原效益矩阵进行扩展。原效益矩阵被扩展为N×(N×T+1)。效益矩阵的扩展部分的元素值为预设的阈值,如图2所示。当前帧的特征点与的阈值部分相匹配时,则此特征点被视为属于新的移动物体。
在实际匹配中,之前帧中属于移动物体的特征点中在当前帧中无匹配点时,之前帧中的移动体被视为被遮挡。被遮挡的特征点在一定时间内没有再次被当前时刻图像帧中的特征点匹配,该特征点被视为从画面中消失。当被追踪的移动物体在被遮挡后再次被当前时刻图像帧中的特征点匹配,该特征点被视为遮挡后的再次出现。
图3中给出一个实际被遮挡物体的匹配例,在当前帧t中的特征点a和t-3时刻的图像帧中的特征点匹配成功,则表明特征点a在t-2及t-3时刻中被障碍物遮挡,而在t时刻又再度出现。
图4给出一个被障碍物遮挡时的移动物体的位置推算例,图中三角形的物体在t+2时刻被遮挡,根据其被遮挡前的位置3及被遮挡后的位置5可做线性推算,其在被遮挡时的位置为4。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。本领域的技术人员应当理解,对本发明的技术方案进行修改或者等同替换,如最优化问题的解法,特征差异的计算等都不脱离本发明技术方案的精神和范围,均应覆盖在本发明的权利要求范围当中。
Claims (5)
1.一种不受障碍物影响的运动物体跟踪及提取算法,其特征在于:
S01:当前t时刻的图像帧记为framet,t时刻之前的T帧记为framet-h,h={1,...T},并分别提取特征点,各帧的特征点个数记为N;
S02:然后计算framet的各个特征点与framet-h,h={1,...T}的各特征点之前的特征空间空间距离,建立一个尺寸为N×N×T的原始效益矩阵;
S03:建立一个尺寸为N×(T×N+1)的扩展效益矩阵,包括T个尺寸为N×N的原始效益矩阵和一个尺寸为N×N的阈值矩阵;
S04:将效益矩阵的匹配问题作为一次指派问题求解;
S05:根据不同的匹配结果判断特征点是否为新的移动物体,如果当前帧的特征点与的阈值相匹配,则此特征点被视为属于新的移动物体;
S06:根据连续的匹配结果判断特征点是否消失,当之前帧中属于移动物体的特征点中在当前帧中无可匹配点时,之前帧中的移动物体被视为被遮挡或消失;
S07:根据连续的匹配结果判断特征点是否为遮挡后的再出现,;
S08:根据连续的匹配结果估算遮挡后的再出现的特征点在遮挡时的位置。
2.根据权利要求1所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是N×(T×N+1)的效益矩阵中包括T个尺寸为N×N的原始效益矩阵和一个尺寸为N×N的阈值矩阵。
3.根据权利要求1所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是其最优化匹配的数学表达为:
Minimize
s.t
pij={0,1},
其中T为当前帧之前的帧数,similarity{Curr(t)i,Prev(t-h)j}为当前帧特征点i与之前帧的特征点j之间的特征空间空间距离,threshold for creating为预设的阈值。
4.根据权利要求8所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是当被追踪的移动物体在被遮挡时,其位置可由遮挡前后的位置做线性估算。
5.根据权利要求1所述的一种不受障碍物影响的运动物体跟踪及提取算法,其特征是当被追踪的移动物体在被遮挡时,对物体的追踪不会被中断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510020446.5A CN104504724B (zh) | 2015-01-15 | 2015-01-15 | 一种不受障碍物影响的运动物体跟踪及提取算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510020446.5A CN104504724B (zh) | 2015-01-15 | 2015-01-15 | 一种不受障碍物影响的运动物体跟踪及提取算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104504724A true CN104504724A (zh) | 2015-04-08 |
CN104504724B CN104504724B (zh) | 2018-04-06 |
Family
ID=52946118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510020446.5A Expired - Fee Related CN104504724B (zh) | 2015-01-15 | 2015-01-15 | 一种不受障碍物影响的运动物体跟踪及提取算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104504724B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106056630A (zh) * | 2016-06-06 | 2016-10-26 | 南昌航空大学 | 基于图像序列光流与三角网格的遮挡区域检测方法 |
CN106096508A (zh) * | 2016-05-30 | 2016-11-09 | 无锡天脉聚源传媒科技有限公司 | 一种图像中确定目标遮掩的方法及装置 |
CN106803264A (zh) * | 2015-11-25 | 2017-06-06 | 天津工业大学 | 一种用于多目标物体跟踪的图像匹配方法 |
WO2017147747A1 (en) * | 2016-02-29 | 2017-09-08 | SZ DJI Technology Co., Ltd. | Obstacle avoidance during target tracking |
CN108304766A (zh) * | 2017-12-12 | 2018-07-20 | 交通运输部规划研究院 | 一种基于高分辨率遥感筛选危险品堆场的方法 |
CN110293551A (zh) * | 2018-03-21 | 2019-10-01 | 北京猎户星空科技有限公司 | 视觉传感器安装位置确定方法、装置及电子设备 |
CN111241979A (zh) * | 2020-01-07 | 2020-06-05 | 浙江科技学院 | 一种基于图像特征标定的实时障碍物检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246547A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 一种根据场景变化特征对视频中运动物体检测的方法 |
CN102456225A (zh) * | 2010-10-22 | 2012-05-16 | 深圳中兴力维技术有限公司 | 一种视频监控***及其运动目标检测与跟踪方法 |
CN103037140A (zh) * | 2012-12-12 | 2013-04-10 | 杭州国策商图科技有限公司 | 一种基于块匹配的鲁棒性极强的目标跟踪算法 |
-
2015
- 2015-01-15 CN CN201510020446.5A patent/CN104504724B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246547A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 一种根据场景变化特征对视频中运动物体检测的方法 |
CN102456225A (zh) * | 2010-10-22 | 2012-05-16 | 深圳中兴力维技术有限公司 | 一种视频监控***及其运动目标检测与跟踪方法 |
CN103037140A (zh) * | 2012-12-12 | 2013-04-10 | 杭州国策商图科技有限公司 | 一种基于块匹配的鲁棒性极强的目标跟踪算法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803264A (zh) * | 2015-11-25 | 2017-06-06 | 天津工业大学 | 一种用于多目标物体跟踪的图像匹配方法 |
CN108701362A (zh) * | 2016-02-29 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 目标跟踪期间的障碍避免 |
WO2017147747A1 (en) * | 2016-02-29 | 2017-09-08 | SZ DJI Technology Co., Ltd. | Obstacle avoidance during target tracking |
US10929999B2 (en) | 2016-02-29 | 2021-02-23 | SZ DJI Technology Co., Ltd. | Obstacle avoidance during target tracking |
US11669987B2 (en) | 2016-02-29 | 2023-06-06 | SZ DJI Technology Co., Ltd. | Obstacle avoidance during target tracking |
CN106096508A (zh) * | 2016-05-30 | 2016-11-09 | 无锡天脉聚源传媒科技有限公司 | 一种图像中确定目标遮掩的方法及装置 |
CN106056630B (zh) * | 2016-06-06 | 2018-09-21 | 南昌航空大学 | 基于图像序列光流与三角网格的遮挡区域检测方法 |
CN106056630A (zh) * | 2016-06-06 | 2016-10-26 | 南昌航空大学 | 基于图像序列光流与三角网格的遮挡区域检测方法 |
CN108304766A (zh) * | 2017-12-12 | 2018-07-20 | 交通运输部规划研究院 | 一种基于高分辨率遥感筛选危险品堆场的方法 |
CN110293551A (zh) * | 2018-03-21 | 2019-10-01 | 北京猎户星空科技有限公司 | 视觉传感器安装位置确定方法、装置及电子设备 |
CN110293551B (zh) * | 2018-03-21 | 2020-10-16 | 北京猎户星空科技有限公司 | 视觉传感器安装位置确定方法、装置及电子设备 |
CN111241979A (zh) * | 2020-01-07 | 2020-06-05 | 浙江科技学院 | 一种基于图像特征标定的实时障碍物检测方法 |
CN111241979B (zh) * | 2020-01-07 | 2023-06-23 | 浙江科技学院 | 一种基于图像特征标定的实时障碍物检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104504724B (zh) | 2018-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104504724A (zh) | 一种不受障碍物影响的运动物体跟踪及提取算法 | |
Hofmann et al. | Unified hierarchical multi-object tracking using global data association | |
CN110569785B (zh) | 一种融合跟踪技术的人脸识别方法 | |
CN101236657A (zh) | 单一运动目标轨迹的跟踪与记录方法 | |
Kothiya et al. | A review on real time object tracking in video sequences | |
Roy et al. | A hierarchical method combining gait and phase of motion with spatiotemporal model for person re-identification | |
CN104376575A (zh) | 一种基于多摄像头监控的行人计数方法和装置 | |
Garg et al. | Look no deeper: Recognizing places from opposing viewpoints under varying scene appearance using single-view depth estimation | |
Ranganatha et al. | An integrated robust approach for fast face tracking in noisy real-world videos with visual constraints | |
Sharma et al. | Optimized dynamic background subtraction technique for moving object detection and tracking | |
Ullah et al. | Comparison of person tracking algorithms using overhead view implemented in OpenCV | |
Wang et al. | Real time abnormal crowd behavior detection based on adjacent flow location estimation | |
Hsieh et al. | Grid-based template matching for people counting | |
Venkatesan et al. | Real time implementation on moving object tracking and recognisation using Matlab | |
Shakeri et al. | Object detection using a moving camera under sudden illumination change | |
CN111062294B (zh) | 一种客流排队时间的检测方法、装置及*** | |
Ladjailia et al. | Automated detection of similar human actions using motion descriptors | |
CN112733576A (zh) | 一种通过动态影像进行面部识别的方法 | |
Bhuyan et al. | Person identification using gait by combined features of width and shape of the binary silhouette | |
Wang et al. | Multiple object tracking by multi-feature combination based on min-cost network flow | |
Xu et al. | Visual tracking model based on feature-imagination and its application | |
Abbaspour et al. | Robust approach for people detection and tracking by stereo vision | |
Zhu et al. | On multi-view video segmentation for object-based coding | |
Lu et al. | Human pose tracking based on both generic and specific appearance models | |
KR102532019B1 (ko) | 스네이크와 옵티컬 플로우 기반의 초고속 동영상 객체 추적 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
DD01 | Delivery of document by public notice | ||
DD01 | Delivery of document by public notice |
Addressee: HANGZHOU GUOCE MAP TECHNOLOGY Co.,Ltd. Person in charge of patents Document name: payment instructions |
|
DD01 | Delivery of document by public notice | ||
DD01 | Delivery of document by public notice |
Addressee: HANGZHOU GUOCE MAP TECHNOLOGY Co.,Ltd. Person in charge of patents Document name: Notice of Termination of Patent Rights |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180406 |