CN102456225B - 一种运动目标检测与跟踪方法和*** - Google Patents
一种运动目标检测与跟踪方法和*** Download PDFInfo
- Publication number
- CN102456225B CN102456225B CN201010515055.8A CN201010515055A CN102456225B CN 102456225 B CN102456225 B CN 102456225B CN 201010515055 A CN201010515055 A CN 201010515055A CN 102456225 B CN102456225 B CN 102456225B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- moving
- mtd
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 230000009466 transformation Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种视频监控***及其运动目标检测与跟踪方法,所述方法应用于视频监控***中摄像机在运动状态下,包括:采用Harris角点结合HOG描述子作为图像特征并通过图像特征提取、图像投影变换、图像作差等处理以获取多个运动目标的运动目标检测步骤,针对每个运动目标分别建立运动目标模型并在模型中采用Harris角点、极值点以及HOG描述子相结合的方式来表示运动目标特征的运动目标模型建立步骤,以及根据运动目标模型进行目标跟踪的步骤。本发明采用角点特征匹配降低了计算量,保证了运动目标检测的精度;采用角点和极值点作为目标特征,使得目标识别更加鲁棒,跟踪可持续性强;采用目标运动估计的方法减少了计算量。
Description
技术领域
本发明涉及视频监控技术领域,尤其涉及一种运动目标检测与跟踪方法和***。
背景技术
在传统的智能视频监控***中,监控摄像机多为固定摄像机,背景图像固定不定,前景目标运动,该***在应用时存在的问题是:在某几个预先设置的位置循环监控,运动目标容易超出监控视野范围而不能对其连续跟踪,这些情况使得传统智能视频监控在应用中受到很大制约。而运动摄像机监控则可以克服上述传统摄像机监控的缺陷,并且应用于车载监控、PTZ(Pan Tilt Zoom,摄像机云台转动、俯仰移动及镜头变焦)目标跟踪、智能机器人视觉等,应用前景非常广阔,近几年来,运动摄像机的目标检测与跟踪技术受到国内外学术界极大关注。
根据目前检索到的国内外相关文献表明,由于摄像机的运动造成背景的变化,对于目标检测,通常采用的方法是:首先估计出连续两帧图像之间的投影变换参数,再将后一帧与由前一帧的投影变换得到的一帧进行相减,获得静止的背景,最后利用背景差分方法获取运动目标。该方法的关键在于如何准确、快速地估算出投影变换参数,常用的估算方法是利用图像灰度相关性方法、SIFT(Scale Invariant Feature Transform,尺度不变特征变换)特征、SURF(Speed-Up Robust Feature,加速的健壮特征)特征等求取连续视频图像对应特征点,进而利用最小二乘法估计投影变换矩阵参数,相比较而言,SIFT和SURF特征方法在求取图像匹配点时更加稳定可靠,但同时计算量大,难以满足实时分析的需要。
对于目标跟踪,常采用的方法是:利用颜色和形状信息作为被跟踪目标的特征信息。颜色特征虽然是非常有用的特征,但是在物体颜色和背景颜色比较相似的时候,仅仅利用颜色跟踪往往比较困难,容易引起跟踪错误,一些研究者则使用了多种特征融合的方法来选择特征;利用SIFT,SURF特征作为被跟踪目标的特征信息较为稳定,对来自背景颜色和光照变化有较强的适应性,是比较的理想的目标特征表达方式,不足之处是对于少数目标可能难以提取到稳定特征点甚至是不能提取到特征点。
发明内容
本发明的目的在于提供一种运动目标检测与跟踪方法和***,克服目前在摄像机处于运动状态下目标检测与跟踪技术的不足之处,快速、准确地检测出运动目标并且可靠持续地对运动目标进行跟踪,降低复杂性。
本发明实施例是这样实现的:
一种运动目标检测与跟踪方法,应用于视频监控***中摄像机在运动状态下,包括:
运动目标检测的步骤:对连续采集的两帧图像f(t-1)、f(t)并进行高斯平滑处理,采用Harris角点结合HOG描述子的方式提取图像f(t-1)和f(t)对应特征点,得到对应特征点集合S';根据对应特征点的集合S',利用广义逆法求得投影变换矩阵A;将前一帧图像f(t-1)按照投影变换矩阵作投影变换得到帧图像F;将帧图像F与后一帧图像f(t)作差得到差分图像D,再通过阈值分割得到二值图像B;对二值图像B进行滤波操作得到所有运动目标;
其中,采用Harris角点结合HOG描述子的方式提取图像f(t-1)和f(t)对应特征点,得到对应特征点集合S'进一步包括:
a21、分别提取图像f(t-1)和f(t)的Harris角点特征并为每个Harris角点建立HOG描述子,构成角点特征描述向量(x,y,d);其中,x和y分别为Harris角点在图像中的横坐标和纵坐标,d为HOG描述子;
a22、将图像f(t-1)和f(t)的角点特征向量集进行匹配处理,得到角点匹配集合S={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,m};
a23、利用RANSAC算法滤除角点匹配集合S中的误匹配点得到对应特征点集合S',其中,
S'={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,n}且n≤m;
建立运动目标模型的步骤:针对每个运动目标,计算该运动目标的位置和尺寸,据此从当前帧图像中抠出目标图像,计算该目标图像极值点、Harris角点以及每个特征点的HOG描述子;根据运动目标检测过程所获取的相应的运动目标信息建立运动目标模型,且在该模型中采用运动目标在图像中的位置、尺寸、运动方向、位移、Harris角点、极值点以及HOG描述子相结合的方式来表示运动目标特征;其中,运动目标模型定义为a={h,w,area,d,desc,track},其中,h表示目标宽度,w表示目标长度,area表示目标面积,d表示目标充实度,desc为目标当前的HOG特征向量集,track为目标运动轨迹集合;
运动目标跟踪的步骤:针对每个运动目标,根据其运动目标模型估算出该运动目标在当前帧图像中的位置和尺寸,并从当前帧图像中抠出相应图像作为估计目标图像f;计算估计目标图像f的特征值,包括Harris角点和极值点及其HOG描述子,得到估计目标图像的特征信息;将估计目标图像和原目标图像的特征进行匹配,若匹配成功,则更新该运动目标模型的信息,否则删除该运动目标模型的信息。
优选地,步骤a22中角点匹配的条件是:对于图像f(t-1)中的任一角点(xi,yi,di)与图像f(t)中的任一角点(x'j,y'j,d′j),若|di-d'j|=arg min{|di-d′1|,|di-d'2|,...,|di-d'n|},则判定角点(xi,yi,di)与角点(x'j,y'j,d'j)相匹配。
优选地,对二值图像B进行滤波操作得到所有运动目标进一步包括:
a61、对二值图像B进行腐蚀、膨胀操作,取出干扰噪声点和空洞;
a62、在二值图像B上提取所有运动目标,分别计算每个运动目标的质心、长、宽、目标充实度、目标面积信息并将所有运动目标信息保存至运动目标链表。
优选地,步骤a62之后还包括:a63、去除运动目标链表中的伪目标。
优选地,根据运动目标模型信息估算该运动目标在当前帧图像的位置和尺寸,并将其从当前帧图像中抠出以得到估计目标图像f进一步包括:
c11、按照以下公式估算运动目标在当前帧图像中的位置(x'i,y'i)、长度w'和宽度h',
x'i=xi-1+Δx,y'i=yi-1+Δy,h'=h+k·Δy,w'=w+k·Δx,
其中, k为目标缩放因子,k≥2;(xi-1,yi-1)和(xi-2,yi-2)分别为运动目标在前两帧图像中的位置,h和w分别为运动目标在前一帧图像中的长度和宽度;
c12、根据参数(x'i,y'i)、h'、w'将运动目标从当前帧图像中抠出得到估计目标图像f。
根据本发明的另一个方面,提供的一种运动目标检测与跟踪***,应用于摄像机处于运动状态下的视频监控***中,该***包括运动目标检测模块、运动目标模型建立模块和运动目标跟踪模块,其中:
运动目标检测模块:用于对连续采集的两帧图像f(t-1)、f(t)并进行高斯平滑处理,采用Harris角点结合HOG描述子的方式提取图像f(t-1)和f(t)对应特征点,得到对应特征点集合S';根据对应特征点的集合S',利用广义逆法求得投影变换矩阵A;将前一帧图像f(t-1)按照投影变换矩阵作投影变换得到图像F;将帧图像与后一帧图像f(t)作差得到差分图像D,再通过阈值分割得到二值图像B;对二值图像B进行滤波操作得到所有运动目标;
其中,采用Harris角点结合HOG描述子的方式提取图像f(t-1)和f(t)对应特征点,得到对应特征点集合S'具体包括:分别提取图像f(t-1)和f(t)的Harris角点特征并为每个Harris角点建立HOG描述子,构成角点特征描述向量(x,y,d);其中,x和y分别为Harris角点在图像中的横坐标和纵坐标,d为HOG描述子;将图像f(t-1)和f(t)的角点特征向量集进行匹配处理,得到角点匹配集合S={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,m};利用RANSAC算法滤除角点匹配集合S中的误匹配点得到对应特征点集合S',其中,
S'={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,n}且n≤m;
建立运动目标模型模块:用于针对每个运动目标,计算该运动目标的位置和尺寸,据此从当前帧图像中抠出目标图像,计算该目标图像极值点、Harris角点以及每个特征点的HOG描述子;根据运动目标检测过程所获取的相应的运动目标信息建立运动目标模型,且在该模型中采用运动目标在图像中的位置、尺寸、运动方向、位移、Harris角点、极值点以及HOG描述子相结合的方式来表示运动目标特征;其中,运动目标模型定义为a={h,w,area,d,desc,track},其中,h表示目标宽度,w表示目标长度,area表示目标面积,d表示目标充实度,desc为目标当前的HOG特征向量集,track为目标运动轨迹集合;
运动目标跟踪模块:用于针对每个运动目标,根据其运动目标模型估算出该运动目标在当前帧图像中的位置和尺寸,并从当前帧图像中抠出相应图像作为估计目标图像f;计算估计目标图像f的特征值,包括Harris角点和极值点及其HOG描述子,得到估计目标图像的特征信息;将估计目标图像和原目标图像的特征进行匹配,若匹配成功,则更新该运动目标模型的信息,否则删除该运动目标模型的信息。
本发明实施例与现有技术相比,有益效果在于:
(1)在视频图像表示方法中,由于连续两帧图像之间存在较小的平移和旋转角度,因此,HOG描述子具有平移和旋转不变的特性,另外,图像的角点特征比较稳定、可靠,角点提取相对于SIFT、SURF极值点特征提取则更加快速,更加有利于实时视频图像计算;综合上述特征,本发明所采用Harris角点结合HOG描述子的方法能够快速获得视频图像中的稳定特征,非常适合实时视频图像计算,并且为后续的投影矩阵计算提供可靠保障;
(2)在运动目标的表示方法中,由于目标图像的角点特征或是极值点特都无法独立完整的表示目标特征,例如:比较圆滑的目标可能提取到到少量角点或是根本无法提取到角点,而对于颜色分布均匀的目标则可能无法提取到极值点特征,这样一来都有可能导致目标特征提取失败,从而造成无法跟踪目标的情况。因此,本发明采用将角点与极值点相结合的表示方式来完整的表示运动目标,从而确保跟踪的稳定性,这其中虽然引入了极值点的计算,提高了计算复杂度,但由于运动目标相对于整幅图像较小,只对运动目标计算极值点特征而不对整幅图像计算极值点特征,仍然可以满足实时处理的需要。
(3)在运动目标跟踪过程中,由于目标在连续两帧图像之间运动位移和旋转角度不大,可以认为同一目标在前后两帧中存在一个仿射变换,本发明依据这个前提,利用该仿射变换矩阵即可精确定位原目标在当前帧的位置和尺寸,最后将目标的模型参数进行更新,保证跟踪的连续性。采用这个识别方法的好处是目标跟踪定位精确,跟踪可持续性强,可以克服目标之间的部分遮挡,对背景变化和光照变化也具有较好的适应性。
综上,本发明解决了目前摄像机在运动情况下对多个运动目标实时检测与跟踪的问题,且保证了实时性与可靠性。在求解图像投影变换矩阵中,采用图像稳定的角点特征匹配不仅能够大大降低计算量,而且也同时保证了图像特征匹配的精度,从而快速准确地估计出投影变换矩阵,最终保证运动目标检测的精度;采用角点和极值点作为目标特征,使得目标识别更加鲁棒,跟踪可持续性强,同时可以克服目标之间的部分遮挡、姿态变化,对背景变化和光照变化也好较好的适应性;采用目标运动估计的方法缩小了目标搜索的范围,减少了计算量,大大降低了目标跟踪时复杂性。
附图说明
图1是本发明实施例中视频监控***结构图。
图2是本发明实施例中运动目标检测方法流程图。
图3是本发明实施例中运动目标模型的建立方法流程图。
图4是本发明实施例中运动目标跟踪方法流程图。
图5是本发明实施例中运动目标二值模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本实施例所提供的视频监控***主要包括:车载摄像机11、DSP12、运动目标检测模块13以及运动目标跟踪模块14;其中,DSP12处理车载摄像机11采集的视频图像,调用运动目标检测模块13提取运动目标,若有运动目标存在,则调用运动目标跟踪模块14对运动目标进行跟踪,具体的处理过程包括:运动目标检测的步骤、建立运动目标模型的步骤、运动目标跟踪的步骤。其中,
(1)如图2所示,运动目标检测的步骤具体包括:
步骤101、采集连续两帧图像f(t-1),f(t)并进行高斯平滑处理。
步骤102、计算得到上述两帧图像对应特征点。
具体包括:①提取两幅图像Harris角点特征并为每个角点建立HOG描述子,构成角点特征描述向量(x,y,d),其中x,y为角点在图像中横纵坐标,d为HOG描述子;
②角点匹配:设图像f(t-1)产生的角点特征向量集
desc(t-1)={(x1,y1,d1),(x2,y2,d2),......,(xm,ym,dm)},图像f(t)产生的角点特征向量集desc(t)={(x′1,y′1,d′1),(x'2,y'2,d'2),......,(x'n,y'n,d'n)},则角点匹配的条件是:
(xi,yi,di)→(x'j,y'j,d'j)if|di-d'j|=arg min{|di-d′1|,|di-d'2|,...,|di-d'n|}
最终得到角点匹配集合S={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,m}。
③在集合S的基础上利用RANSAC算法滤除误匹配点得到集合S';
S'={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,n}且n≤m
步骤103、根据步骤102所得对应角点集合S',利用广义求逆法计算投影矩阵A:
令 Y=AX,则A=YX'(XX')-1
步骤104、将前一帧图像f(t-1)作投影变换得到帧图像F,变换如下:
其中,(u,v)为图像F中的像素点坐标,(x,y)为图像f(t-1)像素点坐标;
步骤105、将帧图像F与后一帧图像f(t)作差得到差分图像D,即D=|F-f(t)|,利用阈值分割方法得到二值图像B;
步骤106、对二值图像B进行滤波操作,具体包括:
①对二值图像B进行腐蚀、膨胀操作,去除干扰噪声点和并去除空洞;
②在二值图像B上提取运动目标并计算目标的质心、长、宽、目标充实度、目标面积,如图5所示:目标的质心为白色区域的中心,
目标面积=长*宽
并将所有目标加入到运动目标链表objList={a1,a2,a3...,an};
③根据真实目标存在的经验条件去除伪目标,得到最终可靠的运动目标链表;经验条件如下:(i)目标长宽比在区间[0.2,5.0];(ii)目标充实度大于0.3;(iii)目标面积大于200。
(2)建立运动目标模型的步骤,如图3所示,包括:
步骤201、循环访问运动目标链表,提取第n个运动目标的信息(n的初始值为1);
步骤202、根据运动目标的位置和尺寸将其从当前视频图像中抠出,计算极值点和Harris角点,极值点的计算采用David Lowe建议的方法(只需在原视频图像尺度大小上提取即可),并计算每个特征点的HOG描述子;
步骤203、建立运动目标模型并保存:模型信息包括目标在图像中的位置、尺寸、运动方向、位移、目标角点和极值点的坐标以及HOG描述子;
目标模型定义如下:a={h,w,area,d,desc,track}
其中,h表示目标宽度,w表示目标长度,area表示目标面积,d表示目标充实度,desc为目标当前的HOG特征向量集,track为目标运动轨迹集合。
步骤204、n=n+1,若n不大于目标链表长度,则转步骤201,否则转步骤(3)。
(3)运动目标跟踪的步骤,如图4所示,包括:
步骤301、循环访问运动目标链表,获取第j个运动目标模型信息aj;
步骤302、根据步骤(2)所得运动目标模型信息估计第j个运动目标在当前帧的位置、尺寸,并将其从当前帧中抠出得到估计目标图像;该步骤具体包括:
①定义track={(xi,yi)|i=1,2,3,...n}为目标运动轨迹集合,则估计目标在当前帧中的可能位置(x'i,y'i)为
x'i=xi-1+Δx,y'i=yi-1+Δy
宽度h'=h+k·Δy,长度w'=w+k·Δx
其中, k为目标缩放因子,k≥2,本文中取k=3。
②根据步骤①估计参数(x'i,y'i),h',w'将目标从当前图像中抠出得到目标图像f。
步骤303、计算目标图像f的极值点和角点,并计算相应HOG描述子得到估计目标向量a'j;
步骤304、目标识别:匹配估计目标向量a'j与原目标向量aj,若匹配成功,则表明目标跟踪成功,更新运动目标模型信息aj;若匹配失败,则跟踪失败,将运动目标模型信息从链表中删除。
①利用步骤102中所述方法匹配a′j和aj中的角点特征,若匹配成功,则执行下步,否则删除第j个运动目标的模型信息aj。
②利用步骤103所述方法计算目标aj投影矩阵Aa,再利用步骤104所述方法即可求得目标aj在当前图像中的质心坐标、长、宽、角点信息;
③利用步骤②所求参数更新第j个运动目标的模型信息aj;
步骤305、j=j+1,若j小于或等于目标链表长度,转步骤301,否则结束。
相应地,与上述运动目标检测与跟踪方法相对应,本发明实施例还提供了一种运动目标检测与跟踪***,该***包括运动目标检测模块、运动目标模型建立模块和运动目标跟踪模块,其中:
运动目标检测模块:用于对连续采集的两帧图像f(t-1)、f(t)并进行高斯平滑处理,采用Harris角点结合HOG描述子的方式提取图像f(t-1)和f(t)对应特征点,得到对应特征点集合S';根据对应特征点的集合S',利用广义逆法求得投影变换矩阵A;将前一帧图像f(t-1)按照投影变换矩阵作投影变换得到图像F;将帧图像与后一帧图像f(t)作差得到差分图像D,再通过阈值分割得到二值图像B;对二值图像B进行滤波操作得到所有运动目标;
其中,采用Harris角点结合HOG描述子的方式提取图像f(t-1)和f(t)对应特征点,得到对应特征点集合S'具体包括:分别提取图像f(t-1)和f(t)的Harris角点特征并为每个Harris角点建立HOG描述子,构成角点特征描述向量(x,y,d);其中,x和y分别为Harris角点在图像中的横坐标和纵坐标,d为HOG描述子;将图像f(t-1)和f(t)的角点特征向量集进行匹配处理,得到角点匹配集合S={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,m};利用RANSAC算法滤除角点匹配集合S中的误匹配点得到对应特征点集合S',其中,
S'={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,n}且n≤m;
建立运动目标模型模块:用于针对每个运动目标,计算该运动目标的位置和尺寸,据此从当前帧图像中抠出目标图像,计算该目标图像极值点、Harris角点以及每个特征点的HOG描述子;根据运动目标检测过程所获取的相应的运动目标信息建立运动目标模型,且在该模型中采用运动目标在图像中的位置、尺寸、运动方向、位移、Harris角点、极值点以及HOG描述子相结合的方式来表示运动目标特征;其中,运动目标模型定义为a={h,w,area,d,desc,track},其中,h表示目标宽度,w表示目标长度,area表示目标面积,d表示目标充实度,desc为目标当前的HOG特征向量集,track为目标运动轨迹集合;
运动目标跟踪模块:用于针对每个运动目标,根据其运动目标模型估算出该运动目标在当前帧图像中的位置和尺寸,并从当前帧图像中抠出相应图像作为估计目标图像f;计算估计目标图像f的特征值,包括Harris角点和极值点及其HOG描述子,得到估计目标图像的特征信息;将估计目标图像和原目标图像的特征进行匹配,若匹配成功,则更新该运动目标模型的信息,否则删除该运动目标模型的信息。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种运动目标检测与跟踪方法,应用于摄像机处于运动状态下的视频监控***中,其特征在于,包括:
运动目标检测的步骤:对连续采集的两帧图像f(t-1)、f(t)并进行高斯平滑处理,采用Harris角点结合HOG描述子的方式提取所述图像f(t-1)和f(t)对应特征点,得到对应特征点集合S';根据所述对应特征点的集合S',利用广义逆法求得投影变换矩阵A;将前一帧图像f(t-1)按照所述投影变换矩阵作投影变换得到帧图像F;将帧图像F与后一帧图像f(t)作差得到差分图像D,再通过阈值分割得到二值图像B;对二值图像B进行滤波操作得到所有运动目标;
其中,所述采用Harris角点结合HOG描述子的方式提取所述图像f(t-1)和f(t)对应特征点,得到对应特征点集合S'进一步包括:
a21、分别提取所述图像f(t-1)和f(t)的Harris角点特征并为每个Harris角点建立HOG描述子,构成角点特征描述向量(x,y,d);其中,x和y分别为Harris角点在图像中的横坐标和纵坐标,d为HOG描述子;
a22、将所述图像f(t-1)和f(t)的角点特征向量集进行匹配处理,得到角点匹配集合S={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,m};
a23、利用RANSAC算法滤除角点匹配集合S中的误匹配点得到对应特征点集合S',其中,
S'={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,n}且n≤m;
建立运动目标模型的步骤:针对每个运动目标,计算该运动目标的位置和尺寸,据此从当前帧图像中抠出目标图像,计算该目标图像极值点、Harris角点以及每个特征点的HOG描述子;根据所述运动目标检测过程所获取的相应的运动目标信息建立运动目标模型,且在该模型中采用运动目标在图像中的位置、尺寸、运动方向、位移、Harris角点、极值点以及HOG描述子相结合的方式来表示运动目标特征;其中,所述运动目标模型定义为a={h,w,area,d,desc,track},其中,h表示目标宽度,w表示目标长度,area表示目标面积,d表示目标充实度,desc为目标当前的HOG特征向量集,track为目标运动轨迹集合;
运动目标跟踪的步骤:针对每个运动目标,根据其运动目标模型估算出该运动目标在当前帧图像中的位置和尺寸,并从当前帧图像中抠出相应图像作为估计目标图像f;计算估计目标图像f的特征值,包括Harris角点和极值点及其HOG描述子,得到估计目标图像的特征信息;将估计目标图像和原目标图像的特征进行匹配,若匹配成功,则更新该运动目标模型的信息,否则删除该运动目标模型的信息。
2.如权利要求1所述的运动目标检测与跟踪方法,其特征在于,所述步骤a22中角点匹配的条件是:对于所述图像f(t-1)中的任一角点(xi,yi,di)与所述图像f(t)中的任一角点(x′j,y′j,d′j),若|di-d'j|=arg min{|di-d′1|,|di-d'2|,...,|di-d'n|},则判定所述角点(xi,yi,di)与角点(x'j,y'j,d'j)相匹配。
3.如权利要求1所述的运动目标检测与跟踪方法,其特征在于,所述对二值图像B进行滤波操作得到所有运动目标进一步包括:
a61、对二值图像B进行腐蚀、膨胀操作,取出干扰噪声点和空洞;
a62、在二值图像B上提取所有运动目标,分别计算每个运动目标的质心、长、宽、目标充实度、目标面积信息并将所有运动目标信息保存至运动目标链表。
4.如权利要求3所述的运动目标检测与跟踪方法,其特征在于,所述步骤a62之后还包括:
a63、去除所述运动目标链表中的伪目标。
5.如权利要求1所述的运动目标检测与跟踪方法,其特征在于,所述根据运动目标模型信息估算该运动目标在当前帧图像的位置和尺寸,并将其从当前帧图像中抠出以得到估计目标图像f进一步包括:
c11、按照以下公式估算运动目标在当前帧图像中的位置(x'i,y'i)、长度w'和宽度h',
x'i=xi-1+Δx,y'i=yi-1+Δy,h'=h+k·Δy,w'=w+k·Δx,
其中, k为目标缩放因子,k≥2;(xi-1,yi-1)和(xi-2,yi-2)分别为运动目标在前两帧图像中的位置,h和w分别为运动目标在前一帧图像中的长度和宽度;
c12、根据参数(x'i,y'i)、h'、w'将运动目标从当前帧图像中抠出得到估计目标图像f。
6.一种运动目标检测与跟踪***,应用于摄像机处于运动状态下的视频监控***中,其特征在于,该***包括运动目标检测模块、运动目标模型建立模块和运动目标跟踪模块,其中:
运动目标检测模块:用于对连续采集的两帧图像f(t-1)、f(t)并进行高斯平滑处理,采用Harris角点结合HOG描述子的方式提取所述图像f(t-1)和f(t)对应特征点,得到对应特征点集合S';根据所述对应特征点的集合S',利用广义逆法求得投影变换矩阵A;将前一帧图像f(t-1)按照所述投影变换矩阵作投影变换得到图像F;将帧图像与后一帧图像f(t)作差得到差分图像D,再通过阈值分割得到二值图像B;对二值图像B进行滤波操作得到所有运动目标;
其中,所述采用Harris角点结合HOG描述子的方式提取所述图像f(t-1)和f(t)对应特征点,得到对应特征点集合S'具体包括:分别提取所述图像f(t-1)和f(t)的Harris角点特征并为每个Harris角点建立HOG描述子,构成角点特征描述向量(x,y,d);其中,x和y分别为Harris角点在图像中的横坐标和纵坐标,d为HOG描述子;将所述图像f(t-1)和f(t)的角点特征向量集进行匹配处理,得到角点匹配集合S={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,m};利用RANSAC算法滤除角点匹配集合S中的误匹配点得到对应特征点集合S',其中,
S'={(xi,yi,di)→(x′i,y′i,d′i)|i=1,2,3...,n}且n≤m;
建立运动目标模型模块:用于针对每个运动目标,计算该运动目标的位置和尺寸,据此从当前帧图像中抠出目标图像,计算该目标图像极值点、Harris角点以及每个特征点的HOG描述子;根据所述运动目标检测过程所获取的相应的运动目标信息建立运动目标模型,且在该模型中采用运动目标在图像中的位置、尺寸、运动方向、位移、Harris角点、极值点以及HOG描述子相结合的方式来表示运动目标特征;其中,所述运动目标模型定义为a={h,w,area,d,desc,track},其中,h表示目标宽度,w表示目标长度,area表示目标面积,d表示目标充实度,desc为目标当前的HOG特征向量集,track为目标运动轨迹集合;
运动目标跟踪模块:用于针对每个运动目标,根据其运动目标模型估算出该运动目标在当前帧图像中的位置和尺寸,并从当前帧图像中抠出相应图像作为估计目标图像f;计算估计目标图像f的特征值,包括Harris角点和极值点及其HOG描述子,得到估计目标图像的特征信息;将估计目标图像和原目标图像的特征进行匹配,若匹配成功,则更新该运动目标模型的信息,否则删除该运动目标模型的信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010515055.8A CN102456225B (zh) | 2010-10-22 | 2010-10-22 | 一种运动目标检测与跟踪方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010515055.8A CN102456225B (zh) | 2010-10-22 | 2010-10-22 | 一种运动目标检测与跟踪方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102456225A CN102456225A (zh) | 2012-05-16 |
CN102456225B true CN102456225B (zh) | 2014-07-09 |
Family
ID=46039388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010515055.8A Expired - Fee Related CN102456225B (zh) | 2010-10-22 | 2010-10-22 | 一种运动目标检测与跟踪方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102456225B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103200358B (zh) * | 2012-01-06 | 2016-04-13 | 杭州普维光电技术有限公司 | 摄像机与目标场景之间的坐标转换方法及装置 |
CN102799883B (zh) * | 2012-06-29 | 2015-07-22 | 广州中国科学院先进技术研究所 | 一种从视频图像中提取运动目标的方法及装置 |
CN103824305A (zh) * | 2014-03-17 | 2014-05-28 | 天津工业大学 | 一种改进的Meanshift目标跟踪方法 |
CN103996028B (zh) * | 2014-05-21 | 2017-04-05 | 南京航空航天大学 | 一种车辆行为识别方法 |
CN104504724B (zh) * | 2015-01-15 | 2018-04-06 | 杭州国策商图科技有限公司 | 一种不受障碍物影响的运动物体跟踪及提取算法 |
CN105025198B (zh) * | 2015-07-22 | 2019-01-01 | 东方网力科技股份有限公司 | 一种基于时空因素的视频运动目标的分组方法 |
CN106534614A (zh) * | 2015-09-10 | 2017-03-22 | 南京理工大学 | 移动摄像机下运动目标检测的快速运动补偿方法 |
CN105321180A (zh) * | 2015-10-21 | 2016-02-10 | 浪潮(北京)电子信息产业有限公司 | 一种基于云计算的目标跟踪定位方法及装置 |
CN105427344B (zh) * | 2015-11-18 | 2018-04-03 | 国网江苏省电力有限公司检修分公司 | 一种变电站智能***中运动目标检测方法 |
CN107105193B (zh) * | 2016-02-23 | 2020-03-20 | 芋头科技(杭州)有限公司 | 基于人体信息的机器人监控*** |
CN105933698A (zh) * | 2016-04-14 | 2016-09-07 | 吴本刚 | 一种智能卫星数字电视节目播放质量检测*** |
CN109478328A (zh) * | 2016-09-30 | 2019-03-15 | 富士通株式会社 | 目标跟踪方法、装置以及图像处理设备 |
CN106815856B (zh) * | 2017-01-13 | 2019-07-16 | 大连理工大学 | 一种面阵摄像机旋转扫描下的动目标鲁棒检测方法 |
CN107481269B (zh) * | 2017-08-08 | 2020-07-03 | 西安科技大学 | 一种矿井用多摄像头运动目标连续跟踪方法 |
CN107704797B (zh) * | 2017-08-08 | 2020-06-23 | 深圳市安软慧视科技有限公司 | 基于安防视频中行人和车辆的实时检测方法和***及设备 |
US11238612B2 (en) * | 2018-08-28 | 2022-02-01 | Beijing Jingdong Shangke Information Technology Co., Ltd. | Device and method of tracking poses of multiple objects based on single-object pose estimator |
CN110188754B (zh) * | 2019-05-29 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 图像分割方法和装置、模型训练方法和装置 |
CN110825123A (zh) * | 2019-10-21 | 2020-02-21 | 哈尔滨理工大学 | 一种基于运动算法的自动跟随载物车的控制***及方法 |
CN112906803B (zh) * | 2021-03-01 | 2022-11-01 | 重庆紫光华山智安科技有限公司 | 模型集成方法、装置、服务器和计算机可读存储介质 |
CN113344963B (zh) * | 2021-05-27 | 2022-10-25 | 绍兴市北大信息技术科创中心 | 一种基于图像分割的种子点自适应目标跟踪*** |
CN114926508B (zh) * | 2022-07-21 | 2022-11-25 | 深圳市海清视讯科技有限公司 | 视野分界线确定方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101009021A (zh) * | 2007-01-25 | 2007-08-01 | 复旦大学 | 基于特征匹配与跟踪的视频稳定方法 |
CN101109818A (zh) * | 2006-07-20 | 2008-01-23 | 中国科学院自动化研究所 | 遥感影像高精度控制点自动选择方法 |
-
2010
- 2010-10-22 CN CN201010515055.8A patent/CN102456225B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109818A (zh) * | 2006-07-20 | 2008-01-23 | 中国科学院自动化研究所 | 遥感影像高精度控制点自动选择方法 |
CN101009021A (zh) * | 2007-01-25 | 2007-08-01 | 复旦大学 | 基于特征匹配与跟踪的视频稳定方法 |
Non-Patent Citations (2)
Title |
---|
应用角点匹配实现目标跟踪;罗刚等;《中国光学与应用光学》;20091231;第2卷(第06期);1-4 * |
罗刚等.应用角点匹配实现目标跟踪.《中国光学与应用光学》.2009,第2卷(第06期),1-4. |
Also Published As
Publication number | Publication date |
---|---|
CN102456225A (zh) | 2012-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102456225B (zh) | 一种运动目标检测与跟踪方法和*** | |
CN109544636B (zh) | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 | |
CN107025668B (zh) | 一种基于深度相机的视觉里程计的设计方法 | |
US11270148B2 (en) | Visual SLAM method and apparatus based on point and line features | |
CN110796010B (zh) | 一种结合光流法和卡尔曼滤波的视频稳像方法 | |
CN114862949B (zh) | 一种基于点线面特征的结构化场景视觉slam方法 | |
EP3680809A1 (en) | Visual slam method and apparatus based on point and line characteristic | |
CN101316368B (zh) | 基于全局特征点迭代的全景稳像方法 | |
Zhou et al. | AAM based face tracking with temporal matching and face segmentation | |
US7831094B2 (en) | Simultaneous localization and mapping using multiple view feature descriptors | |
CN106570913B (zh) | 基于特征的单目slam快速初始化方法 | |
Yin et al. | Fast-moving target tracking based on mean shift and frame-difference methods | |
CN111199556B (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
CN111322993B (zh) | 一种视觉定位方法和装置 | |
CN104036523A (zh) | 一种基于SURF特征的改进Mean Shift的目标跟踪方法 | |
CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
US20110074927A1 (en) | Method for determining ego-motion of moving platform and detection system | |
Saito et al. | People detection and tracking from fish-eye image based on probabilistic appearance model | |
CN106595601B (zh) | 一种无需手眼标定的相机六自由度位姿精确重定位方法 | |
Liu et al. | Adaptive ground plane estimation for moving camera-based 3D object tracking | |
Xie et al. | Fast detecting moving objects in moving background using ORB feature matching | |
Hao et al. | LMVI-SLAM: Robust low-light monocular visual-inertial simultaneous localization and mapping | |
Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
Saito et al. | Human detection from fish-eye image by Bayesian combination of probabilistic appearance models | |
Monari et al. | A real-time image-to-panorama registration approach for background subtraction using pan-tilt-cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140709 |