CN101477618A - 视频中行人步态周期自动提取方法 - Google Patents
视频中行人步态周期自动提取方法 Download PDFInfo
- Publication number
- CN101477618A CN101477618A CNA2008102072206A CN200810207220A CN101477618A CN 101477618 A CN101477618 A CN 101477618A CN A2008102072206 A CNA2008102072206 A CN A2008102072206A CN 200810207220 A CN200810207220 A CN 200810207220A CN 101477618 A CN101477618 A CN 101477618A
- Authority
- CN
- China
- Prior art keywords
- video
- pedestrian
- frequency
- target
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种视频中行人步态周期自动提取方法,基于频率域分析理论,对视频中行人目标的步态周期特征进行自动提取,包括:(1)提取视频序列中不同行人目标的前景图像;(2)前景图像向x轴的映射;(3)单帧信息向时间轴的映射;(4)对映射得到的时间序列信号进行傅立叶变换获得频域信号;(5)由频域信号获得频域信号的功率谱,利用其中功率最大频率值获取行人步态的周期。本发明具有易于实现、鲁棒性强、精确度高、实时性强等优点,可以为视频监控中行人目标的识别与跟踪提供一种新的实时可靠的特征信息。
Description
技术领域
本发明涉及一种视频中行人步态周期自动提取方法,具体涉及一种利用频率域分析理论,对视频中行人目标的步态周期特征进行自动提取的方法。属于视频监控技术领域。
背景技术
随着视频监控技术的发展,视频摄像机已经被广泛用来对各种环境、区域和场所进行实时监控。随着视频检测器数量的急剧增加,传统的人工被动监控已经远远无法满足监控任务的需要。因此,实现可以代替人眼的智能自动监控功能成为视频监控研究的目标。目前,在智能监控的研究中,对行人目标进行自动识别与跟踪所用到的特征主要包括衣服的颜色特征、纹理特征,前景的轮廓特征、几何特征等等。这些特征都属于视频中单帧图像的图像特征,仅仅利用这些图像特征建立目标的外观模型来识别行人目标,还无法达到较高的准确性。因此,利用视频序列的帧间信息来体现目标的运动特征,成为解决视频目标识别问题的一个新的途径。在人的运动特征中,步态的周期是一个典型的特征。然而,如何自动地提取步态的周期来实现目标的在线识别与持续跟踪,成为工程实践中亟待解决的问题。
经对现有技术文献的检索发现,目前在视频中检测周期运动目标周期的方法主要分为两类:一类是基于空间域的方法,另一类是基于频率域的方法。在基于空间域的方法中,R.Polana等人于1997年发表在《International Journal of ComputerVision(国际计算机视觉杂志)》上的论文“Detection and recognition of periodic,nonrigid motion(周期性非刚体运动的检测与识别)”,采用跟踪目标上对应特征点的方法来估计目标运动的周期。然而,基于特征点的方法对光线变化和遮挡等干扰的鲁棒性非常差,而且运算量大,因此不适合实际的工程应用。R.Cutler等人于2000年发表在《IEEE Transactions on Pattern Analysis and Machine Intelligence(IEEE模式分析与机器智能会刊)》上的论文“Robust real-time periodic motion detection,analysis,and applications(鲁棒实时周期运动检测、分析与应用)”,采用区域特征对应的方法来检测目标运动的周期。然而,他们的方法不能实时检测叠加到其他运动上的周期运动,例如人行走时步态的周期。在这种情况下,他们的方法需要对视频进行预处理,把行人定位在视频图像的同一位置,这种处理很难实时进行。而且,基于区域特征的方法对于噪声和视频图像的质量要求太高,因此也不利于工程推广。在基于频率域的方法中,A.Briassouli等人于2007年发表在《IEEE Transactionson Pattern Analysis and Machine Intelligence(IEEE模式分析与机器智能会刊)》上的论文“Extraction and analysis of multiple periodic motions in video sequences(视频序列中多周期运动的抽取与分析)”,采用频域分析的方法实现了多周期运动目标周期的提取,该方法可以处理周期运动叠加到其他运动的情况,而且对各种干扰具备很强的鲁棒性;然而,此方法却不能实现实时检测,而且算法复杂,不易实现,因此限制了其工程应用。
发明内容
本发明的目的在于克服现有技术中的不足,提供一种视频中行人步态周期自动提取方法,能在光照变化、检测噪声等实际工程应用的复杂环境下,实时准确地估计行人步态的周期,为视频监控中目标识别与跟踪提供一种可靠的运动特征。
为实现上述目的,本发明首先提取视频序列中不同行人目标的前景图像,然后将前景图像向x轴映射,再将单帧信息向时间轴映射,并对映射得到的时间序列信号进行傅立叶变换获得频域信号,最后由频域信号获得频域信号的功率谱,利用其中功率最大频率值获取行人步态的周期。
本发明的方法通过以下具体步骤实现:
(1)提取视频序列中不同行人目标的前景:
首先把视频读入计算机,再进行背景建模与背景实时更新,采用当前帧与背景帧相减的方法得到所有行人目标的前景图像,然后对前景图像中的M个行人目标进行分离,使得每一帧前景图像中只包含一个行人目标,最终获得M个分别只包含一个行人目标的目标视频。
(2)前景图像向x轴的映射:
先对每个目标视频的前景图像帧,进行二值化处理:把前景区域的像素值赋为1,把背景区域的像素值赋为0;然后,把二值化后的每一帧图像中的像素值按下式
映射到图像平面坐标系的x轴上,得到一个二维矩阵。
式中:I(x,y,k)表示第k帧图像中坐标值为(x,y)点的像素值;sx(x,k)表示把像素值延y轴叠加后的和值。
(3)单帧信息向时间轴的映射:
先对上一步得到的二维矩阵中的元素进行二值化处理:把大于0的值都设为1,等于0的值不变;然后把二值化后的矩阵按下式
映射到时间轴k轴上,得到一个时间序列信号。
式中:A(x,k)表示矩阵A中坐标值为(x,k)点的值;sk(k)表示把矩阵中元素延x轴叠加后的和值。
(4)对映射得到的时间序列信号进行傅立叶变换:
对映射得到的时间序列信号进行傅立叶变换,得到该时间序列信号在频域下的函数表示,即频域信号F(u),
(5)计算行人步态的周期:
由频域信号获得频域信号的功率谱,从中选出除0频率之外功率最大的频率,然后将视频总帧数除以功率最大的频率值得到以帧为单位的行人步态的周期值,完成视频中行人步态周期自动提取。
本发明与现有技术相比的显著效果在于:可以自动提取多个行人步态的周期,不需要对原始视频信号进行任何的预处理,而且对实际监控视频中所出现的光照变化、摄像机抖动、检测噪声、前景检测误差等干扰同时具有较高的鲁棒性。由于克服了这些现有技术在实际工程应用方面难以解决的困难,因此真正实现了视频中行人步态周期的实时检测和估计。
本发明针对智能视频监控中目标识别和跟踪的需要,利用频域分析技术,实时提取多个行人步态的周期,具有算法简单、精确度高、鲁棒性强等优点。特别是不需要对原始视频信号进行任何的预处理,自动实现周期检测,克服了以往技术方法都难以克服的难点,也消除了实现真正工程应用的主要障碍。本发明使用基于频域分析的图像处理技术,实现行人步态周期的自动提取,最终为智能视频监控中目标识别和跟踪提供一个新的可靠的目标特征。
附图说明
图1本发明方法流程图。
图2视频序列中前景图像向x轴的映射后得到的二维矩阵的二值化图。
图3单帧信息向时间轴的映射后得到的离散时间序列信号图。
图4对映射得到的时间序列信号进行傅立叶变换后的频域表示图。
图5周期频谱图。
具体实施方式
以下结合附图和实施例对本发明的技术方案作进一步详细说明。以下实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
为了更好地理解本实施例提出的方法,选取一段监控摄像机拍摄的视频片断,视频中有三个行人从视域中经过,但他们之间没有一直被对方遮挡。
如图1本发明方法流程图所示,本实施例具体实施步骤如下(使用Visual C++语言编程):
(1)提取视频序列中不同行人目标的前景
首先采用OpenCV(Intel开源计算机视觉库)中的功能函数进行视频读取,把视频读入计算机,再进行背景建模与背景实时更新,并采用当前帧与背景帧相减的方法得到所有行人目标的前景图像。
前景检测采用当前帧与背景帧相减的方法,并结合高斯滤波与形态学处理,可以获取比较准确的目标前景图像。
然后对检测到的多个行人目标进行分离,使得每一帧前景图像中只包含一个行人目标。本实施例选取的视频中有三个行人从视域中经过,所以在任何时刻的图象帧中行人目标数目不超过3。假设在t1时刻的图像帧中有M(M≤3)个行人目标,那么此图像帧就被复制为M个副本,每个副本中只有一个目标。对整个视频的所有帧都进行这样的处理,就得到三个目标视频,每个视频只包含一个行人目标。之后的所有操作都对每个目标视频分别进行。
(2)前景图像向x轴的映射
对每个目标视频的前景图像帧进行二值化处理,把前景区域的像素值赋为1,把背景区域的像素值赋为0。
然后,把二值化后的每一帧图像中的像素值按下式映射到图像平面坐标系的x轴上:
式中:I(x,y,k)表示第k帧图像中坐标值为(x,y)点的像素值;sx(x,k)表示把像素值延y轴叠加后的和值。
这样就得到一个分别以x和k为坐标轴的二维矩阵A,矩阵中元素的值为sx(x,k)。
(3)单帧信息向时间轴的映射
对得到的二维矩阵A中的元素进行二值化处理,把大于0的值都设为1,等于0的值不变。该二值图像如图2所示。
然后把二值化后的矩阵按下式映射到时间轴k轴上,
式中:A(x,k)表示矩阵A中坐标值为(x,k)点的值;sk(k)表示把矩阵中元素延x轴叠加后的和值。
这样就得到一个一维的离散时间序列信号s(t),t=0,1,…,k,…,N-1。N表示视频的总帧数。该时间序列信号如图3所示。
(4)对映射得到的时间序列信号进行傅立叶变换
对上一步的到的离散时间序列信号按以下离散傅立叶变换公式进行离散傅立叶变换:
变换后得到以函数F(u),u=0,1,…,N-1表示的频域信号,如图4所示。
(5)计算行人步态的周期
首先计算上一步得到的频域信号的功率谱,如下式所示:
P(u)=|F(u)|2,u=0,1,…,N-1
然后选出除0频率之外功率最大的频率就为行人步态的频率,根据下式计算其周期,单位为帧:
式中:Freq表示功率最大的频率u的值;Perd表示以帧为单位的行人步态的周期值。
由此完成视频中行人步态周期自动提取。
根据以上方法得到以帧为单位的周期值16.67帧。周期频谱图如图5所示,功率最大值对应的周期为16.67(帧/周期)。
Claims (1)
1、一种视频中行人步态周期自动提取方法,其特征在于包括以下步骤:
1)首先把视频读入计算机,再进行背景建模与背景实时更新,采用当前帧与背景帧相减的方法得到所有行人目标的前景图像,然后对前景图像中的M个行人目标进行分离,使得每一帧前景图像中只包含一个行人目标,最终获得M个分别只包含一个行人目标的目标视频;
2)对每个目标视频的前景图像帧进行二值化处理,把前景区域的像素值赋为1,把背景区域的像素值赋为0;然后,把二值化后的每一帧图像中的像素值按下式
映射到图像平面坐标系的x轴上,得到一个二维矩阵;式中:I(x,y,k)表示第k帧图像中坐标值为(x,y)点的像素值;sx(x,k)表示把像素值延y轴叠加后的和值;
3)对得到的二维矩阵中的元素进行二值化处理,把大于0的值都设为1,等于0的值不变;然后把二值化后的矩阵按下式
映射到时间轴k轴上,得到一个时间序列信号;式中:A(x,k)表示矩阵A中坐标值为(x,k)点的值;sk(k)表示把矩阵中元素延x轴叠加后的和值;
4)对映射得到的时间序列信号进行傅立叶变换,得到该时间序列信号在频域下的函数表示,即频域信号F(u),
5)由频域信号获得频域信号的功率谱,从中选出除0频率之外功率最大的频率,然后将视频总帧数除以功率最大的频率值得到以帧为单位的行人步态的周期值,完成视频中行人步态周期自动提取。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102072206A CN101477618B (zh) | 2008-12-18 | 2008-12-18 | 视频中行人步态周期自动提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008102072206A CN101477618B (zh) | 2008-12-18 | 2008-12-18 | 视频中行人步态周期自动提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101477618A true CN101477618A (zh) | 2009-07-08 |
CN101477618B CN101477618B (zh) | 2010-09-08 |
Family
ID=40838327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008102072206A Expired - Fee Related CN101477618B (zh) | 2008-12-18 | 2008-12-18 | 视频中行人步态周期自动提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101477618B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102602681A (zh) * | 2012-01-13 | 2012-07-25 | 天津工业大学 | 基于机器视觉的输送带跑偏故障在线检测方法 |
CN101794372B (zh) * | 2009-11-30 | 2012-08-08 | 南京大学 | 基于频域分析的步态特征表示及识别方法 |
CN104537340A (zh) * | 2014-12-19 | 2015-04-22 | 华南理工大学 | 一种新的步态周期生成方法 |
CN105072315A (zh) * | 2011-11-02 | 2015-11-18 | 卡西欧计算机株式会社 | 电子摄像机以及摄像控制方法 |
CN105268171A (zh) * | 2015-09-06 | 2016-01-27 | 安徽华米信息科技有限公司 | 步态监测方法、装置及可穿戴设备 |
CN107403154A (zh) * | 2017-07-20 | 2017-11-28 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
CN109584581A (zh) * | 2019-01-10 | 2019-04-05 | 浙江工业大学 | 基于傅里叶变换的数据驱动交叉口信号控制实际执行周期估计方法 |
-
2008
- 2008-12-18 CN CN2008102072206A patent/CN101477618B/zh not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101794372B (zh) * | 2009-11-30 | 2012-08-08 | 南京大学 | 基于频域分析的步态特征表示及识别方法 |
CN105072315A (zh) * | 2011-11-02 | 2015-11-18 | 卡西欧计算机株式会社 | 电子摄像机以及摄像控制方法 |
CN102602681A (zh) * | 2012-01-13 | 2012-07-25 | 天津工业大学 | 基于机器视觉的输送带跑偏故障在线检测方法 |
CN102602681B (zh) * | 2012-01-13 | 2014-01-08 | 天津工业大学 | 基于机器视觉的输送带跑偏故障在线检测方法 |
CN104537340A (zh) * | 2014-12-19 | 2015-04-22 | 华南理工大学 | 一种新的步态周期生成方法 |
CN104537340B (zh) * | 2014-12-19 | 2018-01-05 | 华南理工大学 | 一种新的步态周期生成方法 |
CN105268171A (zh) * | 2015-09-06 | 2016-01-27 | 安徽华米信息科技有限公司 | 步态监测方法、装置及可穿戴设备 |
CN105268171B (zh) * | 2015-09-06 | 2018-09-18 | 安徽华米信息科技有限公司 | 步态监测方法、装置及可穿戴设备 |
CN107403154A (zh) * | 2017-07-20 | 2017-11-28 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
CN109584581A (zh) * | 2019-01-10 | 2019-04-05 | 浙江工业大学 | 基于傅里叶变换的数据驱动交叉口信号控制实际执行周期估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101477618B (zh) | 2010-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Braham et al. | Deep background subtraction with scene-specific convolutional neural networks | |
CN101477618B (zh) | 视频中行人步态周期自动提取方法 | |
CN108447078B (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
Zhu et al. | Crowd tracking with dynamic evolution of group structures | |
Benedek | 3D people surveillance on range data sequences of a rotating Lidar | |
CN106325485B (zh) | 一种手势检测识别方法及*** | |
CN109636758B (zh) | 一种基于时空动态算子的水面漂浮物检测方法 | |
CN101447082A (zh) | 一种运动目标实时检测方法 | |
CN103310466A (zh) | 一种单目标跟踪方法及其实现装置 | |
Khan et al. | Multiple human detection in depth images | |
CN101324958A (zh) | 一种目标跟踪方法及装置 | |
Huang et al. | Non-local weighted regularization for optical flow estimation | |
Jagadeesh et al. | Video based action detection and recognition human using optical flow and SVM classifier | |
CN107368802A (zh) | 基于kcf和人脑记忆机制的运动目标跟踪方法 | |
Hou et al. | Human detection and tracking over camera networks: A review | |
CN104954743A (zh) | 一种多相机语义关联目标跟踪方法 | |
Li et al. | Loitering detection based on trajectory analysis | |
Lingaswamy et al. | An efficient moving object detection and tracking system based on fractional derivative | |
Xu et al. | Pedestrian detection based on motion compensation and HOG/SVM classifier | |
Khan et al. | Foreground detection using motion histogram threshold algorithm in high-resolution large datasets | |
Pairo et al. | Person following by mobile robots: analysis of visual and range tracking methods and technologies | |
Nguyen | Salient object detection via objectness proposals | |
Chen et al. | Low-rank representation with contextual regularization for moving object detection in big surveillance video data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100908 Termination date: 20121218 |