CN101350062A - 一种基于视频的快速人脸检测方法 - Google Patents
一种基于视频的快速人脸检测方法 Download PDFInfo
- Publication number
- CN101350062A CN101350062A CNA2008100634444A CN200810063444A CN101350062A CN 101350062 A CN101350062 A CN 101350062A CN A2008100634444 A CNA2008100634444 A CN A2008100634444A CN 200810063444 A CN200810063444 A CN 200810063444A CN 101350062 A CN101350062 A CN 101350062A
- Authority
- CN
- China
- Prior art keywords
- face
- people
- video
- foreground area
- examination pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000007689 inspection Methods 0.000 abstract 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000003068 static effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视频的人脸检测方法。它关注视频帧中的前景区域,通过预处理利用视频帧间的时空域特征进行前景区域的人脸检测,将人脸检测过程分为审查模式和跟踪模式两种不同的模式。如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域,检测流程转入审查模式,对前景区域做全面的搜索,重新收集监控区域的人脸信息。本发明可以减少检测过程中需要搜索的区域面积,减少检测过程中需要搜索的区域,避免了传统的AdaBoost算法搜索全帧的缺陷,使得计算复杂性大大降低,提高了智能视频监控应用中人脸检测的实时性。
Description
技术领域
本发明涉及智能视频监控领域,特别是涉及一种基于视频的快速人脸检测方法。
背景技术
人脸检测、识别和跟踪是智能视频监控***中首要而关键的一步,在安全识别、身份鉴定、基于内容的压缩与检索等许多应用领域具有广泛而重要的应用前景。人脸检测是这一任务的首要环节,长久以来,科学家和研究人员一直都在致力于找到一个能够快速准确的检测人脸的算法。
过去几十年来,研究人员提出了各种不同的方法来检测人脸,这些方法有的基于灰度级别和颜色特征;有的使用各种特征模板来描述人脸局部轮廓或全局轮廓特征并检测人脸。
传统的人脸检测算法大部分都是基于静态图片开发的,近年来,研究人员开始关注基于视频的人脸检测算法。在视频监控中,研究的对象是来自于摄像机的视频序列,视频序列可以看作是由一系列静止的图片组成,因此,大部分基于静态图片的方法也能用于视频序列。但是,视频序列中的人脸检测处理有其特殊之处:视频监控中处理的视频帧间具有时间上的相关性,而视频帧中的监控对象具有空间上的相关性。因而,并非所有的算法能在基于视频的检测过程中表现出良好的性能。
Paul Viola等人于2001年提出的基于Haar-like特征和Boosted Cascade框架结构的人脸检测方法是第一个真正实时的人脸检测算法。但它并没有利用视频帧间的时空相关性,同时,对于视频监控应用来说,它的实时性能还需要进一步的优化。
发明内容
本发明的目的在于提供一种基于视频的人脸检测方法。
本发明解决其技术问题采用的技术方案如下:
1)预处理:利用帧差法取得视频前景,并判断前景区域位置和比例的变化;前景区域是一块矩形区域,以Sf表示,前景区域位置定义矩形中心点的坐标,以(x,y)表示,初始化值均为0,变量Mx,My分别表示前景区域Sf的位置在x和y两个方向上的变化;假设第N帧中,前景区域Sf,N的位置并定义为(xN,yN),则Mx,My分别定义为:
(Mx)N=XN-XN-1
(My)N=YN-YN-1
前景区域Sf在视频帧中所占比例以Fc表示,假设第N帧中,前景区域Sf,N所占的比例被定义为PN,则(Fc)n被定义为:
依据Mx,My,Fc的值的大小,来判断人脸检测过程是否可以进入审查模式,当Mx>15,My>15,Fc>1.15时,人脸检测过程进入审查模式。
2)时空域特征:利用监控视频的时空域特征,将人脸检测过程分为两种不同的模式:审查模式和跟踪模式;
●审查模式
审查模式利用正面人脸检测器,对前景区域做全面的搜索。一旦新的人脸被检测到,***不但要记录该人脸在监控区域的位置坐标(X,Y),尺寸(H,W),其中H表示人脸的长度,W表示人脸的宽度,同时要记录其位置的变化(δx,δy)和尺寸的变化(ρh,ρw)信息,提供给跟踪模式做运动估计和尺寸变化估计。因此,每个检测到的人脸信息被描述为:
f=<X,δx,Y,δy,H,ρh,W,ρw>
其中:δx=Xn-Xn-1,δy=Yn-Yn-1,ρh=Hn-Hn-1,ρh=Wn-Wn-1
●跟踪模式
在跟踪模式下,根据已经检测到的人脸的相关信息,预测该人脸在当前帧中可能的位置和尺寸,并利用正面人脸检测器,只在预测区域检测人脸;如果成功检测到人脸,更新该人脸的相关信息,供下一次预测;如果在预测区域无法检测到人脸,表明跟踪失败,检测流程转入审查模式;
如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域,检测流程转入审查模式,对前景区域做全面的搜索,重新收集监控区域的人脸信息。
所述的审查模式用于处理以下情况:
●新的对象进入监控区域:在上文中提到,当有新的对象进入监控画面时,前景的位置和前景所占的比例会有一个明显的变化,即Mx>15,My>15,Fc>1.15。于是检测流程进入审查模式,以收集新进对象的相关信息;
●预测到监控对象将要离开监控区域:当跟踪模式下预测到有监控对象将要离开监控区域,检测流程转入审查模式,以确认对象的离开,并收集当前仍滞留在监控区域对象的相关信息;
●跟踪失败:尽管监控对象在监控区域的运动具有连贯性,但偶尔会出现其实际运动与运动估计不符的情况。如果在跟踪模式下,算法无法在预测区域找到监控对象,检测流程转入审查模式,重新获取监控区域内各个对象的相关信息。
本发明与背景技术相比,具有的有益的效果是:
本发明利用前景提取技术和监控视频中的时空域特征,减少检测过程中需要搜索的区域,避免了传统的AdaBoost算法搜索全帧的缺陷,使得计算复杂性大大降低,提高了智能视频监控应用中人脸检测的实时性。
附图说明
图1是前景区域位置变化的图。
图2是前景区域比例变化的图。
图3是基于视频的人脸检测方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
首先,利用帧差法取得视频前景,并判断前景区域位置和比例的变化;前景区域是一块矩形区域,以Sf表示,前景区域位置定义矩形中心点的坐标,以(x,y)表示,初始化值均为0,变量Mx,My分别表示前景区域Sf的位置在x和y两个方向上的变化;假设第N帧中,前景区域Sf,N的位置并定义为(xN,yN),则Mx,My分别定义为:
(Mx)N=XN-XN-1
(My)N=YN-YN-1
前景区域Sf在视频帧中所占比例以Fc表示,假设第N帧中,前景区域Sf,N所占的比例被定义为PN,则(Fc)n被定义为:
依据Mx,My,Fc的值的大小,来判断人脸检测过程是否可以进入审查模式,当Mx>15,My>15,Fc>1.15时,人脸检测过程进入审查模式。如图1所示,在帧1到帧5这段区域内,x和y的强烈变化都大于15了;图2所示,在帧1到帧5这段区域内,前景区域的比例变化也大于1.15了,所以人脸检测过程进入审查模式。
审查模式利用正面人脸检测器,对前景区域做全面的搜索。一旦新的人脸被检测到,***不但要记录该人脸在监控区域的位置坐标(X,Y),尺寸(H,W),其中H表示人脸的长度,W表示人脸的宽度,同时要记录其位置的变化(δx,δy)和尺寸的变化(ρh,ρw)信息,提供给跟踪模式做运动估计和尺寸变化估计。因此,每个检测到的人脸信息被描述为:
f=<X,δx,Y,δy,H,ρh,W,ρw>
其中:δx=Xn-Xn-1,δy=Yn-Yn-1,ρh=Hn-Hn-1,ρh=Wn-Wn-1
在跟踪模式下,根据已经检测到的人脸的相关信息,预测该人脸在当前帧中可能的位置和尺寸,并利用正面人脸检测器,只在预测区域检测人脸;如果成功检测到人脸,更新该人脸的相关信息,供下一次预测;如果在预测区域无法检测到人脸,表明跟踪失败,检测流程转入审查模式;
如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域,检测流程转入审查模式,对前景区域做全面的搜索,重新收集监控区域的人脸信息。
假设在第N帧中运用审查模式检测到M张人脸,对于第i张人脸,以f(N,i)=<XN,i,δx,YN,i,δy,HN,i,ρh,WN,i,ρw>表示;其中,δx、δy被初始化为0,ρh被初始化为1.5,ρw被初始化为2;
在第N+1帧中,检测到的前景区域位置和比例未发生剧烈的改变,检测流程进入跟踪模式,根据上一帧中记录的相关信息,第i张人脸的预测信息为:
利用正面人脸检测器,在预测区域做人脸检测,如果成功检测到人脸,记录相关的人脸信息,表示为:
f(N+1,i)=<XN+1,i,δx,YN+1,i,δy,HN+1,i,ρh,WN+1,i,ρw>
其中,δx、δy、ρh、ρw以观测值更新,并被用于下一次跟踪预测:
如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域,检测流程转入审查模式,对前景区域做全面的搜索,重新收集监控区域的人脸信息。
整个工作流程如图3所示。
Claims (2)
1.一种基于视频的人脸检测方法,其特征在于:
1)预处理:利用帧差法取得视频前景,并判断前景区域位置和比例的变化;前景区域是一块矩形区域,以Sf表示,前景区域位置定义矩形中心点的坐标,以(x,y)表示,初始化值均为0,变量Mx,My分别表示前景区域Sf的位置在x和y两个方向上的变化;假设第N帧中,前景区域Sf,N的位置并定义为(xN,yN),则Mx,My分别定义为:
(Mx)N=XN-XN-1
(My)N=YN-YN-1
前景区域Sf在视频帧中所占比例以Fc表示,假设第N帧中,前景区域Sf,N所占的比例被定义为PN,则(Fc)n被定义为:
依据Mx,My,Fc的值的大小,来判断人脸检测过程是否可以进入审查模式,当Mx>15,My>15,Fc>1.15时,人脸检测过程进入审查模式;
2)时空域特征:利用监控视频的时空域特征,将人脸检测过程分为两种不同的模式:审查模式和跟踪模式;
●审查模式
审查模式利用正面人脸检测器,对前景区域做全面的搜索。一旦新的人脸被检测到,***不但要记录该人脸在监控区域的位置坐标(X,Y),尺寸(H,W),其中H表示人脸的长度,W表示人脸的宽度,同时要记录其位置的变化(δx,δy)和尺寸的变化(ρh,ρw)信息,提供给跟踪模式做运动估计和尺寸变化估计。因此,每个检测到的人脸信息被描述为:
f=<X,δx,Y,δy,H,ρh,W,ρw>
其中:δx=Xn-xn-1,δy=Yn-Yn-1,ρh=Hn-Hn-1,ρh=Wn-Wn-1
●跟踪模式
在跟踪模式下,根据已经检测到的人脸的相关信息,预测该人脸在当前帧中可能的位置和尺寸,并利用正面人脸检测器,只在预测区域检测人脸;如果成功检测到人脸,更新该人脸的相关信息,供下一次预测;如果在预测区域无法检测到人脸,表明跟踪失败,检测流程转入审查模式;
如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域,检测流程转入审查模式,对前景区域做全面的搜索,重新收集监控区域的人脸信息。
2.根据权利要求1所述的一种基于视频的人脸检测方法,其特征在于:所述的审查模式用于处理以下情况:
●新的对象进入监控区域:在上文中提到,当有新的对象进入监控画面时,前景的位置和前景所占的比例会有一个明显的变化,即Mx>15,My>15,Fc>1.15。于是检测流程进入审查模式,以收集新进对象的相关信息;
●预测到监控对象将要离开监控区域:当跟踪模式下预测到有监控对象将要离开监控区域,检测流程转入审查模式,以确认对象的离开,并收集当前仍滞留在监控区域对象的相关信息;
●跟踪失败:尽管监控对象在监控区域的运动具有连贯性,但偶尔会出现其实际运动与运动估计不符的情况。如果在跟踪模式下,算法无法在预测区域找到监控对象,检测流程转入审查模式,重新获取监控区域内各个对象的相关信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008100634444A CN101350062A (zh) | 2008-08-05 | 2008-08-05 | 一种基于视频的快速人脸检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2008100634444A CN101350062A (zh) | 2008-08-05 | 2008-08-05 | 一种基于视频的快速人脸检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101350062A true CN101350062A (zh) | 2009-01-21 |
Family
ID=40268848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2008100634444A Pending CN101350062A (zh) | 2008-08-05 | 2008-08-05 | 一种基于视频的快速人脸检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101350062A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101860732A (zh) * | 2010-06-04 | 2010-10-13 | 天津市亚安科技电子有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
CN102129644A (zh) * | 2011-03-08 | 2011-07-20 | 北京理工大学 | 一种具有受众特性感知与统计功能的智能广告*** |
CN103034851A (zh) * | 2012-12-24 | 2013-04-10 | 清华大学深圳研究生院 | 自学习的基于肤色模型的手部跟踪装置及方法 |
CN103793703A (zh) * | 2014-03-05 | 2014-05-14 | 北京君正集成电路股份有限公司 | 一种视频中人脸检测区域的定位方法及装置 |
CN105550635A (zh) * | 2015-12-03 | 2016-05-04 | 小米科技有限责任公司 | 人脸检测方法及装置 |
CN105719315A (zh) * | 2016-01-29 | 2016-06-29 | 深圳先进技术研究院 | 用于在移动终端中跟踪视频图像中的物体的方法 |
CN109063685A (zh) * | 2018-08-28 | 2018-12-21 | 成都盯盯科技有限公司 | 人脸图样识别方法、装置、设备及存储介质 |
WO2020007097A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
-
2008
- 2008-08-05 CN CNA2008100634444A patent/CN101350062A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101860732A (zh) * | 2010-06-04 | 2010-10-13 | 天津市亚安科技电子有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
CN101860732B (zh) * | 2010-06-04 | 2014-08-27 | 天津市亚安科技股份有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
CN102129644A (zh) * | 2011-03-08 | 2011-07-20 | 北京理工大学 | 一种具有受众特性感知与统计功能的智能广告*** |
CN103034851A (zh) * | 2012-12-24 | 2013-04-10 | 清华大学深圳研究生院 | 自学习的基于肤色模型的手部跟踪装置及方法 |
CN103034851B (zh) * | 2012-12-24 | 2015-08-26 | 清华大学深圳研究生院 | 自学习的基于肤色模型的手部跟踪装置及方法 |
CN103793703A (zh) * | 2014-03-05 | 2014-05-14 | 北京君正集成电路股份有限公司 | 一种视频中人脸检测区域的定位方法及装置 |
CN105550635A (zh) * | 2015-12-03 | 2016-05-04 | 小米科技有限责任公司 | 人脸检测方法及装置 |
CN105550635B (zh) * | 2015-12-03 | 2019-04-16 | 小米科技有限责任公司 | 人脸检测方法及装置 |
CN105719315A (zh) * | 2016-01-29 | 2016-06-29 | 深圳先进技术研究院 | 用于在移动终端中跟踪视频图像中的物体的方法 |
CN105719315B (zh) * | 2016-01-29 | 2019-01-22 | 深圳先进技术研究院 | 用于在移动终端中跟踪视频图像中的物体的方法 |
WO2020007097A1 (zh) * | 2018-07-03 | 2020-01-09 | 北京大米科技有限公司 | 数据处理方法、存储介质和电子设备 |
CN109063685A (zh) * | 2018-08-28 | 2018-12-21 | 成都盯盯科技有限公司 | 人脸图样识别方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110807385B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
CN101350062A (zh) | 一种基于视频的快速人脸检测方法 | |
Zou et al. | Occupancy detection in the office by analyzing surveillance videos and its application to building energy conservation | |
Zitouni et al. | Advances and trends in visual crowd analysis: A systematic survey and evaluation of crowd modelling techniques | |
CN100550055C (zh) | 检测视频的图像时间序列中的活动对象的方法 | |
CN108447078A (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
CN105574506A (zh) | 基于深度学习和大规模集群的智能人脸追逃***及方法 | |
Fang et al. | Multi-level feature fusion based locality-constrained spatial transformer network for video crowd counting | |
Gong et al. | Pagerank tracker: From ranking to tracking | |
Celik et al. | Towards a robust solution to people counting | |
Gao et al. | Sparse and collaborative representation based kernel pairwise linear regression for image set classification | |
Amiri et al. | Video shot boundary detection using generalized eigenvalue decomposition and Gaussian transition detection | |
Shirsat et al. | Proposed system for criminal detection and recognition on CCTV data using cloud and machine learning | |
Min et al. | Real‐time face recognition based on pre‐identification and multi‐scale classification | |
Lin | Automatic recognition of image of abnormal situation in scenic spots based on Internet of things | |
Tao et al. | Real-time detection and tracking of moving object | |
Fan et al. | Video anomaly detection using CycleGan based on skeleton features | |
Huang et al. | Action recognition using hog feature in different resolution video sequences | |
Ichihara et al. | Accuracy evaluations of video anomaly detection using human pose estimation | |
Li et al. | Pedestrian Motion Path Detection Method Based on Deep Learning and Foreground Detection | |
Chen et al. | Spectrum analysis-based traffic video synopsis | |
CN110879970A (zh) | 一种基于深度学习的视频兴趣区域人脸摘要方法、设备及其存储设备 | |
Dai et al. | Retracted: efficient object analysis by leveraging deeply-trained object proposals prediction model | |
Ran et al. | An efficient and robust human classification algorithm using finite frequencies probing | |
Wang et al. | A GM-HMM based abnormal pedestrian behavior detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090121 |