CN101883209A - 一种背景模型与三帧差分相结合进行视频背景检测的方法 - Google Patents

一种背景模型与三帧差分相结合进行视频背景检测的方法 Download PDF

Info

Publication number
CN101883209A
CN101883209A CN 201010191865 CN201010191865A CN101883209A CN 101883209 A CN101883209 A CN 101883209A CN 201010191865 CN201010191865 CN 201010191865 CN 201010191865 A CN201010191865 A CN 201010191865A CN 101883209 A CN101883209 A CN 101883209A
Authority
CN
China
Prior art keywords
background
image block
frame difference
background model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010191865
Other languages
English (en)
Other versions
CN101883209B (zh
Inventor
罗笑南
陆晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Hua Kai Culture Intention Inc Co
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN2010101918652A priority Critical patent/CN101883209B/zh
Publication of CN101883209A publication Critical patent/CN101883209A/zh
Application granted granted Critical
Publication of CN101883209B publication Critical patent/CN101883209B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种背景模型与三帧差分相结合进行视频背景检测的方法,其特征在于,包括:对每帧图像划分图像块;建立基于图像块的混合高斯背景模型;对于与背景模型不匹配的图像块利用三帧差分进行进一步判断;根据背景模型与三帧差分的结果判断出每个图像块是前景块还是背景块。通过实施本发明,本方法不仅可以克服传统方法中背景模型是以单个像素的形式建立的造成***执行效率不高的缺点,而且采用简便有效的判定方法进行宏块属于前、背景块的判断,运算复杂度低并且检测准确。

Description

一种背景模型与三帧差分相结合进行视频背景检测的方法
技术领域
本发明涉及信息技术领域,具体涉及一种背景模型与三帧差分相结合进行视频背景检测的方法。
背景技术
从一个视频序列中检测动态目标是视频监控的首要而基本的任务。目前,许多跟踪***对运动目标的检测都依赖于背景提取技术,也就是将当前输入的图像帧与参考的背景模型相比较,根据当前帧的像素值与背景模型的偏离程度,来判断该像素是目标像素还是背景像素。然后,对那些被认为是目标的像素做进一步处理以便识别目标、确定目标的位置,进而实现跟踪。
背景的提取技术被广泛应用于诸如视频监控这样的跟踪***。目前已提出了许多构建背景模型的方法。简单的背景模型可以是一幅没有移动物体的图像,而复杂的背景模型则是一种不断更新的统计量模型。然而,现实世界是复杂多变的,例如晃动的树、水中的波纹、闪烁的显示器、变化的照明等。为了处理这些复杂的情况,背景模型变得越来越复杂,这对***所要求的实时处理提出了挑战。
然而,现实中的视频监控要求背景模型不但能很好地处理环境中的复杂情况,而且还要考虑实时计算能否得到满足。目前所提出的背景模型多数是以像素为单位建立的,这些像素被看成是相互独立的随机变量,每个像素被单独地决策成背景或前景(目标)。但是单个像素本身有时不能说明太多的问题,比如噪声点。事实上,对没有目标的区域,图像本身的结构具有相对的稳定性,因此在目标提取过程中仅对单像素进行分析会产生大量冗余信息,不可避免地会对算法的实际执行效率产生影响。而对相邻的多个像素进行整体处理是减少计算冗余、提高执行效率的一种途径。因此本发明提出了一种基于图像块的背景模型的构建方法。
在目前常见的视频动态背景建模方法,常见的有W4方法、Kalman滤波方法、单一高斯模型与混合高斯模型方法等,其中,检测信息最完整、效果最好的是混合高斯模型方法。本文在传统混合高斯模型的基础上,建立基于图像块的高斯背景模型。并且针对高斯模型对噪声抑制能力不够强,对背景内容的突然变化适应性不够强的缺点。
发明内容
本发明的目的在于提供一种背景模型与三帧差分相结合进行视频背景检测的方法,不仅可以克服传统高斯背景建模方法中以单个像素点为单位进行建模的冗余性和低效性,并且与三帧差分相结合可以克服高斯模型对噪声影响抑制力不强、对背景内容的突然变化适应性不强的缺点。
本发明一种基于图像块的高斯模型背景建模方法,包括:
对每帧图像划分图像块;
建立基于图像块的混合高斯背景模型;
对于与背景模型不匹配的图像块利用三帧差分进行进一步判断;
根据背景模型与三帧差分的结果判断出每个图像块是前景块还是背景块。
所述的对每帧图像划分图像块具体为:对每帧图像进行16*16图像块的划分,再将每个16*16的图像块划分为16个4*4的小块。
所述的建立基于图像块的混合高斯背景模型具体为:对每个4*4的小块的16个像素点求均值,以均值为特征值与现有的高斯模型进行匹配。
所述的对于与背景模型不匹配的图像块利用三帧差分进行进一步判断具体为:当4*4小块的均值与所有的高斯分布都不匹配时,再利用三帧差分进一步判断。
所述的根据背景模型与三帧差分的结果判断出每个图像块是前景块还是背景块具体为:根据每个16*16图像块中4*4的小块中是背景块的个数与某个设定的阈值进行比较,若个数大于设定的阈值,则判定此16*16图像块是背景块,否则判定为前景块。
实施本发明,具有如下有益效果:
(1)传统高斯建模方法中背景模型是以单个像素的形式建立的,尽管单个像素形式的模型具有准确、灵活等优点,但同时存在冗余性、***执行效率不高的缺点,此方法以图像块作为基本的检测单位,可以克服这个缺点。
(2)并且此方法针对高斯模型对噪声抑制能力不够强,对背景内容的突然变化适应性不够强的缺点,在建立模型的基础上结合三帧差分进行前景与背景的进一步判断。
(3)操作上:对图像块的划分方式是:对每帧图像进行16*16图像块的划分,再将每个16*16的图像块划分为16个4*4的小块。在建立模型方面:对每个4*4小块求均值,以均值作为特征值与高斯模型进行匹配,进行模型的维护和更新。最后以4*4小块判断为背景块的个数来决定此16*16图像块是前景还是背景,这样运算单位划分适当,不会因16*16图像块过大造成计算误差,又克服了单一像素点为单位计算效率低下的缺点,计算简单,且判断准确性高。
综上所述,本方法不仅可以克服传统方法中背景模型是以单个像素的形式建立的造成***执行效率不高的缺点,而且采用简便有效的判定方法进行宏块属于前、背景块的判断,运算复杂度低并且检测准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的背景模型与三帧差分相结合进行视频背景检测的方法流程图。
具体实施方式
下面结合附图详细说明本发明实施例。
下面结合附图对本发明的背景模型与三帧差分相结合进行视频背景检测的方法作详细描述。
如图1所示是本发明的控制流程图,主要包括以下步骤:对每帧图像划分图像块;建立基于图像块的混合高斯背景模型;对于与背景模型不匹配的图像块利用三帧差分进行进一步判断;根据背景模型与三帧差分的结果判断出每个图像块是前景块还是背景块。下面作详细介绍。
对每帧图像划分图像块
在算法中,实时的对输入的每一帧图像从上到下,从左到右进行16*16图像块的划分,再将每个16*16的图像块划分为16个4*4的小块,以4*4的小块作为计算单位。
建立基于图像块的混合高斯背景模型
先求16*16图像块中的每个4*4小块的均值
如果直接对16*16的宏块进行计算,图像块较大,虽然要处理的块数较少,效率会越高,但对局部目标敏感度就越小,目标的精确度就会变差,因为前景所占比例小的图像块的个数会增加。因此,将每个16*16宏块进一步划分成16个4*4的小块,这样运算单位大小适当,计算每个小块的均值,以均值作为运算的对象。
记每个像素为Xij,1个4*4图像块的特征为λ,
Figure BSA00000149295300041
由于所有特征都是图像块中像素的线性组合,因此当每个像素Xij服从正态分布时,所有特征λ作为原像素的线性运算的结果,也服从正态分布。
若λ=vTX,其中X是由若干个像素组成的随机向量,v为与X同维数的向量,则有:
λ~N(vTμ,vTUv)        (3.1)
图像块中的像素点值的变化能够反映到特征值的变化上,这样我们就可以对图像块的特征λ,而不是对单个像素值建立背景模型,以此来判断图像块,而不是判断每个像素点是背景还是前景。
②将每个均值作为特征值与高斯模型进行匹配
以每个4*4小块的均值作为特征值λ,令特征向量Λ=[λ]。
本方法采用文献(C.Stauffer,W.E.L.Grimson.Adaptive background mixturemodels for real-time tracking)中给出的混合高斯分布的形式和参数更新方法进行模型的建立和更新。
Figure BSA00000149295300042
(1)
Figure BSA00000149295300043
Q=(Λti,t)TUi,t -1ti,t)  (2)
p(ωi)或wi,t为第i个分量在总体分布中所占的权值。
假设像素间是相互独立的,可以得出特征值之间也是相互独立的。为了简化计算,进一步假设它们具有同样的方差,因而协方差矩阵Ui,t可以简化为Ui,t=σi,t 2E,其中E为单位矩阵。这种假设可以避免复杂计算引起误差加大。关系式(1)说明了每一图像块的特征向量Λ的当前观察值的概率分布可由一个高斯混合函数所刻画,也就是说图像块的特征向量的某种状态可由混合模型的某个分量来描述。
基于前面的假设,从前向后将新的图像块的特征值与现存的K个高斯分布进行匹配,如果特征值落在某个分布的标准方差的某一倍数范围内,就认为此4*4小块匹配成功,即如果|Λti,t|≤τσi,t,则认为与该分布匹配成功。实验表明τ取4比较合适。
将现存的K个高斯函数按比率w/σ排序,这一顺序是按高斯优先权值增大和方差减小来排列的。与顺序在后的分量相比,顺序在前的分量是背景的可能性大于顺序在后的分量。从前向后对优先权值取和,将其和占据T部分的前B个分布定义为背景。
其中,
Figure BSA00000149295300051
T表示在整个分布中背景最小部分的度量。这里取最好的分布直到其权值的和占数据T部分为止。如果图像块的特征与前B个分量匹配成功,就判定为背景,否则在转到下一步进行进一步判断。
在上述匹配工作完成后,利用文献(1)中的方法对背景模型进行更新。
(3)与三帧差分相结合进行进一步判断
对于当前检测的4*4小块的均值与高斯模型都不匹配时,由于高斯模型对于背景的更新较慢的缺点,为了增加检测的准确性,我们进一步的利用三帧差分来判断。对于当前帧的此块的均值,分别于前两帧中对应位置的均值,进行两两做差,由于三帧差分只是做差运算,所以运算效率不会受到很大影响。
设当前帧为X,前两帧分别为X-1,X-2,正在检测当前帧的第A宏块中的第i个子块,记为X.A.i_mean,则前两帧中对应位置的子块均值分别为X-1.A.i_mean,X-2.A.i_mean,设定一个做差阈值TH_SUB,实验中TH_SUB取为5,如果满足:
|SUB(X-2.A.i_mean,X-1.A.i_mean)|<=TH_SUB
且|SUB(X-1.A.i_mean,X.A.i_mean)|<=TH_SUB
且|SUB(X-2.A.i_mean,X.A.i_mean)|<=TH_SUB
即这三帧中任意两帧之间的差的绝对值都小于某个阈值,可以认为这个块基本没发生变化,但是由于噪声等的影响,其Y,U,V值发生一些突变,不符合背景模型,但其实是没有变化的背景块,因此认为此4*4的小块为背景块。如果此小块既不满足背景模型,又不满足三帧差分的条件,那么将它判定为前景块。
(4)根据背景模型与三帧差分的结果判断出每个图像块是前景块还是背景块。
当对此16*16图像块的16个4*4小块都匹配结束后,设匹配的小块个数为MatchNum,设定阈值TH_MTH,实验中M取12,当MatchNum>=TH_MTH时,则判定此16*16图像块属于背景块,否则为前景块。
至此,对于一个16*16宏块的判定结束。
依次对每一帧的所有宏块进行检测,就能够得到每一帧对应的前景部分和背景部分。
以上所揭露的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (5)

1.一种背景模型与三帧差分相结合进行视频背景检测的方法,其特征在于,包括:
对每帧图像划分图像块;
建立基于图像块的混合高斯背景模型;
对于与背景模型不匹配的图像块利用三帧差分进行进一步判断;
根据背景模型与三帧差分的结果判断出每个图像块是前景块还是背景块。
2.根据权利要求1所述的背景模型与三帧差分相结合进行视频背景检测的方法,其特征在于,所述的对每帧图像划分图像块具体为:对每帧图像进行16*16图像块的划分,再将每个16*16的图像块划分为16个4*4的小块。
3.根据权利要求2所述的背景模型与三帧差分相结合进行视频背景检测的方法,其特征在于,所述的建立基于图像块的混合高斯背景模型具体为:对每个4*4的小块的16个像素点求均值,以均值为特征值与现有的高斯模型进行匹配。
4.根据权利要求3所述的背景模型与三帧差分相结合进行视频背景检测的方法,其特征在于,所述的对于与背景模型不匹配的图像块利用三帧差分进行进一步判断具体为:当4*4小块的均值与所有的高斯分布都不匹配时,再利用三帧差分进一步判断。
5.根据权利要求4所述的背景模型与三帧差分相结合进行视频背景检测的方法,其特征在于,所述的根据背景模型与三帧差分的结果判断出每个图像块是前景块还是背景块具体为:根据每个16*16图像块中4*4的小块中是背景块的个数与某个设定的阈值进行比较,若个数大于设定的阈值,则判定此16*16图像块是背景块,否则判定为前景块。
CN2010101918652A 2010-05-31 2010-05-31 一种背景模型与三帧差分相结合进行视频背景检测的方法 Expired - Fee Related CN101883209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101918652A CN101883209B (zh) 2010-05-31 2010-05-31 一种背景模型与三帧差分相结合进行视频背景检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101918652A CN101883209B (zh) 2010-05-31 2010-05-31 一种背景模型与三帧差分相结合进行视频背景检测的方法

Publications (2)

Publication Number Publication Date
CN101883209A true CN101883209A (zh) 2010-11-10
CN101883209B CN101883209B (zh) 2012-09-12

Family

ID=43055086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101918652A Expired - Fee Related CN101883209B (zh) 2010-05-31 2010-05-31 一种背景模型与三帧差分相结合进行视频背景检测的方法

Country Status (1)

Country Link
CN (1) CN101883209B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340620A (zh) * 2011-10-25 2012-02-01 重庆大学 基于马氏距离的视频图像背景检测方法
CN102801964A (zh) * 2012-08-28 2012-11-28 杭州尚思科技有限公司 一种基于运动检测的智能家居监控方法及其***
CN103473753A (zh) * 2013-09-02 2013-12-25 昆明理工大学 一种基于多尺度小波阈值去噪的目标检测方法
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN104702956A (zh) * 2015-03-24 2015-06-10 武汉大学 一种面向视频编码的背景建模方法
CN104820995A (zh) * 2015-04-21 2015-08-05 重庆大学 一种面向大型公共场所的人流密度监测预警方法
CN105657317A (zh) * 2014-11-14 2016-06-08 澜起科技(上海)有限公司 一种视频解交错中的隔行视频运动检测方法及其***
CN106096586A (zh) * 2016-06-29 2016-11-09 深圳大学 高分辨遥感海洋图像的海背景建模与抑制的方法及***
CN108230362A (zh) * 2017-12-29 2018-06-29 北京视觉世界科技有限公司 环境监控方法、装置、电子设备和存储介质
CN109002801A (zh) * 2018-07-20 2018-12-14 燕山大学 一种基于视频监控的人脸遮挡检测方法及***
CN112908035A (zh) * 2021-01-20 2021-06-04 温州大学 一种基于可见光通信的汽车辅助驾驶***及实现方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1275859A (zh) * 1999-06-01 2000-12-06 索尼公司 图像处理装置及其方法和介质
CN1984236A (zh) * 2005-12-14 2007-06-20 浙江工业大学 一种交通流信息视频检测中的特征采集方法
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101394479A (zh) * 2008-09-25 2009-03-25 上海交通大学 基于运动检测结合多通道融合的教师运动跟踪方法
CN101527773A (zh) * 2008-03-05 2009-09-09 株式会社半导体能源研究所 图像处理方法、图像处理***、以及计算机程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1275859A (zh) * 1999-06-01 2000-12-06 索尼公司 图像处理装置及其方法和介质
CN1984236A (zh) * 2005-12-14 2007-06-20 浙江工业大学 一种交通流信息视频检测中的特征采集方法
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101527773A (zh) * 2008-03-05 2009-09-09 株式会社半导体能源研究所 图像处理方法、图像处理***、以及计算机程序
CN101394479A (zh) * 2008-09-25 2009-03-25 上海交通大学 基于运动检测结合多通道融合的教师运动跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《计算机工程与应用》 20100501 刘静,王玲 混合高斯模型背景法的一种改进算法 1-5 , *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102340620A (zh) * 2011-10-25 2012-02-01 重庆大学 基于马氏距离的视频图像背景检测方法
CN102801964A (zh) * 2012-08-28 2012-11-28 杭州尚思科技有限公司 一种基于运动检测的智能家居监控方法及其***
CN103473753A (zh) * 2013-09-02 2013-12-25 昆明理工大学 一种基于多尺度小波阈值去噪的目标检测方法
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN105657317A (zh) * 2014-11-14 2016-06-08 澜起科技(上海)有限公司 一种视频解交错中的隔行视频运动检测方法及其***
CN105657317B (zh) * 2014-11-14 2018-10-16 澜至电子科技(成都)有限公司 一种视频解交错中的隔行视频运动检测方法及其***
CN104702956A (zh) * 2015-03-24 2015-06-10 武汉大学 一种面向视频编码的背景建模方法
CN104702956B (zh) * 2015-03-24 2017-07-11 武汉大学 一种面向视频编码的背景建模方法
CN104820995A (zh) * 2015-04-21 2015-08-05 重庆大学 一种面向大型公共场所的人流密度监测预警方法
CN106096586A (zh) * 2016-06-29 2016-11-09 深圳大学 高分辨遥感海洋图像的海背景建模与抑制的方法及***
CN108230362A (zh) * 2017-12-29 2018-06-29 北京视觉世界科技有限公司 环境监控方法、装置、电子设备和存储介质
CN109002801A (zh) * 2018-07-20 2018-12-14 燕山大学 一种基于视频监控的人脸遮挡检测方法及***
CN112908035A (zh) * 2021-01-20 2021-06-04 温州大学 一种基于可见光通信的汽车辅助驾驶***及实现方法

Also Published As

Publication number Publication date
CN101883209B (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
CN101883209B (zh) 一种背景模型与三帧差分相结合进行视频背景检测的方法
Wang et al. A region based stereo matching algorithm using cooperative optimization
CN103164693B (zh) 一种监控视频行人检测匹配方法
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN101470809A (zh) 一种基于扩展混合高斯模型的运动目标检测方法
CN101324958A (zh) 一种目标跟踪方法及装置
CN102142085A (zh) 一种林区监控视频中运动火焰目标的鲁棒跟踪方法
CN105740751A (zh) 一种目标检测与识别的方法和***
CN101833760A (zh) 一种基于图像块的背景建模方法及背景建模装置
CN107871315B (zh) 一种视频图像运动检测方法和装置
CN111414938B (zh) 一种板式换热器内气泡的目标检测方法
Wei et al. A robust approach for multiple vehicles tracking using layered particle filter
CN111696133A (zh) 一种实时目标跟踪方法及***
CN102930559A (zh) 图像处理的方法及装置
Li et al. Robust detection of headland boundary in paddy fields from continuous RGB-D images using hybrid deep neural networks
CN112801021B (zh) 基于多级语义信息的车道线检测方法及***
CN107832732B (zh) 基于三叉树遍历的车道线检测方法
CN101877135B (zh) 一种基于背景重构的运动目标检测方法
CN105844671B (zh) 一种变光照条件下的快速背景减除法
CN103077533A (zh) 一种基于蛙眼视觉特性定位运动目标的方法
CN102592125A (zh) 基于标准差特征的运动目标检测方法
Zhang et al. Target tracking for mobile robot platforms via object matching and background anti-matching
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
CN104680194A (zh) 基于随机蕨丛和随机投影的在线目标跟踪方法
CN110580712B (zh) 一种使用运动信息与时序信息的改进CFNet视频目标追踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Luo Xiaonan

Inventor after: Meng Siming

Inventor after: Lu Qing

Inventor before: Luo Xiaonan

Inventor before: Lu Qing

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: LUO XIAONAN LU QING TO: LUO XIAONAN MENG SIMING LU QING

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: HUNAN HUAKAI CULTURAL CREATIVE CO., LTD.

Free format text: FORMER OWNER: ZHONGSHAN UNIVERSITY

Effective date: 20150105

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 510006 GUANGZHOU, GUANGDONG PROVINCE TO: 410000 CHANGSHA, HUNAN PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20150105

Address after: 410000, No. 229, west slope, Tongzi, Hunan, Yuelu District, 101, Changsha

Patentee after: Hunan Hua Kai culture intention incorporated company

Address before: 510006 teaching experiment center, east campus, Zhongshan University, Panyu District, Guangdong, C401, China

Patentee before: Sun Yat-sen University

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120912

Termination date: 20200531

CF01 Termination of patent right due to non-payment of annual fee