CN103489196A - 基于Codebook背景建模的运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于Codebook背景建模的运动目标检测方法，本方法对传统Codebook度量颜色、亮度距离的RGB柱状结构做了改变，在YUV色彩空间建立码本背景模型，简化了码元结构。在YUV空间进行运动目标检测，首先将一幅图像中的每个像素点在时间轴上进行聚类，提取背景模板；之后采用当前图像与背景模板进行比较，从而检测出运动目标，并同时进行背景模板的更新。本方法融入了频率信息来改变传统码本背景模型中的码元判定、删除、匹配过程；同时将当前像素空域信息纳入到前景判定过程中，该空域信息包括了邻域内像素间的依赖关系，使得前景检测结果更加可靠；降低了传统的码本背景模型在光照变化比较频繁的场景中的敏感性。实验结果表明，该方法能够在不同条件下快速准确的检测运动目标。

Description

基于Codebook背景建模的运动目标检测方法

技术领域

本发明涉及一种运动对象提取的处理方法，特别涉及一种基于Codebook背景建模的运动目标检测方法。本方法对传统Codebook度量颜色、亮度距离的RGB柱状结构做了改变，在YUV色彩空间建立码本背景模型，将频率和空域信息纳入考虑条件。实验证明，该方法能够在不同条件下快速准确的检测运动目标，使该方法更具有实用性和推广性。

背景技术

运动目标提取是计算机机器视觉***中的一个重要研究内容，应用范围广泛，例如视频监视、目标检测与跟踪、图像检索等领域。目前，提出了许多视频对象分割方法提取运动对象。但是运动目标检测的精度这一基本问题仍然难以解决。研究表明，通过构建背景模型是检测图像序列中运动目标的有效途径。现在绝大多数背景建模都基于像素，比较常见的有单高斯模型，混合高斯模型(MOG)、核密度估计模型.文献利用单高斯分布进行背景更新，但在户外场景中，随着时间的迁移、光线的变化、运动物体的停留以及静止物体的重新运动，单高斯模型构建的背景或者会出现运动物体的拖影或者长时间才形成新的背景。混合高斯模型（MOG）（参见Luo Jinmian,Zhu Juan.Adaptive Gaussian mixture model based on feedbackmechanism[C].International Conference on Computer Design and Applications.2010,2:117-181.）的主要思想是假设单个像素的概率密度函数是高斯或高斯混合函数，并通过对每个像素进行一定帧数的统计分类，从而建立起可靠的背景模型。但是背景的快速变化使得模型只能准确的建立少数准确的高斯子，不能提供鲁棒的前景检测由于低的学习率，产生一个宽广的模型不能检测到背景的突然变化，但是如果模型改变得太快，缓慢移动的前景将被吸收到背景模型，导致高的漏检率。核密度估计模型通过核密度估计建立一种非参数化的背景模型，估计每个像素的概率密度并保留观测值，通过核函数计算出新的观测值。核密度估计模型需要高密度的计算，在实际的应用中，很难做到实时处理。Kim等人提出的编码本模型（参见K.Kim,T.Thanarat,H.Chalidabbhognse,D.Harwood and L.Davis.Real time foreground-backgroundsegmentation using codebook model[J].Real-Time Imaging,2005,11(3):172-185.）将背景值的变化压缩到多个码元中，只需少量的计算和内存消耗，就能实现比较精确的前景和背景分割功能。在性能和功能上都有较好的表现，然而它只能适用于周期性变化的背景。

视频序列图像中同一特定位置的像素点在时间轴上的观测值可以构成一个序列，X={x₁,x₂,...,x_N}是同一位置的像素的N个RGB向量排列的一个采样序列，N是训练帧数，C={c₁,c₂,...c_L}表示由L个码字构成的像素的码本。对于每个码字c(i=1,2,3...L)定义为二元组结构，

和

其中

是码字对应像素的最小和最大亮度，λ表示码字在训练过程中没有再次出现的最大时间间隔即消极帧数，p和q分别表示该码字出现后的第一次和最后一次匹配时间。

因为背景变化主要体现在亮度变化，所以在该颜色模型中，背景像素值沿着以原点和码字形成的主轴，亮度值由低到高分布。对于输入像素点x_i=(R,G,B)和一个码本c_i， $v_i=({\stackrel{\‾}{R}}_i,{\stackrel{\‾}{G}}_i,{\stackrel{\‾}{B}}_i),$ 存在：

||x_t||²=R²+G²+B²

${\left|\right|v_i\left|\right|}^2={\stackrel{\‾}{R_i}}^2+{\stackrel{\‾}{G_i}}^2+{\stackrel{\‾}{B_i}}^2$

${(x_i,v_i)}^2={(\stackrel{\‾}{R_i}R+\stackrel{\‾}{G_i}G+\stackrel{\‾}{B_i}B)}^2$

颜色扭曲度δ可以由下式计算可得。

$p^2={\left|\right|x_i\left|\right|}^2{\cos }^2\mathrm{\θ}=\frac{{(x_i,v_i)}^2}{{\left|\right|v_i\left|\right|}^2}$

$\mathrm{colordist}(x_i,v_i)=\mathrm{\δ}=\sqrt{\left|\right|x_t\left|\right|-p^2}$

为了适应光照亮度的改变，统计地分配亮度改变的最大最小值

可以根据经验设置相应的最大未被访问时间码本条目删除时限，获得接近自适应滤波效果的背景像素检测。最后根据背景像素的实时更新获取当前前景目标的差分图像。

码本结构的具体方法如下：

(1).初始化码本，即将码本清空：L=0，C=Φ；

(2).For t=1 to N，执行以下操作：

(i)x_t=(R,G,B)，I=(R²+G²+B²)

(ii)找到与x_t匹配的码字c_m∈C，符合(a)和(b)两个条件

(a)colordist(x_t,v_m)≤ε

$\left(b\right),\mathrm{brightness}(I,(I_m^{\min },I_m^{\max }))=\mathrm{true}$

(iii)如果C=Φ，或者没有找到匹配，那么L=L+1。此时新增一个码字c_L，令

x_L=(R,G,B)

u_L=(I,I,1,t-1,t)

(iv)否则，更新码字c_m的成员v_m和u_m:

$v_m=(\frac{f_m{R}_m+R}{f_m+1},\frac{f_m{G}_m+G}{f_m+1},\frac{f_m{B}_m+B}{f_m+1})$

$u_t=<\min (I,I_m^{\min }),\max (I,I_m^{\max }),f_m+1,\max ({\mathrm{\&lambda;}}_m,t-q_m),p_m,t>$

End for

(3).训练结束后，计算该像素每个码字没有再次出现的最大时间间隔即消极帧数，即对于任何的c(i=1,2,3...L)有λ=max(λ_i,(N-q_i+p_i-1))；

(4).利用λ消除冗余码字，得到最能代表真实背景的精炼初始码本CB；

CB={c_k|c_k∈C,λ_k≤T_M}

(5).其中几为最大时间间隔阈值，通常取训练帧数的一半，表示所有代表背景字必须至少在一半的时间内出现。

步骤(ii)中(a)和(b)两个条件的满足情况是x_t和v_m的颜色很接近，并且x_i的亮度在v_m可以接受的亮度范围内。这里只要求找到第一个满足这2个条件的码字即可。

同时，引入时间间隔准则是因为训练过程中得到的码本存在冗余现象，其中可能有些表示前景运动目标和噪声的码字，利用式λ=max(λ_i,(N-q_i+p_i-1))可以把这些码字在统计意义上消除，从而允许初始学习过程中存在运动目标。

对于前景检测部分，与背景建模部分类似。即将当前像素与已有背景模型比较，若符合彩色和亮度的畸变条件，则将其视为背景，否则将其视为前景，即运动目标。

发明内容：

本发明基于传统法的Codebook背景模型的基础上，提出了改进的Codebook背景模型的前景检测的方法。本方法使用YUV颜色模型来替代传统的RGB颜色模型，由于颜色亮度通道相互独立，简化了码元结构；在传统码本背景模型的基础上融入了频率信息来改变传统码本背景模型中的码元判定、删除、匹配过程；同时将当前像素空域信息纳入到前景判定过程中，该空域信息包括了邻域内像素间的依赖关系，使得前景检测结果更加可靠；这样码本模型不但适用于周期性变化的背景而且降低了传统码本背景模型对光照变化的敏感性。

本发明要解决的技术问题是：

1.传统基于RGB空间Codebook背景模型判定标准复杂；

2.传统基于RGB空间Codebook背景模型仅适用于周期性变化的背景模型；

3.传统基于RGB空间Codebook背景模型仅考虑了最大消极时间导致背景检测的不稳定性。

本发明解决其技术问题所采用的技术方案：基于Codebook背景模型的运动目标检测方法，包括以下步骤：

步骤一：初始化码本，即将码本清空：L=0，C=Φ；

步骤二：在该编码本中遍历每个像素，计算像素的向下扩展值low、向上扩展值high；

步骤三：遍历每个像素对应的每个码元，寻找匹配当前像素值的码元；

步骤四：如果码元在每个通道均满足learnMin<p<learnMax，则找到了匹配的码元，更新匹配码元的每个通道；

步骤五：如果没有找到匹配的码元，则新增一个码元，对于不匹配的码元，只需设置消极帧数即可；

步骤六：消除冗余码字；

步骤七：计算像素在每个通道的向下扩展偏移量m和向上扩展偏移量；

步骤八：在该编码本中遍历每个像素，计算像素的向下扩展值l，向上扩展值h及更新次数阀值f_ref；

步骤九：遍历每个像素对应的每个码元，寻找包容当前像素值的码元；

步骤十：如果码元在每个通道均满足boxMin≤l，h≤boxMax且f>f_ref，则找到了包容当前像素值的码元，像素是背景；

步骤十一：如果不存在包容当前像素值的码元，则认为像素是前景；

步骤十二：将空域信息加入背景建模过程，以增加背景判定的可靠性；

步骤十三：若某像素点被检测为前景的基础上，进行二层判断以防误检；

若不执行上述步骤十三则为单层Codebook方法，若执行上述步骤十三则为双层Codebook方法。

本发明与现有技术相比所具有的优点在于：

1.传统基于RGB空间Codebook背景模型判定标准复杂，而本方法使用YUV颜色模型来替代传统的RGB颜色模型，由于颜色亮度通道相互独立，简化了码元结构；

2.传统基于RGB空间Codebook背景模型仅考虑了最大消极时间导致背景检测的不稳定性，在传统码本背景模型的基础上融入了频率信息来改变传统码本背景模型中的码元判定、删除、匹配过程；

3.将当前像素空域信息纳入到前景判定过程中，该空域信息包括了邻域内像素间的依赖关系，使得前景检测结果更加可靠；这样码本模型不但适用于周期性变化的背景而且降低了传统码本背景模型对光照变化的敏感性。

附图说明：

图1是本发明的基于Codebook背景建模的运动目标检测方法的流程图；

图2是Codebook圆柱体模型；

图3是“Intelligent room”视频原始视频序列。

图4是对比方法帧差法所获得的前景检测对象；

图5是对比方法混合高斯背景建模方法所获得的前景检测对象；

图6是单层Codebook背景建模所获得的前景检测对象；

图7是双层Codebook背景建模所获得的前景检测对象。

具体实施方式：

下面结合附图及具体实施方式进一步详细介绍本发明。

本发明是基于Codebook背景建模的运动目标检测方法，图1为本发明方法的流程图，本方法包括以下步骤：

对图像像素点在时间上的采样序列X={x₁,x₂,...,x_N}以及其码字集C={c₁,c₂,...c_L}，在YUV颜色空间下，亮度和颜色通道相互独立，对三个通道分别进行处理，各通道码字的二元组合为c_i=<learnmin_i,learnmax_i,min_i,max_i,f_i,λ_i,q_i>。其中，learnMin，learnMax分别为码元在每个通道上的学习值下限和上限，f表示码元的出现次数，q表示码元在最后更新时的帧数，λ表示码元的消极帧数。基于YUV空间背景建模的前景检测方法的具体步骤如下：

步骤一：背景建模：

(1).初始化码本，即将码本清空：L=0，C=Φ；

(2).在该编码本中遍历每个像素，计算像素的向下扩展值low、向上扩展值high；

$\left\{\begin{array}{c}\mathrm{low}=\max (p-\mathrm{cbBounds},0)\\ \mathrm{high}=\min (p+\mathrm{cbBounds},255)\end{array}\right.$

(3).遍历每个像素对应的每个码元，寻找匹配当前像素值的码元；

(4).如果码元在每个通道均满足learnMin<p<learnMax，则找到了匹配的码元，

按下式更新匹配码元的每个通道：

$\left\{\begin{array}{c}\mathrm{boxMin}=\min (\mathrm{boxMin},p)\\ \mathrm{boxMax}=\max (\mathrm{boxMax},p)\end{array}\right.$

如果learnMin>low，令learnMin=learnMin-1，如果learnMax>high，令learnMax=learnMax+1，f=f+1，q=T，λ=0。其中，T为编码本已经更新的总帧数，boxMin，boxMax分别为码元在每个通道的像素值下限和上限；

(5).如果没有找到匹配的码元，则新增一个码元：learnMin=low，learnMax=highboxMin=boxMax=p，q=T，λ=0，f=1对于不匹配的码元，只需设置消极帧数即可：λ=λ+1；

步骤二：消除冗余码元：

(6).若λ>N/2且满足频率信息f的判定标准，则将该码元从码本中去掉，即消除冗余码字；

步骤三：前景检测：

(7).计算像素在每个通道的向下扩展偏移量m和向上扩展偏移量M：m=modMin，如果需要进行阴影检测，则m=m+BrightnessMin；M=modMax，如果需要进行阴影检测，则M=M+BrightnessMax；

(8).在该编码本中遍历每个像素，计算像素的向下扩展值l，向上扩展值h及更新次数阀值f_ref：

l=p+m

h=p-M

(9).遍历每个像素对应的每个码元，寻找包容当前像素值的码元；

(10).如果码元在每个通道均满足boxMin≤l，h≤boxMax且f>f_ref，则找到了包容当前像素值的码元，像素是背景；

(11).如果不存在包容当前像素值的码元，则认为像素是前景；

(12).将空域信息加入背景建模过程，以增加背景判定的可靠性；

(13).若某像素点被检测为前景的基础上，进行二层判断以防误检，即在检测为前景的像素上重新建立码本，根据输入的像素信息更新码元，每五帧统计新建码本信息，若同时满足条件：f≥Tadd与convertScale≥Taveragestale。则将该像素重新加入背景像素。其中， $\mathrm{convertScale}=\frac{(\mathrm{FramNum}-T)}{\mathrm{frequency}}.$

若不执行上述步骤13则为单层Codebook方法，若执行上述步骤13则为双层Codebook方法。

为了说明本文方法的有效性，选择了视频测试序列“Intelligent room”作为实验对象，并用不同方法对该视频序列进行处理，进行效果对比。

本文选择C语言作为所述方法的实现语言，

Core^TM2Duo E6300，1.86GHz主频，内存大小为2G，使用Visual Studio2008开发环境编程实现。

Claims (3)

1.一种基于Codebook背景建模的运动目标检测方法，将RGB空间的建模转移到YUV空间进行运动目标检测，首先将一帧图像中的每个像素点在时间轴上进行聚类，提取背景模板；之后采用当前图像与背景模板进行比较，从而检测出运动目标，并同时进行背景模板的更新。

对图像像素点在时间上的采样序列X={x₁,x₂,...,x_N}以及其码字集C={c₁,c₂,...c_L}，在YUV颜色空间下，亮度和颜色通道相互独立，对三个通道分别进行处理，各通道码字的二元组合为c_i=<learnmin_i,learnmax_i,min_i,max_i,f_i,λ_i,q_i>。其中，learnMin，learnMax分别为码元在每个通道上的学习值下限和上限，f表示码元的出现次数，q表示码元在最后更新时的帧数，λ表示码元的消极帧数。基于YUV空间的前景检测方法的具体步骤如下：

步骤一：初始化码本，即将码本清空：L=0，C=Φ；

步骤二：在该编码本中遍历每个像素，计算像素的向下扩展值low、向上扩展值high：

$\left\{\begin{array}{c}\mathrm{low}=\max (p-\mathrm{cbBounds},0)\\ \mathrm{high}=\min (p+\mathrm{cbBounds},255)\end{array}\right.$

其中，p为像素在某个通道的值，cbBounds每通道的扩展边界偏移量；

步骤三：遍历每个像素对应的每个码元，寻找匹配当前像素值的码元；

步骤四：如果码元在每个通道均满足learnMin<p<learnMax，则找到了匹配的码元，按下式更新匹配码元的每个通道：

$\left\{\begin{array}{c}\mathrm{boxMin}=\min (\mathrm{boxMin},p)\\ \mathrm{boxMax}=\max (\mathrm{boxMax},p)\end{array}\right.$

如果learnMin>low，令learnMin=learnMin-1，如果learnMax>high，令learnMax=learnMax+1，f=f+1，q=T，λ=0。其中，T为编码本已经更新的总帧数，boxMin，boxMax分别为码元在每个通道的像素值下限和上限；

步骤五：如果没有找到匹配的码元，则新增一个码元：learnMin=low，learnMax=highboxMin=boxMax=p，q=T，λ=0，f=1对于不匹配的码元，只需设置消极帧数即可：λ=λ+1；

步骤六：若λ>N/2且满足频率信息f的判定标准，则将该码元从码本中去掉，即消除冗余码字；

步骤七：计算像素在每个通道的向下扩展偏移量m和向上扩展偏移量M：m=modMin，如果需要进行阴影检测，则m=m+BrightnessMin；M=modMax，如果需要进行阴影检测，则M=M+BrightnessMax；

步骤八：在该编码本中遍历每个像素，计算像素的向下扩展值l，向上扩展值h及更新次数阀值f_ref：

l=p+m

h=p-M

其中，p为像素的当前值，f_ref为当前像素对应所***元的更新次数之和；

步骤九：遍历每个像素对应的每个码元，寻找包容当前像素值的码元；

步骤十：如果码元在每个通道均满足boxMin≤l，h≤boxMax且f>f_ref，则找到了包容当前像素值的码元，像素是背景；

步骤十一：如果不存在包容当前像素值的码元，则认为像素是前景；

步骤十二：将空域信息加入背景建模过程，以增加背景判定的可靠性；

步骤十三：若某像素点被检测为前景的基础上，进行二层判断以防误检，即在检测为前景的像素上重新建立码本，根据输入的像素信息更新码元，每五帧统计新建码本信息，若同时满足条件：f≥Tadd与convertScale≥Taveragestale。则将该像素重新加入背景像素。其中，

$\mathrm{convertScale}=\frac{(\mathrm{FramNum}-T)}{\mathrm{frequency}}.$

若不执行上述步骤十三则为单层Codebook方法，若执行上述步骤十三则为双层Codebook方法。

2.根据权利要求1中所述的一种基于Codebook背景建模的运动目标检测方法，其特征在于：所述步骤六中将频率信息f加入冗余码元的判定标准。

由于λ不能充分可靠的将前景像素从背景码元中滤除，通过实验经验总结，本方法将频率信息f加入也加入判定标准，当且仅当λ_k≤T_M与f≥f_ref的情况下才将当前码元判定为背景。本方法中取f_ref于15至20之间，可以取得较好的效果。

3.根据权利要求1中所述的一种基于Codebook背景建模的运动目标检测方法，其特征在于：所述步骤十二将空域信息加入前景检测判定过程，以增加判定的可靠性，具体步骤如下：

由于单个像素的信息不可靠，我们将空域信息加入背景建模过程，以增加背景判定的可靠性。假定每个背景像素都会在一个小的邻域范围内振动，对已检测为前景的像素x，进行二次检测，将邻域信息(y∈N_x)纳入考虑范围。若在邻域范围内，检测到x与邻域内某像素的背景模型匹配，则将当前像素x标记为背景。

该空域背景检测流程如下：

(1).若x符合上述前景检测方法中第十步的条件，则将当前像素标记为背景b；

(2).若不符合，则将当前像素暂时标定为前景f；

(3).对经过上一步标定的像素进行二次检测，在y∈N_x内，寻找匹配的码元。

(i).若找到，则将标为前景的像素重置为背景b；

(ii).若未找到，则该像素认定为前景f。

通过将当前像素频率信息及邻域像素的码本信息考虑在当前像素背景建模及前景判定的条件内，使得背景码本的建立更加可靠，更加准确的反映了前景及背景信息。

Images