CN104978735B

CN104978735B - 可适应随机噪声和光照变化的背景建模方法

Info

Publication number: CN104978735B
Application number: CN201410147830.7A
Authority: CN
Inventors: 胡懋地; 李其均
Original assignee: Aisino Corp
Current assignee: Aisino Corp
Priority date: 2014-04-14
Filing date: 2014-04-14
Publication date: 2018-02-13
Anticipated expiration: 2034-04-14
Also published as: CN104978735A

Abstract

本发明实施例提供了一种可适应随机噪声和光照变化的背景建模方法，包括以下步骤：步骤A：基于高斯滤波器组对视频的训练图像进行滤波，初始化多个单高斯模型；步骤B：根据所述单高斯模型参数，结合多个滤波图像计算参考背景掩模；步骤C：根据光照变化概率计算差异度掩模，对所述参考背景掩模进行光照补偿，并计算修正背景掩模；步骤D：计算鲁棒背景掩模，并通过该鲁棒背景掩模对所述训练图像进行分割前景背景，并更新所述单高斯模型参数。该背景建模方法提高了模型的适应背景变化的能力，并且提高了在光照等干扰情况下对视频图像的前景背景分割的准确性。

Description

可适应随机噪声和光照变化的背景建模方法

技术领域

本发明涉及媒体通信技术领域，尤其涉及一种可适应随机噪声和光照变化的背景建模方法。

背景技术

近年来，安防等用途的视频采集设备逐渐普及，所产生的视频数据呈现数据体量巨大、数据类型繁多、价值密度低、处理速度要求高等特点，人工方式难以处理，因此智能视频分析技术受到了广泛的关注和应用。现代的物体识别技术中，基于启发式规则方式的，多采用物体的形状、大小、比例等信息对提取的前景物体进行分析，从而得到物体种类。

复杂条件下的前景提取是一项较困难的工作，困难主要来源于背景的高度复杂性和背景本身的变化。背景消除法是一种广泛使用的方法，它假定背景已知而且是动态的。通过将视频帧和背景图像进行逐像素比较来提取前景，这种方法在背景本身变化的情况下会失效，为了解决背景的局部变化问题，采用背景建模是智能视频分析的重要技术之一，主流的方法是基于背景区域在时间上保持相对不变的一般规律，采用混合高斯模型对视频图像中的像素值进行建模，并以像素值相对于模型的匹配度分割前景和背景。

上述现有技术中的背景建模的方法的缺点为：不能适应光照的快速变化，并且在随机噪声较严重时应用效果较差。例如，仓库环境中的沙尘和照明都会严重影响其使用性能，导致前景目标的误检和漏检，造成智能视频分析的障碍。

发明内容

本发明的实施例提供了一种可适应随机噪声和光照变化的背景建模方法，提高了光照变化时对图像前景背景分割的准确性和模型的适应能力。

一种可适应随机噪声和光照变化的背景建模方法，包括以下步骤：

步骤A：选取视频图像中的若干帧图像作为训练图像，基于设定的高斯滤波器组对所述训练图像进行滤波，得到多组滤波图像，根据每组滤波图像和所述训练图像初始化多组单高斯模型；

步骤B：根据所述每组单高斯模型参数，结合多组滤波图像和当前帧图像计算出多组参考背景掩模；

步骤C：根据光照变化概率计算差异度掩模，对所述每组参考背景掩模进行光照补偿，并计算出多组修正背景掩模；

步骤D：对所有修正背景掩模进行平均得到鲁棒背景掩模，并通过该鲁棒背景掩模对所述当前帧图像进行分割前景背景，并更新所述每组单高斯模型参数。

所述步骤A包括：

选取视频图像中的开始部分的若干帧图像作为训练图像，设置不同方差的多个高斯滤波器组成高斯滤波器组，用所述高斯滤波器组中的每个高斯滤波器对每个训练图像进行滤波，得到多组滤波图像；

对每个所述训练图像和所述每组滤波图像中的相同位置的对应像素点的像素值采用期望最大化EM算法训练一个单高斯模型；

并将最后一帧训练图像设为当前帧图像。

所述步骤B包括：

当所述当前帧图像为所述训练图像之后的任意帧图像时，将所述当前帧图像通过所述高斯滤波器组进行滤波，得到多个滤波图像；

计算所述当前帧图像和所述多个滤波图像中的相同位置的对应像素点的像素值属于对应的所述单高斯模型的概率值，作为参考背景掩模；

当当前帧图像是最后一帧训练图像时，则将所述参考背景掩模作为当前帧图像的修正背景掩模，执行步骤D；否则执行步骤C。

所述步骤C包括：

根据每个所述参考背景掩模和所述当前帧图像的前一帧图像对应的修正背景掩模的差异度，生成一个新图像，该新图像中各像素点的值随着对应像素点处的所述差异度指数增长，将该新图像作为该参考背景掩模对应的差异度掩模;

根据所述当前帧图像和所述前一帧图像的差异度，计算各像素点光照变化的概率，通过光照补偿得到每个所述参考背景掩模对应的所述修正背景掩模。

所述步骤D包括：

对步骤C中得到的所有所述修正背景掩模进行平均计算，得出的值作为当前帧图像的鲁棒背景掩模，将所述鲁棒背景掩模作为当前帧图像前景背景的分割阈值，对于当前帧图像中的每一个像素点的像素值，大于所述前景背景的分割阈值，则当前帧图像中的该像素点为背景；否则，该当前帧图像中的该像素点为前景；

所述当前帧图像是所述视频中需要进行前景背景分割的最后一帧图像，则前景背景分割过程结束；否则根据所述差异度掩模和所述鲁棒背景掩模对所有单高斯模型参数进行更新；并将下一帧图像作为当前帧图像，执行步骤B。

所述步骤B中的参考背景掩模的计算公式为：

设所有滤波器的序号为i，且i=0,...,N，k是由经验确定的参数，控制参考背景掩模中90%以上的像素点取值在0-1之间；其中，第t帧图像记为经过第i个滤波器滤波后的滤波图像为对i=0,...,N，训练出的高斯模型由均值图像μⁱ和方差图像σⁱ表示。

所述步骤C中的差异度掩模的计算公式为：

其中，a是与背景变化速度相关的响应系数，且a>1；是第t-1帧第i个修正背景掩模。

所述修正背景掩模的计算公式为：

其中，表示两个图像中各对应的像素点的像素值相乘产生一个新的图像；b是与光照变化概率相关的响应系数，且0<b<1；表示中的光照变化系数，其计算公式为：

如果i=0，是所有训练图像和经过一个单高斯滤波器产生的所有滤波图像中的第t-1帧图像，否则是所有训练图像和经过一个单高斯滤波器产生的所有滤波图像中的第t-1帧图像经过第i个滤波器滤波后得到的滤波图像；R_P,G_P,B_P分别表示图像P的红、绿、蓝三个通道各自的单通道图像，P的取值为或

所述步骤D中的鲁棒背景掩模R_t的计算公式为：

其中，N为所有高斯滤波器的数量。

所述步骤D中对所述单高斯模型参数进行更新的计算公式为：

其中，表示中各像素点的像素值经过平方计算后的图像，使t=t+1后，继续执行步骤B。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例通过多个高斯滤波器对需要进行前景背景分割的视频图像进行滤波，并通过训练高斯模型计算出参考背景掩模，在该参考背景掩模的基础上进行光照补偿，计算得出修正背景掩模，并最终计算出鲁棒背景掩模，从而通过该鲁棒背景掩模对所述视频图像进行前景背景的分割，实现了通过估计背景变化的速度和模型对背景变化的滞后性进行背景建模，并且可以根据光照变化对图像进行光照补偿，自适应地调节单高斯模型的更新速度，从而提高了在光照变化的情况下对图像进行前景背景分割的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种可适应随机噪声和光照变化的背景建模方法的处理流程图。

具体实施方式

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明通过对需要分割前景和背景的视频截取若干帧视频图像作为训练图像，通过训练图像和滤波图像的相应像素点的像素值使用EM（Expectation Maximization，期望最大化）算法训练单高斯模型，并通过单高斯模型计算出各训练图像和滤波图像的参考背景掩模，在该参考背景掩模的基础上进行光照补偿，计算得出修正背景掩模，并最终计算出鲁棒背景掩模从而对所述视频图像进行前景和背景的分割。以使该背景建模方法可以在光照等干扰情况下提高对图像进行前景背景分割的准确性。

本发明实施例提供了一种可适应随机噪声和光照变化的背景建模方法的处理流程图如图1所示，包括如下的处理步骤：

步骤S100：从视频图像中的开始部分选取d帧图像作为训练图像，将视频图像的分辨率记为n行m列。设置一个由N＞0个高斯滤波器组成的高斯滤波器组，其中每个高斯滤波器的方差都不相同，并基于设定的高斯滤波器组对所述训练图像进行滤波，得到多组滤波图像，根据每组滤波图像和所述训练图像初始化多组单高斯模型。设滤波器的序号为i，且i=0,...,N，当i=0时，代表没有滤波器，即该图像没有经过滤波器的滤波作用，即进行处理的该帧图像为训练图像。

然后分别进行以下两步操作：

第一步：如果i=0，即没有滤波器进行滤波作用，则把所有的训练图像作为单高斯模型的训练样本集；否则，用第i个高斯滤波器对所有的训练图像逐一进行滤波，把经过第i个滤波器滤波后生成的d帧滤波图像和原始的所有训练图像作为一个训练样本集，则有i个训练样本集，其中各帧滤波图像的分辨率为n行m列；

第二步：针对训练样本集中所有图像的相应位置处的每个相应像素点的像素值使用EM算法进行计算，训练出多组单高斯模型，即共有i组单高斯模型，训练出的单高斯模型皆由均值图像μⁱ和方差图像σⁱ表示，其中，均值图像μⁱ的分辨率大小为n行m列，其各像素点的像素值表示所有图像中相同位置处对应像素点像素值的均值；σⁱ的分辨率大小也为n行m列，其各像素点的像素值表示所有图像中相同位置处的该对应像素点的像素值的方差，并将当前处理的图像序号记为t，其值设为d。

步骤S110：根据步骤S100中的每组单高斯模型的参数，结合多组滤波图像和当前帧图像计算出多组参考背景掩模；

首先将第t帧图像记为对i=0,...,N，分别执行以下两步操作：

第一步：用步骤S100中的第i个高斯滤波器对进行滤波，当当前帧图像为训练图像之后的任意帧图像时，将当前帧图像通过高斯滤波器组进行滤波，相应得到多个滤波图像，并且产生的滤波图像记为其中的分辨率大小为n行m列；

第二步：计算第t帧第i个参考背景掩模，记为是分辨率为n行m列的图像，该参考背景掩模中的每个像素点的像素值是中对应像素点的像素值相对于均值图像μⁱ中对应像素点的像素值和σⁱ中对应像素点的像素值表示的单高斯模型的概率值，计算方法如下所示：

公式1

其中，k是由经验确定的参数，控制参考背景掩模中90%以上的像素点取值在0-1之间。

步骤S120：如果t=d，即该当前处理的图像为训练样本集的最后一帧图像，则执行步骤S130；否则执行步骤S140。

步骤S130：将针对i=0,...,N分别计算出来的依次作为第d帧第i个修正背景掩模，记为然后执行步骤S160；对于进行处理的第t帧图像，将t设置为t=t+1，继续执行步骤S120。

步骤S140：根据光照变化概率计算差异度掩模，对每个参考背景掩模进行光照补偿；

根据每个参考背景掩模和当前帧图像的前一帧图像对应的修正背景掩模的差异度，生成一个新图像，该新图像中的各像素点的值随着对应像素点处的差异度指数增长，将该图像作为该参考背景掩模对应的差异度掩模;

针对i=0,...,N，计算第t帧图像的第i个差异度掩模，记为是分辨率大小为n行m列的图像，计算方法如下所示：

公式2

上述计算公式中，a是与背景变化速度相关的响应系数，且a>1；是第t-1帧图像的第i个修正背景掩模；

步骤S150：根据步骤S140中计算得出的差异度掩模对参考背景掩模进行光照补偿计算，计算第t帧图像的第i个修正背景掩模，记为是分辨率大小为n行m列的图像，计算方法如下所示：

公式3

上述计算公式中，表示将两个图像中的各对应像素点的像素值进行相乘计算生成一个新的图像；b是与光照变化概率相关的响应系数，且0<b<1；表示中的光照变化系数，其计算公式为：

公式4

如果i=0，即没有使用任何滤波器对训练图像进行滤波作用，则是第t-1帧训练图像；否则，是第t-1帧经过第i个滤波器进行滤波后生成的滤波图像；R_P,G_P,B_P分别表示图像P的红、绿、蓝三个通道各自的单通道图像，P的取值为或

步骤S160：对所有修正背景掩模进行平均得到鲁棒背景掩模，并通过该鲁棒背景掩模对所述当前帧图像进行分割前景背景，并更新所述每组单高斯模型参数。

对所有修正背景掩模进行平均计算，得出的值作为当前帧图像的鲁棒背景掩模，根据步骤S130和步骤S150中分别计算得出的不同修正背景掩模，计算第t帧图像的鲁棒背景掩模，记为R_t，R_t是大小为n行m列的图像，并将该鲁棒背景掩模作为当前帧图像前景背景的分割阈值，计算方法如下式所示，

公式5

根据上述计算公式将视频图像进行前景背景的分割，对于当前帧图像中的每一个像素点的像素值，如果其像素值大于前景背景分割阈值，该阈值可用OTSU法（最大类间方差法）等算法确定，则中对应的该像素点为背景；否则，中对应的该像素点为前景，然后执行步骤S170。

步骤S170：如果第t帧图像是要求进行前景背景分割的最后一帧图像，则执行步骤S180；否则，执行步骤S190。

步骤S180：前景背景分割过程结束。

步骤S190：根据所述差异度掩模和所述鲁棒背景掩模对所有单高斯模型参数进行更新；并将下一帧图像作为当前帧图像，执行步骤S110。对i=0,...,N，更新μⁱ和σⁱ，更新方法如下所示，

公式6

公式7

式中表示对中各像素点的像素值进行平方计算后的图像，然后将第t帧设置为t=t+1，并继续执行步骤S110。

综上所述，本发明实施例通过估计背景变化的速度和模型对背景变化的滞后性，自适应地调节更新速度，使该背景建模方法可以更快速适应背景变化的能力；对图像中背景认定的出错可能性较大且判断为有光照变化的像素点进行光照补偿，提高了在有光照变化等干扰的情况下进行前景背景分割的准确性和模型的适应能力；并且使用多个高斯滤波器对视频图像进行滤波降噪，综合利用不同滤波器的结果对背景分别进行建模，进一步提高了背景建模对多粒度随机噪声的鲁棒性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种可适应随机噪声和光照变化的背景建模方法，其特征在于，包括以下步骤：

步骤A：选取视频图像中的开始部分的若干帧图像作为训练图像，设置不同方差的多个高斯滤波器组成高斯滤波器组，用所述高斯滤波器组中的每个高斯滤波器对每个训练图像进行滤波，得到多组滤波图像，将每组滤波图像与所有训练图像组成一个训练样本集，得到多个训练样本集，对每个训练样本集中所有图像相同位置处的每个相应像素点的像素值采用期望最大化EM算法进行计算，训练出多组单高斯模型，并将最后一帧训练图像设为当前帧图像；

步骤B：根据当前帧图像的多组单高斯模型参数，结合多个滤波图像计算出多个参考背景掩模；

步骤C：根据当前帧图像的每个参考背景掩模和当前帧图像的前一帧图像对应的修正背景掩模的差异度，生成一个新图像，该新图像中的各像素点的值随着对应像素点处的差异度指数增长，将该图像作为该参考背景掩模对应的差异度掩模；

步骤D：计算每个所述参考背景掩模对应的差异度掩模中各像素点光照变化的概率，通过光照补偿得到每个所述参考背景掩模对应的所述修正背景掩模；

步骤E：对当前帧图像的所有修正背景掩模进行平均得到鲁棒背景掩模，并通过该鲁棒背景掩模对所述当前帧图像进行分割前景背景，并更新所述每组单高斯模型参数。

2.根据权利要求1所述的可适应随机噪声和光照变化的背景建模方法，其特征在于，所述步骤B包括：

当当前帧图像是最后一帧训练图像时，则将所述参考背景掩模作为当前帧图像的修正背景掩模，执行步骤E；否则执行步骤C。

3.根据权利要求1所述的可适应随机噪声和光照变化的背景建模方法，其特征在于，所述步骤E包括：

对步骤D中得到的所有所述修正背景掩模进行平均计算，得出的值作为当前帧图像的鲁棒背景掩模，将所述鲁棒背景掩模作为当前帧图像前景背景的分割阈值，对于当前帧图像中的每一个像素点的像素值，大于所述前景背景的分割阈值，则当前帧图像中的该像素点为背景；否则，该当前帧图像中的该像素点为前景；

4.根据权利要求1至3中任一项所述的可适应随机噪声和光照变化的背景建模方法，其特征在于，所述步骤B中的参考背景掩模的计算公式为：

<mrow> <mover> <msubsup> <mi>K</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>~</mo> </mover> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>k</mi> <mo>&CenterDot;</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <msup> <mrow> <mo>(</mo> <mfrac> <mrow> <msubsup> <mi>I</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>-</mo> <msup> <mi>&mu;</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msup> <mi>&sigma;</mi> <mi>i</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mn>1</mn> </mrow>

设所有滤波器的序号为i，且i＝0,...,N，k是由经验确定的参数，控制参考背景掩模中90％以上的像素点取值在0-1之间；其中，第t帧图像记为经过第i个滤波器滤波后的滤波图像为对i＝0,...,N，训练出的高斯模型由均值图像μⁱ和方差图像σⁱ表示。

5.根据权利要求4所述的可适应随机噪声和光照变化的背景建模方法，其特征在于，所述步骤C中的差异度掩模的计算公式为：

6.根据权利要求5所述的可适应随机噪声和光照变化的背景建模方法，其特征在于，所述修正背景掩模的计算公式为：

<mrow> <msubsup> <mi>K</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>D</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>&CircleTimes;</mo> <mover> <msubsup> <mi>K</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>~</mo> </mover> <mo>+</mo> <msubsup> <mi>D</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>&CircleTimes;</mo> <msubsup> <mi>K</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>i</mi> </msubsup> <mo>&CircleTimes;</mo> <mfrac> <mrow> <msup> <mi>b</mi> <msubsup> <mi>L</mi> <mi>t</mi> <mi>i</mi> </msubsup> </msup> <mo>-</mo> <mn>1</mn> </mrow> <mrow> <mi>b</mi> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mn>3</mn> </mrow>

如果i＝0，是所有训练图像和经过一个单高斯滤波器产生的所有滤波图像中的第t-1帧图像，否则是所有训练图像和经过一个单高斯滤波器产生的所有滤波图像中的第t-1帧图像经过第i个滤波器滤波后得到的滤波图像；R_P,G_P,B_P分别表示图像P的红、绿、蓝三个通道各自的单通道图像，P的取值为或

7.根据权利要求6所述的可适应随机噪声和光照变化的背景建模方法，其特征在于，所述步骤E中的鲁棒背景掩模R_t的计算公式为：

<mrow> <msub> <mi>R</mi> <mi>t</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>N</mi> </munderover> <msubsup> <mi>K</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mn>5</mn> </mrow>

其中，N为所有高斯滤波器的数量。

8.根据权利要求7所述的可适应随机噪声和光照变化的背景建模方法，其特征在于，所述步骤E中对所述单高斯模型参数进行更新的计算公式为：

<mrow> <msup> <mi>&mu;</mi> <mi>i</mi> </msup> <mo>=</mo> <msup> <mi>&mu;</mi> <mi>i</mi> </msup> <mo>+</mo> <msubsup> <mi>D</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>&CircleTimes;</mo> <msubsup> <mi>K</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>&CircleTimes;</mo> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>-</mo> <msup> <mi>&mu;</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mn>6</mn> </mrow>

<mrow> <msup> <mi>&sigma;</mi> <mi>i</mi> </msup> <mo>=</mo> <msup> <mi>&sigma;</mi> <mi>i</mi> </msup> <mo>+</mo> <msubsup> <mi>D</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>&CircleTimes;</mo> <msubsup> <mi>K</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>&CircleTimes;</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>I</mi> <mi>t</mi> <mi>i</mi> </msubsup> <mo>-</mo> <msup> <mi>&mu;</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> <mi>2</mi> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mn>7</mn> </mrow>

其中，表示中各像素点的像素值经过平方计算后的图像，使t＝t+1后，继续执行步骤B。