CN103179325B - 一种固定场景下低信噪比视频的自适应3d降噪方法 - Google Patents

Abstract

本发明公开了一种固定场景下低信噪比视频的自适应3D降噪方法，将“背景的估计、更新”和“时域滤波”有机的结合了起来，既估计出了实时的背景，又极大地抑制了噪声，获得了十分清晰的背景区域；检测运动目标时，采用分块判决法再次判定运动像素块，计算量小，不需要多余的参数设置，既对运动检测起到了补偿的作用，而且规则的方块又有利于后续的分区处理；背景更新时，将平均帧以相对较大的权系数更新到背景帧中，可以很好地适应光线的实时变化，提高抗干扰能力，且避免了“块闪烁”效应；只更新与背景区域位置对应的宏块，可以保持背景的干净；根据视频序列噪声方差的实时变化来估计二值化的阈值，估计准确，自适应性强。

Description

一种固定场景下低信噪比视频的自适应3D降噪方法

技术领域

本发明涉及视频降噪研究领域，具体涉及一种基于背景差分和分块判决的时-空域联合的自适应3D降噪方法。

背景技术

以往的视频图像降噪方法主要有空域滤波、时域滤波和时空域联合滤波。空域滤波虽然能滤除一些噪声，但不利用视频帧间关系，易造成图像细节损失。时域滤波利用视频的帧间相关性，非常适于视频降噪，但更适用于静止的视频处理，否则会产生严重的“拖尾”模糊。

时空域联合滤波(即3D滤波)是目前视频降噪的研究热点。有学者采用先时域滤波、后空域滤波的方法，虽然比单独采用时域滤波的降噪效果更明显，但损失了一定的细节，同时没有解决时域滤波的缺陷，即运动目标会产生“拖尾”模糊；有学者提出一种基于运动检测的智能视频序列降噪算法，通过比较当前帧和参考帧对应块的灰度平均值来判断是否有运动出现，若当前帧与参考帧中对应块有超过80％的块满足条件时，才判定为静止区域，进行时域滤波，否则进行空域滤波，但这会使较多的静止像素误判为运动像素，降低去噪效果；有学者提出基于背景提取的时域滤波和像素域自适应滤波的视频降噪方法，通过背景差分法提取运动区域，并自适应地对运动区域使用不同的空域滤波方法，但这种方法存在以下缺点：a、随时间的推移，背景中会出现新的物体或原有物体消失，背景也会随着外界光线不断变化，参与差分的背景却一沉不变，这就会导致一段时间后便不能有效提取运动区域，造成运动目标的误判，处理后的视频严重失真；b、抗干扰性差，对光线敏感，若图像的局部光线强度发生变化，容易产生严重的“块闪烁”效应。有学者提出基于运动补偿的3D降噪算法，通过运动估计找到前向和后向匹配块，对运动强度小的宏块采用时域滤波，对运动强度大的宏块采用空域的双边滤波，但当镜头不运动时，对每个宏块进行运动估计要耗费大量的时间，处理速度慢，不适于镜头固定场合视频的实时处理。

综上，现有的时空域联合视频降噪方法，往往存在易产生“拖尾”模糊、降噪效果差、对光线敏感、易产生“块闪烁”效应、计算量大、不适合实时视频***等缺点。所以，如何快速、准确的判断出低信噪比视频中的运动区域，提高算法的抗干扰性，最大程度地提高视频的信噪比，避免“拖尾”模糊和“块闪烁”效应，是视频降噪的关键。

发明内容

有鉴于此，本发明提供了一种固定场景下低信噪比视频的自适应3D降噪方法，能够准确判断运动像素，同时减少运算量，提高背景差分法获得运动像素的抗干扰性；视频的信噪比明显提高，运动物体的边缘和细节得到保留，适合固定场景下数字视频的实时降噪。

本发明的一种固定场景下低信噪比视频的自适应3D降噪方法，其特征在于，包括如下步骤：

步骤1、采集用于初始背景估计的N帧视频图像序列F₁～F_N，将第k帧F_k与后一帧F_k+1的灰度值进行差分，得到N-1个差分图像，令D_k表示第k个帧间差分图像，其中k＝1,2,…,N-1，N取30～150；

步骤2、根据视频序列噪声标准差估计二值化阈值T_k：针对每个帧间差分图像，将其划分成大小为M×M的方形区域，其中M为正整数，计算每个方形区域的平均灰度值和标准差，取所有标准差中最小值作为该帧间差分图像噪声标准差的估计，则第k个帧间差分图像D_k对应的二值化阈值为T_k＝alpha₁×δ_k；其中δ_k表示第k个帧间差分图像D_k对应的噪声标准差的估计，alpha₁取3～4；

步骤3、将帧间差分图像D_k以T_k为阈值进行二值化，得到二值图像O_k；针对视频图像中的某一个位置的像素点，找到二值图中该位置的像素点值为0的所有二值图，将找到的二值图对应的视频图像中该像素点的灰度值累加求和值，再将该和值除以累加次数，得到该像素点的背景估计值；按照上述方法遍历视频图像的所有像素点，求出所有像素点的背景估计值组成初始背景图像back_orig；

步骤4、实时采集视频序列，将当前帧f_n与当前背景图像back的灰度值进行差分，得到当前背景差分图像DB_n；其中，当n＝1时，back为步骤3得到的初始背景图像back_orig；

步骤5、按照步骤2的方法估计二值化阈值T_n，即：以当前背景差分图像DB_n为对象，将其划分成大小为M×M的多个方形区域，计算每个方形区域的平均灰度值和标准差，取所有标准差中最小值作为当前背景差分图像噪声标准差的估计δ_n，则二值化阈值T_n＝alpha₂×δ_n，其中alpha₂取4～5；

步骤6、将所述当前背景差分图像DB_n以T_n为阈值进行二值化处理，并去除连通域小于10的散点噪声，得到二值化的背景差分图像bwDB_n；

步骤7、分块判决法判定运动像素块：

将二值化的背景差分图像bwDB_n划分成M′×M′大小的方形区域，其中M′为正整数；然后判别每个区域的状态：

若M′×M′的区域中所有像素点的值均为0，则当前灰度图像f_n中的该区域判定为背景像素块FB_back；否则当前灰度图像f_n中的该区域判定为运动像素块FB_mov；

步骤8、对步骤7中判定的运动像素块FB_mov进行空域滤波，填充到当前背景图像back中运动像素块各自所在的位置，得到当前帧的3D降噪图像；

步骤9、实时更新当前背景图像，用于下一次的处理：

首先，将当前帧f_n与其前一帧f_n-1、后一帧f_n+1进行累加平均，得到平均值图像即；

然后，对平均值图像和当前背景图像back对应的像素点加权求和，得到更新后的当前背景图像back，具体为：

判断当前灰度图像f_n中每一个像素点属于某个背景像素块FB_back中的像素点还是属于某个运动像素块FB_mov中的像素点：

如果属于背景像素块FB_back中的像素点，则平均值图像中该点的权值取为α，当前背景图像中的该点权值取为1-α，α取0.3～0.4；

如果属于运动像素块FB_mov中的像素点，则当前背景图像中该点的权值取为1，平均值图像中的该点权值取为0；

步骤10、对于输入的每一帧视频图像，分别进行步骤4至步骤9的处理，得到视频的3D降噪结果。

所述步骤2中M的取值由Q/10的商四舍五入得到，其中Q为待处理视频图像

所述步骤2中，alpha₁取3。

所述步骤3在二值化得到二值图后，再采用连通性检验去除二值图中连通域小于10的散点噪声；最后，对二值图进行先膨胀后腐蚀的形态学处理，以弥补二值图中运动物体的内部空洞。

所述步骤5中alpha₂取4。

所述步骤7中M′取16。

所述步骤9中，α取0.35。

本发明具有如下有益效果：

1)将“背景的估计、更新”和“时域滤波”有机的结合了起来，既估计出了实时的背景，又极大地抑制了噪声，获得了十分清晰的背景区域；

2)检测运动目标时，采用分块判决法再次判定运动像素块，计算量小，不需要多余的参数设置，既对运动检测起到了补偿的作用，而且规则的方块又有利于后续的分区处理；

3)背景更新时，将平均帧以相对较大的权系数更新到背景帧中，可以很好地适应光线的实时变化，提高抗干扰能力，且避免了“块闪烁”效应；只更新与背景区域位置对应的宏块，可以保持背景的干净；根据视频序列噪声方差的实时变化来估计二值化的阈值，估计准确，自适应性强。

附图说明

图1为本发明中背景更新时平均帧与背景帧的加权平均过程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种固定场景下低信噪比视频的自适应3D降噪方法，包括如下步骤：

步骤1、采集用于初始背景估计的N帧视频序列F₁～F_N，将第k帧F_k与后一帧F_k+1的灰度值进行差分，得到N-1个差分图像，令D_k表示第k个帧间差分图像，即D_k(i,j)＝|F_k+1(i,j)-F_k(i,j)|，其中k＝1,2,…,N-1；N根据用于初始背景估计的视频视场中运动物体的多少来取值，运动物体越多N的取值越大，从而使这N视频中每个位置的像素至少有一次是属于背景区域的，否则估计出的背景易出现“空洞”。但N值越大，估计初始背景所需要的时间越长，因此在保证不出现“空洞的前提下”，N的取值不宜过大，一般取30～150，本发明实例中N取35；

步骤2、根据视频序列噪声标准差估计二值化阈值T_k：

有效的二值化阈值能较准确地将运动物体和噪声分开，而二值化阈值的大小与噪声成正比，因此通过计算图像中的噪声标准差来估计二值化阈值。由于图像中不含运动物体的区域的方差是由噪声的变化引起的，且比含运动物体的区域方差小，因此图像所有区域中标准差的最小的那个可以作为噪声标准差的估计，具体为：

以步骤1中的当前帧间差分图像D_k为对象，将其划分成大小为M×M的多个方形区域，为获取更准确的统计，样本要尽量多，故划分的方形区域要尽量大，当然也不宜过大，否则每个区域中都会包含运动物体的一部分。而选择的方形区域的大小的与视频大小成正比，因此本发明将Q/10的商四舍五入得到的整数作为M的取值，其中Q为视频图像的行数；

计算每个方形区域的平均灰度值：

$\stackrel{\‾}{B_{km}}={\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^M{B}_{km}(i,j)---\left(1\right)$

其中，表示当前帧间差分图像D_k中第m个方形区域的平均灰度值；B_km(i,j)表示当前帧间差分图像D_k中第m个方形区域内(i,j)位置的灰度值。

计算每个方形区域的标准差：

${\mathrm{\δ}}_{km}=\sqrt{\frac{1}{M\×M-1}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^M{\[B_{km}(i,j)-\stackrel{\‾}{B_{km}}\]}^2}---\left(2\right)$

将所有方形区域的标准差的最小值作为当前帧间差分图像D_k噪声标准差的估计δ_k，则当前帧间差分图像D_k的二值化阈值为T_k=alpha₁×δ_k，根据多次实验结果并结合实际经验，alpha₁一般取3～4，以提取更多的运动像素，本发明实例中alpha₁取3；

步骤3、将当前帧间差分图像D_k以T_k为阈值进行二值化，得到二值图bw_k：

$\left\{\begin{array}{cc}{\mathrm{bw}}_k(i,j)=0,& \left|D_k(i,j)\right|<T_k\\ {\mathrm{bw}}_k(i,j)=1,& \left|D_k(i,j)\right|\&GreaterEqual;T_k\end{array}\right.---\left(3\right)$

采用连通性检验去除二值图中连通域小于10的散点噪声；最后，对二值图进行先膨胀后腐蚀的形态学处理，以弥补二值图中运动物体的内部空洞，得到处理后的二值图bw_k’，其中值为0的区域为背景区域，值为1的区域为运动区域；

由于运动目标在不停地运动，所以在N值选择合适的情况下就能够保证在视频序列F₁～F_N中，每一个位置的像素至少有一次属于背景区域，即至少有一次bw_k’(i,j)为0。

针对视频图像中的某一个位置的像素点，找到二值图中该位置的像素点值为0的所有二值图，将找到的二值图对应的视频图像中该像素点的灰度值累加求和值，再将该和值除以累加次数，得到该像素点的背景估计值；按照上述方法遍历视频图像的所有像素点，求出所有像素点的背景估计值组成初始背景图像back_orig。

基于上述的处理，针对图像中每一个像素点，基本上能把背景像素点和运动像素点区分开，即二值图中像素点值为0的为背景像素点，像素点值为1的是运动像素点，将像素点值为1的视屏图像的灰度值累加后取均值，即得到了背景图像。

步骤4、实时采集视频序列，假设当前帧为f_n，当前背景图像为back，其中n＝1,2,…，且当n＝1时，back为步骤3得到的初始背景图像back_orig，将当前帧f_n与当前背景图像back的灰度值进行差分，得到当前背景差分图像DB_n即：DB_n(i,j)＝|f_n(i,j)-back(i,j)|；

步骤5、按照步骤2的方法估计二值化阈值T_n，即：以当前背景差分图像DB_n为对象，将其划分成大小为M×M的多个方形区域，计算每个方形区域的平均灰度值和标准差，取所有标准差中最小值作为当前背景差分图像噪声标准差的估计δ_n，则二值化阈值T_n＝alpha₂×δ_n，alpha₂一般取4～5，以减少噪声的影响，本发明实例中alpha₂取4；

步骤6、将所述当前背景差分图像DB_n以T_n为阈值进行二值化处理，并去除二值图像中连通面积小于10的白点像素，即去除散点噪声，以降低噪声对后续处理的干扰，得到二值图bwDB_n；

步骤7、分块判决法再次判定运动像素块：

将二值化的背景差分图像bwDB_n划分成M′×M′大小的方形区域，区域大小要合适，太大会导致运动区域过度扩大，视觉效果差，太小则无法有效弥补检测漏洞，根据多次试验并结合经验，对于720×576大小的视频，本发明M′取16；然后判别每个区域的状态：

若M′×M′的区域中所有像素点的值均为0，则当前灰度图像f_n中的该区域判定为背景像素块FB_back；否则当前灰度图像f_n中的该区域判定为运动像素块FB_mov；

步骤8、对步骤7中判定的运动像素块FB_mov进行空域滤波：在本发明中，空域滤波仅仅用在运动区域的处理，一般情况下这部分区域占整幅图的比重较小，且人眼对运动的物体分辨率较低，所以本发明选取线性平滑滤波中的均值滤波算法作为空域滤波算法，具有平滑效果强、处理速度快的优点。均值滤波的过程可以表示为：

${\mathrm{GB}}_{mov}(x,y)=\frac{{\mathrm{\&Sigma;}}_{(i,j\&Element;A_{xy})}{\mathrm{FB}}_{mov}(i,j)}{9}---\left(4\right)$

其中，GB_mov(x,y)为FB_mov(i,j)的均值滤波后结果；A_xy表示以(x,y)为中心的3×3邻域，即：

$A_{xy}=\begin{array}{c}\{(x-1,y-1),(x-1,y)(x-1,y+1),\\ (x,y-1),(x,y),(x,y+1),\\ (x+1,y-1),(x+1,y),(x+1,y+1)\}\end{array}$

将空域滤波后的运动像素块GB_mov，填充到当前背景图像back中每个运动像素块各自所在的位置，得到当前帧的3D降噪图像后输出。

步骤9、实时更新当前背景图像，用于下一次的处理：

随着时间的推移，外界光照不断变化，必须要对背景图像进行实时更新，才能使背景适应外界环境的变化，提高抗干扰性。当前往往采用当前帧以某个权系数与背景帧加权平均的方法来更新背景，权系数大于零小于1。但在选取权系数时，若权系数较大(如0.4左右)，虽更新速度快，但当前帧中的运动物体和噪声会被引入背景，影响背景差分的结果和处理后背景的清晰度；若权系数较小(如0.1左右)，则更新速度慢，不能很好地适应外界的变化，如图像中局部光线的变化会产生“块闪烁”效应。为解决以上不足，本发明采用平均帧以相对较大的权系数与当前背景帧进行加权平均，并且只更新与当前帧中的背景像素块。具体方法如下：

首先，将当前帧f_n与其前后相邻的两帧图像f_n-1、f_n+1进行累加平均，得到平均值图像即 $\stackrel{\&OverBar;}{f_n}=(f_{n-1}+f_n+f_{n+1})/3;$

然后，对平均值图像和当前背景图像back对应的像素点加权求和，得到更新后的当前背景图像，具体为：

判断当前灰度图像f_n中每一个像素点属于某个背景像素块FB_back中的像素点还是属于某个运动像素块FB_mov中的像素点:

如果属于背景像素块FB_back中的像素点，则平均值图像中该点的权值取为α，对应于当前背景图像中的该点权值取为1-α，根据多次实验结果，权系数α取0.3～0.4时效果较好，本发明中取0.35；

如果属于运动像素块FB_mov中的像素点，则背景图像中该点的权值取为1，对应于平均值图像中的该点权值取为0；则表示为：

$back(i,j)=\left\{\begin{array}{cc}(1-\mathrm{\&alpha;})back(i,j)+\mathrm{\&alpha;}\stackrel{\&OverBar;}{f_n(i,j)},& (i,j)\&Element;{\mathrm{FB}}_{back}\\ back(i,j),& (i,j)\&Element;{\mathrm{FB}}_{mov}\end{array}\right.---\left(5\right)$

其中，back(i,j)表示当前背景图像中(i,j)像素点的灰度值，表示平均值图像中(i,j)像素点的灰度值；

如图1所示，阴影块为背景像素块，白色块为运动像素块；背景更新时，只更与背景像素块位置对应的像素。

采用平均帧图像以相对较大的权系数更新到背景帧中，可以很好地适应光线的实时变化和外界的干扰，避免“块闪烁”效应；只更新与背景像素块位置对应的像素，保持了背景的干净。平均帧不断以相同的权系数与背景帧累加，在一定意义上也相当于时域平均过程。

步骤10、对于输入的每一帧视频图像，分别进行步骤5至步骤10的处理，得到视频图像的3D降噪结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种固定场景下低信噪比视频的自适应3D降噪方法，其特征在于，包括如下步骤：

步骤1、采集用于初始背景估计的N帧视频图像序列F₁～F_N，将第k帧F_k与后一帧F_k+1的灰度值进行差分，得到N-1个差分图像，令D_k表示第k个帧间差分图像，其中k＝1,2,…,N-1，N取30～150；

步骤2、根据视频序列噪声标准差估计二值化阈值T_k：针对每个帧间差分图像，将其划分成大小为M×M的方形区域，其中M为正整数，计算每个方形区域的平均灰度值和标准差，取所有标准差中最小值作为该帧间差分图像噪声标准差的估计，则第k个帧间差分图像D_k对应的二值化阈值为T_k＝alpha₁×δ_k；其中δ_k表示第k个帧间差分图像D_k对应的噪声标准差的估计，alpha₁取3～4；

步骤3、将帧间差分图像D_k以T_k为阈值进行二值化，得到二值图像O_k；针对视频图像中的某一个位置的像素点，找到二值图中该位置的像素点值为0的所有二值图，将找到的二值图对应的视频图像中该像素点的灰度值累加求和值，再将该和值除以累加次数，得到该像素点的背景估计值；按照上述方法遍历视频图像的所有像素点，求出所有像素点的背景估计值组成初始背景图像back_orig；

步骤4、实时采集视频序列，将当前帧f_n与当前背景图像back的灰度值进行差分，得到当前背景差分图像DB_n；其中，当n＝1时，back为步骤3得到的初始背景图像back_orig；

步骤5、按照步骤2的方法估计二值化阈值T_n，即：以当前背景差分图像DB_n为对象，将其划分成大小为M×M的多个方形区域，计算每个方形区域的平均灰度值和标准差，取所有标准差中最小值作为当前背景差分图像噪声标准差的估计δ_n，则二值化阈值T_n＝alpha₂×δ_n，其中alpha₂取4～5；

步骤6、将所述当前背景差分图像DB_n以T_n为阈值进行二值化处理，并去除连通域小于10的散点噪声，得到二值化的背景差分图像bwDB_n；

步骤7、分块判决法判定运动像素块：

将二值化的背景差分图像bwDB_n划分成M′×M′大小的方形区域，其中M′为正整数；然后判别每个区域的状态：

若M′×M′的区域中所有像素点的值均为0，则当前灰度图像f_n中的该区域判定为背景像素块FB_back；否则当前灰度图像f_n中的该区域判定为运动像素块FB_mov；

步骤8、对步骤7中判定的运动像素块FB_mov进行空域滤波，填充到当前背景图像back中运动像素块各自所在的位置，得到当前帧的3D降噪图像；

步骤9、实时更新当前背景图像，用于下一次的处理：

首先，将当前帧f_n与其前一帧f_n-1、后一帧f_n+1进行累加平均，得到平均值图像f_n；

然后，对平均值图像和当前背景图像back对应的像素点加权求和，得到更新后的当前背景图像back，具体为：

判断当前灰度图像f_n中每一个像素点属于某个背景像素块FB_back中的像素点还是属于某个运动像素块FB_mov中的像素点：

如果属于背景像素块FB_back中的像素点，则平均值图像中该点的权值取为α，当前背景图像中的该点权值取为1-α，α取0.3～0.4；

如果属于运动像素块FB_mov中的像素点，则当前背景图像中该点的权值取为1，平均值图像中的该点权值取为0；

步骤10、对于输入的每一帧视频图像，分别进行步骤4至步骤9的处理，得到视频的3D降噪结果。

2.根据权利要求1所述的一种固定场景下低信噪比视频的自适应3D降噪方法，所述步骤2中M的取值由Q/10的商四舍五入得到，其中Q为待处理视频图像的行数。

3.根据权利要求1所述的一种固定场景下低信噪比视频的自适应3D降噪方法，在所述步骤2中，alpha₁取3。

4.根据权利要求1所述的一种固定场景下低信噪比视频的自适应3D降噪方法，所述步骤3在二值化得到二值图后，再采用连通性检验去除二值图中连通域小于10的散点噪声；最后，对二值图进行先膨胀后腐蚀的形态学处理，以弥补二值图中运动物体的内部空洞。

5.根据权利要求1所述的一种固定场景下低信噪比视频的自适应3D降噪方法，所述步骤5中alpha₂取4。

6.根据权利要求1所述的一种固定场景下低信噪比视频的自适应3D降噪方法，所述步骤7中M′取16。

7.根据权利要求1所述的一种固定场景下低信噪比视频的自适应3D降噪方法，所述步骤9中，α取0.35。