CN102663688B - 基于邻域阈值分类的表面波变换视频去噪方法 - Google Patents

Abstract

本发明公开了一种基于邻域阈值分类的表面波变化视频去噪方法，主要改善图像边缘模糊和噪声去除不充分的现象。其实现过程是：(1)输入含有噪声的视频系数，并对其进行表面波变换；(2)计算表面波变换后的各层各方向子带系数的噪声方差；(3)计算各层各方向子带系数的阈值；(4)利用阈值和邻域能量对各层各方向子带系数分类；(5)计算分类后各层各方向子带系数的信号方差；(6)利用分类后各层各方向子带系数的信号方差对系数进行收缩处理；(7)对处理后的系数进行表面波逆变换，得到去噪后的视频图像。本发明与现有的技术相比显著提高了去噪效果，显著提高了视频图像中噪声的抑制能力，同时能够更好的保留视频图像的细节信息和运动物体的平滑效果。

Description

基于邻域阈值分类的表面波变换视频去噪方法

技术领域

本发明属于图像处理领域，涉及图像去噪，可用于视频图像，生物医学图像和三维图像的去噪。

背景技术

人类对客观世界的认识绝大部分是通过视觉***获取的信息。视觉信息在人类感知和认识世界的过程中起到了极其重要的作用，但是在我们接触到的视频信号中往往掺杂着各种噪声，以至于视频变得模糊、质量下降，从而导致视频中的一些重要细节信息丢失。在对视频图像进行处理或者应用时，如何保留视频图像中的有用信息，如何捕捉视频图像中的曲面奇异，是一个热点也是一个难点。

视频去噪方法的研究最初是以图像为单位逐帧进行处理，传统的视频去噪方法是按空域、时域、变换域来进行划分。空域滤波有中值滤波和系数自适应滤波等滤波方法，对各帧图像均能得到较好的滤波效果。但是在视频应用中，由于空域滤波没有充分利用时域信息，不能得到理想的滤波效果。时域滤波考虑了各帧之间的相关性，但是只适合静止目标，对运动目标会产生伪影等现象。变换域通常都是逐帧去噪。视频序列不仅要关注每一帧图像的视觉效果，还要关注整个序列的视觉感受。因此，对于视频序列的去噪提出了更高的要求。

1992年，Bambeger和Smith首先提出方向滤波器组DFB的概念，DFB能有效地对二维信号进行方向分解。2005年，Do和Vetterli将拉普拉斯金字塔分解和DFB相结合，设计出新的小波变换Contourlet。但是由于DFB的不可分性，把它从二维扩展到多维始终没有完美的实现方法。直到2005年，Yue Lu和M.N.Do提出一种新的多维方向滤波器组设计方法——NDFB(N-dimensional Directional Filter Banks)。NDFB采用一种简单、高效的树状结构，能够对任意维的信号进行方向分解。通过采用一组迭代滤波器组，能够实现完全重建，且对于N维信号的冗余度只有N倍。同时，Yue Lu和M.N.Do在NDFB的基础上，提出了表面波变换。表面波变换首先对信号进行多尺度分解以捕获奇异变化，接着由NDFB将同一方向的奇异变化合为一个系数。它可以有效地捕捉和表示高维信号中的曲面奇异，非常适合视频处理。例如视频可以看作是二维空间信息和一维时间信息合成的三维时空信号，视频中运动物体的表面在这个三维***中是曲面奇异的。实验结果表明，在一些应用如视频处理中，基于表面波变换算法的性能比传统方法有较大提升。在其他一些应用中，如视频压缩、三维医学影像处理和三维数据压缩等，表面波变换都有很好的应用前景。

采用阈值处理是一种最常用的图像去噪的方法。阈值的选取常常是该算法中的关键，阈值选取的过小会导致不能充分地去除噪声；相反，阈值选取的过大会对信号产生过扼杀现象，丢失信号的部分重要信息，会导致去噪后的视频图像过模糊现象。在变换域中常用的阈值方法有Q.Pan等人提出的3σ法，M.Vetterli和B.Yu提出的基于最小风险的BayesShrink方法。这些阈值方法在细节和背景信息丰富的视频图像去噪中并不能得到理想的去噪效果。在利用表面波变换对视频图像进行去噪的过程中，传统的阈值方法并不能充分的去除噪声，往往会导致边缘模糊以及重要细节信息被扼杀等现象。

发明内容

本发明的目的在于针对上述已有方法的缺点，提出了一种基于邻域阈值分类的表面波变化视频去噪方法，以改善图像边缘模糊和噪声去除不充分的现象，提高视频的去噪效果。

为实现上述目的，本发明包括如下步骤：

(1)输入含有噪声的视频系数，对视频系数进行表面波变换，将视频系数分解为4层，每层对应的方向数分别为192、192、48、12；

(2)对表面波变换后的系数，按以下公式计算最精细层到最粗糙层各方向子带的噪声方差：

${\mathrm{\σ}}_{l,m}^2={\mathrm{\σ}}_{1,m}^2\·e^{1-l^{1.2}},$

其中，为第l层第m方向子带的噪声方差，l表示第l层，l∈{1，2，3，4}，m表示第m方向子带，第1层和第2层子带中：m∈{1，2，...，192}，第3层子带中：m∈{1，2，...，48}，第4层子带中：m∈{1，2，...，12}，σ_1，m为第一层第m方向子带的噪声标准差，该噪声标准差的值通过中值估计法估计；

(3)计算各层各方向子带的阈值：

$T_{l,m}=r\·\frac{{\mathrm{\σ}}_{l,m}^2}{{\mathrm{\δ}}_{l,m}}$

其中，T_l，m为第l层第m方向子带的阈值，为第l层第m方向子带的信号标准差，var(w_l，m)为第l层第m方向子带的能量和，r为调节参数，取 $r=\sqrt{2};$

(4)利用步骤(3)中得到的阈值对表面波变换后的各层各方向子带系数进行分类：

$y_{l,m}(i,j,k)=\left\{\begin{array}{cc}0,& \mathrm{if}{S}_{l,m}(i,j,k){<T}_{l,m}^2\\ w_{l,m}(i,j,k)& \mathrm{else}\end{array}\right.$

其中，y_l，m(i，j，k)为分类处理后的系数，w_l，m(i，j，k)表示第l层第m方向子带中位置(i，j，k)对应的系数， $S_{l,m}(i,j,k)=\underset{(o,p,q)\&Element;N_{l,m}(i,j,k)}{\mathrm{\&Sigma;}}{w}_{l,m}^2(o,p,q)$ 是邻域窗口能量，N_l，m(i，j，k)是以含噪视频系数w_l，m(i，j，k)为中心的5×5×5的邻域窗口，(o，p,q)为邻域窗口中系数对应的坐标；

(5)计算分类后各层各方向子带系数的信号方差：

${\mathrm{\&eta;}}_{l,m}^2(i,j,k)=\max ((\frac{1}{\left|N_{l,m}^{\&prime;}(i,j,k)\right|}\&times;\underset{(o_1,p_1,q_1)\&Element;N_{l,m}^{\&prime;}(i,j,k)}{\mathrm{\&Sigma;}}{y}_{l,m}^2(i,j,k))-{\mathrm{\&sigma;}}_{l,m}^2,0)$

其中，为第l层第m方向子带中分类处理系数的信号方差，N′_l，m(i，j,k)是以分类处理后的系数y_l，m(i，j，k)为中心的5×5×5的正方体窗口，(o₁，p₁，q₁)为正方体窗口中系数对应的坐标，|N′_l，m(i，j，k)|表示正方体窗口中系数的个数，max()表示求取最大值的函数；

(6)利用步骤(5)得到的信号方差对分类后各层各方向子带系数进行收缩处理：

${\hat{X}}_{l,m}(i,j,k)=y_{l,m}(i,j,k)\&times;\frac{{\mathrm{\&eta;}}_{l,m}^2(i,j,k)}{{\mathrm{\&eta;}}_{l,m}^2(i,j,k)+{\mathrm{\&sigma;}}_{l,m}^2}$

其中，为收缩后的视频系数；

(7)对收缩处理后的系数进行表面波逆变换，得到去噪后的视频图像。

本发明与现有的技术相比具有以下优点：

1.本发明由于采用的是三维表面波变换，比起用小波、Contourlet等二维变换在视频去噪方面更加直接和方便，不用考虑视频中各帧图像之间的运动补偿关系，同时能够有效捕获和表示光滑表面信号奇异性；

2.本发明不是简单的利用阈值对变换后的各层各方向子带系数进行收缩，而是先通过邻域能量和阈值对系数进行分类，然后对系数进行收缩处理，因此对于视频的噪声具有更强的抑制能力，同时也能够很好的保留视频图像的细节信息和运动物体的平滑效果，有效解决了传统算法中存在的模糊、闪烁的问题，在视觉效果上得到了显著的改善。

附图说明

图1是本发明的实现流程图；

图2是用本发明与现有三种方法对Mobile视频去噪后的比较图；

图3是用本发明与现有三种方法对Coastguard视频去噪后的比较图。

具体实施方式

参照图1，本发明的具体实施过程如下：

步骤1.输入含有噪声的视频系数，对视频系数进行表面波变换：

1a)输入含有噪声的视频系数，用三通道非抽样滤波器组将其频谱分成三个沙漏型的子带；

1b)将沙漏型子带分两次通过二维方向滤波器组进行方向分解，将视频系数分解为4层，每层对应的方向数分别为192、192、48、12。

步骤2.对表面波变换后的系数，计算各层各方向子带的噪声方差：

2a)计算第一层第m方向子带的噪声标准差σ_1，m：

σ_1，m＝median(ω_1，m(i，j，k)|)/0.6745，

其中，m表示第m方向子带，第1层和第2层子带中：m∈{1，2，...，192}，第3层子带中：m∈{1，2，...，48}，第4层子带中：m∈{1，2，...，12}，ω_1，m(i，j，k)为第一层第m方向子带系数，median()为求取中值函数；

2b)计算第l层第m方向子带的噪声方差

${\mathrm{\&sigma;}}_{l,m}^2={\mathrm{\&sigma;}}_{1,m}^2\&CenterDot;e^{1-l^{1.2}},$

其中，l表示第l层，l∈{1，2，3，4}。

步骤3.计算各层各方向子带的阈值：

3a)计算第l层第m方向子带的能量和var(ω_l，m)：

$\mathrm{var}\left({\mathrm{\&omega;}}_{l,m}\right)=\frac{\left(\underset{i=1}{\overset{I}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{J}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{l,m}^2(i,j,k)\right)}{\mathrm{IJK}-1},$

其中，ω_l，m(i，j，k)是第l层第m方向子带中(i，j，k)位置上的系数，i∈{1，2，...，I}，j∈{1，2，...，J}，k∈{1，2，...，K}，I、J、K分别为子带长度、宽度和高度；

3b)计算第l层第m方向子带的信号标准差

3c)计算第l层第m方向子带的阈值T_l，m：

$T_{l,m}=r\&CenterDot;\frac{{\mathrm{\&sigma;}}_{l,m}^2}{{\mathrm{\&delta;}}_{l,m}},$

其中，r为调节参数，取

步骤4.利用步骤(3)中得到的阈值对表面波变换后的各层各方向子带的系数进行分类：

4a)计算第l层第m方向子带系数的邻域窗口能量S_l，m(i，j，k)：

$S_{l,m}(i,j,k)=\underset{(o,p,q)\&Element;N_{l,m}(i,j,k)}{\mathrm{\&Sigma;}}{w}_{l,m}^2(o,p,q),$

其中，N_l，m(i，j，k)是以含有噪声的视频系数ω_l，m(i，j，k)为中心的5×5×5的邻域窗口，(o，p，q)为邻域窗口N_l，m(i，j，k)中系数对应的坐标；

4b)利用步骤(3)和步骤(4a)得到的阈值和邻域窗口能量对第l层第m方向子带系数进行分类：

$y_{l,m}(i,j,k)=\left\{\begin{array}{cc}0,& \mathrm{if}{S}_{l,m}(i,j,k)<{T_{l,m}}^2\\ {\mathrm{\&omega;}}_{l,m}(i,j,k)& \mathrm{else}\end{array}\right.$

其中，y_l，m(i，j，k)为分类处理后的系数。

步骤5.计算分类后第l层第m方向子带系数的信号方差

${\mathrm{\&eta;}}_{l,m}^2(i,j,k)=\max [(\frac{1}{\left|N_{l,m}^{\&prime;}(i,j,k)\right|}\&times;\underset{(o_1,p_1,q_1)\&Element;N_{l,m}^{\&prime;}(i,j,k)}{\mathrm{\&Sigma;}}{y}_{l,m}^2(i,j,k))-{\mathrm{\&sigma;}}_{l,m}^2,0],$

其中，N′_l，m(i，j，k)是以分类处理后的系数y_l，m(i，j，k)为中心的5×5×5的正方体窗口，|N′_l，m(i，j，k)|表示正方体窗口N′_l，m(i，j，k)中系数的个数，(o₁，p₁，q₁)表示正方体窗口N′_l，m(i，j，k)中系数的位置。

步骤6.利用步骤(5)得到的信号方差对分类后第l层第m方向子带系数进行收缩处理，获得处理后的系数

${\hat{X}}_{l,m}(i,j,k)=y_{l,m}(i,j,k)\&times;\frac{{\mathrm{\&eta;}}_{l,m}^2(i,j,k)}{{\mathrm{\&eta;}}_{l,m}^2(i,j,k)+{\mathrm{\&sigma;}}_{l,m}^2},$

其中，y_l，m(i，j，k)为分类处理后的系数，是分类处理后第l层第m方向子带系数的信号方差，是第l层第m方向子带的噪声方差。

步骤7.对收缩处理后的系数进行表面波逆变换，得到去噪后的视频图像。

本发明的效果可以通过以下实验进一步说明：

1.实验条件：

实验仿真环境为：MATLAB R2010a，CPUAMD Athlon2 P320 Dual-Core×2.10GHz，内存2G，Windows 7。

2.实验内容：

将基于表面波变换的3σ去噪方法(ST-3σ)、Bayes阈值方法(Bayes)和基于硬阈值函数的3D-CMST方法仅处理最精细两层分别应用到表面波变换中对视频图像进行去噪处理，用本发明和上述三种去噪方法进行比较。

实验1：在如图2(a)所示大小为192×192×192的原Mobile视频中，加入标准差为30的高斯噪声，加噪后的视频图像如图2(b)所示。

用本发明和上述三种去噪方法对图2(b)所示的含噪视频图像进行去噪，去噪后的比较图如图2(c)-(f)所示，其中图2(c)为ST-3σ方法去噪后的视频图像，图2(d)为Bayes方法去噪后的视频图像，图2(e)为3D-CMST方法去噪后的视频图像，图3(f)为本发明去噪后的视频图像。

实验2：在如图3(a)所示大小为192×192×192的原Coastguard视频中，加入标准差为30的高斯噪声，加噪后的视频图像如图3(b)所示。

用本发明和上述三种去噪方法对图3(b)所示的含噪视频图像进行去噪，去噪后的比较图如图3(c)-(f)所示，其中图3(c)为ST-3σ方法去噪后的视频图像，图3(d)为Bayes方法去噪后的视频图像，图3(e)为3D-CMST方法去噪后的视频图像，图3(f)为本发明去噪后的视频图像。

3.实验结果与分析

从图2(c)和图2(e)可以看出，对于Mobile视频，通过ST-3σ方法和3D-CMST方法得到的去噪后的视频图像会出现振铃现象；从图2(d)可以看出，通过Bayes方法得到的去噪后的视频图像过平滑导致了边缘模糊现象，从图2(f)可以看出，本发明得到的去噪后的视频图像相对平滑，能有效的抑制视频图像中噪声，更好地保留了细节信息和边缘信息；从图3(c)-(f)可以看出，对于Coastguard视频，本发明和上述三种方法的去噪视频图像都会出现拖影现象，但本发明去噪后的视频图像受拖影现象影响最小，同时本发明在细节信息和边缘保留上取得的效果最好，对噪声的抑制能力也最强，而其它三种方法中噪声去除并不充分，会出现闪烁现象。由于本发明说明书附图仅能给出静止的图像，在实际的视频播放过程中本发明能够消除拖影和闪烁现象的作用更为突出。

本发明采用PSNR值作为客观评价指标，该PSNR值是视频图像去噪后各帧图像PSNR的平均值，主要体现图像的质量；对图2(a)中的Mobile视频图像和图3(a)中Coastguard视频图像，分别加入标准差为20、30、40、50的高斯噪声，用本发明与上述三种方法得到的去噪后视频图像的PSNR值，如表1所示。

表1.用本发明与上述三种方法对视频图像去噪后得到的视频图像PSNR值

从上表中可以看出，与现有的三种去噪方法相比，用本发明去噪后的视频图像的PSNR值均有较大幅度的提高。

综上，本发明提出的基于邻域阈值分类的表面波变换视频去噪方法，在有效去除噪声的同时能够很好地保持视频图像的边缘细节信息，因此本发明所提出的方法对于视频的噪声具有较强的抑制能力，也能够很好的保留视频图像的细节信息和运动物体的平滑效果，有效地解决了传统算法中存在的模糊、闪烁的问题，使得去噪后的视频图像在视觉效果上得到了显著的改善。

Claims (2)

1.一种基于邻域阈值分类的表面波变换视频去噪方法，包含以下步骤：

(1)输入含有噪声的视频，对含噪视频进行表面波变换，得到视频系数，将视频系数分解为4层，每层对应的方向数分别为192、192、48、12；

(2)对表面波变换后的系数，按以下公式计算最精细层到最粗糙层各方向子带的噪声方差：

${\mathrm{\&sigma;}}_{l,m}^2={\mathrm{\&sigma;}}_{1,m}^2\&CenterDot;e^{1-l^{1.2}},$

其中，为第l层第m方向子带的噪声方差，l表示第l层，l∈{1,2,3,4}，m表示第m方向子带，第1层和第2层子带中：m∈{1，2，...，192}，第3层子带中：m∈{T，2，...，48}，第4层子带中：m∈{1，2，...，12}，σ_1,m为第一层第m方向子带的噪声标准差，该噪声标准差的值通过中值估计法估计；

(3)计算各层各方向子带的阈值：

$T_{l,m}=r\&CenterDot;\frac{{\mathrm{\&sigma;}}_{l,m}^2}{{\mathrm{\&delta;}}_{l,m}},$

其中，T_l,m为第l层第m方向子带的阈值，为第l层第m方向子带的信号标准差，var(w_l,m)为第l层第m方向子带的能量和，r为调节参数，取

(4)利用步骤(3)中得到的阈值对表面波变换后的各层各方向子带系数进行分类：

$y_{l,m}(i,j,k)=\left\{\begin{array}{c}0,\mathrm{if}{S}_{l,m}(i,j,k)<T_{l,m}^2\\ w_{l,m}(i,j,k),\mathrm{else}\end{array}\right.$

其中，y_l,m(i,j,k)为分类处理后的系数，w_l,m(i,j,k)表示第l层第m方向子带中(i,j,k)对应的系数， $S_{l,m}(i,j,k)=\underset{(q,p,q)\&Element;N_{l,m}(i,j,k)}{\mathrm{\&Sigma;}}{w}_{l,m}^2(o,p,q)$ 是邻域窗口能量，N_l,m(i,j,k)是以含噪视频系数w_l,m(i,j,k)为中心的5×5×5的邻域窗口，(o,p,q)为邻域窗口中系数对应的坐标；

(5)计算分类后各层各方向子带系数的信号方差：

${\mathrm{\&eta;}}_{l,m}^2(i,j,k)=\max ((\frac{1}{|N_{l,m}^{\&prime;}(i,j,k)}\&times;\underset{(q_1,p_1,q_1)\&Element;N_{l,m}^{\&prime;}(i,j,k)}{\mathrm{\&Sigma;}}{y}_{l,m}^2(i,j,k))-{\mathrm{\&sigma;}}_{l,m}^2.0)$

其中，为第l层第m方向子带中分类处理系数的信号方差，N′_l,m(i,j,k)是以分类处理后的系数y_l,m(i,j,k)为中心的5×5×5的正方体窗口，(o₁,p₁,q₁)为正方体窗口中系数对应的坐标，|N′_l,m(i,j,k)|表示正方体窗口中系数的个数；

(6)利用步骤(5)得到的信号方差对分类后各层各方向子带系数进行收缩处理：

${\hat{X}}_{l,m}(i,j,k)=y_{l,m}(i,j,k)\&times;\frac{{\mathrm{\&eta;}}_{l,m}^2(i,j,k)}{{\mathrm{\&eta;}}_{l,m}^2(i,j,k)+{\mathrm{\&sigma;}}_{l,m}^2}$

其中，为收缩后的视频系数；

(7)对收缩处理后的系数进行表面波逆变换，得到去噪后的视频图像。

2.根据权利要求1所述的方法，其中步骤(1)，按如下步骤进行：

首先，输入含有噪声的视频系数，用三通道非抽样滤波器组将其频谱分成三个沙漏型的子带；

其次，将沙漏型子带分两次通过二维方向滤波器组进行方向分解，将视频系数分解为4层，每层对应的方向数分别为192、192、48、12。