CN1761286A - 用边缘检测、运动检测和中值滤波去除蚊式噪声的方法 - Google Patents

Abstract

一种图像处理技术领域的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，即先对图像进行帧内处理，然后对经过帧内处理的连续的三帧图像进行帧间处理。具体为：使用Laplace算子对图像进行边缘检测，得到每个像素的边缘信息，如果某一像素为边缘像素或者它周围的四个像素中有两个以上的边缘像素，保留其值不变；否则，用一个中值滤波器对该像素进行滤波处理；进行运动检测，根据相邻帧之间的差异，判断当前帧中的像素是否运动，如果该像素是运动像素，则保留其值不变；如果是非运动像素，则将三帧中的对应点进行中值滤波的结果作为该像素的滤波结果。本发明最大限度地保护了图像的细节和清晰度，提高了输出图像的视觉质量。

Description

用边缘检测、运动检测和中值滤波去除蚊式噪声的方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种用边缘检测、运动检测和中值滤波去除蚊式噪声的方法。

背景技术

电视信号发展到了数字信号阶段，产生了一系列的编解码的标准，例如MPEG2、MPEG4等。这些标准都是基于分块的DCT变换然后进行量化压缩的，其中必然存在信息的损失。这种信息的损失会在图像的解码重建过程中产生一些失真的现象，例如块效应，帧间的闪烁，图像边缘的闪烁不定，都是由于DCT变换压缩引起的。这些失真根据不同的现象给了不同的名称，通常称之为噪声，例如块噪声、蚊式噪声等。有很多的方法被用来处理这些噪声，并且由于编码格式的统一，所以这些噪声一般都是在解码重建后进行处理的，称之为后期处理算法。

经对现有技术的文献检索发现，中国专利名称为：噪声检测器、噪声检测方法、信号处理器和信号处理方法，申请号为00122465，该专利提出了一种通过提取图像信号的高频成份检测图像信号的大振幅边缘周围作为噪声的小振幅边缘的噪声检测电路，以及根据噪声检测电路的结果对噪声信号进行水平方向和/或垂直方向平滑处理的信号处理电路，并通过这种方式去除蚊式噪声和振铃。该专利仅采用帧内的图像信息进行噪声的检测和平滑，容易造成图像中细节的模糊，尤其是连续的运动细节的模糊。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，使其采用帧内边缘检测和帧间运动自适应的方法检测蚊式噪声，并对其进行中值滤波，有效地保护了图像中的细节成分，从而提高整体的处理效果。

本发明是通过以下技术方案实现的，本发明包括两个大的方面，即先对图像进行帧内处理，然后对经过帧内处理的连续的三帧图像进行帧间处理，所述的对图像进行帧内处理，具体为：先使用Laplace算子对图像进行边缘检测，得到每个像素的边缘信息，如果某一像素为边缘像素或者它周围的四个像素中有两个以上的边缘像素，保留其值不变；否则，用一个中值滤波器对该像素进行滤波处理。所述的对经过帧内处理的连续的三帧图像进行帧间处理，具体为：首先进行运动检测，根据相邻帧之间的差异，判断当前帧中的像素是否运动，如果该像素是运动像素，则保留其值不变；如果是非运动像素，则将三帧中的对应点进行中值滤波的结果作为该像素的滤波结果。

蚊式噪声是一种时域上的噪声，本发明所述的蚊式噪声的定义如下：蚊式噪声是在运动物体和背景的交界处亮度和色度的波动闪烁。从单帧的图像来看，蚊式噪声表现为物体边缘处的模糊或背景上的一些靠近物体边缘上的斑纹；从运动的图像来看，蚊式噪声表现为在物体边缘附近不规则的波动。蚊式噪声的产生主要是由于帧间编码时，帧与帧之间的预测误差编码采用了不同的量化步长，这样在一个帧序列里，同一个物体的编码可能会不同，从而产生了亮度或色度值的波动。一般我们把边缘处的这种波动称为蚊式噪声，各种蚊式噪声的处理算法也是针对边缘处的这种波动来进行的。

以下对本发明方法作进一步的说明，具体内容如下：

1、使用Laplace算子进行边缘检测

图像的边缘可以定义为图像局部特性的不连续性，例如：亮度的突变，颜色的突变，纹理结构的突变等。一般来说图像中的边缘是具有不同平均灰度等级的两个区域之间的边界。因而，图像边缘处的灰度的一阶导数幅度会较大。大多数边缘检测技术应用某种形式的梯度算子。本发明边缘检测是以像素灰度的二阶差分为检测依据的。

本发明采用的是Laplace算子，Laplace算子

是一个二阶微分算子，在数字图像中可以用差分来近似

Δ²f_t(m，n)＝f_t(m+1，n)+f_t(m-1，n)+f_t(m，n+1)+f_t(m，n-1)-4f_t(m，n)    (1)

其中f_t(m，n)表示第t帧图像中处于第m行第n列的像素的灰度，f_t(m+1，n)、f_t(m-1，n)、f_t(m，n+1)和f_t(m，n-1)分别表示同一帧中与像素(m，n)十字相邻的四个像素的灰度，Δ²f_t(m，n)表示以上像素经Laplace算子运算的结果。

为了边缘检测的效果更好，可对Laplace算子进行一些修正，如公式(2)所示。

Δ²f_t(m，n)＝|f_t(m+1，n)-f_t(m，n)|+|f_t(m-1，n)-f_t(m，n)|+|f_t(m，n+1)-f_t(m，n)|+|f_t(m，n-1)-f_t(m，n)|

                                                                                                 (2)

边缘检测可描述如下：采用公式(2)对原序列中第t帧的像素(m，n)加载Laplace算子，得到其二阶梯度Δ²f_t(m，n)；如果(m，n)比边缘检测门限高，则(m，n)为边缘像素，否则不是边缘像素。边缘检测的门限是自适应确定的，边缘检测门限的计算方法如公式(3)所示。

$\mathrm{edg}\_\mathrm{threshold}(m,n)=\frac{1}{{(2N+1)}^2}\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{j=-N}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\Δ}}^2{f}_t(m+i,n+j)\·\·\·\left(3\right)$

其中(2N+1)为边缘检测门限计算窗口的尺寸，edg_threshold(m，n)为像素(m，n)的边缘检测门限。如果Δ²f_t(m，n)＞edg_threshold(m，n)，则(m，n)为边缘像素，其边缘信息edge(m，n)＝1，否则edge(m，n)＝0。

2、帧内滤波

用边缘信息决定帧内滤波的模式。帧内滤波分为两个模式：中值滤波模式和保留模式。首先计算在像素(m，n)周围十字形窗口内边缘像素的数目，如公式(4)所示。再按公式(5)对像素(m，n)进行帧内滤波。如果edg(m，n)＝1或者edge_sum(m，n)＞2，则保留其值不做处理；其它情况则使用中值滤波器对其进行滤波。

edge_sum(m，n)＝edge(m，n)+edge(m-1，n)+edge(m+1，n)+edge(m，n-1)+edge(m，n+1)  (4)

其中median表示对括号内的几个变量取中值的运算，

表示对像素(m，n)的灰度进行帧内滤波的结果。

3、运动检测

运动检测由两个部分组成，具体为帧间差异计算和运动判断。

用于运动检测的连续的三帧图像中的像素灰度分别用

和

表示，其中

表示当前帧中第m行第n列的像素的灰度， 表示在时间上超前于(m，n)一个帧周期的像素的灰度， 表示在时间上滞后于

一个帧周期的像素的灰度，它们都是帧内滤波的结果。当前帧中的像素(m，n)的灰度以及它周围的邻域内的像素灰度分别和前后帧对应的像素灰度进行比较，并将对应点差值的绝对值求和，分别得到差值prediff(m，n)和postdiff(m，n)，如公式(6)和(7)所示。如果这两个差值有一个或者两个都大于门限，则判断(m，n)为运动像素，运动信息motion(m，n)＝1，否则为非运动像素，motion(m，n)＝0。帧间差异的计算如下，对于当前帧中的像素(m，n)，其灰度用

表示，使用下面两个公式得到两个差值

$\mathrm{prediff}(m,n)=\underset{i=-M}{\overset{M}{\mathrm{\Σ}}}\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}|{\hat{f}}_t(m+i,n+j)-{\hat{f}}_{t+1}(m+i,n+j)|\·\·\·\left(6\right)$

$\mathrm{postdiff}(m,n)=\underset{i=-M}{\overset{M}{\mathrm{\Σ}}}\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}|{\hat{f}}_{t-1}(m+i,n+j)-{\hat{f}}_{t-1}(m+i,n+j)|\·\·\·\left(7\right)$

其中帧间差异计算的窗口尺寸为2M+1，prediff(m，n)和postdiff(m，n)分别为当前帧与前一帧的差异，及当前帧与后一帧的差异。公式(6)和(7)的两个差值分别与门限比较，门限根据当前帧中的像素(m，n)的灰度

来确定，如公式(8)所示。运动信息motion(m，n)的计算如公式(9)所示。

其中mov_threshold(m，n)表示对当前帧像素(m，n)设定的运动检测门限。

帧间差异大于设定的检测门限，则判断像素 是运动的，即其运动信息motion(m，n)＝1，否则motion(m，n)＝0。

4、帧间滤波

根据运动检测的结果决定帧间处理的方式，即决定对当前帧中像素的滤波方式。如果(m，n)是运动像素，即motion(m，n)＝1，那么该点保留帧内处理的结果；否则做时域上的中值滤波，即用前后帧和当前帧同一点的三个像素值中值滤波的结果来代替当前点的像素值。即

$f_t^{*}(m,n)=\left\{\begin{array}{cc}{\hat{f}}_t(m,n)& \mathrm{motion}(m,n)=1\\ \mathrm{median}[{\hat{f}}_{t+1}(m,n),{\hat{f}}_t(m,n),{\hat{f}}_{t-1}(m,n)]& \mathrm{motion}(m,n)=0\end{array}\right.\·\·\·\left(10\right)$

其中f_t ^*(m，n)表示对第t帧进行帧间滤波的结果，

表示对像素(m，n)进行帧内滤波的结果，median表示对括号内的几个变量取中值的运算，motion(m，n)表示第t个经过帧内处理的帧中，第m行第n列像素的运动状态，motion(m，n)＝1表示该像素是运动像素，否则为止像素。

本发明涉及的蚊式噪声降噪方法，其帧内处理部分考虑了对图像边缘细节的保护，帧间处理部分考虑了对运动部分的保护，在有效去除蚊式噪声的同时，最大限度地保护了图像的细节和清晰度，减少了现有技术中只采用帧内的水平和垂直滤波对图像的细节及运动成分造成的损失，提高了输出图像的视觉质量。

附图说明

图1本发明原理图

具体实施方式

结合本发明的内容提供以下实施例：

如图所示，图1为本发明涉及的蚊式噪声降噪算法原理图。降噪过程如下：

(1)帧延迟单元I和II：帧延迟单元I将输入的视频信号延迟一帧，帧延迟单元II以帧延迟单元I的输出为输入，并将其延迟一帧，即如果输入的视频信号为第(t+1)帧图像，帧延迟单元I的输出即为第(t)帧图像，帧延迟单元II的输出即为第(t-1)帧图像。

(2)边缘检测单元I、II、III：采用Laplace算子，根据公式(2)分别对输入的第(t+1)帧图像、第t帧图像和第(t-1)帧图像进行边缘检测，并按公式(3)计算每个边缘检测门限，确定第(t+1)帧图像、第t帧图像和第(t-1)帧图像中各像素的边缘信息。

(3)帧内滤波单元I、II、III：根据第(t+1)帧图像、第t帧图像和第(t-1)帧图像中各像素的边缘信息，帧内滤波单元I、II、III按公式(4)和(5)对第(t+1)帧图像、第t帧图像和第(t-1)帧图像中各像素进行帧内滤波处理，得到帧内滤波结果

和

(4)运动检测模块：采用公式(6)和(7)分别计算

与

的差异prediff(m，n)，

与 的差异postdiff(m，n)，并采用公式(8)计算运动检测门限，按公式(9)确定 中的像素的运动信息motion(m，n)。(5)帧间滤波单元：根据公式(10)对 进行帧间滤波，得到最终的蚊式噪声降噪结果作为视频输出信号。

具体实施内容如下：

首先按照公式(2)计算输入图像中各个像素的经过Laplace算子的结果，并按照公式(3)计算各个像素边缘检测的门限，在实施例中，选定边缘检测的门限计算窗口为3×3窗口，即公式(3)中N＝1。如上所述提取输入图像的边缘，确定各个像素的边缘信息。按照公式(5)对输入图像进行帧内滤波，得到帧内滤波的结果。选定帧间差异的计算窗口为3×3窗口，即公式(6)和(7)中的M＝1。采用公式(6)和(7)计算连续的三帧输入图像的帧内滤波结果之间的差异，按照公式(8)计算运动检测的门限，并根据公式(9)和(10)完成帧间滤波，得到输出图像。

本发明采用以上算法对10帧经MPEG2压缩的PAL制图像序列进行了处理。解码后的视频序列为4:2:0格式，亮度信号和色度信号分开处理，最后合成彩色图像。在进行蚊式噪声降噪前，MPEG2解码图像的信噪比为31.181，降噪后，信噪比为31.523。降噪后边缘附近的闪烁现象得到了有效的抑制，并且图像中的细节成分没有受到影响。

Claims (9)

1、一种用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征在于，先对图像进行帧内处理，然后对经过帧内处理的连续的三帧图像进行帧间处理，所述的对图像进行帧内处理，具体为：先使用Laplace算子对图像进行边缘检测，得到每个像素的边缘信息，如果某一像素为边缘像素或者它周围的四个像素中有两个以上的边缘像素，保留其值不变；否则，用一个中值滤波器对该像素进行滤波处理；所述的对经过帧内处理的连续的三帧图像进行帧间处理，具体为：首先进行运动检测，根据相邻帧之间的差异，判断当前帧中的像素是否运动，如果该像素是运动像素，则保留其值不变；如果是非运动像素，则将三帧中的对应点进行中值滤波的结果作为该像素的滤波结果。

2、根据权利要求1所述的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征是，所述的边缘检测是以像素灰度的二阶差分为检测依据的。

3、根据权利要求1或者2所述的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征是，边缘检测的门限是自适应确定的，边缘检测的门限计算公式为

$\mathrm{edg}\_\mathrm{threshold}(m,n)=\frac{1}{{(2N+1)}^2}\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}\underset{i=-N}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\Δ}}^2{f}_t(m+i,n+j)$

其中Δ²f_t(m，n)为第t帧图像中第m行第n列像素(m，n)的二阶差分，(2N+1)为边缘检测门限计算窗口的尺寸，edg_threshold(m，n)为像素(m，n)的边缘检测门限，如果Δ²f_t(m，n)＞edg_threshold(m，n)则像素(m，n)的边缘信息edg(m，n)＝1，否则edg(m，n)＝0。

4、如权利要求1所述的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征是，用边缘信息决定帧内滤波的模式，如下式所示：

edge_sum(m，n)＝edge(m，n)+edge(m-1，n)+edge(m+1，n)+edge(m，n-1)+edge(m，n+1)

其中edg(m，n)表示像素(m，n)的边缘信息，edge_sum(m，n)表示像素(m，n)及其邻域内边缘像素的数目，median表示对括号内的几个变量取中值的运算，

表示对像素(m，n)进行帧内滤波的结果。

5、根据权利要求1所述的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征是，所述的运动检测由两个部分组成，具体为帧间差异计算和运动判断。

6、根据权利要求5所述的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征是，帧间差异的计算由以下两个公式完成，

$\mathrm{prediff}(m,n)=\underset{i=-M}{\overset{M}{\mathrm{\Σ}}}\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}|{\hat{f}}_t(m+i,n+j)-{\hat{f}}_{t+1}(m+i,n+j)$

$\mathrm{postdiff}(m,n)=\underset{i=-M}{\overset{M}{\mathrm{\Σ}}}\underset{j=-M}{\overset{M}{\mathrm{\Σ}}}|{\hat{f}}_{t-1}(m+i,n+j)-{\hat{f}}_{t-1}(m+i,n+j)$

其中帧间差异计算的窗口尺寸为2M+1，prediff(m，n)和postdiff(m，n)分别为当前帧与前一帧的差异，及当前帧与后一帧的差异。

7、根据权利要求5所述的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征是，运动判断的门限是根据像素的灰度计算的，如以下公式所示：

其中mov_threshold(m，n)表示对当前帧像素(m，n)设定的运动检测门限，表示对像素(m，n)进行帧内滤波的结果。

8、如果权利要求6或者7所述的用边缘检测、运动检测和中值滤波去除蚊式噪声的方法，其特征是，帧间差异大于设定的检测门限，则判断像素

是运动的，即其运动信息motion(m，n)＝1，否则motion(m，n)＝0。

9、根据权利要求1所述的采用边缘检测、运动检测和中值滤波进行蚊式噪声降噪的算法，其特征是，根据运动检测的结果决定帧间处理的方式，帧间处理按照以下公式进行：

$f_t^{*}(m,n)=\left\{\begin{array}{cc}{\hat{f}}_t(m,n)& \mathrm{motion}(m,n)=1\\ \mathrm{median}[{\hat{f}}_{t+1}(m,n),{\hat{f}}_t(m,n),{\hat{f}}_{t-1}(m,n)]& \mathrm{motion}(m,n)=0\end{array}\right.$

其中f_t ^*(m，n)表示对第t帧进行帧间滤波的结果，

表示对像素(m，n)进行帧内滤波的结果，median表示对括号内的几个变量取中值的运算，motion(m，n)表示第t个经过帧内处理的帧中，第m行第n列像素的运动状态，motion(m，n)＝1表示该像素是运动像素，否则为静止像素。

Images