CN103686194B - 基于非局部均值的视频去噪方法和装置 - Google Patents

Abstract

本发明提供了一种基于非局部均值的视频去噪方法，通过图像直方图规范化滤波处理以去除视频中的光照变化。本发明还提供了一种基于非局部均值的视频去噪装置，包括滤波模块，用于通过图像直方图规范化滤波处理以去除视频中的光照变化。本发明能够对光照条件的改变做出自适应的调整。

Description

基于非局部均值的视频去噪方法和装置

技术领域

本发明涉及视频处理领域，具体而言，涉及一种基于非局部均值的视频去噪方法和装置。

背景技术

图像序列间的时域相关性提供了重要的先验信息。在数字视频的去噪研究中，为了能够合理利用图像序列间的时域信息，Buades等人提出一种基于非局部均值滤波的方法。非局部均值的思想是：具有相似结构的图像块在图像空间上相距可能较远，因此可以在整个图像空间内寻找与当前图像块具有相似结构的块来进行加权平均，从而去除当前块中心点的像素噪声。基于非局部均值的思想，随后提出了诸多改进的工作，包括提高计算效率方面，以及考虑图像块的旋转不变性方面。

然而发明人发现，这些基于非局部均值的方法直接利用图像像素作为局部图像结构特征，这种做法无法对光照条件的改变做出自适应的调整，从而可能忽略掉一大部分具有相似结构的匹配图像块。

发明内容

本发明旨在提供一种基于非局部均值的视频去噪方法和装置，以解决上述的问题。

在本发明的实施例中，提供了一种基于非局部均值的视频去噪方法，通过图像直方图规范化滤波处理以去除视频中的光照变化。

在本发明的实施例中，提供了一种基于非局部均值的视频去噪装置，包括滤波模块，用于通过图像直方图规范化滤波处理以去除视频中的光照变化。

本发明上述实施例的基于非局部均值的视频去噪方法和装置，因为通过图像直方图规范化滤波处理以去除视频中的光照变化，所以能够对光照条件的改变做出自适应的调整。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明实施例的局部图像块，搜索窗口和搜索空间的构成示意图；

图2示出了根据本发明实施例的对三维搜索空间进行直方图规范化滤波处理的示意图；

图3示出了根据本发明实施例的视频去噪处理的流程图；

图4示出了根据本发明实施例的在滤波处理后的三维搜索空间内进行图像块匹配和相似度权重计算的示意图；

图5示出了根据本发明实施例的滤波模块的示意图。

具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

在本发明的实施例中，提供了一种基于非局部均值的视频去噪方法，通过图像直方图规范化滤波处理以去除视频中的光照变化。

相关技术中基于非局部均值的方法都隐式地假设在图像序列中，具有相似局部结构的图像序列间保持光照条件的一致性。也就是说，这些传统的方法忽略了图像序列在拍摄过程中可能受到的光照条件改变的影响，例如闪光灯的效果。原本相似的图像局部结构在不同的光照条件下可能无法匹配得很好。因此，在相关技术的方法中，直接利用图像像素作为局部图像结构特征的做法无法对光照条件的改变做出自适应的调整，从而可能忽略掉一大部分具有相似结构的匹配图像块。

本实施例针对视频图像序列中存在的光照条件发生改变的情况，利用图像直方图规范化的滤波处理，提高了在帧间寻找相似图像块以及计算相似权重时对光照条件发生改变的鲁棒性，从而实现了一种光照不变的非局部均值的视频去噪技术。本发明上述实施例填补了在视频去噪方法中针对光照条件变化进行处理技术的空白，能够更好地去除视频序列中的噪声，尤其在视频拍摄过程中发生光照条件改变如闪光灯效应的情况下，较好地提升现有视频去噪方法的鲁棒性和去噪图像的视觉质量。

图3示出了根据本发明实施例的视频去噪处理的流程图，优选地，通过图像直方图规范化滤波处理以去除视频中的光照变化包括：

步骤S10，在当前帧中以待处理像素为中心构造局部图像块，在当前帧中以待处理像素为中心划定搜索区域作为搜索窗口，对三维搜索空间内的其他各帧的对应区域建立对应的搜索窗口，各个搜索窗口构成三维搜索空间；

步骤S20，以当前帧的搜索窗口为参考依据，对三维搜索空间内的其他各帧对应的搜索窗口进行直方图规范化滤波处理，以得到具有光照不变性的三维搜索空间。

本优选实施例在构造三维搜索窗口时，考虑了帧序列间受到光照条件改变对图像整体和局部亮度的影响，通过使用图像直方图规范化方法消除结构十分相似的图像块在匹配时由于光照条件改变所带来的匹配误差，有效地提高了图像块相似匹配和相似权重计算的精度和鲁棒性，从而能够进一步提升整体视频去噪的性能。

图1示出了根据本发明实施例的局部图像块，搜索窗口和搜索空间的构成示意图，图2示出了根据本发明实施例的对三维搜索空间进行直方图规范化滤波处理的示意图，包括：

以帧f_n的像素i为中心，构造局部图像块；

以像素i为中心，构造比局部图像块范围更大的搜索窗口w_n，同时在前后各k帧上的对应位置处，都对应构造一个搜索窗口，得到一组搜索窗口的集合，{w_n-k，…，w_n-1，w_n，w_n+1，…，w_n+k}，这些搜索窗口构成三维搜索空间Ω。

优选地，步骤S20包括：

设置vout_j＝G^-1(T(vin_j))；其中，vin_j为三维搜索空间内的其他各帧对应的搜索窗口中各个像素j的图像值，vout_j为j滤波处理后的图像值；

p_in(w)是vin_j的直方图分布在亮度级为w的概率密度；

G^-1是函数G的逆函数，p_out(t)是vout_j的直方图分布在亮度级为t的概率密度。

这一步的操作对原本视频序列中具有光照变化的情况进行处理，基本消除了光照变化的影响，所以得到一个具有光照不变性的三维搜索空间。

优选地，在得到具有光照不变性的三维搜索空间之后还包括：

步骤S30，通过计算f_n的局部图像块与Ω内所有局部图像块之间的结构差异，确定像素i与j之间的相似权重；

步骤S40，根据相似权重，基于非局部均值的去噪方法对像素i去噪处理。

图4示出了根据本发明实施例的在滤波处理后的三维搜索空间内进行图像块匹配和相似度权重计算的示意图。

优选地，步骤S30包括：

其中，ω(i，j)是像素i与j之间的相似权重，B_i和B_j代表以像素i和j为中心的局部图像块，v(B_i)和v(B_j)代表局部图像块内像素的值构成的向量，表示度量两个向量的加权欧氏距离，其中符号a表示空间权重分布符合方差为a的高斯分布。exp表示指数函数，h是人为设定的常数，可以根据不同的视频进行最优设置，用来控制权重计算的属性。

优选地，步骤S40包括：

NL[v(i)]是指替换后的像素i的图像值。

根据本优选实施例，按照指定的顺序对原始噪声图像序列中的每一个像素进行去噪处理，最终可以得到一个去除噪声的图像序列，完成整个视频的去噪处理过程。

在本发明的实施例中，提供了一种基于非局部均值的视频去噪装置，包括滤波模块，用于通过图像直方图规范化滤波处理以去除视频中的光照变化。该装置因为通过图像直方图规范化滤波处理以去除视频中的光照变化，所以能够对光照条件的改变做出自适应的调整。

图5示出了根据本发明实施例的滤波模块的示意图，包括：

空间模块，用于在当前帧中以待处理像素为中心构造局部图像块，在当前帧中以待处理像素为中心划定搜索区域作为搜索窗口，对三维搜索空间内的其他各帧的对应区域建立对应的搜索窗口，各个搜索窗口构成三维搜索空间；

直方图模块，用于以当前帧的搜索窗口为参考依据，对三维搜索空间内的其他各帧对应的搜索窗口进行直方图规范化滤波处理，以得到具有光照不变性的三维搜索空间。

优选地，空间模块用于以帧f_n的像素i为中心，构造局部图像块，以像素i为中心，构造比局部图像块范围更大的搜索窗口w_n，同时在前后各k帧上的对应位置处，都对应构造一个搜索窗口，得到一组搜索窗口的集合，{w_n+k，…，w_n-1，w_n，w_n+1，…，w_n+k}，这些搜索窗口构成三维搜索空间Ω。直方图模块用于设置vout_j＝G^-1(T(vin_j))，其中，vin_j为三维搜索空间内的其他各帧对应的搜索窗口中各个像素j的图像值，vout_j为j滤波处理后的图像值，p_in(w)是vin_j的直方图分布在亮度级为w的概率密度，G^-1是函数G的逆函数，p_out(t)是vout_j的直方图分布在亮度级为t的概率密度。

本发明通过引入图像直方图规范化滤波处理，能够更好地利用视频图像序列间的时域一致性，而较少地受到光照条件改变所带来的影响，提升视频去噪的复原质量和鲁棒性。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于非局部均值的视频去噪方法，其特征在于，通过图像直方图规范化滤波处理以去除视频中的光照变化；

所述通过图像直方图规范化滤波处理以去除视频中的光照变化包括：在当前帧中以待处理像素为中心构造局部图像块，在当前帧中以所述待处理像素为中心划定搜索区域作为搜索窗口，对三维搜索空间内的其他各帧的对应区域建立对应的搜索窗口，所述各个搜索窗口构成三维搜索空间；以所述当前帧的搜索窗口为参考依据，对所述三维搜索空间内的其他各帧对应的搜索窗口进行直方图规范化滤波处理，以得到具有光照不变性的三维搜索空间；

所述在当前帧中以所述待处理像素为中心构造局部图像块，在当前帧中以待处理像素为中心划定搜索区域作为搜索窗口，对所述三维搜索空间内的其他各帧的对应区域建立对应的搜索窗口，所述各个搜索窗口构成三维搜索空间包括：以帧f_n的像素i为中心，构造所述局部图像块；以像素i为中心，构造比所述局部图像块范围更大的所述搜索窗口w_n，同时在前后各k帧上的对应位置处，都对应构造一个搜索窗口，得到一组搜索窗口的集合，{w_n-k,…,w_n-1,w_n,w_n+1…,w_n+k}，这些搜索窗口构成所述三维搜索空间Ω；

所述以所述当前帧的搜索窗口为参考依据，对所述三维搜索空间内的其他各帧对应的搜索窗口进行直方图规范化滤波处理，以得到具有光照不变性的三维搜索空间包括：

设置vout_j＝G^-1(T(vin_j))；

其中，vin_j为所述三维搜索空间内的其他各帧对应的搜索窗口中各个像素j的图像值，vout_j为j滤波处理后的图像值；

p_in(w)是vin_j的直方图分布在亮度级为w的概率密度；

G^-1是函数G的逆函数，p_out(t)是vout_j的直方图分布在亮度级为t的概率密度。

2.根据权利要求1所述的方法，其特征在于，在得到具有光照不变性的三维搜索空间之后还包括：

通过计算f_n的局部图像块与Ω内所有局部图像块之间的结构差异，确定像素i与j之间的相似权重；

根据所述相似权重，基于非局部均值的去噪方法对像素i去噪处理。

3.根据权利要求2所述的方法，其特征在于，通过计算f_n的局部图像块与Ω内所有局部图像块之间的结构差异，确定像素i与j之间的相似权重包括：

$\mathrm{\ω}(i,j)=\frac{1}{Z\left(i\right)}\exp \[-\frac{\left|\right|v\left(B_i\right)-v\left(B_j\right)|{|}_{2,a}^2}{h^2}\],$

其中，ω(i,j)是像素i与j之间的相似权重，B_i和B_j代表以像素i和j为中心的局部图像块，v(B_i)和v(B_j)代表局部图像块内像素的值构成的向量，表示度量两个向量的加权欧氏距离，其中符号a表示空间权重分布符合方差为a的高斯分布，exp表示指数函数，h是人为设定的常数，用来控制权重计算的属性。

4.根据权利要求3所述的方法，其特征在于，根据所述相似权重，基于非局部均值的去噪方法对像素i去噪处理包括：

$NL\[v\left(i\right)\]=\underset{j\∈Q_f}{\Σ}\mathrm{\ω}(i,j)v\left(j\right)$

NL[v(i)]是指替换后的像素i的图像值。

5.一种基于非局部均值的视频去噪装置，其特征在于，包括滤波模块，用于通过图像直方图规范化滤波处理以去除视频中的光照的变化；

所述滤波模块包括：空间模块，用于在当前帧中以待处理像素为中心构造局部图像块，在当前帧中以所述待处理像素为中心划定搜索区域作为搜索窗口，对三维搜索空间内的其他各帧的对应区域建立对应的搜索窗口，所述各个搜索窗口构成三维搜索空间；直方图模块，用于以所述当前帧的搜索窗口为参考依据，对所述三维搜索空间内的其他各帧对应的搜索窗口进行直方图规范化滤波处理，以得到具有光照不变性的三维搜索空间；

所述空间模块用于以帧f_n的像素i为中心，构造所述局部图像块，以像素i为中心，构造比所述局部图像块范围更大的所述搜索窗口w_n，同时在前后各k帧上的对应位置处，都对应构造一个搜索窗口，得到一组搜索窗口的集合，{w_n-k,…,w_n-1,w_n,w_n+1…,w_n+k}，这些搜索窗口构成所述三维搜索空间Ω；所述直方图模块用于设置vout_j＝G^-1(T(vin_j))，其中，vin_j为所述三维搜索空间内的其他各帧对应的搜索窗口中各个像素j的图像值，vout_j为j滤波处理后的图像值，p_in(w)是vin_j的直方图分布在亮度级为w的概率密度，G^-1是函数G的逆函数，p_out(t)是vout_j的直方图分布在亮度级为t的概率密度。