CN108174056A - 一种时空域联合的微光视频降噪方法 - Google Patents

Abstract

本发明公开了一种时空域联合的微光视频降噪方法，该方法包括：对原始微光视频进行boxfilter处理；对处理后的视频序列相邻帧进行运动检测，确定相应的滤波系数，并通过三维系数时域递归滤波算法对原始微光视频进行降噪处理；通过改进的双边滤波处理方法进行图像增强，得到降噪后的微光视频。本发明在避免拖影的同时尽可能地增强了降噪的效果；时空域混合滤波解决了微光视频由于环境和器件因素所造成的对比度差、信噪比低等缺陷，提高了人眼的视觉效果。

Description

一种时空域联合的微光视频降噪方法

技术领域

本发明属于视频处理技术领域，特别是一种时空域联合的微光视频降噪方法。

背景技术

在微光条件下，由于光照较低以及探测器灵敏度等的限制，***所获视频图像信噪比较低，影响人眼观察，甚至无法有效获得目标场景图像。微光视频的噪声主要由CCD所产生的符合高斯分布的白噪声和像增强器所产生的量子噪声所组成。

现有的微光视频降噪算法主要分为空域滤波和时域滤波两类，时域滤波利用视频帧间相关性，在运动检测或者运动补偿的基础上，对视频进行降噪。空域滤波利用二维图像像素邻域之间的相关性来进行处理，例如均值滤波，维纳滤波等。

单独使用时域滤波，如时域递归滤波算法，对于运动目标场景降噪效果不明显，且在目标匹配上易出现误差，出现残影现象。单独使用空域滤波，滤波中值滤波、均值滤波等，由于帧间同一位置的噪声存在随机性，因此，易导致滤波后相邻帧间的闪烁现象。

发明内容

本发明的目的在于提供一种时空域联合的微光视频降噪方法。

实现本发明目的的技术解决方案为：

一种时空域联合的微光视频降噪方法，包括以下步骤：

步骤1，对原始微光视频进行boxfilter处理；

步骤2，对处理后的视频序列相邻帧进行运动检测，确定相应的滤波系数，并通过三维系数时域递归滤波算法对原始微光视频进行降噪处理；

步骤3，通过改进的双边滤波处理方法进行图像增强，得到降噪后的微光视频。

与现有技术相比，本发明的显著优点为：

(1)本发明的利用Boxfilter计算每个∑A(i，j)时，只需要两次运算，简化了逐一求和的过程，且经过Boxfilter预处理之后，在滤波算法中需要求出某个窗口内像素和时，可以直接访问B数组中对应的位置，使原本复杂度为O(9)的求和运算降低到O(1)的复杂度，提高了算法的运行速度；

(2)本发明在时域滤波的基础上使用改进的双边滤波处理方法对视频进行空域滤波，解决了微光视频由于环境和器件因素所造成的对比度差、信噪比低等缺陷，提高了人眼的视觉效果。

附图说明：

图1为本发明基于三维系数时域递归滤波和改进双边滤波联合的微光视频降噪算法流程图。

图2为boxfilter算法示意图。

图3(a)和图3(b)分别为静止建筑物原始视频截图和滤波后截图。

图4(a)和图4(b)分别为在0.11lux照度下摇摆镜头的原始视频截图和滤波后截图。

图5(a)和图5(b)分别为在0.02lux照度下静止人像的原始视频截图和滤波后截图。

图6(a)和图6(b)分别为在0.02lux照度下运动人像的原始视频截图和滤波后截图。

具体实施方式

结合图1，本发明的一种时空域联合的微光视频降噪方法，包括以下步骤：

步骤1，对原始微光视频进行boxfilter处理；

给定滑动窗口大小，对每个窗口内的像素值进行快速相加求和，即创建一个和原图像A相同尺寸的数组B，使数组B中每个元素的值是原图像A对应位置的像素邻域内的像素和：

B(i，j)＝∑A(i，j)，(i，j)∈M (1)

其中M为以(i，j)为中心的窗口内的所有像素点集。

设窗口大小为为3×3，该步骤具体包括：

步骤1-1、滤波窗口大小为3×3，中间数组mid的长度等于原图像像素的列数；

步骤1-2、滤波窗口从左上角开始，由左至右，由上至下逐个像素滑动，每移动到一个新位置时，设窗口中心像素点为(i，j)，将第i-1、i、i+1行每一列依次求和，求和结果放在中间数组mid内，将mid[i，j-1]、mid[i，j]、mid[i，j+1]求和，得到ΣA(i，j)，A(i，j)为原图中像素坐标为(i，j)的像素值，将求和结果存放到数组B的(i，j)点；

步骤1-3、当窗口向右平移一个像素点，窗口中心像素点变为(i，j+1)，将上一次的求和结果减去mid[i，j-1]，再加上mid[i，j+2]，得到新窗口的求和结果：

ΣA(i，j+1)＝ΣA(i，j)－mid[i，j-1]+mid[i，j+2] (2)

步骤1-4、当窗口移动到行末跳转到下一行时，对mid进行更新，对于每个mid[i+1，j]，需加上A(i+2，j)，再减去A(i-1，j)，然后再开始新的一行的计算。

上述过程如图2所示，图中每个圆点代表原图像中一个像素，正方形框代表所选取的滤波窗口，大小为3×3，正方块为中间数组，长度等于原图像像素的列数；

步骤2，对处理后的视频序列相邻帧进行运动检测，确定相应的滤波系数，并通过三维系数时域递归滤波算法对原始微光视频进行降噪处理；具体过程为：

步骤2-1、设定一个前后帧对应窗口像素和的差值d，递归降噪的同时统计d＝|W_N-W_N-1|；

滤波系数K设置成关于d的分段线性函数：

其中，d₁、d₂为分别为第一差值阈值和第二差值阈值，K₁、K₂分别为第一滤波系数阈值和第二滤波系数阈值，K₁＞K₂；

步骤2-2、改进后的时域递归滤波滤波公式如下：

W_N(i,j)＝X_N(i,j)+K_N(i,j)(W_(N-1)(i,j)-X_N(i,j)) (4)

式中，W_N(i,j)为当前帧滤波后的输出图像中以点(i，j)为中心的窗口，W_(N-1)(i,j)为前一帧滤波输出图像对应位置的窗口；X_N(i,j)为当前的输入图像对应位置的窗口；K_N(i,j)为以点(i，j)为中心窗口滤波系数，K∈(0，1)。

步骤3，通过改进的双边滤波处理方法进行图像增强，得到降噪后的微光视频。基于窗口内像素灰度的相似性原理，在灰度相似度因子中添加了补偿函数，具体过程为：

步骤3-1、计算空间邻近度因子，公式如下：

其中ω_s(p,q)为空间邻近度因子，σ_s为滤波参数，(x，y)为滤波窗口中心像素坐标，(p,q)为窗口中的其他像素坐标；

步骤3-2、计算改进后的灰度相似度因子

基于窗口内像素灰度的相似性，在灰度相似度因子中添加补偿函数，

其中ω_r(p,q)为空间邻近度因子，σ_r为滤波参数，(x，y)为滤波窗口中心像素坐标，(p,q)为窗口中的其他像素坐标，τ(x，y)为补偿函数，τ(x，y)设置规则如下：

1)基于相似性判断滤波窗口中像素点和中心点灰度值的相似度；若像素点与中心点像素差值的绝对值小于σ_r/3，则判断I(p,q)与I(x，y)相似，保留I(p,q)原值，否则I(p,q)为0；

2)根据窗口中相似点的个数设置补偿函数，若窗口像素中置为0的个数小于窗口像素个数的1/3，则设置τ(x，y)＝0，否则，按照规则3)设置。

3)引进变量min，max，mean，分别代表滤波窗口内像素的最小值、最大值和平均值；令a＝I(p,q)-mean，如果a＞0，τ(x,y)＝max-I(p,q)；如果a＜0，τ(x,y)＝min-I(p,q)如果a＝0，τ(x，y)＝0；

步骤3-3、计算改进双边滤波后的滤波图像：

其中，为滤波后得到的图像；M_x，y为以(x，y)为中心，以r为半径的空间邻域像素集合；I(p,q)为M_x，y中坐标为(p,q)的点像素值；ω_s(p,q)和ω_r(p,q)分别为空间邻近度因子和灰度相似性因子。

下面结合附图和具体实施例对本明进行详细说明。

实施例

本发明选取了多个实验场景拍摄微光视频，分别对多种情况下拍摄的视频图像进行了实验验证。

图3(a)和图3(b)分别为静止建筑物原始视频截图和滤波后截图；图4(a)和图4(b)分别为在0.11lux照度下摇摆镜头的原始视频截图和滤波后示意图；图5(a)和图5(b)分别为在0.02lux照度下静止人像的原始视频截图和滤波后示意图；图6(a)和图6(b)分别为在0.02lux照度下运动人像的原始视频截图和滤波后示意图。

通过图3和图5可以看出，针对静止的目标，本发明提出的时空域联合算法能够很好地降低噪声，增强图像的边缘细节等信息。

通过图4和图6可以看出，针对运动中的物体，本发明提出的算法也可以很好地完成降噪过程，并且不会出现拖影现象。

综上所述，可以看出本发明提出的时空域联合的微光视频降噪算法克服了单一时域滤波在滤除噪声的同时会使得视频的边缘特征变得模糊的缺点，相比于单纯时域或空域算法可获得更好的降噪效果，能够提供良好的视频画质，有效地抑制视频图像噪声，并且较好地保留图像的边缘、纹理等细节信息。

Claims (5)

1.一种时空域联合的微光视频降噪方法，其特征在于，包括以下步骤：

步骤1，对原始微光视频进行boxfilter处理；

步骤2，对处理后的视频序列相邻帧进行运动检测，确定相应的滤波系数，并通过三维系数时域递归滤波算法对原始微光视频进行降噪处理；

步骤3，通过改进的双边滤波处理方法进行图像增强，得到降噪后的微光视频。

2.根据权利要求1所述的时空域联合的微光视频降噪方法，其特征在于，步骤1具体为：

给定滑动窗口大小，对每个窗口内的像素值进行快速相加求和，即创建一个和原图像A相同尺寸的数组B，使数组B中每个元素的值是原图像A对应位置的像素邻域内的像素和：

B(i，j)＝ΣA(i，j)，(i，j)∈M (1)

其中M为以(i，j)为中心的窗口内的所有像素点集。

3.根据权利要求1或2所述的时空域联合的微光视频降噪方法，其特征在于，步骤1具体为：

步骤1-1、设滤波窗口大小为3×3，中间数组mid的长度等于原图像像素的列数；

步骤1-2、滤波窗口从左上角开始，由左至右，由上至下逐个像素滑动，每移动到一个新位置时，设窗口中心像素点为(i，j)，将第i-1、i、i+1行每一列依次求和，求和结果放在中间数组mid内，将mid[i，j-1]、mid[i，j]、mid[i，j+1]求和，得到ΣA(i，j)，A(i，j)为原图中像素坐标为(i，j)的像素值，将求和结果存放到数组B的(i，j)点；

步骤1-3、当窗口向右平移一个像素点，窗口中心像素点变为(i，j+1)，将上一次的求和结果减去mid[i，j-1]，再加上mid[i，j+2]，得到新窗口的求和结果：

ΣA(i，j+1)＝ΣA(i，j)－mid[i，j-1]+mid[i，j+2] (2)

步骤1-4、当窗口移动到行末跳转到下一行时，对mid进行更新，对于每个mid[i+1，j]，需加上A(i+2，j)，再减去A(i-1，j)，然后再开始新的一行的计算。

4.根据权利要求1所述的时空域联合的微光视频降噪方法，其特征在于，步骤2中对boxfilter处理后的视频序列相邻帧进行运动检测，在运动检测的基础上确定相应的滤波系数，具体过程为：

步骤2-1、设定一个前后帧对应窗口像素和的差值d，递归降噪的同时统计d＝|W_N-W_N-1|；

滤波系数K设置成关于d的分段线性函数：

其中，d₁、d₂为分别为第一差值阈值和第二差值阈值，K₁、K₂分别为第一滤波系数阈值和第二滤波系数阈值，K₁＞K₂。

步骤2-2、改进后的时域递归滤波滤波公式如下：

W_N(i,j)＝X_N(i,j)+K_N(i,j)(W_(N-1)(i,j)-X_N(i,j)) (4)

式中，W_N(i,j)为当前帧滤波后的输出图像中以点(i，j)为中心的窗口，W_(N-1)(i,j)为前一帧滤波输出图像对应位置的窗口；X_N(i,j)为当前的输入图像对应位置的窗口；K_N(i,j)为以点(i，j)为中心窗口滤波系数，K∈(0，1)。

5.根据权利要求1所述的时空域联合的微光视频降噪方法，其特征在于，步骤3中基于窗口内像素灰度的相似性原理，在灰度相似度因子中添加了补偿函数，具体过程为：

步骤3-1、计算空间邻近度因子，公式如下：

其中ω_s(p,q)为空间邻近度因子，σ_s为滤波参数，(x，y)为滤波窗口中心像素坐标，(p,q)为窗口中的其他像素坐标；

步骤3-2、计算改进后的灰度相似度因子

基于窗口内像素灰度的相似性，在灰度相似度因子中添加补偿函数，

其中ω_r(p,q)为空间邻近度因子，σ_r为滤波参数，(x，y)为滤波窗口中心像素坐标，(p,q)为窗口中的其他像素坐标，τ(x，y)为补偿函数，τ(x，y)设置规则如下：

1)基于相似性判断滤波窗口中像素点和中心点灰度值的相似度；若像素点与中心点像素差值的绝对值小于σ_r/3，则判断I(p,q)与I(x，y)相似，保留I(p,q)原值，否则I(p,q)为0；

2)根据窗口中相似点的个数设置补偿函数，若窗口像素中置为0的个数小于窗口像素个数的1/3，则设置τ(x，y)＝0，否则，按照规则3)设置。

3)引进变量min，max，mean，分别代表滤波窗口内像素的最小值、最大值和平均值；令a＝I(p,q)-mean，如果a＞0，τ(x,y)＝max-I(p,q)；如果a＜0，τ(x,y)＝min-I(p,q)如果a＝0，τ(x，y)＝0；

步骤3-3、计算改进双边滤波后的滤波图像：

其中，为滤波后得到的图像；M_x，y为以(x，y)为中心，以r为半径的空间邻域像素集合；I(p,q)为M_x，y中坐标为(p,q)的点像素值；ω_s(p,q)和ω_r(p,q)分别为空间邻近度因子和灰度相似性因子。