一种混合泊松、高斯和脉冲噪声的视频去噪方法
技术领域:
本发明主要涉及到图像与视频信息处理领域,特指一种混合泊松、高斯和脉冲噪声的视频去噪方法。
背景技术:
尽管数码相机和数字传感器在近年来获得了飞速发展,但在信息获取和传输过程中,视频数据经常受到多种噪声的影响。视频信号中的噪声会引起视觉效果上的不适感,并且会影响一些后续的视频处理算法的性能,包括特征提取、目标检测和运动跟踪等[1]。因此,视频去噪仍然是一个活跃的研究方向,并且随着网络相机和手机相机的大量使用而体现出更重要的意义。为了从噪声污染和降质的视频数据中恢复出原始信息,很多学者设计了多种视频去噪算法用来解决这一问题[2-4]。由于数码相机的高采集率,视频数据的质量往往低于静态的单幅图像数据,其质量问题包括低信噪比和低分辨率等。同时,视频数据相比于静态图像数据而言具有更高的时空冗余度,能比静态图像数据提供更丰富的场景信息。因此对降质视频的复原算法效果,在很大程度上取决于这种时空冗余度能否被有效利用,以及能够挖掘到什么程度。
在现实的成像***中,除了能够近似成高斯白噪声的***内部产生噪声之外,还存在着泊松和脉冲噪声,其中泊松噪声体现光子计数上的波动性[5],脉冲噪声则体现传感器信号的采集和传输误差。传统视频去噪算法主要处理单一类型噪声,对于混合噪声去噪效果往往不理想。尽管泊松、高斯与脉冲混合噪声的处理在实际环境中具有重要意义,但在该类混合噪声视频去噪算法方面的研究仍然非常有限。
本发明提供一种混合泊松、高斯和脉冲噪声的视频去噪方法,能够更合理地对该种混合噪声进行建模和处理,对于该种混合噪声能够取得比现有方法更理想的去噪效果,对于泊松、高斯和脉冲混合噪声环境下的视频去噪具有重要的理论和实践意义。
[1]A.Bovik,Handbook of Image and Video Processing,Academic Press,SanDiego,CA,2000.
[2]K.Dabov,A.Foi,and K.Egiazarian,Video denoising by sparse 3-Dtransform-domain collaborative filtering,IEEE trans.Eur.Signal Process.Conf.,Poznan,Poland,1257-1260,Sep.2007.
[3]Maggioni M,Boracchi G,Foi A,et al.Video denoising,deblocking,andenhancement through separable 4-d nonlocal spatiotemporal transforms.IEEETransactions on image processing,2012,21(9):3952-3966.
[4]Hui Ji,Sibin Huang,Zuowei Shen,and Yuhong Xu,Robust VideoRestoration by Joint Sparse and Low Rank Matrix Approximation,SIAM J.IMAGINGSCIENCES,4(4),pp.1122-1142,2011.
[5]D.L.Snyder,A.M.Hammoud,and R.L.White.Image recovery from dataacquired with a charge-coupled-device camera.J.Opt.Soc.Am.A,10(1983),1014-1023.
[6]Z.Shen,K.-C.Toh,and S.Yun,An accelerated proximal gradientalgorithm for frame-based image restoration via the balanced approach,SIAMJ.Imaging Sci.,4(2011),573-596.
发明内容:
本发明针对传统视频去噪算法主要处理单一类型噪声、而对于混合噪声去噪效果不理想的问题,公开一种混合泊松、高斯和脉冲噪声的视频去噪方法。
为解决上述技术问题,本发明提出的技术方案是:
一种混合泊松、高斯和脉冲噪声的视频去噪方法,其特征在于:
步骤一:将噪声视频每一帧图像划分为图像块,在噪声视频帧序列中通过块匹配方法对每一个图像块搜索相似图像块。将噪声视频每一帧图像划分为图像块的具体方法是:
对于噪声视频帧序列{I1,I2,…,In}(n为噪声视频帧数),将每一帧图像划分为s×s像素大小的图像块,图像块之间重叠区域宽度为wo个像素。对于每一个图像块P,通过块匹配方法在噪声视频帧序列中搜索相似图像块,并在每一帧中获取m个相似图像块;对于每个相似图像块,将其所有列依次连接形成一个列向量,则所有相似块的列向量集合为:{di}(i=1,2,…,mn)。在此基础上,用所有相似块列向量构成观测块矩阵其中D的每一列都是一个相似块列向量,Rh×w表示行数为h、列数为w的实数矩阵集合。
所述步骤一中的图像块匹配方法,包括但不限于基于图像块向量之间欧式距离进行图像块匹配的方法;
步骤二:构造泊松-高斯混合噪声先验;其具体形式是:
其中,F(A,E,Z)表示泊松-高斯混合噪声先验;A为清晰块列向量构成的块矩阵,A的每一列为前述相似块对应的清晰块列向量;E表示块匹配误差块矩阵,E的每一列为前述相似块对应的匹配误差列向量;Z表示脉冲噪声矩阵,Z的每一列为前述相似块对应的脉冲噪声向量;D表示相似块列向量构成的观测块矩阵;max(X)表示矩阵X的最大元素,除法运算和平方根运算为矩阵逐元素进行;σ为混合泊松、高斯和泊松噪声中,高斯噪声部分的标准差。且N的所有元素都为1。
步骤三:构造建立在混合泊松、高斯和脉冲噪声环境下的视频去噪模型;具体形式为:
求解使得目标函数值达到最小的去噪块矩阵A、误差块矩阵E和脉冲噪声矩阵Z:
其中,A为清晰块列向量构成的块矩阵,E表示块匹配误差块矩阵,Z表示脉冲噪声矩阵,F(A,E,Z)表示泊松-高斯混合噪声先验,||·||*,||·||1和||·||F分别为矩阵核范数、l1范数和Frobenius范数,λ,μ和η为常数系数。求解出清晰图像块矩阵A之后,把A的列向量重新变换为s×s图像块,得到相似图像块对应的清晰图像块;
步骤四:采用优化算法求解去噪模型,获得去噪后的清晰图像块;求解清晰图像块的优化算法,包括但不仅限于现有算法Accelerated Proximal Gradient(APG)。
步骤五:将去噪后的清晰图像块合并生成清晰视频图像。其具体方法是:
对于第k帧(k=1,2,…,n)清晰视频图像,设包含像素pk(x,y)的清晰图像块集合为{b1,b2,…,bv}。其中,x,y分别为该像素在视频图像中的行数和列数,pk(x,y)为(x,y)处的像素点,v为包含像素pk(x,y)的图像块个数,{b1,b2,…,bv}表示包含像素pk(x,y)的清晰图像块集合。则像素pk(x,y)的灰度值为:
其中,I(pk(x,y))为像素pk(x,y)的灰度值,为bj(j=1,2,…,v)中像素pk(x,y)对应的灰度值,v为包含像素pk(x,y)的图像块个数。
本发明的有益效果:(1)考虑了泊松、高斯和脉冲三种噪声混合的情况,并合理地对混合模型进行建模。相对比现有方法中仅考虑某种类型的噪声或少量混合噪声,本发明的模型跟接近真实的视频噪声情况。(2)本发明提出针对三种混合噪声的视频去噪方法,相对比现有混合去噪方法,本发明的最终去噪效果更佳明显,去噪视频质量更高。
附图说明:
图1为本发明所述方法的流程图;
图2为本发明与其他视频去噪方法的视觉效果对比图;图2中,第1行是清晰无噪声视频图像;第2行是加入泊松、高斯和脉冲噪声之后的噪声视频图像;第3行是VBM3D算法[2]去噪效果;第4行是VBM4D算法[3]去噪效果;第5行是RPCA算法[4]去噪效果;第6行是本方法去噪效果;
图3是不同噪声水平和实验测试视频情况下,本发明与其他视频去噪方法的PSNR指标对比结果。
具体实施方式:
下面结合附图1,对本发明进行详细描述:
本实施例提供的一种混合泊松、高斯和脉冲噪声的视频去噪方法,包括如下步骤:
步骤一:将噪声视频每一帧图像划分为图像块,在噪声视频帧序列中通过块匹配方法对每一个图像块搜索相似图像块。将噪声视频每一帧图像划分为图像块的具体方法是:
对于噪声视频帧序列{I1,I2,…,In}(n为噪声视频帧数),将每一帧图像划分为s×s像素大小的图像块,图像块之间重叠区域宽度为wo个像素。对于每一个图像块P,通过块匹配方法在噪声视频帧序列中搜索相似图像块,并在每一帧中获取m个相似图像块;对于每个相似图像块,将其所有列依次连接形成一个列向量,则所有相似块的列向量集合为:{di}(i=1,2,…,mn)。在此基础上,用所有相似块列向量构成观测块矩阵其中D的每一列都是一个相似块列向量,Rh×w表示行数为h、列数为w的实数矩阵集合。
所述步骤一中的图像块匹配方法,包括但不限于基于图像块向量之间欧式距离进行图像块匹配的方法;
步骤二:构造泊松-高斯混合噪声先验;其具体形式是:
其中,F(A,E,Z)表示泊松-高斯混合噪声先验;A为清晰块列向量构成的块矩阵,A的每一列为前述相似块对应的清晰块列向量;E表示块匹配误差块矩阵,E的每一列为前述相似块对应的匹配误差列向量;Z表示脉冲噪声矩阵,Z的每一列为前述相似块对应的脉冲噪声向量;D表示相似块列向量构成的观测块矩阵;max(X)表示矩阵X的最大元素,除法运算和平方根运算为矩阵逐元素进行;σ为混合泊松、高斯和泊松噪声中,高斯噪声部分的标准差。且N的所有元素都为1。
步骤三:构造建立在混合泊松、高斯和脉冲噪声环境下的视频去噪模型;具体形式为:
求解使得目标函数值达到最小的去噪块矩阵A、误差块矩阵E和脉冲噪声矩阵Z:
其中,A为清晰块列向量构成的块矩阵,E表示块匹配误差块矩阵,Z表示脉冲噪声矩阵,F(A,E,Z)表示泊松-高斯混合噪声先验,||·||*,||·||1和||·||F分别为矩阵核范数、l1范数和Frobenius范数,λ,μ和η为常数系数。求解出清晰图像块矩阵A之后,把A的列向量重新变换为s×s图像块,得到相似图像块对应的清晰图像块;
步骤四:采用优化算法求解去噪模型,获得去噪后的清晰图像块;求解清晰图像块的优化算法,包括但不仅限于现有算法Accelerated Proximal Gradient(APG)。
步骤五:将去噪后的清晰图像块合并生成清晰视频图像。其具体方法是:
对于第k帧(k=1,2,…,n)清晰视频图像,设包含像素pk(x,y)的清晰图像块集合为{b1,b2,…,bv}。其中,x,y分别为该像素在视频图像中的行数和列数,pk(x,y)为(x,y)处的像素点,v为包含像素pk(x,y)的图像块个数,{b1,b2,…,bv}表示包含像素pk(x,y)的清晰图像块集合。则像素pk(x,y)的灰度值为:
其中,I(pk(x,y))为像素pk(x,y)的灰度值,为bj(j=1,2,…,v)中像素pk(x,y)对应的灰度值,v为包含像素pk(x,y)的图像块个数。
在具体操作中,采用bus,coastguard,flower,missa和salesman视频序列[4]进行实验评估。在清晰视频帧图像上添加泊松噪声、高斯噪声和服从[0-255]均匀分布的脉冲噪声,然后对噪声视频帧进行去噪,检验本方法效果,并与目前广泛应用的视频去噪算法:VBM3D[2]、VBM4D[3]和RPCA[4]进行比较。其中,去噪后视觉效果比较如图2所示(高斯噪声标准差为σ=20,脉冲噪声比例为r=0.1),由左至右分别为:清晰无噪声视频图像;加入泊松、高斯和脉冲噪声之后的噪声视频图像;VBM3D算法去噪效果;VBM4D算法去噪效果;RPCA算法去噪效果;本方法去噪效果。去噪后PSNR指标比较如图3所示,其中高斯噪声标准差σ为20-40,脉冲噪声比例r为10%-30%。通过对比可以看出,本方法与目前主流的几种视频去噪方法相比能够取得更理想的混合噪声去噪效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程。以上内容所描述的仅为本发明一种较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。