CN112614078A

CN112614078A - 一种图像降噪方法和存储介质

Info

Publication number: CN112614078A
Application number: CN202011618368.6A
Authority: CN
Inventors: 辛国松; 王欣洋; 刘洋; 李扬; 马成
Original assignee: Changchun Changguangchenxin Optoelectronics Technology Co ltd
Current assignee: Changchun Changguangchenxin Optoelectronics Technology Co ltd
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2021-04-06

Abstract

本发明公开了一种图像降噪方法和存储介质，所述方法包括如下步骤：S1：判断输入图像是否含有噪声像素点，若含有则进一步判断所述各噪声像素点的类型；S2：根据各噪声像素点的类型分别采用相应的降噪方法依次对所述噪声像素点进行处理；S3：输出经过降噪处理后的图像。由于对输入图像中对不同种类的噪声像素点分别采用了相应的降噪方法进行处理，从而可以尽可能保留图像的细节信息，使处理后的图像的模糊程度大大降低，提高了图像降噪后的质量，上述方法算法复杂度较低，适用性比较强。

Description

一种图像降噪方法和存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种图像降噪方法和存储介质。

背景技术

随着集成电路制造技术的发展和集成电路设计水平的不断提高，基于CMOS集成电路工艺技术制造的CMOS图像传感器由于其集成度高、功耗低、体积小、工艺简单、成本低且开发周期短等特点，使其在于CCD的竞争中逐渐处于优势地位。CMOS图像传感器被广泛应用于各类照相产品中，具有广泛的市场应用前景。而图像传感器中的图像信息经过模拟电路处理后，由于成像设备与外部环境噪声干扰等影响，会导致图像质量下降。尤其是会产生垂直的条纹和各种或明或暗的点，两者分别属于高斯噪声与椒盐噪声。噪声的存在会产生以下影响：(1)严重的噪声会使图像产生变形，失去其本质数据特征；(2)噪声会降低图像数据的质量以及精度，会影响后续对图像的相应处理。

CMOS图像传感器的处理过程中，光信号需要经过感光像素采样转换为模拟电学信号，而后经过放大器以及模数转换单元(ADC)得到数字图像信号最终输出。在一系列的处理过程中，会引入各种噪声导致图像质量的下降，其中以高斯噪声和椒盐噪声最为常见。

综上可知噪声的存在对后续的图像分割、特征提取、图像识别等更高层次的处理具有直接的影响。因此有效的抑制噪声的方法对图像的处理具有至关重要的作用。目前对图像的降噪方法主要是对图像的空间域进行处理，主要分为帧内降噪和帧间降噪两种。

帧内降噪基于图像的二维空间分为线性和非线性技术。均值滤波属于常见的线性处理技术，处理对象主要是高斯噪声，其利用领域内像素的平均值作为当前灰度值，在邻域空间不大的情况下，能较好地抑制噪声，但是随着邻域空间的变大，图像的模糊程度会变得严重。中值滤波是一种非线性滤波方法，对滤除椒盐噪声效果明显，其是取邻域内像素的中间值作为当前的灰度值，在噪声密度不高的情况下，处理效果较好，当滤波窗口范围较大时，处理后的图像会损失一些边缘细节。

目前图像的降噪方法种类很多，有基于傅里叶变换或小波变换的图像变换域处理方法，也有基于双边滤波直方图匹配的方法。但这些方法一般算法复杂度高、耗时多、适用范围低、处理的噪声种类较少，不适用于相机中图像的实时性处理。而相关图像处理中很少对各种种类的噪声分别采用相对应的方法进行处理，而是一般只对其中一两种主要噪声进行处理，这样会导致主要噪声的影响虽然变小了，但其他噪声的影响还是会存在，这些噪声的存在仍然会时刻对图像质量产生影响。尤其对于高斯噪声和椒盐噪声组成的混合噪声，无论是采用均值滤波还是中值滤波都无法达到预期的效果，因此有必要对这两种滤波方法进行一定的改进，以尽可能保留图像细节，提升图像质量。

发明内容

因此，本发明提供了一种图像降噪方法和存储介质，用以解决现有的图像降噪方法在对混合噪声处理时无法达到预期效果，影响图像质量的问题。

在随后的介绍中将部分地阐述本发明的其它优点、目的和特征，并且一部分对于本领域的普通技术人员在随后的检验时或通过本发明的实践将变得明显。

为了实现这些目的和其它优点并且根据本发明的目的，如在此实施并宽泛地描述的，本发明第一方面提供了一种图像降噪方法，其特征在于，包括如下步骤：

S1：判断输入图像是否含有噪声像素点，若含有则进一步判断所述各噪声像素点的类型；

S2：根据各噪声像素点的类型分别采用相应的降噪方法依次对所述噪声像素点进行处理；

S3：输出经过降噪处理后的图像。

进一步地，所述噪声像素点的类型包括椒盐噪声点和/或高斯噪声点。

步骤S1包括：判断输入图像是否含有椒盐噪声点和/或高斯噪声点。

进一步地，判断输入图像是否含有椒盐噪声点包括：

计算输入图像上预定大小的滤波子块内所有像素点的平均值；

依次判断所述滤波子块内各像素点的像素值与所述滤波子块内所有像素点的平均值之差是否大于第一阈值，若是则判定滤波子块内该像素点为椒盐噪声点；否则判定该像素为椒盐噪声点

进一步地，若判定所述滤波子块内含有椒盐噪声点，步骤S2包括：

S21：根据所述滤波子块内含有椒盐噪声点数量的不同，对各椒盐噪声点进行加权中值滤波处理，并将经过加权中值滤波处理后得到的像素值作为当前滤波子块对应的中心像素点的输出值。

进一步地，“根据所述滤波子块内含有椒盐噪声点数量的不同，对各椒盐噪声点进行加权中值滤波处理”包括：

当滤波子块内非椒盐噪声点数量大于两个时，根据各非椒盐噪声点的像素值大小进行排序，并根据设定的权重值对排序后的各非椒盐噪声点进行加权运算，将运算结果作为当前滤波子块对应的中心像素点的输出值；非椒盐噪声点的权重值与非椒盐噪声点的像素值成正比。

进一步地，所述滤波子块的大小为3X3子块，所述3x3子块包括3行3列共9个像素点，第一行像素点的像素值从左至右记为C1、C2、C3，第二行像素点的像素值从左至右记为C4、C5、C6，第三行像素点的像素值从左至右记为C7、C8、C9，所述C5为中心像素点；

步骤S21包括：

当判定所述3X3子块中所有像素点均为椒盐噪声点时，中心像素点的输出值q的计算公式如下：q＝(C2+C4+C5+C6+C8)/5；

当判定所述3X3子块中所有像素点均不是椒盐噪声点时，以当前中心像素点的像素值作为中心像素点的输出值q；

当判定所述3X3子块中非椒盐噪声点的数量为1个时，以这个非椒盐噪声点的像素值作为中心像素点的输出值q；

当判定所述3X3子块中非椒盐噪声点的数量为2个时，中心像素点的输出值q的计算公式如下：q＝Cb*b+Ca*a，Ca<Cb；Ca和Cb分别为两个非椒盐噪声点的像素值；a为所述Ca对应的权重值，b为所述Cb对应的权重值；

当判定所述3X3子块中非椒盐噪声点的数量为3个以上时，中心像素点的输出值q的计算公式如下：q＝C1*n₁+C2*n₂+…Cn*n_n，其中，C1-Cn为各个非椒盐噪声点的像素值，n₁-n_n为C1-Cn为各个非椒盐噪声点对应的权重值。

进一步地，所述方法包括：

在对滤波子块内的所有像素点完成椒盐噪声点的处理后，对滤波子块内是否含有高斯噪声点进行判断，具体包括：计算滤波子块内像素梯度的绝对值是否小于第二阈值，若是则判定所述滤波子块内含有高斯噪声点。

进一步地，所述方法包括：

当判定所述滤波子块内含有高斯噪声点后，对经过椒盐噪声处理得到的中心像素点的输出值进行加权均值滤波处理，以得到当前滤波子块的中心像素点的最终输出值；

所述加权均值滤波处理包括：对于滤波子块内第一像素阵列配置第一权重值，对于滤波子块内第二像素阵列配置第二权重值；

当前滤波子块的中心像素点的最终输出值＝第一像素阵列所有像素点的像素均值*第一权重值+第二像素阵列所有像素点的像素均值*第二权重值+椒盐噪声处理得到的中心像素点的输出值；

所述第一像素阵列为与当前滤波子块中的中心像素点横向相邻或纵向相邻的像素点，所述第二像素阵列为当前滤波子块中除所述第一像素阵列和所述中心像素点以外的像素点。

进一步地，所述方法包括：

按预定移动顺序在所述输入图像中移动所述滤波子块的位置，判断新的滤波子块内各噪声像素点的类型并采用相应的降噪方法进行降噪处理，直至所述输入图像上所有像素点全部遍历完成，得到降噪处理后的图像并输出。

本发明第二方面还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的方法。

本发明的其它优点、目的和特征部分在以下的说明书中阐述，在研究了下文后对于本领域技术人员将变得显而易见，或者可以从本发明的实践中了解。本发明的目的和其它优点可以通过在说明书及权利要求和附图中特别指出的结构实现。

应当理解，本发明的以上一般描述和以下详细描述是示例性和解释性的，旨在提供本发明的进一步解释。

附图说明

为了提供对本发明更进一步的理解而包括并且引入并构成本申请的一部分的附图、本发明的说明实施例与介绍一起用来阐明本发明的原理。在附图中：

图1为本发明一实施例涉及的图像降噪方法的流程图；

图2为本发明另一实施例涉及的图像降噪方法的流程图；

图3为本发明一实施例涉及的3x3大小的滤波子块的示意图；

图4为本发明一实施例涉及的图像传感器的电路结构示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用属于“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，并且对这里所使用的空间相对描述作出相应解释。

如图1所示，本发明第一方面提供了一种图像降噪方法，包括如下步骤：

首先进入步骤S1：判断输入图像是否含有噪声像素点，若含有则进一步判断所述各噪声像素点的类型；

而后进入步骤S2：根据各噪声像素点的类型分别采用相应的降噪方法依次对所述噪声像素点进行处理；

而后进入步骤S3：输出经过降噪处理后的图像。

在上述图像降噪方法中，由于对输入图像中对不同种类的噪声像素点分别采用了相应的降噪方法进行处理，从而可以使得图像上的细节信息能够尽可能的保留，使处理后的图像的模糊程度大大降低，提高了图像降噪后的质量，且上述方法算法复杂度较低，适用性比较强。

在某些实施例中，所述噪声像素点的类型包括椒盐噪声点和/或高斯噪声点。步骤S1包括：判断输入图像是否含有椒盐噪声点和/或高斯噪声点。优选的，步骤S1是先判断输入图像上的椒盐噪声点数量并进行相应的滤波处理(如中值滤波处理)后，再判断输入图像上是否存在高斯噪声点。若输入图像上既没有椒盐噪声点也没有高斯噪声点，则可以判定当前输入图像上没有噪声像素点，如果存在所述椒盐噪声点或高斯噪声点中的任一项，则可以判定当前输入图像上存在噪声像素点。

在某些实施例中，对于输入图像的降噪处理是滤波子块为单位进行处理的，滤波子块的大小可以根据实际需要进行设定，优选为NXN子块(N为奇数)，如可以是3x3子块、5X5子块等。

判断输入图像是否含有椒盐噪声点包括：计算输入图像上预定大小的滤波子块内所有像素点的平均值；依次判断所述滤波子块内各像素点的像素值与所述滤波子块内所有像素点的平均值之差是否大于第一阈值，若是则判定滤波子块内该像素点为椒盐噪声点；否则判定该像素为椒盐噪声点。

进一步地，若判定所述滤波子块内含有椒盐噪声点，步骤S2包括：S21：根据所述滤波子块内含有椒盐噪声点数量的不同，对各椒盐噪声点进行加权中值滤波处理，并将经过加权中值滤波处理后得到的像素值作为当前滤波子块对应的中心像素点的输出值。

优选的，“根据所述滤波子块内含有椒盐噪声点数量的不同，对各椒盐噪声点进行加权中值滤波处理”包括：当滤波子块内非椒盐噪声点数量大于两个时，根据各非椒盐噪声点的像素值大小进行排序，并根据设定的权重值对排序后的各非椒盐噪声点进行加权运算，将运算结果作为当前滤波子块对应的中心像素点的输出值。非椒盐噪声点的权重值与非椒盐噪声点的像素值成正比，即非椒盐噪声点的像素值越大，其对应的权重值也就越大。

这样，根据滤波子块内椒盐噪声点数量的不同，对于中心像素点的输出值采用不同的滤波策略进行处理，从而使得在不同情况下图像像素都能够得到尽可能保留，进而提升了图像质量。

如图3所示，所述滤波子块的大小为3X3子块，所述3x3子块包括3行3列共9个像素点，第一行像素点的像素值从左至右记为C1、C2、C3，第二行像素点的像素值从左至右记为C4、C5、C6，第三行像素点的像素值从左至右记为C7、C8、C9，所述C5为中心像素点；

步骤S21包括：

当判定所述3X3子块中非椒盐噪声点的数量为2个时，中心像素点的输出值q的计算公式如下：q＝Cb*b+Ca*a，Ca<Cb；Ca和Cb分别为两个非椒盐噪声点的像素值；a为所述Ca对应的权重值，b为所述Cb对应的权重值。优选的，a为0.25，b为0.75。

当判定所述3X3子块中非椒盐噪声点的数量为3个以上时，中心像素点的输出值q的计算公式如下：q＝C1*n₁+C2*n₂+…Cn*n_n，其中；C1-Cn为各个非椒盐噪声点的像素值，n₁-n_n为C1-Cn为各个非椒盐噪声点对应的权重值。优选的，这一实施例中各个非椒盐噪声点对应的权重值0.75/s或0.25/t，s为像素值较大的非椒盐噪声点的数量，t为像素值较小的非椒盐噪声点的数量。例如非椒盐噪声点的数量为3个，分别是C1、C2、C3且C1<C2<C3，那么C3可以视为当前滤波子块内像素值较大的非椒盐噪声点，C1和C2可以视为当前滤波子块内像素值较小的非椒盐噪声点，中心像素点的输出值q＝C3*0.75+(C1+C2)*0.25/2。

在某些实施例中，所述方法包括：在对滤波子块内的所有像素点完成椒盐噪声点的处理后，对滤波子块内是否含有高斯噪声点进行判断，具体包括：计算滤波子块内像素梯度的绝对值是否小于第二阈值，若是则判定所述滤波子块内含有高斯噪声点。

优选的，所述方法包括：当判定所述滤波子块内含有高斯噪声点后，对经过椒盐噪声处理得到的中心像素点的输出值进行加权均值滤波处理，以得到当前滤波子块的中心像素点的最终输出值；所述加权均值滤波处理包括：对于滤波子块内第一像素阵列配置第一权重值，对于滤波子块内第二像素阵列配置第二权重值。

当前滤波子块的中心像素点的最终输出值＝第一像素阵列所有像素点的像素均值*第一权重值+第二像素阵列所有像素点的像素均值*第二权重值+椒盐噪声处理得到的中心像素点的输出值；所述第一像素阵列为与当前滤波子块中的中心像素点横向相邻或纵向相邻的像素点，所述第二像素阵列为当前滤波子块中除所述第一像素阵列和所述中心像素点以外的像素点。

对滤波图像是否含有高斯噪声点进行处理时，采用加权均值滤波处理的方法。由于加权均值滤波容易造成图像边缘细节模糊，故在进行加权均值滤波前先对滤波子块的中心像素点进行边缘检测，用来确定当前滤波子块的中心像素点是否处于图像边缘位置。当中心像素点位于图像边缘位置时，若仍对该中心像素点进行均值滤波处理容易造成边缘细节模糊，因而在此种情况下，直接将当前滤波子块中心像素点的经过椒盐噪声处理后的输出值q作为最终输出值进行输出，而不再进行均值滤波处理，从而使得图像上的边缘细节更好的保留。

反之，如果中心像素点不是位于在图像的边缘，则采用加权均值滤波的方式对经过椒盐噪声处理后的输出值q进一步滤波，以得到当前滤波子块的中心像素点最终的输出值。

同样以图3所示的3x3子块为例，判断当前中心像素点是否处于边缘位置的方式如下：

首先，根据以下公式计算当前滤波子块中像素的梯度绝对值：J＝|4*q-C2-C4-C6-C8|，其中，J表示滤波子块中像素梯度的绝对值,q为经过椒盐滤波处理的中心像素点的输出值，C2、C4、C6、C8依次为当前滤波子块中心像素点C5对应的正上方、正左方、正右方、正下方的像素点的像素值。

而后将J与第二阈值T2进行比较，若J小于T2，说明滤波子块的中心像素点没有位于图像的边缘位置，则对其进行加权均值滤波处理；若J大于第二与之T2，说明滤波子块的中心像素点位于图像的边缘，将对q经过均值滤波算法处理后得到的像素值作为当前滤波子块的中心像素点的最终像素值并输出。

在本实施方式中，对于非边缘位置的中心像素点的均值滤波算法处理方式如下：

D＝[q+(C2+C4+C6+C8)*0.75+(C1+C3+C7+C9)*0.25]/9，D表示滤波子块经过加权均值滤波处理后得到的中心像素点的最终输出值，q为经过加权中值滤波处理后(即经过对椒盐噪声点进行降噪处理后得到的中心像素点的输出值q)。

在某些实施例中，所述方法包括：按预定移动顺序在所述输入图像中移动所述滤波子块的位置，判断新的滤波子块内各噪声像素点的类型并采用相应的降噪方法进行降噪处理，直至所述输入图像上所有像素点全部遍历完成，得到降噪处理后的图像并输出。优选的，所述预定移动顺序为从左至右、从上至下逐行进行扫描。

在本实施方式中，第一阈值T1与第二阈值T2均与滤波子块的邻域均值有关。由韦伯定理可知，人眼视觉在亮区域(像素灰度均值较大的图像区域)时对噪声的敏感程度比暗区域(像素灰度均值较小的图像区域)低，因此当滤波子块的中心像素点位于亮区域时可以适当减小阈值，减弱降噪的程度以保留更多的图像边缘信息；在暗区域时应该尽量增大阈值，尽量抑制噪声。图像局部区域的亮暗程度可以通过滤波子块的均值M来表征，M值大的地方第一阈值T1与第二阈值T2应小些，M值小的地方第一阈值T1与第二阈值T2应大些。

如图2所示，为本发明另一实施例涉及的图像降噪方法的流程图。所述方法包括：

首先进入步骤S201输入图像。

而后进入步骤S202判断输入图像上当前滤波子块内是否存在椒盐噪声点，若是则进入步骤S203对所述滤波子块的中心像素点进行加权中值滤波处理，否则直接进入步骤S204判断输入图像上当前滤波子块内是否存在高斯噪声点。

经过步骤S203后也可以进入步骤S204判断输入图像上当前滤波子块内是否存在高斯噪声点，若S204的判断结果为“是”，说明当前中心像素点位于边缘位置，可以进入步骤S207输出图像(即将对椒盐噪声点进行降噪处理后的中心像素点的输出值q作为最终输出值)；若S204的判断结果为“否”，说明当前中心像素点不位于边缘位置，则进入步骤S206对所述滤波子块的中心像素点进行加权均值滤波处理，并将经过加权滤波处理后的中心像素点的像素值作为最终输出值，而后进入步骤S207输出图像。

本发明第二方面还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面所述的方法。所述存储介质为具有数据存储功能的电子元件，包括但不限于：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

如图4所示，本发明一实施例涉及的图像传感器的电路结构示意图。所述图像处理器包括感光像素阵列301、信号放大器302、模数转换器303、图像数据缓存单元304、数据输出控制单元305，所述感光像素阵列301与信号放大器302连接，所述信号放大器302与模数转换器303连接，所述模数转换器303与图像数据缓存单元304连接，所述图像数据缓存单元304与所述数据输出控制单元305连接。

感光像素阵列301、信号放大器302、模数转换器303组成了模拟降噪部分，图像数据缓存单元304是数字降噪处理部分，本发明主要涉及数字降噪部分的处理，主要针对高斯噪声及椒盐噪声分别利用改进后的中值滤波及均值滤波降噪方法进行了处理。

由于篇幅有限，上述描述仅是对与本申请发明点密切相关的技术内容，对于形成图像传感器的一些常规步骤没有做出详细描述，但本领域技术人员在结合现有技术的基础上有能力将本申请与现有技术的常规步骤进行结合，因此在此不再赘述。

从以上的描述中，可以看出，本申请上述的实施方式实现了如下技术效果：由于对输入图像中对不同种类的噪声像素点分别采用了相应的降噪方法进行处理，从而可以尽可能保留图像的细节信息，使处理后的图像的模糊程度大大降低，提高了图像降噪后的质量，上述方法算法复杂度较低，适用性比较强。

对于本领域技术人员明显的是，可以在本发明中进行各种改进和变化。因此本发明旨在覆盖由所附权利要求及其等同物范围内提供的本发明的改进和变化。

Claims

1.一种图像降噪方法，其特征在于，包括如下步骤：

S3：输出经过降噪处理后的图像。

2.如权利要求1所述的图像降噪方法，其特征在于，所述噪声像素点的类型包括椒盐噪声点和/或高斯噪声点；

3.如权利要求2所述的图像降噪方法，其特征在于，判断输入图像是否含有椒盐噪声点包括：

依次判断所述滤波子块内各像素点的像素值与所述滤波子块内所有像素点的平均值之差是否大于第一阈值，若是则判定滤波子块内该像素点为椒盐噪声点；否则判定该像素为椒盐噪声点。

4.如权利要求3所述的图像降噪方法，其特征在于，若判定所述滤波子块内含有椒盐噪声点，步骤S2包括：

5.如权利要求4所述的图像降噪方法，其特征在于，“根据所述滤波子块内含有椒盐噪声点数量的不同，对各椒盐噪声点进行加权中值滤波处理”包括：

6.如权利要求4所述的图像降噪方法，其特征在于，所述滤波子块的大小为3X3子块，所述3x3子块包括3行3列共9个像素点，第一行像素点的像素值从左至右记为C1、C2、C3，第二行像素点的像素值从左至右记为C4、C5、C6，第三行像素点的像素值从左至右记为C7、C8、C9，所述C5为中心像素点；

步骤S21包括：

当判定所述3X3子块中非椒盐噪声点的数量为3个以上时，中心像素点的输出值q的计算公式如下：q＝C1*n₁+C2*n₂+…Cn*n_n；C1-Cn为各个非椒盐噪声点的像素值，n₁-n_n为C1-Cn为各个非椒盐噪声点对应的权重值。

7.如权利要求4所述的图像降噪方法，其特征在于，所述方法包括：

8.如权利要求7所述的图像降噪方法，其特征在于，所述方法包括：

9.如权利要求8所述的图像降噪方法，其特征在于，所述方法包括：

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。