CN105046658A - 一种低照度图像处理方法和装置 - Google Patents

Abstract

一种低照度图像处理方法和装置，针对原有的低照度图像对比度增强技术中存在的噪声放大问题，提出在进行对比度增强操作前，加入噪声抑制滤波器，采用第一滤波系数和第二滤波系数对低照度图像的反色图像进行平滑处理，在增强图像对比度的同时抑制随机噪声。根据图像的局部块内特征，计算图像的纹理和噪声水平参数，根据纹理和噪声水平参数，对平滑处理后的第一平滑图像和第二平滑图像进行加权平均。针对反色图像的梯度图像进行纹理结构提取后得到纹理图像，将其与加权图像相加，对加权图像进行锐化，起到增强图像细节的作用。因此，可以有效增强低照度图像的对比度，滤除各种噪声，同时保留图像色彩和细节，得到清晰逼真的复原图像。

Description

一种低照度图像处理方法和装置

技术领域

本申请涉及数字图像处理领域，具体涉及一种低照度图像处理方法和装置。

背景技术

人们越来越多地使用监控摄像头，用来保证城市、交通、公共场所等方面的安全，同时也使用车载摄像头来提高驾驶的安全性。但是低光照(如夜晚、背光、室内等)条件会大大降低此类摄像头的性能，使其拍摄的图像和视频可视性降低，往往难以辨别关键人、物等信息。上述情况下拍摄的图像称为低照度图像，低照度图像有各种噪声，进行图像增强后更加突显出来，从而降低图像中关注对象的可辨识度，强烈降低人的主观感受。

对于传统的图像增强技术(比如去雾霾和低照度增强技术)，其对图像进行处理之后，会大大增强图像中原有的噪声，往往在图像中出现大片颜色噪声(Colornoise)和一些亮度噪声(Lumanoise)。传统的图像增强技术不能有效地滤除这些噪声。

对于传统的降噪方法，其不能解决下面两个问题：

1)有效滤除大片颜色噪声的同时保证物体的色彩饱和度。

2)在滤除亮度噪声的同时保留物体的细节。

发明内容

本申请提供一种低照度图像处理方法和装置，解决了低照度图像处理后噪声放大、细节损失等问题。

根据本申请的第一方面，本申请提供了一种低照度图像处理方法，包括：

输入低照度图像；

将所述低照度图像分割成不同的纹理区域，计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；

对所述低照度图像进行反色处理，得到反色图像；

根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；

根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；

计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；

根据所述暗通道图和环境光照强度得到对比度增强系数；

计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；

将所述加权图像与纹理图像相加，得到锐化图像；

根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；

对所述增强图像进行反色处理，得到输出图像。

根据本申请的第二方面，本申请提供了一种低照度图像处理装置，包括：

输入模块，用于输入低照度图像；

图像分割模块，用于将所述低照度图像分割成不同的纹理区域；

第一计算模块，用于计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；

第一反色模块，用于对所述低照度图像进行反色处理，得到反色图像；

平滑滤波模块，用于根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；

加权模块，用于根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；

第二计算模块，用于计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；根据所述暗通道图和环境光照强度得到对比度增强系数；

第三计算模块，用于计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；

锐化模块，用于将所述加权图像与纹理图像相加，得到锐化图像；

对比度增强模块，用于根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；

第二反色模块，用于对所述增强图像进行反色处理，得到输出图像。

本申请提供的低照度图像处理方法和装置中，先将输入的低照度图像分割成不同的纹理区域，以得到图像的纹理和噪声水平参数。一方面，根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对低照度图像的反色图像进行平滑处理，得到第一平滑图像和第二平滑图像；根据纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；根据加权图像的暗通道图得到环境光照强度，进而得到对比度增强系数。另一方面，对反色图像的梯度图像进行纹理结构提取，得到纹理图像。之后，将加权图像与纹理图像相加，得到锐化图像；再根据对比度增强系数对锐化图像进行对比度增强，得到增强图像。最后对增强图像进行反色处理，得到输出图像。因此，本申请提供的低照度图像处理方法和装置，可以有效地增强低照度图像的对比度，滤除各种噪声，同时保留图像色彩和细节，得到清晰逼真的复原图像。

附图说明

图1为本申请一种实施例中低照度图像处理装置的结构示意图；

图2为本申请一种实施例中低照度图像处理方法的流程示意图；

图3为分别采用现有技术和本实施例提供的低照度图像处理方法对同一输入图像进行处理后的对比示意图。

具体实施方式

本申请实施例提供的低照度图像处理方法和装置，可应用于视频监控***、图像处理软件等，能有效进行去雾霾处理和低照度增强处理，在图像降噪上既能滤除颜色噪声和亮度噪声，也最大可能地保留图像的色彩和细节。

下面通过具体实施方式结合附图对本申请作进一步详细说明。

请参考图1，本实施例提供了一种低照度图像处理方法和装置。低照度图像处理装置包括输入模块101、图像分割模块102、第一计算模块103、第一反色模块104、平滑滤波模块105、加权模块106、第二计算模块107、第三计算模块108、锐化模块109、对比度增强模块110和第二反色模块111。

下面结合低照度图像处理方法对该装置进行说明，请参考图2，低照度图像处理方法包括下面步骤：

步骤1.1：输入模块101输入低照度图像I。

步骤1.2：图像分割模块102将低照度图像I分割成不同的纹理区域。优选的，图像分割模块102采用超像素(superpixel)分割将低照度图像I分割成不同的纹理区域。

步骤1.3：第一计算模块103计算各个纹理区域内像素点灰度的标准差σ及梯度和s，并将标准差σ与梯度和s的比值作为图像的纹理和噪声水平参数α，即α＝σ/s。

步骤1.4：第一反色模块104对低照度图像I的每一个颜色通道进行反色处理，得到反色图像R。第一反色模块104按照公式R＝255-I对低照度图像I进行反色处理。先对低照度图像I进行反色，然后在进行后续处理，可以将图像中低亮度像素转换成高亮度像素，从而有利于对低照度区域的对比度增强处理。

步骤1.5：第三计算模块108利用微分算子与R的三个颜色通道分别进行卷积，得到R的梯度图像R_d。

步骤1.6：第三计算模块108选择大小合适的滤波系数，对R_d进行纹理结构提取，得到R_d的不含噪声的主要纹理图像R_ds。其中，滤波系数可以选择经验值。

步骤1.7：平滑滤波模块105分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，本实施例中，利用三维块匹配(BM3D)滤波器对反色图像进行平滑处理。使用BM3D图像滤波器，能在去除图像噪声的同时，尽可能保留更多的图像纹理细节。优选的，第一滤波系数大于各个纹理区域内像素点灰度的标准差σ的平均值，第二滤波系数小于各个纹理区域内像素点灰度的标准差σ的平均值。

步骤1.8：本实施例中，平滑滤波模块105采用σ的平均值的2倍作为第一滤波系数，得到纹理较平滑的第一平滑图像

步骤1.9：平滑滤波模块105采用σ的平均值的1/2作为第二滤波系数，得到纹理较突出的第二平滑图像

在其他实施例中，第一滤波系数和第二滤波系数可以根据实际需求选择，并且，平滑滤波模块105也可以选择其他滤波器对反色图像进行平滑处理。

步骤1.10：加权模块106根据纹理和噪声水平参数α，对滤波去噪得到的第一平滑图像和第二平滑图像进行加权平均，得到加权图像。本实施例中，采用下面公式得到加权图像R_s：

$R_s=\mathrm{\α}\·R_s^{fine}+(1-\mathrm{\α})\·R_s^{coarse}$

步骤1.7-步骤1.10相当于在进行对比度增强操作前端加入噪声抑制滤波器，解决原有的低照度图像对比度增强技术中存在的噪声放大问题。

步骤1.11：锐化模块109将加权图像与纹理图像相加，得到锐化图像。本实施例中，采用下面公式得到细节增强的锐化图像R_sharp：

R_sharp＝R_s+α*R_ds

通过加权求和可以取得较好的锐化效果，同时避免边缘过分增强。

步骤1.6、1.7、1.11中，去除梯度图像中的噪声，保留其中的关键结构信息，并用该结构信息对图像进行锐化，起到增强图像细节的作用。

步骤1.12：第二计算模块107计算得到加权图像的暗通道图R_dark，暗通道图是指：图像中每个像素点上三个颜色通道中灰度值最小的那一个颜色通道构成的灰度图像。

本实施例中，采用下面公式计算暗通道图：

$R_{dark}\left(x\right)=\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\underset{c\∈\left\{r,g,b\right\}}{\min }{R}^c\right(y))$

其中，x和y表示像素点的位置，Ω(x)为以像素点x为中心的邻域，c代表不同颜色通道。具体的，Ω(x)为以像素点x为中心、大小为3*3的邻域。

步骤1.13：第二计算模块107根据暗通道图得到环境光照强度A。本实施例中，将R_dark内各个像素按照灰度值从大到小排序，找出排在前0.2％的像素点，计算加权图像中这些像素点三个颜色通道灰度的平均值，找出平均值最大的像素点，将该像素点的像素值(三个颜色通道的灰度值)作为对环境光照强度A的估计值。

步骤1.14：第二计算模块107根据暗通道图和环境光照强度得到对比度增强系数t。本实施例中，采用下面计算公式：

$t\left(x\right)=1-\mathrm{\ω}*\underset{y\∈\mathrm{\Ω}\left(x\right)}{min}\left(\underset{c\∈\left\{r,g,b\right\}}{min}\frac{R^c\left(y\right)}{A^c}\right)$

其中，x和y表示像素点的位置，t(x)为对比度增强系数，Ω(x)为以像素点x为中心的邻域，c代表不同颜色通道，ω为权重修正系数，R^c(y)为c通道中第y个像素点的亮度值，A为环境光照强度。具体的，Ω(x)为以像素点x为中心、大小为3*3的邻域。

为了避免出现对比度过度增强和增强不足的问题，本实施例中，根据像素点的RGB三个通道的灰度值(即像素点的亮度)来自适应地调节系数ω，其调节方式采用下面公式：

$\mathrm{\ω}\left(x\right)={\left(1-{10}^{-\sqrt{\frac{{\mathrm{\Σ}}_{c\∈\left\{r,g,b\right\}}\left(255-I_c\left(x\right)\right)}{3}}}\right)}^2$

其中，ω(x)为第x个像素点的权重修正系数，I_c(x)为c通道中第x个像素点的灰度值。

在其他实施例中，ω也可以取一固定值，例如，取0.85。

通常，直接利用上面计算出的t(x)进行低照度图像增强，会在照度极低的区域失效，造成增强不足的问题，所以在按照上面公式求出对比度增强系数t(x)之后，还需要对其进行简单的修正，具体为：对小于预设值的增强系数进行进一步缩小。本实施例中，修正公式如下：

$t\left(x\right)=\left\{\begin{array}{cc}2t^2\left(x\right),& 0<t\left(x\right)<0.5\\ t\left(x\right),& 0.5<t\left(x\right)<1\end{array}\right.$

在其他实施例中，也可以采用其他修正方式。

步骤1.15：对比度增强模块110根据环境光照强度和对比度增强系数对锐化图像进行对比度增强，得到增强图像，即对锐化图像进行去雾处理，恢复成清晰的增强图像R_clear，本实施例中，采用下面恢复公式：

$R_{clear}=\frac{R_{sharp}-A}{t}+A$

步骤1.16：第二反色模块111用于对增强图像的每一个颜色通道进行反色处理，得到输出图像J。第二反色模块111按照公式J＝255-R_clear对增强图像R_clear进行反色处理。

请参考图3，图3(a)为输入的低照度图像，图3(b)为采用传统方法直接进行对比度增强得到的输出图像，图3(c)为采用本实施例提供的低照度图像处理方法得到的输出图像。从图3中可以分析出，采用实施例提供的低照度图像处理方法得到的输出图像具有更小的噪声，且能够保留图像的色彩和细节。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (13)

1.一种低照度图像处理方法，其特征在于，包括：

输入低照度图像；

将所述低照度图像分割成不同的纹理区域，计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；

对所述低照度图像进行反色处理，得到反色图像；

根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；

根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；

计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；

根据所述暗通道图和环境光照强度得到对比度增强系数；

计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；

将所述加权图像与纹理图像相加，得到锐化图像；

根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；

对所述增强图像进行反色处理，得到输出图像。

2.如权利要求1所述的方法，其特征在于，采用超像素分割将所述低照度图像分割成不同的纹理区域。

3.如权利要求1所述的方法，其特征在于，分别采用第一滤波系数和第二滤波系数，利用三维块匹配滤波器对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；并且，所述第一滤波系数大于各个纹理区域内像素点灰度的标准差的平均值，所述第二滤波系数小于各个纹理区域内像素点灰度的标准差的平均值。

4.如权利要求1-3任一项所述的方法，其特征在于，还包括对所述对比度增强系数进行修正的步骤，具体为：对小于预设值的增强系数进行进一步缩小。

5.一种低照度图像处理装置，其特征在于，包括：

输入模块，用于输入低照度图像；

图像分割模块，用于将所述低照度图像分割成不同的纹理区域；

第一计算模块，用于计算各个纹理区域内像素点灰度的标准差及梯度和，并将所述标准差与梯度和的比值作为图像的纹理和噪声水平参数；

第一反色模块，用于对所述低照度图像进行反色处理，得到反色图像；

平滑滤波模块，用于根据各个纹理区域内像素点灰度的标准差的平均值，确定第一滤波系数和第二滤波系数，分别采用第一滤波系数和第二滤波系数对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；

加权模块，用于根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像；

第二计算模块，用于计算得到所述加权图像的暗通道图，并根据所述暗通道图得到环境光照强度；根据所述暗通道图和环境光照强度得到对比度增强系数；

第三计算模块，用于计算得到所述反色图像的梯度图像，对所述梯度图像进行纹理结构提取，得到纹理图像；

锐化模块，用于将所述加权图像与纹理图像相加，得到锐化图像；

对比度增强模块，用于根据所述环境光照强度和对比度增强系数对所述锐化图像进行对比度增强，得到增强图像；

第二反色模块，用于对所述增强图像进行反色处理，得到输出图像。

6.如权利要求5所述的装置，其特征在于，图像分割模块用于采用超像素分割将所述低照度图像分割成不同的纹理区域。

7.如权利要求5所述的装置，其特征在于，平滑滤波模块用于分别采用第一滤波系数和第二滤波系数，利用三维块匹配滤波器对反色图像进行平滑处理，分别得到第一平滑图像和第二平滑图像；并且，所述第一滤波系数大于各个纹理区域内像素点灰度的标准差的平均值，所述第二滤波系数小于各个纹理区域内像素点灰度的标准差的平均值。

8.如权利要求7所述的装置，其特征在于，加权模块用于根据所述纹理和噪声水平参数，对第一平滑图像和第二平滑图像进行加权平均，得到加权图像时，采用下面公式：

$R_S-a\&CenterDot;R_S^{fine}+(1-\mathrm{\&alpha;})\&CenterDot;R_S^{coarse}$

其中，R_S为加权图像，为第一平滑图像，为第二平滑图像，α为纹理和噪声水平参数。

9.如权利要求8所述的装置，其特征在于，锐化模块用于将所述加权图像与纹理图像相加，得到锐化图像时，采用下面公式：

R_sharp＝R_s+α*R_ds

其中，R_sharp为锐化图像，R_ds为纹理图像。

10.如权利要求5所述的装置，其特征在于，第二计算模块用于根据暗通道图和环境光照强度得到对比度增强系数时，采用下面公式：

$t\left(x\right)=1-\mathrm{\&omega;}*\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{min}\left(\underset{c\&Element;\{r,g,b\}}{\min }\frac{R^c\left(y\right)}{A^c}\right)$

其中，x和y表示像素点的位置，t(x)为对比度增强系数，Ω(x)为以像素点x为中心的邻域，c代表不同颜色通道，ω为权重修正系数，R^c(y)为c通道中第y个像素点的亮度值，A为环境光照强度。

11.如权利要求10所述的装置，其特征在于，第二计算模块还用于采用下面公式根据像素点在RGB三个通道的亮度值自适应调节所述权重修正系数：

$\mathrm{\&omega;}\left(x\right)={(1-10\sqrt[-]{\frac{{\mathrm{\&Sigma;}}_{c\&Element;(r,g,b)}(255-I_c(x))}{3}})}^2$

其中，ω(x)为第x个像素点的权重修正系数，I_c(x)为c通道中第x个像素点的亮度值。

12.如权利要求5-11任一项所述的装置，其特征在于，第二计算模块还用于对所述对比度增强系数进行修正，具体为：第二计算模块用于对小于预设值的增强系数进行进一步缩小。

13.如权利要求12所述的装置，其特征在于，第二计算模块用于对所述对比度增强系数进行修正时，采用下面公式：

$t\left(x\right)=\left\{\begin{array}{cc}2t^2\left(x\right),& 0<t\left(x\right)<0.5\\ t\left(x\right),& 0.5<t\left(x\right)<1\end{array}\right.$

其中，t(x)为对比度增强系数。