CN102982513B - 一种基于纹理的自适应图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于纹理自适应的图像去雾方法，属于图像处理和计算机视觉技术领域。本发明通过对输入图像进行纹理分类，并将纹理分类结果与不同尺度的暗通道值相结合，计算出相应的场景透射系数，实现了一种基于纹理自适应的快速图像去雾。本发明的应用，能避免复杂的软抠图优化步骤，降低He方法去雾处理的运算复杂度，避免了去雾处理后容易导致的光晕现象，并且能更好的控制去雾处理后图像的饱和度，同时对大气光照向量的计算进行了修正以保证去雾图像的亮度，即本发明的图像去雾方法处理处理速度快，去雾处理的图像质量高、且能满足实时处理应用的需求。

Description

一种基于纹理的自适应图像去雾方法

技术领域

本发明属于图像处理和计算机视觉技术领域，尤其涉及一种基于纹理的自适应图像去雾方法。

背景技术

雾天图像恢复是图像处理和计算机视觉等技术领域的关键技术。因为经典的计算机视觉算法往往假设输入图像是物体表面反射光，针对某些有雾图像，这些方法的数学模型不可避免的会在一定程度上失效，从而影响最终的图像去雾效果。因此，研究雾天图像成像退化模型和去雾方法具有重要的意义。

针对单幅雾天图像，现有的图像去雾方法通常是基于雾天图像的先验信息规律。典型的方法有Tan方法(局部对比度最大化方法)、Fattal方法(基于独立成分分析的场景反照率和透射率估计方法)和He方法(基于暗通道先验信息的图像去雾方法)。Tan方法是基于先验信息——无雾图像的对比度往往比有雾图像的对比度要高，通过算法处理使有雾图像的局部区域的对比度达到最大，以达到图像去雾的目的，但恢复的图像对比度往往很高，容易造成图像纹理细节信息的淹没；Fattal方法的先验信息是假设环境光分量和物体表面的反射光分量是不相关的，以此估计出物体表面反射光分量，但恢复出的图像往往失真度较高；He方法选用一个尺度参数计算彩色图像中对应尺度窗口中像素各分量的最小值，并将此值作为暗通道先验信息，然后通过暗通道先验信息估算场景的深度信息，将深度信息结合大气散射模型估算场景的透射率，再通过软抠图方法优化估算的场景透射率，最后根据优化的场景透射率和估算的大气光照向量A＝[I_xy(R),I_xy(G),I_xy(B)]，进行图像的去雾处理。虽然He方法恢复出的图像去雾质量较为理想，但只考虑了一个尺度参数，且采用运算极为复杂软抠图优化方法来估计场景的透射系数，计算量会随着图像尺寸的增大呈现出几何级增加，在现有硬件基础上很难做到对雾天图像去雾的实时处理，难以运用到实际应用中。

发明内容

有鉴于此，本发明的发明目的在于：提供了一种降低去雾处理运算复杂度、处理效率高，去雾处理的图像质量较高、能满足实时处理应用的需求的一种基于纹理的自适应图像去雾方法。

本发明的一种基于纹理的自适应图像去雾方法，包括下列步骤：

步骤a：

根据输入图像I(x,y)计算暗通道统计值根据输入图像I(x,y)对像素点进行纹理分类：

a1、将输入图像I(x,y)转换到RGB色彩空间，计算各像素点在RGB色彩空间中各色彩通道的最小值，得到输入图像I(x,y)的初始暗通道统计值DC₀(I)；

并对DC₀(I)按k个不同尺度N_i进行滑窗最小值滤波，所述k大于等于2，其中滑动窗口的尺寸记为Ω_i＝N_i×N_i，得到输入图像I(x,y)在不同尺度N_i下的暗通道值

a2、将输入图像I(x,y)转换为灰度图像I'(x,y)，计算灰度图像I'(x,y)中每个像素点的梯度值G(x,y)；

设定k-1个图像纹理分类阈值T_m，其中所述T_m小于灰度图像I'(x,y)的最大梯度值G_max，基于所述k-1个T_m的值存在k个取值区间，每个取值区间对应一个纹理类型W；

所述k个纹理类型W，与k个暗通道值一一映射，W对应的梯度值越大，则暗通道值对应的滑动窗口的尺寸Ω_i越小；

将每个像素点的梯度值G(x,y)与T_m进行比较，得到各像素点对应的纹理类型W(x,y)；

步骤b：

根据各像素点对应的纹理类型W(x,y)、各纹理类型W对应的得到灰度图像I'(x,y)的每个像素点的暗通道值D(x,y)；

统计所有像素点的暗通道值D(x,y)，得到全局暗通道值DC(I)，对所述DC(I)进行归一化处理，处理结果记为DC_N(I)；

步骤c：

c1、根据步骤b的DC_N(I)计算场景透射系数矩阵T，所述T为数值1与DC_N(I)的差；

c2、根据步骤a2的灰度图像I'(x,y)、步骤b的DC_N(I)得到大气光照向量A＝[I_xy(R),I_xy(G),I_xy(B)]；

步骤d：

根据步骤c的场景透射系数矩阵T和大气光照向量A对输入图像I(x,y)进行图像去雾处理。

在本发明的步骤a中，可并行执行步骤a1、a2，步骤a1实现了，根据输入图像I(x,y)计算暗通道统计值首先对输入图像I(x,y)的各色彩通道采用最小值滤波器计算出各个像素点的最小值，得到初始暗通道统计值DC₀(I)，本发明的DC₀(I)为下一步计算不同的尺度参数(或尺度窗口)下的暗通道值提供一个标准的输入量，能有效避免重复的像素分量取最小值的操作处理，以减小不同尺度参数下的暗通道值的计算复杂度；步骤a2实现了据输入图像I(x,y)对像素点进行纹理分类；首先设定k-1个图像纹理分类阈值T_m，来对应k个不同的纹理类型W，所述k个纹理类型W与k个暗通道值一一映射，W对应的梯度值越大，则暗通道值对应的滑动窗口的尺寸Ω_i越小；然后基于灰度图像I'(x,y)中每个像素点的梯度值G(x,y)所对应的纹理类型，该纹理类型所对应得到每个像素点的暗通道值D(x,y)，再统计所有像素点的D(x,y)得到全局暗通道值DC(I)；将得到的DC(I)归一化到[0,1]范围内，取值为DC_N(I)；在步骤c中，基于之前获得的DC_N(I)及灰度图像I'(x,y)，通过计算得到场景透射系数矩阵T，以及大气光照向量A＝[I_xy(R),I_xy(G),I_xy(B)]，其中步骤c1和c2可并行执行；最后，在步骤d中，基于场景透射系数矩阵T和大气光照向量A实现对输入图像的去雾处理，经去雾处理计算处理后获得无雾图像J(x,y)，具体的去雾计算处理既可以是现有的He方法中的去雾处理模型(He方法中，t₀的取值为0.1)，也可以是本发明进一步改进和/修正的去雾计算处理操作。本发明的去雾方法，与现有技术相比，基于图像纹理分类实现了对图像的去雾处理，避免了现有的复杂的软抠图优化步骤来得到场景透射系数矩阵T，简化了去雾运算处理的复杂度，并行化高等优点，能满足实时处理应用的需要。

为了进一步减少精准化本发明的纹理分类，本发明对图像纹理分类阈值T_m进行了补充限定：相邻的两个图像纹理分类阈值之间存在α倍的系数关系，即αT_m＝T_m+1或T_m＝αT_m+1，所述α为[2.0,3.0]之间的任一系数，通过限定的相邻的图像纹理分类阈值T_m和T_m+1系数关系，基于灰度图像I'(x)的最大梯度值G_max，能根据输入图像I(x)计算得到各图像纹理分类阈值T_m的具体值。另外，还可以进一步限定图像纹理分类阈值T₁＝β×G_max，或图像纹理分类阈值T_k-1＝β×G_max，以进一步降低本发明的计算复杂度，其中，β取值范围为(0,1)之间的任一系数。

在本发明中，计算灰度图像I'(x,y)中每个像素点的梯度值G(x,y)即可以使用已有的方法，如惯用的Sobel算子(数字图像处理中惯用的边缘检测算子)，因为Sobel算子的标准的模板只含有9个像素点，其覆盖范围较小，对于场景中不同深度物体的边缘区分度不够理想，本发明提出了一种改进的梯度值G(x,y)计算处理步骤，以便于对场景中不同深度的物体边缘能较好检测：

取像素点p(x,y)在4个不同方向的梯度模板下对应的梯度值中的最大项，为像素点p(x,y)的梯度值G(x,y)，即所述4个不同方向为水平、竖直，45°135°，用表示4个不同方向梯度模板，k表示梯度模板编号；

所述其中p(x+i,y+j)指以像素点p(x,y)为中心，坐标偏移量为(i,j)的相邻像素点；表示在梯度模板k中，对应于坐标(i,j)处的系数值。

同时，为了进一步保证去雾处理后的图像的亮度，本发明对大气光照向量的计算进行了修正，即所述步骤c1中，还对所述大气光照向量A[I_xy(R),I_xy(G),I_xy(B)]进行修正处理，修正后的大气光照向量为[C_l,C_l,C_l]，其中C_l取I_xy(R)、I_xy(G)和I_xy(B)中的最大值。

为了保证去雾处理后的图像中的天空区域不出现过度增强现象，即避免去雾处理后的图像的天空部分出现强烈的光晕现象，经过多次实验论证，发现将透射系数全局最小值t₀的取值限定在0.25～0.35能有效的避免光晕现象，因而在去雾处理中淘汰了He方法中惯用的取t₀为0.1做法，即本发明对He方法中的去雾处理模型进行了修正，具体为：所述步骤S5中，图像去雾处理具体为：设定透射系数全局最小值t₀，所述t₀的取值为0.25～0.35(优选的，t₀取为0.3)；取场景透射系数T(x)与t₀两者中的最大项为T_max，即T_max＝max(T(x,y),t₀)；经去雾处理 $J(x,y)=\frac{I(x,y)-A(1-T_{\max })}{T_{\max }},$ 得到无雾图像J(x,y)。

进一步的，为了更好的控制去雾处理后的图像的饱和度，本发明对He方法中的去雾处理模型进行了优化，增加了透射率调整系数t₁，所述t₁的取值为1.0～1.3，无雾图像J(x,y)的计算过程为： $J(x,y)=\frac{I(x,y)-A(1-T_{\max })}{T_{\max }\×t_1}.$

综上，由于采用了上述技术方案，本发明的有益效果是：避免复杂的软抠图优化步骤，降低了He方法去雾处理的运算复杂度，避免了去雾处理后容易导致的光晕现象，并且能更好的控制去雾处理后图像的饱和度，同时对大气光照向量的计算进行了修正以保证去雾图像的亮度，即本发明的图像去雾方法处理处理速度快，去雾处理的图像质量高、且能满足实时处理应用的需求。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明具体实施方式的流程图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

实施例1

参照图1，本发明对输入图像I(x,y)的基于纹理自适应的图像去雾方法采用以下步骤实现：

骤S101：首先将输入图像I(x,y)转换到RGB色彩空间，并计算图像中所有像素点在RGB色彩空间中各色彩通道的最小值，得到输入图像I(x,y)的初始暗通道统计值DC₀(I)，即公式(1.1)：

${\mathrm{DC}}_0\left(I\right)=\underset{c\∈(r,g,b)}{\min }\left(I^c(x,y)\right)---\left(1.1\right)$

本发明通过先提取所有像素点的最小分量值的操作，为下一步计算不同的尺度N_i下的暗通道值提供一个标准的输入量，这样可以避免重复的像素分量取最小值操作，以减小暗通道值的计算复杂度。

接着根据公式(1.2)对DC₀(I)按k(k≥2)个不同尺度N_i进行滑窗最小值滤波，其中滑动窗口的尺寸记为Ω_i＝N_i×N_i，得到输入图像I(x,y)在不同尺度N_i下的暗通道值

${\mathrm{DC}}_{{\mathrm{\Ω}}_i}\left(I\right)=\underset{y\∈{\mathrm{\Ω}}_i\left(x\right)}{\min }\left({\mathrm{DC}}_0\left(I\right)\right)---\left(1.2\right)$

其中是以待处理像素点(x,y)为中心的一个图像块，其尺度为N_i，其中N_i<N_i+1，且N_i为奇数。在本实施例中，取3个不同尺度N_i＝{N₀＝3,N₁＝15,N₂＝30}根据公式(1.2)进行滑窗最小值滤波处理。

骤S102：将输入图像I(x,y)转换为灰度图像I'(x,y)，计算灰度图像I'(x,y)中每个像素点的梯度值G(x,y)，为了便于对场景中不同深度的物体边缘能较好检测，通过公式(1.3)计算梯度值G(x,y)：

$G(x,y)=\max \{G_p^{{\&dtri;}_k}(x,y),k=\mathrm{0,1,2,3}\}---\left(1.3\right)$

其中， $G_p^{{\&dtri;}_k}(x,y)=\underset{i=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{j=-2}{\overset{2}{\mathrm{\&Sigma;}}}p(x+i,y+j)*m^{{\&dtri;}_k}(i,j)$

上式中，表示像素点p(x,y)在4个不同方向的梯度模板下对应的梯度值，4个不同方向为水平、竖直，45°135°，用表示4个不同方向梯度模板，k＝0,1,2,3表示梯度模板编号，分别对应4个不同方向；p(x+i,y+j)指以像素点p(x,y)为中心，坐标偏移量为(i,j)的相邻像素点；表示在梯度模板k中，对应于坐标(i,j)处的系数值。

根据公式(1.4)和(1.5)计算图像纹理分类阈值T₁和T₂：

T_k-2＝αβ×G_max    (1.4)

T_k-1＝β×G_max    (1.5)

上式中，G_max是灰度图像I'(x,y)中的最大梯度值，α取值范围为2.0～3.0，β取值为为(0,1)之间的任一系数，α可以取2、2.5、2.7或3等，β可以取0.1，0.06、0.07、0.08或1.0等，在本实施例中，α取值为2.0，β取值为0.06，来计算得到T₁和T₂的值。

本实施例中，因为设置了2个图像纹理分类阈值，则存在3个取值区间，对应3个不同的纹理类型W，分别为图像的平坦区、图像的纹理区、图像的边缘区，为了与k(k＝3)个暗通道值一一映射，W对应的梯度值越大，则暗通道值对应的滑动窗口的尺寸Ω_i越小，本具体实施方式中，不同的纹理类型取值为：2——图像的平坦区，1——图像的纹理区，0——图像的边缘区，即

$W(x,y)=\left\{\begin{array}{cc}2,& G(x,y)<T_1\\ 1,& T_1\&le;G(x,y)<T_2\\ 0,& G(x,y)\&GreaterEqual;T_2\end{array}\right.---\left(1.6\right)$

将每个像素点的梯度值G(x,y)与图像纹理分类阈值T₁和T₂进行比较，根据公式(1.6)得到各像素点对应的纹理类型。

步骤S101和S102并行执行，以提高本发明的处理速度。

步骤S201：根据步骤S102得到的灰度图像I'(x,y)中每个像素点的纹理类型W(x,y)，计算图像I'(x,y)的每个像素点的暗通道值

设W(x,y)＝w，则有且：

${\mathrm{DC}}_{{\mathrm{\&Omega;}}_w}\left(I\right)=\left\{\begin{array}{cc}{\mathrm{DC}}_{{\mathrm{\&Omega;}}_i}\left(I\right),& w=i\\ 0,& w\&NotEqual;i\end{array}\right.---\left(1.7\right)$

统计所有像素点的暗通道值D(x,y)，得到全局暗通道值DC(I)，对所述DC(I)进行归一化处理，处理结果记为DC_N(I)；

步骤S301，根据DC_N(I)计算场景透射系数矩阵T：T＝1-DC_N(I)；

步骤S302，根据DC_N(I)、输入图像I(x,y)得到大气光照向量A＝[I_xy(R),I_xy(G),I_xy(B)]：

首先，将输入图像I(x,y)转换为灰度图像I'(x,y)，该步骤可以和上述已进行步骤并行操作；

其次，对DC_N(I)中各灰度点按灰度值从高到低的顺序进行排序，并将各灰度点在图像中的位置坐标保存于位置矩阵L中(为了简化计算，通常仅对排在前0.1％的灰度点保存位置坐标)；

然后，根据位置矩阵L，得到灰度图像I'(x,y)中具有最大灰度值的像素点(具体处理过程可以是：根据位置矩阵L中记录的坐标值，取出灰度图像I'(x,y)中对应的像素点，并将该像素点的位置坐标及灰度值保存于矩阵C中，在矩阵C中找出灰度值最大的像素点)，记录位置信息(x,y)，在输入图像I(x,y)中取出该像素点的RGB三通道的值，记为大气光照向量:A’＝[I_xy(R),I_xy(G),I_xy(B)]，为了保证去雾处理后图像的亮度，对A’的三个分量进行修正，修正后的大气光照向量为：A＝[C_l,C_l,C_l]，其中C_l＝max(I_xy(R),I_xy(G),I_xy(B))，上述步骤S402可以与步骤S401并行处理。

步骤S401，据场景透射系数矩阵T和大气光照向量A对输入图像I(x,y)进行图像去雾处理，得到无雾图像J(x,y)，为了保证去雾处理后的图像中的天空区域不出现过度增强现象，以及更好的控制去雾处理后的图像的饱和度，无雾图像J(x,y)可以通过下式计算处理得到：

上述步骤中，无雾图像可以根据公式(1.7)计算得到：

$J(x,y)=\frac{I(x,y)-A(1-\max (T(x,y),t_0))}{\max (T(x,y),t_0)\&times;t_1}---\left(1.7\right)$

其中t₀为透射系数的全局最小值，取值范围为[0.25，0.35]，例如取0.25、0.28、0.29、0.3、0.32、0.35等，本实施例中取值为0.3时，避免光晕现象效果最好；t₁为透射率调整系数，取值范围为1.0～1.3，例如取1.1、1.15、1.2、1.3等，本实施例中，取值为1.2。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (11)

1.一种基于纹理的自适应图像去雾方法，其特征在于，包括下列步骤：

步骤a：

根据输入图像I(x,y)计算暗通道统计值根据输入图像I(x,y)对像素点进行纹理分类：

a1、将输入图像I(x,y)转换到RGB色彩空间，计算各像素点在RGB色彩空间中各色彩通道的最小值，得到输入图像I(x,y)的初始暗通道统计值DC₀(I)；

并对DC₀(I)按k个不同尺度N_i进行滑窗最小值滤波，所述N_i的下标i为标识区分符，所述k大于等于2，其中滑动窗口的尺寸记为Ω_i＝N_i×N_i，得到输入图像I(x,y)在不同尺度N_i下的暗通道值

a2、将输入图像I(x,y)转换为灰度图像I'(x,y)，计算灰度图像I'(x,y)中每个像素点的梯度值G(x,y)；

设定k-1个图像纹理分类阈值T_m，下标m为标识区分符，其中所述T_m小于灰度图像I'(x,y)的最大梯度值G_max，基于所述k-1个T_m的值存在k个取值区间，每个取值区间对应一个纹理类型W；

所述k个纹理类型W，与k个暗通道值一一映射，W对应的梯度值越大，则暗通道值对应的滑动窗口的尺寸Ω_i越小；

将每个像素点的梯度值G(x,y)与T_m进行比较，得到各像素点对应的纹理类型W(x,y)；

步骤b：

根据各像素点对应的纹理类型W(x,y)、各纹理类型W对应的得到灰度图像I'(x,y)的每个像素点的暗通道值D(x,y)；

统计所有像素点的暗通道值D(x,y)，得到全局暗通道值DC(I)，对所述DC(I)进行归一化处理，处理结果记为DC_N(I)；

步骤c：

c1、根据步骤b的DC_N(I)计算场景透射系数矩阵T，所述T为数值1与DC_N(I)的差；

c2、根据步骤a2的灰度图像I'(x,y)、步骤b的DC_N(I)得到大气光照向量A＝[I_xy(R),I_xy(G),I_xy(B)]：

对DC_N(I)中各灰度点按灰度值从高到低的顺序进行排序，并将各灰度点在图像中的位置坐标保存于位置矩阵L中；

根据位置矩阵L中记录的坐标值，查找灰度图像I'(x,y)中灰度值最大的像素点，在输入图像I(x,y)中取出所述灰度值最大的像素点所对应的RGB三通道的值，记为大气光照向量A＝[I_xy(R),I_xy(G),I_xy(B)]；

步骤d：

根据步骤c的场景透射系数矩阵T和大气光照向量A对输入图像I(x,y)进行图像去雾处理。

2.如权利要求1所述的方法，其特征在于，所述步骤a2中，所述k-1个图像纹理分类阈值T_m中，相邻的两个图像纹理分类阈值之间存在α倍的系数关系，所述α为2.0～3.0。

3.如权利要求2所述的方法，其特征在于，所述k-1个图像纹理分类阈值T_m中，T₁＝β×G_max或T_k-1＝β×G_max，所述G_max为灰度图像I'(x,y)的最大梯度值，所述β取值范围为(0,1)，其中T_m的下标m的取值为1～k-1。

4.如权利要求1、2或3所述的方法，其特征在于，所述步骤a2中，计算灰度图像I'(x,y)中每个像素点的梯度值G(x,y)具体为：

取像素点p(x,y)在4个不同方向的梯度模板下对应的梯度值中的最大项，为像素点p(x,y)的梯度值G(x,y)；

所述4个不同方向为水平、竖直，45°、135°，用▽_k表示4个不同方向梯度模板，k表示梯度模板编号；

所述其中p(x+i,y+j)指以像素点p(x,y)为中心，坐标偏移量为(i,j)的相邻像素点；表示在梯度模板k中，对应于坐标(i,j)处的系数值。

5.如权利要求1、2或3所述的方法，其特征在于，所述步骤c2中，还对所述大气光照向量A[I_xy(R),I_xy(G),I_xy(B)]进行修正处理，修正后的大气光照向量为[C_l,C_l,C_l]，其中C_l取I_xy(R)、I_xy(G)和I_xy(B)中的最大值。

6.如权利要求1所述的方法，其特征在于，所述步骤a1中，取k的值为1，则得到输入图像I(x,y)在尺度N_i下的暗通道值则步骤a2仅为：将输入图像I(x,y)转换为灰度图像I'(x,y)；步骤b中，直接对所述进行归一化处理，处理结果记为DC_N(I)；根据所述灰度图像I'(x,y)和DC_N(I)进入步骤c；在所述步骤c2中，还对所述大气光照向量A[I_xy(R),I_xy(G),I_xy(B)]进行修正处理，修正后的大气光照向量为[C_l,C_l,C_l]，其中C_l取I_xy(R)、I_xy(G)和I_xy(B)中的最大值。

7.如权利要求1、2、3或6所述的方法，其特征在于，所述步骤d中，图像去雾处理具体为：

设定透射系数全局最小值t₀，所述t₀的取值为0.25～0.35，取场景透射系数T(x,y)与所述t₀两者中的最大项为T_max，经去雾处理得到无雾图像J(x,y)。

8.如权利要求7所述的方法，其特征在于，设定透射率调整系数t₁，所述t₁的取值为1.0～1.3，所述无雾图像 $J(x,y)=\frac{I(x,y)-A(1-T_{\max })}{T_{\max }\&times;t_1}.$

9.如权利要求7所述方法，其特征在于，所述透射系数全局最小值t₀的取值为0.3。

10.如权利要求8所述方法，其特征在于，所述透射系数全局最小值t₀的取值为0.3。

11.如权利要求1、2或3所述的方法，其特征在于，所述步骤a1中，k的取值为3。