CN103971333B - 基于多尺度分析与深度估计的大气退化图像增强方法 - Google Patents

Abstract

一种基于多尺度分析与深度估计的大气退化图像增强方法，包括：获取图像的大气光值；获取图像中粗略透射率矩阵；采用线性伸缩的方法优化所述粗略透射率矩阵，获得精细透射率矩阵；基于所述大气光值和精细透射率矩阵，将原始观测图优化为初步还原图；基于无上下采样的多尺度框架对初步还原图实现图像细节的增强。本发明方法针对大气退化图像，构造粗略透射率矩阵，实现透射率矩阵的细化优化与精细估计深度信息，并结合边缘矩阵分析获取大气光值，根据退化模型构造实现大气退化图像的复原；进而利用无上下采样的多尺度框架下实现增强，可获取较好的增强结果。本方法可应用于遥感成像、交通监控成像等，快速实现大气退化图像的增强。

Description

基于多尺度分析与深度估计的大气退化图像增强方法

技术领域

本发明涉及图像处理技术，尤其涉及一种基于多尺度分析与深度估计的大气退化图像增强方法。

背景技术

随着计算机视觉***应用于户外场景，如城市交通监控、航拍、遥感成像等等，产生了一些亟待解决的问题，尤其是计算机视觉***对环境非常敏感。在雾、霾等天气条件下，大气中悬浮的大量微小水滴、气溶胶，这些因素的吸收与散射作用使能见度降低，从而导致采集的图像严重降质，极大地限制了***的功能。

在雾、霾等恶劣天气条件下，悬浮的大量粒子、水滴等使得光线散射，物体表面的反射光由于这种散射而发生衰减，这种光强的衰减必然导致成像亮度的降低，部分也会导致图像模糊以及分辨率下降；另外，天空中的其他光线由于粒子、水滴的散射而参与物体成像，从而使得图像对比度的降低。

目前，图像大气退化补偿技术的主要任务是去除天气因素对图像质量的影响，从而增强图像的可视度。这是一个跨学科的前沿性课题，由于其广阔的应用前景，在近几年吸引了国内外众多的研究人员的兴趣，并已经成为计算机视觉和图像处理领域研究的热点问题之一。

发明内容

本发明解决的问题是提供一种基于多尺度分析与深度估计的大气退化图像增强方法，可以对图像直接估计实现退化补偿并得到增强后的图像，成像效果佳。

为解决上述问题，本发明实施例提供了一种基于多尺度分析与深度估计的大气退化图像增强方法，包括：获取图像的大气光值；获取图像中粗略透射率矩阵；采用线性伸缩的方法优化所述粗略透射率矩阵，获得精细透射率矩阵；基于所述大气光值和精细透射率矩阵，将原始观测图优化为初步还原图；基于无上下采样的多尺度框架对初步还原图实现图像细节的增强。

可选的，获取图像的大气光值的方法包括：通过分析原始观测图中的边缘权重信息，构建边缘矩阵，从大于阈值的边缘及附近区域寻找最大强度的像素，并将该像素的值作为选择大气光值的决定性因子。

可选的，对于任意位置处的边缘矩阵为其中μ定义如下 是模糊图像的局部方差，则是噪声的局部方差；η(i,j)定义为噪声的局部方差由来估计，并且是模糊图的平滑结果的局部方差，而s是一个N×N的平滑算子。

可选的，在原始观测图的非天空区域中，粗略透射率矩阵为在原始观测图的天空区域中，粗略透射率矩阵为

可选的，优化所述粗略透射率矩阵的方法包括：利用线性伸缩优化公式T_t＝Ag+B，采用局部窗口的方式依次对粗略透射率矩阵进行优化，T_t为精细透射率矩阵，g为原始观测图，对于第n个局部窗口w_n，有 p为窗口w_n内的某个像素，N_w为像素数量，μ_n与σ_n为窗口内像素的均值和方差，ε为防止病态的常数，是T在窗口内的均值。

还包括，对所述参数A_n与B_n求取平均，精细透射率矩阵其中 N_pi是所有包含像素p的窗口的数量，pi指的是所有包含像素p的窗口。

还包括，所述初步还原图g为原始观测图，A为大气光值，T_t为精细透射率矩阵，T₀为常数。

还包括，基于无上下采样的多尺度框架实现图像细节的增强的具体步骤包括：平滑初步还原图；基于不同程度的平滑构建多细节尺度图像；运用多尺度分解图像后，给不同尺度上的子图像以不同的权重，实现图像增强。

与现有技术相比，本技术方案具有以下优点：

本发明方法针对大气退化图像，构造粗略透射率矩阵，结合指向滤波技术，实现透射率矩阵的细化优化与精细估计深度信息，并结合边缘矩阵分析获取大气光值，根据退化模型构造实现大气退化图像的复原；进而利用无上下采样的多尺度框架下实现增强。在本发明方法中，只要一幅输入观测图像，即可迅速获取较好的增强结果。本发明方法可应用于遥感成像、交通监控成像等等，快速实现大气退化图像的增强。

附图说明

图1是本发明实施例的基于多尺度分析与深度估计的大气退化图像增强方法的流程示意图；

图2是本发明实施例的基于无上下采样的多尺度框架实现图像细节的增强的流程示意图；

图3和图4是本发明实施例的利用基于多尺度分析与深度估计的大气退化图像增强方法进行处理的图片对比图。

具体实施方式

下面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。

请参考图1，为本发明实施例的基于多尺度分析与深度估计的大气退化图像增强方法，包括：

步骤S101，获取图像的大气光值；

步骤S102，获取图像中粗略透射率矩阵；

步骤S103，采用线性伸缩的方法优化所述粗略透射率矩阵，获得精细透射率矩阵；

步骤S104，基于所述大气光值和精细透射率矩阵，将原始观测图优化为初步还原图；

步骤S105，基于无上下采样的多尺度框架对初步还原图实现图像细节的增强。

具体的，执行步骤S101，获取图像的大气光值。

设定大气的原始观测图像g，需要获取的初步还原图为f。由于图像大气退化模型为g(i,j)＝f(i,j)e^-βd(i,j)+A(1-e^-βd(i,j))，A是大气光值（环境光的强度），β为大气粒子的散射系数，d(i,j)是像素(i,j)对应处的景物深度。通常上述公式中的e^-βd(i,j)被称为透射率T，则(i,j)处的透射率可用T(i,j)表示。

在现有技术中，往往把图像中最亮点的强度值当作是大气光值A。由于实际应用场合中景物的复杂性，亮度最大的像素可能是一些景物如白色的建筑等，因此这种情况下最亮值未必可以选为大气光值。

本发明通过分析原始观测图g中的边缘权重信息，构建边缘矩阵，从大于阈值的边缘及附近区域寻找最大强度的像素，并将该像素的值作为选择大气光值A的决定性因子。

边缘矩阵M的值是由局部的信号和噪声决定的。M在局部窗口N×N内计算，对于任意位置处的值M(x,y)有

μ值用来确定M的数值的范围，μ定义如下

上式 是模糊图像的局部方差,则是噪声的局部方差。max_n(A)代表A中的第n个最大值，这里采用了前10个最大值的平均来代替单独最大值以克服随机性。

η(i,j)定义为

噪声的局部方差由来估计，并且是模糊图的平滑结果的局部方差，而s是一个N×N的平滑算子,

如上述分析，M(x,y)∈(0,1)。

综上获取边缘权重矩阵后，对于M>th（阈值）的区域在三通道展开最大值的寻找，前5个最大值的平均作为大气光值，获取了A，包含了对应于R（red），G（Green），B（blue）三个值。

执行步骤S102，获取图像中粗略透射率矩阵。

在本发明实施例中，采用暗通道先验对透射率进行估计。

在绝大多数非天空的局部区域里，某一些像素总会有至少一个颜色通道具有很低的值。于是，用数学表达式可表示为：

其中p表示某个像素，Ω表示以p为中心的邻域，p_m代表颜色中的r或g或b通道。

根据暗通道先验，对于原始观测图的中非天空区域，f_dark的强度总是很低且趋近于0，即有f^dark(i,j)→0。结合大气退化模型公式，可获取透射率T的求解方式：

且由于暗通道先验无法处理天空相关的区域，然而，对天空的成像却也往往有大气退化的影子。因此，为了使得求解同时满足天空区域，引进一个自适应常数k(0<k≤1)，使得计算结果可以有针对性地保留一部分遥远景物的雾——克服天空区域的影响：

于是获取了粗略透射率矩阵，同时根据T(i,j)=e^-βd(i,j)的公式可从侧面获悉深度信息的估计。

执行步骤S103，采用线性伸缩的方法优化所述粗略透射率矩阵，获得精细透射率矩阵。

由于步骤S102中获取的粗略透射率矩阵是相对粗糙的，本发明采用线性伸缩的方法优化该矩阵，使得大气复原更有效果。假设优化细化的透射率矩阵为T_t，那么细化过程可简述为：

T_t＝Ag+B

其中A与B为系数参数。为保证优化质量，本发明采用局部窗口w依次优化（窗口大小M×M）。对于第n个窗口w_n，有

上面式子中，p为窗口w_n内的某个像素(代指w_n内的任意像素)，N_w为像素数量，μ_n与σ_n为窗口内像素的均值和方差，ε为防止病态的常数，是T在窗口内的均值。对于某个像素p，包含在诸多的窗口w内，不同的窗口内，其参数A_n与B_n是不同的，需要求取平均，于是像素p处的细化透射率为：

上式中， N_pi是所有包含p的窗口的数量，pi(pi=1,2,…,N_pi)指的是所有包含p的窗口。

于是可获取精细透射率矩阵T_t，实现精细的深度估计。

执行步骤S104，基于所述大气光值和精细透射率矩阵，将原始观测图优化为初步还原图。

根据图像大气退化模型g(i,j)＝f(i,j)e^-βd(i,j)+A(1-e^-βd(i,j))，可简单获取复原模型为：

为防止病态出现，引入常数T₀，初步还原图f可改写为：

其中g为原始观测图，A为大气光值，T_t为精细透射率矩阵，T₀为常数。

执行步骤S105，基于无上下采样的多尺度框架对初步还原图实现图像细节的增强。

相比于原始辐射，大气退化图像的对比度下降得很多，而且细节丢失较严重，需要增强而实现细节的补偿。本发明采用多尺度框架来实现增强。一般的多尺度构造会牵涉到上下采样的问题，在采样过程中很容易丢失信号的信息。在这里，利用平滑法构建无上下采样的多尺度框架，通过前后参数的相对调整，实现图像细节的增强。

在本实施例中，请参考图2，基于无上下采样的多尺度框架实现图像细节的增强的具体步骤包括：

步骤S201，平滑初步还原图；

步骤S202，基于不同程度的平滑构建多细节尺度图像；

步骤S203，运用多尺度分解图像后，给不同尺度上的子图像以不同的权重，实现图像增强。

具体的，先初步还原图进行平滑处理。在为了通过控制图像非零梯度的个数，实现平滑图像保留边缘的目的，将梯度最小化的思路应用于图像平滑，本实施例中的平滑算子S的结构上接近于I，能尽可能平滑图像除了那些高对比度的边缘。S的求解方程设计如下：

其中C(S)＝#{p|▽S_p≠0}，且λ是规整化因子。最终上式被简写为：S＝L(I,λ)。当λ增大，输出的S变得更平滑，其典型的取值范围是[0.001，0.1]，因而调节λ，可获取不同平滑程度的图像。

在对于初步还原图f，利用S＝L(f,λ)，可以将初步还原图进行不同程度地平滑，继而构建多细节尺度图像。假设该分解为(n+1)级水平，包括1个基础层S_n与n个细节层(d_i～d_n)，都称为子图像。第i级尺度的平滑图像如下：

S_i＝L(f,λ_i)

λ_i代表i级尺度水平的规整化参数，并且λ_i＞λ_i-1。S_n被认为是基础层，细节层被定义为：

d_i＝S_i-1-S_i

这里S₀＝f。该多尺度分解就是将原始图像分解成基础层与细节层：

由于这种基于平滑的多细节尺度分解不涉及图像上下采样，因此最终的结果不受限于带宽。

在运用多尺度分解图像后，给不同尺度上的子图像以不同的权重，合成的规则如下：

U＝α₁d₁+α₂d₂+...+α_nd_n+α_n+1S_n

U是最终合成的结果，α_k(k=1,2…n+1)是不同尺度图像的权重。使用适当的α_k，能够调节不同细节层次图像的比重，可以使得最终的合成图像效果更好，实现增强并突出细节。通常，n很小，n<5已经足够。一个大的α₁将会增强最终图像的细节。一个大的α_n将会使得结果较为平滑。其余参数的效应服从以下规则：k越靠近1，那么一个大的α_k对增强细节的能力大于平滑的能力，反之则相反。α_k通常在[0,1]之间。

最终获取了大气的原始观测图像g的增强结果U。

请参考图3和图4，图3是原始观测图，图4是经过所述大气退化图像增强方法处理后的清晰图，从两图中能很明显看到图像的处理变化，优化效果明显。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (7)

1.一种基于多尺度分析与深度估计的大气退化图像增强方法，其特征在于，包括：

获取图像的大气光值；

获取图像中粗略透射率矩阵；

采用线性伸缩的方法优化所述粗略透射率矩阵，获得精细透射率矩阵；

基于所述大气光值和精细透射率矩阵，将原始观测图优化为初步还原图；

基于无上下采样的多尺度框架对初步还原图实现图像细节的增强；

获取图像的大气光值的方法包括：

通过分析原始观测图中的边缘权重信息，构建边缘矩阵，从大于阈值的边缘及附近区域寻找最大强度的像素，并将该像素的值作为选择大气光值的决定性因子。

2.如权利要求1所述的基于多尺度分析与深度估计的大气退化图像增强方法，其特征在于，

对于任意位置处的边缘矩阵为其中μ定义如下g是原始观测图，是模糊图像的局部方差，则是噪声的局部方差；η(i,j)定义为噪声的局部方差由来估计，并且是模糊图的平滑结果的局部方差，而s是一个N×N的平滑算子。

3.如权利要求1所述的基于多尺度分析与深度估计的大气退化图像增强方法，其特征在于，在原始观测图的非天空区域中，粗略透射率矩阵为在原始观测图的天空区域中，粗略透射率矩阵为

4.如权利要求1所述的基于多尺度分析与深度估计的大气退化图像增强方法，其特征在于，优化所述粗略透射率矩阵的方法包括：利用线性伸缩优化公式T_t＝Ag+B，采用局部窗口的方式依次对粗略透射率矩阵进行优化，T_t为精细透射率矩阵，g为原始观测图，对于第n个局部窗口w_n，有

$A_n=\frac{1}{N_w}\frac{{\mathrm{\&Sigma;}}_{p\&Element;w}{g}_p{T}_p-{\mathrm{\&mu;}}_n{\stackrel{\&OverBar;}{T}}_n}{{\mathrm{\&sigma;}}_n+\mathrm{\&epsiv;}}$

$B_n={\stackrel{\&OverBar;}{T}}_n-A_n{\mathrm{\&mu;}}_n$

p为窗口w_n内的某个像素，N_w为像素数量，μ_n与σ_n为窗口内像素的均值和方差，ε为防止病态的常数，是T在窗口内的均值。

5.如权利要求4所述的基于多尺度分析与深度估计的大气退化图像增强方法，其特征在于，还包括，对所述参数A_n与B_n求取平均，精细透射率矩阵其中N_pi是所有包含像素p的窗口的数量，pi指的是所有包含像素p的窗口。

6.如权利要求1所述的基于多尺度分析与深度估计的大气退化图像增强方法，其特征在于，所述初步还原图g为原始观测图，A为大气光值，T_t为精细透射率矩阵，T₀为常数。

7.如权利要求1所述的基于多尺度分析与深度估计的大气退化图像增强方法，其特征在于，基于无上下采样的多尺度框架实现图像细节的增强的具体步骤包括：

平滑初步还原图；

基于不同程度的平滑构建多细节尺度图像；

运用多尺度分解图像后，给不同尺度上的子图像以不同的权重，实现图像增强。