CN106683055A - 一种基于退化模型和群稀疏的雾天图像复原方法 - Google Patents

Abstract

本发明公开了一种基于退化模型和群稀疏的雾天图像复原方法，该方法首先在研究了雾天大气散射模型的基础上，分析总结了各像素点的深度变化规律和因大气光散射造成的像素点的亮度变化规律，由此设计了雾天图像退化算子，并构建了雾天退化模型。然后，在退化模型的基础上，利用群稀疏表示方法训练得到每个群对应的群字典，接着利用SBI方法进行稀疏系数的求解，最终复原后的图像通过群字典和稀疏系数表示出来。本发明将提出的雾天退化模型与群稀疏表示方法相结合，计算图像复原结果，充分利用了图像的局部稀疏性和非局部自相似性，保证复原后的雾天图像具有良好的对比度和清晰度。

Description

一种基于退化模型和群稀疏的雾天图像复原方法

技术领域

本发明涉及一种基于退化模型和群稀疏的雾天图像复原方法，属于雾天图像处理技术领域。

背景技术

雨、雾等恶劣天气对很多行业都会产生很大的影响，比如：在交通行业，无论是高速公路，还是航空，雨、雾天气都会增加交通事故发生的风险。图像去雾的目的就是去除天气因素对图像质量的影响，以恢复清晰的图像，属于图像复原的一种。该课题近年来一直是图像处理和计算机视觉领域的研究热点。

很多图像复原问题的本质都是设计了有效的正则项来准确刻画图像的先验知识，近几年，随着稀疏表示理论的发展，稀疏表示模型成为被广泛关注的先验模型，该模型利用自然图像的稀疏性，在一个较为合适的字典下，由字典中少量元素的线性组合对图像信号进行稀疏表示。目前较先进的稀疏表示模型包括基于图像块的稀疏表示模型和基于群的稀疏表示模型等，其中，基于群的稀疏表示模型的优点除了在字典优化和求解稀疏系数时计算量较小之外，其还充分考虑了图像块间的局部稀疏性和非局部自相似性，能更好的对图像进行复原表示。

公开号CN104091307A《基于反馈均值滤波的雾天图像快速复原方法》，该方法以大气散射模型为基础，主要通过图像预处理、估计大气光值、估计透射图、色调调整等步骤对雾天图像进行复原。该方法虽然可以较准确地估计大气光值，但其复原过程较为复杂。

Tarel等人2009年在IEEE International Conference on Computer Vision上发表论文“Fast visibility restoration from a single color or gray level image”，提出了一种快速图像去雾算法。该算法利用中值滤波的变形形式估计大气耗散函数，然而中值滤波并非好的边缘保持滤波方法，因此复原结果不理想。同时，该方法包含的参数较多，且参数最优值不易设定。

Zhang等人2014年在IEEE Transactions on Image Processing上发表论文“Group-based sparse representation for image restoration”，提出了一种基于群稀疏的图像复原方法。它能够解决一般的图像退化问题，如：图像去噪声、去模糊等，将其直接应用到雾天图像复原问题中时，但由于没考虑到雾天图像本身的特性，无法得到令人满意的复原结果。

综上，现有的雾天图像复原方法，存在的诸多局限性主要表现在：(1)有一部分的雾天图像复原方法是基于大气退化模型的，通过求得图像中各像素点的深度、大气散射系数等信息，求解大气退化模型参数，以实现雾天图像复原。这类方法需要较多的先验知识，缺乏普适性；(2)另外一部分基于非物理模型的去雾方法，经常出现复原过程复杂、参数设定困难等情况，且复原后的图像常出现颜色过饱和的情况，同时在景物颜色突变的地方还会出现Halo效应。

发明内容

本发明所要解决的技术问题是：提供一种基于退化模型和群稀疏的雾天图像复原方法，设计退化算子并构建雾天退化模型，将雾天退化模型与群稀疏表示方法相结合，保证复原后的雾天图像具有良好的对比度和清晰度。

本发明为解决上述技术问题采用以下技术方案：

一种基于退化模型和群稀疏的雾天图像复原方法，包括如下步骤：

步骤1，获取雾天图像，将雾天图像通过如下退化模型表示：

y＝Hx+N

其中，y为雾天天气下获取到的退化图像，x为退化前的清晰图像，N为高斯白噪声，H为退化算子，且H＝1-e^-βd，β为大气散射系数，d为退化图像上各像素点的深度，r₁、r₂分别为以退化图像中心为坐标原点任意一个像素点的横、纵坐标；

步骤2，设定滑动窗口的长和宽，将雾天退化图像按从左至右位移二分之一长，从上至下位移二分之一宽的方式遍历，得到大小与滑动窗口大小相同的图像块；对任意图像块x_k,k＝1,2,…,n，将以该图像块为中心的正方形内其他图像块作为该图像块的邻近图像块，利用欧氏距离在邻近图像块中寻找与该图像块最匹配的c个图像块，且邻近图像块的个数大于c，将c个图像块中的每个图像块作为矩阵的一列，得到群n为图像块的总数；

步骤3，对每个群进行估计，并对该估计进行奇异值分解，得到群对应的自适应群字典其中，为的原子，i＝1,2,…,m，m为原子的个数；

步骤4，将每个群基于自适应群字典进行表示，并利用分离Bregman迭代算法求解稀疏系数使得其中，为的元素，i＝1,2,…,m，m为元素的个数；

步骤5，根据自适应群字典的集合和稀疏系数的集合，得到复原后的图像。

作为本发明的一种优选方案，步骤3所述对该估计进行奇异值分解，得到群对应的自适应群字典的公式为：

其中，为群的估计，为对角矩阵，为的元素，i＝1,2,…,m，m为元素的个数，为对角矩阵，分别为的列向量，为两个相互正交的矩阵，T表示转置；

群对应的自适应群字典中各原子表示为：

作为本发明的一种优选方案，步骤4所述将每个群基于自适应群字典进行表示，公式为：

其中，为稀疏系数，β为大气散射系数，d为退化图像上各像素点的深度，为群的估计，λ为正则项系数，||·||₂为L2范数，||·||₀为L0范数。

作为本发明的一种优选方案，步骤5所述复原后的图像表示为：

x＝D_G οα_G

其中，x为复原后的图像，D_G为自适应群字典的集合，α_G为稀疏系数的集合。

作为本发明的一种优选方案，步骤4所述分离Bregman迭代算法中，迭代终止条件为迭代次数达到5次。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明在研究了雾天大气散射模型的基础上，分析总结了各像素点的深度变化规律和因大气光散射造成的像素点的亮度变化规律，由此设计了雾天图像退化算子，并构建了退化模型。该模型无需计算雾天图像的深度、大气散射系数等附加信息，实现起来简单且有效。

2、本发明将雾天退化模型与群稀疏表示方法相结合，计算雾天图像复原结果，充分考虑了图像块间的局部稀疏性和非局部自相似性，保证复原后的雾天图像具有良好的对比度和清晰度。

附图说明

图1是本发明基于退化模型和群稀疏的雾天图像复原方法的实施流程图。

图2是本发明中大气散射模型示意图。

图3是本发明中设计的退化算子。

图4是本发明中群构建的示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明基于退化模型和群稀疏的雾天图像复原方法的实施流程图，具体步骤如下。

首先，在分析了一般雾天大气散射时像素点的深度变化规律和因大气光散射造成的像素点的亮度变化规律后，设计退化算子H，并构建退化模型。具体步骤包括：

1)如图2所示，设雾天拍摄到的图像中的各像素点的值为E，该值可以表示为各像素点在晴天时的拍摄得到的值和雾天大气光影响而产生的值的矢量和，一般雾天大气散射模型可以由下面的一系列公式表示：

p＝Re^-βd (2)

q＝E_∞(1-e^-βd) (3)

其中，表示各像素点在晴天时获得的值的方向，表示雾天大气光影响而产生的值的方向，p和q表示对应的幅值。R是各像素点在晴天下的辐射度。E_∞是天空区域的亮度。β是大气散射系数(其值在0到1之间变化)。d是各像素点的深度，它随着各像素点距相机之间的距离的变化而变化，具体描述为：

d＝d_min+α(d_max-d_min) (4)

其中，d_min和d_max分别是像素点深度的最小值和最大值，α∈(0,1)为景深调整系数。这里需要指出的是，消失点一般是图像中沿着深度增加的方向景物消失的近似位置，因此消失点位置的深度最深，以消失点为中心向四周深度会逐渐变小。另外，由公式(3)可知，由雾天大气光影响而产生的值q，其变化规律也是消失点位置最大，然后向四周逐渐变小。

2)考虑到雾天采集得到的降质图像隶属图像的退化，我们将其表示成如下退化模型：

y＝Hx+N (5)

其中，x为退化前的清晰图像，y为雾天天气下采集到的退化图像。H表示退化算子，N为退化过程中可能引入的噪声(一般为均值为0的高斯白噪声)。由该公式可以看出，要构建雾天退化模型，关键要计算退化算子H。根据前面所述，像素点深度越大，其退化越严重，因此下面我们在设计退化算子H的时候，假设图像的中心位置深度最大，并将中心点位置记为坐标原点，则根据图像中任意场景点的深度和其距消失点的距离成反比，图像中坐标位置为(r₁,r₂)的点的深度就可以记为：

由此，我们设计的退化算子H可以用如下公式表示：

H＝1-e^-βd (7)

从公式(7)不难发现，d越大(即像素点深度越大)，H越大(即退化越严重)，这正好符合各像素点退化情况。如图3所示，给出了退化算子的示意图。

3)基于退化算子，我们就可以构建雾天退化模型，用如下公式表示：

y＝(1-e^-βd)x+N (8)

接着，在上述构建的退化模型的基础上，结合群稀疏表示(每个群由具有相似结构的非局部图像块构成)训练得到每个群对应的群字典接着利用SBI方法求解稀疏系数这样，复原后的图像x就可以通过群字典和稀疏系数表示出来，即x＝D_G οα_G。具体步骤包括：

1)如图4所示，提出一个基于群的稀疏表示模型，将雾天图像y分成n块互相重叠的图形块对于每个图像块，在其周围区域寻找c个相匹配的图像块(这里，采用欧氏距离作为匹配衡量标准)，构成一个集合该集合中所有的图像块堆叠在一起构成一个矩阵其中，每个图像块作为矩阵的一列。至此，该矩阵就涵盖了具有相似结构的图像块，我们将其称之为“群”。

2)将每个群基于稀疏字典进行表示。这里，首先假设字典已经训练得到，其中每一个原子的大小和群的大小是一样的，则整个字典在这个基于群的稀疏表示中，每个群基于字典的稀疏编码过程是为了求解一个稀疏系数结合前面构建的退化模型，这个稀疏系数可以通过下面这个公式求得：

针对公示(9)的最小化问题，这里采用分离Bregman迭代算法(split Bregmaniteration，SBI)进行求解，最终不仅可以得到稀疏系数同时还能得到的估计值

3)求每个群的自适应字典在利用SBI算法求解稀疏系数时，可以同时得到每个群的估计，对该估计进行一次奇异值分解(singular value decomposition，SVD)，即可获得群的自适应群字典。

对估计进行SVD分解，则有：

其中，为群的估计，是一个对角矩阵，分别为的列向量，群字典中的每个原子可以表示为：

4)基于学习得到的自适应群字典求解每个群的稀疏编码系数 使得至此，图像复原结果x就可以由求得的稀疏编码系数集(或记为α_G)表示出来：

x＝D_G οα_G (12)

其中，D_G代表字典的集合α_G表示稀疏系数的级联

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于退化模型和群稀疏的雾天图像复原方法，其特征在于，包括如下步骤：

步骤1，获取雾天图像，将雾天图像通过如下退化模型表示：

y＝Hx+N

其中，y为雾天天气下获取到的退化图像，x为退化前的清晰图像，N为高斯白噪声，H为退化算子，且H＝1-e^-βd，β为大气散射系数，d为退化图像上各像素点的深度，r₁、r₂分别为以退化图像中心为坐标原点任意一个像素点的横、纵坐标；

步骤2，设定滑动窗口的长和宽，将雾天退化图像按从左至右位移二分之一长，从上至下位移二分之一宽的方式遍历，得到大小与滑动窗口大小相同的图像块；对任意图像块x_k,k＝1,2,…,n，将以该图像块为中心的正方形内其他图像块作为该图像块的邻近图像块，利用欧氏距离在邻近图像块中寻找与该图像块最匹配的c个图像块，且邻近图像块的个数大于c，将c个图像块中的每个图像块作为矩阵的一列，得到群k＝1,2,…,n，n为图像块的总数；

步骤3，对每个群进行估计，并对该估计进行奇异值分解，得到群对应的自适应群字典其中，为的原子，i＝1,2,…,m，m为原子的个数；

步骤4，将每个群基于自适应群字典进行表示，并利用分离Bregman迭代算法求解稀疏系数使得其中，为的元素，i＝1,2,…,m，m为元素的个数；

步骤5，根据自适应群字典的集合和稀疏系数的集合，得到复原后的图像。

2.根据权利要求1所述基于退化模型和群稀疏的雾天图像复原方法，其特征在于，步骤3所述对该估计进行奇异值分解，得到群对应的自适应群字典的公式为：

$r_{G_k}=U_{G_k}{\mathrm{\Σ}}_{G_k}{V}_{G_k}^T={\mathrm{\Σ}}_{i=1}^m{\mathrm{\γ}}_{r_{G_k\⊗i}}\left(u_{G_k\⊗i}{v}_{G_k\⊗i}^T\right)$

其中，为群的估计，为对角矩阵，为的元素，i＝1,2,…,m，m为元素的个数，为对角矩阵，分别为的列向量，为两个相互正交的矩阵，T表示转置；

群对应的自适应群字典中各原子表示为：

$d_{G_k\⊗i}=u_{G_k\⊗i}{v}_{G_k\⊗i}^T,i=1,2,...,m.$

3.根据权利要求1所述基于退化模型和群稀疏的雾天图像复原方法，其特征在于，步骤4所述将每个群基于自适应群字典进行表示，公式为：

其中，为稀疏系数，β为大气散射系数，d为退化图像上各像素点的深度，为群的估计，λ为正则项系数，||·||₂为L2范数，||·||₀为L0范数。

4.根据权利要求1所述基于退化模型和群稀疏的雾天图像复原方法，其特征在于，步骤5所述复原后的图像表示为：

其中，x为复原后的图像，D_G为自适应群字典的集合，α_G为稀疏系数的集合。

5.根据权利要求1所述基于退化模型和群稀疏的雾天图像复原方法，其特征在于，步骤4所述分离Bregman迭代算法中，迭代终止条件为迭代次数达到5次。