CN107967671A

CN107967671A - 结合数据学习和物理先验的图像去雾方法

Info

Publication number: CN107967671A
Application number: CN201711051929.7A
Authority: CN
Inventors: 刘日升; 樊鑫; 侯岷君; 程世超
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2017-10-30
Filing date: 2017-10-30
Publication date: 2018-04-27
Anticipated expiration: 2037-10-30
Also published as: CN107967671B

Abstract

本发明属于图像处理领域，公开了一种结合数据学习和物理先验的图像去雾方法。首先，基于包含雾图估计透射率和准确透射率的数据库训练残差网络；其次，对于一张有雾图像，用边缘限制的方法估计其透射率并用其初始化网络先验，且对于网络其后每一层，都以上一层输出结果作为其先验，经过多层迭代卷积和非线性激活后输出较为精准的透射率估计；最后，将最终透射率代入除雾物理模型中求解出除雾图像。优点：建立了一种全新的去雾霾深度网络，用较少的训练数据得到更精确的估计结果；将物理规律引入到深度学习框架中来，辅助深度模型刻画透射率的传输过程，弥补了领域知识与训练数据之间的差距；在真实数据上获得了较好的结果，有效去除较浓雾霾。

Description

结合数据学习和物理先验的图像去雾方法

技术领域

本发明属于计算机视觉领域，涉及低级图像处理，特别涉及一种结合数据学习和物理先验的图像去雾方法。

背景技术

随着大气污染的日益严重，改善有雾图像质量的意义不言而喻，对照片质量的修正和优化成为一个显而易见的需求。图像去雾是图像增强与图像修复交叉领域中的典型代表，早期的研究已提出不同类型的视觉先验来解决这个问题，其中最有代表性的是何恺明博士于2009年所提出的基于暗通道估计透射率的去雾方法，但做出的假设在特定图像上可能会失效。近期的神经网络方法在除雾方面虽然也体现出较好性能，但由于雾图中物理规则的消失，网络的培训需要大量数据，并且如果测试图像与训练数据雾浓度不同，结果往往会差强人意。

本发明结合这两个角度，设计了一种由物理先验引导的深度去雾霾残差网络，提出基于变分能量的观点来研究模型的内在传播行为。通过物理规则揭示视觉先验，并从数据相关的深层架构获得的描述能力，从而弥补了领域知识与训练数据之间的差距，利用其优势在真实数据上获得良好的除雾效果。

发明内容

为求得雾霾图像的精确透射率以更好地除雾，本发明提供了一种结合数据学习和物理先验的图像去雾方法。本发明的技术方案包括如下步骤：

步骤1.估计雾图的大气光参数A

雾图成像物理模型如下

I＝Jt+A(1-t)， (1)

其中I为有雾图像，J为无雾图像，t为图像透射率，A表示全局大气光参数，为一个1×3向量，三个值分别对应有雾图像I的红、绿、蓝三个通道。

步骤1-1输入一张有雾图像I；

步骤1-2对I的三个通道分别进行最小值滤波，取其结果的最大值，得到大气光参数A，即

A^c＝max(minfilter(I^c))， (2)

其中c∈{r,g,b}，代表红、绿、蓝三个通道，A^c代表在不同通道A的取值，I^c表示有雾图像I在不同通道的分量。

步骤2.估计有雾图像I的初始透射率t⁰

步骤2-1输入一张有雾图像I，由式(2)求其初始透射率t⁰：

其中c∈{r,g,b}表示红、绿、蓝颜色通道，为每个颜色通道上大气光观测形式的变形，C₀和C₁是与给定图像相关的两个常数向量，实验统计表明，当C₀＝30，C₁＝300时可取得较好除雾结果。T_[0,1]表示将t⁰约束在0～1范围之间。

步骤2-2在t⁰上应用形态学闭操作，使之更为精准。

步骤3.利用DPATN网络对t⁰进行迭代优化

步骤3-1由已知的S张无雾图像和其对应景深由透射率模型

合成网络学习的目标，即准确透射率式中s为图片标号，d_s为有雾图像I_s的景深，即图中物体到相机的距离，β_s为光衰减系数，取β_s∈[0.7,1.2]。将准确透射率和无雾图像代入雾图成像模型(1)中合成有雾图像得到网络训练数据

步骤3-2构建由L层残差模型串联起来的聚合残差网络，以将有雾图像I映射到相应的透射率t，模型如图1所示。通过聚合数据驱动模块D(·)和先验驱动模块P(·)来定义网络，在网络的输入和输出之间建立连接如下：

这里表示每一层的D(·)的传播参数，是先验P(I)的权重参数，是对进行迭代优化时的中间估计。每一层的数据驱动模块如下式所示

其中表示非线性激活函数，为高斯径向奇函数，K表示每一层的过滤器总数，k为过滤器标号，表示卷积运算符，是每次进行非线性激活之后和激活之前的卷积过滤器对，由将旋转180°获得。每一层的滤波器半径为r,滤波器数量和激活函数个数为r²-1。而先验驱动模块表示为：

其中为合成有雾图像I_s的初始透射率，计算方法与步骤2相同。

步骤3-3通过最小化下式的网络传输能量来训练网络

其中L_D表示沿负梯度方向传播的网络能量。

定义二次训练成本函数F(·)来测量DPATN网络的输出与准确透射率之间的差异

其中为对应训练数据中准确透射率的网络输出，是每一层网络中通过学习得到的参数，且先验的权重参数在这里使用标准链式法则计算每个阶段训练成本F(·)相对于参数W^l的梯度，以最小化传输能量。

训练完成后得到学习到的参数W^l。

步骤3-4为使卷积过滤器更好地作用于图片，将步骤2得到的待恢复雾图的t⁰的每个边界向外扩展r+1个像素点，用镜像反射来填充t⁰，记为以作为网络输入，经DPATN网络的迭代优化后得到输出透射率t^L。

步骤3-5为避免除数为零，取最终透射率

t＝max(t^L,ε)， (10)

其中ε≥0是一个小常数，取ε＝0.05；

步骤4.将步骤1计算得到的大气光参数A及步骤3得到的透射率t代入雾图成像模型，由

J＝A+(I-A)/t (11)

求得除雾后的结果J。

有益效果：本发明构造了由物理先验引导的深度去雾霾残差网络(data-and-prior-aggregated transmission network)——DPATN，通过采用轻量级的学习框架，基于能量观点来研究雾图透射率的传播行为，基于雾图的特定物理模型参数化网络架构，减少了网络参数以减轻其计算负担，并达到了用较少的训练数据得到更精确的除雾结果的目的。这种残差网络模型允许数据从任何层直接流向任何后续层，在低级图像处理上表现出良好的收敛行为。

附图说明

图1DPATN网络结构。

图2每层的24个5×5滤波器。

图3输入有雾图像示例。

图4估计初始透射率t⁰。

图5最终透射率t^L。

图6除雾结果J。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实例，对本发明做进一步详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。

实施例：

1.收集50组训练对(S＝50)，其中I_s是大小为180×180的彩色有雾图像，是相应准确透射率，是大小为180×180的灰度图。

2.取C₀＝[30,30,30],C₁＝[300,300,300]对每一组训练对的有雾图像求先验项即

3.基于训练数据集学习滤波器及先验项权重，DPATN网络结构如图所示，网络为5层，每层由“卷积滤波器→非线性激活函数φ_k→卷积滤波器”串联而成，该实例设定每层滤波器和激活函数φ_k分别为24个，每个滤波器为5×5方格大小。在第l层求数据驱动项(K＝24)

4.以为目标利用L-BFGS算法最小化损失函数(s∈[1,50])使用标准链式法则计算每个阶段的损失函数的梯度，L-BFGS迭代次数为100。学习完成后得到每一层所需的24对卷积过滤器非线性激活函数系数先验项权重(k∈[1,24],l∈[1,5])，网络每层的24个过滤器如图2所示。

5.输入一张有雾图像I，如图3所示；

6.估计大气光参数A，用式A^c＝max(minfilter(I^c))，使用最小值滤波minfilter求有雾图像I在每个颜色通道的分量I^c对应的大气光参数值A^c，c∈{r,g,b}，且A＝[A^r；A^g；A^b]；

7.估计有雾图像I的初始透射率t⁰，取C₀＝[30,30,30],C₁＝[300,300,300]，所估计t⁰如图4示；

8.扩展t⁰的边界，每条边向外扩展6个像素，填充后矩阵作为网络输入，即先验的初始值；

9.在第l层(l∈[1,5])，每一层的输出t^l每条边需要去除6个像素点以达到输入雾图的尺寸，再经过如上一步的扩展填充后作为下一层网络的先验输入，最后得到网络的输出t⁵；

10.为防止除数为0和因透射率过小而使除雾结果出现的某些天空区域出现亮斑或马赛克的问题，取t＝max(min(t⁵,1),0.05)结果如图5所示；

11.通过式(10)解出除雾结果J，如图6所示。

Claims

1.一种结合数据学习和物理先验的图像去雾方法，包括以下步骤，

步骤1.估计雾图的大气光参数A，雾图成像物理模型如下：

I＝Jt+A(1-t)， (1)

其中I为有雾图像，J为无雾图像，t为图像透射率，A表示全局大气光参数，为一个1×3向量，三个值分别对应有雾图像I的红、绿、蓝三个通道；包括以下子步骤：

步骤1-1输入一张有雾图像I；

A^c＝max(minfilter(I^c))， (2)

其中c∈{r,g,b}，代表红、绿、蓝三个通道，A^c代表在不同通道A的取值，I^c表示有雾图像I在不同通道的分量；

步骤2.估计有雾图像I的初始透射率t⁰，包括以下子步骤：

步骤2-1输入一张有雾图像I，由式(2)求其初始透射率t⁰：

其中c∈{r,g,b}表示红、绿、蓝颜色通道，为每个颜色通道上大气光观测形式的变形，C₀和C₁是与给定图像相关的两个常数向量；T_[0,1]表示将t⁰约束在0～1范围之间；

步骤3.利用DPATN网络对t⁰进行迭代优化；包括以下子步骤：

步骤3-1由已知的S张无雾图像和其对应景深由透射率模型

合成网络学习的目标，即准确透射率式中s为图片标号，d_s为有雾图像I_s的景深，即图中物体到相机的距离，β_s为光衰减系数；将准确透射率和无雾图像代入雾图成像模型(1)中合成有雾图像得到网络训练数据

步骤3-2构建由L层残差模型串联起来的聚合残差网络，以将有雾图像I映射到相应的透射率t；通过聚合数据驱动模块D(·)和先验驱动模块P(·)来定义网络，在网络的输入和输出之间建立连接如下：

<mrow> <msubsup> <mi>t</mi> <mi>s</mi> <mi>L</mi> </msubsup> <mo>=</mo> <msubsup> <mi>t</mi> <mi>s</mi> <mn>0</mn> </msubsup> <mo>+</mo> <mrow> <mo>(</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>l</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>D</mi> <mo>(</mo> <mrow> <msubsup> <mi>t</mi> <mi>s</mi> <mi>l</mi> </msubsup> <mo>;</mo> <msubsup> <mi>W</mi> <mi>D</mi> <mi>l</mi> </msubsup> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mover> <mi>&lambda;</mi> <mo>~</mo> </mover> <mi>P</mi> </msub> <mi>P</mi> <mo>(</mo> <msub> <mi>I</mi> <mi>s</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>

这里表示每一层的D(·)的传播参数，是先验P(I)的权重参数，是对进行迭代优化时的中间估计；每一层的数据驱动模块如式(6)所示：

其中表示非线性激活函数，为高斯径向奇函数，K表示每一层的过滤器总数，k为过滤器标号，表示卷积运算符，是每次进行非线性激活之后和激活之前的卷积过滤器对，由将旋转180°获得；每一层的滤波器半径为r,滤波器数量和激活函数个数为r²-1；而先验驱动模块表示为：

其中为合成有雾图像I_s的初始透射率，计算方法与步骤2相同；

步骤3-3通过最小化下式的网络传输能量来训练网络；

<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <msup> <mi>t</mi> <mi>L</mi> </msup> </munder> <msub> <mi>L</mi> <mi>D</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>t</mi> <mi>s</mi> <mi>L</mi> </msubsup> <mo>;</mo> <msubsup> <mrow> <mo>{</mo> <msubsup> <mi>W</mi> <mi>D</mi> <mi>l</mi> </msubsup> <mo>}</mo> </mrow> <mrow> <mi>l</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <msub> <mover> <mi>&lambda;</mi> <mo>~</mo> </mover> <mi>P</mi> </msub> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <msubsup> <mi>t</mi> <mi>s</mi> <mi>L</mi> </msubsup> <mo>-</mo> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>,</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

其中L_D表示沿负梯度方向传播的网络能量；

其中为对应训练数据中准确透射率的网络输出，是每一层网络中通过学习得到的参数，且先验的权重参数在这里使用标准链式法则计算每个阶段训练成本F(·)相对于参数W^l的梯度，以最小化传输能量；

训练完成后得到学习到的参数W^l；

步骤3-4为使卷积过滤器更好地作用于图片，将步骤2得到的待恢复雾图的t⁰的每个边界向外扩展r+1个像素点，用镜像反射来填充t⁰，记为以作为网络输入，经DPATN网络的迭代优化后得到输出透射率t^L；

步骤3-5为避免除数为零，取最终透射率

t＝max(t^L,ε)， (10)

其中ε≥0是一个常数；

J＝A+(I-A)/t (11)

求得除雾后的结果J。

2.根据权利要求1所述的结合数据学习和物理先验的图像去雾方法，其特征在于，所述步骤2-1中，C₀＝30，C₁＝300，以取得较好除雾结果。

3.根据权利要求1所述的结合数据学习和物理先验的图像去雾方法，其特征在于，在步骤2-1之后，进一步包括子步骤202，在t⁰上应用形态学闭操作，使之更为精准。

4.根据权利要求1所述的结合数据学习和物理先验的图像去雾方法，其特征在于，所述步骤3-1中，β_s∈[0.7,1.2]，A＝[a,a,a],a∈[0.7,1.0]。

5.根据权利要求1所述的结合数据学习和物理先验的图像去雾方法，其特征在于，所述步骤3-5中，ε＝0.05。