CN108898562A - 一种基于深度学习的移动设备图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的移动设备图像去雾方法，包括以下步骤：获取实时采集的有雾图像；有雾图像输入区域检测网络，逐区域地提取有雾图像特征并输出有雾图像相关的特征图；特征图传入非线性回归网络层，获得有雾图像每个小区域的媒介透射率，得到透射率矩阵；透射率矩阵传入导向滤波模块，输出精细化透射率矩阵；通过透射率矩阵和有雾图的灰度图来计算大气光；通过透射率矩阵恢复所述采集到的有雾图像获得去雾后的图像。本发明通过具有区域检测功能的深度神经网络模型作为去雾方法的主体模型，在训练网络模型时不需要把图像裁剪成固定大小的图像块，扩大了各层的网络节点的感受野，充分考虑到图像中各个区域间的关系。

Description

一种基于深度学习的移动设备图像去雾方法

技术领域

本发明涉及一种基于深度学习的移动设备的图像去雾方法，属于图像去雾处理领域。

背景技术

在深度网络结构设计上，现有的手段均是先采用了多个尺度的卷积核对输入图像进行特征提取，然后将提取出来的特征进行融合，这里采用的是多尺度特征融合的技术。再采用maxout作为激活函数，该激活函数的作用是为了学习得到可以提取暗通道信息的卷积核。最后是采用了非线性回归的方法来预测得到最后的输出。但是往往由于在训练网络模型时，需要把图像裁剪成固定大小的图像块，限制了模型的感受野，并且使得模型没有完全考虑到图像中各个区域间的关系。

发明内容

本发明针对以上问题的提出，一种基于深度学习的移动设备图像去雾方法，包括以下步骤：S1：获取实时采集的有雾图像；S2：将步骤S1采集的所述有雾图像输入区域检测网络，逐区域的提取所述有雾图像有雾特征并输出有雾图像特征图；S3：将步骤S2输出的所述有雾图像特征图传入非线性回归网络，获得所述有雾图像的每个小区域的媒介透射率得到透射率矩阵；S4：将透射率矩阵精细化处理得到精细化透射率矩阵；S5：通过所述精细化透射率矩阵和有雾图像灰度图计算大气光；S6：通过所述精细化透射率矩阵恢复所述采集到的有雾图像获得去雾后的图像并将图片输出。

进一步的，所述区域检测网络通过滑窗操作，逐区域地提取所述有雾图像有雾特征并通过卷积操作提取相邻区域间的关系特征。

进一步的，所述矩阵精细化处理通过导向滤波精细化所述透射率矩阵；

所述导向滤波为：

其中，其中，ω_k表示以像素点k为中心的窗口，t_i表示精细化透射率矩阵的媒介透射率第i个位置处的值，表示所述灰度图里第i个位置处的像素值，a_k和b_k分别表示线性系数常量值，表示所述媒介透射率矩阵里第i个位置处的值，n_i表示冗余信息，i和k分别表示i和k像素点，表示i像素点的a_k平均值，表示i像素点的b_k平均值，ε表示惩罚系数，E(a_k,b_k)表示ω_k的代价函数。

进一步的，所述步骤S3通过神经网络结构计算媒介透射率；所述神经网络结构包括：第一单元A_i(x)和第二单元B_i(x)；

所述第一种单元A_i(x)表示为：

g_i(x)＝W_i×x,W_i∈R^3×3×c；

所述第二种单元B_i(x)表示为：

B_i(x)＝F_i(x)+x；

其中，x表示单元的输入，i表示模块的索引，表示1像素×1像素卷积操作，a表示第a个1像素×1像素卷积核，rBN表示激活函数，g_i表示3像素x3像素卷积操作，F_i(x)表示堆叠的瓶状结构的模块，W表示所述神经网络结构的权重，R^1×1×c表示第一维维度是1像素，第二维维度是1像素，第三维维度是c的三维张量，c表示x的通道数，R^3×3×c第一维维度是3像素，第二维维度是3像素，第三维维度是c的三维张量。

更进一步的，所述媒介透射率X_reg：

X_sliding(x)＝r(W_sliding×x),W_sliding∈R^3×3×c；

X_reg(x)＝r_b(W_reg×x),W_reg∈R^1×1×c；

其中，X_sliding表示滑窗的输出，r表示激活函数ReLU，X_reg表示回归层的输出，r_b:x→min(max(x,0),1)，W表示神经网络结构的权重，W_sliding表示滑动窗口的神经网络的权重值，W_reg表示回归层的神经网络的权重值。

进一步的，对步骤S3输出的所述透射率矩阵的像素值从小到大依次排列，从最小像素值起取所有像素值的1％在矩阵中对应的位置为p0.01；在所述有雾图像灰度图p0.01对应像素中找到像素最大值，并获取像素最大值的像素位置p，在所述有雾图像中找到位置p对应的像素值，并对这些位置的像素值按通道取像素值的均值得到大气光。

更进一步的，恢复模块通过以下公式恢复无雾图像J(p)：

其中，I是输入的有雾图，t是经过步骤4精细化后的媒介透射率，A是经过步骤5估计出来的全局大气光的值。

本发明的优点在于：首先，本发明通过具有区域检测功能的深度神经网络模型作为去雾方法的主体模型，在训练网络模型时不需要把图像裁剪成固定大小的图像块，扩大了各层的网络节点的感受野，充分考虑到图像中各个区域间的关系。

其次，在网络结构设计中采用了跨通道级联池化技术和残差结构，使得去雾模型具有更好的泛化能力和计算效率使运算量大大减小同时能够实时处理图像；使用灰度图和透射率相结合的方法计算大气光，避免了白色物体对计算过程的干扰。

最后，我们利用网络模型参数约简的方法对模型进行轻量化设计，轻量化的网络可以部署到手机上，在可接受的计算时间内，对图像进行去雾处理。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的整体结构示意图。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示为本发明一种基于深度学习的移动设备图像去雾方法，其包括以下步骤：

S1：获取实时采集的有雾图像；

S2：将步骤S1采集的所述有雾图像输入区域检测网络，逐区域的提取所述有雾图像有雾特征并输出有雾图像特征图；

S3：将步骤S2输出的所述有雾图像特征图传入非线性回归网络，获得所述有雾图像的每个小区域的媒介透射率得到透射率矩阵；

S4：将透射率矩阵精细化处理得到精细化透射率矩阵；

S5：通过所述精细化透射率矩阵和有雾图像灰度图计算实时大气光；

S6：通过所述精细化透射率矩阵恢复所述采集到的有雾图像获得去雾后的图像并将图片输出。

在本实施方式中，所述区域检测网络通过滑窗操作，逐区域地提取所述有雾图像有雾特征并通过卷积处理提取相邻区域间的关系特征。

作为优选的实施方式，在对实时图片的去雾时，首先在一个名为ShowImage的Acitivity中实现对图片的去雾操作。同时对按钮btn_choose注册点击事件，当点击该按钮时会生成一个新的Intent对象，其内包含用于从相册中获取照片所需要的信息。该对象传给startActivityForResult方法。其结果会返回到onActivityResult()方法中。在该方法中，从返回的信息中获取到用户所选择的图片的路径，使用BitmapFactory类中的dedcodeFile()方法获取到具体的图片信息，并将该图片通过ImageView对象在界面上显示。

通过点击界面上的“去雾”按钮对选中的图片进行去雾操作。在该按钮中的点击事件中，调用dehazeImg()方法来完成图片的去雾操作。同时将之前不可用的保存按钮状态改为可用。进一步的，在dehazeImg()方法中首先将获取到的位图(btimap)对象，转换为相应的RGB三通道图片，便于后续步骤的处理。接下来，使用tensorflow提供的Andorid接口对有雾图片进行处理。这里tensorflow所载入的模型及其参数，是我们以Region ProposalNetwork理念构建的特殊的卷积神经网络结构，其参数是在大量的有雾/无雾图片数据集上进行大量实验所训练出来的参数，同时该模型还包含了MobileNet的设计思想，在保证图片处理质量的基础上，将模型对资源的要求降低。

作为优选的实施方式，在对实时图片的去雾时，使用TensorflowInferenceInterface类对象中的feed()方法，将有雾图片输入到相应的网络结构节点中。再调用该对象的run()方法，使用提供的卷积神经网络模型对输入的有雾图片进行处理。最后，通过该对象的fetch()方法，从相应的神经网络输出节点获取到处理后的有雾图片的大气透射率，并构成有雾图片的大气透射率图。将有雾图通过OpenCV库所提供的工具将其转换为矩阵(Mat)对象。将该矩阵对象和上述得到的有雾图片的大气透射率图传给enhance()方法，该方法将配合大气散射模型和神经网络模型估计到的有雾图片的大气透射率图进行去雾操作。在enhence()方法中，获取大气透射率图中最小的前1％的值，并从大气透射率图中找到这些值的相应位置。从这些位置中，找到有雾图片的灰度图能最大值的位置。将最后得到的位置，应用到有雾图片中，将这些位置的平均值用作恢复图片用的大气光。

作为优选的实施方式，所述矩阵精细化处理通过导向滤波精细化所述透射率矩阵；所述导向滤波为：

其中，其中，ω_k表示以像素点k为中心的窗口，t_i表示精细化透射率矩阵的媒介透射率第i个位置处的值，表示所述灰度图里第i个位置处的像素值，a_k和b_k分别表示线性系数常量值，表示所述媒介透射率矩阵里第i个位置处的值，n_i表示冗余信息，i和k分别表示i和k像素点，表示i像素点的a_k平均值，表示i像素点的b_k平均值，ε表示惩罚系数，E(a_k,b_k)表示ω_k的代价函数。

作为优选的实施方式，对大气透射率图应用导向滤波算法，是该图更加精细化。在本实施方式中，所述步骤S3通过神经网络结构计算媒介透射率；所述神经网络结构包括：第一单元A_i(x)和第二单元B_i(x)；

所述第一种单元A_i(x)表示为：

g_i(x)＝W_i×x,W_i∈R^3×3×c；

所述第二种单元B_i(x)表示为：

B_i(x)＝F_i(x)+x；

其中，x表示单元的输入，i表示模块的索引，f_i ^a表示1像素×1像素卷积操作，a表示第a个1像素×1像素卷积核，rBN表示激活函数，g_i表示3像素x3像素卷积操作，F_i(x)表示堆叠的瓶状结构的模块，W表示所述神经网络结构的权重，R^1×1×c表示第一维维度是1像素，第二维维度是1像素，第三维维度是c的三维张量，c表示x的通道数，R^3×3×c第一维维度是3像素，第二维维度是3像素，第三维维度是c的三维张量。

作为优选的实施方式，所述媒介透射率X_reg：

X_sliding(x)＝r(W_sliding×x),W_sliding∈R^3×3×c；

X_reg(x)＝r_b(W_reg×x),W_reg∈R^1×1×c；

其中，X_sliding表示滑窗的输出，r表示激活函数ReLU，X_reg表示回归层的输出，r_b:x→min(max(x,0),1)，W表示神经网络结构的权重，W_sliding表示滑动窗口的神经网络的权重值，W_reg表示回归层的神经网络的权重值。

在本实施方式中，对步骤S3输出的所述透射率矩阵的像素值从小到大依次排列，从最小像素值起取所有像素值的1％在矩阵中对应的位置为p0.01；在所述有雾图像灰度图p0.01对应像素中找到像素最大值，并获取像素最大值的像素位置p，在所述有雾图像中找到位置p对应的像素值，并对这些位置的像素值按通道取像素值的均值得到大气光。

在本实施方式中，恢复模块通过以下公式恢复无雾图像J(p)：

其中，I是输入的有雾图，t是经过精细化后的媒介透射率，A是经过步骤5估计出来的全局大气光的值。可以理解为，在其他实施方式中还可以通过其他方式对去雾图像进行恢复，只要能够满足能够清晰的展示图像即可。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的移动设备图像去雾方法，其特征在于，包括以下步骤：

S1：获取实时采集的有雾图像；

S2：将步骤S1采集的所述有雾图像输入区域检测网络，逐区域的提取所述有雾图像有雾特征并输出有雾图像特征图；

S3：将步骤S2输出的所述有雾图像特征图传入非线性回归网络，获得所述有雾图像的每个小区域的媒介透射率得到透射率矩阵；

S4：将透射率矩阵精细化处理得到精细化透射率矩阵；

S5：通过所述精细化透射率矩阵和有雾图像灰度图计算大气光；

S6：通过所述精细化透射率矩阵恢复所述采集到的有雾图像获得去雾后的图像并将图像输出。

2.根据权利要求1所述的一种基于深度学习的移动设备图像去雾方法，其特征还在于：

所述区域检测网络通过滑窗操作，逐区域地提取所述有雾图像有雾特征并通过卷积操作提取相邻区域间的关系特征。

3.根据权利要求1所述的一种基于深度学习的移动设备图像去雾方法，其特征还在于：

所述矩阵精细化处理通过导向滤波精细化所述透射率矩阵；

所述导向滤波计算所述精细化透射率矩阵为：

其中，ω_k表示以像素点k为中心的窗口，t_i表示精细化透射率矩阵的媒介透射率第i个位置处的值，表示所述灰度图里第i个位置处的像素值，a_k和b_k分别表示线性系数常量值，表示所述媒介透射率矩阵里第i个位置处的值，n_i表示冗余信息，i和k分别表示i和k像素点，表示i像素点的a_k平均值，表示i像素点的b_k平均值，ε表示惩罚系数，E(a_k,b_k)表示ω_k的代价函数。

4.根据权利要求1所述的一种基于深度学习的移动设备图像去雾方法，其特征还在于：

所述步骤S3通过神经网络计算媒介透射率；所述神经网络的结构包括：第一单元A_i(x)和第二单元B_i(x)；

所述第一种单元A_i(x)表示为：

g_i(x)＝W_i×x,W_i∈R^3×3×c；

所述第二种单元B_i(x)表示为：

B_i(x)＝F_i(x)+x；

其中，x表示单元的输入，i表示模块的索引，f_i ^a表示1像素×1像素卷积操作，a表示第a个1像素×1像素卷积核，rBN表示激活函数，g_i表示3像素x3像素卷积操作，F_i(x)表示堆叠的瓶状结构的模块，W表示所述神经网络结构的权重，R^1×1×c表示第一维维度是1像素，第二维维度是1像素，第三维维度是c的三维张量，c表示x的通道数，R^3×3×c第一维维度是3像素，第二维维度是3像素，第三维维度是c的三维张量。

5.根据权利要求1所述的一种基于深度学习的移动设备图像去雾方法，其特征还在于：

所述媒介透射率X_reg：

X_sliding(x)＝r(W_sliding×x),W_sliding∈R^3×3×c；

X_reg(x)＝r_b(W_reg×x),W_reg∈R^1×1×c；

其中，X_sliding表示滑窗的输出，r表示激活函数ReLU，X_reg表示回归层的输出，r_b:x→min(max(x,0),1)，W表示神经网络结构的权重，W_sliding表示滑动窗口的神经网络的权重值，W_reg表示回归层的神经网络的权重值。

6.根据权利要求1所述的一种基于深度学习的移动设备图像去雾方法，其特征还在于：

对步骤S3输出的所述透射率矩阵的像素值从小到大依次排列，从最小像素值起取所有像素值的1％在矩阵中对应的位置为p0.01；在所述有雾图像灰度图p0.01对应像素中找到像素最大值，并获取像素最大值的像素位置p，在所述有雾图像中找到位置p对应的像素值，并对这些位置的像素值按通道取像素值的均值得到大气光。

7.根据权利要求1所述的一种基于深度学习的移动设备图像去雾方法，其特征还在于：

恢复模块通过以下公式恢复无雾图像J(p)：

其中，I是输入的有雾图，t是经过精细化后的媒介透射率，A是经过步骤5估计出来的全局大气光的值。