CN112686815A - 一种基于卷积神经网络的无人机单幅图像去雨方法 - Google Patents
一种基于卷积神经网络的无人机单幅图像去雨方法 Download PDFInfo
- Publication number
- CN112686815A CN112686815A CN202011557948.9A CN202011557948A CN112686815A CN 112686815 A CN112686815 A CN 112686815A CN 202011557948 A CN202011557948 A CN 202011557948A CN 112686815 A CN112686815 A CN 112686815A
- Authority
- CN
- China
- Prior art keywords
- image
- rain
- frequency
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积神经网络的无人机单幅图像去雨方法，首先，通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像；然后，利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取；接着，通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重；然后，通过一个全连接层对多个通道的特征图进行拼接，构建出有雨图像和去雨图像之间的映射关系；最后，分别输出高、低频的去雨图像，将二者融合输出完整的去雨图像。本发明具有高效去除无人机飞行过程中拍摄到雨天图像上雨线的特点。
Description
技术领域
本发明涉及计算机视觉技术领域，更具体地，涉及一种基于卷积神经网络的无人机单幅图像去雨方法。
背景技术
无人机在当今社会运用十分广泛，无论是军用的无人侦察机或者靶机，还是民用的航拍、农业、植保、快递运输、灾难救援、电力巡检、救灾、影视拍摄等等领域的应用，都大大拓展了无人机应用领域，而不论是侦查还是自身导航都需要借助于足够清晰的图像帮助，然而无人机执行任务的过程中很容易遇到恶劣天气环境的影响，比如雨雪天气，就会获取到效果较差的视觉图像，不仅影响观察还容易影响自身的视觉导航***，因此一个有效的无人机有雨图像去雨算法至关重要。
发明内容
本发明提出一种基于卷积神经网络的无人机单幅图像去雨方法，可以有效去除无人机获取的单幅有雨图像，算法执行速度快，去雨效果好，具有很好的应用效果。
本发明的一种基于卷积神经网络的无人机单幅图像去雨方法，包括以下步骤：
S1,通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像；
S2,利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取；
S3,通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重；
S4,通过一个全连接层对多个通道的特征图进行拼接，构建出有雨图像和去雨图像之间的映射关系；
S5,分别输出高、低频的去雨图像；
S6,融合高、低频去雨图像，输出完整的去雨图像。
进一步地，步骤S1中通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像的具体实现方法为：
S11，开始并载入有雨图像；
S12，我们将图像看成是一个二维函数，由于无法写出解析式，我们假设该函数在二维窗口下满足线性关系如下：
其中，q是输出图像的像素值，I是输入图像的像素值，i和k是图像像素位置，a和b是系数。
S13，对S12式子两边取梯度，可以得到：
S14，求出S12中线性函数的系数，通过线性回归是输出值p与真实值之间的差距最小，即满足下式：
S15,S14中p只能是待滤波图像，∈用于防止a过大，通过最小二乘法，我们可以求出：
S16，由以上公上推导，计算出引导滤波后的高低频有雨图像。
进一步地，步骤S2中利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取过程如下：
S21，搭建特征提取所用的卷积神经网络；
S22，S21提到的CNN卷积神经网络分为两个通道，分别处理低频背景图像和高频雨线图像；
S23，S22中的CNN卷积神经网络每个通道分别通过三个尺度的卷积核进行特征提取；
S24，S23中的卷积核大小分别为3x3、5x5和7x7；
进一步地，步骤S21搭建特征提取所用的CNN卷积神经网络模型具体训练过程如下：
S211,准备训练所用数据集，这里使用到Yang提供的公共数据集Rain 100L 和Rain 100H，这两个数据集都包含各个类型的仿真雨天图像，且都有训练集和验证集；
S212，损失函数采用均方误差(mean-square error,MSE)，即使用网络的输出与真实无雨图像之间的误差的L2范数作为损失函数：
其中，N为训练样本的数量，
是网络输出的去雨图像，y是真实的无雨图像。
S213，训练环境采用Intel i7处理器+GTX1080Ti GPU并行加速训练网络，采用Python语言+Ubuntu***编写训练代码；
S214，采用批处理方式输入训练数据，每个批次输入20张图像，迭代10 万次后停止。
进一步地，步骤S3中通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重其具体实现如下：
S31，针对步骤S2中生成的卷积神经网络特征提取图，分别使用平均值池化和最大值池化进行处理，分别生成1x1xC的特征向量；
zmaxP＝max(uc(i，j)) (6)
S32，S31中生成的特征向量，通过一个激励函数来激活每个通道的权重，激励函数如下：
s＝σ(W2δ(W1z)) (7)
其中，σ为sigmoid激活函数，δ为Relu函数，学习W1、W2两个权重。
S33，通过S22生成的两个一维激励权重相加后取平均值，生成最终的一维激励权重；
S34，通过S33生成的最终一维激励权重乘以最初的卷积神经网络提取的特征向量，就可以得到注意力机制处理后的特征图；
进一步地，步骤S4中通过一个全连接层对多个通道的特征图进行拼接，构建出有雨图像和去雨图像之间的映射关系的具体实现方法为:
S41，搭建一个全连接层；
S42，将三个尺度通道提取出的特征向量输入全连接层；
S43，得到拼接后的组合特征向量；
进一步地，步骤S5中分别输出高、低频的去雨图像，具体通过如下方法实现：
S51,搭建一个反卷积层；
S52,通过反卷积层将特征提取后低分辨率图像恢复到原始分辨率；
S53，生成去雨后的低频背景图像和高频去雨图像；
进一步地，步骤S6中融合高、低频去雨图像，输出完整的去雨图像具体实现如下：
S61,将去雨后的低频背景图像和高频去雨图像相加，融合生成最终的去雨图像。
本发明提供的基于卷积神经网络的无人机单幅图像去雨方法，(1)通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像；(2)利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取； (3)通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重；(4)通过一个全连接层对多个通道的特征图进行拼接，构建出有雨图像和去雨图像之间的映射关系；(5)分别输出高、低频的去雨图像；(6)将二者融合输出完整的去雨图像。本发明具有高效去除无人机飞行过程中拍摄到雨天图像上雨线的特点。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的基于卷积神经网络的无人机单幅图像去雨方法的流程图；
图2为本发明中卷积神经网络总框架图；
图3为本发明中多尺度的CNN卷积神经网络结构图；
图4为本发明中通道域注意力机制结构图；
图5为本发明中去雨算法实验效果对比图；
图6为本发明中峰值信噪比(Peak Signal to Noise Ratio,PSNR)对比结果；
图7为本发明中结构相似性(Structural SIMilarity index,SSIM)对比结果；
图8为本发明中算法运行时间对比结果；
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例提供的基于卷积神经网络的无人机单幅图像去雨方法的流程图。如图1所示，本发明的基于卷积神经网络的无人机单幅图像去雨方
法，包括以下步骤：
S1,通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像；
S2,利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取；
S3,通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重；
S4,通过一个全连接层对多个通道的特征图进行拼接，构建出有雨图像和去雨图像之间的映射关系；
S5,分别输出高、低频的去雨图像；
S6,融合高、低频去雨图像，输出完整的去雨图像。
同时，步骤S1中通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像的具体实现方法为：
S11，开始并载入有雨图像；
S12，我们将图像看成是一个二维函数，由于无法写出解析式，我们假设该函数在二维窗口下满足线性关系如下：
其中，q是输出图像的像素值，I是输入图像的像素值，i和k是图像像素位置，a和b是系数。
S13，对S12式子两边取梯度，可以得到：
S14，求出S12中线性函数的系数，通过线性回归是输出值p与真实值之间的差距最小，即满足下式：
S15,S14中p只能是待滤波图像，∈用于防止a过大，通过最小二乘法，我们可以求出：
S16，由以上公上推导，计算出引导滤波后的高低频有雨图像。
在进一步地技术方案中，如图2所示，步骤S2中利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取具体实现如下：
S21，CNN卷积神经网络包括两个通道，低频通道和高频通道；
S22，每个通道分别分成三个卷积尺度，卷积核大小为3x3、5x5和7x7；
S23，根据图3所示，CNN卷积神经网络每个通道具有一个输入层、三个卷积层以及两个池化层，输入图像大小为256x256x3,输出特征图为64x64x256；
进一步地，步骤S21搭建特征提取所用的CNN卷积神经网络模型具体训练过程如下：
S211,准备训练所用数据集，这里使用到Yang提供的公共数据集Rain 100L 和Rain 100H，这两个数据集都包含各个类型的仿真雨天图像，且都有训练集和验证集；
S212，损失函数采用均方误差(mean-square error,MSE)，即使用网络的输出与真实无雨图像之间的误差的L2范数作为损失函数：
其中，N为训练样本的数量，
是网络输出的去雨图像，y是真实的无雨图像。
S213，训练环境采用Intel i7处理器+GTX1080Ti GPU并行加速训练网络，采用Python语言+Ubuntu***编写训练代码；
S214，采用批处理方式输入训练数据，每个批次输入20张图像，迭代10 万次后停止。
同时，根据图4所示，本发明中步骤S3中所采用的通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重的具体实现方法为：
S31，针对步骤S2中生成的卷积神经网络特征提取图，分别使用平均值池化和最大值池化进行处理，分别生成1x1xC的特征向量；
zmaxP＝max(uc(i，j)) (6)
S32，S31中生成的特征向量，通过一个激励函数来激活每个通道的权重，激励函数如下：
s＝σ(W2δ(W1z)) (7)
其中，σ为sigmoid激活函数，δ为Relu函数，学习W1、W2两个权重。
S33，通过S22生成的两个一维激励权重相加后取平均值，生成最终的一维激励权重；
S34，通过S33生成的最终一维激励权重乘以最初的卷积神经网络提取的特征向量，就可以得到注意力机制处理后的特征图；
图5为本发明中去雨算法实验效果对比图，从图中可以明显看出去雨效果显著，去雨后的图像无明显雨丝痕迹残留，图像复原效果较清晰。
依据图6和图7可知，采用本发明的基于卷积神经网络的无人机单幅图像去雨方法可以在有效去除雨线的情况下能较完好地保留原始图像的信息，本发明算法在峰值信噪比(PSNR)和结构相似性(SSIM)两个参数表现上均优于其他算法。
依据图8可知，采用本发明的基于卷积神经网络的无人机单幅图像去雨方法在运行时间上较其他算法也有较大的提升，具有运行速度快的优点。
综上所述，本发明具有如下优点：
(1)采用多尺度CNN卷积神经网络具有更强的特征提取能力，能更有效去除雨线；
(2)采用通道域注意力机制能使模型更加关注雨线特征，忽视不重要的特征，对原始图像还原度较好；
(3)整个模型网络结构较浅，在运行速度上表现良好。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于卷积神经网络的无人机单幅图像去雨方法，其特征在于，包括以下步骤：
S1,通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像；
S2,利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取；
S3,通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重；
S4,通过一个全连接层对多个通道的特征图进行拼接，构建出有雨图像和去雨图像之间的映射关系；
S5,分别输出高、低频的去雨图像；
S6,融合高、低频去雨图像，输出完整的去雨图像。
2.根据权利要求1所述的一种基于卷积神经网络的无人机单幅图像去雨方法，其特征在于，步骤S1中通过引导滤波器将有雨图像分离成低频背景图像和高频雨线图像的具体实现方法为：
S11，开始并载入有雨图像；
S12，我们将图像看成是一个二维函数，由于无法写出解析式，我们假设该函数在二维窗口下满足线性关系如下：
其中，q是输出图像的像素值，I是输入图像的像素值，i和k是图像像素位置，a和b是系数。
S13，对S12式子两边取梯度，可以得到：
S14，求出S12中线性函数的系数，通过线性回归是输出值p与真实值之间的差距最小，即满足下式：
S15,S14中p只能是待滤波图像，∈用于防止a过大，通过最小二乘法，我们可以求出：
S16，由以上公上推导，计算出引导滤波后的高低频有雨图像。
3.根据权利要求1所述的一种基于卷积神经网络的无人机单幅图像去雨方法，其特征在于，步骤S2中利用一个多尺度的CNN卷积神经网络对低频背景图像和高频雨线图像进行分通道的特征提取过程如下：
S21，搭建特征提取所用的卷积神经网络；
S22，S21提到的CNN卷积神经网络分为两个通道，分别处理低频背景图像和高频雨线图像；
S23，S22中的CNN卷积神经网络每个通道分别通过三个尺度的卷积核进行特征提取；
S24，S23中的卷积核大小分别为3x3、5x5和7x7。
4.根据权利要求1所述的一种基于卷积神经网络的无人机单幅图像去雨方法，其特征在于，步骤S3中通过通道域注意力机制对多尺度的CNN卷积神经网络提取出的特征图重新分配权重其具体实现如下：
S31，针对步骤S2中生成的卷积神经网络特征提取图，分别使用平均值池化和最大值池化进行处理，分别生成1 x 1 x C的特征向量；
zmaxP＝max(uc(i，j)) (6)
S32，S31中生成的特征向量，通过一个激励函数来激活每个通道的权重，激励函数如下：
s＝σ(W2δ(W1z)) (7)
其中，σ为sigmoid激活函数，δ为Relu函数，学习W1、W2两个权重。
S33，通过S22生成的两个一维激励权重相加后取平均值，生成最终的一维激励权重；
S34，通过S33生成的最终一维激励权重乘以最初的卷积神经网络提取的特征向量，就可以得到注意力机制处理后的特征图；
5.根据权利要求1所述的一种基于卷积神经网络的无人机单幅图像去雨方法，其特征在于，步骤S4中通过一个全连接层对多个通道的特征图进行拼接，构建出有雨图像和去雨图像之间的映射关系的具体实现方法为:
S41，搭建一个全连接层；
S42，将三个尺度通道提取出的特征向量输入全连接层；
S43，得到拼接后的组合特征向量。
6.根据权利要求1所述的一种基于卷积神经网络的无人机单幅图像去雨方法，其特征在于，步骤S5中分别输出高、低频的去雨图像，具体通过如下方法实现：
S51,搭建一个反卷积层；
S52,通过反卷积层将特征提取后低分辨率图像恢复到原始分辨率；
S53，生成去雨后的低频背景图像和高频去雨图像。
7.根据权利要求1所述的一种基于卷积神经网络的无人机单幅图像去雨方法，其特征在于，步骤S6中融合高、低频去雨图像，输出完整的去雨图像具体实现如下：
S61,将去雨后的低频背景图像和高频去雨图像相加，融合生成最终的去雨图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557948.9A CN112686815A (zh) | 2020-12-24 | 2020-12-24 | 一种基于卷积神经网络的无人机单幅图像去雨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557948.9A CN112686815A (zh) | 2020-12-24 | 2020-12-24 | 一种基于卷积神经网络的无人机单幅图像去雨方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112686815A true CN112686815A (zh) | 2021-04-20 |
Family
ID=75453105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011557948.9A Pending CN112686815A (zh) | 2020-12-24 | 2020-12-24 | 一种基于卷积神经网络的无人机单幅图像去雨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686815A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436101A (zh) * | 2021-06-28 | 2021-09-24 | 杭州电子科技大学 | 基于高效通道注意力机制的龙格库塔模块去雨的方法 |
| CN113962905A (zh) * | 2021-12-03 | 2022-01-21 | 四川大学 | 基于多阶段特征互补网络的单幅图像去雨方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
| CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
| CN111652812A (zh) * | 2020-04-30 | 2020-09-11 | 南京理工大学 | 基于选择性注意力机制的图像去雾和去雨算法 |
| CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
| CN112102176A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于多尺度密集混合注意力神经网络的图像去雨方法 |
-
2020
- 2020-12-24 CN CN202011557948.9A patent/CN112686815A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009580A (zh) * | 2019-03-18 | 2019-07-12 | 华东师范大学 | 基于图片块雨滴密集度的单张图片双向去雨方法 |
| CN110751612A (zh) * | 2019-11-05 | 2020-02-04 | 哈尔滨理工大学 | 多通道多尺度卷积神经网络的单幅图像去雨方法 |
| CN111652812A (zh) * | 2020-04-30 | 2020-09-11 | 南京理工大学 | 基于选择性注意力机制的图像去雾和去雨算法 |
| CN111861925A (zh) * | 2020-07-24 | 2020-10-30 | 南京信息工程大学滨江学院 | 一种基于注意力机制与门控循环单元的图像去雨方法 |
| CN112102176A (zh) * | 2020-07-27 | 2020-12-18 | 中山大学 | 基于多尺度密集混合注意力神经网络的图像去雨方法 |
| CN112070690A (zh) * | 2020-08-25 | 2020-12-11 | 西安理工大学 | 基于卷积神经网络双分支注意力生成的单幅图像去雨方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436101A (zh) * | 2021-06-28 | 2021-09-24 | 杭州电子科技大学 | 基于高效通道注意力机制的龙格库塔模块去雨的方法 |
| CN113436101B (zh) * | 2021-06-28 | 2023-11-10 | 杭州电子科技大学 | 基于高效通道注意力机制的龙格库塔模块去雨的方法 |
| CN113962905A (zh) * | 2021-12-03 | 2022-01-21 | 四川大学 | 基于多阶段特征互补网络的单幅图像去雨方法 |
| CN113962905B (zh) * | 2021-12-03 | 2023-05-05 | 四川大学 | 基于多阶段特征互补网络的单幅图像去雨方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035319B (zh) | 单目图像深度估计方法及装置、设备、程序及存储介质 | |
| WO2020186703A1 (en) | Convolutional neural network-based image processing method and image processing apparatus | |
| US9710697B2 (en) | Method and system for exacting face features from data of face images | |
| US20200057921A1 (en) | Image classification and conversion method and device, image processor and training method therefor, and medium | |
| CN105590304B (zh) | 超分辨率图像重建方法和装置 | |
| CN114581767B (zh) | 图像处理***、方法及其计算机装置 | |
| CN112686815A (zh) | 一种基于卷积神经网络的无人机单幅图像去雨方法 | |
| CN115605878A (zh) | 使用基于自注意力的神经网络处理图像 | |
| CN114170516B (zh) | 一种基于路侧感知的车辆重识别方法、装置及电子设备 | |
| CN109859143B (zh) | 高光谱图像全色锐化方法、装置及电子设备 | |
| CN113052775B (zh) | 一种图像去阴影方法及装置 | |
| CN115147598A (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN109697442B (zh) | 一种字符识别模型的训练方法和装置 | |
| CN114821432B (zh) | 基于离散余弦变换的视频目标分割对抗攻击方法 | |
| CN116757930A (zh) | 基于残差分离注意力机制的遥感图像超分辨率方法、***及介质 | |
| Quan et al. | Neumann network with recursive kernels for single image defocus deblurring | |
| Young et al. | Feature-align network with knowledge distillation for efficient denoising | |
| CN111242228A (zh) | 高光谱图像分类方法、装置、设备及存储介质 | |
| US20210279594A1 (en) | Method and apparatus for video coding | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN108898557B (zh) | 图像恢复方法及装置、电子设备、计算机程序及存储介质 | |
| CN115375715A (zh) | 目标提取方法、装置、电子设备及存储介质 | |
| CN115861723A (zh) | 一种基于卷积稀疏编码的单目深度估计方法 | |
| CN112288748B (zh) | 一种语义分割网络训练、图像语义分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210420 |