CN110533581A - 一种基于雨滴概率图的雨滴消除方法、***和存储介质 - Google Patents
一种基于雨滴概率图的雨滴消除方法、***和存储介质 Download PDFInfo
- Publication number
- CN110533581A CN110533581A CN201910737935.0A CN201910737935A CN110533581A CN 110533581 A CN110533581 A CN 110533581A CN 201910737935 A CN201910737935 A CN 201910737935A CN 110533581 A CN110533581 A CN 110533581A
- Authority
- CN
- China
- Prior art keywords
- raindrop
- image
- probability graph
- layer
- removing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012804 iterative process Methods 0.000 claims abstract description 10
- 239000000203 mixture Substances 0.000 claims description 9
- 238000009472 formulation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 9
- 230000008030 elimination Effects 0.000 description 6
- 238000003379 elimination reaction Methods 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 235000020061 kirsch Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000019771 cognition Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于雨滴概率图的雨滴消除方法、***和存储介质，所述方法包括：接收一张雨滴图像；根据雨滴的先验信息构建雨滴概率图；通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；输出无雨滴的图像。本发明通过对拍摄的雨滴图像进行成像模型假定，估计模型中雨滴概率图的分布，从而构建最优化模型来准确地消除图像中的雨滴，构建高质量的无雨滴图像，并可实现对雨滴图像的有效增强。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于雨滴概率图的雨滴消除方法、***和存储介质。
背景技术
计算机视觉***的重要目标是采集现实世界的图像或视频数据，通过处理和分析，实现对视觉数据的认知和理解，如视频监控已成为当前计算机视觉领域一个非常典型和重要的应用。视觉***所采集的原始数据的准确性给后续处理和分析带来了很大的影响，采集到的数据越准确，则其信息越完备，视觉***的性能也就越高。然而当前户外视觉***常常会受到恶劣天气的影响，尤其是雨的影响，因此消除雨滴图像中雨的存在，对提高户外视觉***的鲁棒性和视频监控***的有效性具有重要的意义。
随着深度学习的发展，从一张规则雨线图像得到一张干净无雨的图像已变得相对容易。然而当前学界对图像中雨滴的处理还是少之又少。事实上，在雨天视频图像数据的采集过程中，摄像头的镜头上常常会有残余的雨滴，从而导致拍摄的图像中会有雨滴的存在。雨滴图像比普通的雨线图像处理起来难度会更大，后者雨的方向一般比较规律，可以较好地构建模型，而雨滴图像存在着两大障碍，其一，不同于普通的雨线图像，普通雨线图像中雨的分布是规则的、全局的，而雨滴图像中的雨可能存在于图像的任意位置，且形状大小远没有雨线那么规律，检测上存在难度；其二，不同于普通的雨线图像中获取的雨线图像是背景图像和雨的叠加，在雨滴图像中，被雨滴覆盖的图像背景的信息是可能是完全缺失的，这为雨滴图像的复原工作进一步增加了难度。
现有雨滴图像的雨滴消除方法多数是先对雨滴进行检测，再对检测出的雨滴进行修补，从而修复雨滴图像中被雨滴损坏的像素区域。然而通过现有方式修复后的图像中仍有可能存在雨滴残留，不能对雨滴图像中的雨滴进行有效去除，修复质量并不高。
发明内容
为了解决上述至少一个技术问题，本发明提出了一种基于雨滴概率图的雨滴消除方法、***和存储介质。
为了实现上述目的，本发明第一方面提出了一种基于雨滴概率图的雨滴消除方法，所述方法包括：
接收一张雨滴图像；
根据雨滴的先验信息构建雨滴概率图；
通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；
基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；
输出无雨滴的图像。
本方案中，根据雨滴的先验信息构建雨滴概率图，具体包括：
利用所述雨滴图像的形状光滑度指标S来计算雨滴概率图，计算公式为：α＝eS-2π。
本方案中，所述最优化模型的算法为：
其中，第一项为保真项，用于确保算法求解出来的背景层与雨滴层的组合满足雨滴图像生成模型，第二项λ1Φ(I)和第三项λ2Ψ(R)分别为约束图像的正则化项，I表示背景层，R表示雨滴层，λ1和λ2为正则化参数。
本方案中，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体包括：
采用小波紧框架算子约束所述雨滴图像的背景层在转换域的稀疏性，约束公式为：Φ(I)＝||WI||1，其中W为小波算子。
本方案中，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体还包括：
约束所述雨滴图像的雨滴层在梯度域的能量，约束公式为： 其中为梯度算子。
本方案中，基于所述雨滴概率图求解所述最优化模型，具体包括：
初始化设置，预设所述雨滴概率图为α0，背景层I0＝J，雨滴层R0＝J，其中J为所述雨滴图像；
基于所述雨滴概率图迭代求解所述最优化模型；
待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。
进一步的，基于所述雨滴概率图迭代求解所述最优化模型，具体包括：
根据迭代过程中上一步已知的{αk，Ik}，更新Rk+1，更新公式为：
根据更新后的{αk，Rk+1}，更新Ik+1，更新公式为：
根据更新后的Rk+1，重新计算所述雨滴图像形状的光滑度S，并更新雨滴概率图αk+1。
本发明第二方面还提出一种基于雨滴概率图的雨滴消除***，所述基于雨滴概率图的雨滴消除***包括：存储器及处理器，所述存储器中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被所述处理器执行时实现如下步骤：
接收一张雨滴图像；
根据雨滴的先验信息构建雨滴概率图；
通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；
基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；
输出无雨滴的图像。
本方案中，基于所述雨滴概率图求解所述最优化模型，具体包括：
初始化设置，预设所述雨滴概率图为α0，背景层I0＝J，雨滴层R0＝J，其中J为所述雨滴图像；
基于所述雨滴概率图迭代求解所述最优化模型；
待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被处理器执行时，实现如上述的一种基于雨滴概率图的雨滴消除方法的步骤。
本发明提出的基于雨滴概率图的雨滴消除方法、***和存储介质，先采用雨滴的形状特性估计出雨滴概率图，再通过对背景层和雨滴层的先验约束构建最优化模型，以最终得到的背景层图像，即为雨滴消除后的图像。现有针对雨滴图像中的雨滴去除方法中多采用对雨滴进行检测，再对检测出的雨滴进行修补的方式，从而修复图像中被雨滴损坏的像素区域。与现有技术相比，本发明能够更为准确地消除图像中的雨滴，构建高质量的无雨滴图像，并可实现对雨滴图像的有效增强。
本发明的附加方面和优点将在下面的描述部分中给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1示出了本发明一种基于雨滴概率图的雨滴消除方法的流程图；
图2示出了本发明一种基于雨滴概率图的雨滴消除框架图；
图3示出了本发明一种基于雨滴概率图的雨滴消除***的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于雨滴概率图的雨滴消除方法的流程图。
如图1所示，本发明第一方面提出一种基于雨滴概率图的雨滴消除方法，所述方法包括：
S102，接收一张雨滴图像；
S104，根据雨滴的先验信息构建雨滴概率图；
S106，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；
S108，基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；
S110，输出无雨滴的图像。
需要说明的是，本发明的技术方案可以在PC、手机、PAD等终端设备中得以实现。
需要说明的是，所述先验信息可以为物理、光学等特性，本发明利用雨滴的先验信息对所述雨滴图像进行分析，得到雨滴概率图，在此基础上，结合雨滴图像背景层和雨滴层的稀疏结构约束，通过构建最优化模型的方式对背景层图像进行求解，从而实现对雨滴图像中的雨滴进行消除。
如图2所示，在具体实施例中，首先输入一张雨滴图像，根据雨滴的先验构建雨滴概率图，通过自然图像的先验假设对背景层和雨滴层进行约束，然后将这两者一同输入到最优化模型中，在最优化模型的迭代求解过程中同时更新雨滴概率图，最终输出无雨滴的图像，实现对图像的增强效果，且通过增强后的图像可用于户外视觉***的图像分析。
根据雨滴图像生成模型的生成原理可知，雨滴图像J可以由背景层I和雨滴层R的线性叠加而成，关系式为：
J＝(1-α)I+αR；
其中，α表示了所述雨滴图像中雨滴存在的可能性，即为雨滴概率，在整幅雨滴图像中不同像素点对应的α不同，当α＝1，代表该点完全被覆盖，当α＝0，则代表该点不存在雨滴。
进一步的，根据雨滴的先验信息构建雨滴概率图，具体包括：
利用所述雨滴图像的形状光滑度指标S来计算雨滴概率图，计算公式为：α＝eS-2π。
需要说明的是，本发明通过形状光滑度S这个指标进行计算雨滴概率图。所述光滑度S是通过对雨滴图像中边界上的每一点的正切角度进行积分，当该区域的形状是凸的，则光滑度S为2π，如果是非凸或者锯齿状的，则光滑度S会大于2π，但由于雨滴的形状一般是凸的，所以，当雨滴图像中的某区域形状对应的光滑度S为2π时，则说明该点为雨滴的概率α接近1。
根据本发明的实施例，在对雨滴图像进行雨滴消除时，首先需要初步估计图像中的雨滴概率图α。具体的，可以采用形状的光滑度和圆满度对雨滴的概率进行计算。在此基础上，再对背景层I和雨滴层R根据其先验假设进行约束，从而可构建如下最优化模型的算法：
其中，第一项为保真项，用于确保算法求解出来的背景层与雨滴层的组合满足雨滴图像生成模型，第二项λ1Φ(I)和第三项λ2Ψ(R)分别为约束图像的正则化项，I表示背景层，R表示雨滴层，λ1和λ2为正则化参数。
需要说明的是，关于最优化模型中的Φ可采用图像在小波转换域的稀疏性约束，Ψ可采用图像在梯度域能量约束，最优化模型的求解可采用交替迭代的方式进行。
根据本发明的实施例，基于所述雨滴概率图求解所述最优化模型，具体包括：
初始化设置，预设所述雨滴概率图为α0，背景层I0＝J，雨滴层R0＝J，其中J为所述雨滴图像；
基于所述雨滴概率图迭代求解所述最优化模型；
待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。
进一步的，基于所述雨滴概率图迭代求解所述最优化模型，具体包括：
根据迭代过程中上一步已知的{αk，Ik}，更新Rk+1，更新公式为：
根据更新后的{αk，Rk+1}，更新Ik+1，更新公式为：
根据更新后的Rk+1，重新计算所述雨滴图像形状的光滑度S，并更新雨滴概率图αk+1。
需要说明的是，在得到更新的雨滴概率图αk+1，再结合更新的Ik+1来更新Rk+2，然后根据更新后的{αk+1，Rk+2}来更新更新Ik+2，然后根据更新后的Rk+2，重新计算所述雨滴图像形状的光滑度S，并更新雨滴概率图αk+2，以此方式进行循环更新出最新的雨滴概率图α，背景层图像I，雨滴层图像R。
根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体包括：
采用小波紧框架算子约束所述雨滴图像的背景层在转换域的稀疏性，约束公式为：Ф(I)＝||WI||1，其中W为小波算子。
根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体还包括：
约束所述雨滴图像的雨滴层在梯度域的能量，约束公式为： 其中为梯度算子。
需要说明的是，所述梯度算子可以为Sobel算子、Roberts算子、Kirsch算子、Laplace算子、Piewitt算子、Robinson算子，但不限于此。
图3示出了本发明一种基于雨滴概率图的雨滴消除***的框图。
如图3所示，本发明第二方面还提出一种基于雨滴概率图的雨滴消除***3，所述基于雨滴概率图的雨滴消除***3包括：存储器31及处理器32，所述存储器31中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被所述处理器32执行时实现如下步骤：
接收一张雨滴图像；
根据雨滴的先验信息构建雨滴概率图；
通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；
基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；
输出无雨滴的图像。
需要说明的是，本发明的***可以在PC、手机、PAD等终端设备中进行操作。
需要说明的是，所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
需要说明的是，所述***还可以包括显示器，所述显示器可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在***中处理的信息、输出的无雨滴图像以及用于显示可视化的工作界面。
需要说明的是，所述先验信息可以为物理、光学等特性，本发明利用雨滴的先验信息对所述雨滴图像进行分析，得到雨滴概率图，在此基础上，结合雨滴图像背景层和雨滴层的稀疏结构约束，通过构建最优化模型的方式对背景层图像进行求解，从而实现对雨滴图像中的雨滴进行消除。
在具体实施例中，首先输入一张雨滴图像，根据雨滴的先验构建雨滴概率图，通过自然图像的先验假设对背景层和雨滴层进行约束，然后将这两者一同输入到最优化模型中，在最优化模型的迭代求解过程中同时更新雨滴概率图，最终输出无雨滴的图像，实现对图像的增强效果，且通过增强后的图像可用于户外视觉***的图像分析。
根据雨滴图像生成模型的生成原理可知，雨滴图像J可以由背景层I和雨滴层R的线性叠加而成，关系式为：
J＝(1-α)I+αR；
其中，α表示了所述雨滴图像中雨滴存在的可能性，即为雨滴概率，在整幅雨滴图像中不同像素点对应的α不同，当α＝1，代表该点完全被覆盖，当α＝0，则代表该点不存在雨滴。
进一步的，根据雨滴的先验信息构建雨滴概率图，具体包括：
利用所述雨滴图像的形状光滑度指标S来计算雨滴概率图，计算公式为：α＝eS-2π。
需要说明的是，本发明通过形状光滑度S这个指标进行计算雨滴概率图。所述光滑度S是通过对雨滴图像中边界上的每一点的正切角度进行积分，当该区域的形状是凸的，则光滑度S为2π，如果是非凸或者锯齿状的，则光滑度S会大于2π，但由于雨滴的形状一般是凸的，所以，当雨滴图像中的某区域形状对应的光滑度S为2π时，则说明该点为雨滴的概率α接近1。
根据本发明的实施例，在对雨滴图像进行雨滴消除时，首先需要初步估计图像中的雨滴概率图α。具体的，可以采用形状的光滑度和圆满度对雨滴的概率进行计算。在此基础上，再对背景层I和雨滴层R根据其先验假设进行约束，从而可构建如下最优化模型的算法：
其中，第一项为保真项，用于确保算法求解出来的背景层与雨滴层的组合满足雨滴图像生成模型，第二项λ1Ф(I)和第三项λ2Ψ(R)分别为约束图像的正则化项，I表示背景层，R表示雨滴层，λ1和λ2为正则化参数。
需要说明的是，关于最优化模型中的Φ可采用图像在小波转换域的稀疏性约束，Ψ可采用图像在梯度域能量约束，最优化模型的求解可采用交替迭代的方式进行。
根据本发明的实施例，基于所述雨滴概率图求解所述最优化模型，具体包括：
初始化设置，预设所述雨滴概率图为α0，背景层I0＝J，雨滴层R0＝J，其中J为所述雨滴图像；
基于所述雨滴概率图迭代求解所述最优化模型；
待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。
进一步的，基于所述雨滴概率图迭代求解所述最优化模型，具体包括：
根据迭代过程中上一步已知的{αk，Ik}，更新Rk+1，更新公式为：
根据更新后的{αk，Rk+1}，更新Ik+1，更新公式为：
根据更新后的Rk+1，重新计算所述雨滴图像形状的光滑度S，并更新雨滴概率图αk+1。
需要说明的是，在得到更新的雨滴概率图αk+1，再结合更新的Ik+1来更新Rk+2，然后根据更新后的{αk+1，Rk+2}来更新更新Ik+2，然后根据更新后的Rk+2，重新计算所述雨滴图像形状的光滑度S，并更新雨滴概率图αk+2，以此方式进行循环更新出最新的雨滴概率图α，背景层图像I，雨滴层图像R。
根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体包括：
采用小波紧框架算子约束所述雨滴图像的背景层在转换域的稀疏性，约束公式为：Φ(I)＝||WI||1，其中W为小波算子。
根据本发明的实施例，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体还包括：
约束所述雨滴图像的雨滴层在梯度域的能量，约束公式为： 其中为梯度算子。
需要说明的是，所述梯度算子可以为Sobel算子、Roberts算子、Kirsch算子、Laplace算子、Piewitt算子、Robinson算子，但不限于此。
本发明第三方面还提出一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被处理器执行时，实现如上述的一种基于雨滴概率图的雨滴消除方法的步骤。
本发明提出一种基于雨滴概率图的雨滴消除方法、***和存储介质，先采用雨滴的形状特性估计出雨滴概率图，再通过对背景层和雨滴层的先验约束构建最优化模型，以最终得到的背景层图像，即为雨滴消除后的图像。现有针对雨滴图像中的雨滴去除方法中多采用对雨滴进行检测，再对检测出的雨滴进行修补的方式，从而修复图像中被雨滴损坏的像素区域。与现有技术相比，本发明能够更为准确地消除图像中的雨滴，构建高质量的无雨滴图像，并可实现对雨滴图像的有效增强。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于雨滴概率图的雨滴消除方法，其特征在于，所述方法包括：
接收一张雨滴图像；
根据雨滴的先验信息构建雨滴概率图；
通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；
基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；
输出无雨滴的图像。
2.根据权利要求1所述的一种基于雨滴概率图的雨滴消除方法，其特征在于，根据雨滴的先验信息构建雨滴概率图，具体包括：
利用所述雨滴图像的形状光滑度指标S来计算雨滴概率图，计算公式为：α＝eS-2π。
3.根据权利要求1所述的一种基于雨滴概率图的雨滴消除方法，其特征在于，所述最优化模型的算法为：
其中，第一项为保真项，用于确保算法求解出来的背景层与雨滴层的组合满足雨滴图像生成模型，第二项λ1Φ(I)和第三项λ2Ψ(R)分别为约束图像的正则化项，I表示背景层，R表示雨滴层，λ1和λ2为正则化参数。
4.根据权利要求1所述的一种基于雨滴概率图的雨滴消除方法，其特征在于，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体包括：
采用小波紧框架算子约束所述雨滴图像的背景层在转换域的稀疏性，约束公式为：Φ(I)＝‖WI‖1，其中W为小波算子。
5.根据权利要求1所述的一种基于雨滴概率图的雨滴消除方法，其特征在于，通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，具体还包括：
约束所述雨滴图像的雨滴层在梯度域的能量，约束公式为： 其中为梯度算子。
6.根据权利要求1所述的一种基于雨滴概率图的雨滴消除方法，其特征在于，基于所述雨滴概率图求解所述最优化模型，具体包括：
初始化设置，预设所述雨滴概率图为α0，背景层I0＝J，雨滴层R0＝J，其中J为所述雨滴图像；
基于所述雨滴概率图迭代求解所述最优化模型；
待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。
7.根据权利要求6所述的一种基于雨滴概率图的雨滴消除方法，其特征在于，基于所述雨滴概率图迭代求解所述最优化模型，具体包括：
根据迭代过程中上一步已知的{αk，Ik}，更新Rk+1，更新公式为：
根据更新后的{αk，Rk+1}，更新Ik+1，更新公式为：
根据更新后的Rk+1，重新计算所述雨滴图像形状的光滑度S，并更新雨滴概率图αk+1。
8.一种基于雨滴概率图的雨滴消除***，其特征在于，所述基于雨滴概率图的雨滴消除***包括：存储器及处理器，所述存储器中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被所述处理器执行时实现如下步骤：
接收一张雨滴图像；
根据雨滴的先验信息构建雨滴概率图；
通过自然图像的先验假设对所述雨滴图像的背景层和雨滴层进行约束，以构建最优化模型；
基于所述雨滴概率图求解所述最优化模型，在求解所述最优化模型的迭代过程中同时更新所述雨滴概率图；
输出无雨滴的图像。
9.根据权利要求8所述的一种基于雨滴概率图的雨滴消除***，其特征在于，基于所述雨滴概率图求解所述最优化模型，具体包括：
初始化设置，预设所述雨滴概率图为α0，背景层I0＝J，雨滴层R0＝J，其中J为所述雨滴图像；
基于所述雨滴概率图迭代求解所述最优化模型；
待所述最优化模型的算法收敛时，输出最终的背景层图像，即为所述雨滴图像消除雨滴后的图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于雨滴概率图的雨滴消除方法程序，所述基于雨滴概率图的雨滴消除方法程序被处理器执行时，实现如权利要求1至7中任一项所述的一种基于雨滴概率图的雨滴消除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910737935.0A CN110533581B (zh) | 2019-08-12 | 2019-08-12 | 一种基于雨滴概率图的雨滴消除方法、***和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910737935.0A CN110533581B (zh) | 2019-08-12 | 2019-08-12 | 一种基于雨滴概率图的雨滴消除方法、***和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533581A true CN110533581A (zh) | 2019-12-03 |
| CN110533581B CN110533581B (zh) | 2023-05-02 |
Family
ID=68662954
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910737935.0A Active CN110533581B (zh) | 2019-08-12 | 2019-08-12 | 一种基于雨滴概率图的雨滴消除方法、***和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533581B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330739A (zh) * | 2020-10-27 | 2021-02-05 | 北京航空航天大学 | 一种基于光学概率图模型的卫星探测方法 |
| CN117152000A (zh) * | 2023-08-08 | 2023-12-01 | 华中科技大学 | 雨天图像-清晰背景成对数据集制作方法、装置及其应用 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707340A (zh) * | 2012-06-06 | 2012-10-03 | 南京大学 | 一种基于视频图像的降雨量测量方法 |
| CN104331865A (zh) * | 2014-10-22 | 2015-02-04 | 中国科学院深圳先进技术研究院 | 一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法 |
| CN105335949A (zh) * | 2015-08-28 | 2016-02-17 | 中国科学院深圳先进技术研究院 | 一种视频图像去雨方法及*** |
| CN106709926A (zh) * | 2016-12-12 | 2017-05-24 | 四川大学 | 基于动态先验知识估计的快算去雨算法 |
| CN108230278A (zh) * | 2018-02-24 | 2018-06-29 | 中山大学 | 一种基于生成对抗网络的图像去雨滴方法 |
| CN110009578A (zh) * | 2019-03-13 | 2019-07-12 | 五邑大学 | 一种图像去雨方法及其***、装置、存储介质 |
| CN110111267A (zh) * | 2019-04-17 | 2019-08-09 | 大连理工大学 | 一种基于优化算法结合残差网络的单幅图像除雨方法 |
-
2019
- 2019-08-12 CN CN201910737935.0A patent/CN110533581B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102707340A (zh) * | 2012-06-06 | 2012-10-03 | 南京大学 | 一种基于视频图像的降雨量测量方法 |
| CN104331865A (zh) * | 2014-10-22 | 2015-02-04 | 中国科学院深圳先进技术研究院 | 一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法 |
| CN105335949A (zh) * | 2015-08-28 | 2016-02-17 | 中国科学院深圳先进技术研究院 | 一种视频图像去雨方法及*** |
| CN106709926A (zh) * | 2016-12-12 | 2017-05-24 | 四川大学 | 基于动态先验知识估计的快算去雨算法 |
| CN108230278A (zh) * | 2018-02-24 | 2018-06-29 | 中山大学 | 一种基于生成对抗网络的图像去雨滴方法 |
| CN110009578A (zh) * | 2019-03-13 | 2019-07-12 | 五邑大学 | 一种图像去雨方法及其***、装置、存储介质 |
| CN110111267A (zh) * | 2019-04-17 | 2019-08-09 | 大连理工大学 | 一种基于优化算法结合残差网络的单幅图像除雨方法 |
Non-Patent Citations (2)
| Title |
|---|
| YU LUO ET AL: "Fast Removal of Rain Streaks From a Single Image via a Shape Prior" * |
| 林向伟等: "基于多细节卷积神经网络的单幅图像去雨方法", 《信号处理》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112330739A (zh) * | 2020-10-27 | 2021-02-05 | 北京航空航天大学 | 一种基于光学概率图模型的卫星探测方法 |
| CN112330739B (zh) * | 2020-10-27 | 2022-05-27 | 北京航空航天大学 | 一种基于光学概率图模型的卫星探测方法 |
| CN117152000A (zh) * | 2023-08-08 | 2023-12-01 | 华中科技大学 | 雨天图像-清晰背景成对数据集制作方法、装置及其应用 |
| CN117152000B (zh) * | 2023-08-08 | 2024-05-14 | 华中科技大学 | 雨天图像-清晰背景成对数据集制作方法、装置及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533581B (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200696B2 (en) | Method and apparatus for training 6D pose estimation network based on deep learning iterative matching | |
| US20240070546A1 (en) | System and method for end-to-end differentiable joint image refinement and perception | |
| Dong et al. | Multi-scale boosted dehazing network with dense feature fusion | |
| Sakaridis et al. | Model adaptation with synthetic and real data for semantic dense foggy scene understanding | |
| CN109754417B (zh) | 从图像中无监督学习几何结构的***与方法 | |
| Wexler et al. | Space-time completion of video | |
| Michaeli et al. | Nonparametric blind super-resolution | |
| US20200082571A1 (en) | Method and apparatus for calibrating relative parameters of collector, device and storage medium | |
| CN110956126B (zh) | 一种联合超分辨率重建的小目标检测方法 | |
| Kuanar et al. | Multi-path dilated convolution network for haze and glow removal in nighttime images | |
| US11314989B2 (en) | Training a generative model and a discriminative model | |
| US11676257B2 (en) | Method and device for detecting defect of meal box, server, and storage medium | |
| US20170185871A1 (en) | Method and apparatus of neural network based image signal processor | |
| US20170178293A1 (en) | Method for performing super-resolution on single images and apparatus for performing super-resolution on single images | |
| CN115082329A (zh) | 使用用于图像修复的深度视觉引导补丁匹配模型生成修改的数字图像 | |
| CN110992244B (zh) | 带有摩尔纹的图片生成方法、***、设备和存储介质 | |
| EP3721382B1 (en) | Method and system of annotation densification for semantic segmentation | |
| US20220392025A1 (en) | Restoring degraded digital images through a deep learning framework | |
| CN110533581A (zh) | 一种基于雨滴概率图的雨滴消除方法、***和存储介质 | |
| CN108648149B (zh) | 基于增强现实的图像拼接方法、***、设备及存储介质 | |
| US10521918B2 (en) | Method and device for filtering texture, using patch shift | |
| Liu et al. | Infrared and visible image fusion and denoising via ℓ2− ℓp norm minimization | |
| US11069034B2 (en) | Method and system to enhance quality of digital images | |
| CN117058007A (zh) | 利用类特定修复神经网络的数字图像中的对象类修复 | |
| Wang et al. | Total generalized variation-based Retinex image decomposition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |