CN110175963B - 一种适用于水下图像及大气暗图像的两用图像增强方法及装置 - Google Patents
一种适用于水下图像及大气暗图像的两用图像增强方法及装置 Download PDFInfo
- Publication number
- CN110175963B CN110175963B CN201910453495.6A CN201910453495A CN110175963B CN 110175963 B CN110175963 B CN 110175963B CN 201910453495 A CN201910453495 A CN 201910453495A CN 110175963 B CN110175963 B CN 110175963B
- Authority
- CN
- China
- Prior art keywords
- image
- reflectivity
- incident light
- underwater
- dark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000002310 reflectometry Methods 0.000 claims abstract description 77
- 238000012937 correction Methods 0.000 claims abstract description 16
- 230000014759 maintenance of location Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种适用于水下图像及大气暗图像的两用图像增强方法及装置，该方法包括：接收待图像增强的水下图像或大气暗图像的原图像和灰度图；通过构建的目标方程进行估计，得到反射率图像和入射光图像；对反射率图像进行对比度增强，得到高亮度的大气图像；对入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。既可用于纠正水下图像色偏，改善水下图像对比度，又可用于增强大气中拍摄的暗图像。
Description
技术领域
本公开属于图像处理的技术领域，涉及一种适用于水下图像及大气暗图像的两用图像增强方法及装置。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
水下图像是人类获取水下有效信息的手段之一，光成像***更加简易便携、采集速度快、成像细节丰富，使得水下光成像为水下图像主要的获取手段。大气暗图像是低光照条件下拍摄的图像，在诸如夜视监控、低剂量X射线成像等实际应用里，受到成像硬件以及成像环境影响，我们所能得到的图像通常是大气暗图像。
然而，发明人在研发过程中发现，水下获取的图像存在模糊、色偏、对比度低等缺陷；而在大气环境中，低光照条件下拍摄的图像表现出较暗的亮度，致使黑暗场景的细节丢失，这两类图像表现出不同的低质量特性。
发明内容
针对现有技术不能实现水下图像与大气暗图像同时增强的情况，本公开的一个或多个实施例提供了一种适用于水下图像及大气暗图像的两用图像增强方法及装置，既可用于纠正水下图像色偏，改善水下图像对比度，又可用于增强大气中拍摄的暗图像。
根据本公开的一个或多个实施例的一个方面，提供一种适用于水下图像及大气暗图像的两用图像增强方法。
一种适用于水下图像及大气暗图像的两用图像增强方法，该方法包括：
接收待图像增强的水下图像或大气暗图像的原图像和灰度图；
通过构建的目标方程进行估计，得到反射率图像和入射光图像；
对反射率图像进行对比度增强，得到高亮度的大气图像；
对入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。
进一步地，在该方法中，将待图像增强的水下图像或大气暗图像的原图像的RGB三通道分别通过构建的目标方程进行估计。
进一步地，在该方法中，根据Retinex理论构建所述目标方程，所述目标方程为反射率与入射光的数据保持项、全变分稀疏正则化项、反射率的数据保持项以及入射光的数据保持项之和；所述目标方程的限制条件为反射率取值范围为[0 1]；
所述反射率与入射光的数据保持项通过反射率与入射光的乘积减原图像的L2范数表示；
所述全变分稀疏正则化项通过梯度算子与反射率乘积的L1范数表示；
所述反射率的数据保持项通过反射率减灰度图的L2范数表示；
所述入射光的数据保持项通过入射光减原图像的导向滤波由[0 1]区间线性映射至[0.2 1]区间的L2范数表示。
进一步地，该方法还包括：引入辅助变量Z、E以及调节因子ρ对所述目标方程中的所述全变分稀疏正则化项的L1范数进行等效变换，变换后的所述全变分稀疏正则化项为辅助变量Z的L1范数以及梯度算子和反射率乘积减辅助变量Z加辅助变量E的L2范数与调节因子ρ的乘积之和。
进一步地，在该方法中，将变换后的目标方程分解为Z子问题、R子问题和I子问题进行循环迭代求解，并根据限制条件对反射率和入射光进行修正，得到反射率图像和入射光图像。
进一步地，在该方法中，所述Z子问题是将变换后的目标方程中不含Z的项删除，并通过收缩操作导出Z子问题的最优解；
所述R子问题是将变换后的目标方程中不含R的项删除，并通过令R的偏导数为0，采用快速傅里叶变换并结合卷积定理进行求解，得到R子问题的最优解；
所述I子问题是将变换后的目标方程中不含I的项删除，并通过令I的偏导数为0，得到I子问题的最优解。
进一步地，在该方法中，对反射率图像采用同态滤波对其高频成分进行对比度增强。
进一步地，在该方法中，对入射光图像采用高斯分布线性映射进行色彩校正。
根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种适用于水下图像及大气暗图像的两用图像增强方法。
根据本公开的一个或多个实施例的一个方面，提供一种终端设备。
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种适用于水下图像及大气暗图像的两用图像增强方法。
根据本公开的一个或多个实施例的一个方面，提供一种适用于水下图像及大气暗图像的两用图像增强装置。
一种适用于水下图像及大气暗图像的两用图像增强装置，基于所述的一种适用于水下图像及大气暗图像的两用图像增强方法，包括：
图像接收模块，被配置为接收待图像增强的水下图像或大气暗图像的原图像和灰度图；
反射率和入射光估计模块，被配置为通过构建的目标方程进行估计，得到反射率图像和入射光图像；
反射率后处理模块，被配置为对反射率图像进行对比度增强，得到高亮度的大气图像；
入射光后处理模块，被配置为对入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。
本公开的有益效果：
本公开提供的一种适用于水下图像及大气暗图像的两用图像增强方法及装置，根据先验信息，通过构建的目标方程进行估计，得到反射率图像和入射光图像；分别对反射率图像进行对比度增强，得到高亮度的大气图像；对入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。本公开既可用于纠正水下图像色偏，改善水下图像对比度，又可用于增强大气中拍摄的暗图像。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是根据一个或多个实施例的一种适用于水下图像及大气暗图像的两用图像增强方法流程图；
图2是根据一个或多个实施例的具体的一种适用于水下图像及大气暗图像的两用图像增强方法流程图；
图3是根据一个或多个实施例的大气暗图像及图像增强后的大气暗图像示意图；
图4是根据一个或多个实施例的水下图像及图像增强后的水下图像示意图。
具体实施方式：
下面将结合本公开的一个或多个实施例中的附图，对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本公开的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和***的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合，下面结合附图与实施例对本公开作进一步说明。
实施例一
根据本公开的一个或多个实施例的一个方面，提供一种适用于水下图像及大气暗图像的两用图像增强方法。
如图1所示，一种适用于水下图像及大气暗图像的两用图像增强方法，该方法包括：
一种适用于水下图像及大气暗图像的两用图像增强方法，该方法包括：
S1：接收待图像增强的水下图像或大气暗图像的原图像和灰度图；
S2：通过构建的目标方程进行估计，得到反射率图像和入射光图像；
S3：对反射率图像进行对比度增强，得到高亮度的大气图像；
S4：对入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。
根据Retinex理论，一张图像可表示为反射率与入射光的乘积，如公式(1)所示。本专利使用该模型，创新性地构建目标方程，同时估计出反射率和入射光，并根据反射率和入射光的特性，分别对其进行后处理，从而输出增强的图像。
Sc(x)＝Rc(x)·Ic(x) c∈{r,g,b} (1)
式中Sc(x)为输入图像(水下图像或大气暗图像)，Rc(x)表示反射率，Ic(x)表示入射光，x表示像素坐标，c表示图像红绿蓝三通道，‘·’表示矩阵元素对应相乘。
提出的方法包括两大步骤：S2构建目标方程，估计出反射率和入射光；S3和S4分别对反射率和入射光进行后处理，方法流程如图2所示。
在本实施例的步骤S2中，将待图像增强的水下图像或大气暗图像的原图像的RGB三通道分别通过构建的目标方程进行估计。
在该方法中构建目标方程，根据Retinex理论构建所述目标方程，所述目标方程为反射率与入射光的数据保持项、全变分稀疏正则化项、反射率的数据保持项以及入射光的数据保持项之和；所述目标方程的限制条件为反射率取值范围为[0 1]；
所述反射率与入射光的数据保持项通过反射率与入射光乘积减原图像的L2范数表示；
所述全变分稀疏正则化项通过梯度算子与反射率乘积的L1范数表示；
所述反射率的数据保持项通过反射率减灰度图的L2范数表示；
所述入射光的数据保持项通过入射光减原图像的导向滤波由[0 1]区间线性映射至[0.2 1]区间的L2范数表示。
基于公式(1)表示的模型，并根据先验信息，创新性地构建目标方程，如公式(2)所示(为便于阅读，本节的公式中已将像素坐标的标识符x去除)：
式中‖‖2表示L2范数，||1表示L1范数，S为输入图像(单通道)，I为入射光(单通道图)，R为反射率(单通道图)，
表示梯度算子，α，β，γ为调节因子(固定常数，具体数值见Algorithm-1)，G是输入图像的灰度图。R的取值范围为[0 1]区间，所以目标方程有限制条件R≤1，目标方程中各项说明如下：
式中Sc为输入图像，GF(.)表示导向滤波，
表示将图像
由[0 1]区间线性映射至[0.2 1]区间(可用matlab库函数imadjust实现)。因为
为单通道图，故计算
时每次仅输入Sc中与之对应的单一通道。该计算方法的实施是考虑到两个先验信息：入射光在局部较小区域内较为平滑且连续；现实中不存在绝对的黑暗区域，较暗的区域也有一定的入射光。
进一步地，该方法还包括：引入辅助变量Z、E以及调节因子ρ对所述目标方程中的所述全变分稀疏正则化项的L1范数进行等价变换，变换后的所述全变分稀疏正则化项为辅助变量Z的L1范数以及梯度算子和反射率乘积减辅助变量Z加辅助变量E的L2范数与调节因子ρ的乘积之和。
在本实施例中，为了求解L1范数，引入辅助变量Z、E以及调节因子ρ，并将公式(2)表示的目标方程变换为公式(4)：
进一步地，在该方法中，将变换后的目标方程分解为Z子问题、R子问题和I子问题进行循环迭代求解，并根据限制条件对反射率和入射光进行修正，得到反射率图像和入射光图像。
Z子问题：与Z无关的变量对Z的偏导数为0，故将不含Z的项删除，得出Z子问题目标函数：
式中k表示第k次迭代过程。Z子问题的最优解可通过收缩操作导出，如公式(6)所示：
R子问题：删除不含R的项，得出R子问题目标函数，如公式(7)所示：
对R求偏导数并令为0，可得R子问题的最优解，为避免大型矩阵求逆运算，采用快速傅里叶变换并结合卷积定理进行求解，R子问题的优化结果如公式(8)所示：
式中F表示快速傅里叶变换，F-1为傅里叶逆变换，D表示与梯度算子
对应的卷积模板，DT表示D的转置矩阵。R子问题完成后，通过公式(9)更新E：
I子问题：删除不含I的项，得到I子问题目标函数，如公式(10)所示：
对I求偏导数并令为0，可得I子问题的最优解，如公式(11)所示：
将目标方程的限制条件R≤1，带入公式(1)，导出限制条件S≤I，故在每次迭代中需对I和R进行修正，如公式(12)所示：
公式(4)所示的目标方程优化步骤具体实施如Algorithm-1所示：
输入：原图像Sc(注：分别输入RGB单通道图像)，Sc的灰度图G；
初始化参数：R0＝Z0＝E0＝0，I0＝S，α＝1，β＝1，γ＝10，ρ＝0.01；
While未收敛do：
计算
通过公式(3)
更新Zk通过公式(6)
对输入图像的RGB三通道各执行一次Algorithm-1，得到三通道Rc与Ic。因为入射光Ic包含大部分色偏效果，故对入射光进行色彩矫正后处理；反射率主要包含原图像的结构信息、梯度信息，故采用同态滤波对其高频成分进行增强。
进一步地，在该方法中，对反射率图像采用同态滤波对其高频成分进行对比度增强。
Algorithm-1输出的反射率Rc主要包含原图像的细节信息，为高频成分。而同态滤波在增强高频分量时，可衰减低频分量，能同时兼顾全局对比度和局部对比度，故采用同态滤波来提高反射率的对比度。如公式(13)-(16)所示：
Rc(u)＝F[ln Rc(x)] (13)
Q(u)＝(θH-θL)[1-exp(-σD2(u)/D0)]+θL (16)
式中
为同态滤波后的反射率，ln表示取对数，将Rc(x)转换到对数域，F为快速傅里叶变换，F-1为傅里叶逆变换。Q(u)为滤波器，θH,θL,D0,σ为滤波器参数，当θL≤1且θH≥1时，滤波器增强高频分量，同时衰减低频分量。因为反射率中大部分为高频成分，故将θH设置为1.3，θL设置为0.99。D0和σ为带通半径和方差，默认设置为200和2。为了对极暗的大气图像也有增强效果，采用线性拉伸对同态滤波后的图像
进行处理，以提高反射率的亮度，如公式(17)所示：
式中
为对比度增强后的反射率，
表示线性拉伸，截去
中1％最大的像素，并线性拉伸至[0 1]区间。
大气中的暗图像不存在色偏效果，无需进行颜色矫正。因此，若输入图像为大气暗图像，至此则可输出增强后的结果，暗图像增强效果如图3所示。
进一步地，在该方法中，对入射光图像采用高斯分布线性映射进行色彩校正。
大部分水下图像存在色偏，若输入为水下图像，则需进行色彩矫正。本专利采用高斯分布线性映射对入射光Ic进行色彩矫正，如公式(18)-(20)所示：
式中
为颜色矫正后的入射光，
分别为输入图像Sc在RGB各通道内的均值和标准差。λ为调节因子，对于高斯分布函数，样本落在3倍标准差内的概率为99.7％，涵盖大部分样本，故λ取3。
表示对
进行非线性映射以提高入射光亮度(可用matlab库函数imadjust实现)。
计算出颜色矫正的入射光
和对比度增强的反射率
后，可获得增强的水下图像，如公式(21)所示：
式中
为增强后的水下图像，至此则可输出增强后的水下图像，水下图像增强效果如图4所示。
为验证该方法的有效性，采用多幅图像进行测试。大气暗图测试结果如图3所示，图3第一行为大气暗图像，第二行为本发明专利增强后的图像。原图像存在亮度暗、对比度低等特点。经算法处理后，图亮度和对比度提高，细节清晰，实验结果表明该方法能有效提高大气暗图像的亮度。水下图像测试结果如图4所示，图4第一行为水下图像，第二行为本发明专利增强后的水下图像；原图像存在色偏、雾化、对比度低等特点。经算法处理后，水下图像色偏得以纠正，对比度大幅提高，实验结果表明该方法对水下图像也具有较好的增强效果。
实施例二
根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种适用于水下图像及大气暗图像的两用图像增强方法。
实施例三
根据本公开的一个或多个实施例的一个方面，提供一种终端设备。
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种适用于水下图像及大气暗图像的两用图像增强方法。
这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。
在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。
实施例四
根据本公开的一个或多个实施例的一个方面，提供一种适用于水下图像及大气暗图像的两用图像增强装置。
一种适用于水下图像及大气暗图像的两用图像增强装置，基于所述的一种适用于水下图像及大气暗图像的两用图像增强方法，包括：
图像接收模块，被配置为接收待图像增强的水下图像或大气暗图像的原图像和灰度图；
反射率和入射光估计模块，被配置为通过构建的目标方程进行估计，得到反射率图像和入射光图像；
反射率后处理模块，被配置为对反射率图像进行对比度增强，得到高亮度的大气图像；
入射光后处理模块，被配置为对入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。
应当注意，尽管在上文的详细描述中提及了设备的若干模块或子模块，但是这种划分仅仅是示例性而非强制性的。实际上，根据本公开的实施例，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种适用于水下图像及大气暗图像的两用图像增强方法，其特征在于，该方法包括：
接收待图像增强的水下图像或大气暗图像的原图像；
通过构建的目标方程进行估计，得到大气暗图像的反射率图像和水下图像的入射光图像；
根据Retinex理论，一张图像表示为反射率与入射光的乘积，如公式(1)所示，使用该理论，构建目标方程，同时估计出反射率和入射光，并根据反射率和入射光的特性，分别对其进行后处理，从而输出增强的图像；
Sc(x)＝Rc(x)·Ic(x) c∈{r,g,b} (1)
式中Sc(x)为输入图像，Rc(x)表示反射率，Ic(x)表示入射光，x表示像素坐标，c表示图像红绿蓝三通道，‘·’表示矩阵元素对应相乘；
在该方法中，根据Retinex理论构建所述目标方程，所述目标方程为反射率与入射光的数据保持项、全变分稀疏正则化项、反射率的数据保持项以及入射光的数据保持项之和；所述目标方程的限制条件为反射率取值范围为[0 1]；
所述反射率与入射光的数据保持项通过反射率与入射光乘积减原图像的L2范数表示；
所述全变分稀疏正则化项通过梯度算子与反射率乘积的L1范数表示；
所述反射率的数据保持项通过反射率减灰度图的L2范数表示；
所述入射光的数据保持项通过入射光减原图像的导向滤波由[0 1]区间线性映射至[0.2 1]区间的L2范数表示；
对大气暗图像的反射率图像进行对比度增强，得到高亮度的大气图像；
对水下图像的入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。
2.如权利要求1所述的一种适用于水下图像及大气暗图像的两用图像增强方法，其特征在于，在该方法中，将待图像增强的水下图像或大气暗图像的原图像的RGB三通道分别通过构建的目标方程进行估计。
3.如权利要求1所述的一种适用于水下图像及大气暗图像的两用图像增强方法，其特征在于，该方法还包括：引入辅助变量Z、E以及调节因子ρ对所述目标方程中的所述全变分稀疏正则化项的L1范数进行等效变换，变换后的所述全变分稀疏正则化项为辅助变量Z的L1范数以及梯度算子和反射率乘积减辅助变量Z加辅助变量E的L2范数与调节因子ρ的乘积之和。
4.如权利要求3所述的一种适用于水下图像及大气暗图像的两用图像增强方法，其特征在于，在该方法中，将变换后的目标方程分解为Z子问题、R子问题和I子问题进行循环迭代求解，并根据限制条件对反射率和入射光进行修正，得到反射率图像和入射光图像；
在该方法中，所述Z子问题是将变换后的目标方程中不含Z的项删除，并通过收缩操作导出Z子问题的最优解；
所述R子问题是将变换后的目标方程中不含R的项删除，并通过令R的偏导数为0，采用快速傅里叶变换并结合卷积定理进行求解，得到R子问题的最优解；
所述I子问题是将变换后的目标方程中不含I的项删除，并通过令I的偏导数为0，得到I子问题的最优解；
其中，I为入射光的单通道图，R为反射率的单通道图。
5.如权利要求1所述的一种适用于水下图像及大气暗图像的两用图像增强方法，其特征在于，在该方法中，对大气暗图像的反射率图像采用同态滤波对其高频成分进行对比度增强；
对水下图像的入射光图像采用高斯分布线性映射进行色彩校正。
6.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1-5任一项所述的一种适用于水下图像及大气暗图像的两用图像增强方法。
7.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1-5任一项所述的一种适用于水下图像及大气暗图像的两用图像增强方法。
8.一种适用于水下图像及大气暗图像的两用图像增强装置，其特征在于，基于如权利要求1-5任一项所述的一种适用于水下图像及大气暗图像的两用图像增强方法，包括：
图像接收模块，被配置为接收待图像增强的水下图像或大气暗图像的原图像和灰度图；
反射率和入射光估计模块，被配置为通过构建的目标方程进行估计，得到反射率图像和入射光图像；
反射率后处理模块，被配置为对大气暗图像的反射率图像进行对比度增强，得到高亮度的大气图像；
入射光后处理模块，被配置为对水下图像的入射光图像进行色彩校正，结合对比度增强结果得到增强的水下图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910453495.6A CN110175963B (zh) | 2019-05-28 | 2019-05-28 | 一种适用于水下图像及大气暗图像的两用图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910453495.6A CN110175963B (zh) | 2019-05-28 | 2019-05-28 | 一种适用于水下图像及大气暗图像的两用图像增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110175963A CN110175963A (zh) | 2019-08-27 |
| CN110175963B true CN110175963B (zh) | 2021-02-09 |
Family
ID=67695823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910453495.6A Active CN110175963B (zh) | 2019-05-28 | 2019-05-28 | 一种适用于水下图像及大气暗图像的两用图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110175963B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110706180B (zh) * | 2019-10-09 | 2022-02-11 | 山东大学 | 一种极暗图像视觉质量提升方法、***、设备及介质 |
| CN111968188B (zh) * | 2020-07-08 | 2023-08-22 | 华南理工大学 | 一种低光照图像增强处理方法、***、装置和存储介质 |
| CN116152116B (zh) * | 2023-04-04 | 2023-07-21 | 青岛哈尔滨工程大学创新发展中心 | 一种基于视觉自注意力模型的水下图像增强方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101102399A (zh) * | 2007-07-26 | 2008-01-09 | 上海交通大学 | 带有去噪功能的实时数字图像处理增强方法 |
| CN101303766A (zh) * | 2008-07-09 | 2008-11-12 | 北京航空航天大学 | 一种基于Retinex理论的快速彩色图像增强方法 |
| CN101783012A (zh) * | 2010-04-06 | 2010-07-21 | 中南大学 | 一种基于暗原色的自动图像去雾方法 |
| CN102231791A (zh) * | 2011-06-30 | 2011-11-02 | 北京云加速信息技术有限公司 | 一种基于图像亮度分层的视频图像去雾方法 |
| CN103177424A (zh) * | 2012-12-07 | 2013-06-26 | 西安电子科技大学 | 一种低照度图像的增强和去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895357B (zh) * | 2017-12-25 | 2018-12-18 | 北京航空航天大学 | 一种基于fpga的实时水面浓雾场景图像增强方法 |
-
2019
- 2019-05-28 CN CN201910453495.6A patent/CN110175963B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101102399A (zh) * | 2007-07-26 | 2008-01-09 | 上海交通大学 | 带有去噪功能的实时数字图像处理增强方法 |
| CN101303766A (zh) * | 2008-07-09 | 2008-11-12 | 北京航空航天大学 | 一种基于Retinex理论的快速彩色图像增强方法 |
| CN101783012A (zh) * | 2010-04-06 | 2010-07-21 | 中南大学 | 一种基于暗原色的自动图像去雾方法 |
| CN102231791A (zh) * | 2011-06-30 | 2011-11-02 | 北京云加速信息技术有限公司 | 一种基于图像亮度分层的视频图像去雾方法 |
| CN103177424A (zh) * | 2012-12-07 | 2013-06-26 | 西安电子科技大学 | 一种低照度图像的增强和去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| A Probabilistic Method for Image Enhancement With Simultaneous Illumination and Reflectance Estimation;Xueyang Fu et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20151212;第24卷(第12期);论文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110175963A (zh) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229525B (zh) | 神经网络训练及图像处理方法、装置、电子设备和存储介质 | |
| CN110175963B (zh) | 一种适用于水下图像及大气暗图像的两用图像增强方法及装置 | |
| Baig et al. | Image dehazing using quadtree decomposition and entropy-based contextual regularization | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| KR20180050832A (ko) | Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템 | |
| Dharejo et al. | A color enhancement scene estimation approach for single image haze removal | |
| CN112419151A (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
| US20180089806A1 (en) | Robust regression method for image-space denoising | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| CN113222866B (zh) | 灰度图像增强方法、计算机可读介质及计算机*** | |
| KR20140017776A (ko) | 영상 처리 장치 및 영상 내의 안개 제거 방법 | |
| CN111757100B (zh) | 相机运动变化量的确定方法、装置、电子设备和介质 | |
| Iqbal et al. | Underwater image enhancement using Laplace decomposition | |
| Gong et al. | Quarter Laplacian filter for edge aware image processing | |
| Gao et al. | Single image dehazing using local linear fusion | |
| Cimtay | Smart and real-time image dehazing on mobile devices | |
| KR20230049231A (ko) | 영상 개선 방법 및 장치 | |
| CN111738950B (zh) | 图像处理方法及装置 | |
| CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
| Yang et al. | Correction of overexposure utilizing haze removal model and image fusion technique | |
| CN116993616A (zh) | 一种单幅低照度场景图像增强方法及增强*** | |
| CN114066782B (zh) | 一种气动光学效应校正方法及装置 | |
| Zhou et al. | Multiscale Fusion Method for the Enhancement of Low‐Light Underwater Images | |
| Negru et al. | Exponential image enhancement in daytime fog conditions | |
| Chandra et al. | Dehazing of aerial images by dark channel and gamma correction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |