CN116363012A - 一种抑制场景光源扰动的水下图像恢复方法和装置 - Google Patents

Abstract

本发明公开一种抑制场景光源扰动的水下图像恢复方法和装置，构建适用于场景光源扰动条件下的水下成像模型，进而提出了一种新颖的水下成像模型优化方法，优化求解出水下成像光线的透射率；将其与背景光估计结果组合，恢复出水下清晰图像。与现有技术相比，本发明公开技术能够有效抑制水下场景中光源扰动对水下图像的影响，提高水下图像质量，与现有技术方法比较，在定性与定量评价中本发明所公开方法均获得了较优的结果。

Description

一种抑制场景光源扰动的水下图像恢复方法和装置

技术领域

本发明涉及一种抑制场景光源扰动的水下图像恢复方法和装置，属于图像处理技术领域。

背景技术

水下成像探测是探索水下场景、开发水下资源等的主要技术手段之一，为水下场景的探查提供基础数据。目前，水下成像探测主要分为水下声纳成像技术和光学成像技术两种。与水下声纳成像相比，光学成像技术具有更高的空间分辨率，且信息量更加丰富，已被广泛地装载于各类水下潜器和观测网。

受到复杂水下介质和水体环境的影响，水下成像光源的辐照强度成非均匀分布，导致水下图像质量严重劣化。水下场景中光源扰动不仅会使得不同图像局部区域间的光照强度差异显著，接近光源的水下图像局部区域亮度远大于远离光源的图像局部区域，且受到严重的水下散射光叠加，水下成像过程更加复杂。现有水下图像恢复方法忽略了水下光源扰动对水下图像的影响，水下图像恢复性能有待提高。因此，针对光源扰动对水下图像的影响，水下图像恢复和成像建模方面亟需创新，提高水下图像质量。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种抑制场景光源扰动的水下图像恢复方法和装置，构建适用于场景光源扰动条件下的水下成像模型，进而提出了一种新颖的水下成像模型优化方法，优化求解出水下成像光线的透射率；利用透射率与背景光求解结果，恢复出水下清晰图像，该方法解决了传统水下图像恢复方法难以克服水下光源扰动问题，提高水下图像恢复能力。

技术方案：一种抑制场景光源扰动的水下图像恢复方法，包括如下步骤：

首先，构建一种适用于场景光源扰动条件的水下成像模型。在此基础上，构造了一种新颖的水下图像优化模型及相应的函数优化方法。针对场景光源扰动条件的水下成像模型，在约束变分框架的基础上，采用交替方向法和快速梯度投影算法迭代求解，最优的获取水下环境透射率。

最后，利用透射率与背景光求解结果恢复出水下清晰图像。针对透射率的估计，假设背景光在水下图像局部区域中恒定，选取局部区域中最大亮度作为该局部区域的背景光。由于滤波后的图像会出现明显的块状效应，使用引导滤波对图像进行进一步的平滑处理，获取更准确的水下图像透射率。

一种抑制场景光源扰动的水下图像恢复装置，包括：

第一单元：构建一种适用于场景光源扰动条件的水下成像模型；

第一单元：构造了一种水下图像优化模型及相应的函数优化方法；针对场景光源扰动条件的水下成像模型，在约束变分框架的基础上，采用交替方向法和快速梯度投影算法迭代求解，最优的获取水下环境透射率；

第三单元，利用透射率与背景光求解结果恢复出水下清晰图像。

装置的实现过程与方法相同，不再赘述。

一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的抑制场景光源扰动的水下图像恢复方法。

一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的抑制场景光源扰动的水下图像恢复方法的计算机程序。

有益效果：与现有技术相比，本发明的抑制场景光源扰动的水下图像恢复方法和装置，能够有效抑制水下场景中光源扰动对水下图像的影响，提高水下图像恢复质量，与现有技术方法比较在定性与定量评价中本发明所公开方法均获得了较优的结果。

附图说明

图1是本发明实施例的水下图像恢复流程图；

图2是本发明实施例中存在视场光源扰动的水下成像过程图；

图3是本发明实施例最终完成水下图像恢复的结果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图3所示，一种抑制场景光源扰动的水下图像恢复方法：①现有水下图像恢复方法没有考虑场景光源扰动所带来的负面影响，水下图像恢复能力有待提高；②在水下场景中出现光源扰动的情况下，背景光和透射率不能简单的看作一个全局常量，所估计背景光和透射率的准确性决定了图像复原的效果；③水下光学成像信息普遍面临强衰减、高噪声污染和严重色彩畸变，表现为视觉上的模糊和畸变。针对问题①，本发明构建了适用于场景光源扰动条件的水下成像模型，减轻水下环境中场景光源扰动对图像的影响。针对问题②，本发明提出了一种新颖的水下成像模型优化方法，在变分框架的约束下对模型优化，求解出水下成像光线的透射率。针对问题③，本发明将优化求解出的背景光与透射率求解结果组合，恢复出水下清晰图像。本发明水下图像恢复流程图如图1所示。

首先，在传统的Jaffe-McGlamery水下成像模型中，建立了水下图像像素点与照明条件、目标反射特性、水体衰减系数等之间的关系，该水下成像模型可以表示为下式：

I(x)＝J(x)t(x)+L_B[1-t(x)] (1)

其中，I(x)表示输入原始水下图像，x表示图像的坐标值；J(x)表示真实的图像；L_B表示水下图像全局背景光；t(x)表示水下光线的透射率。考虑到采用光照反射模型，能有效的消除或减小环境中光照对图像的影响，该模型可以表示为：

J(x)＝R(x)L(x) (2)

其中，L(x)表示光照分量；R(x)表示反射分量。由此，水下成像模型可以表示为：

对数变化符合人眼视觉成像***对视觉信息的感知，同时将乘法运算转化为加法运算以减少运算复杂度，因此，将图像转化为对数域进行运算，令

在对数域公式(3)所示的水下成像模型简化：

ψ(x)＝η(x)+γ(x) (4)

至此，实现光源扰动条件下水下成像模型建模。

η(x)和γ(x)是分片光滑的，同时η(x)和γ(x)满足约束，优化模型建模如下：

s.t.ψ(x)≤η(x)≤0,ψ(x)≤γ(x)≤0

其中，第一项∫_Ω(η(x)+γ(x)-ψ(x))²是保真项，它使得η(x)和γ(x)的和的平方趋近于ψ(x)，第二项

|和第三项/>

|是正则项，/>

为梯度计算算子，λ∫_Ωγ²项确保模型是严格凸以及约束严格，从而使其具有极小值，Ω表示水下图像的空间，α、β、λ表示正则化参数，用于调节各项能量间的平衡。采用交替方向法求解公式(5)，第k次迭代时步骤如下：

第一步，固定γ_k(x)优化η_k(x)得到η_k+1(x)

第二步，固定η_k+1(x)优化γ_k(x)得到γ_k+1(x)

其中，γ_k(x)和γ_k+1(x)表示γ(x)在第k次和第k+1次迭代时所对应的值，η_k(x)和η_k+1(x)表示η(x)在第k次和第k+1次迭代时所对应的值。使用快速梯度投影算法对公式(6)、公式(7)进行求解，具体过程如下：

将一幅原始水下图像I(x)表示为一个m×n的矩阵，引入辅助变量(p,q)，p∈R^{(m -1)×n}表示一个m-1行n列的矩阵，并且矩阵p中的所有元素都是实数，q∈R^m×(n-1)表示一个m行n-1列的矩阵，并且矩阵q中的所有元素都是实数，η_k+1(x)可以被表示为：

η_k+1(x)＝P_C[ψ(x)-γ_k(x)-αdiv(p,q)] (8)

其中，div(p,q)表示(p,q)的散度，P_C[ψ(x)-γ_k(x)-αdiv(p,q)]表示ψ(x)-γ_k(x)-αdiv(p,q)向C＝[i,0]的投影，(p,q)由下式求解：

其中，E为(p,q)满足

p_i,n的模|p_i,n|≤1,i＝1,…,m-1以及q_n,j的模|q_n,j|≤1,j＝1,…,n-1条件下的集合，|| ||²为二阶范数算子，上式的解为：

其中，(p_k,q_k)表示第k次迭代时辅助变量(p,q)对应的值，

表示

向E上的投影，P_C[ψ(x)-γ_k(x)-αdiv(l_k,s_k)]表示ψ(x)-γ_k(x)-αdiv(l_k,s_k)向C＝[i,0]上的投影，k＝1,…,n，其中(l_k,s_k)由下式迭代得到的：

其中，t_k满足t_k＞0，为迭代步长。最终完成参数η(x)的求解，并通过t(x)＝e^η(x)估计透射率。

至此，完成了对公式(1)中透射率t(x)的估计。

利用透射率与背景光求解结果恢复出水下清晰图像。假设背景光在水下图像局部区域中恒定，选取局部区域中最大亮度作为该局部区域的背景光。由于滤波后的图像会出现明显的块状效应，使用引导滤波对图像进行进一步的平滑处理，由此，水下图像全局背景光估计为：

其中，Ω表示水下图像的区域空间，x表示图像的坐标值，

表示水下图像局部背景光，L_B表示水下图像全局背景光，max[·]表示最大值，gradientfilter[·]表示引导滤波，F(x)表示导向图，当其与/>

取值相同时可实现对图像平滑处理。

至此，完成了对公式(1)中背景光L_B的估计。

在L_B、t(x)估计结果基础上，对公式(1)进行反变换恢复清晰水下图像：

其中，J(x)表示清晰水下图像，I(x)表示原始水下图像，t(x)表示水下成像光线的透射率，t₀是为了避免分子为0的特殊情况，其取值范围在0.01到0.4之间。最终完成水下图像恢复的对比图如图3所示，验证了本发明提出方法的性能优势。

至此，完成了水下图像恢复。

一种抑制场景光源扰动的水下图像恢复装置，包括：

第一单元：构建一种适用于场景光源扰动条件的水下成像模型；

第一单元：构造了一种水下图像优化模型及相应的函数优化方法；针对场景光源扰动条件的水下成像模型，在约束变分框架的基础上，采用交替方向法和快速梯度投影算法迭代求解，最优的获取水下环境透射率；

第三单元，利用透射率与背景光求解结果恢复出水下清晰图像。

显然，本领域的技术人员应该明白，上述的本发明实施例的抑制场景光源扰动的水下图像恢复方法各步骤或抑制场景光源扰动的水下图像恢复装置各单元可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

Claims (9)

1.一种抑制场景光源扰动的水下图像恢复方法，其特征在于，包括如下步骤：

首先，构建一种适用于场景光源扰动条件的水下成像模型；在此基础上，构造了一种水下图像优化模型及相应的函数优化方法；针对场景光源扰动条件的水下成像模型，在约束变分框架的基础上，采用交替方向法和快速梯度投影算法迭代求解，最优的获取水下环境透射率；

然后，利用透射率与背景光求解结果恢复出水下清晰图像。

2.根据权利要求1所述的抑制场景光源扰动的水下图像恢复方法，其特征在于，针对透射率的估计，设背景光在水下图像局部区域中恒定，选取局部区域中最大亮度作为该局部区域的背景光；由于滤波后的图像会出现明显的块状效应，使用引导滤波对图像进行进一步的平滑处理，获取更准确的水下图像透射率。

3.根据权利要求1所述的抑制场景光源扰动的水下图像恢复方法，其特征在于，构建适用于场景光源扰动条件的水下成像模型为：

其中，I(x)表示原始水下图像，x表示水下图像像素的坐标值，L(x)表示水下光照分量，R(x)表示反射率，L_B表示水下场景背景光，t(x)表示水下光线的透射率。

4.根据权利要求3所述的抑制场景光源扰动的水下图像恢复方法，其特征在于，令

η(x)＝ln(t(x))，/>

在对数域将公式(3)所示的水下成像模型简化：

ψ(x)＝η(x)+γ(x) (4)。

5.根据权利要求4所述的抑制场景光源扰动的水下图像恢复方法，其特征在于，所述水下图像优化模型及相应的函数优化方法中，η(x)和γ(x)是分片光滑的，同时η(x)和γ(x)满足约束，优化模型建模如下：

其中，第一项∫_Ω(η(x)+γ(x)-ψ(x))²是保真项，它使得η(x)和γ(x)的和的平方趋近于ψ(x)，第二项

和第三项/>

是正则项，/>

为梯度计算算子，λ∫_Ωγ²项确保模型是严格凸以及约束严格，从而使其具有极小值，Ω表示水下图像的空间，α、β、λ表示正则化参数，用于调节各项能量间的平衡；采用交替方向法求解公式(5)，第k次迭代时步骤如下：

第一步，固定γ_k(x)优化η_k(x)得到η_k+1(x)：

第二步，固定η_k+1(x)优化γ_k(x)得到γ_k+1(x)：

其中，γ_k(x)和γ_k+1(x)表示γ(x)在第k次和第k+1次迭代时所对应的值，η_k(x)和η_k+1(x)表示η(x)在第k次和第k+1次迭代时所对应的值；使用快速梯度投影算法对公式(6)、公式(7)进行求解，具体过程如下：

将一幅原始水下图像I(x)表示为一个m×n的矩阵，引入辅助变量(p,q)，p∈R^(m-1)×n表示一个m-1行n列的矩阵，并且矩阵p中的所有元素都是实数，q∈R^m×(n-1)表示一个m行n-1列的矩阵，并且矩阵q中的所有元素都是实数，η_k+1(x)表示为：

η_k+1(x)＝P_C[ψ(x)-γ_k(x)-αdiv(p,q)] (8)

其中，div(p,q)表示(p,q)的散度，P_C[ψ(x)-γ_k(x)-αdiv(p,q)]表示ψ(x)-γ_k(x)-αdiv(p,q)向C＝[i,0]的投影，(p,q)由下式求解：

其中，E为(p,q)满足

p_i,n的模|p_i,n|≤1,i＝1,...,m-1以及q_n,j的模|q_n,j|≤1,j＝1,...,n-1条件下的集合；上式的解为：

其中，(p_k,q_k)表示第k次迭代时辅助变量(p,q)对应的值，

表示

向E上的投影，P_C[ψ(x)-γ_k(x)-αdiv(l_k,s_k)]表示ψ(x)-γ_k(x)-αdiv(l_k,s_k)向C＝[i,0]上的投影，k＝1,…,n，其中(l_k,s_k)由下式迭代得到的：

其中，t_k满足t_k＞0，为迭代步长。

6.根据权利要求1所述的抑制场景光源扰动的水下图像恢复方法，其特征在于，利用透射率与背景光求解结果恢复出水下清晰图像，设背景光在水下图像局部区域中恒定，选取局部区域中最大亮度作为该局部区域的背景光；由于滤波后的图像会出现明显的块状效应使用引导滤波对图像进行进一步的平滑处理，由此，水下图像全局背景光估计为：

其中，Ω表示水下图像的区域空间，x表示图像的坐标值，

表示水下图像局部背景光，L_B表示水下图像全局背景光，max[·]表示最大值，gradientfilter[·]表示引导滤波，F(x)表示导向图，当其与/>

取值相同时可实现对图像平滑处理；透射率由t(x)＝e^η(x)进行估计，最终根据t(x)和L_B的估计结果，恢复清晰水下图像：

其中，J(x)表示清晰水下图像，I(x)表示原始水下图像，t(x)表示水下成像光线的透射率，t₀是为了避免分子为0的特殊情况，其取值范围在0.01到0.4之间。

7.一种抑制场景光源扰动的水下图像恢复装置，其特征在于，包括：

第一单元：构建一种适用于场景光源扰动条件的水下成像模型；

第一单元：构造了一种水下图像优化模型及相应的函数优化方法；针对场景光源扰动条件的水下成像模型，在约束变分框架的基础上，采用交替方向法和快速梯度投影算法迭代求解，最优的获取水下环境透射率；

第三单元，利用透射率与背景光求解结果恢复出水下清晰图像。

8.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-6中任一项所述的抑制场景光源扰动的水下图像恢复方法。

9.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利要求1-6中任一项所述的抑制场景光源扰动的水下图像恢复方法的计算机程序。

Images