CN107798665B - 基于结构-纹理分层的水下图像增强方法 - Google Patents

基于结构-纹理分层的水下图像增强方法 Download PDF

Info

Publication number
CN107798665B
CN107798665B CN201711086095.3A CN201711086095A CN107798665B CN 107798665 B CN107798665 B CN 107798665B CN 201711086095 A CN201711086095 A CN 201711086095A CN 107798665 B CN107798665 B CN 107798665B
Authority
CN
China
Prior art keywords
image
texture
layer
transmittance
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711086095.3A
Other languages
English (en)
Other versions
CN107798665A (zh
Inventor
杨敬钰
王新燕
岳焕景
付晓梅
侯春萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201711086095.3A priority Critical patent/CN107798665B/zh
Publication of CN107798665A publication Critical patent/CN107798665A/zh
Application granted granted Critical
Publication of CN107798665B publication Critical patent/CN107798665B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明属于计算机视觉领域,为实现在提高图像对比度的同时保留好的细节,在抑制噪声的同时保持色调的自然性。本发明采取的技术方案是,基于结构‑纹理分层的水下图像增强方法,首先,通过直方图均衡化进行色彩校正,然后这个色彩纠正后的图被分解为低频结构层和高频纹理层。将噪声残留到纹理层,然后基于已经提出的雾线模型,从没有噪声的结构层精确地估计出的透射率,进而进行增强处理,再用梯度残留最小化方法增强纹理层,之后,通过适当的尺度伸缩,将增强后的结构层、纹理层和精细化的边缘掩膜重构成最终的增强图,从而解决已有技术无法处理的问题。本发明主要应用于水下图像增强、处理场合。

Description

基于结构-纹理分层的水下图像增强方法
技术领域
本发明属于计算机视觉领域,涉及基于结构-纹理分层的水下图像增强方法。具体而言,通过分层处理将图像分为高频纹理层和低频结构层,不仅避免了在增强过程中将噪声放大问题,而且很好的保留了细节和边缘,改善了对比度和色调自然性,即基于结构-纹理分层的水下图像增强方法。
背景技术
清晰、可见度高的水下图像分析和识别对水下勘测、水下视频、军事等方面的研究具有非常重要的意义。但是,在复杂的水下成像环境中,由于在传输过程中的大悬浮粒子(像水中的浑浊粒子)吸收和散射的影响,严重降低了图像质量。因此,典型的水下图像存在着如下问题:
1)汇聚光照明,形成背景灰度分布不均匀;
2)吸收、散射效应使得水下图像存在非均匀亮度和细节模糊问题;
3)照明条件不良,引起色调衰减、对比度降低问题;
由于拍到的水下图像质量普遍较差,所以对水下图像进行目标识别前要进行预处理。目前存在的水下图像增强方法主要有以下几个发展阶段:
第一阶段:用传统的图像增强方法对水下图像处理,如:灰度变化、直方图均衡化、图像空域平滑和锐化处理、伪彩色处理等。但是由于水下成像特性的独特性,这些传统的方法处理结果并不理想。
第二阶段:根据水下和雾霾中成像特点的相似性,研究人员开始基于去雾技术对水下图像增强方法展开研究,但是,由于水中和空气中的透射率和吸收散射特点有差别,直接把去雾的方法用于水下图像增强会存在一些问题,例如在暗区域会丢失一些细节,在亮的区域引起过曝光现象。
第三阶段:随着对水下折射和散射特性的研究,研究人员提出了一些专门的水下数学成像模型以及一些针对水下图像增强的方法。这些方法主要出发点是背景光估计、透射率估计、弥补光波衰减、基于融合原则增强等。例如:参考文献中提到的用基于分层的方法估计了背景光;基于四叉树分解和图像分块的全局背景光的估计方法,以及提出一种针对水下成像特点的最小信息损失的透射率估计算法;通过人造灯光弥补方法来增强水下图像的***方法;通过融合四个权重进而增加了水下降质图像的可见度。这些方法在一定程度上抑制了过曝光和噪声问题,对图像的色调也有所改善,但是仍然存在部分细节丢失、噪声放大、色调不自然、过饱和等问题。这些问题会对水下研究产生很大的影响,因此,设计一种更好的水下图像增强方法,尽可能的提高图像对比度、突出感兴趣的细节和特征、改善图像的视觉效果、提供清晰、适于分析的图像是十分必要的。
发明内容
本发明意在弥补现有技术的不足,即实现在提高图像对比度的同时保留好的细节,在抑制噪声的同时保持色调的自然性。本发明采取的技术方案是,基于结构-纹理分层的水下图像增强方法,首先,通过直方图均衡化进行色彩校正,然后这个色彩纠正后的图被分解为低频结构层和高频纹理层。将噪声残留到纹理层,然后基于已经提出的雾线模型,从没有噪声的结构层精确地估计出的透射率,进而进行增强处理,再用梯度残留最小化方法增强纹理层,之后,通过适当的尺度伸缩,将增强后的结构层、纹理层和精细化的边缘掩膜重构成最终的增强图,从而解决已有技术无法处理的问题。
具体步骤如下:
1)对捕获到的图像进行色彩校正:首先,结合水下图像色彩分布直方图特点,将每个色彩通道的平均色彩分布移动到所期望的范围,然后进行线性归一化处理,即用简单的直方图均衡化来解决色彩偏移问题,具体地,对于每个图像每个色彩通道的像素值
Figure GDA0003063225460000021
按照以下方法计算边界的下限
Figure GDA0003063225460000022
和上限
Figure GDA0003063225460000023
Figure GDA0003063225460000024
Figure GDA0003063225460000025
其中c∈{R,G,B},μc和σc分别为每个色彩通道的平均值和标准方差,λ是一个色调参数,有效地调节了分布范围,然后用截断函数chip()将图像的像素值范围截断到[0,255],进而得到色彩校正的图像:
Figure GDA0003063225460000026
Ic(x)是色彩校正后图像的每个通道的像素值;
2)构建分层模型:用去雾模型来定义水下图像:
Ic(x)=Jc(x)t(x)+Ac(1-t(x))+E(x), (4)
其中,x是像素值,Jc(x)是恢复后的图像,Ac是全局的背景光,t(x)是水中的投射率,定义E(x)为输入图像中的噪声,图像增强的目的是从捕获到的水下图像Ic(x)恢复出Jc(x),这个过程涉及到透射率和背景光的估计;
3)结构-纹理分层实现:采用TV-L1分离结构层和纹理层:
Figure GDA0003063225460000027
其中,
Figure GDA0003063225460000028
是通过1范数正规化结构层的梯度,ξ是控制光滑程度的权重参数,通过TV-L1将结构层Is求解出来,TV-L1是将全变分作为正则项进行图像分解的最优化方法,纹理层通过It=I-Is算出;
4)结构层增强:采用全局背景光散射估计方法对A进行估计:
Figure GDA0003063225460000029
其中,
Figure GDA00030632254600000210
是达到结构层的暗通道中最大值位置,即
Figure GDA00030632254600000211
Ω(y)是y的一个领域;
根据暗通道先验理论,首先假设在每一个窗口内的透射率为常数,定义它为t0,A值已经由公式(9)计算出,所以对公式(6)两边求两次最小值运算,移项整理后,得到透射率t(x)的预估值:
Figure GDA0003063225460000031
其中,ω是修正因子;
5)纹理层去噪:通过以上的TV-L1分解,捕获图中的噪声残留在高频的纹理层。用梯度残留最小化方法来增强纹理层,这个纹理层的增强通过优化公式(15)的得到:
Figure GDA0003063225460000032
其中,δ和η是控制权重参数,控制着处理结果的光滑程度和精细程度,η太大或δ太小,会使得增强图像的大部分纹理随着去噪处理而丢失,所以,合适选取δ和η的值对实验结果影响很大,令Z=J-I,则以上优化问题变成两个子问题,如下公式:
Figure GDA0003063225460000033
Figure GDA0003063225460000034
这样可以将公式(16)变成经典的TV问题,公式(17)用软阈值接近;
6)掩膜精细化:用一个二进制掩膜M把TV-L1分解后的纹理层分离成光滑区域、细节区域,进而删除在增强后的低频结构层光滑区域中的残留细节,具体用离散余弦变换系数来检测场景中块之间的相似性,判断一个区域知否光滑,定义It中的每一个8×8的块的DCT系数为B,然后,场景细节中的每个块的相似性用公式(18)表示:
Figure GDA0003063225460000035
其中,x,y是DCT中的坐标位置,计算除了B1,1,B1,2和B2,1的所有DCT系数的平方和,然后用阈值对每一个块的相似性进行判断,定义纹理层初始的边缘掩膜为M,设置阈值κ为0.1,当ρ大于κ时,该块的M为1,否者,M为0,这样便得到一个粗糙的二进制边缘信息图,为了得到精细化的边缘掩膜
Figure GDA0003063225460000036
采用软映射的方法结合结构层Is产生的映射拉布拉氏矩阵修正这初始的粗糙的M:
Figure GDA0003063225460000037
其中,m和m'是M和M'的向量表示,Ls是从Is产生的映射拉布拉氏矩阵,
Figure GDA0003063225460000038
是正规化参数,在文中设为105
7)重构:最后,我们重构出最终的增强处理结果通过公式(20):
Figure GDA0003063225460000039
其中,τ是伸缩因子,引入了增强的细节,在实验中设为
Figure GDA0003063225460000041
Figure GDA0003063225460000042
Figure GDA0003063225460000043
分别是经过增强处理的低频结构层和高频纹理层。
在弱光环境中图像高频部分不仅包含纹理信息,还包含了大量的噪声,为了避免影响透射率估计的准确度,先将图像进行分层处理,然后分别在低频结构层估计透射率,在高频纹理层进行去噪处理,定义一幅图为J=Js+Jt,Js和Jt分别为图像的结构层和纹理层,那么方程(4)被重写为:
Ic(x)=(Js c(x)+Jt c(x))t(x)+Ac(1-t(x))+E(x)
=Js c(x)t(x)+Ac(1-t(x))+Jt c(x)t(x)+E(x). (5)
其中背景光Ac是比较光滑的信号,估计出来的透射率t也是接近Js c中的理想透射率,因此,捕获图像可以对应的写为:I=Is+It,得到:
Is c(x)=Js c(x)t(x)+Ac(1-t(x)) (6)
It c(x)=Jt c(x)t(x)+E(x) (7)
其中,Is c是捕获图的低频结构层,包含着图像的大部分结构轮廓,It c是捕获图的高频纹理层,包含着大部分的纹理信息和噪声,通过这个方法,透射率t(x)从Is(x)中估计出来,而且免除噪声的影响。
透射率t(x)的预估值更加精细化处理步骤:将公式(6)转化到3D坐标系当中,得出一个在三维坐标系中的透射率线性透射率估计值t'(x),把背景灯光A作为坐标原点,将公式(6)变成以下形式:
Is0(x)=t'(x)·Js0(x) (11)
其中,Is0(x)=Is(x)-A,Js0(x)=Js(x)-A,因此,根据以下公式来计算每一个像素值的线性透射率估计值:
Figure GDA0003063225460000044
给定一个透射率的边界值
Figure GDA0003063225460000045
紧接着,通过优化公式(13),进而得到一个精细的透射率映射:
Figure GDA0003063225460000046
其中,α和β是控制数据项和光滑项的权重参数,σ(x)是
Figure GDA0003063225460000047
在每一个像素值上的标准偏差,N(x)表示在结构层中每一个像素值周围的四邻域像素位置,A和
Figure GDA0003063225460000048
的值被计算出来之后,那么,这个增强的结构层可以由公式(14)得出:
Figure GDA0003063225460000049
本发明的技术特点及效果:
本发明方法针对水下图像增强噪声放大以及色调偏移等问题,通过把图像分成结构层和纹理层,分别进行增强和去噪,实现了提高图像对比度的同时保留好的细节,在抑制噪声的同时保持了色调的自然性。本发明具有以下特点:
1、本文提出的算法主要创新点是基于结构-纹理分层的思路,在两个层分别做增强和去噪处理,避免了噪声放大影响。
2、本文针对色彩偏移问题提出了简单,而且普遍适用的解决方案。
3、对各种不同的水下图形增强都有较好的结果,具有一定的普适性。
4、本文提出的算法可以应用到水下视频的增强,具有一定的扩展性。
附图说明
图1是算法框架图;
图2左图是捕获的水下图像,右图是对应的直方图;
图3左图是色彩矫正后的图像,右图是对应的直方图;
图4是分解模型验证图:图4((a)合成的降质图像I;(b)是I的结构层;(c)是I的纹理层;(d)是清晰的图像J;(e)是J的结构层;(f)是J的纹理层);
图5是分解结果图;
图6是结构层的增强结果图;
图7是纹理层的增强结果图;
图8是边缘掩膜的重定义图;
图9是最终重构的结果图;
图10是本文和其他参考文献的效果比较图(第一栏是输入图;第二栏、第三栏和第四栏是三例现有技术的结果;第五栏是本文结果);
图11是分层和不分层的增强效果图(第一行是不分层的结果图;第二行是对应分层的结果图);
具体实施方式
本发明提出了基于结构-纹理分层的水下图像增强方法,将噪声残留到纹理层,没有噪声影响的结构层满足雾线模型。然后我们通过基于雾线模型增强了结构层,用梯度残留最小化方法增强纹理层。之后,通过适当的尺度伸缩,将增强后的结构层,纹理层和精细化的掩膜重构成最后的增强图。即实现在提高图像对比度的同时保留好的细节,在抑制噪声的同时保持了色调的自然性。下面结合附图和实施例对本发明作详细说明。
首先,针对现存的水下图像增强方法的一些不足,我们提出一个基于分层的处理图像方法,其框架图如图1。第一步,通过直方图均衡化进行色彩校正。第二步,用TV-L1(将全变分(TV能量)作为正则项进行图像分解(称为ROF或TV-L1模型)的最优化方法)方法将图像进行分层处理,然后对结构层和纹理层分别进行增强和去噪处理。最后将增强处理后的结构层和纹理层以及精细化的掩膜重构成最终的结果图。以下是具体的实施方法:
1)对拍摄到的图像进行色彩校正。通过观察水下图像的色彩分布直方图特点如图2,
8)我们看到由于在水中,不同的光段遭受不同强度的吸收和散射,仅仅在480-570波段的蓝绿光在水中衰减系数最小,穿透能力最强,所以水中捕获到的图像多呈现浅绿色光色调。为了解决这一色彩偏移问题,我们采用简单的直方图均衡化。这个原理十分直观,即将每个色彩通道的平均色彩分布移动到期望的范围,然后再进行线性归一化处理。对于每个色彩通道
Figure GDA0003063225460000061
(
Figure GDA0003063225460000062
代表图像每个色彩通道的像素值),按照以下方法计算边界的下限
Figure GDA0003063225460000063
(
Figure GDA0003063225460000064
代表图像每个色彩通道的像素值的最小值)和上限
Figure GDA0003063225460000065
(
Figure GDA0003063225460000066
代表图像每个色彩通道的像素值的最大值):
Figure GDA0003063225460000067
Figure GDA0003063225460000068
其中c∈{R,G,B},μc和σc分别为每个色彩通道的平均值和标准方差。λ是一个色调参数,它有效地调节了分布范围,超出该范围的像素值将被截断。最后,这个色彩校正的图像通过最小化公式(3)得到。
Ic(x)=Jc(x)t(x)+Ac(1-t(x))+E(x), (4)
其中,clip(·)是一个clip函数,它控制着将像素值范围截断到[0,255]。通过图2和图3的对比,可以说明这种方法对水下图像进行了有效的色彩纠正。
2)构建分层模型。由于光路在浑浊的水中的衰减和在存在雾霾的大气中的衰减具有相似性,用何凯明的经典暗通道去雾模型来定义水下图模型:
Ic(x)=Jc(x)t(x)+Ac(1-t(x))+E(x), (4)
其中,x是像素值,Ic(x)是每个通道的色彩校正的图像,Jc(x)是恢复后的图像。Ac是全局的背景光,t(x)是水中的投射率。定义E(x)为输入图像中的噪声。图像增强的目的是从捕获到的水下图像Ic(x)恢复出Jc(x),这个过程涉及到透射率和背景光的估计
通常,图像在高频部分不仅包含重要的纹理信息,而且包含了大量的噪声,尤其在弱光环境中。这些因素会降低透射率估计的准确度,进而影响最终的增强效果。为了克服这个问题,先将图像分层处理,然后分别在结构层估计透射率避免噪声的影响,在纹理层单独做去噪处理。我们定义Js和Jt分别为干净图像的结构层和纹理层,然后有J=Js+Jt,那么方程(4)可以被重写为:
Ic(x)=(Js c(x)+Jt c(x))t(x)+Ac(1-t(x))+E(x)
=Js c(x)t(x)+Ac(1-t(x))+Jt c(x)t(x)+E(x). (5)
其中背景光Ac是光滑的信号,估计出来的透射率t也是相对光滑的,接近Js c中的理想透射率。因此,观察到的捕获图像可以被分为两层(I=Is+It),理想情况下可以得到:
Is c(x)=Js c(x)t(x)+Ac(1-t(x)) (6)
Figure GDA0003063225460000071
其中,Is c是捕获图的结构层,包含着图像的大部分细节。It c是捕获图的纹理层,包含着大部分的纹理信息和噪声。通过这个方法,透射率t(x)可以从Is(x)中估计出来,免除噪声的影响。
3)实现分层。由于结构层在物体的轮廓和边界具有更大的梯度,而在纹理层却具有比较小的梯度。我们用TV-L1分解模型很好地分离结构层和纹理层:
Figure GDA0003063225460000072
其中,
Figure GDA0003063225460000073
是通过1范数正规化结构层的梯度,ξ是控制光滑程度的权重参数,通过TV-L1(将全变分(TV能量)作为正则项进行图像分解(称为ROF或TV-L1模型)的最优化方法)可以将结构层Is求解出来,纹理层通过It=I-Is算出。
一个重要的问题是以上的TV-L1分解模型是否恰好能够按照方程(6)和方程(7)把捕获到的图分解。图4展示了一个分解例子,这个输入的图像是根据等式(4)从J合成的I,Js和Jt是用TV-L1最优化分解后的两层图像,如图所示,降质图像I(x)的结构层(Is)不包括高频纹理细节和噪声,在视觉上和原始清晰的图像的结构层是一致的。为了有更好的视觉效果,我们把纹理层放大10倍。
4)背景光估计。考虑到水中光波的吸收和散射影响,我们用全局背景灯光散射估计方法对A进行了估计:
Figure GDA0003063225460000074
其中,
Figure GDA0003063225460000075
是达到结构层的暗通道中最大值位置,即
Figure GDA0003063225460000076
Ω(y)是y的一个领域,它的尺寸设为17。
根据暗通道先验理论,首先假设在每一个窗口内的透射率为常数,定义它为t0,A值已经由公式(9)计算出,所以我们对公式(6)两边求两次最小值运算,移项整理后,可以得到透射率t(x)的预估值:
Figure GDA0003063225460000077
其中,ω是修正因子,在本文中均设置为0.95,目的是使恢复结果图更接近现实的照片。但是,仅仅用这个透射率t(x)的预估值恢复出来的结果图中存在明显的不协调部分,所以要想得到更好的增强效果,我们需要对这个预估值做精细化处理。我们观察到没有噪声的分布的Is中的像素分布符合“雾线”规律。因此,我们可以将公式(6)转化到3D坐标系当中,得出一个在三维坐标系中的透射率t'(x)(下文中称为线性透射率估计值)。把背景光A作为坐标原点,便可将公式(6)变成以下形式:
Is0(x)=t'(x)·Js0(x) (11)
其中,Is0(x)=Is(x)-A,Js0(x)=Js(x)-A。因此,我们能够根据以下公式来计算每一个像素值的线性透射率估计值:
Figure GDA0003063225460000081
给定一个透射率的边界值
Figure GDA0003063225460000082
紧接着,我们可以通过优化公式(12),进而得到一个精细的透射率映射:
Figure GDA0003063225460000083
其中,α和β是控制数据项和光滑项的权重参数,σ(x)是
Figure GDA0003063225460000084
在每一个像素值上的标准偏差,N(x)表示在结构层中每一个像素值的四领域像素位置。一旦A和
Figure GDA0003063225460000085
的值被计算出来,那么,这个增强的结构层可以由公式(14)得出:
Figure GDA0003063225460000086
5)纹理层增强。通过以上TV-L1分解后,捕获图中的噪声残留在纹理层。我们用梯度残留最小化方法来增强纹理层,即增强的纹理层可以通过优化公式(15)的得到:
Figure GDA0003063225460000087
其中,δ和η是控制权重参数,控制着处理结果的光滑和精细程度,η太大或δ太小,会使得增强图像的大部分纹理随着去噪过程而丢失,所以,合适选取δ和η的值对实验结果影响很大。令Z=J-I,以上优化问题可以变成两个子问题,如下公式。
Figure GDA0003063225460000088
Figure GDA0003063225460000089
公式(16)变成了经典的TV问题,可以参考[15]中的TV-L1方法求解。公式(17)可以用软阈值接近。
6)边缘掩膜的定义。从图5中可以看出增强后的
Figure GDA00030632254600000810
可能还包括一部分不希望存在的噪声,尤其在光滑区域更加明显。因此,我们用一个边缘掩膜M把TV-L1分解后的纹理层分离成光滑和细节区域,进而删除增强后结构层中光滑区域的残留细节。我们用离散余弦变换系数来检测场景中块之间的相似性,判断是否光滑,定义It中的每一个8×8的块的DCT系数为B,然后,场景细节中的每个块的相似性可以用公式(18)表示:
Figure GDA00030632254600000811
其中,x,y是DCT中的坐标位置,我们计算除了B1,1,B1,2和B2,1的所有DCT系数的平方和,然后用阈值对每一个块的相似性进行了判断。我们定义纹理层的初始的细节掩膜为M,阈值κ为0.1,当ρ大于κ时,该块的M为1,否者,M为0.。为了得到精细化的细节掩膜
Figure GDA00030632254600000812
我们软映射的方法结合结构层Is产生的映射拉布拉氏矩阵修正这初始的粗糙的M。
Figure GDA0003063225460000091
其中,m和m'是M和M'的向量表示,Ls是从Is产生的映射拉布拉氏矩阵,
Figure GDA0003063225460000092
是正规化参数,在文中设为105
7)重构图像。上面将结构层和纹理层分别进行加强,得到了边缘掩膜M,因此可以通过公式(20)重构出最终的增强处理结果:
Figure GDA0003063225460000093
其中,τ是伸缩因子,引入了增强的细节,在实验中设为
Figure GDA0003063225460000094
Figure GDA0003063225460000095
Figure GDA0003063225460000096
分别是被增强的结构层和纹理层。
实验中对本文算法的色彩纠正效果、分层效果、去噪效果以及增强效果做了测试,并且与对比文献的算法进行了对比,具体结果如图2、图3、图4、图5、图6、图7、图9、图10、图11所示。在图10中可以看到现有技术实例1的恢复效果放大了噪声,并且增强后图像的色调不自然。现有技术实例2的恢复结果对比度比较低,而且噪声也比较明显。现有技术实例3的处理结果在一定程度上改善了图像的对比度,减少了噪声,可是,因为该方法并不是针对水下图像增强,所以他的恢复结果存在色彩偏差,而且一些细节也没有达到很好的增强效果。图11展示了分层和不分层效果比较,可以看出增强结果丢失了一部分细节,像第一栏图中的水泡,这进一步说明基于结构-纹理分层的水下图像增强方法的效果更好。换句话说,本文提到的方法实现了最好的增强效果,不光有效地减少了噪声,而且保留了好的细节和自然的色调。

Claims (3)

1.一种基于结构-纹理分层的水下图像增强方法,其特征是,首先,通过直方图均衡化进行色彩校正,然后这个色彩纠正后的图被分解为低频结构层和高频纹理层,将噪声残留到纹理层,然后基于已经提出的雾线模型,从没有噪声的结构层精确地估计出的透射率,进而进行增强处理,再用梯度残留最小化方法增强纹理层,之后,通过适当的尺度伸缩,将增强后的结构层、纹理层和精细化的边缘掩膜重构成最终的增强图,从而解决已有技术无法处理的问题;具体步骤细化如下:
1)对捕获到的图像进行色彩校正:首先,结合水下图像色彩分布直方图特点,将每个色彩通道的平均色彩分布移动到所期望的范围,然后进行线性归一化处理,即用简单的直方图均衡化来解决色彩偏移问题,具体地,对于每个图像每个色彩通道的像素值
Figure FDA00030632254500000111
按照以下方法计算边界的下限
Figure FDA0003063225450000011
和上限
Figure FDA0003063225450000012
Figure FDA0003063225450000013
Figure FDA0003063225450000014
其中c∈{R,G,B},μc和σc分别为每个色彩通道的平均值和标准方差,λ是一个色调参数,有效地调节了分布范围,然后用截断函数chip()将图像的像素值范围截断到[0,255],进而得到色彩校正的图像:
Figure FDA0003063225450000015
Ic(x)是色彩校正后图像的每个通道的像素值;
2)构建分层模型:用去雾模型来定义水下图像:
Ic(x)=Jc(x)t(x)+Ac(1-t(x))+E(x), (4)
其中,x是像素值,Jc(x)是恢复后的图像,Ac是全局的背景光,t(x)是水中的投射率,定义E(x)为输入图像中的噪声,图像增强的目的是从捕获到的水下图像Ic(x)恢复出Jc(x),这个过程涉及到透射率和背景光的估计;
3)结构-纹理分层实现:采用TV-L1分离结构层和纹理层:
Figure FDA0003063225450000016
其中,
Figure FDA0003063225450000017
是通过1范数正规化结构层的梯度,ξ是控制光滑程度的权重参数,通过TV-L1将结构层Is求解出来,TV-L1是将全变分作为正则项进行图像分解的最优化方法,纹理层通过It=I-Is算出;
4)结构层增强:采用全局背景光散射估计方法对A进行估计:
Figure FDA0003063225450000018
其中,
Figure FDA0003063225450000019
是达到结构层的暗通道中最大值位置,即
Figure FDA00030632254500000110
Ω(y)是y的一个领域;
根据暗通道先验理论,首先假设在每一个窗口内的透射率为常数,定义它为t0,A值已经由公式(9)计算出,所以对公式(6)两边求两次最小值运算,移项整理后,得到透射率t(x)的预估值:
Figure FDA0003063225450000021
其中,ω是修正因子;
5)纹理层去噪:通过以上的TV-L1分解,捕获图中的噪声残留在高频的纹理层,用梯度残留最小化方法来增强纹理层,这个纹理层的增强通过优化公式(15)的得到:
Figure FDA0003063225450000022
其中,δ和η是控制权重参数,控制着处理结果的光滑程度和精细程度,η太大或δ太小,会使得增强图像的大部分纹理随着去噪处理而丢失,所以,合适选取δ和η的值对实验结果影响很大,令Z=J-I,则以上优化问题变成两个子问题,如下公式:
Figure FDA0003063225450000023
Figure FDA0003063225450000024
这样可以将公式(16)变成经典的TV问题,公式(17)用软阈值接近;
6)掩膜精细化:用一个二进制掩膜M把TV-L1分解后的纹理层分离成光滑区域、细节区域,进而删除在增强后的低频结构层光滑区域中的残留细节,具体用离散余弦变换系数来检测场景中块之间的相似性,判断一个区域知否光滑,定义It中的每一个8×8的块的DCT系数为B,然后,场景细节中的每个块的相似性用公式(18)表示:
Figure FDA0003063225450000025
其中,x,y是DCT中的坐标位置,计算除了B1,1,B1,2和B2,1的所有DCT系数的平方和,然后用阈值对每一个块的相似性进行判断,定义纹理层初始的边缘掩膜为M,设置阈值κ为0.1,当ρ大于κ时,该块的M为1,否者,M为0,这样便得到一个粗糙的二进制边缘信息图,为了得到精细化的边缘掩膜
Figure FDA0003063225450000026
采用软映射的方法结合结构层Is产生的映射拉布拉氏矩阵修正这初始的粗糙的M:
Figure FDA0003063225450000027
其中,m和m'是M和M'的向量表示,Ls是从Is产生的映射拉布拉氏矩阵,
Figure FDA0003063225450000028
是正规化参数,在文中设为105
7)重构:最后,我们重构出最终的增强处理结果通过公式(20):
Figure FDA0003063225450000029
其中,τ是伸缩因子,引入了增强的细节,在实验中设为
Figure FDA0003063225450000031
Figure FDA0003063225450000032
分别是经过增强处理的低频结构层和高频纹理层。
2.如权利要求1所述的基于结构-纹理分层的水下图像增强方法,其特征是,在弱光环境中图像高频部分不仅包含纹理信息,还包含了大量的噪声,为了避免影响透射率估计的准确度,先将图像进行分层处理,然后分别在低频结构层估计透射率,在高频纹理层进行去噪处理,定义一幅图为J=Js+Jt,Js和Jt分别为图像的结构层和纹理层,那么方程(4)被重写为:
Ic(x)=(Js c(x)+Jt c(x))t(x)+Ac(1-t(x))+E(x)
=Js c(x)t(x)+Ac(1-t(x))+Jt c(x)t(x)+E(x). (5)
其中背景光Ac是比较光滑的信号,估计出来的透射率t也是接近Js c中的理想透射率,因此,捕获图像可以对应的写为:I=Is+It,得到:
Is c(x)=Js c(x)t(x)+Ac(1-t(x)) (6)
Figure FDA0003063225450000033
其中,Is c是捕获图的低频结构层,包含着图像的大部分结构轮廓,It c是捕获图的高频纹理层,包含着大部分的纹理信息和噪声,通过这个方法,透射率t(x)从Is(x)中估计出来,而且免除噪声的影响。
3.如权利要求1所述的基于结构-纹理分层的水下图像增强方法,其特征是,透射率t(x)的预估值更加精细化处理步骤:将公式(6)转化到3D坐标系当中,得出一个在三维坐标系中的透射率线性透射率估计值t'(x),把背景灯光A作为坐标原点,将公式(6)变成以下形式:
Is0(x)=t'(x)·Js0(x) (11)
其中,Is0(x)=Is(x)-A,Js0(x)=Js(x)-A,因此,根据以下公式来计算每一个像素值的线性透射率估计值:
Figure FDA0003063225450000034
给定一个透射率的边界值
Figure FDA0003063225450000035
紧接着,通过优化公式(13),进而得到一个精细的透射率映射:
Figure FDA0003063225450000036
其中,α和β是控制数据项和光滑项的权重参数,σ(x)是
Figure FDA0003063225450000037
在每一个像素值上的标准偏差,N(x)表示在结构层中每一个像素值周围的四邻域像素位置,A和
Figure FDA0003063225450000038
的值被计算出来之后,那么,这个增强的结构层可以由公式(14)得出:
Figure FDA0003063225450000039
CN201711086095.3A 2017-11-07 2017-11-07 基于结构-纹理分层的水下图像增强方法 Expired - Fee Related CN107798665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711086095.3A CN107798665B (zh) 2017-11-07 2017-11-07 基于结构-纹理分层的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711086095.3A CN107798665B (zh) 2017-11-07 2017-11-07 基于结构-纹理分层的水下图像增强方法

Publications (2)

Publication Number Publication Date
CN107798665A CN107798665A (zh) 2018-03-13
CN107798665B true CN107798665B (zh) 2021-07-09

Family

ID=61549431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711086095.3A Expired - Fee Related CN107798665B (zh) 2017-11-07 2017-11-07 基于结构-纹理分层的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN107798665B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550120B (zh) * 2018-03-29 2020-03-27 青岛大学 一种变分框架下水下图像复原方法
CN109118446B (zh) * 2018-07-30 2021-08-24 西南财经大学 一种水下图像复原及去噪方法
CN109308380B (zh) * 2018-08-24 2022-08-02 云南大学 基于非真实感的刺绣艺术风格模拟方法
CN109272475B (zh) * 2018-08-31 2022-02-18 深圳纳瓦科技有限公司 一种快速有效修复与强化水下图像颜色的方法
CN109272539A (zh) * 2018-09-13 2019-01-25 云南大学 基于引导图全变分模型的图像纹理和结构的分解方法
CN109816604B (zh) * 2019-01-14 2022-09-16 苏州长风航空电子有限公司 一种自适应聚类的红外图像增强方法
CN109859129A (zh) * 2019-01-29 2019-06-07 哈工大机器人(岳阳)军民融合研究院 一种水下图像增强处理方法和装置
CN110111261B (zh) * 2019-03-28 2021-05-28 瑞芯微电子股份有限公司 图像的自适应平衡处理方法、电子设备和计算机可读存储介质
WO2021042270A1 (zh) * 2019-09-03 2021-03-11 中山大学 基于双流多路径递归残差网络的压缩伪影去除方法
CN110634112B (zh) * 2019-10-15 2022-02-22 中国矿业大学(北京) 一种双域分解的矿井下含噪声图像的增强方法
CN110738626B (zh) * 2019-10-24 2022-06-28 广东三维家信息科技有限公司 渲染图的优化方法、装置及电子设备
CN111340711B (zh) * 2020-05-21 2020-09-08 腾讯科技(深圳)有限公司 一种超分辨率重建方法、装置、设备和存储介质
CN111753896A (zh) * 2020-06-16 2020-10-09 江西中科九峰智慧医疗科技有限公司 一种基于深度学习的胸片曝光问题分类方法及***
CN112184566B (zh) * 2020-08-27 2023-09-01 北京大学 一种针对附着水雾水珠去除的图像处理方法和***
CN113012037B (zh) * 2021-03-11 2022-08-05 桂林电子科技大学 一种用于水下图像复原的深度学习训练数据集合成方法
CN113313702A (zh) * 2021-06-11 2021-08-27 南京航空航天大学 基于边界约束与颜色校正的航拍图像去雾方法
CN116152116B (zh) * 2023-04-04 2023-07-21 青岛哈尔滨工程大学创新发展中心 一种基于视觉自注意力模型的水下图像增强方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985125A (zh) * 2014-05-19 2014-08-13 清华大学 一种复杂背景sar图像舰船尾迹检测方法
CN104458766A (zh) * 2014-12-31 2015-03-25 江南大学 一种基于结构纹理法的布匹表面瑕疵检测方法
CN104504664A (zh) * 2014-12-29 2015-04-08 河海大学常州校区 基于人眼视觉特性的nsct域水下图像自动增强***及其方法
CN106897972A (zh) * 2016-12-28 2017-06-27 南京第五十五所技术开发有限公司 一种白平衡与暗原色的自适应直方图水下图像增强方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
CN105450923A (zh) * 2014-09-25 2016-03-30 索尼公司 图像处理方法、图像处理装置以及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985125A (zh) * 2014-05-19 2014-08-13 清华大学 一种复杂背景sar图像舰船尾迹检测方法
CN104504664A (zh) * 2014-12-29 2015-04-08 河海大学常州校区 基于人眼视觉特性的nsct域水下图像自动增强***及其方法
CN104458766A (zh) * 2014-12-31 2015-03-25 江南大学 一种基于结构纹理法的布匹表面瑕疵检测方法
CN106897972A (zh) * 2016-12-28 2017-06-27 南京第五十五所技术开发有限公司 一种白平衡与暗原色的自适应直方图水下图像增强方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"A Contrast Enhancement Framework with JPEG Artifacts Suppression";Li Y.等;《Computer Vision–ECCV 2014》;20141231;第174-188页 *
"An approach to underwater image enhancement based on image structural decomposition";Ji T.等;《Journal of Ocean University of China》;20150220;第14卷;全文 *
"Contrast enhancement of noisy low-light images based on structure-texture-noise decomposition";Jaemoon Lim等;《Journal of Visual Communication and Image Representation》;20170531;第45卷;全文 *
"Image Clarification Method Based on Structure-Texture Decomposition with Texture Refinement";Toda M.等;《Image Analysis and Processing-ICIAP 2015》;20150821;第352-362页 *
"Non-local Image Dehazing";D. Berman等;《2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20161212;第1674-1682页 *
"Robust Image and Video Dehazing with Visual Artifact Suppression via Gradient Residual Minimization";Chen C.等;《Computer Vision-ECCV 2016》;20160917;第576-591页 *
"TV-L1分解模型下的地震图像增强方法研究";杨宁等;《地球物理学进展》;20161215;第31卷(第6期);全文 *
"基于图像结构—纹理分解的医学图像去噪算法的研究";付磊;《中国优秀硕士学位论文全文数据库·信息科技辑》;20160715;第2016年卷(第7期);全文 *

Also Published As

Publication number Publication date
CN107798665A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
CN107798665B (zh) 基于结构-纹理分层的水下图像增强方法
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
Chiang et al. Underwater image enhancement: using wavelength compensation and image dehazing (WCID)
WO2019019695A1 (zh) 一种基于Retinex模型的水下图像增强方法
WO2013018101A1 (en) Method and system for removal of fog, mist or haze from images and videos
CN109118446B (zh) 一种水下图像复原及去噪方法
Hou et al. Non-uniform illumination underwater image restoration via illumination channel sparsity prior
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
Park et al. Single image haze removal with WLS-based edge-preserving smoothing filter
CN106530247B (zh) 一种基于结构信息的多尺度图像修复方法
CN110135434A (zh) 基于颜色线模型的水下图像质量提升算法
CN112837233A (zh) 一种基于差分偏振获取透射率的偏振图像去雾方法
CN111462022B (zh) 一种水下图像清晰化增强方法
Wang et al. Review on underwater image restoration and enhancement algorithms
Wang et al. Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition
CN117830134A (zh) 基于混合滤波分解和图像融合的红外图像增强方法及***
Zhao et al. Color channel fusion network for low-light image enhancement
CN108447034B (zh) 一种基于光照分解的海上雾天图像去雾方法
Song et al. An adaptive real-time video defogging method based on context-sensitiveness
Malinverni et al. Image enhancement comparison to improve underwater cultural heritage survey
Bhat et al. Underwater Image Enhancement with Feature Preservation using Generative Adversarial Networks (UIEFP GAN)
Shuang et al. Algorithms for improving the quality of underwater optical images: A comprehensive review
Natarajan A review on underwater image enhancement techniques
Lu et al. A novel underwater scene reconstruction method
Kansal et al. Effect of non uniform illumination compensation on dehazing/de-fogging techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210709