CN113592738A - 一种水下扭曲图像复原方法 - Google Patents

一种水下扭曲图像复原方法 Download PDF

Info

Publication number
CN113592738A
CN113592738A CN202110855868.XA CN202110855868A CN113592738A CN 113592738 A CN113592738 A CN 113592738A CN 202110855868 A CN202110855868 A CN 202110855868A CN 113592738 A CN113592738 A CN 113592738A
Authority
CN
China
Prior art keywords
image
sequence
distortion
underwater
distorted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110855868.XA
Other languages
English (en)
Other versions
CN113592738B (zh
Inventor
张伦伟
张震
米智楠
朱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Nantong Taisheng Blue Island Offshore Co Ltd
Original Assignee
Tongji University
Nantong Taisheng Blue Island Offshore Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University, Nantong Taisheng Blue Island Offshore Co Ltd filed Critical Tongji University
Priority to CN202110855868.XA priority Critical patent/CN113592738B/zh
Publication of CN113592738A publication Critical patent/CN113592738A/zh
Application granted granted Critical
Publication of CN113592738B publication Critical patent/CN113592738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种水下扭曲图像复原方法,包括以下步骤,S1、扭曲图像的读取;S2、显著特征点的选取;S3、显著特征点的跟踪;S4、运动矢量场的估计;S5周期性畸变初步复原;S6、幸运块融合;S7、盲反卷积去模糊;S8、非刚性的图像迭代配准。本发明具有如下优点:提出水面波动类型的假设并提出相应的双阶段复原算法,从而对扭曲的水下图像实现有效的复原。

Description

一种水下扭曲图像复原方法
技术领域
本发明属于水下图像处理技术领域,具体涉及一种水下扭曲图像复原方法。
背景技术
近年来,随着水下资源的开发以及水下作业的普及,水下图像被广泛用于海洋信息获取、水下作业监控、水下生态监测等诸多领域。然后,由于光在成像路径中经历空气-水的介质改变会出现折射现象,同时真实环境下的水面往往存在着剧烈的波动,由此引起的折射率变化使得水下图像出现严重的畸变退化。此外,水中悬浮粒子的存在所带来的介质散射和水面波动引起的运动模糊现象使得水下图像处于低对比度、高噪声的状态下,严重影响了水下信息的准确获取和后续的信息处理。如何对水下畸变图像进行有效的复原,纠正扭曲,提高图像整体清晰度具有重要的意义。
目前,针对水下扭曲图像的复原方法大多集中在水面波纹估计、幸运块融合以及图像配准技术的改进上。这些算法虽然能够在一定程度上纠正图像中的几何畸变,但是在畸变纠正程度上往往无法得到令人满意的效果。除此之外,复原效果相对突出的图像配准技术由于其计算量大、迭代过程耗时长的问题也限制了水下图像复原技术在实际环境下的应用。
目前,有学者如Oreifej等人,以序列均值作为参考图像,在配准之前将高斯模糊引入到扭曲的序列图像中,这一策略的理论支持在于:当参考图像与序列图像处于同一模糊水平时,配准会被引导到相对清晰的部分。然而,人为地向序列图像中引入模糊可能会造成不可逆的图像信息丢失,从而限制配准的效果。
发明内容
本发明的目的在于针对现有技术的不足,现提供一种水下扭曲图像复原方法,提出水面波动类型的假设并提出相应的双阶段复原算法,从而对扭曲的水下图像实现有效的复原。
为解决上述技术问题,本发明采用的技术方案为:一种水下扭曲图像复原方法,包括以下步骤,
S1、扭曲图像的读取,针对自然条件下的波动水面的特性,读取水下扭曲视频,并将该扭曲视频逐帧分解为图像序列;
S2、显著特征点的选取,在视频首帧图像中进行显著特征点的检测;
S3、显著特征点的跟踪,在后续的图像序列中跟踪所选特征点,得到特征点的运动矢量;
S4、运动矢量场的估计,基于压缩感知理论,由特征点的运动矢量求解出图像整体的运动矢量场;
S5、周期性畸变初步复原,根据步骤S4中得到的运动矢量场纠正每帧图像中的周期性畸变,实现初步复原;
S6、幸运块融合,将初步复原后的图像序列划分为图像块,以结构相似度为指标挑选出扭曲程度小的前50%的图像块,并将其图像块融合呈单幅图像;
S7、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法去除融合图像中的高斯模糊,重建出更清晰的参考图像;
S8、非刚性的图像迭代配准,利用基于B样条的非刚性配准算法将图像序列与重建后的参考图像配准,达到消除残余随机性畸变的效果,当不满足迭代终止条件时,重复步骤S6、S7、S8;当步骤S8中图像序列与重建后的参考图像配准,满足迭代终止条件时,则输出复原之后的无失真图像序列;
所述步骤S1中,自然条件下的波动水面的特性,将水面波动假设为周期性波动和随机性波动的叠加作用;
针对于周期性波动引起的周期性畸变的图像复原,具体方法包括:A、扭曲图像的读取,读取扭曲的水下视频,并将其逐帧分解为扭曲的图像序列Vd={Id1,Id2,...,Idn};
B、显著特征点的选取,由于周期性波动引起的运动矢量场服从稀疏性分解,即可通过少数点的运动向量求解出图像整体的运动矢量场,利用常见的特征点提取算法,如SURF算法、FAST算法、Harris角点检测算法和BRISK算法,在视频的首帧图像上提取显著特征点,所有算法提取出的特征点取并集得到一组显著特征点集合
Figure BDA0003184160970000031
其中(xi,yi)为选出的特征点坐标,M为特征点的个数;
C、显著特征点的跟踪,利用Kanada-Lucas-Tomasi算法跟踪步骤A中选出的特征点
Figure BDA0003184160970000041
得到一组特征点的运动轨迹
Figure BDA0003184160970000042
其中n为序列图像的帧数量,i为特征点的序号;
D、运动矢量场的估计,完成跟踪部分后,根据特征点的运动轨迹pi计算特征点的真实位置,根据Cox-Munk法则,当相机长时间观测水下一点时,所捕获的点以其真实位置为中心波动,因此,将运动轨迹的中心看作特征点的真实位置,具体公式如下:
Figure BDA0003184160970000043
其中,下标0代表原始的无失真图像,即各个特征点的真实位置,根据特征点真实位置的估计计算各个特征点的位移
Figure BDA0003184160970000044
由于3D运动矢量场在离散傅里叶域内服从稀疏分解,因此特征点的位移集合
Figure BDA0003184160970000045
在时空域内可以看作是稀疏样本,将位移集合
Figure BDA0003184160970000046
拼接成由nM个元素组成的测量向量υ,并基于压缩感知理论构造求解模型:
υ=ΦΨS+η
压缩感知的目的在于由稀疏采样的信号点还原出原始的信号,即通过少量特征点的运动向量还原出整体运动矢量场在傅里叶域内分解的稀疏系数S,进而得到整幅图像在所有位置点的运动向量;
E、基于图像的整体运动矢量场对所有的序列图像进行畸变纠正,以达到消除周期性畸变的效果,进而得到仅含有随机性局部畸变的图像序列Vs={Is1,Is2,...Isn};
针对于随机性波动引起的随机性畸变,采用先重建高质量参考图像再进行迭代配准的方法实现对水下扭曲图像的复原,具体步骤包括:
F、将消除周期性畸变后的图像序列Vs划分为图像块序列{{Bk}(i,j)},保证任意相邻两图像块之间有50%的重叠区域,以结构相似度SSIM为指标挑选出扭曲程度较小的前50%图像块作为幸运块{{Lk}(i,j)},将每个位置上挑选出的幸运块{{Lk}(i,j)}融合呈单个图像块{M(i,j)},并将其拼接成整幅图像,SSIM的计算公式为:
Figure BDA0003184160970000051
H、利用Richardson-Lucy盲反卷积算法消除融合图像中的高斯模糊,得到清晰程度更高的参考图像R,具体公式为:
Figure BDA0003184160970000052
I、利用基于B样条的非刚性图像迭代配准技术将图像序列与参考图像配准,当配准结果不满足迭代终止条件,则以配准后的图像序列作为新的输入,重复步骤S6、S7、S8;当满足迭代终止条件后,输出复原结果,得到无失真图像序列Vf={If1,If2,…,Ifn},非刚性图像配准的具体公式为:
Figure BDA0003184160970000061
本发明的进一步改进在于:针对于周期性波动引起的周期性畸变,将图像在傅里叶变换域内进行稀疏表示,利用压缩感知理论由少量特征点的运动矢量估计出图像整体的运动矢量场,方法为:利用SURF算法、FAST算法、Harris角点检测算法、BRISK算法在视频首帧图像中检测特征点并取并集作为最终挑选出的特征点集合;利用Kanada-Lucas-Tomasi算法跟踪特征点,得到特征点集的运动矢量
Figure BDA0003184160970000062
利用压缩感知理论估计出图像整体的运动向量场,用于消除周期性畸变。
本发明的进一步改进在于:压缩感知理论构造求解模型中,v为特征点的运动向量构造而成的测量向量。
本发明的进一步改进在于:压缩感知理论构造求解模型中,Φ为观测矩阵,用于表示整幅图像中被选取为特征点的位置。
本发明的进一步改进在于:压缩感知理论构造求解模型中,Ψ,S分别为傅里叶变换基矩阵和整体运动矢量场在傅里叶域内稀疏表示的稀疏系数。
本发明的进一步改进在于:压缩感知理论构造求解模型中,η为噪声分量。
本发明的进一步改进在于:步骤F中,所述k为图像的帧序号,(i,j)表示图像块在整张图像中的位置,所述μI,μM,σIM,σI,σM依次表示某图像块与当前块序列均值图像的局部均值、协方差以及方差,c1,c2为常数。
本发明的进一步改进在于:步骤H中,g为扭曲的噪声图像,f为原始的无失真图像,h为点扩散函数,
Figure BDA0003184160970000071
表示卷积操作,
Figure BDA0003184160970000072
表示相关性,k为盲反卷积的迭代次数,Υ为优化函数。
本发明的进一步改进在于:步骤I中,
Figure BDA0003184160970000073
,所述B为基于B样条的函数,具体表示为
B0(t)=(1-t)3/6,B1(t)=(3t3-6t2+4)/6,B2(t)=(-3t3+3t2+3t+1)/6和B3(t)=t3/6。
本发明的进一步改进在于:迭代终止条件为:
Figure BDA0003184160970000081
所述k为图像序列的帧序号,Ω为图像域,Ik为序列中的图像,M为当前序列图像的均值,h,w,n分别为图像的高、宽、帧数。
本发明的有益效果如下:
本发明根据水下成像特点和水面的波动特性,将水面波动假设为周期性波动和随机性波动的叠加状态。对于周期性波动引起的畸变,基于压缩感知理论,用图像中显著特征点的运动矢量求解出图像整体的运动矢量场,进而达到消除周期性畸变的效果;对于随机性局部畸变,提出一种新的配准策略,即先通过幸运块融合算法和盲反卷积算法处理得到高质量的参考图像,再将序列图像与参考图像相配准,经过多次迭代后复原出无扭曲失真的图像序列。本发明所提出的双阶段水下图像复原算法针对不同类型波动引起的畸变特性,能够实现更稳定、更显著的畸变纠正效果。同时,由于图像畸变中周期性畸变占据主要地位,第一阶段复原后的图像序列的整体效果明显提高,加之配准前重建出了质量更好的参考图像,第二阶段的配准算法的运行速度得到了明显的加快,达到既定效果所需要的迭代次数也显著下降。相比第二阶段的迭代配准算法,压缩感知的计算时间可以忽略不计,因此,本方法无论从图像复原效果、算法鲁棒性和算法运行时间上都实现了较大的提升,具有非常好的实际应用价值。
附图说明
下面的实施例可以使本专业的技术人员更全面地理解本发明,但并不因此将本发明限制在所述的实施例范围之中。
图1为本发明水下扭曲图像复原方法的流程图。
图2为本发明在水下图像数据中的复原结果与其它图像复原算法的比较;图(a)为水下图像数据集中的某帧扭曲图像;图(b)为Oreifej提出的迭代图像配准算法复原之后的序列均值图像。图(c)为本发明所提出的水下图像复原算法复原之后的序列均值图像。
图3为本发明和Oreifej迭代配准算法满足迭代终止条件时所需要的迭代次数比较。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
如图1示出了一种水下扭曲图像复原方法,包括以下步骤:
S1、扭曲图像的读取,针对自然条件下的波动水面的特性,读取水下扭曲视频,并将该扭曲视频逐帧分解为图像序列;
S2、显著特征点的选取,在视频首帧图像中进行显著特征点的检测;
S3、显著特征点的跟踪,在后续的图像序列中跟踪所选特征点,得到特征点的运动矢量;
S4、运动矢量场的估计,基于压缩感知理论,由特征点的运动矢量求解出图像整体的运动矢量场;
S5、周期性畸变初步复原,根据步骤S4中得到的运动矢量场纠正每帧图像中的周期性畸变,实现初步复原;
S6、幸运块融合,将初步复原后的图像序列划分为图像块,以结构相似度为指标挑选出扭曲程度小的前50%的图像块,并将其图像块融合呈单幅图像;
S7、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法去除融合图像中的高斯模糊,重建出更清晰的参考图像;
S8、非刚性的图像迭代配准,利用基于B样条的非刚性配准算法将图像序列与重建后的参考图像配准,达到消除残余随机性畸变的效果,当不满足迭代终止条件时,重复步骤S6、S7、S8;当步骤S8中图像序列与重建后的参考图像配准,满足迭代终止条件时,则输出复原之后的无失真图像序列。
本发明根据水下成像特点和水面的波动特性,将水面波动假设为周期性波动和随机性波动的叠加状态。对于周期性波动引起的畸变,基于压缩感知理论,用图像中显著特征点的运动矢量求解出图像整体的运动矢量场,进而达到消除周期性畸变的效果;对于随机性局部畸变,提出一种新的配准策略,即先通过幸运块融合算法和盲反卷积算法处理得到高质量的参考图像,再将序列图像与参考图像相配准,经过多次迭代后复原出无扭曲失真的图像序列。本发明所提出的双阶段水下图像复原算法针对不同类型波动引起的畸变特性,能够实现更稳定、更显著的畸变纠正效果。同时,由于图像畸变中周期性畸变占据主要地位,第一阶段复原后的图像序列的整体效果明显提高,加之配准前重建出了质量更好的参考图像,第二阶段的配准算法的运行速度得到了明显的加快,达到既定效果所需要的迭代次数也显著下降。相比第二阶段的迭代配准算法,压缩感知的计算时间可以忽略不计,因此,本方法无论从图像复原效果、算法鲁棒性和算法运行时间上都实现了较大的提升,具有非常好的实际应用价值。
需要注意的是,第一阶段是针对周期性波动引起的畸变所提出的纠正方案,而第二阶段针对于随机性波动引起的随机性畸变,第二阶段的迭代配准方法针对第一阶段残余的局部畸变进行纠正。
进一步的,步骤S1中自然条件下的波动水面的特性,将水面波动假设为周期性波动和随机性波动的叠加作用。
本申请中在水质清澈的环境下,水面波动引起的折射现象是水下图像几何畸变的主要诱因。水面波动的特性直接决定着水下图像中畸变的特点。在自然条件下,连续波动的水面在时间和空间上具有时空平滑性和周期性,在这种周期性波动的影响下,图像上各点的运动矢量在3D傅里叶域内具有稀疏表示。然而,自然条件下的水面无法避免局部的扰动或环境变化引起的湍流,扰动和局部湍流会破坏水面波动的周期性,在图像的局部位置引入随机畸变。因此,将自然条件下的水面假设为周期性波动和随机性波动的相互叠加是具有实际意义的。
进一步的,针对于周期性波动引起的周期性畸变,将图像在傅里叶变换域内进行稀疏表示,利用压缩感知理论由少量特征点的运动矢量估计出图像整体的运动矢量场,方法为:利用SURF算法、FAST算法、Harris角点检测算法、BRISK算法在视频首帧图像中检测特征点并取并集作为最终挑选出的特征点集合;利用Kanada-Lucas-Tomasi算法跟踪特征点,得到特征点集的运动矢量
Figure BDA0003184160970000121
利用压缩感知理论估计出图像整体的运动向量场,用于消除周期性畸变。
进一步的,对于周期性波动引起的周期性畸变的图像复原,具体方法包括:
A、扭曲图像的读取,读取扭曲的水下视频,并将其逐帧分解为扭曲的图像序列Vd={Id1,Id2,...Idn};
B、显著特征点的选取,由于周期性波动引起的运动矢量场服从稀疏性分解,即可通过少数点的运动向量求解出图像整体的运动矢量场,利用常见的特征点提取算法,如SURF算法、FAST算法、Harris角点检测算法和BRISK算法,在视频的首帧图像上提取显著特征点,所有算法提取出的特征点取并集得到一组显著特征点集合
Figure BDA0003184160970000122
其中(xi,yi)为选出的特征点坐标,M为特征点的个数;
C、显著特征点的跟踪,利用Kanada-Lucas-Tomasi算法跟踪步骤A中选出的特征点
Figure BDA0003184160970000123
得到一组特征点的运动轨迹
Figure BDA0003184160970000124
其中n为序列图像的帧数量,i为特征点的序号;
D、运动矢量场的估计,完成跟踪部分后,根据特征点的运动轨迹pi计算特征点的真实位置。根据Cox-Munk法则,当相机长时间观测水下一点时,所捕获的点以其真实位置为中心波动,因此,将运动轨迹的中心看作特征点的真实位置,具体公式如下:
Figure BDA0003184160970000131
其中,下标0代表原始的无失真图像,即各个特征点的真实位置,根据特征点真实位置的估计计算各个特征点的位移
Figure BDA0003184160970000132
由于3D运动矢量场在离散傅里叶域内服从稀疏分解,因此特征点的位移集合
Figure BDA0003184160970000133
在时空域内可以看作是稀疏样本,将位移集合
Figure BDA0003184160970000134
拼接成由nM个元素组成的测量向量υ,并基于压缩感知理论构造求解模型:
υ=ΦΨS+η
压缩感知的目的在于由稀疏采样的信号点还原出原始的信号,即通过少量特征点的运动向量还原出整体运动矢量场在傅里叶域内分解的稀疏系数S,进而得到整幅图像在所有位置点的运动向量;
E、基于图像的整体运动矢量场对所有的序列图像进行畸变纠正,以达到消除周期性畸变的效果,进而得到仅含有随机性局部畸变的图像序列Vs={Is1,Is2,...Isn}。
进一步的,υ为特征点的运动向量构造而成的测量向量。
进一步的,Φ为观测矩阵,用于表示整幅图像中被选取为特征点的位置。
进一步的,Ψ,S分别为傅里叶变换基矩阵和整体运动矢量场在傅里叶域内稀疏表示的稀疏系数。
进一步的,η为噪声分量。
在本申请中,由于自然条件下的水面波动很难避免随机扰动的发生,因此,第二阶段的迭代配准方法针对第一阶段残余的局部畸变进行纠正,配准策略的不同直接影响着迭代配准的效果和速度,之前的学者如Oreifej等人,以序列均值作为参考图像,在配准之前将高斯模糊引入到扭曲的序列图像中,这一策略的理论支持在于:当参考图像与序列图像处于同一模糊水平时,配准会被引导到相对清晰的部分。然而,人为地向序列图像中引入模糊可能会造成不可逆的图像信息丢失,从而限制配准的效果。因此,本发明提出了另一种图像配准策略,即先重建出质量更高、更清晰的参考图像,再将序列图像与参考图像相配准。如图2、图3所示,由于重建的参考图像整体清晰度更高,图像各点离其真实位置更近,所需要的迭代次数会显著减少,同时配准也会被引导到参考图像中相对清晰的部分,同样具有加快配准速度的效果。此外,以往的学者已经证明:在水下扭曲图像序列中,各点的位置均以其真实位置为中心呈高斯分布,在图像序列取平均得到的均值图像整体呈现高斯模糊。因此,在已知模糊形式的前提下,盲反卷积算法能够实现非常明显的去模糊效果,进而提高参考图像的清晰程度。
针对于随机性波动引起的随机性畸变,采用先重建高质量参考图像再进行迭代配准的方法实现对水下扭曲图像的复原,具体步骤包括:
F、幸运块融合,将消除周期性畸变后的图像序列Vs划分为图像块序列{{Bk}(i,j)},保证任意相邻两图像块之间有50%的重叠区域,以结构相似度SSIM为指标挑选出扭曲程度较小的前50%图像块作为幸运块{{Lk}(i,j)},将每个位置上挑选出的幸运块{{Lk}(i,j)}融合呈单个图像块{M(i,j)},并将其拼接成整幅图像,SSIM的计算公式为:
Figure BDA0003184160970000151
H、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法消除融合图像中的高斯模糊,得到清晰程度更高的参考图像R,具体公式为:
Figure BDA0003184160970000152
I、非刚性的图像迭代配准,利用基于B样条的非刚性图像迭代配准技术将图像序列与参考图像配准,当配准结果不满足迭代终止条件,则以配准后的图像序列作为新的输入,重复步骤S6、S7、S8;当满足迭代终止条件后,输出复原结果,得到无失真图像序列Vf={If1,If2,…Ifn},非刚性图像配准的具体公式为:
Figure BDA0003184160970000161
进一步的,k为图像的帧序号,(i,j)表示图像块在整张图像中的位置。
进一步的,步骤F中,所述μI,μM,σIM,σI,σM依次表示某图像块与当前块序列均值图像的局部均值、协方差以及方差,c1c2为常数。
进一步的,步骤H中,g为扭曲的噪声图像,f为原始的无失真图像,h为点扩散函数,
Figure BDA0003184160970000162
表示卷积操作,
Figure BDA0003184160970000163
表示相关性,k为盲反卷积的迭代次数,γ为优化函数。
进一步的,步骤I中,
Figure BDA0003184160970000164
进一步的,B为基于B样条的函数,具体表示为
B0(t)=(1-t)3/6,B1(t)=(3t3-6t2+4)/6,B2(t)=(-3t3+3t2+3t+1)/6和B3(t)=t3/6。
进一步的,迭代终止条件为:
Figure BDA0003184160970000171
本发明的进一步改进在于:k为图像序列的帧序号,Ω为图像域,Ik为序列中的图像,M为当前序列图像的均值,h,w,n分别为图像的高、宽、帧数。
上述实施例只是本发明的较佳实施例,并不是对本发明技术方案的限制,只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案,均应视为落入本发明专利的权利保护范围内。

Claims (10)

1.一种水下扭曲图像复原方法,其特征在于,包括以下步骤,
S1、扭曲图像的读取,针对自然条件下的波动水面的特性,读取水下扭曲视频,并将该扭曲视频逐帧分解为图像序列;
S2、显著特征点的选取,在视频首帧图像中进行显著特征点的检测;
S3、显著特征点的跟踪,在后续的图像序列中跟踪所选特征点,得到特征点的运动矢量;
S4、运动矢量场的估计,基于压缩感知理论,由特征点的运动矢量求解出图像整体的运动矢量场;
S5、周期性畸变初步复原,根据步骤S4中得到的运动矢量场纠正每帧图像中的周期性畸变,实现初步复原;
S6、幸运块融合,将初步复原后的图像序列划分为图像块,以结构相似度为指标挑选出扭曲程度小的前50%的图像块,并将其图像块融合呈单幅图像;
S7、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法去除融合图像中的高斯模糊,重建出更清晰的参考图像;
S8、非刚性的图像迭代配准,利用基于B样条的非刚性配准算法将图像序列与重建后的参考图像配准,达到消除残余随机性畸变的效果,当不满足迭代终止条件时,重复步骤S6、S7、S8;当步骤S8中图像序列与重建后的参考图像配准,满足迭代终止条件时,则输出复原之后的无失真图像序列;
所述步骤S1中,自然条件下的波动水面的特性,将水面波动假设为周期性波动和随机性波动的叠加作用;
针对于周期性波动引起的周期性畸变的图像复原,具体方法包括:A、扭曲图像的读取,读取扭曲的水下视频,并将其逐帧分解为扭曲的图像序列Vd={Id1,Id2,...Idn};
B、显著特征点的选取,由于周期性波动引起的运动矢量场服从稀疏性分解,即可通过少数点的运动向量求解出图像整体的运动矢量场,利用常见的特征点提取算法,如SURF算法、FAST算法、Harris角点检测算法和BRISK算法,在视频的首帧图像上提取显著特征点,所有算法提取出的特征点取并集得到一组显著特征点集合
Figure FDA0003184160960000021
其中(xi,yi)为选出的特征点坐标,M为特征点的个数;
C、显著特征点的跟踪,利用Kanada-Lucas-Tomasi算法跟踪步骤A中选出的特征点
Figure FDA0003184160960000022
得到一组特征点的运动轨迹
Figure FDA0003184160960000023
其中n为序列图像的帧数量,i为特征点的序号;
D、运动矢量场的估计,完成跟踪部分后,根据特征点的运动轨迹pi计算特征点的真实位置,根据Cox-Munk法则,当相机长时间观测水下一点时,所捕获的点以其真实位置为中心波动,因此,将运动轨迹的中心看作特征点的真实位置,具体公式如下:
Figure FDA0003184160960000031
其中,下标0代表原始的无失真图像,即各个特征点的真实位置,根据特征点真实位置的估计计算各个特征点的位移
Figure FDA0003184160960000032
由于3D运动矢量场在离散傅里叶域内服从稀疏分解,因此特征点的位移集合
Figure FDA0003184160960000033
在时空域内可以看作是稀疏样本,将位移集合
Figure FDA0003184160960000034
拼接成由nM个元素组成的测量向量υ,并基于压缩感知理论构造求解模型:
υ=ΦΨS+η
压缩感知的目的在于由稀疏采样的信号点还原出原始的信号,即通过少量特征点的运动向量还原出整体运动矢量场在傅里叶域内分解的稀疏系数S,进而得到整幅图像在所有位置点的运动向量;
E、基于图像的整体运动矢量场对所有的序列图像进行畸变纠正,以达到消除周期性畸变的效果,进而得到仅含有随机性局部畸变的图像序列Vs={Is1,Is2,...Isn};
针对于随机性波动引起的随机性畸变,采用先重建高质量参考图像再进行迭代配准的方法实现对水下扭曲图像的复原,具体步骤包括:
F、将消除周期性畸变后的图像序列Vs划分为图像块序列{{Bk}(i,j)},保证任意相邻两图像块之间有50%的重叠区域,以结构相似度SSIM为指标挑选出扭曲程度较小的前50%图像块作为幸运块{{Lk}(i,j)},将每个位置上挑选出的幸运块{{Lk}(i,j)}融合呈单个图像块{M(i,j)},并将其拼接成整幅图像,SSIM的计算公式为:
Figure FDA0003184160960000041
H、利用Richardson-Lucy盲反卷积算法消除融合图像中的高斯模糊,得到清晰程度更高的参考图像R,具体公式为:
Figure FDA0003184160960000042
I、利用基于B样条的非刚性图像迭代配准技术将图像序列与参考图像配准,当配准结果不满足迭代终止条件,则以配准后的图像序列作为新的输入,重复步骤S6、S7、S8;当满足迭代终止条件后,输出复原结果,得到无失真图像序列Vf={If1,If2,...Ifn},非刚性图像配准的具体公式为:
Figure FDA0003184160960000043
2.根据权利要求1所述一种水下扭曲图像复原方法,其特征在于,针对于周期性波动引起的周期性畸变,将图像在傅里叶变换域内进行稀疏表示,利用压缩感知理论由少量特征点的运动矢量估计出图像整体的运动矢量场,方法为:利用SURF算法、FAST算法、Harris角点检测算法、BRISK算法在视频首帧图像中检测特征点并取并集作为最终挑选出的特征点集合;利用Kanada-Lucas-Tomasi算法跟踪特征点,得到特征点集的运动矢量
Figure FDA0003184160960000051
利用压缩感知理论估计出图像整体的运动向量场,用于消除周期性畸变。
3.根据权利要求2所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,υ为特征点的运动向量构造而成的测量向量。
4.根据权利要求3所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,Φ为观测矩阵,用于表示整幅图像中被选取为特征点的位置。
5.根据权利要求4所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,Ψ,S分别为傅里叶变换基矩阵和整体运动矢量场在傅里叶域内稀疏表示的稀疏系数。
6.根据权利要求5所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,η为噪声分量。
7.根据权利要求1所述一种用于水下扭曲图像复原方法,其特征在于,所述步骤F中,所述k为图像的帧序号,(i,j)表示图像块在整张图像中的位置,所述μI,μM,σIM,σI,σM依次表示某图像块与当前块序列均值图像的局部均值、协方差以及方差,c1,c2为常数。
8.根据权利要求7所述一种用于水下扭曲图像复原方法,其特征在于,所述步骤H中,g为扭曲的噪声图像,f为原始的无失真图像,h为点扩散函数,
Figure FDA0003184160960000061
表示卷积操作,
Figure FDA0003184160960000062
表示相关性,k为盲反卷积的迭代次数,Υ为优化函数。
9.根据权利要求8所述一种用于水下扭曲图像复原方法,其特征在于,所述步骤I中,
Figure FDA0003184160960000064
所述B为基于B样条的函数,具体表示为
B0(t)=(1-t)3/6,B1(t)=(3t3-6t2+4)/6,B2(t)=(-3t3+3t2+3t+1)/6
和B3(t)=t3/6。
10.根据权利要求9所述一种用于水下扭曲图像复原方法,其特征在于,所述迭代终止条件为:
Figure FDA0003184160960000063
所述k为图像序列的帧序号,Ω为图像域,Ik为序列中的图像,M为当前序列图像的均值,h,w,n分别为图像的高、宽、帧数。
CN202110855868.XA 2021-07-28 2021-07-28 一种水下扭曲图像复原方法 Active CN113592738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110855868.XA CN113592738B (zh) 2021-07-28 2021-07-28 一种水下扭曲图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110855868.XA CN113592738B (zh) 2021-07-28 2021-07-28 一种水下扭曲图像复原方法

Publications (2)

Publication Number Publication Date
CN113592738A true CN113592738A (zh) 2021-11-02
CN113592738B CN113592738B (zh) 2024-04-23

Family

ID=78251166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110855868.XA Active CN113592738B (zh) 2021-07-28 2021-07-28 一种水下扭曲图像复原方法

Country Status (1)

Country Link
CN (1) CN113592738B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022385A (zh) * 2021-11-07 2022-02-08 桂林电子科技大学 一种基于局部曲面拟合的图像复原方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696049A (zh) * 2020-05-07 2020-09-22 中国海洋大学 基于深度学习的水下扭曲图像重建方法
KR20210084806A (ko) * 2019-12-27 2021-07-08 주식회사 비즈모델라인 홍채 인식 기반 왜곡 영상 복원 처리 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210084806A (ko) * 2019-12-27 2021-07-08 주식회사 비즈모델라인 홍채 인식 기반 왜곡 영상 복원 처리 방법
CN111696049A (zh) * 2020-05-07 2020-09-22 中国海洋大学 基于深度学习的水下扭曲图像重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022385A (zh) * 2021-11-07 2022-02-08 桂林电子科技大学 一种基于局部曲面拟合的图像复原方法
CN114022385B (zh) * 2021-11-07 2024-03-26 桂林电子科技大学 一种基于局部曲面拟合的图像复原方法

Also Published As

Publication number Publication date
CN113592738B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
Li et al. Single image rain streak decomposition using layer priors
CN106920220B (zh) 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN112801900B (zh) 一种基于双向循环卷积生成对抗网络的视频模糊去除方法
CN104103050B (zh) 一种基于局部策略的真实视频复原方法
CN110675347B (zh) 一种基于组稀疏表示的图像盲复原方法
CN109345474A (zh) 基于梯度域和深度学习的图像运动模糊盲去除方法
CN111489303A (zh) 一种低照度环境下海事图像增强方法
CN110796616B (zh) 基于范数约束和自适应加权梯度的湍流退化图像恢复方法
CN109146797B (zh) 一种基于Lp伪范数与交叠组稀疏的脉冲噪声古籍图像修复方法
CN111028166B (zh) 一种基于迭代神经网络的视频去模糊方法
CN114331886B (zh) 一种基于深度特征的图像去模糊方法
CN102236887A (zh) 基于旋转差分和加权总变分的运动模糊图像复原方法
CN113592738B (zh) 一种水下扭曲图像复原方法
Wang et al. An improved image blind deblurring based on dark channel prior
CN111899196A (zh) 一种基于经典复原算法的叶片缺陷运动模糊图像复原方法
CN116523790A (zh) 一种sar图像去噪优化方法、***和存储介质
Wang et al. RT-Deblur: Real-time image deblurring for object detection
Liao et al. Multispectral remote sensing image deblurring using auxiliary band gradient information
CN116664414A (zh) 一种基于无监督学习的统一图像去雾和去噪方法
CN112862729B (zh) 一种基于特征曲线指导的遥感图像去噪方法
CN112767261B (zh) 一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架
Chen et al. A deep motion deblurring network using channel adaptive residual module
Zeng et al. Single image motion deblurring based on modified denseNet
Jian et al. Computer image recognition and recovery method for distorted underwater images by structural light

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant