CN113592738A - 一种水下扭曲图像复原方法 - Google Patents
一种水下扭曲图像复原方法 Download PDFInfo
- Publication number
- CN113592738A CN113592738A CN202110855868.XA CN202110855868A CN113592738A CN 113592738 A CN113592738 A CN 113592738A CN 202110855868 A CN202110855868 A CN 202110855868A CN 113592738 A CN113592738 A CN 113592738A
- Authority
- CN
- China
- Prior art keywords
- image
- sequence
- distortion
- underwater
- distorted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000013598 vector Substances 0.000 claims abstract description 72
- 230000000737 periodic effect Effects 0.000 claims abstract description 45
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 29
- 230000000694 effects Effects 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种水下扭曲图像复原方法,包括以下步骤,S1、扭曲图像的读取;S2、显著特征点的选取;S3、显著特征点的跟踪;S4、运动矢量场的估计;S5周期性畸变初步复原;S6、幸运块融合;S7、盲反卷积去模糊;S8、非刚性的图像迭代配准。本发明具有如下优点:提出水面波动类型的假设并提出相应的双阶段复原算法,从而对扭曲的水下图像实现有效的复原。
Description
技术领域
本发明属于水下图像处理技术领域,具体涉及一种水下扭曲图像复原方法。
背景技术
近年来,随着水下资源的开发以及水下作业的普及,水下图像被广泛用于海洋信息获取、水下作业监控、水下生态监测等诸多领域。然后,由于光在成像路径中经历空气-水的介质改变会出现折射现象,同时真实环境下的水面往往存在着剧烈的波动,由此引起的折射率变化使得水下图像出现严重的畸变退化。此外,水中悬浮粒子的存在所带来的介质散射和水面波动引起的运动模糊现象使得水下图像处于低对比度、高噪声的状态下,严重影响了水下信息的准确获取和后续的信息处理。如何对水下畸变图像进行有效的复原,纠正扭曲,提高图像整体清晰度具有重要的意义。
目前,针对水下扭曲图像的复原方法大多集中在水面波纹估计、幸运块融合以及图像配准技术的改进上。这些算法虽然能够在一定程度上纠正图像中的几何畸变,但是在畸变纠正程度上往往无法得到令人满意的效果。除此之外,复原效果相对突出的图像配准技术由于其计算量大、迭代过程耗时长的问题也限制了水下图像复原技术在实际环境下的应用。
目前,有学者如Oreifej等人,以序列均值作为参考图像,在配准之前将高斯模糊引入到扭曲的序列图像中,这一策略的理论支持在于:当参考图像与序列图像处于同一模糊水平时,配准会被引导到相对清晰的部分。然而,人为地向序列图像中引入模糊可能会造成不可逆的图像信息丢失,从而限制配准的效果。
发明内容
本发明的目的在于针对现有技术的不足,现提供一种水下扭曲图像复原方法,提出水面波动类型的假设并提出相应的双阶段复原算法,从而对扭曲的水下图像实现有效的复原。
为解决上述技术问题,本发明采用的技术方案为:一种水下扭曲图像复原方法,包括以下步骤,
S1、扭曲图像的读取,针对自然条件下的波动水面的特性,读取水下扭曲视频,并将该扭曲视频逐帧分解为图像序列;
S2、显著特征点的选取,在视频首帧图像中进行显著特征点的检测;
S3、显著特征点的跟踪,在后续的图像序列中跟踪所选特征点,得到特征点的运动矢量;
S4、运动矢量场的估计,基于压缩感知理论,由特征点的运动矢量求解出图像整体的运动矢量场;
S5、周期性畸变初步复原,根据步骤S4中得到的运动矢量场纠正每帧图像中的周期性畸变,实现初步复原;
S6、幸运块融合,将初步复原后的图像序列划分为图像块,以结构相似度为指标挑选出扭曲程度小的前50%的图像块,并将其图像块融合呈单幅图像;
S7、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法去除融合图像中的高斯模糊,重建出更清晰的参考图像;
S8、非刚性的图像迭代配准,利用基于B样条的非刚性配准算法将图像序列与重建后的参考图像配准,达到消除残余随机性畸变的效果,当不满足迭代终止条件时,重复步骤S6、S7、S8;当步骤S8中图像序列与重建后的参考图像配准,满足迭代终止条件时,则输出复原之后的无失真图像序列;
所述步骤S1中,自然条件下的波动水面的特性,将水面波动假设为周期性波动和随机性波动的叠加作用;
针对于周期性波动引起的周期性畸变的图像复原,具体方法包括:A、扭曲图像的读取,读取扭曲的水下视频,并将其逐帧分解为扭曲的图像序列Vd={Id1,Id2,...,Idn};
B、显著特征点的选取,由于周期性波动引起的运动矢量场服从稀疏性分解,即可通过少数点的运动向量求解出图像整体的运动矢量场,利用常见的特征点提取算法,如SURF算法、FAST算法、Harris角点检测算法和BRISK算法,在视频的首帧图像上提取显著特征点,所有算法提取出的特征点取并集得到一组显著特征点集合其中(xi,yi)为选出的特征点坐标,M为特征点的个数;
D、运动矢量场的估计,完成跟踪部分后,根据特征点的运动轨迹pi计算特征点的真实位置,根据Cox-Munk法则,当相机长时间观测水下一点时,所捕获的点以其真实位置为中心波动,因此,将运动轨迹的中心看作特征点的真实位置,具体公式如下:
υ=ΦΨS+η
压缩感知的目的在于由稀疏采样的信号点还原出原始的信号,即通过少量特征点的运动向量还原出整体运动矢量场在傅里叶域内分解的稀疏系数S,进而得到整幅图像在所有位置点的运动向量;
E、基于图像的整体运动矢量场对所有的序列图像进行畸变纠正,以达到消除周期性畸变的效果,进而得到仅含有随机性局部畸变的图像序列Vs={Is1,Is2,...Isn};
针对于随机性波动引起的随机性畸变,采用先重建高质量参考图像再进行迭代配准的方法实现对水下扭曲图像的复原,具体步骤包括:
F、将消除周期性畸变后的图像序列Vs划分为图像块序列{{Bk}(i,j)},保证任意相邻两图像块之间有50%的重叠区域,以结构相似度SSIM为指标挑选出扭曲程度较小的前50%图像块作为幸运块{{Lk}(i,j)},将每个位置上挑选出的幸运块{{Lk}(i,j)}融合呈单个图像块{M(i,j)},并将其拼接成整幅图像,SSIM的计算公式为:
H、利用Richardson-Lucy盲反卷积算法消除融合图像中的高斯模糊,得到清晰程度更高的参考图像R,具体公式为:
I、利用基于B样条的非刚性图像迭代配准技术将图像序列与参考图像配准,当配准结果不满足迭代终止条件,则以配准后的图像序列作为新的输入,重复步骤S6、S7、S8;当满足迭代终止条件后,输出复原结果,得到无失真图像序列Vf={If1,If2,…,Ifn},非刚性图像配准的具体公式为:
本发明的进一步改进在于:针对于周期性波动引起的周期性畸变,将图像在傅里叶变换域内进行稀疏表示,利用压缩感知理论由少量特征点的运动矢量估计出图像整体的运动矢量场,方法为:利用SURF算法、FAST算法、Harris角点检测算法、BRISK算法在视频首帧图像中检测特征点并取并集作为最终挑选出的特征点集合;利用Kanada-Lucas-Tomasi算法跟踪特征点,得到特征点集的运动矢量利用压缩感知理论估计出图像整体的运动向量场,用于消除周期性畸变。
本发明的进一步改进在于:压缩感知理论构造求解模型中,v为特征点的运动向量构造而成的测量向量。
本发明的进一步改进在于:压缩感知理论构造求解模型中,Φ为观测矩阵,用于表示整幅图像中被选取为特征点的位置。
本发明的进一步改进在于:压缩感知理论构造求解模型中,Ψ,S分别为傅里叶变换基矩阵和整体运动矢量场在傅里叶域内稀疏表示的稀疏系数。
本发明的进一步改进在于:压缩感知理论构造求解模型中,η为噪声分量。
本发明的进一步改进在于:步骤F中,所述k为图像的帧序号,(i,j)表示图像块在整张图像中的位置,所述μI,μM,σIM,σI,σM依次表示某图像块与当前块序列均值图像的局部均值、协方差以及方差,c1,c2为常数。
本发明的进一步改进在于:步骤I中,
,所述B为基于B样条的函数,具体表示为
B0(t)=(1-t)3/6,B1(t)=(3t3-6t2+4)/6,B2(t)=(-3t3+3t2+3t+1)/6和B3(t)=t3/6。
本发明的进一步改进在于:迭代终止条件为:
所述k为图像序列的帧序号,Ω为图像域,Ik为序列中的图像,M为当前序列图像的均值,h,w,n分别为图像的高、宽、帧数。
本发明的有益效果如下:
本发明根据水下成像特点和水面的波动特性,将水面波动假设为周期性波动和随机性波动的叠加状态。对于周期性波动引起的畸变,基于压缩感知理论,用图像中显著特征点的运动矢量求解出图像整体的运动矢量场,进而达到消除周期性畸变的效果;对于随机性局部畸变,提出一种新的配准策略,即先通过幸运块融合算法和盲反卷积算法处理得到高质量的参考图像,再将序列图像与参考图像相配准,经过多次迭代后复原出无扭曲失真的图像序列。本发明所提出的双阶段水下图像复原算法针对不同类型波动引起的畸变特性,能够实现更稳定、更显著的畸变纠正效果。同时,由于图像畸变中周期性畸变占据主要地位,第一阶段复原后的图像序列的整体效果明显提高,加之配准前重建出了质量更好的参考图像,第二阶段的配准算法的运行速度得到了明显的加快,达到既定效果所需要的迭代次数也显著下降。相比第二阶段的迭代配准算法,压缩感知的计算时间可以忽略不计,因此,本方法无论从图像复原效果、算法鲁棒性和算法运行时间上都实现了较大的提升,具有非常好的实际应用价值。
附图说明
下面的实施例可以使本专业的技术人员更全面地理解本发明,但并不因此将本发明限制在所述的实施例范围之中。
图1为本发明水下扭曲图像复原方法的流程图。
图2为本发明在水下图像数据中的复原结果与其它图像复原算法的比较;图(a)为水下图像数据集中的某帧扭曲图像;图(b)为Oreifej提出的迭代图像配准算法复原之后的序列均值图像。图(c)为本发明所提出的水下图像复原算法复原之后的序列均值图像。
图3为本发明和Oreifej迭代配准算法满足迭代终止条件时所需要的迭代次数比较。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
如图1示出了一种水下扭曲图像复原方法,包括以下步骤:
S1、扭曲图像的读取,针对自然条件下的波动水面的特性,读取水下扭曲视频,并将该扭曲视频逐帧分解为图像序列;
S2、显著特征点的选取,在视频首帧图像中进行显著特征点的检测;
S3、显著特征点的跟踪,在后续的图像序列中跟踪所选特征点,得到特征点的运动矢量;
S4、运动矢量场的估计,基于压缩感知理论,由特征点的运动矢量求解出图像整体的运动矢量场;
S5、周期性畸变初步复原,根据步骤S4中得到的运动矢量场纠正每帧图像中的周期性畸变,实现初步复原;
S6、幸运块融合,将初步复原后的图像序列划分为图像块,以结构相似度为指标挑选出扭曲程度小的前50%的图像块,并将其图像块融合呈单幅图像;
S7、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法去除融合图像中的高斯模糊,重建出更清晰的参考图像;
S8、非刚性的图像迭代配准,利用基于B样条的非刚性配准算法将图像序列与重建后的参考图像配准,达到消除残余随机性畸变的效果,当不满足迭代终止条件时,重复步骤S6、S7、S8;当步骤S8中图像序列与重建后的参考图像配准,满足迭代终止条件时,则输出复原之后的无失真图像序列。
本发明根据水下成像特点和水面的波动特性,将水面波动假设为周期性波动和随机性波动的叠加状态。对于周期性波动引起的畸变,基于压缩感知理论,用图像中显著特征点的运动矢量求解出图像整体的运动矢量场,进而达到消除周期性畸变的效果;对于随机性局部畸变,提出一种新的配准策略,即先通过幸运块融合算法和盲反卷积算法处理得到高质量的参考图像,再将序列图像与参考图像相配准,经过多次迭代后复原出无扭曲失真的图像序列。本发明所提出的双阶段水下图像复原算法针对不同类型波动引起的畸变特性,能够实现更稳定、更显著的畸变纠正效果。同时,由于图像畸变中周期性畸变占据主要地位,第一阶段复原后的图像序列的整体效果明显提高,加之配准前重建出了质量更好的参考图像,第二阶段的配准算法的运行速度得到了明显的加快,达到既定效果所需要的迭代次数也显著下降。相比第二阶段的迭代配准算法,压缩感知的计算时间可以忽略不计,因此,本方法无论从图像复原效果、算法鲁棒性和算法运行时间上都实现了较大的提升,具有非常好的实际应用价值。
需要注意的是,第一阶段是针对周期性波动引起的畸变所提出的纠正方案,而第二阶段针对于随机性波动引起的随机性畸变,第二阶段的迭代配准方法针对第一阶段残余的局部畸变进行纠正。
进一步的,步骤S1中自然条件下的波动水面的特性,将水面波动假设为周期性波动和随机性波动的叠加作用。
本申请中在水质清澈的环境下,水面波动引起的折射现象是水下图像几何畸变的主要诱因。水面波动的特性直接决定着水下图像中畸变的特点。在自然条件下,连续波动的水面在时间和空间上具有时空平滑性和周期性,在这种周期性波动的影响下,图像上各点的运动矢量在3D傅里叶域内具有稀疏表示。然而,自然条件下的水面无法避免局部的扰动或环境变化引起的湍流,扰动和局部湍流会破坏水面波动的周期性,在图像的局部位置引入随机畸变。因此,将自然条件下的水面假设为周期性波动和随机性波动的相互叠加是具有实际意义的。
进一步的,针对于周期性波动引起的周期性畸变,将图像在傅里叶变换域内进行稀疏表示,利用压缩感知理论由少量特征点的运动矢量估计出图像整体的运动矢量场,方法为:利用SURF算法、FAST算法、Harris角点检测算法、BRISK算法在视频首帧图像中检测特征点并取并集作为最终挑选出的特征点集合;利用Kanada-Lucas-Tomasi算法跟踪特征点,得到特征点集的运动矢量利用压缩感知理论估计出图像整体的运动向量场,用于消除周期性畸变。
进一步的,对于周期性波动引起的周期性畸变的图像复原,具体方法包括:
A、扭曲图像的读取,读取扭曲的水下视频,并将其逐帧分解为扭曲的图像序列Vd={Id1,Id2,...Idn};
B、显著特征点的选取,由于周期性波动引起的运动矢量场服从稀疏性分解,即可通过少数点的运动向量求解出图像整体的运动矢量场,利用常见的特征点提取算法,如SURF算法、FAST算法、Harris角点检测算法和BRISK算法,在视频的首帧图像上提取显著特征点,所有算法提取出的特征点取并集得到一组显著特征点集合其中(xi,yi)为选出的特征点坐标,M为特征点的个数;
D、运动矢量场的估计,完成跟踪部分后,根据特征点的运动轨迹pi计算特征点的真实位置。根据Cox-Munk法则,当相机长时间观测水下一点时,所捕获的点以其真实位置为中心波动,因此,将运动轨迹的中心看作特征点的真实位置,具体公式如下:
υ=ΦΨS+η
压缩感知的目的在于由稀疏采样的信号点还原出原始的信号,即通过少量特征点的运动向量还原出整体运动矢量场在傅里叶域内分解的稀疏系数S,进而得到整幅图像在所有位置点的运动向量;
E、基于图像的整体运动矢量场对所有的序列图像进行畸变纠正,以达到消除周期性畸变的效果,进而得到仅含有随机性局部畸变的图像序列Vs={Is1,Is2,...Isn}。
进一步的,υ为特征点的运动向量构造而成的测量向量。
进一步的,Φ为观测矩阵,用于表示整幅图像中被选取为特征点的位置。
进一步的,Ψ,S分别为傅里叶变换基矩阵和整体运动矢量场在傅里叶域内稀疏表示的稀疏系数。
进一步的,η为噪声分量。
在本申请中,由于自然条件下的水面波动很难避免随机扰动的发生,因此,第二阶段的迭代配准方法针对第一阶段残余的局部畸变进行纠正,配准策略的不同直接影响着迭代配准的效果和速度,之前的学者如Oreifej等人,以序列均值作为参考图像,在配准之前将高斯模糊引入到扭曲的序列图像中,这一策略的理论支持在于:当参考图像与序列图像处于同一模糊水平时,配准会被引导到相对清晰的部分。然而,人为地向序列图像中引入模糊可能会造成不可逆的图像信息丢失,从而限制配准的效果。因此,本发明提出了另一种图像配准策略,即先重建出质量更高、更清晰的参考图像,再将序列图像与参考图像相配准。如图2、图3所示,由于重建的参考图像整体清晰度更高,图像各点离其真实位置更近,所需要的迭代次数会显著减少,同时配准也会被引导到参考图像中相对清晰的部分,同样具有加快配准速度的效果。此外,以往的学者已经证明:在水下扭曲图像序列中,各点的位置均以其真实位置为中心呈高斯分布,在图像序列取平均得到的均值图像整体呈现高斯模糊。因此,在已知模糊形式的前提下,盲反卷积算法能够实现非常明显的去模糊效果,进而提高参考图像的清晰程度。
针对于随机性波动引起的随机性畸变,采用先重建高质量参考图像再进行迭代配准的方法实现对水下扭曲图像的复原,具体步骤包括:
F、幸运块融合,将消除周期性畸变后的图像序列Vs划分为图像块序列{{Bk}(i,j)},保证任意相邻两图像块之间有50%的重叠区域,以结构相似度SSIM为指标挑选出扭曲程度较小的前50%图像块作为幸运块{{Lk}(i,j)},将每个位置上挑选出的幸运块{{Lk}(i,j)}融合呈单个图像块{M(i,j)},并将其拼接成整幅图像,SSIM的计算公式为:
H、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法消除融合图像中的高斯模糊,得到清晰程度更高的参考图像R,具体公式为:
I、非刚性的图像迭代配准,利用基于B样条的非刚性图像迭代配准技术将图像序列与参考图像配准,当配准结果不满足迭代终止条件,则以配准后的图像序列作为新的输入,重复步骤S6、S7、S8;当满足迭代终止条件后,输出复原结果,得到无失真图像序列Vf={If1,If2,…Ifn},非刚性图像配准的具体公式为:
进一步的,k为图像的帧序号,(i,j)表示图像块在整张图像中的位置。
进一步的,步骤F中,所述μI,μM,σIM,σI,σM依次表示某图像块与当前块序列均值图像的局部均值、协方差以及方差,c1,c2为常数。
进一步的,步骤I中,
进一步的,B为基于B样条的函数,具体表示为
B0(t)=(1-t)3/6,B1(t)=(3t3-6t2+4)/6,B2(t)=(-3t3+3t2+3t+1)/6和B3(t)=t3/6。
进一步的,迭代终止条件为:
本发明的进一步改进在于:k为图像序列的帧序号,Ω为图像域,Ik为序列中的图像,M为当前序列图像的均值,h,w,n分别为图像的高、宽、帧数。
上述实施例只是本发明的较佳实施例,并不是对本发明技术方案的限制,只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案,均应视为落入本发明专利的权利保护范围内。
Claims (10)
1.一种水下扭曲图像复原方法,其特征在于,包括以下步骤,
S1、扭曲图像的读取,针对自然条件下的波动水面的特性,读取水下扭曲视频,并将该扭曲视频逐帧分解为图像序列;
S2、显著特征点的选取,在视频首帧图像中进行显著特征点的检测;
S3、显著特征点的跟踪,在后续的图像序列中跟踪所选特征点,得到特征点的运动矢量;
S4、运动矢量场的估计,基于压缩感知理论,由特征点的运动矢量求解出图像整体的运动矢量场;
S5、周期性畸变初步复原,根据步骤S4中得到的运动矢量场纠正每帧图像中的周期性畸变,实现初步复原;
S6、幸运块融合,将初步复原后的图像序列划分为图像块,以结构相似度为指标挑选出扭曲程度小的前50%的图像块,并将其图像块融合呈单幅图像;
S7、盲反卷积去模糊,利用Richardson-Lucy盲反卷积算法去除融合图像中的高斯模糊,重建出更清晰的参考图像;
S8、非刚性的图像迭代配准,利用基于B样条的非刚性配准算法将图像序列与重建后的参考图像配准,达到消除残余随机性畸变的效果,当不满足迭代终止条件时,重复步骤S6、S7、S8;当步骤S8中图像序列与重建后的参考图像配准,满足迭代终止条件时,则输出复原之后的无失真图像序列;
所述步骤S1中,自然条件下的波动水面的特性,将水面波动假设为周期性波动和随机性波动的叠加作用;
针对于周期性波动引起的周期性畸变的图像复原,具体方法包括:A、扭曲图像的读取,读取扭曲的水下视频,并将其逐帧分解为扭曲的图像序列Vd={Id1,Id2,...Idn};
B、显著特征点的选取,由于周期性波动引起的运动矢量场服从稀疏性分解,即可通过少数点的运动向量求解出图像整体的运动矢量场,利用常见的特征点提取算法,如SURF算法、FAST算法、Harris角点检测算法和BRISK算法,在视频的首帧图像上提取显著特征点,所有算法提取出的特征点取并集得到一组显著特征点集合其中(xi,yi)为选出的特征点坐标,M为特征点的个数;
D、运动矢量场的估计,完成跟踪部分后,根据特征点的运动轨迹pi计算特征点的真实位置,根据Cox-Munk法则,当相机长时间观测水下一点时,所捕获的点以其真实位置为中心波动,因此,将运动轨迹的中心看作特征点的真实位置,具体公式如下:
υ=ΦΨS+η
压缩感知的目的在于由稀疏采样的信号点还原出原始的信号,即通过少量特征点的运动向量还原出整体运动矢量场在傅里叶域内分解的稀疏系数S,进而得到整幅图像在所有位置点的运动向量;
E、基于图像的整体运动矢量场对所有的序列图像进行畸变纠正,以达到消除周期性畸变的效果,进而得到仅含有随机性局部畸变的图像序列Vs={Is1,Is2,...Isn};
针对于随机性波动引起的随机性畸变,采用先重建高质量参考图像再进行迭代配准的方法实现对水下扭曲图像的复原,具体步骤包括:
F、将消除周期性畸变后的图像序列Vs划分为图像块序列{{Bk}(i,j)},保证任意相邻两图像块之间有50%的重叠区域,以结构相似度SSIM为指标挑选出扭曲程度较小的前50%图像块作为幸运块{{Lk}(i,j)},将每个位置上挑选出的幸运块{{Lk}(i,j)}融合呈单个图像块{M(i,j)},并将其拼接成整幅图像,SSIM的计算公式为:
H、利用Richardson-Lucy盲反卷积算法消除融合图像中的高斯模糊,得到清晰程度更高的参考图像R,具体公式为:
I、利用基于B样条的非刚性图像迭代配准技术将图像序列与参考图像配准,当配准结果不满足迭代终止条件,则以配准后的图像序列作为新的输入,重复步骤S6、S7、S8;当满足迭代终止条件后,输出复原结果,得到无失真图像序列Vf={If1,If2,...Ifn},非刚性图像配准的具体公式为:
3.根据权利要求2所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,υ为特征点的运动向量构造而成的测量向量。
4.根据权利要求3所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,Φ为观测矩阵,用于表示整幅图像中被选取为特征点的位置。
5.根据权利要求4所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,Ψ,S分别为傅里叶变换基矩阵和整体运动矢量场在傅里叶域内稀疏表示的稀疏系数。
6.根据权利要求5所述一种用于水下扭曲图像复原方法,其特征在于,所述压缩感知理论构造求解模型中,η为噪声分量。
7.根据权利要求1所述一种用于水下扭曲图像复原方法,其特征在于,所述步骤F中,所述k为图像的帧序号,(i,j)表示图像块在整张图像中的位置,所述μI,μM,σIM,σI,σM依次表示某图像块与当前块序列均值图像的局部均值、协方差以及方差,c1,c2为常数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110855868.XA CN113592738B (zh) | 2021-07-28 | 2021-07-28 | 一种水下扭曲图像复原方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110855868.XA CN113592738B (zh) | 2021-07-28 | 2021-07-28 | 一种水下扭曲图像复原方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113592738A true CN113592738A (zh) | 2021-11-02 |
CN113592738B CN113592738B (zh) | 2024-04-23 |
Family
ID=78251166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110855868.XA Active CN113592738B (zh) | 2021-07-28 | 2021-07-28 | 一种水下扭曲图像复原方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113592738B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022385A (zh) * | 2021-11-07 | 2022-02-08 | 桂林电子科技大学 | 一种基于局部曲面拟合的图像复原方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696049A (zh) * | 2020-05-07 | 2020-09-22 | 中国海洋大学 | 基于深度学习的水下扭曲图像重建方法 |
KR20210084806A (ko) * | 2019-12-27 | 2021-07-08 | 주식회사 비즈모델라인 | 홍채 인식 기반 왜곡 영상 복원 처리 방법 |
-
2021
- 2021-07-28 CN CN202110855868.XA patent/CN113592738B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210084806A (ko) * | 2019-12-27 | 2021-07-08 | 주식회사 비즈모델라인 | 홍채 인식 기반 왜곡 영상 복원 처리 방법 |
CN111696049A (zh) * | 2020-05-07 | 2020-09-22 | 中国海洋大学 | 基于深度学习的水下扭曲图像重建方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114022385A (zh) * | 2021-11-07 | 2022-02-08 | 桂林电子科技大学 | 一种基于局部曲面拟合的图像复原方法 |
CN114022385B (zh) * | 2021-11-07 | 2024-03-26 | 桂林电子科技大学 | 一种基于局部曲面拟合的图像复原方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113592738B (zh) | 2024-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
Li et al. | Single image rain streak decomposition using layer priors | |
CN106920220B (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
CN112801900B (zh) | 一种基于双向循环卷积生成对抗网络的视频模糊去除方法 | |
CN104103050B (zh) | 一种基于局部策略的真实视频复原方法 | |
CN110675347B (zh) | 一种基于组稀疏表示的图像盲复原方法 | |
CN109345474A (zh) | 基于梯度域和深度学习的图像运动模糊盲去除方法 | |
CN111489303A (zh) | 一种低照度环境下海事图像增强方法 | |
CN110796616B (zh) | 基于范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
CN109146797B (zh) | 一种基于Lp伪范数与交叠组稀疏的脉冲噪声古籍图像修复方法 | |
CN111028166B (zh) | 一种基于迭代神经网络的视频去模糊方法 | |
CN114331886B (zh) | 一种基于深度特征的图像去模糊方法 | |
CN102236887A (zh) | 基于旋转差分和加权总变分的运动模糊图像复原方法 | |
CN113592738B (zh) | 一种水下扭曲图像复原方法 | |
Wang et al. | An improved image blind deblurring based on dark channel prior | |
CN111899196A (zh) | 一种基于经典复原算法的叶片缺陷运动模糊图像复原方法 | |
CN116523790A (zh) | 一种sar图像去噪优化方法、***和存储介质 | |
Wang et al. | RT-Deblur: Real-time image deblurring for object detection | |
Liao et al. | Multispectral remote sensing image deblurring using auxiliary band gradient information | |
CN116664414A (zh) | 一种基于无监督学习的统一图像去雾和去噪方法 | |
CN112862729B (zh) | 一种基于特征曲线指导的遥感图像去噪方法 | |
CN112767261B (zh) | 一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架 | |
Chen et al. | A deep motion deblurring network using channel adaptive residual module | |
Zeng et al. | Single image motion deblurring based on modified denseNet | |
Jian et al. | Computer image recognition and recovery method for distorted underwater images by structural light |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |