CN107578388A - 一种提高基于光电联合变换相关器的图像去模糊精度方法 - Google Patents

Abstract

本发明公开了一种提高基于光电联合变换相关器的图像去模糊精度方法,其步骤如下：1)捕获序列图像，输入到空间光调制器中；2)功率谱相机捕获联合功率谱；3)通过傅立叶透镜变换后得到的相关输出；4)通过质心搜索算法，计算当前帧和下一帧之间的相对位移；5)用目标图像更换参考图像；6)对位移矢量分别进行运动路径再估计；7)对序列反序求逆得到单应矩阵；8)预测模糊图像；9)迭代t次后的残差；10)利用残差，进行图像复原迭代计算；11)获得满意的去模糊效果图；本发明通过对光电联合变换的相关器检测出的运动矢量进行投影运动路径的估计，提高重建精度；改善去模糊的效果，重建精度提升到接近原***帧率两倍的性能。

Description

一种提高基于光电联合变换相关器的图像去模糊精度方法

技术领域

本发明属于遥感光学成像的技术领域，具体是涉及一种对在光电联合变换的相关器基础上对相邻图像之间的运动矢量进行投影运动路径的估算，可以在不改变***原有的硬件条件下提高去模糊和PSF的重建精度。

背景技术

高分辨率成像***有着广泛的应用，尤其是在遥感，空中侦察，和航拍应用中。但是，成像***因为抖动使得图像模糊，抖动由平台的振动和姿态变化等引起。尤其对于遥感光学成像，平台的轻微抖动都会引起遥感高分辨图像的严重退化和模糊，为了补偿图像运动和保持图像清晰，必须在成像***中加入稳像器。稳像器可以分为数字图像稳定器和光学图像稳定器。数字稳像器通过使用图像复原算法来降低图像模糊，如逆滤波，维纳滤波或图像盲反卷积。数字稳像器不需要外部测量设备，如陀螺仪或加速度传感器，直接提取图像运动矢量，并且从模糊图像中获取点扩散函数PSF。然而对于图像复原算法直接测量PSF，并计算调制传递函数(MTF)往往是复杂并不准确的；许多图像恢复算法都是从模糊图像本身，或从图像序列提取PSF。由于运动的复杂性和随机性，PSF通常是不准确的。此外，这些算法的缺点是它们对图像内容的依赖。如果图像不包含清晰的边缘，准确估计运动函数是非常困难的。虽然图像盲反卷积不需要知道PSF，但是这种迭代算法需要一个初始的PSF，PSF估计的准确性和恢复图像的质量完全取决于这个初始的估计；

光学稳像器是通过移动透镜或传感器来补偿图像运动，移动透镜或传感器可以改变光路以保持图像稳定；但是这种方法需要复杂的光机电***，例如陀螺仪和加速度计来测量抖动；稳像器变得复杂，成本高。

另外现有的基于光电联合变换相关器的图像去模糊精度的方法将光学和电子学方法相结合可以有效消除图像模糊，并精确重构PSF；首先利用基于JTC的高速相机拍摄的图像序列获得图像速度矢量，然后根据速度矢量重构PSF，最后通过简单的逆滤波算法来快速恢复模糊图像，PSF重构的精度和图像去模糊的质量取决于联合变换相关器和高速相机的性能，联合变换相关器和高速相机的帧率越高PSF重构的精度越高，图像去模糊的质量越好；但是帧率越高导致成本越高，先前的方法大都是追求高帧率的相机和联合变换相关器。

发明内容

有鉴于此，本发明的目的在于提供一种提高基于光电联合变换相关器的图像去模糊精度的方法，该提高基于光电联合变换相关器的图像去模糊精度的方法通过对光电联合变换的相关器检测出的运动矢量进行投影运动路径的估计，提高PSF的重建精度；进而改善去模糊的效果，将PSF重建精度提升到接近原***帧率两倍的性能。

为了达到上述目的，本发明公开了一种单次测量的压缩感知超分辨率成像方法，其步骤如下：

1)在一个低帧率高分辨率相机，例如一个遥感光学相机，积分曝光周期内，由另外一个高速CCD相机所捕获的相邻的序列图像I_i(x,y-a)和I_i+1(x+Δx,y+a+Δy)并排输入到空间光调制器(Spatial Light Modulator，SLM)中，SLM放置在傅里叶透镜的前焦平面上。这里设当前帧图像I_i(x,y-a)为参考图像r(x,y)，图像I_i+1(x+Δx,y+a+Δy)为目标图像t(x,y)，a表示两幅图像在y方向上的间距。Δx和Δy分别表示图像r(x,y)与图像t(x,y)的相对运动位移矢量；

2)使用准直的激光照射空间光调制器上的联合图像，由于联合图像显示在傅里叶透镜的前焦面上，因此会在透镜的后焦平面产生联合功率谱(Joint Power Spectrum，JPS)。由功率谱相机捕获的JPS可以表示为

|S(u,v)|²＝|R(u,v)|²+|T(u,v)|²+R(u,v)T^*(u,v)exp[-2iπuΔx-2iπv(2a+Δy)]+T(u,v)R^*(u,v)exp[2iπuΔx+2iπv(2a+Δy)] (4)

其中S(U，V)，R(U，V)和T(U，V)分别代表联合输入图像S(x，y)，参考图像r(x，y)和目标图像t(x，y)的傅里叶变换。(U，V)表示傅里叶平面上的空间频率坐标。它们与实际空间坐标(x，y)的关系是x＝λfu和y＝λfv，其中λ和f分别表示激光的工作波长和傅里叶透镜的焦距；

3)将JPS再次输入到空间光调制器中，通过傅立叶透镜变换后得到的相关输出c(x，y)如下式表示：

表示相关操作，公式(5)的第三和第四项包含互相关峰的位置信息；

4)通过质心搜索算法，我们可以得到互相关峰的真实位置坐标，也就是当前帧和下一帧之间的相对位移P_iP_i+1(x,y)，由下式给出：

P_iP_i+1(x,y)＝p_i+1(x,y)-p(x,y) (6)

其中p_i(x,y)和p_i+1(x,y)表示两个互相关峰的坐标位置，P_iP_i+1(x,y)表示相对位移向量；

5)不断用目标图像t(x,y)更换参考图像r(x,y)，重复步骤1-4在低帧率高分辨率相机曝光时间内获得一系列相对图像位移{P_iP_i+1(x,y)}序列，记为{S₁..S_i..S_N}。由于相对运动引起图像平面的投影变换，假定{H₁..H_i..H_N}是3×3的非奇异单应矩阵序列，用{H₁..H_i..H_N}序列对应相对图像位移序列{S₁..S_i..S_N}，每个H_i(i∈1,2,...,N)表示相邻两幅图像平面之间的投影变换映射。其中高速相机在低帧率高分辨率CCD相机曝光时间内所拍摄的图像数为N+1幅；

6)对第5步中获得的{H₁..H_i..H_N}中的每个位移矢量H_i分别进行运动路径再估计。根据{H₁..H_i..H_N}绘出位移矢量整体离散图，横轴为时间，纵轴为H_i，将这些离散点拟合成一条平滑曲线，然后以原点为起点，将相邻两个位移矢量区间等间隔划分为m个子区间，则相邻的两个位移矢量之间可得到一个子序列我们称之为子运动矢量，同样每个子运动矢量也对应一个单应矩阵，故用序列表示子运动矢量序列对应的矩阵序列，且有其中表示第i个位移矢量的第k个子运动矢量；

7)对第六步中得到的序列反序求逆得到N×m个单应矩阵，用序列刻画复原运动路径；

8)按下面公式计算预测模糊图像B'^t：

其中N表示相对位移矢量个数，m表示每个位移矢量划分个数，t是迭代次数，x表示3×1维的像素矢量坐标；

9)根据上面得到的预测模糊图像，按下面公式计算迭代t次后的残差：

其中B(x)是模糊图像，B'^t(x)是迭代t次后的预测模糊图像；

10)利用残差，按下面公式进行图像复原迭代计算：

11)设置迭代次数t，根据N，m，重复执行步骤8-10，直到最终获得满意的去模糊效果图。

本发明的有益效果在于：

本发明一种提高基于光电联合变换相关器的图像去模糊精度的方法将光学和电子学方法相结合可以有效消除图像模糊，并精确重构PSF；首先利用基于JTC的高速相机拍摄的图像序列获得图像速度矢量，然后根据速度矢量重构PSF，最后通过简单的逆滤波算法来快速恢复模糊图像，PSF重构的精度和图像去模糊的质量取决于联合变换相关器和高速相机的性能，联合变换相关器和高速相机的帧率越高PSF重构的精度越高，图像去模糊的质量越好；但是帧率越高导致成本越高，先前的方法大都是追求高帧率的相机和联合变换相关器；本发明在不改变***原有硬件的条件下，通过对光电联合变换的相关器检测出的运动矢量进行投影运动路径的估计，提高PSF的重建精度；进而改善去模糊的效果；仿真结果表明本发明可以将PSF重建精度提升到接近原***帧率两倍的性能；

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为光电联合变换相关器的原理图；

图2为相对位移矢量的曲线拟合图；

图3为提取的子运动矢量量图；

图4为去模糊算法的整体思路图；

图5为原始的清晰图像；

图6为加入模糊核后的模糊图像；

图7为本发明的去模糊复原图；

图8、9为利用传统方法去模糊复原图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

如图1-9所示，本发明公开了一种提高基于光电联合变换相关器的图像去模糊精度的方法，具体步骤如下：

1)在低帧率高分辨率相机曝光周期内，假定由高速CCD相机捕获图像序列为{I₁,I₂,I₃,I₄,I₅,I₆}；

2)分别将相邻的两幅图像并排输入到空间光调制器SLM1中，当前图像I_i为参考图像，I_i+1为目标图像，经过傅里叶透镜Lens2变换后，获得两幅图像的联合功率谱JPS；

3)将该联合功率谱JPS输入到空间光调制器SLM2中，经过傅里叶透镜Lens3变换后，利用质心搜索算法，获得两幅图像的真实相关峰位置，根据相关峰位置坐标计算两幅图像的相对位移矢量，步骤1-3的原理如图1所示。

4)假定计算出的位移矢量序列为{S₁＝1,S₂＝2,S₃＝3,S₄＝4,S₅＝2}；

5)根据假定的位移矢量{S₁＝1,S₂＝2,S₃＝3,S₄＝4,S₅＝2}序列，绘出位移矢量整体离散图，横轴为时间，纵轴为S_i，将这些离散点拟合成一条平滑曲线，如图2所示；然后以原点为起点，将相邻两个位移矢量区间等间隔划分为6个子区间，记为其中i∈1,2,3,4,5；

6)提取每个的值，如图3所示。根据的值，做以下实验，去模糊原理及整体思路如图4所示。

具体实验说明如下：

7)已知原始图像图5，模糊核函数矩阵为 共三十个，每一个 都是3×3的非奇异单应矩阵，由该模糊核函数得到模糊图像，如图6所示，原始图像与模糊图像的均方根误差RMS为40.673964；利用本发明，采用RL迭代算法，根据图4所示的去模糊思路，利用该模糊核函数对模糊图像进行去模糊，得到复原图像，如图7所示。实验实施过程中，设置迭代数为50次，最终原始图像与复原图像的均方根误差RMS为6.948017。

8)利用相同的模糊核函数得到模糊图像后，利用传统的RL算法复原模糊图像；得到复原结果图。

实验中，应用均方根误差RMS评价指标来评价去模糊结果的优劣，RMS定义为：

其中f为清晰图像，x为去模糊后的图像，M和N表示清晰图像f的像素行数和像素列数。RMS值越小，表示图像复原效果越好。

9)根据复原图像效果显示及与原始图像的均方根误差比较得出本发明具有较好的去模糊效果。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (1)

1.一种提高基于光电联合变换相关器的图像去模糊精度方法，具体步骤如下：

1)在一个低帧率高分辨率相机，积分曝光周期内，由另一台高速CCD相机所捕获的相邻的序列图像I_i(x,y-a)和I_i+1(x+Δx,y+a+Δy)并排输入到空间光调制器中，空间光调制器放置在傅里叶透镜的前焦平面上；

其中前帧图像I_i(x,y-a)为参考图像r(x,y)，图像I_i+1(x+Δx,y+a+Δy)为目标图像t(x,y)，a表示两幅图像在y方向上的间，Δx和Δy分别表示图像r(x,y)与图像t(x,y)的相对运动位移矢量；

2)使用准直的激光照射空间光调制器上的联合图像，联合图像将会显示在傅里叶透镜的前焦面上，并且在透镜的后焦平面产生联合功率谱；由功率谱相机捕获的联合功率谱可以表示为

|S(u,v)|²＝|R(u,v)|²+|T(u,v)|²+R(u,v)T^*(u,v)exp[-2iπuΔx-2iπv(2a+Δy)]+T(u,v)R^*(u,v)exp[2iπuΔx+2iπv(2a+Δy)] (4)

其中S(U，V)，R(U，V)和T(U，V)分别代表联合输入图像S(x，y)，参考图像r(x，y)和目标图像t(x，y)的傅里叶变换；(U，V)表示傅里叶平面上的空间频率坐标；它们与实际空间坐标(x，y)的关系是x＝λfu和y＝λfv，其中λ和f分别表示激光的工作波长和傅里叶透镜的焦距；

3)将联合功率谱再次输入到空间光调制器中，通过傅立叶透镜变换后得到的相关输出c(x，y)如下式表示：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>c</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>&amp;delta;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mn>2</mn> <mi>a</mi> <mo>+</mo> <mi>&amp;Delta;</mi> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>t</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>r</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mi>&amp;delta;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mi>&amp;Delta;</mi> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>-</mo> <mn>2</mn> <mi>a</mi> <mo>-</mo> <mi>&amp;Delta;</mi> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>

表示相关操作，公式(5)的第三和第四项包含互相关峰的位置信息；

4)通过质心搜索算法，得到互相关峰的真实位置坐标，当前帧和下一帧之间的相对位移P_iP_i+1(x,y)，由下式给出：

P_iP_i+1(x,y)＝p_i+1(x,y)-p(x,y) (6)

其中p_i(x,y)和p_i+1(x,y)表示两个互相关峰的坐标位置，P_iP_i+1(x,y)表示相对位移向量；

5)不断用目标图像t(x,y)更换参考图像r(x,y)，重复步骤1)～4)在低帧率高分辨率相机曝光时间内获得一系列相对图像位移{P_iP_i+1(x,y)}序列，记为{S₁..S_i..S_N}；由于相对运动引起图像平面的投影变换，设定{H₁..H_i..H_N}是3×3的非奇异单应矩阵序列，用{H₁..H_i..H_N}序列对应相对图像位移序列{S₁..S_i..S_N}，每个H_i(i∈1,2,...,N)表示相邻两幅图像平面之间的投影变换映射；其中高速相机在低帧率高分辨率CCD相机曝光时间内所拍摄的图像数为N+1幅；

6)对第5步中获得的{H₁..H_i..H_N}中的每个位移矢量H_i分别进行运动路径再估计；根据{H₁..H_i..H_N}绘出位移矢量整体离散图，横轴为时间，纵轴为H_i，将离散点拟合成一条平滑曲线，然后以原点为起点，将相邻两个位移矢量区间等间隔划分为m个子区间，则相邻的两个位移矢量之间可得到一个子序列设为子运动矢量，每个子运动矢量对应于一个单应矩阵，用序列表示子运动矢量序列对应的矩阵序列，且有其中(i∈1,2,...,N；k∈1,2,...,m)表示第i个位移矢量的第k个子运动矢量；

7)对第六步中得到的序列反序求逆得到N×m个单应矩阵，用序列刻画复原运动路径；

8)按下面公式计算预测模糊图像B'^t：

<mrow> <msup> <mi>B</mi> <mrow> <mo>&amp;prime;</mo> <mi>t</mi> </mrow> </msup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mi>m</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mi>N</mi> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mi>m</mi> </mrow> </munderover> <msup> <mi>I</mi> <mi>t</mi> </msup> <mrow> <mo>(</mo> <msubsup> <mi>h</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mi>x</mi> <mo>)</mo> </mrow> </mrow>

其中N表示相对位移矢量个数，m表示每个位移矢量划分个数，t是迭代次数，x表示3×1维的像素矢量坐标；

9)根据上面得到的预测模糊图像，按下面公式计算迭代t次后的残差：

<mrow> <msup> <mi>E</mi> <mi>t</mi> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>B</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> <mrow> <msup> <mi>B</mi> <mrow> <mo>&amp;prime;</mo> <mi>t</mi> </mrow> </msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>

其中B(x)是模糊图像，B^'t(x)是迭代t次后的预测模糊图像；

10)利用残差，按下面公式进行图像复原迭代计算：

<mrow> <msup> <mi>I</mi> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msup> <mo>=</mo> <msup> <mi>I</mi> <mi>t</mi> </msup> <mo>&amp;times;</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mi>m</mi> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>i</mi> <mo>=</mo> <mi>N</mi> <mo>,</mo> <mi>k</mi> <mo>=</mo> <mi>m</mi> </mrow> </munderover> <msup> <mi>E</mi> <mi>t</mi> </msup> <mrow> <mo>(</mo> <msup> <mrow> <mo>(</mo> <msubsup> <mi>h</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mi>x</mi> <mo>)</mo> </mrow> </mrow>

11)设置迭代次数t，根据N，m，重复执行步骤8-10，直到最终获得满意的去模糊效果图。