CN102752484B - 一种快速非全局一致图像抖动模糊去除算法及其*** - Google Patents

Abstract

本发明提出了一种快速非全局一致图像抖动模糊去除算法及其***，该***包括固定于三轴转台上的相机，投影仪，分光镜和屏幕。该方法包括如下步骤：搭建本发明的快速非全局一致图像抖动模糊去除***；建立图像模糊模型，控制三轴转台在相机曝光时间内作伺服运动；对相机拍摄得到的模糊图像进行校正；利用图像非盲去模糊算法进行迭代计算，计算更新清晰图像。本发明的快速非全局一致图像抖动模糊去除***通过控制相机在曝光时间内的运动，模拟真实相机采集图像时的模糊过程，在很短的时间内获得清晰图像在给定相机运动轨迹下的模糊图像。本发明的快速非全局一致图像抖动模糊去除方法用三维旋转运动模型快速实现了对整个全局非一致图像非盲去模糊。

Description

一种快速非全局一致图像抖动模糊去除算法及其***

技术领域

本发明涉及计算摄像学技术领域，特别涉及一种快速非全局一致图像抖动模糊去除算法及其***。

背景技术

由于相机抖动造成的图像模糊是造成拍摄图像质量下降的重要原因。随着数字摄像设备的发展，数码摄像器材的大量普及，由于这些消费级摄像器材大多缺乏效果良好却十分昂贵的光学防抖动装置,同时使用这类摄像器材的消费者一般不具备很好的摄像专业知识，因而造成大量的图片由于拍摄时的不慎操作而发生模糊。

目前，有一类去除图像模糊的方法是图像非盲去模糊算法，这类方法是指应用模糊核估计算法估计得到模糊图像的模糊核后根据该模糊核和模糊图像估计清晰图像的方法。这类算法大多假设图像具有全局一致的模糊核，以达到降低计算复杂度的目的，这是由于在图像非盲去模糊算法中一般采用迭代算法，而在每次迭代中需要对图像反复进行模糊操作，而这一步正是图像非盲去模糊算法的计算瓶颈，如果采用全局一致的模糊核假设模糊操作就可以采用FFT算法进行加速。然而实际上全局一致的模糊假设并不能很好的描述图像的模糊过程。由于相机的实际投影模型为透视投影，图像中各点的模糊核并不完全相同，尤其是对于焦距较短的相机，其模糊核在图像四周变化很大。但是，由于去模糊问题本身计算量极大，而采用全局不一致的模糊模型使得基于FFT的快速卷积方法无法应用于去模糊算法的迭代中，造成计算复杂度大幅提升，计算时间往往超出人们可以接受的范围。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种快速非全局一致图像抖动模糊去除算法及其***。

为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种快速非全局一致图像抖动模糊去除***，其包括：固定于三轴转台上的相机，投影仪，分光镜和屏幕，所述分光镜位于所述相机与所述屏幕之间，所述分光镜将所述投影仪的投射光线反射聚焦在所述屏幕上，所述相机与投影仪固连并通过所述分光镜使得投影仪和相机在三轴转台处于原始位置时有相同的视野。

本发明的快速非全局一致图像抖动模糊去除***通过控制相机在曝光时间内的运动，模拟真实相机采集图像时的模糊过程，在很短的时间内获得清晰图像在给定相机运动轨迹下的模糊图像。该模糊图像经过颜色和几何校正后作为去模糊算法的中间结果代入算法中去，最终实现快速的全局模糊核不一致的图像去模糊。

为了实现本发明的上述目的，根据本发明的另一个方面，本发明提供了一种快速非全局一致图像抖动模糊去除方法，其包括如下步骤：

S1：搭建本发明所述的一种快速非全局一致图像抖动模糊去除***；

S2：建立图像模糊模型，控制三轴转台在相机曝光时间内作伺服运动；

S3：对相机拍摄得到的模糊图像进行校正；

S4：利用图像非盲去模糊算法进行迭代计算，计算更新清晰图像。

本发明的快速非全局一致图像抖动模糊去除方法用三维旋转运动模型近似相机的六维运动，利用包括投影仪和三轴转台的快速非全局一致图像抖动模糊去除***，快速实现了对整个全局非一致图像非盲去模糊。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一种优选实施方式中快速非全局一致图像抖动模糊去除***的光路示意图；

图2是本发明所采用的三轴转台的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明提供了一种快速非全局一致图像抖动模糊去除***，其包括固定于三轴转台上的相机，投影仪，分光镜和屏幕，该分光镜位于相机与屏幕之间，分光镜将投影仪的投射光线反射聚焦在屏幕上，相机与投影仪固连并通过分光镜使得投影仪和相机在三轴转台处于原始位置时有相同的视野。

本发明由包括一台投影仪、一台相机和一台三轴转台的光学计算***实现清晰图像在给定相机运动轨迹下的模糊图像的快速计算，结合图1和图2所示，相机固定于三轴转台之上，三轴转台为高精度三轴转台，该三轴转台能够实现三个自由度方向的任意旋转运动，三轴转台旋转运动时的角度间隔最小值不大于0.005度，在本实施方式中，三轴转台旋转运动时的角度间隔为0.005度。三轴转台上的相机具有和拍摄待处理模糊图象的相机相同的设置，具体是包括焦距、光圈大小、CCD的感光设置等所有的成像参数都应一致。

在本实施方式中，投影仪和三轴转台固定于同一底座上，且通过分光镜使得当三轴转台位于原始位置时，固定于其上的相机和投影仪具有相同的视角。并且投影仪应精确聚焦在屏幕上，并保证相机在小角度运动时的屏幕始终位于彩色摄像机的景深范围只中，以避免由于散焦造成的模糊问题。在本实施方式中，三轴转台和相机的原始位置是指正对屏幕的位置，小角度是指相机从原始位置旋转正负5度形成的角度范围，即以原始位置为0度点，分别逆时针和顺时针旋转5度形成的角度范围。另外，相机还应具有变焦功能，并可以根据待去模糊图像的EXIF（Exchangeable image file format，可交换图像文件）信息设置其焦距，以保证其成像光路可以近似模糊图像采集时的真实光路。

本发明的快速非全局一致图像抖动模糊去除***通过控制相机在曝光时间内的运动，模拟真实相机采集图像时的模糊过程，在很短的时间内能够获得清晰图像在给定相机运动轨迹下的模糊图像。

基于该快速非全局一致图像抖动模糊去除***，本发明还提供了一种快速非全局一致图像抖动模糊去除方法，其包括如下步骤：

S1：搭建本发明的一种快速非全局一致图像抖动模糊去除***；

S2：建立图像模糊模型，控制三轴转台在相机曝光时间内作伺服运动；

S3：对相机拍摄得到的模糊图像进行校正；

S4：利用图像非盲去模糊算法进行迭代计算，计算更新清晰图像。

本发明快速非全局一致图像抖动模糊去除方法的具体步骤为：

第一步：搭建本发明的一种快速非全局一致图像抖动模糊去除***。

第二步：建立图像模糊模型，控制三轴转台在相机曝光时间内作伺服运动。

相机运动具有六个自由度，包括三个旋转自由度和三个平移自由度，这可以由惯性导航元件测量得到或是由相机运动估计算法从模糊图像中估计得到，由于相机的平移运动对图像模糊贡献不大，因此为了简便可直接忽略运动中的平移分量，将相机的六维运动简化为三维旋转运动。在本实施方式中，相机的运动模型，即图像模糊模型采用三维旋转运动模型，也就是假定相机在曝光时间内只发生绕光心的旋转运动，该三维旋转运动模型为：

x'(t)＝KR(t)K^-1x

$R\left(t\right)=\exp \left\{\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_Z& {\mathrm{\θ}}_Y\\ {\mathrm{\θ}}_Z& 0& -{\mathrm{\θ}}_X\\ -{\mathrm{\θ}}_Y& {\mathrm{\θ}}_X& 0\end{array}\right]\right\}$

其中，x为清晰图象中的一个点的齐次图像坐标，

x'(t)为清晰图象中的点x在t时刻时在CCD成像上对应点的位置，

K为相机的内参矩阵，

R(t)为相机的旋转矩阵，可以由相机绕三个轴的旋转运动参数[θ_X θ_Y θ_Z]计算得到，其随着时间变化并在三维空间中连成一条轨迹。显然清晰图像中的一个点由于相机的在曝光时间内的运动而变为一条线，即发生模糊。

在本实施方式中，设置相机运动轨迹，该运动轨迹为已知的相机三维运动，可通过惯性导航元件测量得到或是由相机运动估计算法从模糊图像中估计得到。同时控制三轴转台在相机曝光时间内做伺服运动，控制相机的曝光时间，使得相机在三轴转台运动至运动轨迹的起点时开始曝光，并在三轴转台运动至运动轨迹的终点时结束曝光，以拍摄得到清晰图像在已知运动轨迹下的模糊的图像。在这个过程中，还要同时调节控制投影仪的亮度，从而避免拍摄得到的模糊图象过曝。

第三步：对相机拍摄得到的模糊图像进行校正。在本实施方式中，对相机拍摄得到的模糊图像进行的校正包括亮度校正、几何校正和颜色校正，使相机在原始位置拍摄到的图像与输入到投影仪的图像在亮度、几何位置和颜色上完全一致。具体是：

亮度校正：在本发明的一种优选实施方式中，通过调整图像的亮度分布直方图，使得相机在原始位置拍摄到的图像和输入到投影仪的图像具有相同的亮度分布。在本发明的另一种优选实施方式中，通过调整相机的曝光时间，使得相机在原始位置拍摄到的图像和输入到投影仪的图像具有相同的亮度水平。

几何校正：通过几何校正，保证相机在原始位置拍摄到的图像和输入到投影仪图像在几何位置上完全一致，也就是说，两幅图像的对应像素位于图像中的同一位置。几何校正用来去除由于投影仪、屏幕和相机摆放位置误差导致的图像的几何畸变。具体的过程是通过检测拍摄图像的中的角点，并将其和输入的清晰图像作匹配，利用这些对应点计算两幅图像之间的单应性变换矩阵H，利用该单应性变换矩阵H可以对拍摄图像进行几何校正，具体做法为，校正图像的每一像素点的值可以由下式计算得到：

I'(x)=I(x')

x'=Hx

其中，I'为校正图像，

      I为观测得到的模糊图象，

      x为校正图像上的像素坐标向量，

      x'为观测得到的模糊图像上对应的的像素坐标向量。

在本实施方式中，可以采用但不限于DLT算法计算两幅图像之间的单应性变换矩阵H。

颜色校正：分别计算采集得到模糊图象以及输入清晰图像的R、G、B三个通道的均值，求得对应通道采集得到输入清晰图像和模糊图象均值的比值，并将采集的模糊图象的对应通道均乘以该比值，使得采集得到的模糊图象和输入清晰图像具有完全形同的颜色均值。通过颜色校正，保证相机在原始位置拍摄到的图像和输入到投影仪图像在颜色上完全一致，也就是说，两幅图像的对应像素位具有完全一致的颜色值。

第四步：利用图像非盲去模糊算法进行迭代计算，计算更新清晰图像。

具体包括如下步骤:

S41：将待处理模糊图象作为初始清晰图像；

S42：将清晰图像输入投影仪，并将其投影在屏幕上;

S43：三轴转台带动相机在曝光时间内按照已知的模糊运动参数进行运动，采集当前输入清晰图像在已知运动下的模糊图像;

S44：将模糊图像带入图像非盲去模糊算法,计算更新清晰图像，在本实施方式中，可以采用但不限于Richards on-Lucy算法计算更新清晰图像；

S45：将步骤S44得到的更新清晰图像作为清晰图像重复步骤S42至步骤S44，直至输入投影仪的清晰图像与得到的更新清晰图像的区别小于误差范围，则退出。

本发明采用包括投影仪、三轴转台和布置于转台上的相机的光学计算***模拟计算清晰图像在已知三维旋转运动下的模糊图像。所得到的模糊图像通过亮度、几何和颜色校正后带入非全局一致非盲图像去模糊算法中，根据算法迭代更新清晰图像，并将更新得到的清晰图像输入投影仪，作为光学计算***的输入，重新计算更新模糊图像，快速实现了对整个全局非一致图像非盲去模糊。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种快速非全局一致图像抖动模糊去除***，其特征在于，包括：固定于三轴转台上的相机，投影仪，分光镜和屏幕，所述分光镜位于所述相机与所述屏幕之间，所述分光镜将所述投影仪的投射光线反射聚焦在所述屏幕上，所述相机与投影仪固连并通过所述分光镜使得投影仪和相机在三轴转台处于原始位置时具有相同的视野，

其中，所述三轴转台能够实现三个自由度方向的任意旋转运动，所述三轴转台旋转运动时的角度间隔最小值不大于0.005度，

当所述相机在小角度运动时，所述屏幕始终位于相机的景深范围中，所述小角度是指相机从原始位置旋转正负5度形成的角度范围

所述快速非全局一致图像抖动模糊去除***建立图像模糊模型，控制三轴转台在相机曝光时间内作伺服运动，并对所述相机拍摄得到的模糊图像进行校正，再利用图像非盲去模糊算法进行迭代计算，以计算更新清晰图像。

2.如权利要求1所述的快速非全局一致图像抖动模糊去除***，其特征在于，所述相机具有变焦功能，并可以根据待去模糊图像的EXIF信息设置其焦距。

3.一种快速非全局一致图像抖动模糊去除方法，其特征在于，包括如下步骤：

S1：搭建权利要求1或2所述的快速非全局一致图像抖动模糊去除***；

S2：建立图像模糊模型，控制三轴转台在相机曝光时间内作伺服运动；

S3：对相机拍摄得到的模糊图像进行校正；

S4：利用图像非盲去模糊算法进行迭代计算，计算更新清晰图像。

4.如权利要求3所述的快速非全局一致图像抖动模糊去除方法，其特征在于，在所述步骤S2中，所述图像模糊模型为三维旋转运动模型。

5.如权利要求3所述的快速非全局一致图像抖动模糊去除方法，其特征在于，在所述步骤S2中，设置相机运动轨迹，并控制相机的曝光时间，使得相机在三轴转台运动至运动轨迹的起点时开始曝光，并在三轴转台运动至运动轨迹的终点时结束曝光。

6.如权利要求3所述的快速非全局一致图像抖动模糊去除方法，其特征在于，在所述步骤S2中控制投影仪的亮度，避免相机拍摄得到的模糊图象过曝。

7.如权利要求3所述的快速非全局一致图像抖动模糊去除方法，其特征在 于，在所述步骤S3中，对所述相机拍摄得到的模糊图像进行的校正包括亮度校正、几何校正和颜色校正，使相机在原始位置拍摄到的图像与输入到投影仪的图像在亮度、几何位置和颜色上完全一致。

8.如权利要求3所述的快速非全局一致图像抖动模糊去除方法，其特征在于，所述步骤S4包括如下步骤：

S41：将待处理模糊图象作为初始清晰图像；

S42：将清晰图像输入投影仪，并将其投影在屏幕上；

S43：三轴转台带动相机在曝光时间内按照已知的模糊运动参数进行运动，采集当前输入清晰图像在已知运动下的模糊图像；

S44：将模糊图像带入图像非盲去模糊算法，计算更新清晰图像；

S45：将步骤S44得到的更新清晰图像作为清晰图像重复步骤S42至步骤S44，直至输入投影仪的清晰图像与得到的更新清晰图像的区别小于误差范围，则退出。