CN102073993B - 一种基于摄像机自标定的抖动视频去模糊方法和装置 - Google Patents

Abstract

本发明提出一种基于摄像机自标定的抖动视频去模糊方法和装置，其中，该方包括以下步骤：A.计算模糊图像的初始点扩散函数和去模糊图像；B.对去模糊图像进行自标定以得到摄像机内、外参数；C.根据去模糊图像和内、外参数计算深度图；D.根据初始点扩散函数和深度图估计所述摄像机的帧内运动；E.根据概率模型优化帧内运动和所述去模糊图像，得到最终的帧内运动和去模糊图像；F.循环A到E得到抖动视频的去模糊视频。该方法通过摄像机自标定技术实现深度相关的视频图像序列的去模糊，从而使视频图像序列获得了更好的去模糊效果，同时提高了图像去模糊效率。

Description

一种基于摄像机自标定的抖动视频去模糊方法和装置

技术领域

本发明涉及计算机视觉及数字视频图像处理领域，特别涉及一种基于摄像机自标定的抖动视频去模糊方法和装置。

背景技术

抖动视频的去模糊是一种视频图像处理技术。随着摄像设备的发展，各种摄像器材的价格大幅度降低，个人摄像设备和各种手持摄像设备大量普及，造成视频图像数据的大量出现。而由于拍摄时摄像机的运动造成的图像模糊成为降低视频图像质量主要因素之一，因此，许多图像去模糊算法被提出，以用于修复模糊的图像。现有的算法大多采用空间一致点扩散函数假设，即假设图像上所有点的模糊核是相同的。然而，事实上图像上各个点的点扩散函数是与摄像机在曝光时间内的运动以及该点处对应景物的深度有关的。一个极端的例子是在无穷远的景物并不会因为摄像机的平移运动而变得模糊。因此，采用全局一致点扩散函数必然会使得具有较大深度范围的图像中某些区域的去模糊效果不佳，甚至会造成深度变化剧烈的边缘区域出现振铃现象。因此，如何能够对视频图像，尤其对抖动视频图像去模糊，并且如何使图像的去模糊效果更好已经成为当今社会亟待解决的问题。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

本发明是针对现有抖动视频去模糊方法的去模糊效果不佳，而提出的一种基于摄像机自标定的抖动视频图像去模糊方法和装置。

为达到上述目的，本发明一方面提出一种基于摄像机自标定的抖动视频图像去模糊方法，包括以下步骤：A.根据盲解卷积算法计算所述抖动视频中模糊图像的初始点扩散函数和去模糊图像；B.对所述去模糊图像进行自标定以得到摄像机内、外参数；C.根据所述去模糊图像和所述摄像机内、外参数计算所述去模糊图像的深度图像；D.根据所述初始点扩散函数和所述深度图像估计所述摄像机的帧内运动；E.根据概率模型优化所述帧内运动和所述去模糊图像，以得到最终的帧内运动和最终去模糊图像；以及F.循环执行A到E直至所述抖动视频的所有帧图像处理完成，得到所述抖动视频的去模糊视频。

在本发明的实施例中，所述步骤A进一步包括：对所述模糊图像进行下采样以减小所述模糊图像的模糊度；根据卷积核的稀疏约束条件，采用Richardson-Lucy算法对所述模糊图像进行盲解卷积运算，以得到所述去模糊图像和卷积核；对所述卷积核进行上采样，并以所述卷积核作为初始值对所述模糊图像进行盲解卷积运算，以得到优化后的模糊图像和卷积核。

在本发明的实施例中，所述步骤B进一步包括：根据高斯滤波方程对所述去模糊图像进行滤波，以得到去噪图像；根据KLT特征点跟踪算法检测所述去噪图像的特征点；采用基于绝对对偶二次曲面的摄像机自标定算法标定所述去噪图像的内、外参数。

在本发明的实施例中，所述步骤C进一步包括：根据置信传播算法和所述去模糊图像的相邻前后两帧图像计算所述去模糊图像的初始深度图；采用均值漂移算法对所述去模糊图像进行颜色分割，以根据分割信息对所述初始深度图进行拟合；采用捆集调整算法对所述初始深度图进行优化，以确保深度的一致性。

在本发明的实施例中，所述步骤D进一步包括：D1.根据所述初始点扩散函数估计所述摄像机在曝光时间内的运动；D2.根据所述摄像机在所述曝光时间内的运动和所述深度图像得到所述去模糊图像的像素点的点扩散函数；D3.循环执行步骤D1到步骤D2直至完成对所述去模糊图像中的每个像素点的操作，得到初始摄像机帧内运动。

在本发明的实施例中，所述步骤E进一步包括：E1.根据所述去模糊图像的梯度和噪声的先验分布建立贝叶斯概率模型；E2.采用置信传播算法对去模糊图像进行优化；E3.采用Levenberg-Marquard算法对所述帧内运动进行优化；E4.循环执行步骤E2和步骤E3预定次数，以得到最终的摄像机运动模型和最终去模糊图像。

在本发明的实施例中，所述根据高斯滤波方程对所述去模糊图像进行滤波，其中，所述高斯滤波方程为：

$w(x,y)={\mathrm{Ae}}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}^2}},$

其中，w为所述去噪图像，x，y为所述去噪图像的坐标，A为所述高斯滤波方程的归一化系数，σ为所述高斯滤波方程的标准差。

在本发明的实施例中，所述贝叶斯概率模型为：

p(I_l，E(t)，D|I_b)∝p(I_b|I_l，E(t)，D)p(E(t)|I_l，D)p(I_l，D)，

其中，I_l为所述最终去模糊图像，E(t)为t时刻所述摄像机的帧内运动参数，D为所述深度图像的深度信息，I_b为所述模糊图像。

本发明另一方面提出一种基于摄像机自标定的抖动视频图像去模糊装置，包括：计算模块，用于根据盲解卷积算法计算模糊图像的初始点扩散函数和去模糊图像；标定模块，用于对所述去模糊图像进行自标定以得到摄像机内、外参数；深度图像生成模块，用于根据所述去模糊图像和所述摄像机内、外参数计算所述去模糊图像的深度图像；帧内运动生成模块，用于根据所述初始点扩散函数和所述深度图像估计所述摄像机的帧内运动；以及优化模块，用于根据概率模型优化所述帧内运动和所述去模糊图像，以得到最终的帧内运动和最终去模糊图像。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于摄像机自标定的抖动视频去模糊方法的流程图；以及

图2为本发明实施例的基于摄像机自标定的抖动视频去模糊装置的结构图。

具体实施方式

下面详细描述本发明的全部实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明是针对现有方法对具有较大深度范围图像的去模糊效果不佳而提出的一种基于摄像机自标定的抖动视频去模糊方法和装置。为了对本发明实施例的方法有更加清楚的理解，以下就结合附图对本发明实施例的方法和装置的工作流程和工作原理做详细描述。

如图1所示，为本发明实施例的基于摄像机自标定的抖动视频去模糊方法的流程图。在本发明的具体实施例中，该方法包括以下步骤：

步骤S101，A.根据盲解卷积算法计算模糊图像的初始点扩散函数和去模糊图像。

具体地，在本发明的一个实施例中，首先对该模糊图像进行下采样，目的在于降低该模糊图像的模糊度，并且为接下来运用盲解卷积算法处理该图像降低难度。接着，在对该图像进行去模糊后，采用Richardson-Lucy算法对该模糊图像进行盲解卷积运算，从而得到该模糊图像的去模糊后的图像和卷积核，这里需要说明的是，在运用盲解卷积求得该卷积核时，前提为对卷积核应用稀疏约束这一约束条件，即：该模糊图像上的每个像素点是有对应清晰图像周围像素中的一部分加权相加得到的。

步骤S102，B.对所述去模糊图像进行自标定以得到摄像机内、外参数。

具体地，在本发明的一个实施例中，1、首先，使用高斯滤波方程对该去模糊后的图像进行滤波以减少图像噪声对接下来进行的摄像机自标定方法的影响，更为具体地，该高斯滤波方程为：

$w(x,y)={\mathrm{Ae}}^{-\left(\frac{x^2+y^2}{2{\mathrm{\σ}}^2}\right)},$

在该方程中，w为所述去噪图像，x，y为所述去噪图像的坐标，A为所述高斯滤波方程的归一化系数，σ为所述高斯滤波方程的标准差，通过该方程对该去模糊图像进行去噪处理。

2、接着，采用KLT特征点跟踪算法检测该去噪图像的特征点并跟踪该去噪图像中的特征点。

3、然后采用ransac算法对该去噪图像和它前后各一帧图像的基本矩阵进行鲁棒估计，并将估计过程中被归为外点的特征点删除，因为这些匹配特征点不满足计算得到的基本矩阵描述的对极几何约束，所以被认为是错误匹配点。

4、随后，根据3中得到的鲁棒特征点匹配关系对该去噪图像进行射影重构，重构过程更为详细的的步骤为：首先确定两幅初始化视图，建立世界坐标系，然后根据三角投影关系重建得到匹配特征点对应的3维空间坐标，并且循环加入新图片，直至所有图片都加入到射影重构中，从而对图像场景进行了重构。

5、采用线性标定算法直接标定出射影空间到度量重建的变换矩阵。将绝对对偶二次曲面Ω^*分解为SS^T，其中S为4×3的辅助矩阵，这样可以根据K＝PS将对内参矩阵K的线性约束转化为对S的线性约束，理论上可以证明SS^T得到的Ω^*具有正定性，并且其秩为3。

6、对S补一列列向量，使得得到的4阶方阵可逆，该方阵的逆，就是可以将该射影重建变换的一个度量重建的变换矩阵。

7、对变换得到的度量重建意义下的摄像机投影矩阵，进行RQ分解，分别得到摄像机的内参矩阵K和拍摄各帧图像是摄像机的旋转矩阵R平移向量T并计算得到摄像机的本质矩阵E＝[t]_×R(其中包含摄像机的全部姿态信息)，完成摄像机自标定。在本发明的一个优选实施例中，所述摄像机的内参数为5个，外参数为6个。

步骤S103，C.根据所述去模糊图像和所述摄像机内、外参数计算所述去模糊图像的深度图像。

具体地，在本发明的一个实施例中，首先采用置信传播算法和该去模糊图像的相邻前后两帧图像计算改去模糊图像的初始深度图。接着采用均值漂移算法对该去模糊图像进行颜色分割，并且根据分割信息对该去模糊图像所对应的初始深度图进行拟合。最后，为了确保各帧图像的深度具有一致性，在本发明的具体实施例中采用捆集调整算法对所有去模糊图像的深度图像进行联合优化。

步骤S104，D.根据所述初始点扩散函数和所述深度图像估计所述摄像机的帧内运动。

具体地，在本发明的一个实施例中，该步骤S104包括：

步骤1，根据步骤S101中得到的初始全局点扩散函数估计该摄像机在曝光时间内的运动；

步骤2，根据该摄像机在步骤1中得到的曝光时间内的运动和步骤S103中得到的深度图像得到对应去模糊图像的每个像素点的点扩散函数，和初始全局点扩散函数相比较，每个像素点的点扩散函数更为准确。

步骤3，循环执行步骤1到步骤2直至完成对该去模糊图像中的每个像素点的操作，得到初始摄像机在本帧内的运动。

更为具体地，点扩散函数上可以看作去模糊图像上每个像素点在三维场景中的对应点随着曝光时间内摄像机的运动在CCD成像平面上所成的像的运动轨迹。可以记为x′＝PSF(x，d，t)，其中，x表示该点在去模糊图像上的像素坐标，d表示该点对应深度，t表示时间，x′表示在t时刻去模糊图像上像素坐标为x，深度为d在摄像机成像平面上所成的像的像素坐标。根据摄像机投影模型，可以用增量法由初始点扩散函数求得对应的摄像机在t时刻运动参数。其中，在本发明的优选实施例中，该投影模型为小孔成像模型。当然，本领域技术人员知道，该小孔成像模型仅作为本发明一个实施例的一个具体应用，也可以使用其它投影模型，如：正交成像模型，仿射投影模型等，这些基于本发明思想的变换和改动都应列为本发明的保护范围。

首先，在去模糊图像上选取周围纹理丰富的特征点(可选择SIFT特征向量模值较大的点)作为参考点，在本发明的优选实施例中，参考点的数目大于等于9个。

接着，根据之前得到的初始点扩散函数，假设t时刻的坐标为x′，令Δx＝x′- x，可以根据如下方程求得该时刻摄像机相对于去模糊图像对应的摄像机姿态E的增量ΔE：

x′^TΔEx＝-Δx^TEx，

采用RANSAC算法利用上式即可求得摄像机在t时刻的相对运动参数的增量ΔE。

最后，采用SVD分解算法，将摄像机在t时刻的实际运动参数E′＝E+ΔE分解得到旋转矩阵R和平移向量T。

步骤S 105，E.根据概率模型优化所述帧内运动和所述去模糊图像，以得到最终的帧内运动和最终去模糊图像。具体地，在本发明的一个实施例中，步骤S105包括以下步骤：

步骤1，根据该去模糊图像的梯度和噪声的先验分布建立贝叶斯概率模型；

步骤2，根据步骤1中得到的贝叶斯概率模型采用置信传播算法对该去模糊图像进行优化；

步骤3，根据所述贝叶斯概率模型采用Levenberg-Marquard算法对该帧内运动进行优化；

步骤4，循环执行步骤2和步骤3预定次数，从而得到最终的摄像机运动模型和最终去模糊图像。

更为具体地，根据该去模糊图像的梯度和噪声的先验分布建立贝叶斯概率模型。其中，该贝叶斯概率模型的表示形式如下式所示：p(I_l，E(t)，D|I_b)∝p(I_b|I_l，E(t)，D)p(E(t)|I_l，D)p(I_l，D)1)

在该贝叶斯概率模型中，I_l为所述最终去模糊图像，E(t)为t时刻所述摄像机的帧内运动参数，D为所述深度图像的深度信息，I_b为所述模糊图像。1)式中左式(p(I_l，E(t)，D|I_b))表示在给定模糊图像I_b的条件下待求清晰图像，摄像机帧内运动和场景深度概率分布，根据最大后验准则，要求该1)式取得最大化，为了方便计算，对1)式取负对数。右式(p(I_b|I_l，E(t)，D)p(E(t)|I_l，D)p(I_l，D))中第一项p(I_b|I_l，E(t)，D)定义为：

$-\log \left(p\left(I_b\right|I_l,E\left(t\right),D)\right)=\underset{x}{\mathrm{\Σ}}{\left|\right|I_b-I_r\left|\right|}^2,$

上式中

其中， $x^{\′}=K\left[R\left(t\right)\right|T\left(t\right)]\left[\begin{array}{c}x\\ d\\ 1\end{array}\right].$ 由于摄像机的运动E(t)和I_l，D相互独立，故上式右端第二项p(E(t)|I_l，D)变为p(E(t))，实际中可假定均匀分布，即可忽略该项的影响。上式右端第三项p(I_l，D)为深度约束，可分解如下：

-log(p(I_l，D))＝-log(p(D|I_l))-log(p(I_l))，

其中-log(p(D|I_l))是深度图能量函数，可以使用深度图求解算法对其进行优化，-log(p(I_l))表示图像梯度的先验概率分布，是分段函数具有如下形式：

$-\log \left(p\left(I_l\right)\right)=\underset{x}{\mathrm{\&Sigma;}}\left\{\begin{array}{c}k\frac{\&PartialD;I_l}{\&PartialD;x},\frac{{\&PartialD;I}_l}{\&PartialD;x}<l_t\\ -(a{\left(\frac{\&PartialD;I_l}{\&PartialD;x}\right)}^2+b),\frac{{\&PartialD;I}_l}{\&PartialD;x}>l_t\end{array}\right.,$

其中，k，a，b表示先验分布的参数，对于一般图像可以取k＝0.5～5，a＝1×10^-4～1×10^-3，b＝1～10；

采用置信传播算法对去模糊图像进行优化I_l；

采用Levenberg-Marquard算法对摄像机帧间运动参数进行优化；

循环迭代上两步操作，收敛得到最终的摄像机运动模型和去模糊图像。

步骤S106，F.循环执行A到E直至所述抖动视频的所有帧图像处理完成，得到所述抖动视频的去模糊视频。

本发明的另一方面还提出一种基于摄像机自标定的抖动视频去模糊装置，如图2所示，为本发明实施例的基于摄像机自标定的抖动视频去模糊装置的结构图。在本发明的具体实施例中，该基于摄像机自标定的抖动视频去模糊装置200包括计算模块201、标定模块202、深度图像生成模块203、帧内运动生成模块204和优化模块205。其中，计算模块201的作用为根据盲解卷积算法计算模糊图像的初始点扩散函数和去模糊图像，标定模块202的作用为对所述去模糊图像进行自标定以得到摄像机内、外参数，深度图像生成模块203的作用为根据所述去模糊图像和所述摄像机内、外参数计算所述去模糊图像的深度图像，帧内运动生成模块204的作用为根据所述初始点扩散函数和所述深度图像估计所述摄像机的帧内运动，优化模块205的作用为根据概率模型优化所述帧内运动和所述去模糊图像，以得到最终的帧内运动和最终去模糊图像。

具体地，在本发明的一个实施例中，计算模块201首先对所述模糊图像进行下采样以减小所述模糊图像的模糊度，然后根据卷积核的稀疏约束条件，采用Richardson-Lucy算法对所述模糊图像进行盲解卷积运算，以得到所述去模糊图像和卷积核，最后对所述卷积核进行上采样，并以所述卷积核作为初始值对所述模糊图像进行盲解卷积运算，以得到优化后的模糊图像和卷积核。

在本发明的一个实施例中，标定模块202首先根据高斯滤波方程对所述去模糊图像进行滤波，以得到去噪图像，然后根据KLT特征点跟踪算法检测所述去噪图像的特征点，最后采用基于绝对对偶二次曲面的摄像机自标定算法标定所述去噪图像的内、外参数。

在本发明的一个实施例中，深度图像生成模块203首先根据置信传播算法和所述去模糊图像的相邻前后两帧图像计算所述去模糊图像的初始深度图，然后采用均值漂移算法对所述去模糊图像进行颜色分割，以根据分割信息对所述初始深度图进行拟合，最后采用捆集调整算法对所述初始深度图进行优化，以确保深度的一致性。

在本发明的一个实施例中，帧内运动生成模块204包括步骤1，根据所述初始点扩散函数估计所述摄像机在曝光时间内的运动，步骤2，根据所述摄像机在所述曝光时间内的运动和所述深度图像得到所述去模糊图像的像素点的点扩散函数，步骤3，循环执行步骤1到步骤2直至完成对所述去模糊图像中的每个像素点的操作，得到初始摄像机帧内运动。

在本发明的一个实施例中，优化模块205包括步骤1，根据所述去模糊图像的梯度和噪声的先验分布建立贝叶斯概率模型，步骤2，根据所述贝叶斯概率模型采用置信传播算法对去模糊图像进行优化，步骤3，根据所述贝叶斯概率模型采用Levenberg-Marquard算法对所述帧内运动进行优化，步骤4，循环执行步骤2和步骤3预定次数，以得到最终的摄像机运动模型和最终去模糊图像。

通过本发明实施例提出的基于摄像机自标定的抖动视频去模糊方法和装置，该方法通过摄像机自标定技术标定摄像机参数，进而求得深度图像，并根据图像中的各个像素点的三维坐标和摄像机的运动计算每个像素点各自的点扩散函数，从而实现了深度相关的视频图像去模糊，相比于以往依据整个帧图像全局点扩散函数的方法去模糊相比有更加好的趋模糊效果，并且该方法实现简单，该装置易于操作。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (14)

1.一种基于摄像机自标定的抖动视频去模糊方法，其特征在于，包括以下步骤：

A.根据盲解卷积算法计算所述抖动视频中模糊图像的初始点扩散函数和去模糊图像；

B.对所述去模糊图像进行自标定以得到摄像机内、外参数；

C.根据所述去模糊图像和所述摄像机内、外参数计算所述去模糊图像的深度图像；

D.根据所述初始点扩散函数和所述深度图像估计所述摄像机的帧内运动；

E.根据概率模型优化所述帧内运动和所述去模糊图像，以得到最终的帧内运动和最终去模糊图像；以及

F.循环执行A到E直至所述抖动视频的所有帧图像处理完成，得到所述抖动视频的去模糊视频。

2.如权利要求1所述的基于摄像机自标定的抖动视频去模糊方法，其特征在于，所述步骤A进一步包括：

对所述模糊图像进行下采样以减小所述模糊图像的模糊度；

根据卷积核的稀疏约束条件，采用Richardson-Lucy算法对所述模糊图像进行盲解卷积运算，以得到所述去模糊图像和卷积核；

对所述卷积核进行上采样，并以所述卷积核作为初始值对所述模糊图像进行盲解卷积运算，以得到优化后的模糊图像和卷积核。

3.如权利要求1所述的基于摄像机自标定的抖动视频去模糊方法，其特征在于，所述步骤B进一步包括：

根据高斯滤波方程对所述去模糊图像进行滤波，以得到去噪图像；

根据KLT特征点跟踪算法检测所述去噪图像的特征点；

采用基于绝对对偶二次曲面的摄像机自标定算法标定所述摄像机的内、外参数。

4.如权利要求1所述的基于摄像机自标定的抖动视频去模糊方法，其特征在于，所述步骤C进一步包括：

根据置信传播算法和所述去模糊图像的相邻前后两帧图像计算所述去模糊图像的初始深度图；

采用均值漂移算法对所述去模糊图像进行颜色分割，以根据分割信息对所述初始深度图进行拟合；

采用捆集调整算法对所述初始深度图进行优化。

5.如权利要求1所述的基于摄像机自标定的抖动视频去模糊方法，其特征在于，所述步骤D进一步包括：

D1.根据所述初始点扩散函数估计所述摄像机在曝光时间内的运动；

D2.根据所述摄像机在所述曝光时间内的运动和所述深度图像得到所述去模糊图像的像素点的点扩散函数；

D3.循环执行步骤D1到步骤D2直至完成对所述去模糊图像中的每个像素点的操作，得到初始摄像机帧内运动。

6.如权利要求1所述的基于摄像机自标定的抖动视频去模糊方法，其特征在于，所述步骤E进一步包括：

E1.根据所述去模糊图像的梯度和噪声的先验分布建立贝叶斯概率模型；

E2.根据所述贝叶斯概率模型采用置信传播算法对去模糊图像进行优化；

E3.根据所述贝叶斯概率模型采用Levenberg-Marquardt算法对所述帧内运动进行优化；

E4.循环执行步骤E2和步骤E3预定次数，以得到最终的摄像机运动模型和最终去模糊图像。

7.如权利要求3所述的基于摄像机自标定的抖动视频去模糊方法，其特征在于，所述根据高斯滤波方程对所述去模糊图像进行滤波，其中，所述高斯滤波方程为：

$w(x,y)={\mathrm{Ae}}^{-\frac{(x^2+y^2)}{2{\mathrm{\&sigma;}}^2}},$

其中，w为所述去噪图像，x，y为所述去噪图像的坐标，A为所述高斯滤波方程的归一化系数，σ为所述高斯滤波方程的标准差。

8.如权利要求6所述的基于摄像机自标定的抖动视频去模糊方法，其特征在于，所述贝叶斯概率模型为：

p(I_l，E(t)，D|I_b)∝p(I_b|I_l，E(t)，D)p(E(t)|I_l，D)p(I_l，D)，

其中，I_l为所述最终去模糊图像，E(t)为t时刻所述摄像机的帧内运动参数，D为所述深度图像的深度信息，I_b为所述模糊图像。

9.一种基于摄像机自标定的抖动视频去模糊装置，其特征在于，包括：

计算模块，用于根据盲解卷积算法计算所述抖动视频中模糊图像的初始点扩散函数和去模糊图像；

标定模块，用于对所述去模糊图像进行自标定以得到摄像机内、外参数；

深度图像生成模块，用于根据所述去模糊图像和所述摄像机内、外参数计算所述去模糊图像的深度图像；

帧内运动生成模块，用于根据所述初始点扩散函数和所述深度图像估计所述摄像机的帧内运动；以及

优化模块，用于根据概率模型优化所述帧内运动和所述去模糊图像，以得到最终的帧内运动和最终去模糊图像。

10.如权利要求9所述的基于摄像机自标定的抖动视频去模糊装置，其特征在于，所述计算模块对所述模糊图像进行下采样以减小所述模糊图像的模糊度，并根据卷积核的稀疏约束条件，采用Richardson-Lucy算法对所述模糊图像进行盲解卷积运算，以得到所述去模糊图像和卷积核，以及对所述卷积核进行上采样，并以所述卷积核作为初始值对所述模糊图像进行盲解卷积运算，以得到优化后的模糊图像和卷积核。

11.如权利要求9所述的基于摄像机自标定的抖动视频去模糊装置，其特征在于，所述标定模块根据高斯滤波方程对所述去模糊图像进行滤波，以得到去噪图像，并根据KLT特征点跟踪算法检测所述去噪图像的特征点，以及采用基于绝对对偶二次曲面的摄像机自标定算法标定所述摄像机的内、外参数。

12.如权利要求9所述的基于摄像机自标定的抖动视频去模糊装置，其特征在于，所述深度图像生成模块根据置信传播算法和所述去模糊图像的相邻前后两帧图像计算所述去模糊图像的初始深度图，并采用均值漂移算法对所述去模糊图像进行颜色分割，以根据分割信息对所述初始深度图进行拟合，以及采用捆集调整算法对所述初始深度图进行优化，以确保深度的一致性。

13.如权利要求9所述的基于摄像机自标定的抖动视频去模糊装置，其特征在于，所述帧内运动生成模块根据所述初始点扩散函数估计所述摄像机在曝光时间内的运动，并根据所述摄像机在所述曝光时间内的运动和所述深度图像得到所述去模糊图像的像素点的点扩散函数；以及循环执行直至完成对所述去模糊图像中的每个像素点的操作，得到初始摄像机帧内运动。

14.如权利要求9所述的基于摄像机自标定的抖动视频去模糊装置，其特征在于，所述优化模块的执行包括如下步骤：

步骤1，根据所述去模糊图像的梯度和噪声的先验分布建立贝叶斯概率模型；

步骤2，根据所述贝叶斯概率模型采用置信传播算法对去模糊图像进行优化；

步骤3，根据所述贝叶斯概率模型采用Levenberg-Marquardt算法对所述帧内运动进行优化；

步骤4，循环执行步骤2和步骤3预定次数，以得到最终的摄像机运动模型和最终去模糊图像。

Images