CN110121016B - 一种基于双重曝光先验的视频去模糊方法及装置 - Google Patents

Abstract

本发明提供一种基于双重曝光先验的视频去模糊方法及装置，其中，该方法包括以下步骤：(A)设计相机的双重曝光模式，获取“长‑短”曝光帧连续交替的视频；(B)对所获取视频中的短曝光帧进行亮度拉伸；(C)设定双重曝光先验项，构建长曝光模糊帧的去模糊总体方程；(D)采用半二次***法对长曝光帧去模糊方程进行求解，得到模糊核；(E)采用非盲解卷积算法对长曝光模糊帧进行复原，恢复出去模糊的长曝光帧；(F)循环执行步骤B到E直至所有的长曝光帧处理完成，得到最终去模糊后的清晰视频。该方法可以准确估计出模糊核，最终恢复的视频图像序列具有较好视觉效果，并且显著提高了视频去模糊的效率。

Description

一种基于双重曝光先验的视频去模糊方法及装置

技术领域

本发明涉及数字图像处理领域，尤其是一种基于双重曝光先验的视频去模糊方法及装置。

背景技术

视频图像是人们获取客观世界信息的重要途径。然而在相机成像曝光时间内，由于相机的抖动或者物体的快速运动，导致获取到的视频存在运动模糊现象，给视频图像内容分析与应用带来了极大困难。

视频去模糊是图像复原问题中的重要课题之一，视频去模糊可以利用图像去模糊算法逐帧进行复原，如单张图像和多张图像去模糊方法。单张图像去模糊方法通常利用各种自然图像先验信息作为去模糊方程的约束项，如自然图像梯度稀疏先验，并采用多尺度方法迭代求解，保证模糊核估计的收敛性。但是，由于模糊过程丢失了部分信息，单张图片去模糊算法可利用信息较少，难以准确估计模糊核，从而导致最终图像去模糊效果较差。多张图像去模糊算法通过结合多张不同模糊图片信息，理论上可以得到更好的去模糊结果。然而，由于在多张图像去模糊过程中，通常需要对多张图片进行像素级融合操作，使得去模糊结果受到多张图片对齐效果的影响，从而导致去模糊结果容易出现失败的情况。由于忽略了视频中时序信息上的关联性，因此，现有单张或多张图像去模糊方法在视频去模糊问题上难以取得令人满意的效果。

此外，现有去模糊算法大部分是从后期图像处理算法角度出发，未考虑相机前端获取因素，忽略了曝光时间对模糊的影响，难以有效解决复杂的模糊问题。由模糊过程可知，影响物体模糊程度的一个重要因素是曝光时间。缩短曝光时间，虽然会使图像亮度不足、噪音增加，但同时也可以获取到边缘轮廓清晰的无运动模糊图像。因此，可以在长曝光模糊图像去模糊的过程中利用短曝光图像作为辅助信息，达到更好的去模糊效果。

为了解决现有去模糊方法中存在的模糊核难以准确估计、去模糊结果受对齐算法限制、模糊方程求解效率低等问题，本发明提出一种基于双重曝光先验的视频去模糊方法及装置，通过控制视频中每一帧的曝光时间，在相机抖动导致长曝光帧出现运动模糊时，缩短相机曝光时间以获得边缘轮廓清晰的无运动模糊的短曝光帧。利用长、短曝光图像设定L2范式的双重曝光先验项，加入到去模糊优化方程中，避免多张图像在像素级上进行融合操作，准确估计出模糊核，恢复清晰视频图像，并提高算法的运行效率。

发明内容

为了克服现有技术中上述问题，本发明提供一种基于双重曝光先验的视频去模糊方法及装置。

一方面，本发明提出一种基于双重曝光先验的视频去模糊方法，其特征在于包括以下步骤：

S1)设计相机的双重曝光模式，即设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；

S2)对所获取的视频中的短曝光帧进行预处理，根据与当前的短曝光帧相邻的长曝光帧的灰度值，对短曝光帧进行亮度拉伸，获得拉伸的短曝光帧：

x_s＝x₀×(E_y/E₀)

其中，x₀为原始的短曝光帧，x_s为拉伸后的短曝光帧，E_y为长曝光帧的灰度均值，E₀为短曝光帧的灰度均值；

S3)对所获取的视频中的长曝光帧进行去模糊，设定双重曝光先验项，构建长曝光模糊帧的去模糊方程，包括：

S301)利用与当前的长曝光帧相邻的拉伸的短曝光帧作为辅助信息，设定双重曝光先验对潜在清晰图像进行约束：

其中，x为潜在清晰图像，x_s为拉伸的短曝光帧，

为潜在清晰图像的梯度，

为拉伸后的短曝光帧的梯度。由于拉伸后的短曝光帧的噪音仍然为高斯噪音，并且基于最大后验概率的求解方法能够有效处理高斯噪音，因此采用L2范式的正则化先验项

对图像噪音进行建模；另外，加入图像在梯度上的正则化先验项

以约束图像噪音使其满足空间分布随机性；

S302)利用双重曝光先验项，构建长曝光模糊帧的去模糊总体方程：

其中，x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ和γ是权重因子；

S4)采用半二次***法对去模糊总体方程进行求解，将其分解为清晰图像子问题和模糊核子问题，包括：

S401)求解清晰图像子问题：

其中x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ是权重因子；

S402)求解模糊核子问题：

其中，

分别代表潜在清晰图像的梯度、长曝光模糊帧的梯度和模糊核；γ是权重因子；

迭代求解所述子问题，得到长曝光模糊帧的模糊核；

S5)根据求得的模糊核，采用基于超拉普拉斯先验的非盲解卷积算法对长曝光模糊帧进行复原，得到去模糊的长曝光帧；

S6)循环执行步骤S2到S5直至所有的长曝光帧处理完成，得到去模糊后的清晰视频

另一方面，本发明提出一种基于双重曝光先验的视频去模糊装置，包括：长-短曝光视频获取模块，用于将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；亮度拉伸模块，用于对所获取的视频中的短曝光帧进行亮度拉伸；设定先验构建去模糊方程模块，用于设定双重曝光先验项，构建长曝光模糊帧的去模糊方程；迭代优化模块，采用半二次性***方法，迭代求解子问题，得到长曝光帧的模糊核；非盲解卷积复原模块，利用所述的模糊核，采用非盲解卷积算法对长曝光模糊帧进行复原，得到去模糊的长曝光帧。

本发明的有益效果包括：本发明考虑到曝光时间对运动模糊的影响，获取到“长-短”曝光帧连续交替的视频，设定L2范式的双重曝光先验，构建去模糊总体方程，采用半二次***方法求解，得到子问题的闭式解，最终准确估计出模糊核，恢复清晰视频图像。本发明方法设定的双重曝光先验保证了模糊核求解的准确性和鲁棒性，并且不受多张图片对齐结果的影响。另外，加入L2范式双重曝光先验的去模糊方程，可以通过半二次***法求得闭式解，并通过快速傅里叶变换进行加速，提高了去模糊问题求解的准确性和效率。

附图说明

图1是根据本发明的一个实施例的基于双重曝光先验的视频去模糊方法的流程图；

图2是根据本发明的一个实施例的相机曝光时间控制信号的示意图；

图3是根据本发明的一个实施例的一种基于双重曝光先验的视频去模糊装置的结构示意图。

图4(a)和4(b)是根据本发明的测试的真实长曝光模糊帧与复原后的清晰帧对照图；

具体实施方式

以下结合附图对本发明作进一步说明。

本发明针对相机抖动造成的运动模糊问题，提出一种基于双重曝光先验的视频去模糊方法，通过控制视频每一帧的曝光时间，在相机抖动导致正常的长曝光帧出现运动模糊时，缩短相机曝光时间以获得边缘轮廓清晰的无运动模糊的短曝光帧。利用长曝光帧和短曝光帧设定L2范式的双重曝光先验项，构建长曝光模糊帧的去模糊总体方程，采用半二次***方法求解，迭代优化清晰图像子问题和模糊核子问题。根据求解得到的模糊核，对长曝光模糊帧采用基于超拉普拉斯先验的非盲解卷积算法进行复原，得到去模糊结果，恢复出清晰视频。

如图1所示，根据本发明的一个实施例的基于双重曝光先验的视频去模糊方法的具体流程图包括：

S1：设计相机的双重曝光模式，即设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；

具体地，为了获取到长曝光帧和短曝光帧连续交替的视频，相机的曝光时间控制信号如图2所示，高电平信号宽度决定视频中每一帧的曝光时间；为保证长曝光帧具有足够的亮度，长曝光帧的曝光时间值设置与自动曝光时间值相同；为保证短曝光帧边缘轮廓清晰并且无运动模糊，将短曝光帧的曝光时间值设置为低于安全快门时间的值。

S2：对所获取的视频中的短曝光帧进行亮度拉伸；

具体地，分别计算当前的短曝光模糊帧和与之相邻的长曝光帧的灰度均值，并将短曝光帧的亮度拉伸到和长曝光帧相同的亮度水平：

x_s＝x₀×(E_y/E₀) (1)

其中，x₀为原始的短曝光帧，x_s为拉伸后的短曝光帧，E_y为长曝光帧的灰度均，E₀为短曝光帧的灰度均值；

S3：设定双重曝光先验项，构建长曝光模糊帧的去模糊方程，包括：

S301：利用与当前长曝光帧相邻的拉伸后的短曝光帧，设定双重曝光先验项为：

其中，x为潜在清晰图像，x_s为拉伸后的短曝光帧，

为潜在清晰图像的梯度，

为拉伸后的短曝光帧的梯度；由于拉伸后的短曝光帧的噪音仍然为高斯噪音，并且基于最大后验概率的求解方法能够有效处理高斯噪音，因此采用L2范式的正则化先验项

对图像噪音进行建模；另外，加入图像在梯度上的正则化先验项

以约束图像噪音使其满足空间分布随机性。

S302：利用双重曝光先验，为长曝光模糊帧构建去模糊总体方程：

其中，x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ和γ是权重因子，本实施例中λ＝2，γ＝2。

S4:采用半二次性***迭代方法，将去模糊总体方程求解问题转化为迭代求解清晰图像子问题(4)和模糊核子问题(5)，包括：

S401：求解清晰图像子问题：

由于双重曝光先验项采用L2范式形式，因此子问题(4)为最小二乘问题，可以采用快速傅里叶变换直接求得闭式解：

其中，

和

分别代表快速傅里叶变换和快速傅里叶逆变换；

代表

的复数共轭运算；

和

分别代表垂直和水平差分；

S402：求解模糊核子问题：

由于梯度域内求解模糊核更加准确，因此模糊核求解方程转化为：

类似地，可以在频率域采用快速傅里叶变换求解最小二乘问题(6)：

其中，对于模糊核k中小于0的值置零并归一化；迭代求解清晰图像子问题(4)和模糊核子问题(6)，得到当前长曝光帧的模糊核k。

具体地，在本实施例中，模糊核k的尺寸大小设置为61x61像素，清晰图像子问题和模糊核子问题的迭代求解次数在本实施例中设置为5；

S5：根据S4中求解得到的模糊核k，对长曝光模糊帧采用基于超拉普拉斯先验的非盲解卷积算法进行复原，得到去模糊的长曝光帧。

S6:循环执行步骤S1到S5直至所有的长曝光帧处理完成，得到最终去模糊的清晰视频。

本发明还提出一种基于双重曝光先验的视频去模糊装置，如图3，是本发明一个实施例的基于双重曝光先验的视频去模糊装置的结构示意图。在本发明的具体实施例中，该基于双重曝光先验的视频去模糊装置300包括长-短曝光视频获取模块301、亮度拉伸模块302、设定先验构建去模糊方程模块303、迭代优化模块304和非盲解卷积复原模块305。各个模块的作用如下：

长-短曝光视频获取模块301：设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；

亮度拉伸模块302：分别计算当前的短曝光模糊帧和与之相邻的长曝光帧的灰度均值，并将短曝光帧的亮度拉伸到和长曝光帧相同的亮度水平；

设定先验构建去模糊方程模块303：利用与当前长曝光帧相邻的拉伸后的短曝光帧，设定双重曝光先验项为：

其中，x为潜在清晰图像，x_s为拉伸后的短曝光帧，

为潜在清晰图像的梯度，

为拉伸后的短曝光帧的梯度；

利用所述的双重曝光先验项，构建长曝光模糊帧的去模糊总体方程：

其中，x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ和γ是权重因子；

迭代优化模块304：采用半二次***方法将所述的去模糊总体方程分解为清晰图像子问题和模糊核子问题，迭代求解所述子问题，得到当前的长曝光模糊帧的模糊核k；

非盲解卷积复原模块305：利用所述的模糊核k，采用基于超拉普拉斯先验的非盲解卷积算法对当前的长曝光模糊帧进行复原，得到清晰的长曝光帧。

如图4(a)和图4(b)显示了根据本发明的该基于双重曝光先验的视频去模糊方法的去模糊效果，其中，图4(a)为真实采集视频中的长曝光模糊帧，图4(b)是图4(a)的图经过根据本发明的基于双重曝光先验的视频去模糊方法去模糊之后的结果。从图中可以明显地看出复原效果比较理想。由于图像模糊程度较大，现有去模糊算法难以有效处理。本发明方法利用长、短曝光图像，设定L2范式的双重曝光先验项，构建去模糊总体方程，避免了多张图像像素级融合操作，可以准确估计出模糊核，恢复出清晰视频，提高了去模糊算法的运行效率。

以上公开的仅为本发明的具体实施例。在不脱离本发明的权利要求范围的前提下，本领域的技术人员，根据本发明提供的基本技术构思，能够进行各种相应的变化、修正。

Claims (2)

1.一种基于双重曝光先验的视频去模糊方法，其特征在于包括以下步骤：

S1)设计相机的双重曝光模式，即设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；

S2)对所获取的视频中的短曝光帧进行预处理，根据与当前的短曝光帧相邻长曝光帧的灰度值，对短曝光帧进行亮度拉伸，获得拉伸的短曝光帧；

S3)对所获取的视频中的长曝光帧进行去模糊，设定双重曝光先验项，构建长曝光模糊帧的去模糊总体方程，包括：

S301)利用与当前的长曝光帧相邻的拉伸的短曝光帧作为辅助信息，设定双重曝光先验对潜在清晰图像进行约束：

其中，x为潜在清晰图像，x_s为拉伸的短曝光帧，

为潜在清晰图像的梯度，

为拉伸后的短曝光帧的梯度，由于拉伸后的短曝光帧的噪音仍然为高斯噪音，并且基于最大后验概率的求解方法能够有效处理高斯噪音，因此采用L2范式的正则化先验项

对图像噪音进行建模；另外，加入图像在梯度上的正则化先验项

以约束图像噪音使其满足空间分布随机性；

S302)利用双重曝光先验项，构建长曝光模糊帧的去模糊总体方程：

其中，x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ和γ是权重因子；

S4)采用半二次***法对去模糊总体方程进行求解，将其分解为清晰图像子问题和模糊核子问题，包括：

S401)求解清晰图像子问题：

其中x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ是权重因子；

S402)求解模糊核子问题：

其中，

k分别代表潜在清晰图像的梯度、长曝光模糊帧的梯度和模糊核；γ是权重因子；

迭代求解所述子问题，得到长曝光模糊帧的模糊核；

S5)根据求得的模糊核，采用基于超拉普拉斯先验的非盲解卷积算法对长曝光模糊帧进行复原，得到去模糊的长曝光帧；

S6)循环执行步骤S2到S5直至所有的长曝光帧处理完成，得到最终去模糊后的清晰视频。

2.一种基于双重曝光先验的视频去模糊装置，其特征在于，包括：

长-短曝光视频获取模块：用于设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；

亮度拉伸模块：用于对所获取的视频中的短曝光帧进行亮度拉伸，分别计算当前的短曝光模糊帧和与之相邻的长曝光帧的灰度均值，将短曝光帧的亮度拉伸到和长曝光帧相同的亮度水平；

设定先验构建去模糊方程模块：利用与当前长曝光帧相邻的拉伸后的短曝光帧，设定双重曝光先验项：

其中，x为潜在清晰图像，x_s为拉伸后的短曝光帧，

为潜在清晰图像的梯度，

为拉伸后的短曝光帧的梯度；

利用所述的双重曝光先验项，构建长曝光模糊帧的去模糊总体方程：

其中，x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ和γ是权重因子；

迭代优化模块：采用半二次***方法将所述的去模糊总体方程分解为清晰图像子问题和模糊核子问题，迭代优化求解所述子问题，得到长曝光模糊帧的模糊核；

非盲解卷积复原模块：利用所述的模糊核，采用基于超拉普拉斯先验的非盲解卷积算法对长曝光模糊帧进行复原，得到去模糊的长曝光帧。

Images