CN102254309B - 一种基于近红外图像的运动模糊图像去模糊方法和装置 - Google Patents

Abstract

本发明公开了一种运动模糊图像去模糊方法和装置，所述方法包括以下步骤：步骤1，获取场景的可见光模糊图像和近红外闪光图像；步骤2，在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应的区域作为选定区域；步骤3，基于所述选定区域的梯度信息，估计第一模糊核和第一清晰图像；步骤4，基于所述第一清晰图像得到第二模糊核；步骤5，基于所述第二模糊核，得到作为所述可见光模糊图像去模糊结果的第二清晰图像。本发明通过结合近红外闪光图像与可见光模糊图像的梯度相关性，对低光照条件下的可见光模糊图像进行快速、有效的去模糊复原，从而使得采集的图像能够更好地服务于各种应用。

Description

一种基于近红外图像的运动模糊图像去模糊方法和装置

技术领域

本发明涉及图像复原领域，尤其涉及一种基于近红外闪光图像辅助的运动模糊图像恢复方法和***。

背景技术

运动模糊是一种在成像过程中普遍存在的现象。位于例如快速行驶的汽车、飞机或其他飞行器上的相机，在拍摄图像的过程中由于拍摄对象相对于相机的速度过快或者拍摄过程中相机的抖动，使得拍摄的图像产生运动模糊，严重影响了获取图像的质量。实现运动模糊图像的复原，恢复原始的清晰图像，有利于获取更高分辨率的图像细节信息，这对于使用许多基于图像信息进行的后续处理的应用是非常必要的预处理过程。

在运动模糊的研究当中，通常假设得到的模糊图像服从以下成像模型：

$B=I\⊗K+n$

其中，B为获取的模糊图像，I为要恢复的清晰图像，K为模糊核，n为加性噪声。在该模型的定义中，模糊图像是由清晰图像与模糊核卷积，再加入噪声而产生的。

图像的去运动模糊的问题是在图像获取以后，通过一定的方法获取运动信息，从而最大可能的恢复原始的清晰图像。按照模糊核为已知或未知，图像去模糊通常可以分为非盲去卷积和盲去卷积两类。

非盲去卷积问题，即为模糊核已知或已通过其他方式求得，由图像去卷积估计清晰图像。传统的非盲去卷积方法使用维纳(Wiener)滤波恢复图像，对噪声的抑制作用比较差。1974年提出的理查森露西(Richardson-Lucy，RL)算法在图像恢复中应用广泛，但是随着迭代次数的增加，恢复图像的振铃效应变得较为严重，噪声的影响也随之增大。近年来，一些方法使用TV范数、自然图像梯度稀疏、小框架(Framelet)域变换系数稀疏等作为约束进行图像恢复。由于成像过程中的运动模糊会造成图像的高频信息丢失，而该问题并不是简单的可逆过程，同时模糊核的频域零点使得图像噪声被放大，并在图像的边缘等不连续处产生严重的振铃效应。因此，使用现有方法对图像去卷积的结果往往难以令人满意。

在实际的运动去模糊问题中，模糊核通常是未知的，也就是盲去卷积问题。这样的图像恢复工作一般可以分成两步来完成：一是运动模糊核的估计；二是根据估计的模糊核的图像去卷积。模糊核的估计方法包括基于单幅图像、两幅图像或多帧图像的运动信息获取。基于单幅图像的运动去模糊是较为欠定的问题，通常是通过分析模糊图像和清晰图像的特点，将得到其分布情况的先验信息作为约束条件添加到图像恢复过程中。为使获取的信息更为丰富，大量的研究开始针对多幅图像，以获取更佳的恢复结果，例如：采用同一场景的两幅运动模糊图像，采用一幅运动模糊和一幅低曝光高噪声图像组合，以及采用一个快速CCD和一个慢速CCD同时获取图像等方式。此类方法连续对场景进行拍摄，要求场景是静态的，并且对图像的对准有很高要求，而模糊图像的对准是较为困难的，即使手动调整也很难实现较为精确的对准。

近年来，由于近红外图像具备可以获得清晰而丰富的边缘和纹理信息等特点，而在图像复原等领域受到广泛关注。低光照环境下，由于光线不足使得可见光相机曝光时间加长，导致可能存在较为严重的相机抖动模糊，而使用近红外闪光得到的近红外图像则可明显缩短曝光时间，从而得到清晰的图像。同时，由于近红外为不可见光，闪光不会对被拍摄事物造成影响，也不会影响可见光模糊图像的采集，因而二者可以同时拍摄。

对于快速行驶的汽车及飞机等载体上的拍摄问题，拍摄对象相对于相机的速度过快或者拍摄过程中的抖动，使得模糊核尺度较大且较为复杂，基于单幅图像进行图像恢复很难得到理想的结果。由于相机相对于场景的快速移动，对同一场景连续拍摄也是不易实现的。目前，还没有一种方法能够有效地解决上述问题。

发明内容

为了解决上述技术问题，本发明提供了一种基于近红外闪光图像的有效、鲁棒的运动模糊图像恢复方法。本发明的发明人注意到在低光照拍摄条件下、图像去模糊处理的模糊核尺度较大较复杂、且具有拍摄场景变化快的特点，这导致现有处理方法提出的***和算法无法被有效地应用。本发明利用混合相机采集***，从运动模糊的实际物理成像模型出发，提出了有效实用的模糊图像去模糊方法。

本发明提供了一种运动模糊图像去模糊方法，其特征在于，包括以下步骤：步骤1，获取场景的可见光模糊图像和近红外闪光图像，所述近红外闪光图像的曝光时长小于可见光的曝光时长；步骤2，在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为所述可见光模糊图像的选定区域；步骤3，基于所述选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于所述第一模糊核得到所述选定区域中的可见光模糊图像去模糊后的第一清晰图像；步骤4，基于所述第一清晰图像来约束所述第一模糊核的空间稀疏性，以得到第二模糊核；步骤5，基于所述第二模糊核，得到作为所述可见光模糊图像去模糊结果的第二清晰图像。

进一步，该方法还包括：在所述步骤1中，利用分光镜将场景光分离为可见光和近红外光，分别由对应的图像采集器件获取以形成可见光模糊图像和近红外闪光图像。

进一步，该方法还包括：在所述步骤3中进一步包括以下步骤：步骤31，对选定区域中的可见光模糊图像和选定区域中的近红外闪光图像采用高斯下采样的方法，构建分辨率逐级降低的图像组，由最底层的图像开始逐级处理；步骤32，计算当前层近红外闪光图像中包含边缘的区域的重要程度，标记出近红外闪光图像中大尺度边缘的位置信息；步骤33，基于当前层近红外闪光图像的大尺度边缘的位置信息计算当前层的近红外闪光图像的边缘梯度信息，将前次迭代运算得出的清晰图像作为初始清晰图像得出当前层的清晰图像的边缘梯度信，当前层为最底层且迭代运算为第一次时，选取最底层的可见光模糊图像作为初始清晰图像计算得出当前层的清晰图像的边缘梯度信；步骤34，基于当前层近红外闪光图像的边缘梯度信息和当前层清晰图像的边缘梯度信息估计当前层的模糊核；步骤35，基于得到的当前层的模糊核和当前层近红外闪光图像的边缘梯度信息，得出当前层可见光模糊图像的清晰图像；步骤36，若迭代次数未达到预设值，则将步骤35中得到清晰图像作为当前层的初始清晰图像返回步骤32进行迭代处理，反之，进入步骤37；步骤37，若当前层不是最高层，则将得到的当前层的清晰图像进行高斯上采样，其采样尺度选取与高斯下采样的尺度相同，得到的结果作为上一层的初始清晰图像，重复步骤32至步骤36，直至达到最高层，得到最高层图像的模糊核作为第一模糊核，得到最高层的清晰图像作为第一清晰图像。

进一步，该方法还包括：所述步骤34中，估计当前层的模糊核公式为：

$K^l=\underset{K}{\min }({\left|\right|\▿I_s^l\⊗K-\▿B^l\left|\right|}^2+{\mathrm{\λ}}_K{\left|\right|K\left|\right|}^2)$

其中，K^l为当前层的模糊核，为当前层清晰图像的边缘梯度信息，为当前层可见光模糊图像B^l的梯度信息，λ_K为预设权值。

进一步，该方法还包括：在所述步骤35中，得出当前层可见光模糊图像的清晰图像的公式为：

$I^l=\underset{I}{\min }({\left|\right|I\⊗K^l-B^l\left|\right|}^2+{\mathrm{\λ}}_N{\left|\right|\▿I-\▿N_s^l\left|\right|}^2)$

其中，I^l为当前层可见光模糊图像的清晰图像，K^l当前层的模糊核，B^l为当前层可见光模糊图像，为当前层近红外闪光图像的边缘梯度信息，为I的梯度，λ_N为预设权值。

进一步，该方法还包括：在所述步骤4中，计算所述第一清晰图像的边缘梯度信息；基于所述第一清晰图像的边缘梯度信息，由迭代支撑检测算法估计得出第二模糊核。

进一步，该方法还包括：估计第二模糊核的公式为：

$\hat{K}=\underset{K}{\min }({\left|\right|\▿I_s\⊗K-\▿B\left|\right|}^2+\mathrm{\γ}\underset{m\∈S}{\mathrm{\Σ}}|K_m\left|\right)$

其中，为第二模糊核，为第一清晰图像的边缘梯度信息，为可见光模糊图像的梯度信息，γ为预设权值，其是由Kⁿ中所有值小于一个预定值ε的像素点的坐标组成的集合，是Kⁿ的一个点，m表示Kⁿ中坐标。

进一步，该方法还包括：在所述步骤5中，标记出可见光模糊图像的高光区域及近红外闪光图像出现阴影和高光的区域，利用所述可见光模糊图像和近红外闪光图像得出对图像去模糊求解进行约束的权值系数；计算所获取的近红外闪光图像的边缘梯度信息，根据所述第二模糊核、所述近红外闪光图像的边缘梯度信息和所述权值系数，得出所述可见光模糊图像的第二清晰图像，公式如下：

其中，为第二清晰图像，为第二模糊核，为近红外闪光图像的边缘梯度信息，B为可见光模糊图像，λ_N、λ_I为预设权值，为I的梯度，M为对图像去模糊求解进行约束的权值系数。

本发明还提供了一种图像处理装置，其特征在于，包括以下单元：图像获取单元，其获取场景的可见光模糊图像和近红外闪光图像，所述近红外闪光图像的曝光时长小于可见光的曝光时长；区域选取单元，其在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为所述可见光模糊图像的选定区域；第一清晰图像生成单元，其基于所述选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于所述第一模糊核得到所述选定区域中的可见光模糊图像去模糊后的第一清晰图像；模糊核细化单元，其基于所述第一清晰图像来约束所述第一模糊核的空间稀疏性，以得到第二模糊核；第二清晰图像生成单元，其基于所述第二模糊核，得到作为所述可见光模糊图像去模糊结果的第二清晰图像。

与现有技术相比，本发明具有以下优点：

本发明通过结合近红外闪光图像与可见光模糊图像的梯度相关性，对低光照条件下的可见光模糊图像进行快速、有效的去模糊复原，从而使得采集的图像能够更好地服务于各种应用。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明实施例一的运动模糊图像恢复方法的流程图；

图2是根据本发明实施例一的运动模糊图像恢复方法中获得第一清晰图像的流程图；

图3为根据本发明实施例一所获取的场景在低光照条件下的可见光模糊图像和近红外图像对示例；

图4为使用现有运动模糊图像恢复方法对图3中的可见光模糊图像进行去模糊的结果示例；

图5为使用本发明实施例一的运动模糊图像恢复方法对图3中的可见光模糊图像进行去模糊的结果示例；

图6为根据本发明实施例二的图像处理装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

图1为根据本发明实施例一的运动模糊图像恢复方法的流程图，下面结合图1详细说明该方法的步骤。

步骤S110，获取场景的可见光模糊图像和近红外闪光图像。

在本实施例中，可见光模糊图像采集装置采集和红外图像采集装置来分别获取可见光模糊图像和近红外闪光图像。可以使用包含可见光相机和近红外相机的混合相机采集***来实现，也可以采用包含可见光模糊图像采集装置和红外图像采集装置的一体机来实现。例如，可以使用JAI的AD-080GE双CCD相机采集场景可见光模糊图像和近红外闪光图像对。

再详细地，例如可利用分光镜将场景光分离为可见光和近红外光，分别由已校准的用于采集可见光的电荷耦合器件(CCD)和用于采集近红外光的CCD，分别获取对齐的场景可见光模糊图像和近红外闪光图像对。在低光照的拍摄条件下，用于采集可见光的CCD的曝光时间较长，CCD和拍摄场景的相对运动会造成图像的模糊。在拍摄的过程中使用近红外波段的闪光灯，这样，用于采集近红外闪光图像的CCD的曝光时间会明显短于可见光的曝光时间，因而可得到更加清晰的图像。

步骤S120，在采集的近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在采集的可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为该可见光模糊图像的选定区域。

在本实施例中，首先选定一个不包含近红外闪光带来的阴影和高光的区域，作为近红外闪光图像的选定区域，对应的在采集的可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为该可见光模糊图像的选定区域。该两个选定区域的选定可以是人工选取，也可以由***自动选取。在后续步骤130中，操作均针对选定的两个选定区域进行，以估计模糊核。

步骤S130，基于选定区域中近红外闪光图像和可见光模糊图像的梯度信息，通过多尺度迭代方式估计模糊核，得到可见光模糊图像去模糊后的第一清晰图像。

在选定的选定区域中，针对相机与拍摄物体间相对运动带来的运动模糊成像模型，结合近红外闪光图像和可见光模糊图像的梯度信息，通过多尺度迭代来估计模糊核和可见光模糊图像去模糊后的第一清晰图像。优选的，如图2所示，得出第一清晰图像具体包括以下子步骤：

步骤S1301，将选定区域中的可见光模糊图像记为B，将选定区域中的近红外闪光图像记为N(此B和N的含义仅在步骤130及其子步骤中为选定区域的图像)，对B和N采用高斯下采样的方法，分别构建分辨率逐级降低的图像组，即分别构建图像的高斯金字塔和其中n为总采样级数，l为级序号，从最底层(l＝1)的图像开始逐级处理。

然后，从最底层具有最低分辨率的层(第1层)开始按下面的步骤进行处理。

步骤S1302，基于步骤S1301得到的第l层近红外闪光图像N^l计算近红外闪光图像中包含边缘的重要程度r(x)，公式可为如下：

$r\left(x\right)=\frac{\left|\right|{\mathrm{\Σ}}_{y\∈N_h^l\left(x\right)}\▿N^l\left(y\right)\left|\right|}{{\mathrm{\Σ}}_{y\∈N_h^l\left(x\right)}\left|\right|\▿N^l\left(y\right)\left|\right|+0.5}---\left(1\right)$

其中，x，y为像素坐标，为近红外闪光图像的梯度，||·||表示取范数，为以x为中心的h×h邻域，h×h为该尺度对应的模糊核大小。

对于选定区域中每一个像素点，都计算得到一个r值，根据r值的大小来定义用于标记近红外闪光图像中大尺度边缘的位置的矩阵M，公式如下：

$M=H(r,{\mathrm{\&tau;}}_r)=\left\{\begin{array}{c}1,r>{\mathrm{\&tau;}}_r\\ 0,r<{\mathrm{\&tau;}}_r\end{array}\right.---\left(2\right)$

其中，τ_r是一个预先设定的对比数值，函数H表示：r大于τ_r时，矩阵M在该点的值为1，r小于τ_r时，矩阵M在该点的值为0。

步骤S1303，将近红外闪光图像N^l经过Shock滤波器，只保留图像的大尺度边缘信息，得出滤波后的图像公式如下：

${\tilde{N}}^l=-\mathrm{sign}\left(\mathrm{\&Delta;}{N}^l\right)\left|\right|\&dtri;N^l\left|\right|---\left(3\right)$

其中，ΔN＝N_x ²N_xx+2N_xN_yN_xy+N_y ²N_yy，N_xx、N_yy、N_xy分别为图像的二阶偏导数，-sign(·)为符号函数(变量大于零，函数值为1，变量小于零，函数值为-1)。

计算当前层清晰图像的边缘梯度信息以及近红外闪光图像的边缘梯度信息用于模糊核的估计，计算公式如下：

$\&dtri;I_s^l=\&dtri;I^l\&CenterDot;H(M{\left|\right|\&dtri;{\tilde{N}}^l\left|\right|}^2,{\mathrm{\&tau;}}_s)---\left(4\right)$

$\&dtri;N_s^l=\&dtri;{\tilde{N}}^l\&CenterDot;H(M{\left|\right|\&dtri;{\tilde{N}}^l\left|\right|}^2,{\mathrm{\&tau;}}_s)---\left(5\right)$

其中τ_s为一个预先设定的对比数值，用于函数H的取值，I^l为前次迭代中得出的第l层估计的清晰图像，初始图像为B^l(即，最底层第一次计算时取B^l作为I^l)，为I^l梯度。

步骤S1304，基于当前层清晰图像的边缘梯度信息估计模糊核K^l，K^l为使下式最小值时K的取值，公式如下：

$K^l=\underset{K}{\min }({\left|\right|\&dtri;I_s^l\&CircleTimes;K-\&dtri;B^l\left|\right|}^2+{\mathrm{\&lambda;}}_K{\left|\right|K\left|\right|}^2)---\left(6\right)$

其中λ_K为权值，在具体实验中可以取10，是待处理模糊图像的梯度。

模糊核K^l的求解可转换到快速傅立叶变换(FFT)域内进行，公式如下：

$K^l=F^{-1}\left(\frac{\stackrel{\&OverBar;}{F\left({\&PartialD;}_x{I}_s^l\right)}F\left({\&PartialD;}_x{B}^l\right)+\stackrel{\&OverBar;}{F\left({\&PartialD;}_y{I}_s^l\right)}F\left({\&PartialD;}_y{B}^l\right)}{F{\left({\&PartialD;}_x{I}_s^l\right)}^2+F{\left({\&PartialD;}_y{I}_s^l\right)}^2+{\mathrm{\&lambda;}}_K}\right)---\left(7\right)$

其中，F(·)和F^-1(·)分别为FFT变换和FFT逆变换，表示取F(·)复共轭，和分别表示的x和y方向的梯度，和分别表示B^l的x和y方向的梯度。

步骤S1305，基于得到的模糊核K^l和近红外闪光图像的重要边缘信息估计清晰图像I^l。公式如下：

$I^l=\underset{I}{\min }({\left|\right|I\&CircleTimes;K^l-B^l\left|\right|}^2+{\mathrm{\&lambda;}}_N{\left|\right|\&dtri;I-\&dtri;N_s^l\left|\right|}^2)---\left(8\right)$

其中，上式表示将使得最小的I作为求解结果，为I的梯度，λ_N为预设权值。清晰图像I^l的求解可转换到FFT域内进行，公式如下：

$I^l=F^{-1}\left(\frac{\stackrel{\&OverBar;}{F\left(K^l\right)}F\left(B^l\right)+{\mathrm{\&lambda;}}_N(\stackrel{\&OverBar;}{F\left({\&PartialD;}_x\right)}F\left({\&PartialD;}_x{N}_s^l\right)+\stackrel{\&OverBar;}{F\left({\&PartialD;}_y\right)}F\left({\&PartialD;}_y{N}_s^l\right))}{\stackrel{\&OverBar;}{F\left(K^l\right)}F\left(K^l\right)+\stackrel{\&OverBar;}{F\left({\&PartialD;}_x\right)}F\left({\&PartialD;}_x{N}_s^l\right)+\stackrel{\&OverBar;}{F\left({\&PartialD;}_y\right)}F\left({\&PartialD;}_y{N}_s^l\right)}\right)---\left(9\right)$

其中， 和分别是对和进行傅里叶变换再取复共轭。

步骤S1306，若迭代次数未达到预设值，则将步骤1305中得到清晰图像I^l作为本层运算中步骤1303中公式(4)的清晰图像I^l，且使得τ_r＝0.9τ_r，τ_s＝0.9τ_s，返回步骤S1302进行迭代运算；反之，进入步骤S1307。

步骤S1307，若当前所处理的层为前述高斯金字塔的最高层(第n层)，则将清晰图像Iⁿ作为去模糊处理的结果，记为第一清晰图像；反之，将得到的清晰图像I^l进行高斯上采样，优选为采样尺度选取与前述步骤中的高斯下采样的尺度相同，将采样结果作为针对上一层(第l+1层)进行处理时的初始清晰图像I^l(公式4中的参数)，重复步骤S1302至S1306以处理上一层(第l+1层)。

综上，通过以上各子步骤至最高层n，可根据采集的可见光模糊图像和近红外闪光图像在选定区域中的图像获得选定区域的第一清晰图像Iⁿ和第一模糊核Kⁿ。

步骤140，基于第一清晰图像Iⁿ来约束第一模糊核Kⁿ(高斯金字塔最顶层估计的模糊核)的空间稀疏性，以得到细化后的第二模糊核。

对所述清晰图像进行空间稀疏性的约束，使得只有少数像素值较大，其它像素值都接近于零。

该步骤包括如下子步骤：

步骤S1401，基于步骤130所获取的第一清晰图像计算更新的边缘梯度信息；

针对第一清晰图像Iⁿ，计算其边缘梯度信息，记为针对近红外闪光图像N计算其边缘梯度信息，记为(此处N为原始采集的近红外闪光图像，后续步骤中的N含义与此相同，区别于先前步骤中的选定区域的近红外闪光图像N)。具体与步骤130相同。

步骤S1402，根据边缘梯度信息对第一模糊核进行细化，得到第二模糊核公式如下：

$\hat{K}=\underset{K}{\min }({\left|\right|\&dtri;I_s\&CircleTimes;K-\&dtri;B\left|\right|}^2+\mathrm{\&gamma;}\underset{m\&Element;S}{\mathrm{\&Sigma;}}|K_m\left|\right)---\left(10\right)$

其中，此式中B为原始采集的可见光模糊图像(后续步骤中的B含义与此相同，区别于先前步骤中的选定区域的可见光模糊图像B)，γ是一个预设权值，实验中取0.0003，其是由Kⁿ中值小于一个预定值ε的所有像素点的坐标组成的集合，是Kⁿ中的一个点，m是Kⁿ中的坐标，由Kⁿ中符合条件(小于ε)的坐标点组成的集合成为S。，该优化问题可由迭代支撑检测算法(IterativeSupportDetection，ISD)计算得到。

S150，基于第二模糊核估计作为可见光图像去模糊处理结果的第二清晰图像。

在本步骤中，优选的，由第二模糊核的估计结果第一清晰图像Iⁿ的边缘梯度信息和近红外闪光图像N的边缘梯度信息实现对采集的可见光模糊图像的去模糊处理，得到第二清晰图像作为最终的清晰图像估计结果。优选的，包括以下子步骤：

步骤S1501，标记出可见光模糊图像的高光区域M_B，公式如下：

$M_B\left(i\right)=\left\{\begin{array}{cc}1,& B\left(i\right)>0.95\max \left(B\right)\\ 0,& \mathrm{else}\end{array}\right.---\left(11\right)$

标记近红外闪光图像出现阴影和高光的区域M_N，公式如下：

$M_N\left(i\right)=\left\{\begin{array}{cc}1,& N\left(i\right)>0.95\max \left(N\right)\mathrm{or}(N\left(i\right)-B\left(i\right))<{\mathrm{\&tau;}}_{\mathrm{sland}}\\ 0,& \mathrm{else}\end{array}\right.---\left(12\right)$

其中，N(i)、B(i)分别表示图像N和B中像素i的亮度值，max(N)和max(B)分别表示图像N和B中的最大亮度值。

利用可见光模糊图像和近红外闪光图像得出对图像去模糊求解进行约束的权值系数M(i)，公式如下：

$M\left(i\right)=\left\{\begin{array}{cc}5,& M_B\left(i\right)=1\\ 0,& M_N\left(i\right)=1\\ 1,& \mathrm{else}\end{array}\right.---\left(13\right)$

步骤S1502，由第二模糊核的估计结果和近红外闪光图像的边缘梯度信息，实现图像去模糊，得出第二清晰图像公式如下：

其中，λ_N和λ_I为预先设定的权值，实验中，可取λ_N＝10，λ_I＝0.002。

在本步骤中，对于模糊图像的高光区域，可见光模糊图像的信息已经缺失，需要加大近红外闪光图像梯度信息的约束能力(即，M(i)＝5)；对于近红外闪光图像的阴影和高光区域，近红外闪光图像的梯度信息失效，则不再对图像去模糊过程进行约束(即，M(i)＝0)。

下面分别使用现有技术的图像增强方法和本实施例的图像增强方法对同一采集图像进行处理，通过比较增强后的图像，本实施例的优点将变得更加明显。

如图3所示，a和b为使用混合相机采集***得到的场景近红外闪光图像和可见光模糊图像对；如图4所示为使用现有技术的运动去模糊方法对图3的图像进行复原的结果图，图4a为图像去模糊结果，图4b为模糊核估计，图4c为局部放大图。如图5所示为使用本发明实施例的运动去模糊方法对图3的图像进行复原的结果图，图5a为图像去模糊结果，图5b为模糊核估计，图5c为局部放大图。。由图4和图5可见，使用本发明的运动模糊图像恢复方法得到的去模糊图像包含了更为丰富的纹理细节，且引入的人为误差更少。

实施例二

图6为根据本发明实施例二的图像处理装置的结构示意图，下面根据图6详细说明该装置的组成。

该装置包括以下各单元：

图像获取单元，其获取场景的可见光模糊图像和近红外闪光图像，该近红外闪光图像的曝光时长小于可见光的曝光时长。

区域选取单元，其在该近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为该可见光模糊图像的选定区域。

第一清晰图像生成单元，其基于该选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于该第一模糊核得到该选定区域中的可见光模糊图像去模糊后的第一清晰图像。

模糊核细化单元，其基于该第一清晰图像来约束该第一模糊核的空间稀疏性，以得到第二模糊核。

第二清晰图像生成单元，其基于该第二模糊核，得到作为该可见光模糊图像去模糊结果的第二清晰图像。

本***中的各单元同样可以用于实现实施例一中对应的各步骤的优选方案，在此不作详述。

本发明通过混合相机采集***，获得场景的近红外闪光图像和可见光模糊图像。特别针对低光照拍摄条件下可见光模糊图像发生运动模糊的问题，基于模糊图像的实际成像模型，利用近红外闪光图像清晰且丰富的边缘信息进行辅助，实现有效、鲁棒的运动模糊图像恢复。

本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (9)

1.一种运动模糊图像去模糊方法，其特征在于，包括以下步骤：

步骤1，获取场景的可见光模糊图像和近红外闪光图像，所述近红外闪光图像的曝光时长小于可见光的曝光时长；

步骤2，在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为所述可见光模糊图像的选定区域；

步骤3，基于所述选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于所述第一模糊核得到所述选定区域中的可见光模糊图像去模糊后的第一清晰图像；

步骤4，基于所述第一清晰图像来约束所述第一模糊核的空间稀疏性，以得到第二模糊核；

步骤5，基于所述第二模糊核，由原可见光模糊图像得到作为所述可见光模糊图像去模糊结果的第二清晰图像。

2.根据权利要求1所述的方法，其特征在于，在所述步骤1中，

利用分光镜将场景光分离为可见光和近红外光，分别由对应的图像采集器件获取以形成可见光模糊图像和近红外闪光图像。

3.根据权利要求1所述的方法，其特征在于，在所述步骤3中进一步包括以下步骤：

步骤31，对选定区域中的可见光模糊图像和选定区域中的近红外闪光图像采用高斯下采样的方法，构建分辨率逐级降低的图像组，由最底层的图像开始逐级处理；

步骤32，计算当前层近红外闪光图像中包含边缘的区域的重要程度，标记出近红外闪光图像中大尺度边缘的位置信息；

步骤33，基于当前层近红外闪光图像的大尺度边缘的位置信息计算当前层的近红外闪光图像的边缘梯度信息，将前次迭代运算得出的清晰图像作为初始清晰图像得出当前层的清晰图像的边缘梯度信，当前层为最底层且迭代运算为第一次时，选取最底层的可见光模糊图像作为初始清晰图像计算得出当前层的清晰图像的边缘梯度信；

步骤34，基于当前层近红外闪光图像的边缘梯度信息和当前层清晰图像的边缘梯度信息估计当前层的模糊核；

步骤35，基于得到的当前层的模糊核和当前层近红外闪光图像的边缘梯度信息，得出当前层可见光模糊图像的清晰图像；

步骤36，若迭代次数未达到预设值，则将步骤35中得到清晰图像作为当前层的初始清晰图像返回步骤32进行迭代处理，反之，进入步骤37；

步骤37，若当前层不是最高层，则将得到的当前层的清晰图像进行高斯上采样，其采样尺度选取与高斯下采样的尺度相同，得到的结果作为上一层的初始清晰图像，重复步骤32至步骤36，直至达到最高层，得到最高层图像的模糊核作为第一模糊核，得到最高层的清晰图像作为第一清晰图像。

4.根据权利要求3所述的方法，其特征在于，所述步骤34中，估计当前层的模糊核公式为：

$K^l=\underset{K}{min}\left(\right||\&dtri;I_s^l\&CircleTimes;K-\&dtri;B^l|{|}^2+{\mathrm{\&lambda;}}_K\left|\right|K\left|{|}^2\right)$

其中，K^l为当前层的模糊核，为当前层清晰图像的边缘梯度信息，为当前层可见光模糊图像B^l的梯度信息，λ_K为预设权值。

5.根据权利要求4所述的方法，其特征在于，在所述步骤35中，得出当前层可见光模糊图像的清晰图像的公式为：

$I^l=\underset{I}{min}\left(\right||I\&CircleTimes;K^l-B^l|{|}^2+{\mathrm{\&lambda;}}_N\left|\right|\&dtri;I-\&dtri;N_s^l\left|{|}^2\right)$

其中，I^l为当前层可见光模糊图像的清晰图像，K^l当前层的模糊核，B^l为当前层可见光模糊图像，为当前层近红外闪光图像的边缘梯度信息，为I的梯度，λ_N为预设权值。

6.根据权利要求1或2所述的方法，其特征在于，在所述步骤4中，

计算所述第一清晰图像的边缘梯度信息；

基于所述第一清晰图像的边缘梯度信息，由迭代支撑检测算法估计得出第二模糊核。

7.根据权利要求6所述的方法，其特征在于，估计第二模糊核的公式为：

$\hat{K}=\underset{K}{min}\left(\right||\&dtri;I_s\&CircleTimes;K-\&dtri;B|{|}^2+\mathrm{\&gamma;}\underset{m\&Element;S}{\&Sigma;}\left|K_m\right|)$

其中，为第二模糊核，为第一清晰图像的边缘梯度信息，为可见光模糊图像的梯度信息，γ为预设权值，其是由Kⁿ中所有值小于一个预定值ε的像素点的坐标组成的集合，是Kⁿ的一个点，m表示Kⁿ中坐标。

8.根据权利要求7所述的方法，其特征在于，在所述步骤5中，

标记出可见光模糊图像的高光区域及近红外闪光图像出现阴影和高光的区域，利用所述可见光模糊图像和近红外闪光图像得出对图像去模糊求解进行约束的权值系数；

计算所获取的近红外闪光图像的边缘梯度信息，根据所述第二模糊核、所述近红外闪光图像的边缘梯度信息和所述权值系数，得出所述可见光模糊图像的第二清晰图像，公式如下：

其中，为第二清晰图像，为第二模糊核，为近红外闪光图像的边缘梯度信息，B为可见光模糊图像，λ_N、λ_I为预设权值，为I的梯度，M为对图像去模糊求解进行约束的权值系数矩阵。

9.一种运动模糊图像去模糊装置，其特征在于，包括以下单元：

图像获取单元，其获取场景的可见光模糊图像和近红外闪光图像，所述近红外闪光图像的曝光时长小于可见光的曝光时长；

区域选取单元，其在所述近红外闪光图像中选取不包含由近红外闪光带来的阴影和高光区域作为选定区域，在可见光模糊图像中选取对应于近红外闪光图像的选定区域的区域作为所述可见光模糊图像的选定区域；

第一清晰图像生成单元，其基于所述选定区域中的近红外闪光图像和选定区域中的可见光模糊图像的梯度信息，通过多尺度迭代方式估计第一模糊核，基于所述第一模糊核得到所述选定区域中的可见光模糊图像去模糊后的第一清晰图像；

模糊核细化单元，其基于所述第一清晰图像来约束所述第一模糊核的空间稀疏性，以得到第二模糊核；

第二清晰图像生成单元，其基于所述第二模糊核，由原可见光模糊图像得到作为所述可见光模糊图像去模糊结果的第二清晰图像。