CN102223479A - 用于对图像进行捕捉和去模糊的数字相机和方法 - Google Patents

Abstract

本发明提出了用于对图像进行捕捉和去模糊的数字相机和方法，其除去了现有技术的若干缺点。具体而言，已知传统MIP方法的硬件限制以及运动限制已被克服。根据所提出的方法，通过电子帧移位装置以电子方式移动图像帧。这允许以任何类型或方式的帧移位，其中不像根据已知传统MIP方法那样需要复杂硬件布置。所提出的去模糊方法不限于任何类型的帧移位图案，并且也不限于一维帧运动，因为其对于二维帧运动的情况也有效。类似于传统的运动不变摄影方法，帧移位产生可以通过单次去卷积来去卷积的运动不变的模糊图像。

Description

用于对图像进行捕捉和去模糊的数字相机和方法

技术领域

本发明涉及用于对图像进行捕捉和去模糊(deblur)的数字相机和方法。本发明还涉及用于对图像进行去模糊的图像处理器和相应的图像处理方法，以及用于在计算机上实现该图像处理方法的计算机程序和计算机可读非暂时介质。

本发明尤其涉及用于消除数字相片中的模糊伪像以提高图像质量的数字图像处理领域。

背景技术

运动模糊是数字摄影领域的公知问题，其由不稳定的手部运动引起，或者在对相对于相机进行移动的物体进行成像时发生。在移动物体的情况下，图像沿着物体的相对运动方向而变得模糊。

现有技术中已知用于对模糊图像进行去模糊的若干去模糊技术。这些技术中的一种称为短曝光时间成像。然而，短曝光时间成像提出了若干挑战。首先，在短曝光时间成像的情况下，每个单独捕捉的帧充满噪声，这是因为减少曝光时间也使到达光传感器的光子的数目减少。另外，因为光传感器未捕捉到足够的光，所以也丢失色调。

现代相机利用图像稳定技术来解决运动模糊问题，其中运动传感器控制机械致动器，机械致动器在图像曝光期间实时使传感器或相机移动，以补偿相机的运动。然而，该方法仅补偿由相机运动引起的运动模糊，而不补偿由被成像物体的运动引起的模糊伪像。

已知在传统相机中使用的其他去模糊技术，这些技术利用所捕捉图像的去卷积(deconvolution)。然而，在这些方法的情况下，因为相机曝光的盒状性质而丢失高空间频率。这经常引起高频内容的拖影(smearing)。传统上使用的点扩展函数(PSF，Point Spread Function)的傅立叶频谱在其频谱中包含零，使得反滤波(inverse filtering)将放大噪声并产生振铃伪像，从而使得去卷积成为不适定的问题(ill-posed problem)。

R.RASKAR等人在ACM Trans.Graph.，25(3)：795-804，2006中发表的“Coded exposure photography：Motion-deblurring using fluttered shutter”由提出的振翼快门(Flutter Shutter)方法由于其宽带滤波行为而使得去卷积问题适定(well-posed)。利用该方法，快门在曝光时间期间根据随机二进制编码序列而打开和闭合。该序列被选择为使得由此得到的运动模糊PSF具有平坦的频谱并且高空间频率被保留。振翼快门方法由此修改线段内核(kernel)(通常的运动模糊内核)以实现更宽带的频率响应，这允许极大改善的去卷积结果。然而，该方法依赖于用户交互来估计正确的PSF，因为PSF的长度和方向取决于物体的运动。然而，所捕捉图像内的不同物体或区域可具有不同的运动方法和速度。因此，该技术为以已知恒定速度移动的成像物体提供了非常好的结果。另一方面，振翼快门方法已显示出对以未知或变化速度移动的成像物体是不适当的。

在US 2009/0244300A1及A.Levin、P.Sand、T.S.Cho、F.Durand和W.T.Freeman的“Motion-Invariant Photography”，ACM Trans.Graph，.27(3)：1-9，2008中公开了另一称为运动不变(Motion Invariant)摄影(MIP)的方法。MIP方法通过以如下方式在曝光时间期间机械地移动相机或传感器或镜头元件来解决上面提到的挑战：场景的静止和移动部分在某一速度范围内同样变得均匀地模糊。利用已知的内核，可以用单次去卷积除去模糊，而无需任何运动估计和图像分割。然而，移动物体的方向仍必须是已知的。相机的该类特殊机械运动使得模糊不随物体的速度变化。

通过作为时空域中的积分来分析运动模糊，已证明唯一产生运动不变PSF的积分曲线是抛物线。因此，在MIP方法中，随着时间的过去根据一维抛物线函数使用特殊硬件构造来机械地移动相机。换言之，相机的移动通过以如下方式移动而遵循抛物线路径：起初以最大速度横向移动并减慢至停止，然后在相反方向上横向移动，在该相反方向上将速度提高为范围中的最大速度并最终停止。在成像期间，机械移动的相机因此使整个场景模糊。这种模糊的方式对于场景中的移动部分的速度是不变的。因为利用相同的PSF来使包括静止和移动部分在内的整个场景模糊，因此可以通过单次去卷积除去模糊。

然而，MIP方法也示出若干缺点。首先，为了以抛物线方式使相机(或镜头或传感器)机械旋转，需要复杂的硬件布置。另外，以线性方式(例如沿着V形轨迹)机械地移动相机(即相机传感器)是不可能的或者至少是相当复杂的。MIP方法还限于一维相机运动。由于一维相机运动的限制，在沿着相机的轨迹移动相机之前，场景内的移动部分的方向必须是预先知道的，这也是相当不利的。

发明内容

因而本发明的一个目的是提供用于对图像进行捕捉和去模糊的数字相机和方法，该数字相机和方法克服了现有技术的上述问题并且尤其解决了MIP方法的上述问题中的一个或多个，即特殊硬件要求、一维相机运动限制、沿着线性轨迹执行相机移动的复杂性以及对知晓场景内的移动部分的移动方向的要求。

根据本发明的一个方面，提供了一种数字相机，包括：

帧捕捉装置，用于捕捉场景的一组帧，

帧移位装置，用于在与图像平面平行的方向上以电子方式使所捕捉的所述一组帧中的一个或多个帧相对于彼此移位以获得一组移位帧，

图像形成装置，用于累积所述一组移位帧中的帧和所捕捉的所述一组帧中的至少一个帧以获得运动不变的模糊图像，以及

去卷积装置，用于对所述运动不变的模糊图像去卷积以获得去模糊图像。

根据本发明的另一方面，提供了一种包括这种帧移位装置、图像形成装置和去卷积装置的图像处理器。根据本发明的另一方面，提供了根据如上面定义的本发明用于对图像进行捕捉和去模糊的方法以及用于对图像进行去模糊的图像处理方法。

另外，根据另一方面，提供了一种计算机程序，其包括用于当所述计算机程序在计算机上执行时使该计算机执行根据本发明的图像处理方法的步骤的程序代码装置。

最后，根据另一方面，提供了一种计算机可读非暂时介质，其上存储有指令，所述指令当在计算机上执行时使该计算机执行根据本发明的方法的步骤。

在从属权利要求中定义了本发明的优选实施例。应当明白，所要求保护的数字相机、所要求保护的图像处理器、相应的方法以及所要求保护的计算机程序具有与所要求保护的数码相机和在从属权利要求中定义的类似和/或相同的优选实施例。

根据本发明已经认识到，通过提供用于在累积所捕捉帧之后以电子方式使这些帧移位以获得运动不变的模糊图像的帧移位装置然后通过利用单次去卷积对模糊图像去模糊，实现了与在US 2009/0244300 A1中公开的MIP方法相比有极大改善的方法。与MIP方法相比，不再通过在曝光期间机械地移动像相机、镜头或传感器之类的任何硬件来使所捕捉帧移位。根据本发明，任何种类的数字相机可被用来捕捉成像场景的一组帧。不再需要根据MIP方法所需要的用于机械地移动相机或其部件的复杂硬件布置。

利用所提出的方法，所捕捉的帧被以电子方式偏移，意味着被捕捉来获得后来图像的图像帧是由标准数字相机常规捕捉的，并且此后被电子帧移位装置以电子方式分别进行数字处理。

由于该电子移位，MIP方法的硬件限制以及运动限制被除去。与MIP方法中提出的复杂机械移动相比，所捕捉图像帧的电子移位要灵活得多并且可更好地根据图像内的任何种类的情形来调节。取代整个相机或其部件的复杂硬件移动(由于其机械运动特性而不适合于各种移动图案)，帧可被以任何种类或方式移动。

所提出的数字相机的帧移位装置可以根据任何曲线以电子方式使图像帧移位，因此帧移位图案不限于在US 2009/0244300 A1中提出的移位运动类型。另外，通过提供电子帧移位装置，还可以根据所捕捉图像的具体特性来相应地调节正被移位的帧的数目。例如，如果所捕捉图像仅包括一个移动物体，该移动物体以恒定速度非常慢地移动因此只有微小的模糊伪像被预期到，那么帧移位装置要获得非常好的图像质量可能仅必须使少量图像帧移位。在这种只有少量图像帧正被移位的情况下，处理时间可被节省。如果例如图像包括多个快速移动的物体因此严重的运动伪像被预期到，那么移位装置可被适应性地修改为使大量帧移位，以便以最适合所捕捉图像的特性的方式使帧移位。帧移位装置的这种适应性修改或者可由相机本身自动完成，或者可由相机用户手动地调节，如在本发明实施例中提出的。

与MIP方法类似，在帧移位之后通过图像形成装置来累积帧以获得运动不变的模糊图像。这产生关于成像物体的速度的运动模糊不变性。因为整个场景由此变得在某一速度范围内均匀地模糊，因此模糊可以利用单次去卷积来除去，而无需任何运动估计或者图像分割。通过所提出的图像形成装置，用于累积以获得运动不变模糊图像的一组帧可被可变地调节。

根据本发明的一个实施例，图像形成装置适用于累积一组移位帧中的帧以及所捕捉的一组帧中的至少一个帧。所捕捉的一组帧从而意味着原先已经在未移位状态下捕捉的帧。如在上面提到，这些在帧累积中被进一步处理的未移位捕捉帧的数目可被改变，而所述一组移位帧通常被完全累积。将经帧移位装置移位的所有帧用于累积是不必要的，而后来不被用于图像累积的帧可不被移位。

根据本发明的另一实施例，图像形成装置适用于累积所述一组移位帧中的帧以及所捕捉的一组帧中未经移位的帧，以获得运动不变的模糊图像。换言之，根据本发明的该实施例，所有移位帧与帧捕捉装置已经捕捉的尚未移位的剩余帧被累积在一起。在这种情况下，所捕捉的所有帧被积累以获得运动不变图像，这些帧中的一些被移位并且其余的未被移位。在另一实施例中，也可以累积移位图像帧及其相应的未移位形式的原始(相同)帧(已被用于移位)。这也已经表明在去卷积后产生非常良好质量的去模糊图像。

根据本发明的另一实施例，数字相机还包括用于根据预定选择序列选择所捕捉的所述一组帧中的帧子集的帧选择装置。该帧选择装置由此选择所捕捉的所述一组帧的帧子集，其中所捕捉帧中的(不属于帧子集)的一些被丢弃并且不被进一步处理。在这种帧选择装置被包括在数字相机中的情况下，所选择的帧子集代替所捕捉的一组帧，因此移位装置此后在与图像平面平行的方向上仅使所述帧子集中的一个或多个帧移位，以获得一组移位帧。选择帧子集(相应地丢弃不被进一步处理的若干帧)减少了帧移位装置、图像形成装置和去卷积装置所处理的数据量，并因而导致改善的相应减少的处理时间。

根据该实施例，帧是根据预定选择序列来选择的，其可以根据所捕捉图像的特性(相应地根据去模糊图像的期望结果)来适应性修改。已经表明，例如通过根据预定选择序列丢弃所捕捉的一组帧中的两个或多个帧，去卷积的质量可被进一步提高，这导致去模糊图像的进一步改善。选择序列可被想象为包括值0和1的二进制编码序列，其中0表明帧应当被丢弃并且1表明帧应当被保持并被进一步处理。然而，本发明不限于这种编码序列，而是可以还包括允许对所捕捉图像进行丢弃和/或加权的任何其他类型的序列。

在本发明的实际实现方式中，将被丢弃的帧的数目通常被保持为最小，因为过多帧的丢弃反而将会导致由此得到的图像中的光的丢失。出于对称原因，所捕捉帧的总数优选被选择为奇数。优选随后在选择序列内丢弃所捕捉的这些帧中的两个。帧序列中的第一个、最后一个和中间的帧同城被保持(即不被丢弃)，因为否则这将会扰乱所选择的帧的移位曲线的形状。换言之，这意味着优选丢弃并且不进一步处理最少两个帧并且最多除三个帧(第一个、最后一个和中间的帧)之外的所有帧。

为了选择将被丢弃的最佳帧，优选应用一算法，其中不同的帧被逐步丢弃并且由此得到的移位(进一步处理的)帧的点扩展函数(PSF)的频谱被相互比较。注意到，PSF被理解为是描述成像***对点源或者点物体的响应(即***的脉冲响应)的函数。根据该算法，导致具有最小方差和最高的最小值的PSF的频谱被选择最佳选择序列，因为为了避免高频信息的拖影，通常希望PSF的频谱尽可能小地变化(即丢弃)。

以九个捕捉帧的情况为例，选择算法将开始丢弃帧2和8，如上面已经提到的，帧1、5、9通常从不被丢弃，并且由此得到的进一步处理的帧的子集应当是对称的。然后，针对频谱方差和最大和最小值来评估由此得到的帧子集(包括帧1、3-7、9)的PSF的频谱。在第二步中，帧3和7将被丢弃，并且第二帧子集(包括帧1-2、4-6、8-9)的PSF的相应频谱被分析。最后，帧4和6将被丢弃，并且第三帧子集(包括帧1-3、5、7-9)的PSF的相应频谱被再次分析。通过将三个帧子集的经评估PSF频谱相互比较，根据上面提到的标准判定哪个帧子集是最佳的，即哪两个帧应当被最佳地丢弃。该判定优选通过选择示出频谱的最小方差、频谱的最高最小值和/或去卷积噪声的最少增强的帧子集来完成。

必须注意，上面提到的选择序列和选择算法不仅适用于帧的一维移位图案。该选择序列和选择算法还适用于帧的二维移位图案。

所提出的丢弃且不进一步处理所捕捉帧中的一些帧进一步导致与编码曝光(振翼快门)方法类似的优点。与振翼快门方法相比，不希望的帧在被捕捉之后被以电子方式拣出，而非由于快门运动而机械地创建振翼。取代(如在振翼快门方法中)对帧的随机选择，该方法允许根据可单独调节的选择序列对帧进行适定选择。

根据另一优选实施例，帧移位装置适用于在与图像平面平行的方向上沿着预定移位图案以电子方式使所捕捉的一组帧中的一个或多个帧相对于彼此移位。根据帧的数目和具体形式，可以沿着预定移位图案以任何方式使帧移位。移位图案可以是任何图案，其或者是自动建立的或者是由用户手动定义的。这允许沿着预定或者手动选择的轨迹(即沿着可单独选择的图案)使帧移位。

根据所提出的利用对帧的电子移位的方法，帧移位与MIP方法相比不仅限于帧的一维移位。通过帧移位装置也可以容易地实现帧的二维运动。因此，根据本发明的另一优选实施例，帧移位装置适用于在与图像平面平行的方向上沿着一维或二维移位图案以电子方式使所捕捉的一组帧中的一个或多个帧相对于彼此移位。这里的二维意味着空间中的二维运动。与仅沿着一维轨迹(通过使相机移位)使帧移位的传统的MIP方法相比，根据本发明，不再需要知道空间内的移动部分的方向和幅度，因为帧可在二维中以电子方式被移位，使得去卷积变得独立于所捕捉图像物体的运动方法。换言之，提出的方法是方向独立的。与此相比，根据传统的MIP方法，所捕捉图像物体的运动方向必须是已知的或者被估计(这有时可能是复杂的)，因为一维帧移位方法只是运动不变的，而非方向独立的。然而，空间中的二维运动甚至是不可能的或者至少将与传统MIP方法内的主要机械困难相关。

根据本发明的另一实施例，以下是特别优选的：帧移位装置适用于在与图像平面平行的方向上沿着一维或二维V形轨迹或者沿着一维或二维抛物线状或U形轨迹以电子方式使所捕捉的一组帧中的一个或多个帧相对于彼此移位。由于其完美的线性属性，V形轨迹是特别优选的。因为去卷积可容易地适用于这种线性曲线，完美的V形线性曲线已经表明产生非常好的图像质量。然而，由于传统MIP方法中的机械相机移动***的运动限制，这在之前是不可能的。无法通过机械地移动相机来建立完美的V形曲线。

抛物线状轨迹的优点在于PSF在整个图像上保持一致。

根据本发明的另一实施例，去卷积装置适用于利用预定点扩展函数对运动不变的模糊图像去卷积。点扩展函数(PSF)用于对之前已被帧移位装置模糊的图像去模糊。根据本发明的另一实施例，PSF优选根据移位图案来确定。在二维移位图案的情况下，可以以PSF将不随场景内的移动部分的移动速度变化的方式根据移位图案来控制PSF。与传统的MIP方法相比，PSF因而不用必须被预先估计，这不仅更易于处理，而且更有效的避免了图像内的移动物体的拖影。另外已经表明，与其他已知方法相比，所提出的去模糊技术保留了更多的高频空间细节。

最后，可以通过根据累积帧的数目和特性确定点扩展函数来实现进一步的改进。PSF因而最佳地适用于图像处理和去模糊方法。

附图说明

根据此后描述的实施例，本发明的这些和其他方面将会显而易见，下面参考此后描述的实施例更详细地说明本发明的这些和其他方面。在以下附图中

图1示出了根据本发明的数字相机的第一实施例的示意性框图，

图2示出了根据本发明的数字相机的第二实施例的示意性框图，

图3示出了根据本发明的第二实施例用于对图像进行捕捉和去模糊的相应方法的示意性框图，

图4示出了图示出根据本发明的第一一维帧移位图案的示图，

图5示出了图示出根据图4所示的第一一维帧移位图案的点扩展函数的示图，

图6示出了图示出根据本发明的第二一维帧移位图案的示图，

图7示出了图示出根据图6所示的第二一维帧移位图案的点扩展函数的示图，

图8示出了图示出根据本发明的第一二维帧移位图案的示图，

图9示出了图示出根据本发明的第二二维帧移位图案的示图，

图10示出了图示出根据本发明的第三一维帧移位图案的示图，

图11示出了图示出根据图10所示的第三一维帧移位图案的点扩展函数的示图，并且

图12示出了图示出将根据本发明的捕捉和去模糊技术与现有技术的其他捕捉和去模糊技术相比较的频谱曲线的示图。

具体实施方式

图1示出了根据本发明的数字相机10的第一实施例的示意性框图。数字相机10包括用于捕捉场景的一组图像帧的帧捕捉装置12，用于以电子方式使所捕捉的所述一组帧中的一个或多个帧移位以获得一组移位帧的帧移位装置14，以及用于累积经帧移位装置14移位的帧以及帧捕捉装置12捕捉的所述一组帧中的至少一个未经移位的帧以获得运动不变模糊图像的图像形成装置16。最后，数字相机包括用于对运动不变模糊图像去卷积以获得去模糊图像的去卷积装置18。

在实际使用中，场景的一组帧首先被帧捕捉装置12捕捉。帧捕捉装置12例如可以是任何标准数字相机。如果在相机曝光期间在场景内移动的物体正被成像，那么不对由所捕捉帧累积得到的图像进行后续去模糊处理将会显示模糊伪像。因此，图像处理装置20被提供来对图像去模糊以获得没有模糊伪像的高质量图像。帧移位装置14以电子方式使一个或多个所捕捉帧在与图像平面平行的方向上沿着可选择性调节的移位图案相对于彼此移位。这意味着所捕捉的帧正在时空域中被移位。由于这种帧移位，当在由图像形成装置16执行的后续累积步骤中累积帧时，包括静止和移动部分的整个成像场景在某一速度范围内变为均匀模糊。这种特殊帧移位产生了如下模糊，该模糊不随着场景内的移动物体的速度变化并且可因而利用去卷积装置18中的单次去卷积来除去。

与US 2009/0244300 A1中公开的已知MIP方法相比，通过帧移位装置14以电子方式使帧移位，而非如在已知的MIP方法中通过在曝光期间机械地移动相机来实现帧移位。因此，根据本发明，用于机械地移动相机的复杂硬件布置不是必需的。这种情况下的电子帧移位意味着由帧捕捉装置12(通过标准数字相机)常规捕捉的帧在电子帧移位装置14内沿着想像的移位图案被数字地移位。图像帧因而可以沿着时空域内的任何期望曲线被移位，其中帧移位图案/曲线不限于在US 2009/0244300 A1中提出的移位运动种类。

由于帧移位装置14的电子移位方法，帧可被以非常精确地方式移位。如图4所示，例如对于沿着抛物线状曲线的帧移位图案已经示出非常好的图像结果。通过作为时空域中的积分来分析运动模糊，通过累积已沿着抛物线状移位图案移位了的图像帧而创建的模糊图像已证明可以通过可逆的运动不变的PSF来去卷积，如图5所示。在去卷积装置18内，因而可根据具体移位图案(这里是根据抛物线状移位曲线)来精确地确定PSF。

根据具体移位图案确定PSF的数学背景可以从US 2009/0244300 A1特别是从US 2009/0244300 A1的[0032]-[0048]段得到，其中针对传统MIP方法描述了PSF的推导。除上面已经提到的差异(即在传统的MIP方法中整个相机沿着预定的移动图案移动，而根据本发明，图像是利用静止相机捕捉的并且所捕捉的成像场景的帧然后被以电子方式移位)之外，在US2009/0244300 A1的上述段落中给出的PSF的推导在仅作微小适应性修改的情况下也可适用于此。

如图6所示的V形线性帧移位曲线也示出为产生非常好的图像质量，因为PSF(见图7)也易于确定。此外，这种V形线性移位曲线可由帧移位装置14容易地实现。相比之下，根据传统的MIP方法，这由于运动限制而是不可能的。

由于电子移位方法，甚至可以执行二维移位图案。图8示例性地示出了二维V形移位图案，图9示出了示例性的二维抛物线状移位图案。这种二维移位图案主要优点在于不必再预先估计PSF。这不仅更易于处理，还避免了在PSF未被正确或者最佳地优化时发生的场景内移动物体的拖影。然而，PSF自身的数学推导对于二维情况将保持不变。因此，上面提到的数学背景在二维情况下也适用。

必须注意，帧移位装置14、图像形成装置16和去卷积装置18或者可被直接集成到数字相机中，或者可被包括在外部的图像处理器20中。例如，图像处理器20可以是数字相机10本身的图像处理器的一部分(如图1所示)，或者在另一情况下，首先由标准相机拍摄照片然后将所捕捉的图像传送到外部图像处理器，该外部图像处理器对所捕捉的图像进行去模糊并且在晚些时候改善图像质量。

在图2中以示意性框图示出根据本发明的数字相机的第二实施例。数字相机30的该实施例另外包括帧选择装置32，帧选择装置32在图2的框图中被包括在帧捕捉装置12与图像形成装置16之间。第二实施例30的其余装置12、14、16、18对应于在根据第一实施例的相机10中提供的各个装置。亦称为帧选择器的帧选择装置32适用于根据预定选择序列选择所捕捉帧的帧子集。帧选择装置32由此选择所捕捉的一组帧的帧子集，其中所捕捉帧中的(不属于帧子集)一些被丢弃并且不被进一步处理。所选择的帧子集然后替代所捕捉的一组帧，使得只有所选择的帧子集被传送到移位装置，移位装置然后使所述子集中的一个或多个帧移位以获得一组移位帧。除此之外，帧移位装置14执行的帧移位过程对应于上面说明的方法。

包括帧选择装置32具有若干优点，首先，处理时间可被减少，因为若干帧被主动丢弃并且不被进一步处理，这再次减少了必须处理的数据量。第二，已经表明，通过根据适用于图像/场景特性的预定选择序列选择特定帧，去卷积的质量可被提高，使得可以实现进一步改善的去模糊图像。这产生如在编码曝光(振翼快门)方法中示出的类似优点。因此，根据所提出的方法，不希望的帧在被捕捉之后被以电子方式拣出，所提出的方法允许根据可单独调节的选择序列对帧进行最佳选择。

例如，已表明丢弃所捕捉的一组帧中的两个或者多个帧随后引起非常好的图像改善。图10中示出了其中丢弃了若干帧(以V形曲线中的间隙示出)的V形帧移位图案。图11中示出了相应的PSF。图儿中示出的PSF也是运动不变并且易于反转的，因此在所包括的帧选择器32的情况下也可以以如上面根据本发明的第一实施例说明的可靠方式执行去卷积。

在图3的示意性框图中示出了所提出的与提出的数字相机相对应的用于对图像进行捕捉和去模糊的方法。在第一步骤101中，利用常规的数字相机捕捉一组N个图像帧。然后逐步单独处理每个帧。在步骤102中，选择应当进行进一步处理的帧，并且丢弃不希望的帧。在下一步骤103中，在与图像平面平行的方向上以电子方式使帧移位。如上面说明的，任何一维移位图案或者二维移位图案可被实现。还必须注意，不强制在步骤103中使每个帧移位，即第一个帧和最后一个帧保持不移位可能是有意义的。在步骤104中，通过累积由此得到的帧(移位的帧和/或未移位的帧)来创建运动不变的模糊图像。在最后一个步骤105中，利用已知的所确定的PSF对模糊图像去卷积，以最终获得去模糊的图像。

总之，提出了除去已知MIP方法的若干缺点特别是硬件限制以及运动限制的对图像进行捕捉和去模糊的新方法。利用所提出的方法，可以以任何类型或方式移动图像帧，而不像根据已知传统MIP方法那样需要用于相机运动的复杂硬件。所提出的去模糊方法不限于任何类型的帧移位图案，并且也不限于帧的一维运动，因为其对于二维帧运动的情况也有效。

通过克服现有技术的这些缺点，已经表明所提出的方法与已知的振翼快门方法和传统的MIP方法以及传统的去模糊技术相比保留了更多的高频空间细节，如可从图12得出的。

虽然已经在附图和前面的描述中详细例示并描述了本发明，但是这些例示和描述将被看作是例示性或示例性而非限制性的。本发明不限于所公开的实施例。根据对附图、公开以及所附权利要求的研究，本领域技术人员在实施所要求保护的发明时可以明白并实现对所公开实施例的其他变更。

在权利要求中，词“包括”并不排除其他元件或步骤，并且不定冠词(一个)并不排除多个。单个元件或其他单元可以完成权利要求中记载的若干项的功能。在各不相同的从属权利要求中记载某些措施并不表明无法有利地使用这些措施的组合。

计算机程序可被存储/分发在合适的介质上，例如与其他硬件一起或者作为其他硬件的一部分提供的光学存储介质或者固态介质，但是也可以以其他形式分发，例如经由因特网或者其他有线或无线的电信***。

权利要求中的任何标号不应被理解为限制范围。

Claims (14)

1.一种数字相机(10，30)，包括

帧捕捉装置(12)，用于捕捉场景的一组帧，

帧移位装置(14)，用于在与图像平面平行的方向上以电子方式使所捕捉的所述一组帧中的一个或多个帧相对于彼此移位以获得一组移位帧，

图像形成装置(16)，用于累积所述一组移位帧中的帧和所捕捉的所述一组帧中的至少一个帧以获得运动不变的模糊图像，以及

去卷积装置(18)，用于对所述运动不变的模糊图像进行去卷积以获得去模糊图像。

2.如权利要求1所述的数字相机(10，30)，其中，所述图像形成装置(16)适用于累积所述一组移位帧中的帧以及所捕捉的所述一组帧中的未经移位的帧以获得运动不变的模糊图像。

3.如在先权利要求中任一项所述的数字相机(10，30)，还包括用于根据预定选择序列选择所捕捉的所述一组帧的帧子集的帧选择装置(32)。

4.如在先权利要求中任一项所述的数字相机(10，30)，其中，所述帧移位装置(14)适用于在与图像平面平行的方向上沿着预定移位图案以电子方式使所捕捉的所述一组帧中的一个或多个帧相对于彼此移位。

5.如在先权利要求中任一项所述的数字相机(10，30)，其中，所述帧移位装置(14)适用于在与图像平面平行的方向上沿着一维移位图案或者二维移位图案以电子方式使所捕捉的所述一组帧中的一个或多个帧相对于彼此移位。

6.如在先权利要求中任一项所述的数字相机(10，30)，其中，所述帧移位装置(14)适用于在与图像平面平行的方向上沿着一维线性移位图案或者二维线性移位图案，特别是沿着V形轨迹或者沿着一维或二维抛物线状或U形轨迹，以电子方式使所捕捉的所述一组帧中的一个或多个帧相对于彼此移位。

7.如在先权利要求中任一项所述的数字相机(10，30)，其中，所述去卷积装置(18)适用于利用预定点扩展函数对所述运动不变的模糊图像进行去卷积。

8.如权利要求7所述的数字相机(10，30)，其中，所述去卷积装置(18)还适用于根据移位图案确定所述点扩展函数。

9.如权利要求7所述的数字相机(10，30)，其中，所述去卷积装置(18)还适用于根据累积的帧的数目和特性来确定所述点扩展函数。

10.一种用于对图像进行捕捉和去模糊的方法，该方法包括以下步骤：

捕捉(101)场景的一组帧，

在与图像平面平行的方向上以电子方式使所捕捉的所述一组帧中的一个或多个帧相对于彼此移位(103)以获得一组移位帧，

累积(104)所述一组移位帧和/或所捕捉的所述一组帧中的一个或多个帧以获得运动不变的模糊图像，以及

对所述运动不变的模糊图像去卷积(105)以获得去模糊图像。

11.一种图像处理器(20)，包括

帧移位装置(14)，用于在与图像平面平行的方向上以电子方式使一组图像帧中的一个或多个帧相对于彼此移位以获得一组移位帧，

图像形成装置(16)，用于累积所述一组移位帧和/或所述一组图像帧中的一个或多个帧以获得运动不变的模糊图像，以及

去卷积装置(18)，用于对所述运动不变的模糊图像去卷积以获得去模糊图像。

12.一种图像处理方法，包括以下步骤：

在与图像平面平行的方向上以电子方式使一组图像帧中的一个或多个帧相对于彼此移位(103)以获得一组移位帧，

累积(104)所述一组移位帧和/或所述一组图像帧中的一个或多个帧以获得运动不变的模糊图像，以及

对所述运动不变的模糊图像去卷积(105)以获得去模糊图像。

13.一种计算机程序，包括用于当该计算机程序在计算机上执行时使该计算机执行如权利要求12所述的方法的步骤的程序代码装置。

14.一种计算机可读非暂时介质，其上存储有指令，所述指令当在计算机上执行时使该计算机执行如权利要求12所述的方法的步骤。

Images