CN102111554A - 处理运动图像的图像处理方法、设备和程序 - Google Patents

Abstract

本发明公开了处理运动图像的图像处理方法、设备和程序。本发明涉及用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理的图像处理方法和设备。在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊由示出该成像模糊的属性的相应低通滤波器表示。根据本方法，具有针对所述低通滤波器的相反属性的反向滤波器被生成。处理被执行以将所述反向滤波器应用于所要处理的所述存取单位。这里，生成反向滤波器的步骤包括基于原始模糊图像和点扩展函数的频域中的迭代算法。

Description

处理运动图像的图像处理方法、设备和程序

技术领域

本发明涉及用来处理运动图像的方法、设备和程序。更具体地说，本发明涉及减少由拍照引起的运动模糊的可能性。

背景技术

一般而言，当通过相机拍摄运动图像时，由于1/60秒的曝光而引起运动模糊。因此，在处理运动图像时减少运动模糊是重要的。

存在提出了减少运动模糊的可能性的若干种方法。然而，多数方法受如下缺陷之苦，即要么不适于诸如纹理区域之类的高频区域要么具有例如不连续性之类的副作用。

发明内容

因此本发明的目的是改进现有技术。

具体而言，在现有技术中，对在拍摄时发生的运动模糊(在下文中将被称为成像模糊)尚没有足够考虑。因此，由成像模糊引起的图像劣化(模糊图像)仍然存在而未被专门校正，结果难以在显示设备上显示清楚图像。

根据一个方面，本发明涉及一种图像处理方法，用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理，其中成像模糊由示出在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊的属性的相应低通滤波特性(low-pass filter)表示，所述方法包括以下步骤：生成具有针对所述低通滤波特性的逆反属性(inverse property)的逆反滤波特性(inverse filter)，以及执行将所述逆反滤波特性应用于所要处理的所述存取单位的处理，其中所述生成逆反滤波特性的步骤包括基于原始模糊图像和点扩展函数的频域中的迭代算法。

根据另一方面，本发明涉及一种图像处理设备，用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理，其中成像模糊由示出在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊的属性的相应低通滤波特性表示，所述设备包括：反向(reverse)移动平均滤波特性生成单元，用于生成具有针对所述低通滤波特性的相反属性(inverseproperty)的反向滤波特性；以及成像模糊抑制处理单元，用于执行将所述反向滤波特性应用于所要处理的所述存取单位的处理，其中所述反向移动平均滤波特性生成单元适用于根据基于原始模糊图像和点扩展函数的频域中的迭代算法来确定所述反向滤波特性。

根据又一方面，本发明涉及一种存储在计算机可读介质上的计算机程序产品，用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理，其中成像模糊由示出在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊的属性的相应低通滤波特性表示，所述计算机程序使计算机执行以下步骤：生成具有针对所述低通滤波特性的相反属性的反向滤波特性，以及执行将所述反向滤波特性应用于所要处理的所述存取单位的处理，其中所述生成反向滤波特性的步骤包括基于原始模糊图像和点扩展函数的频域中的迭代算法。

附图说明

在下面对优选实施例的描述中，现将联系附图更详细地说明本发明，在附图中：

图1是图示出本发明所应用于的图像处理设备的功能配置的示例的框图；

图2是图示出在人类视网膜上形成的图像模糊的频率属性的示图；

图3是描述由图1中的图像处理设备执行的图像处理的流程图；

图4是图示出根据运动向量(运动速度)的图像模糊的频率属性的示图；

图5是图示出图1中的图像处理设备中的图像模糊抑制处理单元的功能配置示例的框图；

图6是图示出图5中的图像模糊抑制处理单元的反向运动平均滤波器生成单元的功能配置示例的框图；

图7是图示出根据本发明的反函数生成单元的功能配置示例的框图；

图8是图示出图7中的反函数生成单元的组件的每个输出信号的频率属性示例的示图；

图9是描述根据本发明的由反函数生成单元执行的图像处理的流程图；

图10是描述相机快门速度和成像模糊属性的示图；

图11是图示出不同于图1的示例的示图，该示例具有本发明所应用于的图像处理设备的功能配置；

图12是图示出不同于图1和11的示例的示图，该示例具有本发明所应用于的图像处理设备的功能配置；

图13是图示出不同于图1、11和12的示例的示图，该示例具有本发明所应用于的图像处理设备的功能配置；

图14是图示出不同于图1、11、12和13的示例的示图，该示例具有本发明所应用于的图像处理设备的功能配置；

图15是图示出本发明所应用于的图像处理设备的全部或者一部分硬件配置的示例的框图。

具体实施方式

本发明的图像处理设备可被用作整个电视***或其组件。电视***指由包括电视广播接收设备在内的一个或多个AV(音频和视觉)设备组成的***。

接着，将参考附图描述本发明的实施例。图1示出了本发明所应用于的图像处理设备的功能配置的示例。

图像处理设备1以“存取单位”为增量对运动图像数据执行各种类型的图像处理。术语“存取单位”指的是诸如帧和场之类的运动图像的增量，并且具体指例如组成运动图像的每个帧(静态图像)的全部或者一部分。然而，此后处于简化目的，假定图像处理设备1以帧为增量对运动图像数据执行各种类型的图像处理。

图像处理设备1由高帧速率变换单元11、成像模糊属性检测单元12以及成像模糊抑制处理单元13组成，如图1所示。

电视广播信号等的运动图像信号作为按照例如帧增量的运动图像数据被输入到高帧速率变换单元11中。

注意到，此后在运动图像和与之相对应的运动图像数据不必进行单独区分的情况下，它们将被总地简称为“运动图像”。类似地，在帧和与之相对应的帧数据不必进行单独区分的情况下，它们将被总地简称为“帧”。

在第一帧速率的运动图像被输入的情况下，高帧速率变换单元11对这种运动图像执行高帧速率变换处理，并且把由此得到的帧速率高于第一帧速率的第二帧速率的运动图像提供给成像模糊属性检测单元12和成像模糊抑制处理单元13。

高帧速率变换处理是在输入时的第一帧速率低于输出(显示)时的第二帧速率的情况下执行的处理，并且指通过创建新帧并且将每个新帧***在组成输入时的运动图像的各个帧之间来将第一帧速率变换为高于第一帧速率的第二帧速率的处理。

注意到，第一帧速率指在输入到高帧速率变换单元11中时的运动图像的帧速率。因此，第一帧速率可以变为任意帧速率，但是这里假定第一帧速率是当通过未示出的视频拍摄设备拍摄运动图像时的帧速率，即例如是成像帧速率。

成像模糊属性检测单元12检测参数值，这些参数值指示出组成从高帧速率变换单元11提供的运动图像的每个帧的成像模糊属性。来自成像模糊属性检测单元12的检测结果，即示出成像模糊属性的参数值，被提供给成像模糊抑制处理单元13。

注意到，并不特别限制指示出成像模糊属性的参数，而是可以使用各种参数。然而，稍后将描述指示出成像模糊属性的参数的具体示例。

同样，不特别限制所检测的示出一个帧内的成像模糊属性的参数值的数目。例如，示出成像模糊属性的仅一个参数值可被检测到，或者示出成像模糊属性的参数值可被一次一个地分别检测。或者，可将多个帧之一划分为若干块，并且可针对所划分的每个块一次一个地分别检测示出成像模糊属性的参数值。

针对组成从高帧速率变换单元11提供的运动图像的每个帧，成像模糊抑制处理单元13基于在利用成像模糊属性检测单元12检测到的参数值中与所要处理的帧相对应的值，校正组成所要处理的帧的每个像素值。就是说，成像模糊抑制处理单元13根据所要处理的帧的成像模糊属性(参数值)来校正所要处理的帧的每个像素值，使得成像模糊被抑制。

因此，成像模糊被正被校正的每个帧的每个像素值抑制的运动图像以及被变换为高于输入时的第一帧速率的第二帧速率的运动图像在成像模糊抑制处理单元13处被从图像处理设备1输出到外部。

注意到，在图1的示例中，成像模糊属性检测单元12和成像模糊抑制处理单元13的集合被与高帧速率变换单元11相结合，但是该集合当然可被单独使用，或者可被与其他未示出的块(执行预定图像处理的其他图像处理单元)结合使用。

就是说，仅利用成像模糊属性检测单元12和成像模糊抑制处理单元13的集合可以实现抑制成像模糊的优点。然而，为了使该优点更显著，如上所述将成像模糊属性检测单元12和成像模糊抑制处理单元13与高帧速率变换单元11相结合是有利的。其原因将在下面描述。

在显示在未示出显示设备上的运动图像被形成为人的视网膜上的图像的情况下被该人辨认出的模糊是如下模糊：该模糊结合了来自该人对运动图像中包括的运动对象进行跟踪的眼的保持模糊(hold blur)以及上面描述的在拍摄运动图像时加入的成像模糊。

成像模糊属性这里被示出为低通滤波器，稍后将参考图4等对其进行描述。就是说，成像模糊之后的图像信号是与向成像模糊之前的图像信号(理想的图像信号)应用了低通滤波器的信号相等同的信号。因此，与成像模糊之前的图像信号相比，成像模糊之后的图像信号的频率属性下降。就是说，与成像模糊之前的图像信号相比，成像模糊之后的图像信号的增益通常随着频率升高而下降。

保持模糊的属性这里也被示出为与成像模糊属性类似的低通滤波器。就是说，保持模糊之后的图像信号是与向保持模糊之前的图像信号(成像模糊之后的图像信号)应用了低通滤波器的信号相等同的信号。因此，与保持模糊之前的图像信号相比，保持模糊之后的图像信号的频率属性下降。就是说，与保持模糊之前的图像信号相比，保持模糊之后的图像信号的增益通常随着频率升高而下降。然而，仅当显示设备是固定图像(保持)显示设备时发生保持模糊。

因此，通过对成像模糊之后的图像信号(其中频率属性由于成像模糊已经下降)执行高帧速率变换处理，可以实现对保持模糊的抑制。然而，即使执行了这种高帧速率变换处理，成像模糊劣化也不改变，并且最终使抑制人类视网膜上的模糊的优点减半。这点将参考图2进行描述。

图2示出了当在视频拍摄设备(此后称为相机)的拍摄范围内拍摄到以4[像素/帧]的运动速度移动的实际对象时在人类视网膜上形成的图像模糊的频率属性。在图2中，水平轴示出频率并且垂直轴示出相应的增益。然而，水平轴的各个值示出了在奈奎斯特频率为1的情况下的相对值。

在图2中，用点断线示出的曲线h0示出了在不特别执行改善模糊(包括成像模糊和保持模糊)的处理的情况下在人类视网膜上形成的图像模糊的频率属性。就是说，在图1示例中的图像处理设备1中的运动图像输入被不变地提供给显示设备并被显示在显示设备上而非被临时输入到图像处理设备1中(未被处理)的情况下，当人观看运动图像时在视网膜上形成的图像模糊的频率属性是曲线h0。

相反，如果例如利用高帧速率变换处理使显示速度加倍，那么只有保持模糊被改善，并且在人类视网膜上形成的图像模糊的频率属性变为图中用虚线示出的曲线h1。就是说，在图1中的图像处理设备1中的运动图像输入经受了利用高帧速率变换单元11进行的高帧速率变换处理并且此后被提供给显示设备并被显示在显示设备上而非被临时输入到成像模糊抑制处理单元13中(成像模糊未被改善)的情况下，当人观看运动图像时在视网膜上形成的图像模糊的频率属性是曲线h1。

另外，例如，在利用高帧速率变换处理使显示速度加倍(保持模糊被改善)并且使成像模糊的程度改善一半之后，在人类视网膜上形成的成像模糊的频率属性变为在图中示出为实线的曲线h2。就是说，在图1中的图像处理设备1中的运动图像输入经受了利用高帧速率变换单元11进行的高帧速率变换处理，并且在利用成像模糊抑制处理单元13抑制成像模糊之后被进一步提供给显示设备并被显示在显示设备上的情况下，当人观看运动图像时在视网膜上形成的图像模糊的频率属性是曲线h2。

比较曲线h1和曲线h2，通过利用高帧速率变换处理仅改善保持模糊，人类视网膜上的模糊属性的改善是不足的，并且对成像模糊的进一步改善的必要性变得明显。然而，如上所述，对于根据现有技术的方法，对成像模糊的改善的必要性未得到特别考虑，而只是执行了高帧速率变换处理。

因此，对于被实现为图1中的实施例的本发明的图像处理设备，除了高帧速率变换单元11之外还提供了成像模糊属性检测单元12和成像模糊抑制处理单元13，以改善成像模糊，即把人类视网膜上的模糊属性从图2中的曲线h0改善为曲线h2。

就是说，成像模糊抑制处理单元13基于在利用成像模糊属性检测单元12检测到的示出成像模糊属性的参数值中与所要处理的帧相对应的值，通过校正所要处理的帧的每个像素值，来抑制在高帧速率变换之后的帧上的、由成像模糊引起的图像劣化。就是说，通过把从本发明的诸如图像处理设备1之类的图像处理设备输出的图像信号提供给未示出的显示设备，显示设备可以显示抑制了图像劣化的清楚视频，作为与其图像信号相对应的视频。

因而希望将成像模糊属性检测单元12和成像模糊抑制处理单元13的集合与高帧速率变换单元11相结合。

接着，将参考图3中的流程图来描述具有图1的功能配置的图像处理设备的图像处理。

在步骤S1中，高帧速率变换单元11输入具有第一帧速率的运动图像。

在步骤S2中，高帧速率变换单元11把运动图像帧速率变换为高于第一帧速率的第二帧速率。

当从第一帧速率变换为第二帧速率的运动图像被从高帧速率变换单元11提供给成像模糊属性检测单元12和成像模糊抑制处理单元13时，处理前进到步骤S3。

在步骤S3中，成像模糊属性检测单元12从组成运动图像的每个帧中检测指示出成像模糊属性的一个或多个参数值。

在指示出组成运动图像的每个帧的成像模糊属性的一个或多个参数被从成像模糊属性检测单元12提供到成像模糊抑制处理单元13之后，处理前进到步骤S4。

在步骤S4中，成像模糊抑制处理单元13基于在利用成像模糊属性检测单元12检测到的参数值中与所要处理的帧相对应的一个或多个值，针对组成从高帧速率变换单元11提供的运动图像的每个帧来校正所要处理的帧的每个像素值。

在步骤S5中，成像模糊抑制处理单元13输出如下运动图像，该运动图像的每个帧的像素值已被校正并且该运动图像已被从第一帧速率修改为第二帧速率。因此，图3中的图像处理结束。

注意到，对于上述描述，为了简化描述，运动图像已经是步骤S1至S5中的每一步的处理的处理增量。然而，在现实中，在许多情况下帧是处理增量。

对于图3中的图像处理，每一步的处理增量为运动图像等同于，从步骤S1至S5中的处理步骤到下一步骤的前进条件是如下条件：其中所要处理的步骤的处理是针对整个运动图像执行的。

相反地，对于图3中的图像处理，每一步的处理增量为帧等同于，从步骤S1至S5中的处理步骤到下一步骤的前进条件是如下条件：其中所要处理的步骤的处理是针对一整个帧执行的。换言之，每一步的处理增量为帧等同于：针对每个相应帧的步骤S1至S5的连续处理是独立于其他帧(并行)执行的。在这种情况下，例如可能发生如下情形：当针对第一帧的步骤S3的处理被执行时，针对不同的第二帧的步骤S2的处理被并行执行。

另外，在现实中，在许多情况下，按照如所要处理的像素的将感兴趣的像素(此后称为感兴趣的像素)的顺序来设置组成所要处理的帧的像素，并且至少步骤S3和S4中的处理被顺序地单独执行。就是说，步骤S3和S4中的处理增量经常是像素。

因此，还是对于以下描述，将就步骤S3和S4中的按照像素增量的处理给出描述。就是说，步骤S3中的处理是成像模糊属性检测单元12的处理，并且步骤S4中的处理是成像模糊抑制处理单元13的处理。因此，对于下面的描述，对于成像模糊属性检测单元12和成像模糊抑制处理单元13，处理增量将被描述为像素。

接着，图1中的图像处理设备1的成像模糊抑制处理单元13的若干实施例将被描述。具体而言，作为指示出成像模糊属性的参数，在使用运动向量的绝对值(此后称为运动速度)的情况下的成像模糊抑制处理单元13的若干示例将被描述。

在运动速度被用作示出成像模糊属性的参数的情况下，成像模糊属性检测单元12顺序地将组成所要处理的帧的每个像素设置为感兴趣的像素，顺序地检测感兴趣的像素的运动向量，并且顺序地将这些运动向量提供给成像模糊抑制处理单元，作为示出感兴趣的像素的成像模糊属性的参数值。

因此，成像模糊抑制处理单元13针对组成运动图像的每个帧顺序地将组成所要处理的帧的每个像素设置为感兴趣的像素，并且基于在从成像模糊属性检测单元12提供的运动向量中的感兴趣的像素的运动向量的绝对值，即基于感兴趣的像素的运动速度，感兴趣的像素的像素值被顺序地校正。

现在将描述可将运动速度用作示出成像模糊属性的参数的原因。通常可以在取决于受拍摄的对象的运动速度的状态下表示成像模糊属性。

注意到，在利用相机拍摄对象时，在对象自身在真实空间中已经移动并且相机是固定的情况下，受拍摄的对象的运动速度自然包括帧中的对象(图像)的运动速度。另外，在利用相机拍摄对象时，在对象在真实空间中是固定的并且相机由于手抖而被移动的情况下，或者在对象和相机在真实空间中均被移动的情况下，对象的运动速度在这里还包括帧中的对象(图像)的相对运动速度。

因此，可在取决于组成对象的图像的每个像素的运动速度的状态下表示成像模糊属性。

像素的运动速度指示出所要处理的帧中的像素和早先的帧中与之相对应的像素(对应点)之间的空间距离。例如，在所要处理的帧中的像素和紧接的前一(时间上的前一个)帧内与之相对应的图像之间的空间距离相当于K个像素(K是0或者更大的任意整数)的情况下，其像素的运动速度变为K[像素/帧]。

在这种情况下，假定组成对象的图像的各个像素中的一个预定像素被设置为感兴趣的像素，那么可以在取决于感兴趣的像素的运动速度K[像素/帧]的大小的状态下表示感兴趣的像素的成像模糊属性。

更具体地说，例如，在感兴趣的像素的运动速度是2、3、4[像素/帧]的各个情况下，感兴趣的像素的成像模糊的频率属性可以分别用图4中的曲线H2至H4来表示。

就是说，图4示出了在感兴趣的像素的运动速度是2、3、4[像素/帧]的各个情况下感兴趣的像素的成像模糊的各个频率属性。在图4中，水平轴示出了频率并且垂直轴示出了增益(幅度)。然而，水平轴的每个值示出了在奈奎斯特频率为1的情况下的相对值。以上是可以将运动速度用作示出成像模糊属性的参数的原因。

现在，如从频率属性H2至H4明白的，当把感兴趣的像素的成像模糊属性表示为空间域(spatial region)时，成像模糊属性可用移动平均滤波器(低通滤波器)来表示。换言之，示出移动平均滤波器(低通滤波器)的转移函数(transfer function)(此后称为成像模糊转移函数或者点扩展函数)由H表示，不发生图像模糊的情况下的理想图像信号(此后称为成像模糊之前的信号)被表示为频域中的F，并且从相机输出的实际图像信号即发生了成像模糊的图像信号(此后称为成像模糊之后的信号)由频域中的G表示，成像模糊之后的信号G如在下式(1)中表示。

G＝H*F    (1)

对于本发明，希望除去(抑制)成像模糊，为此，应当根据已知的成像模糊之后的信号G和已知的成像模糊的转移函数H来预测计算(forecast-compute)成像模糊之前的信号F。就是说，下式(2)中的预测计算被执行。

F＝inv(H)*G    (2)

在式(2)中，inv(H)示出了成像模糊的转移函数H的反函数。如上所述，成像模糊的转移函数H具有低通滤波器的属性，其反函数inv(H)由此也自然具有高通滤波器的属性。

另外，如上所述，对于成像模糊的转移函数H，其属性根据运动速度而改变。具体而言，例如，在感兴趣的像素的运动速度是2、3、4[像素/帧]的各个情况下，感兴趣的像素的成像模糊的转移函数H的频率属性变为不同属性，如图4中的曲线H2至H4中的每一个所示。

因此，成像模糊抑制处理单元13根据运动速度修改成像模糊的转移函数的属性，求得具有修改后属性的转移函数H的反函数inv(H)，并且利用反函数inv(H)执行对上述式(2)的计算处理，由此可以实现本发明的目的，即除去(抑制)成像模糊。

作为替代，上述式(2)是频域计算，以实现本发明的目的，成像模糊抑制处理单元13可以执行与上述式(2)中的计算处理等价的对空间域的处理。具体而言，成像模糊抑制处理单元13例如可以执行诸如以下第一至第三处理的处理。

第一处理是根据从成像模糊属性检测单元12提供的感兴趣的像素的运动速度对示出感兴趣的像素的成像模糊的移动平均滤波器(低通滤波器)的属性进行变换的处理。具体而言，例如，第一处理的一个示例是如下处理：其中，针对多个运动速度中的每一个每次预先准备一个移动平均滤波器，并且从多个移动平均滤波器中选择与感兴趣的像素的运动速度相对应的一个移动平均滤波器。

第二处理是由以下处理2-1至2-3组成的处理。

处理2-1是如下处理：其中，通过对属性经第一处理变换的移动平均滤波器执行傅立叶变换，将其移动平均滤波器显示为频率。具体而言，例如在感兴趣的像素的运动速度是2、3、4[像素/帧]的各个情况下，用于获得图4中的各个曲线H2至H4的处理是处理2-1。就是说，为了在频域中对其进行考虑，用于求得感兴趣的像素的成像模糊的转移函数H的处理是处理2-1。注意到此后处理2-1将被称为频率变换处理。

处理2-2是用于计算利用频率变换处理(处理2-1)被显示为频率的移动平均滤波器的反数(inverse number)的处理。就是说，处理2-2是如下处理，该处理根据频域生成在上述式(2)中示出的成像模糊的转移函数H的反函数inv(H)。注意到此后处理2-2将被称为反函数生成处理。

处理2-3是对利用反函数生成处理(处理2-2)计算出的反函数inv(H)(即被显示为频率的移动平均滤波器的反数)执行反向傅立叶变换的处理。就是说，用于生成与反函数inv(H)相对应的高通滤波器(维纳滤波器)的处理是处理2-3。用于生成移动平均滤波器的反向滤波器(inversefilter)的处理是处理2-3。注意到利用处理2-3生成的高通滤波器被称为反向移动平均滤波器。换言之，用于把用频域表示的反向移动平均滤波器变换为空间域的滤波器的处理是处理2-3。因此，此后处理2-3将被称为与频率变换处理(处理2-1)相对应的频率反向变换处理。

第三处理是如下处理：输入与频域的上述式(2)的信号G相对应的空间域的成像模糊之后的图像信号g作为输入图像，并且对图像信号g应用由频率反向变换处理(处理2-3)生成的反向移动平均滤波器。利用第三处理，与频域的上述式(2)的信号F相对应的空间域的成像模糊之前的图像信号f被恢复(预测计算)。具体而言，第三处理例如是如下处理：其中，通过对所要处理的帧中包括感兴趣的像素的预定块应用反向移动平均滤波器，感兴趣的像素的像素值被校正。

图5中示出了可以执行第一至第三处理的成像模糊抑制处理单元13的功能配置的示例。就是说，图5示出了成像模糊抑制处理单元13的功能配置的示例。

对于图5的示例中的成像模糊抑制处理单元13，向其提供了移动平均滤波器属性变换单元21、反向移动平均滤波器生成单元22以及反向移动平均滤波单元23。

移动平均滤波属性变换单元21执行上述第一处理。反向移动平均滤波生成单元22执行上述第二处理。反向移动平均滤波单元23执行上述第三处理。

就是说，反向移动平均滤波器生成单元22例如可以具有诸如图6中所示的功能配置。在图6的反向移动平均滤波生成单元22上设有频率变换单元31、反函数生成单元32以及频率反向变换单元33。

属性经移动平均滤波器属性变换单元21变换的移动平均滤波器被作为输入信号T0输入，输入信号T0是针对频率变换单元31的空间域信号。因此，频率变换单元31对输入信号T0执行上述频率变换处理，并且输出由此得到的指示出成像模糊的转移函数H的信号T1。

注意到，信号T1是利用先前设置数目的抽头采样的信号。因此，相同数目的抽头也被输入到执行上述频率反向变换处理的频率反向变换单元33中。

反函数生成单元32对信号T1执行上述反函数生成处理，并且生成并输出与由此得到的反函数inv(H)相对应的信号U1。

频率反向变换单元33对信号U1执行上述频率反向变换处理，示出反向移动平均滤波器的信号T3由此被生成并输出。与信号T3相对应的反向移动平均滤波器被输入到图5的反向移动平均滤波单元23中，并被用于执行上述第三处理。

本发明现在提出了生成反函数的特定方法。反函数由此基于原始模糊图像和点扩展函数、基于频域中的迭代算法被生成。更具体地说，在向低通滤波器T0应用傅立叶变换之后，点扩展函数T1被得到。基于迭代算法，反向点扩展函数U1被生成，并且在向反向点扩展函数U1应用反向傅立叶变换之后，反向滤波器T3被得到。

一种利用时间信息和迭代来减少静态图像中的运动模糊的已知方法例如是Richardson-Lucy算法。但是该算法在被应用于运动图像时非常复杂，因此当把该算法集成到相应芯片设计中时非常昂贵。

本发明因而提出了基于Richardson-Lucy算法的迭代算法，该算法可被应用于运动图像并且同时可被容易地集成到甚至低资源设备中。

Richardson-Lucy算法基于以下公式：

$\left(3\right):{\hat{f}}_j^{(t+1)}={\hat{f}}_j^{\left(t\right)}x{\mathrm{\Σ}}_i(g_i/{g^{\′}}_i)\mathrm{\χ}{h}_{\mathrm{ij}}$

${g^{\′}}_i={\mathrm{\Σ}}_j{\hat{f}}_j^{\left(t\right)}\mathrm{\χ}{h}_{\mathrm{ij}}$

为了向运动图像应用该公式，该公式曾被变换以在频域中应用，并且迭代算法基于以下表达式：

$\left(4\right):{\hat{F}}^{(t+1)}=F^{\left(t\right)}+(G-G^{\′})\mathrm{\χH}$

$G^{\′}={\hat{F}}^{\left(t\right)}\mathrm{\χH\χH}$

${\hat{F}}^{\left(0\right)}=G$

这里，如先前说明的，H表示点扩展函数，G表示模糊图像增益函数，并且F表示原始图像增益函数。指数t指示迭代周期。

下面，将参考图7说明反函数生成单元的不同组件，并且将参考图9说明书相应的步骤。

在步骤S 10中，点扩展函数H和原始模糊图像G被得到。如从以上公式可见，算法是迭代的并且每个F^t+1基于前一F^t。对于F^t＝0的情况，即对于初始的F^t，F对应于G。这也在图7中示出。因此，仅在第一迭代步骤中原始模糊图像G被馈送给在后续迭代步骤中前一F^t(即前一迭代步骤的F^t)所被提交给的那些组件。在每个后续迭代步骤中，在从前一迭代步骤得到新的F^t之后，该F^t被馈送给各个组件。

相应地，当开始迭代时，F^t＝0和点扩展函数H被提交给第一乘法器41。在步骤S11中，点扩展函数H被乘以F^t，其中如所说明F^t＝0＝G。由此第一乘法结果M1被得到并被提交给第二乘法器42。

在下一步骤S12中，第一乘法结果M1被再次乘以点扩展函数H，并且中间结果G′由此被得到。

中间结果G′和G被提交给减法单元43。在下一步骤S 13中，减法单元计算中间结果与原始模糊图像G之间的差异，并且差异“diff”被得到并输出到第三乘法器44。点扩展函数也被提交给第三乘法器44。

在下一步骤S14中，在第三乘法器44中差异diff被乘以点扩展函数H，并且第二乘法结果M2由此被得到。第二乘法结果M2和F^t被提交给加法单元45。

在下一步骤S15中，第二乘法结果M2被添加到F^t以获得F^t+1，其中对于F^t＝0的情况再次定义F^t＝0＝G。

步骤S16中的加法单元45的结果然后被输出为F^t+1。在下一步骤S17中，检查迭代是否结束。如果不是该情况，那么先前输出的F^t+1在步骤S18中被用作新的F^t，并且被馈送回第一乘法器41以及加法单元45，其中该F^t被使用而非原始模糊图像G被使用。处理然后以步骤S11中由第一乘法器进行的点扩展函数与F^t的相乘再次开始。

或者，如果在步骤S17中判定迭代完成，那么在下一步骤S19中F^t+1被输出为最终结果并且反函数生成结束。

当参考图8说明本发明时，本发明及其优点将变得更加清楚，在图8中示出了反函数生成单元的组件的每个输出信号的频率属性的不同示例。在频域中示出了不同信号。在此，在x轴上示出了频率，并且在y轴上示出了增益。

原始模糊图像G被示出为具有点的线。中间结果G′被示出为具有方块的线。当迭代算法被开始时，然后在图中被示出为虚线的作为反函数F的第一结果被得到。利用后续迭代，反函数F将变换为用F_final指示出并且在图8中示出为虚点线的曲线。图8中还示出了理想的反向滤波器曲线I。

为了获得良好结果，反函数不超过反向滤波器曲线I是重要的。如从根据本发明的算法可见，最终结果F将部分地变换为反向滤波结果但是不超过该结果。

对于本发明，通过利用频域中的迭代算法，例如通过使Richardson-Lucy算法缩减为能够将其应用于运动图像并能将其集成到低能力芯片中，因而可以保持对噪声的鲁棒性并实现没有副作用的精确性。

另外，最后，通过使用具有如下配置的成像模糊抑制处理单元13可以实现上述优点。换言之，成像模糊抑制处理单元13仅仅是具有如下配置的图像处理设备的至少一部分的示例。

就是说，对于所要处理的存取单位，如果图像处理设备通过如下操作来校正所要处理的存取单位，那么可以实现上述优点，所述操作包括：根据示出在利用视频拍摄设备拍摄运动图像时发生的成像模糊的属性的参数值来改变指示出成像模糊的低通滤波器的属性，生成具有针对低通滤波器的相反属性的反向滤波器，并且执行对所要处理的存取单位应用反向滤波器的处理，其中，在指示出成像模糊的低通滤波器的频率属性为零的频率是零点的情况下，对于所要处理的频率分量中包括零点的预定频率分量，禁止执行用于应用反向滤波器的处理。

作为本发明所应用于的图1中的图像处理设备1的成像模糊抑制处理单元13的一个实施例，已经描述了具有图5中的功能配置的成像模糊抑制处理单元13。

在执行针对每个像素值的像素值校正的情况下，成像模糊抑制处理单元13使用运动速度(运动向量的绝对值)作为上述示例的参数，但是除了运动速度之外可以使用任意参数，只要该参数指示出成像模糊属性即可。

具体而言，成像模糊抑制处理单元13例如可以使用拍摄所要处理的运动图像时的相机快门速度，作为指示出成像模糊属性的参数。这是因为，如果快门速度不同，那么成像模糊程度相差同一示图中的相同时间量，例如如图10所示。

就是说，在图10中，上侧的示图示出了在快门速度是1/30秒(其与帧速率相同)情况下的示图，并且下侧的示图示出了在快门速度比帧速度早(1/30-Ts)秒的情况下的示图。对于图10中的两个示图，水平轴示出了时间轴，并且垂直轴示出了快门开放时间的变化率(rate)。在快门速度是V[秒]的情况下(V是0或者大于0的任意值)，快门开放时间的变化率例如是由(Ta/V)倍100[％]表示的变化率，打开快门的第一时间点的变化率是0％，从第一时间点开始到已经过去V[秒]为止的关闭快门的第二时间点的变化率是100％，并且从第一时间点开始到当前时间点为止的时间为Ta[秒](Ta是0或者大于0并且等于或者小于V的任意正值)。在这种情况下，对于图10中两个图的垂直轴，达到时间轴的值变为100[％]，并且最大值(每条线的最高位置上的值)变为0[％]。就是说，对于图10中的两个图的垂直轴，在垂直轴上的位置越低，快门开放时间的变化率变得越大。

例如，假定相机的一个检测元件对应于帧内的一个像素。在这种情况下，如图10的上侧示图所示，当快门速度是1/30秒时，快门开放的1/30秒期间的输入光的累计值被从相机的一个检测元件输出为对应像素的像素值。

相反地，在快门速度是(1/30-Ts)秒的情况下，快门开放的(1/30-Ts)秒期间的输入光的累计值被从相机的一个检测元件输出为对应像素的像素值。

就是说，快门速度对应于光在检测元件中累积的时间。因此，例如在有对象在预定检测元件前面的真实空间中穿过的情况下，与对应于对象的光不同的光(例如背景光)被输入Ts[秒]的时间量，当快门速度是1/30秒而非(1/30-Ts)秒时尤其如此。因此，与快门速度为(1/30-Ts)秒时相比，把诸如背景光之类的与对象的光不同的光的累积值结合在从一个检测元件中输出的像素值中的比率在快门速度为1/30秒时更大。结果，成像模糊的程度更大。

综上，快门速度变得越慢，成像模糊的程度变得越大。就是说，可以说快门速度指示出成像模糊的一个属性。因此，快门速度与运动速度一样可被用作指示出成像模糊属性的参数。

注意到，在这种快门速度被用作指示出成像模糊属性的参数的情况下，图1中的成像模糊属性检测单元12对附加于提供自高帧速率变换单元11的运动图像(数据)的头部信息等进行分析(例如，每个帧的快门速度被检测)，并且这些信息可以作为用于指示出成像模糊属性的参数而被提供给成像模糊抑制处理单元13。成像模糊抑制处理单元13例如利用快门速度代替运动速度来执行上述的一系列处理，由此可以适当地校正每个像素值。使用快门速度的情况下的成像模糊抑制处理单元13的配置可以采用与使用运动速度的情况下的配置基本相同的配置。就是说，如上所述的具有图5中的功能配置的成像模糊抑制处理单元13可以利用快门速度作为参数值来执行上述的一系列处理，从而适当地校正每个像素值。

以上描述是针对作为本发明所应用于的图像处理设备的一个实施例的、具有图1所示功能配置的图像处理设备1给出的，但是本发明不限于图1的示例，而是可以采用其各种其他实施例。

具体而言，例如在图11至图14中的每一个中示出了本发明所应用于的图像处理设备的其他实施例的功能框图。例如，与图1中的图像处理设备1类似，图11中的图像处理设备101由高帧速率变换单元11、成像模糊属性检测单元12和成像模糊抑制处理单元13组成。

然而，对于图11中的图像处理设备101，将经受利用成像模糊抑制处理单元13进行的校正处理的运动图像是图像处理设备101的输入运动图像，即利用高帧速率变换单元11执行高帧速率变换处理之前的运动图像。因此，成像模糊属性检测单元12也从利用高帧速率变换单元11执行高帧速率变换处理之前的运动图像中检测指示出成像模糊属性的参数值，并且将其检测结果提供给成像模糊抑制处理单元13。

因此，图11中的图像处理设备101的图像处理变为图3中的图像处理的处理，其中处理步骤S1、S3、S4、S2和S5中的每一个被依次执行。

另外，与图1中的图像处理设备1和图11中的图像处理设备101类似，图12中的图像处理设备102例如由高帧速率变换单元11、成像模糊属性检测单元12和成像模糊抑制处理单元13组成。

对于图12中的图像处理设备102，与图1中的图像处理设备1类似，将经受利用成像模糊抑制处理单元13进行的校正处理的运动图像是由高帧速率变换单元11对输入运动图像执行高帧速率变换处理而得到的运动图像。就是说，成像模糊抑制处理单元13对执行高帧速率变换处理之后的运动图像执行校正处理。

然而，图12中的图像处理设备102的成像模糊属性检测单元12从输入运动图像中即从利用高帧速率变换单元11执行高帧速率变换处理之前的运动图像中检测指示出成像模糊属性的参数值，并且将其检测结果提供给成像模糊抑制处理单元13。就是说，图12的图像处理设备102中的成像模糊抑制处理单元13使用从执行高帧速率变换处理之前的运动图像中检测到的参数值，并且校正像素值中的每一个。

综上，图12中的图像处理设备102的图像处理也变为将按照与图3中的图像处理类似的流程来执行的处理，即步骤S1、S2、S3、S4和S5中的每一个被依次执行。然而，对于步骤S3中的处理，可以说该处理用于“从执行高帧速率变换处理之前的运动图像中即从组成步骤S1中的处理的运动图像输入的每个帧中检测指示出成像模糊属性的参数值”。

与图11中的图像处理设备101和图12中的图像处理设备102相比，图13中的图像处理设备112和图14中的图像处理设备131由高帧速率变换单元11和成像模糊抑制处理单元13组成，并且成像模糊属性检测单元12不被包括在其组件中。

就是说，如图13和图14中所示，成像模糊属性检测单元12在另一图像处理设备111(此后称为图像信号生成设备111以匹配图中的描述)中与叠加部分121一起提供。图像信号生成设备111中的运动图像输入被提供给成像模糊属性检测单元12和叠加部分121。成像模糊属性检测单元12从这里的运动图像中检测指示出成像模糊属性的参数值，并且将其提供给叠加部分121。叠加部分121向运动图像叠加指示出成像模糊属性参数值，并且输出由此得到的信号。

因此，叠加有指示出成像模糊属性的参数值的运动图像(信号)被从图像信号生成设备111提供给图13中的图像处理设备112和图14中的图像处理设备131。

因此，例如对于图13中的图像处理设备112，成像模糊抑制处理单元13使指示出成像模糊属性的参数值与运动图像相分离，并且针对组成分离出的运动图像的每个帧、基于分离出的指示出成像模糊属性的参数值来校正每个像素值。

接着，高帧速率变换单元11对利用成像模糊抑制处理单元13校正后的运动图像执行高帧速率变换处理，并且由此得到的运动图像即经受了高帧速率变换和校正的运动图像被输出。

因此，图13中的图像处理设备112的图像处理变为图3中的图像处理的处理，其中步骤S1、S4、S2和S5中的每一个处理被依次执行。

例如，对于图14中的图像处理设备131，高帧速率变换单元11使指示出成像模糊属性的参数值与运动图像相分离，使分离出的运动图像经受高帧速率变换处理，并且将由此得到的运动图像即被变换为高帧速率的运动图像提供给成像模糊抑制处理单元13。此时，利用高帧速率变换单元11分离出的指示出成像模糊属性的参数值也将被提供给成像模糊抑制处理单元13。

接着，成像模糊抑制处理单元13针对组成被变换为高帧速率的运动图像的每个帧、基于指示出成像模糊属性的参数值来校正每个像素值，并且输出由此得到的运动图像，即经受了校正并且被变换为高帧速率的运动图像。

现在，上述的一系列处理(或者其处理的一部分)可以利用硬件来执行，但是也可以利用软件来执行。

在这种情况下，图1中的图像处理设备1的全部或其一部分(例如成像模糊抑制处理单元13等)、图11中的图像处理设备101的全部或者其一部分、图12中的图像处理设备102的全部或者其一部分、图13中的图像处理设备112的全部或者其一部分以及图14中的图像处理设备131的全部或者其一部分例如是利用诸如图15所示计算机的计算机构成的。

在图15中，CPU(中央处理单元)201根据ROM(只读存储器)202中记录的程序或者从存储单元208加载在RAM(随机存取存储器)203中的程序来执行各种类型的处理。用于执行各种类型的处理的CPU 201的数据被视情况存储在RAM 203中。

CPU 201、ROM 202和RAM 203经由总线204相互连接。总线204还被连接到输入/输出接口205。输入/输出接口205被连接到由键盘、鼠标等组成的输入单元206、由显示器等组成的输出单元207、由硬盘等组成的存储单元208以及由调制解调器、终端适配器等组成的通信单元209。通信单元209执行经由包括因特网在内的网络与其他图像处理设备的通信处理。输入/输出接口205还被视情况连接到驱动器210，由磁盘、光盘、磁光盘或半导体存储器等组成的可移动记录介质311被视情况安装到驱动器210，并且从中读出的计算机程序被视情况安装在存储单元208中。

在所述一系列处理将由软件执行的情况下，组成软件的程序被从网络或者记录介质安装到构建为专用硬件的计算机或者可以通过安装各种类型的程序来执行各种类型的功能的通用个人计算机中。

包括这种程序的记录介质不限于由从主设备单元单独分发以向用户提供程序的诸如磁盘(包括软盘)、光盘(包括CD-ROM(光盘一只读存储器)、DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或者半导体存储器之类的记录有程序的可移动记录介质(封装介质)211组成，而是也由在预先内建于主设备单元的状态下被提供给用户的记录有程序的ROM 202或者存储单元208中包括的硬盘组成。

注意到，对于本说明书，描述在记录介质上记录的程序的步骤包括以时间序列方式根据其顺序执行的处理，但是不一定限于时间序列方式的处理，而是还包括将并行地或者单独地执行的处理。

另外，如上所述，对于本说明书，术语“***”指由多个处理设备或处理单元构成的设备的整体。

另外，对于在上述实施例中执行的高帧速率变换处理，输入视频信号的第一帧速率(帧频率)和输出视频信号的第二帧速率(帧频率)的组合并不特别受限，而是可以是其任意组合。具体而言，例如，60(或者30)[Hz]可被用作输入视频信号的第一帧速率，并且120[Hz]可被用作输出视频信号的第二帧速率。例如，60(或者30)[Hz]可被用作输入视频信号的第一帧速率，并且240[Hz]可被用作输出视频信号的第二帧速率。另外，例如，对应于PAL(逐行倒相)方法的50[Hz]可被用作输入视频信号的第一帧速率，并且100[Hz]或者200[Hz]可被用作输出视频信号的第二帧速率。另外，对应于电视电影的48[Hz]可被用作输入视频信号的第一帧速率，并且比其更大的预定频率可被用作输出视频信号的第二帧速率。

注意到，通过利用上述各种实施例对源自根据现有技术的电视方法的输入视频信号执行高帧速率变换处理，根据现有技术的内容可被高质量地显示。

本***、方法和计算机程序产品可专门在在无频闪显示设备中显示图像时使用，无频闪显示设备特别是液晶显示面板(LCD)、薄膜晶体管显示器(TFT)、色序显示器、等离子显示面板(PDP)、数字微镜器件或者有机发光二极管(OLED)显示器。

为了例示和描述目的而提供了对本发明优选实施例的以上描述。其并非旨在穷尽无遗或者将本发明限于所公开的精确形式。许多修改和变更对本领域技术人员将是显而易见的。实施例是为了最好地描述本发明的原理及其实际应用而选择和描述的，从而使得本领域技术人员能够理解本发明，适于特定用途的各种实施例和各种修改被预期到。

虽然以特定于结构特征和/或方法步骤的语言描述了本发明，但是将会明白，在所附权利要求中定义的本发明不一定限于所描述的具体特征或步骤。相反，具体特征和步骤被公开为实现所要求保护的发明的优选形式。本领域技术人员应该明白，根据设计要求以及其他因素可以发生各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

Claims (11)

1.一种图像处理方法，用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理，其中在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊由示出该成像模糊的属性的相应低通滤波器表示，所述方法包括以下步骤：

生成具有针对所述低通滤波器的相反属性的反向滤波器，以及

执行将所述反向滤波器应用于所要处理的所述存取单位的处理，其中所述生成反向滤波器的步骤包括基于原始模糊图像和点扩展函数的频域中的迭代算法。

2.如权利要求1所述的方法，其中所述生成步骤包括：

向所述低通滤波器应用傅立叶变换从而得到所述点扩展函数，

通过所述迭代算法生成反向点扩展函数，以及

向所述反向点扩展函数应用反向傅立叶变换以得到所述反向滤波器。

3.如权利要求1所述的方法，其中所述迭代算法基于Richardson-Lucy算法。

4.如权利要求1所述的方法，其中所述迭代算法包括以下步骤：

将点扩展函数H和前一迭代步骤的增益函数Ft相乘以得到第一乘法结果M1，其中在第一迭代周期中Ft对应于模糊图像增益函数G，

将所述第一乘法结果M1和所述点扩展函数H相乘以得到中间结果G′，

计算G与G′之间的差异，

将所述点扩展函数H和G与G′之间的差异相乘从而得到第二乘法结果M2，

将所述第二乘法结果M2添加到F^(t)以得到F^(t+1)，以及

重复先前步骤从而将F^(t+1)用作新的F^(t)。

5.如在先权利要求中任一项所述的方法，其中所述迭代算法基于以下表达式：

$\left(4\right):{\hat{F}}^{(t+1)}=F^{\left(t\right)}+(G-G^{\′})\mathrm{\χH}$

$G^{\′}={\hat{F}}^{\left(t\right)}\mathrm{\χH\χH}$

${\hat{F}}^{\left(0\right)}=G$

其中H表示所述点扩展函数，G表所述模糊图像增益函数，F表示原始图像增益函数，并且指数t表示迭代周期。

6.一种图像处理设备，用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理，其中在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊由示出该成像模糊的属性的相应低通滤波器表示，所述设备包括：

反向移动平均滤波器生成单元，用于生成具有针对所述低通滤波器的相反属性的反向滤波器，以及

成像模糊抑制处理单元，用于执行将所述反向滤波器应用于所要处理的所述存取单位的处理，

其中所述反向移动平均滤波器生成单元适用于根据基于原始模糊图像和点扩展函数的频域中的迭代算法来确定所述反向滤波器。

7.如权利要求6所述的设备，其中所述反向移动平均滤波器生成单元包括：

频率变换单元，用于向所述低通滤波器应用傅立叶变换从而得到所述点扩展函数，

反函数生成单元，用于通过所述迭代算法生成反向点扩展函数，以及

频率反向变换单元，用于向所述反向点扩展函数应用反向傅立叶变换以得到所述反向滤波器。

8.如权利要求6所述的设备，其中所述反函数生成单元适用于实现以下步骤：

将点扩展函数H和前一迭代步骤的增益函数Ft相乘以得到第一乘法结果M1，其中在第一迭代周期中Ft对应于模糊图像增益函数G，

将所述第一乘法结果M1和所述点扩展函数H相乘以得到中间结果G′，

计算G与G′之间的差异，

将所述点扩展函数H和G与G′之间的差异相乘从而得到第二乘法结果M2，

将所述第二乘法结果M2添加到F^(t)以得到F^(t+1)，以及

重复先前步骤从而将F^(t+1)用作新的F^(t)。

9.如权利要求6至8中任一项所述的设备，其中所述反函数生成单元适用于使所述迭代算法基于以下表达式：

$\left(4\right):{\hat{F}}^{(t+1)}=F^{\left(t\right)}+(G-G^{\′})\mathrm{\χH}$

$G^{\′}={\hat{F}}^{\left(t\right)}\mathrm{\χH\χH}$

${\hat{F}}^{\left(0\right)}=G$

其中H表示所述点扩展函数，G表所述模糊图像增益函数，F表示原始图像增益函数，并且指数t表示迭代周期。

10.一种图像处理设备，用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理，其中在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊由示出该成像模糊的属性的相应低通滤波器表示，所述设备包括：

反向移动平均滤波器生成装置，用于生成具有针对所述低通滤波器的相反属性的反向滤波器，以及

成像模糊抑制处理装置，用于执行将所述反向滤波器应用于所要处理的所述存取单位的处理，

其中所述反向移动平均滤波器生成装置适用于根据基于原始模糊图像和点扩展函数的频域中的迭代算法来确定所述反向滤波器。

11.一种存储在计算机可读介质上的计算机程序产品，用于以存取单位为增量对由预定视频拍摄设备拍摄的运动图像进行处理，其中在利用所述视频拍摄设备拍摄所述运动图像时发生的成像模糊由示出该成像模糊的属性的相应低通滤波器表示，所述计算机程序使计算机执行以下步骤：

生成具有针对所述低通滤波器的相反属性的反向滤波器，以及

执行将所述反向滤波器应用于所要处理的所述存取单位的处理，其中所述生成反向滤波器的步骤包括基于原始模糊图像和点扩展函数的频域中的迭代算法。

Images