CN103888663A - 图像处理设备、图像拾取设备和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理设备、图像拾取设备和图像处理方法。该图像处理设备包括存储器（108），被配置为存储在输入图像中生成特定模糊成分的特定图像拾取条件的信息，该输入图像是通过使用光学***（101）进行图像捕获而产生的，所述特定模糊成分是由所述光学***导致的；图像拾取条件获取器（104），被配置为获取捕获输入图像时的实际图像拾取条件的信息；以及处理器（104），被配置为在实际图像拾取条件与特定图像拾取条件一致时执行模糊检测处理，以检测输入图像中包含的特定模糊成分。

Description

图像处理设备、图像拾取设备和图像处理方法

技术领域

本发明涉及对于由诸如数字静物照相机和视频照相机的图像拾取设备通过图像捕获而获取的图像执行的图像处理技术。

背景技术

常规上已经提出了对于通过图像捕获而获取的图像（捕获图像）执行的各种电子图像处理技术。例如，日本专利特开No.2011-187208公开了一种图像处理技术，该技术用于识别捕获图像中的人物的脸部，以对于脸部之外的其它区域进行描绘或模糊化，或者对脸部周围的区域进行修剪。另外，日本专利No.2004-145287公开了一种图像处理技术，该技术使用关于捕获图像的信息以及关于执行用于获取捕获图像的图像捕获的图像拾取条件的信息，来进行处理所需的确定。另外，日本专利特开No.2011-44825公开了一种图像处理技术，该技术获取关于与捕获图像中所包含的物体的距离（物体距离）的信息，并且使用根据物体距离而不同的图像恢复滤波器对其执行图像恢复处理。

通过光学***利用图像捕获而获取的捕获图像大部分包括由于光学***的成像性能（诸如，像差和衍射）导致的劣化。在包括诸如点光源的物体的未合焦（out-of-focus）区域中，由于成像性能而生成稍后将描述的不均匀模糊（周边模糊或高非对称性模糊）。希望通过图像处理来去除或减小这种不均匀模糊。

但是，在图像处理中难以准确地将光学***的成像性能所导致的未合焦区域中生成的不均匀模糊与具有不均匀形状的物体区分开。这样的困难可能使得包含不均匀形状的物体的区域被错误地检测为包含不均匀模糊的区域，并且可能使得在被错误检测的区域上执行图像处理，由此提供与所希望的捕获图像的不同的图像。日本专利特开No.2011-187208、2004-145287和2011-44825均没有公开高准确度地检测不均匀模糊的方法。

发明内容

作为其一个方面，本发明提供了一种图像处理设备，该图像处理设备包括存储器，被配置为存储关于特定图像拾取条件的信息，在该特定图像拾取条件下，在通过使用光学***进行图像捕获而产生的输入图像中生成特定模糊成分；所述特定模糊成分是由所述光学***导致的，图像拾取条件获取器，被配置为获取关于捕获输入图像时的实际图像拾取条件的信息，和处理器，被配置为当实际图像拾取条件与所述特定图像拾取条件一致时执行模糊检测处理以检测输入图像中包含的特定模糊成分。

作为其另一方面，本发明提供了一种图像拾取设备，包括图像拾取***和上述图像处理设备，该图像拾取***被配置为使用光学***执行图像捕获以产生输入图像。

作为其另一方面，本发明提供了一种图像处理方法，包括获取通过使用光学***进行图像捕获而产生的输入图像，提供关于特定图像拾取条件的信息，在该特定图像拾取条件下，在该输入图像中生成特定模糊成分；所述特定模糊成分是由所述光学***导致的，获取关于捕获输入图像时的实际图像拾取条件的信息，以及当实际图像拾取条件与所述特定图像拾取条件一致时执行模糊检测处理以检测输入图像中包含的特定模糊成分。

从下文参照附图描述的实施例，本发明的其它方面将是清楚的。

附图说明

图1A至1I示出了不均匀模糊的示例，作为本发明的一个实施例的图像处理设备（图像处理方法）对于该不均匀模糊执行图像处理。

图2示出不均匀模糊。

图3示出生成不均匀模糊的区域。

图4是示出本发明的各实施例公同的处理的流程图。

图5示出使用图像拾取条件的确定的示例。

图6示出使用图像拾取条件的确定的另一示例。

图7A至7C示出距离图。

图8A和8B示出输入图像中的不均匀模糊检测区域。

图9A至9D示出子午方向上的不均匀模糊的对称性。

图10是示出输入图像中包含的不均匀模糊的视图。

图11是示出要预先准备的不均匀模糊形状的视图。

图12A和12B是示出比较所准备的模糊形状数据与被检测的不均匀模糊的方法的视图。

图13是示出根据本发明的实施例1的图像处理设备的处理的流程图。

图14是示出实施例1的图像处理设备的配置的框图。

图15是示出作为本发明的实施例2的图像处理设备的处理的流程图。

图16A至16C示出实施例2中的多个图像的获取。

图17示出本发明的实施例2的图像处理设备的配置。

图18是示出作为本发明的实施例3的图像处理设备的处理的流程图。

图19是示出实施例3的图像处理设备的配置的框图。

具体实施方式

下文将参照附图描述本发明的示例性实施例。

首先，在描述具体实施例之前，将描述实施例中要使用的术语的定义。

“输入图像”

输入图像是通过使用由诸如CCD传感器或CMOS传感器的图像传感器（图像拾取元件）对物体图像的光电转换所获得的图像拾取信号而产生的数字图像；物体图像是通过图像获取光学***形成的，图像捕获光学***被提供给图像拾取设备（诸如，数字静物照相机或视频照相机）。输入图像由于包括透镜和各种滤光器的图像获取光学***的像差（即，图像捕获光学***的光学传递函数（OTF））而劣化。光学***可由除透镜之外的反射表面（诸如均具有曲面的反射镜）构成。

输入图像具有关于诸如RGB成分的颜色成分的信息。颜色成分还可由除RGB之外的在常用颜色空间（诸如，LCH（明亮度、色度和色调）、YCbCr、颜色差异信号、XYZ、Lab、Yuv和JCh）中选择的一个表示，或者可由色温表示。

此外，输入图像可设有关于图像拾取条件的信息，包括图像捕获光学***的焦距、其光圈值（F数）、图像拾取距离（物距）等，以及设有将用于输入图像的校正的各种校正信息。当在接收来自图像拾取设备的输入图像的图像处理设备中执行输入图像的校正时，希望将图像拾取条件信息和校正信息作为附加信息添加到输入图像中。

[不均匀模糊（uneven blur）]

在实施例中，由于图像捕获光学***的成像性能而在未合焦区域中生成的被不均匀模糊化的图像被称为“不均匀模糊”。通过图像传感器对不均匀模糊的光电转换而在输入图像中包含的图像成分被称为“不均匀模糊成分”，其是特定模糊成分。在下文的描述中，不均匀模糊成分还被简称为“不均匀模糊”。

将参照图1A至1I详细描述不均匀模糊。例如，在图1A中所示的不均匀模糊存在于输入图像中的情况下，不均匀模糊的在长轴方向上的长度a和不均匀模糊在短轴方向上的长度b被计算。长轴方向是对应于模糊的在图中由M表示的子午方向上的长度和模糊的在图中由S表示的弧矢方向上的长度之中的较长长度的方向。短轴方向是对应于模糊的在子午方向上的长度和模糊的在弧矢方向上的长度之中的较短长度的方向。另外，子午方向是连接输入图像的中心与不均匀模糊的形心（centroid）的方向，并且弧矢方向是垂直于子午方向的方向。

接下来，如图1B所示，绘制了椭圆，椭圆的中心位于不均匀模糊的形心（centroid）并且该椭圆具有长度为a的长轴和长度为b的短轴。然后，如图1C所示，计算图1B中所示的椭圆与图1A中所示的不均匀模糊之间的面积差。

作为另一计算，在子午方向和弧矢方向上，计算模糊的每个像素的在长轴方向上的长度A以及该该像素的在短轴方向上的长度B。长度A的最大值由Amax表示。长度B的最大值由Bmax表示。接下来，绘制椭圆，该椭圆的中心位于模糊的形心，并且该椭圆具有长度为Amax的长轴以及长度为Bmax的短轴。然后，计算椭圆与模糊之间的面积差。

模糊是均匀的还是不均匀的可由观看模糊的观看者是否感到不自然来定义。例如，具有作为上述面积差的与椭圆的为10%或更大的面积差的模糊可被定义为不均匀模糊。即，与椭圆的面积的差低于10%的模糊可被定义为均匀模糊。作为另一示例，具有作为上述面积差的与椭圆的为20%或更大或30%或更大的面积差的模糊可被定义为不均匀模糊，并且与椭圆的面积差低于20%或30%的模糊可被定义为均匀模糊。

接下来，将描述模糊面积的计算。例如，在亮度信号被作为8比特信号存储的情况下，亮度信号的值（亮度信号值）在0到255的范围中。阈值可被设定以对超过该阈值的像素的数目求积分，并且将积分像素数目看做模糊的面积。在考虑了去除噪声的影响的必要性或者考虑了亮度饱和像素中的不可见模糊的存在的情况下，0和255之间的中间亮度信号值可被采用作为阈值。

另外，将描述生成不均匀模糊的像素区域（不均匀模糊区域）的确定。类似于模糊的面积，在确定中，为了避免噪声影响，阈值被设定为大于0。例如，在亮度信号被作为8比特信号存储的情况下，亮度信号值为30或更大的区域可被看做不均匀模糊区域。

图1D和1G所示的模糊也是不均匀模糊。图1A所示的不均匀模糊包括图1B所示的椭圆。但是，不均匀模糊可以是被图1E所示的椭圆包围的类似于图1D所示的模糊的模糊。此情况中的面积差在图1F中示出。另外，如图1G所示，由于衍射导致的具有环状的模糊也是不均匀模糊。模糊被包含在图1H中示出的椭圆中。在此情况中的面积差在图1I中被示出。

另外，具有除图1A、1D和1G中所示的模糊的形状之外的形状的模糊也是不均匀模糊；例如，通过向图1G中所示的衍射导致的模糊添加图1A或1D所示的像差导致的模糊而形成的模糊也是不均匀模糊。即，只要模糊满足针对不均匀模糊的条件，则不管形状如何，该模糊都被看做不均匀模糊。例如，在子午方向和弧矢方向中的对应于模糊的长度中的较长长度的方向被定义为长轴方向，并且对应于长度中的较短长度的方向被定义为短轴方向的情况中，不均匀模糊所需要的条件是模糊的在长轴方向上的长度是其在短轴方向上的长度的1.3倍或更大。

另外，如图2所示，用于不均匀模糊的条件可以是模糊的在四个方向（0度、45度、90度和135度）上的被检测长度之中的最大长度与其中的最小长度的比率为1.3或更大。

[特定物体距离范围]

在实施例中，执行不均匀模糊检测处理的物体距离范围被称为“特定物体距离范围”。图3示出生成不均匀模糊的物体距离范围。在图3中，竖轴指示捕获图像（输入图像）中的与物体的物体距离，并且横轴指示图像捕获光学***聚焦的物体距离（合焦（in-focus）物体距离）。在非平面物体的图像捕获的情况下，捕获图像包含位于不同物体距离处的多个物体。在不同物体距离之中，图像捕获光学***聚焦于其上的物体的物体距离是合焦物体距离。输入图像中的包含位于合焦物体距离处的物体的图像区域是合焦图像区域。图3中的黑色区域均示出合焦物体距离。在合焦物体距离范围之外的物体距离范围是未合焦物体距离范围。对应于未合焦物体距离范围的图像区域是未合焦图像区域。不均匀模糊检测处理针对未合焦图像区域中的生成不均匀模糊的区域（即，对应于特定物体距离范围的区域）执行；该区域（以及特定物体距离范围）基于示出图像拾取条件的参数信息来被决定。参数信息（即，图像拾取条件信息）下文被称为“图像拾取条件参数信息”。

接下来，将参照图4中所示的流程图描述稍后描述的实施例中执行的不均匀模糊检测处理的基本内容（图像处理方法）。该处理由计算机根据作为计算机程序的图像处理程序来执行。

在步骤S101，计算机响应于在图像拾取设备的图像捕获光学***聚焦于物体上的情况下图像拾取设备中设置的快门按钮的用户半按下（half-press）（快门ON）而开始该处理。

在步骤S102，计算机获取在捕获输入图像时的图像拾取条件参数信息。捕获输入图像时的图像拾取条件参数信息被称为“实际图像拾取条件参数信息（实际图像拾取条件信息）”。图像拾取条件参数信息包括例如图像捕获光学***的焦距和F数（Fno），以及图像拾取距离（合焦物体距离）。例如，在焦距短且图像捕获光学***处于超焦距（pan-focus）状态的情况下，几乎不生成不均匀模糊。另外，响应于F数的改变，由于衍射的影响，不均匀模糊的形状改变。此外，响应于图像拾取距离的改变，生成不均匀模糊的物体距离改变。实际图像拾取条件参数信息可在快门按钮的按压之前或之后被获得。数字相机包括如下这样的相机，该相机响应于其快门按钮的半按下而执行聚焦操作然后响应于快门按钮的全按下（full press）而执行图像捕获（图像捕获操作）。在这样的数字相机中，由于图像拾取条件响应于快门按钮的半按下而被固定，因此图像拾取条件参数信息可在快门按钮的半按下时被获得。

接下来，在步骤S103，计算机确定在捕获输入图像时的图像拾取条件参数信息是否与在数据库中预先提供的特定图像拾取条件参数信息相一致，该特定图像拾取条件参数信息作为示出生成不均匀模糊时的图像拾取条件的参数信息。

这里将参照图5和表1描述特定图像拾取条件参数信息与实际图像拾取条件参数信息的一致性的确定，即不均匀模糊生成确定。如上所述，图像拾取条件参数信息包括图像捕获光学***的焦距和F数（Fno）以及图像拾取距离。

关于焦距，在广角侧的焦距和望远端附近的焦距处，不均匀模糊不太可能是明显的；但是在中间焦距处，不均匀模糊可能是明显的。其原因如下。在广角侧，图像捕获光学***变为超焦距状态，在该超焦距状态，整个捕获图像变为合焦图像区域，从而在未合焦图像区域中生成的不均匀模糊不太可能是明显的。另外，在望远端附近，图像捕获光学***的景深浅，因此物体距离的改变直接使得模糊增加，从而不均匀模糊不太可能是明显的。相反，在中间焦距处，图像捕获光学***没有变为超焦距状态，并且与望远端附近相比，物体距离的改变没有使模糊大地增加，从而不均匀模糊可能是明显的。

尽管由于衍射的影响，增大F数生成了环形模糊，但是像差的影响被减小，使得特殊形状的模糊不太可能是明显的。在图像拾取距离是近距离的情况下，与聚焦于无限远的情况相比，成像性能通常劣化，从而不均匀模糊不太可能是明显的。这样，由于不均匀模糊的生成程度（明显程度）依赖于诸如焦距、F数和图像拾取距离的图像拾取条件而改变，因此在不均匀模糊生成确定中使用图像拾取条件参数信息使得可减小错误检测。不均匀模糊生成确定可例如通过表1所示的方法来进行。即，该确定可通过如下操作来执行：预先提供数据表，该数据表存储对于各焦距、各F数以及各图像拾取距离的不均匀模糊的生成的存在（o）或不存在（×），并且将实际图像拾取条件与数据表进行比较。在实际图像拾取条件不是存储于数据表中的值而是存储值之间的中间值的情况下，数据表中的最接近该中间值的存储值可被使用。例如，在表1中，当图像拾取距离为5m时，可使用数据表的对于图像拾取距离3m的确定结果。当图像拾取距离为8m时，可使用数据表的对于图像拾取距离10m的确定结果。这还应用于其它图像拾取条件参数。

另外，如图6和表2所示，图像拾取条件参数信息可包括图像捕获光学***的散焦量。使用散焦量使得可进一步提高不均匀模糊的检测精度。

在实际图像拾取条件参数信息与特定图像拾取条件参数信息不一致的情况下，计算机不执行不均匀模糊检测处理。另一方面，在实际图像拾取条件参数信息与特定图像拾取条件参数信息一致的情况下，计算机获取稍后在步骤S104描述的距离图，然后执行不均匀模糊检测处理。

距离图是示出通过分割输入图像而设定的多个图像区域中的每一个中的物体距离的信息（即，输入图像中的物体距离分布的信息）的数据图。获取距离图的一个示例性方法是以相互不同的合焦物体距离执行多次图像捕获以获取多个图像，然后从多个图像中的每一个中提取合焦图像区域。该方法使得可提供示出输入图像中的被分割的图像区域中的每一个中的物体距离的距离图。另外，获取距离图的另一示例性方法是以相互不同的F数执行多次图像捕获以获取多个图像，然后从多个图像中的每一个中提取合焦图像区域。由于F数的改变使得景深改变，并且进一步使得合焦图像区域改变，对于每个F数获取包括景深的物体距离（即，合焦物体距离）可提供距离图。

将参照图7A至7C更详细地描述通过改变F数来获取距离图的方法。以下描述了要被聚焦的物***于输入图像（捕获图像）的中心的情况。

图7A示出光圈完全打开的状态；图中的黑色区域示出了图像捕获光学***聚焦于其上的图像区域（合焦图像区域）。图7B示出了从光圈完全打开状态缩窄一个分段的缩窄一个分段光圈状态（one-step narrowed aperture）。图7C示出了图7A和7B中所示的状态中的合焦图像区域之间的差别。从图像拾取距离、F数和焦距计算景深使得可计算与图像捕获光学***聚焦于其上的物体的距离（合焦物体距离）。

例如，在对应于图7A中所示的合焦图像区域的合焦物体距离范围是从2m到4m的情况下，图7B所示的合焦物体距离范围是从2m到10m，这宽于图7A的合焦物体距离范围。因此，对应于通过从图7B中所示的合焦图像区域减去图7A中所示的合焦图像区域而获得的剩余（差分）图像区域的从4m到10m的物体距离是唯一的对应于缩窄一个分段光圈状态的合焦物体距离。这样的方法使得可对于每个图像区域获得物体距离，从而获得距离图。F数可被以比一个分段增量更精细的分段增量（例如，以0.5分段增量）改变，这使得距离图的精度提高。

还另一获取距离图的方法是将图像捕获光学***的光瞳分割成多个分割光瞳区域，并且使用来自分割光瞳区域的光束利用相位差检测方法执行聚焦操作，以计算分割图像区域中的每一个中的物体距离。光瞳的分割（光瞳分割）可通过对于图像传感器的像素布置微透镜或者将一个像素分割成多个像素来执行。还另一获取距离图的方法是分割图像捕获光学***的光瞳，由此获取视差图像以从视差图像计算各图像区域（像素）中的物体距离。

距离图可在快门按钮被按下之后直至开始不均匀模糊检测处理之前在任何时候被获取。获取距离图并且提供散焦量作为图像拾取条件参数信息使得可提高不均匀模糊的检测精度。

例如，在距离图在不均匀模糊生成确定之前被获取的情况下，距离图在所有输入图像的图像捕获时被获取。在此情况中，尽管用于获取距离图的处理负荷增大，距离图可对于所有输入图像被获取，使得后续处理中的处理自由度增大。例如，在使用图像恢复滤波器的图像恢复处理作为后续处理被执行的情况中，图像恢复滤波器可基于可从距离图获得的信息改变。另一方面，在距离图在不均匀模糊生成确定之后被获取的情况下，需要仅对于在生成不均匀模糊的图像拾取条件下捕获的输入图像来获取距离图。因此，用于获取距离图的处理负荷被抑制为尽可能地小。

在上述准备处理之后，在图4所示的步骤S105，计算机执行不均匀模糊检测处理以检测特定物体距离范围中的不均匀模糊。在不均匀模糊检测处理中，计算机可参照图像拾取条件参数信息。例如，计算机可参照图像拾取条件参数信息中包含的从距离图获得的散焦量来决定特定物体距离范围。例如，尤其大的散焦量使得捕获图像为大的未合焦图像，因此使得难以确定捕获图像中包含的模糊是物体图像的模糊还是不均匀模糊。在此情况中，不均匀模糊不能与背景区分开。另一方面，在提供接近合焦状态的成像性能的状态中提供尤其小的散焦量；在此状态中不太可能生成不均匀模糊。因此，参照散焦量可提高可靠地检测不均匀模糊的可能性，这使得不均匀模糊的检测精度提高。

除了焦距、F数和图像拾取距离之外，图像拾取条件参数信息还可包括生成不均匀模糊的物体距离。计算机可通过参照该物体距离来决定特定物体距离范围。

下文将详细描述不均匀模糊检测处理。通过使用图像处理滤波器对整个输入图像执行不均匀检测处理使得处理负荷增大。因此，在该实施例中，如上所述，计算机基于图像拾取条件参数信息预先确定不均匀模糊的生成存在与否，并且当确定生成不均匀模糊时执行不均匀模糊检测处理。此外，计算机在非常可能生成不均匀模糊的图像区域中执行不均匀模糊检测处理，这样降低了处理负荷。

希望使用满足以下条件式的具有C×C像素（滤波器单元）的滤波器来检测不均匀模糊，即在输入图像中的包含C×C像素的图像区域中执行不均匀模糊检测处理，这是因为不均匀模糊的检测精度和处理负荷可被平衡。

1<C<def/P    （1）

其中，def表示（图像捕获光学***）的散焦量，并且P表示（图像传感器的）像素间距。包含C×C像素的图像区域在下文被称为“不均匀模糊检测区域”。

将参照图8A和8B来描述不均匀模糊检测区域。如上所述，不均匀模糊由于图像捕获光学***的成像性能（像差、衍射等）而生成。当物体的尺寸充分大于像差量时，如图8A所示，不均匀模糊不是明显的。作为物体尺寸的阈值，例如，可使用由条件式（1）限定的C。另一方面，随着物体尺寸变小以接近于一个像素，如图8B所示，不均匀模糊变得更加明显。

例如，在通过使用尺寸为4.65mm×6.2mm、像素间距为1.4μm并且散焦量为0.1mm的1/2.3英寸图像传感器来执行图像捕获的情况下，C的上限为71个像素。通过图像传感器获得的输入图像的像素的总数变为4428×3321。例如，即使输入图像的未合焦图像区域中存在尺寸为1000×1000个像素的物体，不均匀模糊仍是不明显的。

条件式（1）的下限为1（像素）。即使生成不均匀模糊，当其区域小于一个像素时，该一个像素中的信号强度被积分，因此不均匀模糊是不明显的。设定这样的下限使得能够进一步降低处理负荷。

此外，希望利用不均匀模糊相对于在弧矢方向上延伸的对称轴线具有在子午方向上对称的形状来进行不均匀模糊检测。将参照图9A至9D来描述不均匀模糊的对称形状的利用。

如图9A所示，在图像捕获光学***相对于其光轴旋转对称的情况下，由于图像捕获光学***的成像性能而生成的不均匀模糊具有相对于在弧矢方向S上延伸的对称轴在子午方向M上对称的形状。另一方面，如图9B所示，具有不均匀形状的物体（不是不均匀模糊）不具有在子午方向上对称的形状。因此，如图9C和9D所示，不均匀模糊检测可如下地进行：在子午方向上折叠将检测不均匀模糊的图像区域，求折叠图像和未折叠图像（原始图像区域）之间的信号强度的差值，并且在该差值的积分值大于阈值的情况下确定原始图像区域对应于具有不均匀形状的物体，而在积分值小于阈值的情况下确定原始图像区域对应于图像捕获光学***的像差或衍射导致的不均匀模糊。

此外，不均匀模糊检测可如下地进行：提供对应于图像拾取条件的不均匀模糊的形状数据（下文被称为“不均匀模糊形状数据”）并且参照该形状数据。当图像捕获在生成不均匀模糊的图像拾取条件下执行并且捕获图像（输入图像）附带地包括具有不均匀形状时，直接对捕获图像执行不均匀模糊检测处理可导致错误检测。因此，预先提供不均匀模糊形状数据并且参照该形状数据使得能够避免错误检测。

例如，在如图10所示输入图像包含不均匀模糊并且如图11所示对于各种图像拾取条件和各种图像高度提供不均匀模糊形状数据的情况下，希望预先计算不均匀模糊形状数据，使得形状具有与输入图像的长边方向或短边方向平行的子午方向。可对于所有图像拾取条件提供不均匀模糊形状数据。但是，在此情况中，不均匀模糊形状数据的量变得非常大，因此所需的存储容量大程度地增大。因而，希望仅对于生成不均匀模糊的图像拾取条件提供不均匀模糊形状数据，以便减少不均匀模糊形状数据的量。

此外，希望不均匀模糊检测参照在所提供的不均匀模糊形状数据关于输入图像的中心旋转情况下的所提供的不均匀模糊形状数据（的形心）。换句话说，如图12A和12B所示，希望如图11所示地旋转所提供的不均匀模糊形状数据，使得不均匀模糊的子午方向与不均匀模糊形状数据的子午方向一致。在图11、12A和12B中，V指示垂直方向，并且H指示水平方向。

下文，通过将旋转的不均匀模糊形状数据与图10所示的不均匀模糊匹配来执行不均匀模糊检测。该匹配可通过使用例如如下方法来执行，即求不均匀模糊检测区域中的不均匀模糊形状数据与不均匀模糊之间的亮度信号的差值，并且在不均匀模糊检测区域中的该差值的积分值小于或等于预定阈值的情况下确定它们相互一致。使用旋转的不均匀模糊形状数据使得可避免具有不均匀形状的物体被错误地检测为不均匀模糊。

另外，不均匀模糊的尺寸根据物体的尺寸改变。因此，希望对于不均匀模糊检测，提供包括其中不均匀模糊的尺寸彼此不同的各种形状图案的不均匀模糊形状数据。

此外，希望不均匀模糊检测从如下这样的图像区域检测不均匀模糊，在该图像区域中使用差分滤波器不能检测到边缘。例如，可检测到边缘的图像区域非常可能是合焦图像区域，而在合焦图像区域中不太可能生成不均匀模糊。因此，在不可能检测到边缘的图像区域（即，合焦图像区域之外的图像区域（未合焦图像区域））中执行不均匀模糊检测使得可提高不均匀模糊的检测精度。

此外，可通过使用颜色信息执行不均匀模糊检测。具体而言，希望检测多个颜色成分（例如，RGB通道）中的像素信号并且在其中的具有最高亮度（强度）的一个颜色成分中执行不均匀模糊检测。例如，在类似于捕获包含点光源的夜晚场景的情况的不均匀模糊的周边是黑图像区域的情况中，由于周边图像区域的亮度信号接近0，因此容易从不均匀模糊检测区域去除周边图像区域。但是，在周边图像区域中存在高亮度像素的情况下，难以检测不均匀模糊。在这样的情况中，希望通过使用颜色成分来区分生成不均匀模糊的图像区域与该图像区域的周边图像区域。例如，在生成不均匀模糊的物体的颜色是红色，其周边图像区域的颜色是灰色，并且在数字照相机等中通常使用的RGB通道中检测亮度信号的情况下，物体在R通道中提供了最高信号强度。作为对比，周边图像区域在RGB通道中提供了大致相等的信号强度。物体和周边图像区域之间的颜色的这样的差别有助于区分生成不均匀模糊的图像区域与该图像区域的周边图像区域。

另外，希望对输入图像中的亮度饱和像素周围的图像区域执行不均匀模糊检测处理。

在不均匀模糊检测处理结束之后，为了从输入图像去除或减少不均匀模糊，可对输入图像执行诸如整形处理（模糊校正处理）以及图像恢复处理的图像处理。

整形处理可执行以便通过例如以具有基于关于图像拾取距离和F数的信息而估计的尺寸的圆形模糊图像来替换所检测到的不均匀模糊，将所检测到的不均匀模糊整形为圆形形状。作为替代，可通过用相同亮度信号来填充所检测的不均匀模糊来执行整形处理。另外，在通过执行多次图像捕获而获取的多个捕获图像中的一些捕获图像中包含不均匀模糊的情况下，通过在包含不均匀模糊的捕获图像中的生成不均匀模糊的区域中粘贴从不包含不均匀模糊的捕获图像中修剪下来的图像区域，执行整形处理。此外，可通过用于平滑化所检测到的不均匀模糊的平滑化处理来执行整形处理。此外，可通过边缘处理或模糊化处理来执行整形处理。

另外，尽管图4示出了获取距离图的情况，但是距离图不必须被获取。在此情况中，当实际图像拾取条件参数信息与特定图像拾取条件参数信息一致时，通过将整个输入图像视为特定物体距离范围，对整个输入图像执行不均匀模糊检测处理。在此情况中，与使用距离图的情况相比，不均匀模糊的检测精度可劣化，但是另一方面，用于获取距离图的处理负荷被减小。

此外，即使当实际图像拾取条件参数信息与特定图像拾取条件参数信息不一致时，仍可执行不均匀模糊检测处理，只要它们在预定范围中彼此接近即可。

下文将描述本发明的特定实施例。

[实施例1]

图13是示出设有作为本发明的第一实施例（实施例1）的图像处理器（图像处理设备）的图像拾取设备中执行的图像处理（图像处理方法）的流程图。图像处理是由作为图像拾取设备的主计算机的***控制器和作为图像处理计算机的图像处理器根据作为计算机程序的图像处理程序而执行的。这还可应用于下文所述的其他实施例。

在步骤S201，***控制器响应于快门按钮的半按下，使得图像拾取设备的图像捕获光学***的聚焦状态固定。接下来，在步骤S203，***控制器响应于快门按钮的全按下在该固定的聚焦状态中执行图像捕获，以获取输入图像。在步骤S201和步骤S203之间的步骤S202，在执行图像捕获之前，图像处理器获取捕获输入图像时的图像拾取条件参数信息（即，实际图像拾取条件参数信息）。

接下来，在步骤S204，图像处理器从存储器中的数据库读出示出生成不均匀模糊的图像拾取条件的特定图像拾取条件参数信息，并且将在步骤S202获取的实际图像拾取条件参数信息与该特定图像拾取条件参数信息进行比较。如果实际图像拾取条件参数信息与特定图像拾取条件参数信息不一致（或者不在预定范围中接近），图像处理器不执行均匀模糊检测处理，然后此图像处理结束。由于图像处理器不执行不均匀模糊检测处理，因此其也不执行整形处理。

另一方面，如果实际图像拾取条件参数信息与特定图像拾取条件参数信息一致（或者在预定范围中接近），在步骤S205，图像处理器在对应于特定物体距离范围的图像区域中执行不均匀模糊检测处理。但是，在此实施例中，图像处理器没有获取距离图，从而图像处理器对整个输入图像执行不均匀模糊检测处理。相反，图像处理器使用上述不均匀模糊形状数据以用于检测输入图像中的不均匀模糊，以便提高不均匀模糊的检测精度。

接下来，在步骤S206，图像处理器对所检测的不均匀模糊执行整形处理，使得不均匀模糊变得不明显。

图14示出了执行参照图13描述的图像处理的图像拾取设备的配置。图像拾取设备通过图像传感器102将通过图像捕获光学***101形成的物体图像光电转换成电信号。A/D转换器103将从图像传感器102输出的模拟图像拾取信号转换成数字图像拾取信号。数字图像拾取信号具有RGB颜色成分的信号强度。图像处理器104对数字图像信号执行各种处理以产生作为数字图像的输入图像。从图像传感器102到图像处理器104的组件构成图像拾取***。

***控制器110通过图像捕获光学***控制器106来控制图像获取光学***101的变焦操作、聚焦操作和光圈操作。图像捕获光学***控制器106将实际图像拾取条件参数信息发送至作为图像拾取条件获取器的条件检测器107。

存储器108存储特定图像拾取条件参数信息的数据库，并且将此参数信息发送至图像处理器104中的确定器104a。尽管存储器108被示出为在图像处理器104之外，但是，存储器108构成图像处理器104的一部分。这也应用于下文描述的其它实施例。确定器104a确定从条件检测器107接收的实际图像拾取条件参数信息是否与从存储器108接收的特定图像拾取条件参数信息一致（或者在预定范围中接近）。当确定器104做出一致性确定时，图像处理器104中的检测器104b对输入图像执行不均匀模糊检测处理。然后，图像处理器104中的整形器104c对所检测到的不均匀模糊执行整形处理。

从整形处理得到的输出图像（整形后图像或校正后图像）被记录于图像记录介质109或者被显示在由LCD等构成的显示装置105上。

此实施例提供了作为如下一般的紧凑数字照相机的图像拾取设备，该一般的紧凑数字照相机包括1/2.3英寸图像传感器（4.65mm×6.2mm）作为图像传感器102。在此实施例中，当图像传感器202具有1.4μm的像素间距并且散焦量为0.1mm时，条件式（1）中的C的上限为71个像素。

[实施例2]

图15是示出设有作为本发明的第二实施例（实施例2）的图像处理器（图像处理设备）的图像拾取设备中执行的图像处理（图像处理方法）的流程图。在此实施例中，在步骤S301，在快门按钮的全按下之前或者之后，图像处理器获取实际图像拾取条件参数信息。接下来，在步骤S302，在快门按钮的全按下之后（即，在图像捕获之后），图像处理器从存储器中的数据库读出特定图像拾取条件参数信息，并且将实际图像拾取条件参数信息与特定图像拾取条件参数信息进行比较。如果实际图像拾取条件参数信息与特定图像拾取条件参数信息不一致（或者不在预定范围中与接近），图像处理器不执行不均匀模糊检测处理，然后此图像处理结束。由于图像处理器不执行不均匀模糊检测处理，因此其也不执行整形处理。

另一方面，如果实际图像拾取条件参数信息与特定图像拾取条件参数信息一致（或者在预定范围中与接近），在步骤S303，图像处理器在焦点位置（即，合焦物体距离）改变的情况下执行多次图像捕获以获取多个图像。通过图像捕获，获取了如图16A所示的聚焦于作为原始图像捕获目标的物体上的图像和如图16B所示的聚集于生成不均匀模糊的物体距离上的图像。这两个图像中的不均匀模糊的形状与这两个图像中的物体的形状大不相同。因此，求如图16C中所示的这两个图像之间的差使得在降低错误检测的可能性的同时检测不均匀模糊。

随后，在步骤S304，图像处理器获取上述距离图。接下来，图像处理器在步骤S305执行不均匀模糊检测处理，然后在步骤S306执行整形处理。

图17示出了执行参照图15描述的图像处理的图像拾取设备的配置。在此实施例的图像拾取设备中，除了图像处理器204之外的组件（201至203和205至210）与实施例1的图像拾取设备的组件（101至103以及105至110）相同。

存储器208将特定图像拾取条件参数信息发送至图像处理器204中的确定器204a。确定器204a确定从条件检测器207接收的实际图像拾取条件参数信息是否与从存储器208接收的特定图像拾取条件参数信息一致（或者在预定范围中接近）。当确定器204做出一致性确定时，图像处理器204中的检测器204b获取距离图，并且图像处理器204中的检测器204c对输入图像执行不均匀模糊检测处理。然后，图像处理器104中的整形器204d对所检测到的不均匀模糊执行整形处理。

此实施例提供了作为如下数字照相机的图像拾取设备，该数字照相机包括全尺寸图像传感器（24mm×36mm）作为图像传感器202。在此实施例中，当图像传感器202具有6μm的像素间距并且散焦量为0.4mm时，条件式（1）中的C的上限为67个像素。

[实施例3]

图18是示出设有作为本发明的第三实施例（实施例3）的图像处理器（图像处理设备）的图像拾取设备中执行的图像处理（图像处理方法）的流程图。在此实施例中，在步骤S401，在快门按钮的全按下之前或者之后，图像处理器获取实际图像拾取条件参数信息。接下来，在步骤S402，在快门按钮的全按下之后（即，在图像捕获之后），图像处理器从存储器中的数据库读出特定图像拾取条件参数信息，并获取距离图。具体而言，图像处理器通过上述光瞳分割获取距离图。然后，在步骤S403，图像处理器将实际图像拾取条件参数信息与特定图像拾取条件参数信息进行比较。如果实际图像拾取条件参数信息与特定图像拾取条件参数信息不一致（或者不在预定范围中接近），图像处理器不执行不均匀模糊检测处理，然后此图像处理结束。由于图像处理器不执行不均匀模糊检测处理，因此其也不执行整形处理。

另一方面，如果实际图像拾取条件参数信息与特定图像拾取条件参数信息一致（或者在预定范围中接近），在步骤S404，图像处理器在对应于特定物体距离范围的图像区域中执行不均匀模糊检测处理。图像处理器通过参照特定图像拾取条件参数信息来决定特定物体距离范围，该特定图像拾取条件参数信息不仅包含焦距、F数和图像拾取距离而且还包含在上述参数下生成不均匀模糊的物体距离。包含生成不均匀模糊的物体距离作为特定图像拾取条件参数信息使得要被处理的数据量增加，但是另一方面，提高了不均匀模糊的检测精度。在不均匀模糊检测时，为了降低将物体错误检测为不均匀模糊的可能性，可使用脸部识别技术。脸部识别是一种用于检测图像中的人物脸部的图像处理技术。将通过脸部识别技术检测到的脸部识别区域看作不均匀模糊检测处理的例外区域使得可降低将人的眼睛错误检测为模糊图像的可能性。

接下来，在步骤S405，图像处理器对所检测到的不均匀模糊执行整形处理，然后在步骤S406对从整形处理得到的整形后图像执行图像恢复处理。在图像恢复处理期间，图像恢复滤波器可通过使用所获取的距离图被改变。

图19示出了执行参照图18描述的图像处理的图像拾取设备的配置。在此实施例的图像拾取设备中，除了图像处理器304之外的组件（301至303和305至310）与实施例1的图像拾取设备的组件（101至103以及105至110）相同。

存储器308将特定图像拾取条件参数信息发送至图像处理器304中的确定器304a。确定器304a确定从条件检测器307接收的实际图像拾取条件参数信息是否与从存储器308接收的特定图像拾取条件参数信息一致（或者在预定范围中接近）。图像处理器304中的检测器304b获取距离图。当确定器304a做出一致性确定时，图像处理器304中的检测器304c对输入图像执行不均匀模糊检测处理。然后，图像处理器304中的整形器304d对所检测到的不均匀模糊执行整形处理。此外，图像处理器304中的恢复器304e对从整形处理得到的整形后图像执行图像恢复处理，以向图像记录介质309或显示设备305输出恢复图像。

此实施例提供了作为如下数字照相机的图像拾取设备，该数字照相机包括APS-C图像传感器（15.2mm×22.7mm）作为图像传感器302。在此实施例中，当图像传感器302具有4.3μm的像素间距并且散焦量为0.3mm时，条件式（1）中的C的上限为70个像素。

表1和2列出了图像拾取条件的确定的示例。

[表1]

图像拾取条件的示例

f[mm]	60	60	...
				fno	2.8	2.8	...
图像拾取距离[m]	3	10	...
				确定结果	○	×	...

[表2]

图像拾取条件的示例

f[mm]	60	60	...
				Fno	2.8	2.8	...
图像拾取距离[m]	3	3	...
				散焦量[mm]	0	0.15	...
确定结果	○	×	...

实施例1至3中每一个均描述了图像处理设备被包含在图像拾取设备中的情况。但是，与图像拾取设备分离地安装的个人计算机可被用作图像处理设备。

尽管已经参照示例性实施例描述了本发明，但是应理解，本发明不局限于所公开的示例性实施例。以下权利要求的范围应被给予最宽泛的解释以便包含所有的变型、等同结构和功能。

Claims (15)

1.一种图像处理设备，其特征在于，所述图像处理设备包含：

存储器（108，208，308），被配置为存储关于特定图像拾取条件的信息，在该特定图像拾取条件下在输入图像中生成特定模糊成分，该输入图像是通过使用光学***进行图像捕获而产生的，所述特定模糊成分是由所述光学***导致的；

图像拾取条件获取器（104，204，304），被配置为获取关于捕获输入图像时的实际图像拾取条件的信息；以及

处理器（104，204，304），被配置为在实际图像拾取条件与特定图像拾取条件一致时执行模糊检测处理，以检测输入图像中包含的特定模糊成分。

2.根据权利要求1所述的图像处理设备，其中，所述处理器被配置为在输入图像的对应于特定物体距离范围的图像区域中执行模糊检测处理，所述特定物体距离范围是生成特定模糊成分的并且能够通过使用实际图像拾取条件获得的物体距离范围。

3.根据权利要求1所述的图像处理设备，其中，

所述处理器被配置为在输入图像中的包含C×C像素的图像区域中执行模糊检测处理，以及

满足以下条件式：

1<C<def/P，

其中，def表示所述光学***的散焦量，并且P表示捕获所述输入图像的图像传感器的像素的间距。

4.根据权利要求1所述的图像处理设备，其中，所述特定模糊成分是相对于在弧矢方向上延伸的对称轴在连接输入图像的中心与特定模糊成分的形心的子午方向上对称的模糊成分，该弧矢方向与该子午方向正交。

5.根据权利要求1所述的图像处理设备，其中，所述处理器被配置为在输入图像中的通过使用差分滤波器没有检测到边缘的图像区域中执行模糊检测处理。

6.根据权利要求1所述的图像处理设备，其中，所述处理器被配置为在输入图像中的亮度饱和像素周围的图像区域中执行模糊检测处理。

7.根据权利要求1所述的图像处理设备，其中，所述处理器被配置为对于构成输入图像的多个颜色成分中的强度最高的颜色成分执行模糊检测处理。

8.根据权利要求1所述的图像处理设备，其中，所述特定图像拾取条件和所述实际图像拾取条件均包含F数和合焦物体距离。

9.根据权利要求1所述的图像处理设备，其中，

所述处理器被配置为获取输入图像中的物体距离分布的信息；以及

所述特定图像拾取条件和所述实际图像拾取条件均包含能够从所述物体距离分布的信息获得的散焦量。

10.根据权利要求1所述的图像处理设备，其中，所述处理器被配置为提供关于特定模糊成分的形状的数据并且在模糊检测处理中参照所述数据。

11.根据权利要求10所述的图像处理设备，其中，所述处理器被配置为提供对于彼此不同的特定图像拾取条件中的每一个的关于特定模糊成分的形状的数据，并且在模糊检测处理中参照对应于与实际图像拾取条件一致的特定图像拾取条件的数据。

12.根据权利要求1所述的图像处理设备，其中，所述处理器被配置为执行模糊校正处理以去除或减小通过模糊检测处理检测到的特定模糊成分。

13.根据权利要求12所述的图像处理设备，其中，所述处理器被配置为对从对输入图像执行的模糊校正处理得到的校正图像执行图像恢复处理。

14.一种图像拾取设备，其特征在于，所述图像拾取设备包括：

图像拾取***（102-104，202-204，302-304），被配置为使用光学***执行图像捕获以产生输入图像；以及

根据权利要求1-13中任一项所述的图像处理设备。

15.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取通过使用光学***进行图像捕获而产生的输入图像；

提供关于特定图像拾取条件的信息，在该特定图像拾取条件下在输入图像中生成特定模糊成分，所述特定模糊成分是由所述光学***导致的；

获取关于捕获输入图像时的实际图像拾取条件的信息；以及

在实际图像拾取条件与特定图像拾取条件一致时执行模糊检测处理，以检测输入图像中包含的特定模糊成分。

Images