CN104079940A - 图像处理装置、图像处理方法、程序和成像装置 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法、程序和成像装置。提供了一种图像处理装置，包括：图像获取单元，被配置为获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及图像产生器，被配置为通过以预定的混合比率将第一图像与第二图像混合来产生第三图像。

Description

图像处理装置、图像处理方法、程序和成像装置

相关申请的交叉引用

本申请要求于2013年3月25日提交的日本在先专利申请JP2013-062088的优先权，该专利申请的全部内容以引用的方式并入本文。

技术领域

本公开涉及图像处理装置、图像处理方法、程序和成像装置。

背景技术

在拍摄（摄影）图像时，已知一种用于通过叠加多个连续拍摄的图像（帧）来获得具有降低了的噪声的图像的技术。作为例子，这多个图像被叠加在要处理的图像（在下文中适当地被称为目标图像）上，并且在拍摄目标图像之前或之后被连续地拍摄的并且通过运动估计和运动补偿来对准的这多个图像被叠加。在这种情况下，在时间方向上对彼此基本上相同的图像进行积分，由此，在每个图像中随机地包含的噪声被抵消，从而降低了噪声。在下文中，通过这种方法实现的降噪（NR）被称为帧NR处理。

对于在目标图像中设置的目标块，通过使用估计的局部运动矢量来计算在两个图像之间的表示在整个图像之上的变换的全局运动。全局运动通常表示作为图像的静止图像部分的背景的运动和运动量。

作为使用全局运动的技术，有一种在JP2009-290827A中公开的技术。在JP2009-290827A中公开的技术中，图像被分离成静止背景图像部分和运动被摄体部分，使用与从全局运动产生的全局运动矢量匹配的局部运动矢量来产生运动补偿图像（适当地被称为MC图像），并且MC图像和目标图像被叠加。在这种技术中，通过适应地使用全局运动矢量和局部运动矢量，产生MC图像，并且执行叠加处理。

发明内容

作为例子，当在具有低照度的暗场所执行图像拍摄的情况下，执行准确的运动估计是非常困难的，因此，运动矢量的可靠性降低。如果基于具有低可靠性的运动矢量的MC图像被叠加在目标图像上，则存在通过该处理获得的图像的质量劣化的问题。

因此，本公开的一个实施例提供一种能够产生要叠加在目标图像上的适当的图像的图像处理装置、图像处理方法、程序和成像装置。

根据本公开，为了实现上述目的，提供一种图像处理装置，包括：图像获取单元，被配置为获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及图像产生器，被配置为通过以预定的混合比率（blend ratio）将第一图像与第二图像混合来产生第三图像。

根据本公开，例如，提供一种图像处理装置中的图像处理方法，该图像处理方法包括：获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及通过以预定的混合比将第一图像与第二图像混合来产生第三图像。

根据本公开，例如，提供一种用于使计算机执行图像处理装置中的图像处理方法的程序，该图像处理方法包括：获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及通过以预定的混合比将第一图像与第二图像混合来产生第三图像。

根据本公开，例如，提供一种成像装置，该成像装置包括：成像单元；图像获取单元，被配置为获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像，该第二图像是通过成像单元获得的；以及图像产生器，被配置为通过以预定的混合比将第一图像与第二图像混合来产生第三图像；以及图像加法器，被配置为将第三图像和目标图像相加。

根据本公开的实施例中的一个或多个，可以产生要被叠加在目标图像上的适当的图像。

附图说明

图1是帧NR处理的例子的概念图；

图2是用于说明在拍摄静止图像时的帧NR处理的例子的示图；

图3是用于说明在拍摄运动图像时的帧NR处理的例子的示图；

图4是用于说明典型的帧NR处理的例子的示图；

图5是用于说明根据实施例的帧NR处理的例子的示图；

图6是示出根据实施例的主要处理的流程的流程图；

图7是示出局部运动矢量的例子的示图；

图8是用于说明评估运动矢量的可靠性的方法的例子的示图；

图9是示出全局运动矢量的例子的示图；

图10是示出针对帧的每个块获得的局部运动矢量的例子的示图；

图11是示出对帧的每个块应用局部运动矢量或全局运动矢量的例子的示图；

图12是用于说明评估目标块的背景匹配程度的方法的例子的示图；

图13是示出为了获得运动补偿图像而执行的处理流程的例子的流程图；

图14是用于说明高效地执行块匹配处理的方法的例子的示图；

图15A是示出根据照度的输入图像的电平变化的例子的示图；

图15B是示出根据照度的设置增益的例子的示图；

图15C是示出其增益被调整的输入图像的电平的例子的示图；

图16A是示出其增益被调整的输入图像的电平的例子的示图；

图16B是示出根据照度设置混合比的例子的示图；

图17是示出成像装置的示例性配置的框图；

图18是示出增益调整器的示例性配置的框图；

图19是示出运动矢量估计部的示例性配置的框图；

图20是示出目标块缓冲器的示例性配置的框图；

图21是示出参考块缓冲器的示例性配置的框图；

图22是示出被加图像产生部的示例性配置的框图；以及

图23是示出图像加法器的示例性配置的框图。

具体实施方式

在下文中，将参照附图详细地描述本公开的优选实施例。要注意，在本说明书和附图中，具有基本上相同的功能和结构的构成要素用相同的附图标记表示，并且省略对这些构成要素的重复说明。

将按照以下顺序进行描述。

＜1.实施例＞

＜2.变型例＞

下面描述的实施例和变型例是本公开的优选的说明性例子，并且本公开并不是要局限于这些实施例和变型例。

＜1.实施例＞

（实施例的概要）

在描述本公开的实施例的概要之前，下面将描述典型的帧降噪（NR）处理。图1是典型的帧NR处理的概念图。在帧NR处理中，连续地拍摄的多个图像P1至P3在位置上对准（运动补偿），然后被相互叠加，从而提供具有降低的噪声的图像Pmix。在多个连续地拍摄的图像叠加时噪声被降低了，因为在时间方向上对彼此基本上相同的图像进行积分，从而在每一个图像中随机地包含的噪声被抵消。

要叠加的多个图像P1至P3的数量并不限于3，而可以使用两个图像或者四个以上的图像。作为例子，当成像装置捕获静止图像时，如图2所示，高速连续地捕获的多个图像之中的第一捕获图像P10变成目标图像。第二和后续的捕获图像（例如，图像P20和P30）充当参考图像，并且被顺次地叠加在目标图像P10上。目标图像有时被称为目标帧，并且参考图像有时被称为参考帧。

作为例子，当成像装置捕获图像时，顺次地捕获的连续帧的图像中的每一个变成目标图像，如图3所示。目标图像（例如，图像P50）的前一帧的图像（例如，图像P60）充当参考图像，并且被叠加在目标图像上。换句话说，一个帧的图像可以是目标图像，并且当另一帧的图像是目标图像时可以是参考图像。

这样，在连续地捕获的图像被叠加的帧NR处理中，要叠加的目标图像和参考图像之间的位置对准（运动补偿）是重要的。在一些情况下，对于这些图像，例如，由于摄影者的照相机抖动等，可能会发生图像位置的位移（图像模糊）。此外，在一些情况下，对于每个图像，由于被摄体自身的移动，也发生位移。因此，在根据实施例的帧NR处理中，例如，对于通过分割目标图像产生的多个目标块中的每一个，以块为单位估计运动矢量。此外，针对每一个块，执行以块为单位反映运动矢量的运动补偿。

图4示出典型的帧NR处理的概要。设置目标图像P100和与目标图像P100相应的参考图像P200。执行运动估计（ME）（有时被称为运动检测），该运动估计将目标图像P100与参考图像P200进行比较并估计其运动。通过执行运动估计来获得运动矢量（MV）。对参考图像P200执行使用运动矢量的运动补偿（MC），由此获得运动补偿图像P300。

然后，执行用于将目标图像P100与运动补偿图像P300相加的图像相加处理。在图像相加处理中，可以执行用于以像素为单位确定相加比率α的相加比率确定处理。通过执行图像相加处理来获得经过帧NR处理的输出图像P400。输出图像P400变成了具有降低的噪声的图像。

参考图像有时被称为非运动补偿图像或非运动补偿帧，因为它是没有经过运动补偿处理的图像。另外，要与目标图像相加的图像（图4的例子中的运动补偿图像P300）有时被称为要相加的图像或者被加图像。

在上述的JP2009-290827A中公开的技术中，当局部运动矢量的可靠性高时，从局部运动矢量获得的运动补偿图像被用作要相加的图像。另外，当局部运动矢量的可靠性低时，不使用局部运动矢量，而是从全局运动矢量获得的运动补偿图像被用作要相加的图像。因此，帧NR处理应当是稳定的。

在这一方面，当捕获静止图像时，通过ISO敏感度自动控制，像素值的动态范围将在一定程度上恒定。但是，当在暗场所捕获图像的情况下，由于光量不足，动态范围可能减小。当捕获运动图像时，因为快门速度被固定，由于被摄体上的照度而导致像素值的动态范围减小，从而，通过在暗场所的图像捕获而记录的图像的像素值变成非常小的值。

因此，在JP2009-290827A或现有技术中公开的技术中，当使用通过在暗场所进行图像捕获而获得的图像时，适当地执行运动估计是非常困难的。在典型的运动估计技术中，在假设当难以识别在暗场所等中的物体时运动矢量的可靠性原本低的情况下，利用不使用运动矢量的方法。但是，如果对于帧NR处理应用这种方法，则例如存在如下问题。

如果在帧NR处理中没有产生MC图像，则难以执行图像相加。因此，不使用运动矢量非常困难。即使运动矢量的可靠性低，产生要相加的任何图像也是必要的。例如，即使当针对其运动矢量的可靠性低的部分（块）原样地使用参考图像时，使用MC图像相加的部分和使用参考图像相加的部分也混合在画面中，从而不能确保最终图像的质量。

对于其运动矢量的可靠性低的部分，例如可以认为，通过全局运动矢量来使用MC图像，但是全局运动矢量的可靠性原本在低照度处低。

运动矢量的可靠性由输入图像中的物体的识别度来确定，因此，存在这样的可能性，即，即使当用户捕获相同环境中的图像时，根据是否容易对捕获的被摄体执行运动估计，最终图像也会出现差异。要注意，物体的识别度是指识别物体的特征的容易度。

此外，由于可以获得有效运动矢量的阈值而发生猎振现象（hunting phenomenon），相应地启用或禁用帧NR处理，从而出现处理时间的不连续。另外，虽然存在用以应对动态范围的缺乏的鲁棒运动估计技术，但是用户可能原本在暗房间里捕获图像，由此，可能不能获得运动矢量或者其可靠性可能降低。虽然存在执行诸如通过在运动矢量的可靠性低时将时间连续性引入到运动矢量的估计中的内插的处理的技术，但是运动矢量的可靠性在低照度处仍保持低，因此，内插将是不可用的。在实施例中，产生要相加的适当的图像，以应对上述的问题。

下面的表1旨在示出通过在低照度和高照度处捕获图像获得的运动补偿帧的图像和非运动补偿帧（参考帧）的图像之间的差异的例子。

表1

如表1所示，对于通过在高照度处捕获图像获得的运动补偿帧，运动估计的精度高，并且没有时间滞后。因此，当运动补偿帧充当要相加的图像并且与目标图像相加时，不出现时间滞后，并且获得具有降低了的噪声的输出图像。另一方面，当通过在高照度处捕获图像获得的非运动补偿帧充当要相加的图像并且与目标图像相加时，降低了噪声，但是不执行运动补偿，因此，出现时间滞后，并且产生残像。鉴于这一事实，当在高照度环境中捕获图像时，即，当图像的电平大时，使用运动补偿帧作为要相加的图像是优选的。

同时，对于通过在低照度处捕获图像获得的运动补偿帧，运动估计的精度降低，因此存在难以正确地执行运动补偿的风险。如果这种运动补偿帧想要充当要相加的图像并且在没有任何变化的情况下与目标图像相加，则获得了时间滞后难以被补偿的输出图像。实际上，如果通过顺次地改变目标图像来执行帧NR处理，则例如输出图像的特定点被呈示给用户，就好像它从一边模糊到另一边。因运动补偿的失败，输出图像的质量明显地受影响。

当通过在低照度处捕获图像获得的非运动补偿帧与目标图像相加时，与高照度的情况一样，出现时间滞后并且产生残像。但是，输出图像的崩坏小于将通过在低照度处捕获图像获得的运动补偿帧与目标图像相加的情况。此外，即使当在输出图像的一部分中出现残像时，用户也会感觉图像捕获是在低照度环境中执行的，然后发生模糊，由此可以防止观看输出图像的用户感到很大的违和感。换句话说，在低照度环境中，优选的是，通过以适当的混合比率σ来混合非运动补偿帧和运动补偿帧来产生要相加的图像。

下面的表2旨在示出运动补偿帧的特征（运动估计（ME）的可靠性）的例子。

表2

高照度的运动补偿帧的运动估计的可靠性根据图像的性质而改变。在容易识别图像的特征的部分（例如，存在被摄体的部分）中的运动估计的可靠性高。另一方面，在难以识别图像的特征的部分（例如，背景部分）中的运动估计的可靠性低。但是，可以通过使用全局运动矢量或者在时间方向上对运动矢量进行内插等的处理来改善该问题。

在低照度的情况下或者当输入图像的动态范围低时，运动补偿的可靠性降低。由于这个原因，不管图像的性质如何，运动补偿帧都不用作要相加的图像，或者通过增加非运动补偿帧相对于运动补偿帧的混合比率σ而获得的图像被用作要相加的图像。

要注意，例如，以勒克斯（[lux]或[lx]）为单位来测量照度。照度可以用另一种测量单位来定义。此外，本公开并不想要被局限于被分成两个照度级别（低照度和高照度）的处理。

鉴于以上情况，在图5中示出实施例的概要的例子。通过使用目标图像P100和参考图像P200获得执行运动估计的运动矢量的处理以及通过使用该运动矢量获得执行运动补偿的运动补偿图像P300的处理类似于典型的NR帧处理。

执行以预定的混合比率σ将作为第一图像的例子的运动补偿图像P300与作为第二图像的例子的参考图像P200进行混合的混合处理。作为执行混合处理的结果，产生被加图像P500，作为第三图像的例子。例如，混合比率σ指示参考图像P200相对于运动补偿图像P300的比例。混合比率可以由运动补偿图像P300相对于参考图像P200的比例定义。如果混合比率σ是零，则被加图像P500成为运动补偿图像P300本身。如果混合比率σ是100，则被加图像P500成为参考图像P200本身。例如，根据输入图像的亮度（电平），适当地确定混合比率σ。作为例子，当亮度提高时，混合比率σ被设置得较小。

然后，执行用于将目标图像P100与被加图像P500相加的图像相加处理。可以在图像相加处理中执行用于以像素为单位确定相加比率α的相加比率确定处理。图像相加处理使得可以获得经过帧NR处理的输出图像P600。根据实施例的帧NR处理使得可以获得降低了噪声的输出图像P600并防止由于运动估计的不准确等而引起图像质量的劣化。输出图像P600被设置为针对后一目标图像的参考图像。

[根据实施例的处理流程]

图6是示出根据实施例的主要处理的流程的流程图。例如，图6中示出的处理被实现为软件处理。稍后描述用于实现下述处理的硬件配置的例子和每个处理的细节。

在步骤S1中，目标帧被分割成为p×q像素的多个块。针对每一个被分割的块，估计局部运动矢量。然后，处理前进到步骤S2。

在步骤S2中，针对每个块，估计全局运动矢量。然后，处理前进到步骤S3。

在步骤S3中，以块为单位选择局部运动矢量和全局运动矢量中的任何一个。然后，处理前进到步骤S4。

在步骤S4中，以块为单位产生运动补偿图像。在执行运动补偿时要使用的矢量是在步骤S3中确定的局部运动矢量或者全局运动矢量。然后，处理前进到步骤S5。

在步骤S5中，运动补偿图像和参考图像以预定的混合比率σ相互混合，由此产生被加图像。例如，根据输入图像的亮度来设置混合比率σ。然后，处理前进到步骤S6。

在步骤S6中，例如，通过针对每一个像素将被加图像与目标图像相加来产生输出图像。产生的输出图像用作随后的参考图像。重复步骤S1和后续步骤，直到针对所有的目标图像完成处理为止。

[运动矢量的估计和运动矢量的可靠性的评估]

在实施例中，一个画面被分割成多个块。如图7所示，例如，目标帧10被分割成由64像素×64行构成的目标块11。针对每个目标块11估计运动矢量。针对每个目标块估计的运动矢量适当地被称为局部运动矢量（LMV）。局部运动矢量可以通过其他的方法来估计。针对每个目标块11估计局部运动矢量12。此外，在实施例中，计算指示估计的局部运动矢量12中的每一个的可靠性的指标。

在这一方面，在用于估计每个块的运动矢量的处理中使用块匹配算法。在这种块匹配算法中，例如，从参考图像的每个块之中搜索具有与目标块的最高相关性的块。参考图像的每个块适当地被称为参考块。具有与目标块最高的相关性的参考块适当地被称为运动补偿块。

获得局部运动矢量12，作为目标块与运动补偿块之间的位置的位移。例如，通过针对目标块和参考块中的每一个像素的亮度值的绝对差之和（SAD：Sum of Absolute Difference）来评估这两个块之间的相关性的高低。当SAD值越小时相关性就越高。存储目标块或参考块中的每一个的SAD值的表格适当地被称为SAD表格。

然后，基于指示局部运动矢量12的可靠性的指标，从针对目标帧获得的多个局部运动矢量12之中提取具有高可靠性的局部运动矢量12。

参照图8描述评估运动矢量（在本例子中，局部运动矢量12）的可靠性的方法的例子。图8示意性地示出一个目标块的在SAD表格中的SAD值。在图8中，水平轴表示搜索范围并且垂直轴表示SAD值。

在典型的块匹配处理中，只有SAD表格中的SAD值的最小值要被估计，以估计运动矢量。SAD值中的最小值是SAD表格中的SAD值的第一极小值，并且位于图8中的由点20指示的位置处。运动矢量（局部运动矢量12）被估计为从运动的原点指向由点20指示的SAD值的最小值的位置的矢量。

在没有噪声的理想状态中，当获得搜索范围内的多个参考块和目标块之间的相关值时，SAD表格具有均匀地向下凸的形状，并且它变成只存在SAD值中的一个极小值的状态。但是，在实际图像捕获情形中，很少有SAD表格具有均匀地向下凸的形状的情况，并且常见的是在SAD值中存在多个极小值，这是由于除了运动物体的运动的影响或者光量的变化以外还有各种类型的噪声的缘故。

因此，在本示例性实施例中，基于表现出等于SAD值的最小值的第一极小值的参考块的位置来估计运动矢量，但是SAD值中的排除该第一极小值的极小值（即，SAD值中的第二极小值）被估计以产生可靠性的指标。在图8中，由点20指示的位置表示第一极小值，并且由点21指示的位置表示第二极小值。

在实施例中，第一极小值（MinSAD）和第二极小值（Btm2SAD）之间的差值被设置为指示运动矢量的可靠性的指标值Ft。换句话说，例如，由下式（1）给出指标值Ft。

Ft=MinSAD-Btm2SAD    (1)

如果噪声等的影响小，则作为SAD值的第一极小值和SAD值的第二极小值之间的差的指标值Ft增大，并且从SAD值的第一极小值（即，SAD值的最小值）估计的运动矢量的可靠性高。另一方面，在具有高噪声电平等的环境中，指标值Ft减小，因此这变成难以知道哪一个正确地对应于运动矢量的情形，从而导致降低的可靠性。

在获得SAD值中的第一极小值但是没有获得SAD值中的第二极小值的情况下，SAD表格中的SAD值的理论最大值或者SAD值的最大值可以用作指示运动矢量的可靠性的指标值。因此，这种块的运动矢量具有高可靠性，但是，很少有这样的块（如果有的话）。因此，在获得SAD值中的第一极小值但是没有获得SAD值中的第二极小值的情况下获得的块的运动矢量可以从可靠性的评估中排除。

代替SAD值中的第一极小值和SAD值中的第二极小值之间的差，SAD值中的第一极小值和SAD值中的第二极小值之比可以用作指示局部运动矢量的可靠性的指标值。

根据利用指示运动矢量的可靠性的指标的实施例，使用目标帧和参考帧之间的相关值，而不像过去那样使用诸如图像的边缘或特征的图像成分，从而实现对噪声的高鲁棒性。换句话说，可以获得高精度地指示运动矢量的可靠性的指标，而不受图像的噪声的影响。

此外，使用相关值的第一极大值（例如，SAD值的第一极小值）和相关值的第二极大值（例如，SAD值的第二极小值）之间的差或比值，由此指示运动矢量的可靠性的指标具有对于噪声的高鲁棒性。

换句话说，在噪声电平变得较高的情况下，即使运动矢量是合适的，SAD值也通常增大。因此，当针对指示运动矢量的可靠性的指标值Ft设置阈值，并且为了提取具有高的可靠性的运动矢量的目的而执行用于将指标值与该阈值进行比较的处理时，需要根据其噪声电平来改变阈值自身。

相反，当使用根据实施例的指示运动矢量的可靠性的指标值Ft时，如果噪声电平高，则SAD值的第一和第二极小值都根据噪声电平而增大。因此，噪声对于SAD值的第一极小值和SAD值的第二极小值之间的差的影响被抵消。

换句话说，可以不依赖于噪声电平而处理具有固定值的阈值。当SAD值的第一极小值和SAD值的第二极小值之间的比值用作指示运动矢量的可靠性的指标值Ft时，这同样适用。

如图所示，评估局部运动矢量12中的每一个的可靠性。只根据具有高的可靠性的局部运动矢量12来计算全局运动。通过使用计算出的全局运动，针对每个目标块计算全局运动矢量。全局运动矢量是与整个画面中的运动相对应的运动矢量。

[根据图像的特征的运动矢量的选择]

图9示出目标帧14的每个目标块15的全局运动矢量16。图10示出目标帧14的每个目标块15的局部运动矢量17。只有一部分运动矢量（由箭头指示）用附图标记标示，以防止图示复杂化。

如上面的表2所示，在容易识别图像的特征的部分（例如，存在运动被摄体的部分）中，运动估计的可靠性高，并且运动矢量的可靠性高。另一方面，在难以识别图像的特征的部分（例如，背景部分）中，运动估计的可靠性低，并且运动矢量的可靠性低。在图10中，带阴影的背景部分的每个局部运动矢量的可靠性低。因此，在实施例中，如图11所示，局部运动矢量被设置为用于对在画面中存在运动被摄体的块的NR处理的运动矢量。全局运动矢量被设置为用于对背景部分的NR处理的运动矢量。在用于产生运动补偿图像的处理中使用设置的用于NR处理的运动矢量。

作为例子，将描述用于通过针对每个目标块将计算出的全局运动矢量与局部运动矢量进行比较来区分背景部分和运动被摄体的处理。在实施例中，将针对每个目标块计算出的全局运动矢量与局部运动矢量相互比较，由此确定两个矢量之间的匹配程度。作为确定的结果，计算指示针对每个目标块的全局运动矢量和局部运动矢量之间的匹配程度的指标值。该指标值适当地被称为命中率（hit rate）。

在考虑图像中包含的噪声对在块匹配处理中计算出的相关值的影响的情况下执行这种评估和确定。

当对于目标块其全局运动矢量和其局部运动矢量相互匹配时，可以确定该目标块是背景图像部分。因此，该匹配程度的指标值指示目标块的图像是否与背景图像部分匹配的程度（背景匹配程度）。

在这一方面，如果全局运动矢量与局部运动矢量相互不匹配，则在不考虑图像噪声的情况下可以确定所有的目标块都是运动被摄体的部分。在这种情况下，与局部运动矢量相对应的参考块的SAD值变成最小值，该最小值小于与全局运动矢量相对应的参考块的SAD值。

但是，诸如捕获图像的图像通常包含噪声。在考虑这种图像噪声的情况下，即使当全局运动矢量与局部运动矢量相互不匹配时，目标块有时也可能是背景部分。因此，在这种目标块中，认为与局部运动矢量相对应的参考块的SAD值和与全局运动矢量相对应的参考块的SAD值之间的差小于图像噪声的量。

因此，在实施例中，与全局运动矢量相对应的参考块的SAD值被校正为反映图像噪声的量的值，然后将校正后的SAD值与对应于局部运动矢量的参考块的SAD值进行比较。然后，当校正后的SAD值小时，目标块被评估为背景图像部分。换句话说，在实施例中，基于校正后的SAD值来评估背景匹配程度。在这种情况下，认为对于目标块，全局运动矢量与原来的局部运动矢量匹配。

如果基于评估背景匹配程度的结果确定目标块是背景图像部分，则输出全局运动矢量，作为用于对于目标块的NR处理的运动矢量。另一方面，如果基于评估背景匹配程度的结果确定目标块与背景图像部分不匹配，则输出局部运动矢量，作为用于对于目标块的NR处理的运动矢量。

应该注意，如果全局运动矢量和局部运动矢量相互完全匹配，则全局运动矢量和局部运动矢量中的任何一个都可以用作用于NR处理的运动矢量。

然后，通过使用用于针对每个目标块的NR处理的运动矢量针对目标帧以块为单位来对准参考帧，由此产生运动补偿图像（运动补偿帧）。用于NR处理的所有运动矢量可以是全局运动矢量或者局部运动矢量。换句话说，可以通过使用全局运动矢量和局部运动矢量中的至少一个来获得运动补偿图像。

图12是用于说明区分背景和运动被摄体的方法的例子的示图。图12是当水平轴表示搜索范围并且垂直轴表示SAD值时表示单个目标块的SAD表格的内容（SAD值）的示图。水平轴上的每个值是参考块（参考矢量）的位置，并且实线表示SAD表格的内容。这些类似于图8中示出的那些。

在图12中，将是最小SAD值的参考块的位置（即，参考矢量）20以类似于图8的方式通过块匹配被估计为局部运动矢量。另一方面，将是全局运动矢量的参考块的位置是图12中的位置22。

在这种情况下，如果局部运动矢量中的SAD值和全局运动矢量中的SAD值在对应于图像噪声的量的差的范围内，则有可能全局运动矢量是具有最小的SAD值的参考矢量。

换句话说，用于全局运动矢量（参考块的位置）的SAD值原本应该是最小值，但是，存在这样的可能性，即，另一个参考块的位置（这是局部运动矢量）由于噪声被错误地估计为最小值。

因此，在这个例子中，与图像噪声的量相对应的偏移值OFS与全局运动矢量的SAD值相加，从而执行校正。在这个例子的情况下，通过从全局运动矢量的SAD值（被称为SAD_GMV）减去偏移值OFS来执行校正。如果校正后的SAD值被设置为MinSAD_G，则MinSAD_G由下式（2）给出。

MinSAD_G=SAD_GMV-OFS    (2)

校正后的SAD值MinSAD_G与局部运动矢量的SAD值（MinSAD）相互比较。作为比较的结果，如果MinSAD_G＜MinSAD，则目标块的SAD值的最小值被评估为MinSAD_G，该值为对应于全局运动矢量的参考块的SAD值的校正值。图12示出MinSAD_G＜MinSAD的情况。

如图12所示，如果满足条件MinSAD_G＜MinSAD，则目标块的真的局部运动矢量被确定为与全局运动矢量相匹配。在这种情况下，目标块的背景匹配程度被评估为高，并且命中率β为一大值。针对目标块的NR处理的运动矢量被设置为全局运动矢量。否则，针对NR处理的运动矢量被设置为局部运动矢量。

在图13中示出总结了上述处理的流程的例子的流程图。在步骤S10中，初始目标块被设置。然后，处理前进到步骤S11。

在步骤S11中，从匹配处理范围中的参考帧的图像数据之中设置要进行块匹配处理的参考块。然后，处理前进到步骤S12。

在步骤S12中，对设置的目标块和设置的参考块执行块匹配处理，并且计算SAD值。计算出的SAD值与参考块的位置信息（参考矢量）一起被输出。然后，处理前进到步骤S13。

在步骤S13中，确定参考矢量是否与全局运动矢量匹配。如果确定参考矢量与全局运动矢量匹配，则从作为全局运动矢量的SAD值的SAD_GMV减去偏移值OFS的处理被执行。然后，从相减获得的结果作为MinSAD_G（即，校正后的SAD值）与参考块的位置（参考矢量=全局运动矢量）一起被保持。如果确定该参考矢量与全局运动矢量不匹配，则处理前进到步骤S14。

在步骤S14中，更新最小SAD值MinSAD及其参考块的位置（参考矢量）的处理被执行。即，将保持直至此时的最小SAD值MinSAD与新计算的SAD值进行比较，然后将其中较小的SAD值作为最小SAD值MinSAD保持，同时，参考块的位置（参考矢量）也被更新以表现出最小SAD值。然后，处理前进到步骤S15。

在步骤S15中，确定搜索范围中的所有参考块的与目标块的块匹配处理是否完成。如果确定针对在搜索范围中的所有参考块的块匹配处理未完成，则处理前进到步骤S16并且后续参考块被设置。然后，处理返回到步骤S12，并且重复步骤S12和后续步骤。在步骤S15中，如果确定针对在搜索范围中的所有参考块的块匹配处理完成，则处理前进到步骤S17。

在步骤S17中，估计局部运动矢量和最小SAD值MinSAD。另外，校正后的SAD值MinSAD_G也被估计。然后，处理前进到步骤S18。

在步骤S18中，将最小SAD值MinSAD和校正后的SAD值MinSAD_G相互比较。作为比较的结果，如果确定不满足条件MinSAD＞MinSAD_G，则确定目标块与背景不匹配。在这种情况下，局部运动矢量被决定输出作为用于目标块的NR处理的运动矢量。

此外，在步骤S18中，如果确定满足条件MinSAD＞MinSAD_G，则确定目标块与背景之间的匹配程度高。在这种情况下，全局运动矢量被决定输出作为用于目标块的NR处理的运动矢量。然后，处理前进到步骤S19。

在步骤S19中，基于在步骤S18中决定的局部运动矢量或全局运动矢量，产生运动补偿图像（MC图像）。然后，处理前进到步骤S20。

在步骤S20中，确定针对目标帧内的所有目标块的处理是否完成。如果确定针对目标帧内的所有目标块的块处理未完成，则处理前进到步骤S21并且后续参考块被设置。然后，处理返回到步骤S11，并且重复步骤S11和后续步骤。

此外，在步骤S20中，如果确定针对目标帧内的所有目标块的处理完成，则这一系列处理终止。

[根据实施例的估计运动矢量的处理]

图14是用于说明根据实施例的运动矢量估计处理的示图。参考图14，在根据实施例的运动矢量估计处理中，最初估计在缩小的画面中的运动矢量，并且基于其结果，估计在基底面中的运动矢量。

在以块为单位估计运动矢量的处理中，指示最小SAD值的参考块被指定为运动补偿块。换句话说，为了指定运动补偿块，需要在顺次地移动参考块的位置的同时搜索指示最小SAD值的参考块。作为例子，当想要估计具有一个像素的精度的运动矢量时，需要指定具有一个像素的精度的运动补偿块。因此，即使当搜索到指示最小SAD值的参考块时，也需要以一个像素为单位来顺次地移动参考块。

当在不加任何改变的情况下对目标图像和参考图像执行这样的参考块的搜索的情况下，计算SAD值的次数变大，从而增加了处理负荷。因此，在实施例中，如在本例中所示，通过减小目标图像和参考图像中的每个的大小而获得的图像（缩小面）被产生，并且基于通过估计在缩小面中的运动矢量而获得的结果，来估计未被缩小的目标图像和参考图像（基底面）中的运动矢量。

更具体地，最初，目标图像和参考图像中的每个在水平方向和垂直方向上都缩小为1/n（其中n=2、3,……）的大小，然后产生缩小面目标图像和缩小面参考图像。因此，基底面目标块31、搜索范围32和匹配处理范围33被缩小为1/n的大小，分别得出缩小面目标块41、缩小面搜索范围42和缩小面匹配处理范围43。基于投影到基底面目标块31的参考图像的图像，来设置搜索范围32和匹配处理范围33。

随后，在缩小面参考图像中，在缩小面匹配处理范围43中设置的多个缩小面参考块44与缩小面目标块41之间的SAD值被计算，由此，在缩小面参考块44之中的具有与缩小面目标块41的最高相关性的块被指定为缩小面运动补偿块。此外，缩小面目标块41与缩小面运动补偿块之间的位置的位移被获取作为缩小面运动矢量45。

接下来，在基底面参考图像中，通过将缩小面运动矢量45乘以n而获得的基底面临时运动矢量35被定义。此外，在基底面目标块31被从被投影到基底面参考图像的图像移动了基底面临时运动矢量35的量的位置附近，设置基底面搜索范围36和基底面匹配处理范围37。随后，设置在基底面匹配处理范围37中的多个基底面参考块38与基底面目标块31之间的SAD值被计算。因此，在基底面参考块38之中的具有与基底面目标块31的最高相关性的块被指定为基底面运动补偿块。此外，基底面目标块31与基底面运动补偿块之间的位置的位移被获取作为基底面运动矢量。

关于此点，与基底面参考图像相比，缩小面参考图像的大小被缩小到1/n，因此缩小面运动矢量45的精度比在基底面中通过类似方式获得的精度低n倍。例如，在通过在以一个像素为单位顺次地移动参考块的同时搜索运动补偿块而获得运动矢量的情况下，在基底面中通过该搜索获得的运动矢量的精度为一个像素，但是在缩小面中通过该搜索获得的运动矢量的精度为n个像素。

因此，在实施例中，基于通过在缩小面中的搜索获得的缩小面运动矢量45，在基底面参考图像中设置基底面搜索范围36和基底面匹配处理范围37，并且用于具有期望精度的运动矢量和运动补偿块的搜索被执行。精度低n倍但是可能存在运动补偿块的范围由缩小面运动矢量45来指定。由于这个原因，针对基底面的搜索范围可以是大小比原始搜索范围32小得多的基底面搜索范围36。例如，在示出的例子中，当通过对基底面的搜索以一个像素为单位获得运动矢量时，基底面搜索范围36可以是在水平和垂直方向上都是n个像素的范围。

在根据实施例的运动矢量估计处理中，对整个原始搜索范围32中的运动补偿块的搜索被在缩小面搜索范围42中的搜索代替。因此，与没有任何改变地使用目标图像和参考图像的情况相比，对参考块的SAD值的计算次数减少，例如减少到1/n。此外，在根据实施例的运动矢量估计处理中，在基底面搜索范围36中的额外搜索被执行，但是基底面搜索范围36将比原始搜索范围32小得多。但是，在这种额外搜索中对于参考块的SAD值的计算次数少。因此，在根据实施例的运动矢量估计处理中，与不加任何改变地使用目标图像和参考图像的情况相比，处理负荷降低。

如上所述，在根据实施例的帧NR处理中，连续拍摄的多个图像被运动补偿，然后被叠加，从而降低图像的噪声。通过使用其中基底面的大小缩小的缩小面的搜索，以降低的处理负荷执行用于运动补偿的运动矢量的估计。

[被加图像的产生]

随后，将描述产生被加图像的处理（图6中的步骤S5的处理）。图15A示出对应于照度的输入图像的电平变化的例子。在图15A中，水平轴表示捕获时的照度，垂直轴表示输入图像的电平。随着照度变得更低，例如，输入图像的电平基本上线性地降低。

调整成像装置中的增益的处理被执行，以补偿输入图像的电平的降低。图15B示出增益调整的例子。提高增益的控制被执行，直到照度达到固定值。在本例子中，某照度值被设置为阈值。当照度低于该阈值时，增益的电平被设置为使得该增益的电平不大于该阈值。

图15C示出通过增益调整所校正的输入图像的电平（被适当地称为调整后电平）的例子。在照度大于阈值的范围（能够进行增益调整的范围）中，输入图像的电平被调整为使得调整后电平基本上恒定。在照度小于阈值的范围（不能进行增益调整的范围）中，调整后电平降低。

图16A是类似于图15C的示图。如上所述，在照度高的时间段期间，运动估计的可靠性高。因此，照度的阈值被设置为如图16B所示。在照度大于阈值，即，输入图像的亮度大于预定水平的范围中，参考图像相对于MC图像的混合比率σ被设置为零。换句话说，MC图像本身被设置为被加图像。

在运动矢量的可靠性降低的范围（例如，照度低于阈值，即，输入图像的亮度低于预定水平的范围）中，参考图像相对于MC图像的混合比率σ被设置为提高。在图16B中，示出参考图像相对于MC图像的混合比率σ被设置为线性地提高，但是混合比率不限于此。例如，混合比率σ可以被设置为以步进的方式增大，并且可以被设置为如二次曲线那样增大。基于设置的混合比率σ，MC图像和参考图像被相互混合并且产生被加图像。被加图像被与目标图像相加，从而获得输出图像。

[成像设备的整体配置]

已经描述了根据实施例的处理的概要和处理的细节。现在将描述用于实现该处理的示例性硬件配置。

图17示出成像装置的整体配置的例子。成像装置100可以是诸如数字照相机的电子设备，其具有捕获静止或运动图像、将捕获的图像转换为数字图像数据并将该数据记录在记录介质上的功能。该成像装置对应于至少包括被加图像产生单元的图像处理装置的说明性例子。图像处理装置的例子不限于成像装置，并且该图像处理装置可以被并入到诸如个人计算机的电子设备中。

成像装置100包括：控制器101、操作部102、成像光学***103、内存104、存储装置105、定时产生器106、图像传感器107、检测器108、增益调整器109、信号处理部110、RAW/YC转换部111、运动矢量估计部112、运动补偿图像产生部113、被加图像产生部114、图像加法器115、估计部116、静止图像编解码器120、运动图像编解码器121、NTSC编码器122和显示器123。这些组件中的每个都经由***总线130或***总线131互连。数据或命令可以经由***总线130或***总线131在它们之间交换。

控制器101控制成像装置100的每个组件的操作。控制器101包括执行例如通过基于存储在内存104中的程序来执行操作的控制所需的各种操作处理的CPU（中央处理单元）。控制器101可以将内存104用作用于操作处理的临时存储区域。允许控制器101工作的程序可以被预先写入到内存104中，或者可以被存储在盘形记录介质或诸如存储卡的可移除记录介质中，然后被提供到成像装置100。另外，允许控制器101工作的程序可以通过诸如LAN（局域网）或互联网的网络下载到成像装置100。

控制器101获取例如指示来自检测器108的输入图像的亮度的检测信息。然后，控制器101适当地控制增益调整器109，以基于获得的检测信息来调整增益。此外，控制器101基于获得的检测信息适当地设置参考图像相对于MC图像的混合比率σ。换句话说，控制器101充当所附权利要求中的混合比率设置单元。控制器101可以基于调整后电平来设置混合比率σ。

操作部102充当用来操作成像装置100的用户接口。操作部102可以是诸如设置在成像装置100的外部的快门按钮的操作按钮、触摸面板、遥控器等。操作部102基于用户的操作，将操作信号输出到控制器101。该操作信号包括：成像装置100的开启和停止、静止或运动图像的捕获的开始和结束、成像装置100的各种功能的设置等。

成像光学***103包括：光学组件（包括诸如聚焦透镜和变焦透镜的各种类型的透镜）、光学滤光器或光阑。从被摄体入射的光学像（被摄体像）穿过成像光学***103的每个光学组件，然后在图像传感器107的暴露表面上被形成。

内存104存储与由成像装置100执行的处理有关的数据。例如，内存104由诸如闪速ROM（只读存储器）、DRAM（动态随机存取存储器）等的半导体存储器构成。例如，要由控制器101使用的程序和要由成像处理功能处理的图像信号以临时或永久方式被存储在内存104中。存储在内存104中的图像信号可以是在稍后描述的基底面和缩小面上的目标图像、参考图像和输出图像。

存储装置105以图像数据的形式存储由成像装置100捕获的图像。例如，存储装置105可以是诸如闪速ROM的半导体存储器、诸如BD（蓝光盘（注册商标））、DVD（数字多功能盘）或CD（压缩盘）的光盘、硬盘等。存储装置105可以是并入到成像装置100中的存储装置，或者可以是诸如存储卡的可以从成像装置100拆卸的可移除介质。

定时产生器106产生各种类型的脉冲，诸如四相脉冲、场移位脉冲、二相脉冲和快门脉冲，然后根据来自控制器101的指示将这些脉冲中的一种或多种供应到图像传感器107。四相脉冲和场移位脉冲被用于垂直传送，二相脉冲和快门脉冲被用于水平传送。

例如，图像传感器107由诸如CCD（电荷耦合器件）或CMOS（互补金属氧化物半导体）的固态成像元件构成。图像传感器107由来自定时产生器106的操作脉冲驱动，并对从成像光学***103引导来的被摄体像进行光电转换。以这种方式，表示捕获图像的图像信号被输出到信号处理部110。要被输出的图像信号是与来自定时产生器106的操作脉冲同步的信号，并且是包括红（R）绿（G）和蓝（B）三原色的Bayer（拜耳）阵列的RAW信号（原始信号）。

检测器108检测RAW信号的电平（例如，照度信息）。由检测器108获得的结果被作为指示输入图像的亮度的检测信息输出到控制器101。

增益调整器109将输入信号乘以增益以在后续阶段的信号处理中保持固定的信号电平。根据来自控制器101的增益控制信号来控制要由增益调整器109乘以的增益。

例如，通过使用DSP（数字信号处理器），可以实现在信号处理部110和后面的组件中要执行的图像处理功能。信号处理部110对从图像传感器107输入的图像信号执行图像信号处理，诸如降噪、白平衡调整、色彩校正、边缘增强、伽马校正和分辨率转换。信号处理部110可以将数字图像信号临时存储在内存104中。RAW/YC转换部111将从信号处理部110输入的RAW信号转换为YC信号，并将该YC信号输出到运动矢量估计部112。关于此点，YC信号是包括照度成分（Y）和红/蓝色差成分（Cr/Cb）的图像信号。

例如，运动矢量估计部112从内存104读取目标图像和参考图像的图像信号。例如，通过诸如块匹配的处理，运动矢量估计部112估计这些图像之间的运动矢量（局部运动矢量）。此外，通过评估局部运动矢量的可靠性，运动矢量估计部112计算全局运动。通过使用计算出的全局运动，针对每个目标块计算全局运动矢量。

基于局部运动矢量和全局运动矢量，运动矢量估计部112确定目标块是背景还是运动被摄体。根据确定的结果，运动矢量估计部112将局部运动矢量和全局运动矢量的其中之一确定为用于NR处理的运动矢量。运动矢量估计部112将目标图像、对应于该目标图像的参考图像和用于NR处理的运动矢量输出到运动补偿图像产生部113。

通过使用从运动矢量估计部112供应的用于NR处理的运动矢量，运动补偿图像产生部113补偿目标图像与参考图像之间的运动，然后产生运动补偿图像。更具体地，运动补偿图像是通过对参考图像执行与基于用于NR处理的运动矢量的全局运动相对应的处理（即，包括平移（平行移动）、旋转、缩放等的变换处理）而产生的。运动补偿图像产生部113将产生的运动补偿图像和目标图像输出到被加图像产生部114。

被加图像产生部114至少获取运动补偿图像和参考图像。在本例子中，被加图像产生部114还获取目标图像。要获取的图像（运动补偿图像、参考图像等）可以以帧为单位、以块为单位或以像素为单位而被获取。被加图像产生部114按照预定混合比率σ将运动补偿图像与参考图像混合，然后产生被加图像。混合比率σ从例如控制器101供应。换句话说，被加图像产生部114充当所附权利要求中的图像获取单元和图像产生器的例子。被加图像产生部114将目标图像和被加图像输出到图像加法器115。

图像加法器115通过将目标图像与被加图像相加来执行帧NR处理，并产生输出图像。产生的输出图像变成具有降低的噪声的图像。产生的输出图像被存储在例如内存104中。产生的输出图像可以被显示在显示器123上。

估计部116估计成像装置100的运动。例如，通过估计与用于固定成像装置100的固定构件的连接状态，估计部116可以估计成像装置100的运动。通过使用并入到成像装置100中的传感器（加速度传感器、陀螺仪传感器等）来估计成像装置100的预定移动，可以估计成像装置100的运动。估计部116将通过估计获得的信号作为估计信号输出到控制器101。

当从操作部102接收到拍摄静止图像的指示时（在静止图像拍摄模式下），静止图像编解码器120从内存104读取进行了NR处理的图像信号，通过诸如JPEG（联合图像专家组）的预定压缩编码方法来压缩该图像信号，并使得存储装置105存储压缩后的图像数据。另外，当从操作部102接收到再现静止图像的指示时（在静止图像再现模式下），静止图像编解码器120从存储装置105读取图像数据，通过诸如JPEG的预定压缩编码方法来解压缩该图像数据，并将解压缩的图像信号提供到NTSC编码器122。

当从操作部102接收到拍摄运动图像的指示时（在运动图像拍摄模式下），运动图像编解码器121从内存104读取进行了NR处理的图像信号，通过诸如MPEG（运动图像专家组）的预定压缩编码方法来压缩该图像信号，并使得存储装置105存储压缩后的图像数据。另外，当从操作部102接收到再现运动图像的指示时（在运动图像拍摄模式下），运动图像编解码器121从存储装置105读取图像数据，通过诸如MPEG的预定压缩编码方法来解压缩该图像数据，并将解压缩的图像信号提供到NTSC编码器122。

NTSC（国家电视***委员会）编码器122将图像信号转换为NTSC***标准彩***信号，并将其提供到显示器123。在拍摄静止图像时或在拍摄运动图像时，NTSC编码器122从内存104读取进行了NR处理的图像信号，并将读取的图像信号作为直通镜头（through-the-lens）图像或捕获图像提供到显示器123。此外，在再现静止图像时或在再现运动图像时，NTSC编码器122可以从静止图像编解码器120或运动图像编解码器121获取图像信号，并且可以将获取的图像信号作为再现图像提供到显示器123。

显示器123显示从NTSC编码器122获取的视频信号。显示器123可以是LCD（液晶显示器）或有机EL（电致发光）显示器。此外，使用未示出的诸如HDMI（高清晰度多媒体接口）（注册商标）的通信部，从NTSC编码器122输出的视频数据可以从成像装置100输出到外部。

[增益调整器的配置]

图18示出增益调整器109的示例性配置。增益调整器109包括乘法器1090。增益调整器109接收经由检测器108来自图像传感器107的图像信号。此外，将来自控制器101的增益控制信号供应给增益调整器109。增益控制信号是指示由控制器101基于检测器108获得的检测信息而计算出的增益的信号。增益调整器109的乘法器1090根据增益控制信号将输入的图像信号乘以该增益。增益调整后的图像信号被从增益调整器109输出。

例如，控制器101调整增益，从而使得调整后电平保持恒定，直到图像信号的电平达到预定输入电平。但是，如果图像信号的电平变得小于预定输入电平，则控制器101设置增益，从而使得在不调整增益的情况下调整后电平变暗。

[运动矢量估计部的配置]

图19示出运动矢量估计部112的示例性配置。运动矢量估计部112包括保持目标块的像素数据的目标块缓冲器211和保持参考块的像素数据的参考块缓冲器212。

此外，运动矢量估计部112包括用于计算对应于目标块和参考块的像素的SAD值的匹配处理单元1123。另外，运动矢量估计部112包括根据从匹配处理单元1123输出的SAD值信息来估计局部运动矢量的局部运动矢量估计单元1124。运动矢量估计部112还包括：控制单元1125、运动矢量可靠性指标值计算单元1126、全局运动计算单元1127、全局运动矢量估计单元1128、背景/运动被摄体确定单元1120。

控制单元1125控制运动矢量估计部112中的处理序列，由此，如图所示将控制信号供应到各个组件。

目标块缓冲器211在控制单元1125的控制下获取目标帧的图像数据之中的指定目标块的图像数据。目标块缓冲器211从内存104或RAW/YC转换部111获取目标块的图像数据。获取的目标块的图像数据被输出到匹配处理单元1123。此外，目标块缓冲器211将获取的目标块的图像数据输出到运动补偿图像产生部113。

参考块缓冲器212在控制单元1125的控制下获取内存104的参考帧的图像数据之中的指定匹配处理范围中的图像数据。参考块缓冲器212将匹配处理范围中的图像数据之中的参考块的图像数据供应到匹配处理单元1123。此外，参考块缓冲器212在控制单元1125的控制下将被指定为运动补偿块的参考块的像素数据输出到运动补偿图像产生部113。

匹配处理单元1123从目标块缓冲器211接收目标块的图像数据，并从参考块缓冲器212接收参考块的图像数据。该目标块可以是基底面或缩小面上的目标块。对于参考块也是这样。匹配处理单元1123根据控制单元1125的控制来执行块匹配处理。匹配处理单元1123将通过执行块匹配处理获得的SAD值和参考矢量（参考块的位置信息）供应到局部运动矢量估计单元1124。

局部运动矢量估计单元1124包括保持SAD值的第一极小值的第一极小值保持单元1124a和保持SAD值的第二极小值的第二极小值保持单元1124b。局部运动矢量估计单元1124估计来自匹配处理单元1123的SAD值之中的SAD值的第一极小值和SAD值的第二极小值。

局部运动矢量估计单元1124针对SAD值及其位置信息（参考矢量），更新第一极小值保持单元1124a的SAD值的第一极小值。另外，局部运动矢量估计单元1124针对SAD值及其位置信息（参考矢量），更新第二极小值保持单元1124b的SAD值的第二极小值。局部运动矢量估计单元1124执行更新处理，直到对匹配处理范围的所有参考块的块匹配处理都完成。

当完成了块匹配处理时，此时的目标块的SAD值的第一极小值及其位置信息（参考矢量）被存储和保持在SAD值的第一极小值保持单元1124a中。另外，SAD值的第二极小值及其位置信息（参考矢量）被存储和保持在SAD值的第二极小值保持单元1124b中。

当对于匹配处理范围的所有参考块都完成了块匹配处理时，局部运动矢量估计单元1124估计保持在SAD值的第一极小值保持单元1124a中的参考矢量的信息（位置信息），作为局部运动矢量。另外，在具有最小SAD值的参考块附近的多个参考块的SAD值被保持，由此可以通过二次曲线近似内插处理来估计高精度的具有子像素的局部运动矢量。

由局部运动矢量估计单元1124获得的局部运动矢量（LMV）被供应到全局运动计算单元1127。全局运动计算单元1127临时地保持接收到的局部运动矢量。

当通过局部运动矢量估计单元1124进行的局部运动矢量的计算处理完成时，控制单元1125使运动矢量可靠性指标值计算单元1126被启用，从而运动矢量可靠性指标值计算单元1126开始操作。然后，局部运动矢量估计单元1124将第一极小值保持单元1124a的SAD值的最小值MinSAD和第二极小值保持单元1124b的SAD值的第二极小值Btm2SAD供应给运动矢量可靠性指标值计算单元1126。

运动矢量可靠性指标值计算单元1126通过使用被供应的信息，根据上述的式(1)来计算指示运动矢量的可靠性的指标值Ft。然后，运动矢量可靠性指标值计算单元1126将计算出的指标值Ft供应给全局运动计算单元1127。全局运动计算单元1127将输入的指标值Ft与此时供应的局部运动矢量相关联地临时保持。

当对于目标帧的所有目标块完成了处理时，控制单元1125指示全局运动计算单元1127开始计算全局运动的处理。

全局运动计算单元1127在从控制单元1125接收到指示时最初通过使用被保持的对应指标值Ft来执行对被保持的多个局部运动矢量的可靠性的确定。然后，只有具有高可靠性的局部运动矢量被提取。全局运动计算单元1127通过将具有大于阈值的指标值Ft的局部运动矢量视为具有高可靠性的局部运动矢量，来提取局部运动矢量。

全局运动计算单元1127通过只使用提取的具有高可靠性的局部运动矢量来计算全局运动（GM）。在本例子中，全局运动计算单元1127使用仿射变换来估计和计算全局运动。全局运动计算单元1127将计算出的全局运动供应到全局运动矢量估计单元1128。

全局运动矢量估计单元1128将全局运动应用于目标块的坐标位置（例如，中心位置），由此计算目标块的全局运动矢量。计算全局运动矢量的方法不限于从画面中的局部运动矢量计算全局运动矢量的方法。例如，全局运动矢量可以作为从陀螺仪等获得的外部信息被输入。

全局运动矢量估计单元1128将计算出的全局运动矢量（GMV）供应给背景/运动被摄体确定单元1120。还向背景/运动被摄体确定单元1120供应来自局部运动矢量估计单元1124的局部运动矢量。

背景/运动被摄体确定单元1120将每个目标块的局部运动矢量与全局运动矢量进行比较，并且确定对于目标块的、它们之间的匹配的程度，即，背景匹配程度。在这种情况下，背景/运动被摄体确定单元1120将对应于局部运动矢量的参考块的相关值（例如，SAD值）与对应于全局运动矢量的参考块的相关值（例如，SAD值）进行比较，并且执行背景和运动被摄体之间的确定。

在局部运动矢量估计单元1124中获得的用来计算全局运动的局部运动矢量和SAD值可以被用于背景/运动被摄体确定单元1120中的比较。

但是，在这种情况下，局部运动矢量估计单元1124需要在执行全局运动计算单元1127或者全局运动矢量估计单元1128中的处理所需的时间期间保持局部运动矢量或者SAD值。在这种情况下，特别地，对于被保持的SAD值，没有确定全局运动矢量对应于参考矢量中的哪一个，由此需要保持每个相应目标块的SAD表中的所有SAD值。因此，用于保持局部运动矢量或者SAD值的存储器需要具有大的存储容量。

鉴于这一事实，局部运动矢量估计单元1124可以重新计算局部运动矢量或者SAD值以用于背景/运动被摄体确定单元1120中的比较。因此，不需要为局部运动矢量估计单元1124提供用于保持局部运动矢量或SAD值的存储器，从而避免存储器容量问题。

背景/运动被摄体确定单元1120通过使用重新计算出的局部运动矢量和SAD值来确定指示目标块的背景匹配程度的命中率β。背景/运动被摄体确定单元1120在重新计算时还获取与全局运动矢量匹配的参考矢量（参考块的位置）的SAD值。然后，背景/运动被摄体确定单元1120通过使用重新计算的局部运动矢量或SAD值来确定目标块是背景部分还是运动被摄体部分。

背景/运动被摄体确定单元1120如上所述将对应于全局运动矢量的参考块的SAD值校正为反映图像噪声的值。需要将对应于全局运动矢量的参考块的SAD值与对应于局部运动矢量的参考块的SAD值进行比较。

然后，背景/运动被摄体确定单元1120将校正后的SAD值与对应于局部运动矢量的参考块的SAD值进行比较。然后，背景/运动被摄体确定单元1120确定校正后的对应于全局运动矢量的参考块的SAD值是否小于对应于局部运动矢量的参考块的SAD值。如果确定校正后的对应于全局运动矢量的参考块的SAD值小于对应于局部运动矢量的参考块的SAD值，则背景/运动被摄体确定单元1120确定目标块是背景部分。

当背景匹配程度指示命中率β使得目标块被视为背景部分时，背景/运动被摄体确定单元1120输出全局运动矢量作为用于NR处理的运动矢量（MVnr）。在除了上述情况以外的情况下，背景/运动被摄体确定单元1120输出局部运动矢量作为用于NR处理的运动矢量。

从背景/运动被摄体确定单元1120输出的用于NR处理的运动矢量被供应给运动补偿图像产生部113。

[目标块缓冲器的细节]

图20示出目标块缓冲器211的细节的例子。目标块缓冲器211从内存104或RAW/YC转换部111获取基底面目标帧的像素数据和缩小面目标帧的像素数据。可以由选择器2114来切换像素数据的获取源。作为例子，目标块缓冲器211在拍摄静止图像时从内存104获取像素数据，但是目标块缓冲器211在拍摄运动图像时从RAW/YC转换部111获取像素数据。要获取的缩小面目标帧的像素数据由稍后将描述的图像加法器115中包含的缩小面产生单元1154或RAW/YC转换部111产生，并且被存储在内存104中。

目标块缓冲器211在基底面缓冲单元2111中累积基底面目标帧的像素数据。另外，目标块缓冲器211在缩小面缓冲单元2112中累积缩小面目标帧的像素数据。例如，在拍摄运动图像时，当在从RAW/YC转换部111获取的像素数据中不包含缩小面目标帧的像素数据时，目标块缓冲器211通过使用缩小处理单元2113根据基底面目标帧的像素数据产生缩小面目标帧的像素数据。可以由选择器2115切换是否使用缩小处理单元2113。

[参考块缓冲器的细节]

图21示出运动矢量估计部112中的参考块缓冲器212的详细配置的例子。参考块缓冲器212包括基底面缓冲单元2121、缩小面缓冲单元2122和选择器2123。

参考块缓冲器212从内存104获取缩小面匹配处理范围的像素数据和基底面匹配处理范围的像素数据。获取的缩小面匹配处理范围的像素数据和获取的基底面匹配处理范围的像素数据分别在缩小面缓冲单元2122和基底面缓冲单元2121中被累积。

此外，参考块缓冲器212将基底面参考块或者缩小面参考块的像素数据提供给运动补偿图像产生部113和匹配处理单元1123。向运动补偿图像产生部113提供在基底面缓冲单元2121中累积的基底面匹配处理范围中的像素数据之中的被指定为运动补偿块的范围中的像素数据。当在缩小面中执行块匹配处理时，向匹配处理单元1123提供在缩小面缓冲单元2122中累积的缩小面匹配处理范围中的像素数据之中的要用于块匹配处理的缩小的参考块的像素数据。

此外，当在基底面中执行块匹配处理时，提供在基底面缓冲单元2121中累积的基底面匹配处理范围中的像素数据之中的要用于块匹配处理的基底面参考块的像素数据。要提供给匹配处理单元1123的像素数据由选择器2123切换。

如上所述，运动矢量估计部112输出目标块、运动补偿块和用于NR处理的运动矢量，并且这些块被供应给运动补偿图像产生部113。运动补偿图像产生部113对运动补偿块执行对应于用于NR处理的运动矢量的变换处理。通过执行该变换处理获得的通过用于NR处理的运动矢量对其运动进行补偿的块适当地被称为运动补偿图像块。产生的运动补偿图像块被供应给被加图像产生部114。另外，运动补偿图像产生部113将从运动矢量估计部112供应的目标块输出给被加图像产生部114。

[被加图像产生部的细节]

图22示出被加图像产生部114的详细配置的例子。被加图像产生部114包括混合单元1141和参考块缓冲单元1142。如上所述，基底面目标块的像素数据和运动补偿图像块的像素数据从运动补偿图像产生部113被输入到被加图像产生部114。基底面目标块的像素数据通过被加图像产生部114被输出到图像加法器115。运动补偿图像块的像素数据被输入到混合单元1141。

从内存104向被加图像产生部114供应参考块。参考块是对应于运动补偿图像块的块，但是它是没有对其运动进行过补偿的块。例如，参考块可以被保持在参考块缓冲单元1142中，以调整相对于运动补偿图像块的位置。然后，参考块在适当的定时从参考块缓冲单元1142被读取并供应给混合单元1141。

还通过***总线130从控制器101向被加图像产生部114供应混合比率σ。如上所述，混合比率σ是参考图像相对于运动补偿图像的比例。混合比率σ是由控制器101基于由检测器108获得的检测信息而设置的。上面参照图18等描述了设置混合比率σ的例子，因此，为了避免重复，适当地省略其描述。

混合单元1141根据输入的混合比率σ将运动补偿图像块与参考块进行混合，然后产生被加图像的块（适当地被称为被加图像块）。产生的被加图像块被输出给图像加法器115。由增益调整器109调整的输入图像的调整后电平可以被输入给混合单元1141。混合单元1141可以被配置为获取与调整后电平相对应的混合比率σ。例如，混合单元1141存储其中记述了调整后电平和对应于调整后电平的混合比率σ的表格，并且可以基于该表格来确定对应于调整后电平的混合比率σ。

[图像加法器的细节]

图23示出图像加法器115的详细配置的例子。图像加法器115包括相加比率计算单元1151、相加单元1152、基底面输出缓冲单元1153、缩小面产生单元1154和缩小面输出缓冲单元1155。

相加比率计算单元1151从被加图像产生部114获取基底面目标块的像素数据和被加图像块的像素数据，并且计算这些块的相加比率。例如，基底面目标块和被加图像块可以通过使用诸如简单相加或平均相加方法的相加方法被相加。相加比率计算单元1151根据这种方法适当地计算相加比率α。相加比率计算单元1151将计算出的相加比率、基底面目标块的像素数据和被加图像块的像素数据提供给相加单元1152。

相加单元1152从相加比率计算单元1151获取基底面目标块的像素数据、被加图像块的像素数据和这些块的相加比率。相加单元1152以获取的相加比率将基底面目标块的像素数据和被加图像块的像素数据相加，并且产生通过帧NR的效果而降低了噪声的基底面NR块。相加单元1152将基底面NR块的像素数据提供给基底面输出缓冲单元1153和缩小面产生单元1154。

基底面输出缓冲单元1153累积从相加单元1152提供的基底面NR块的像素数据，最终将基底面NR图像作为输出图像提供给内存104。基底面NR图像被存储在内存104中。

缩小面产生单元1154缩小从相加单元1152提供的基底面NR块的像素数据，并且产生缩小面NR块的像素数据。缩小面产生单元1154将缩小面NR块的像素数据提供给缩小面输出缓冲单元1155。

缩小面输出缓冲单元1155累积从缩小面产生单元1154提供的缩小面NR块的像素数据，并且将该像素数据作为缩小面NR图像存储在内存104中。例如，当在拍摄静止图像时参考图像被进一步叠加在经过帧NR的目标图像上时，在内存104中存储的缩小面NR图像可以用作缩小面目标图像。另外，当在拍摄运动图像时对作为目标图像的后续帧执行帧NR时，在内存104中存储的缩小面NR图像可以用作缩小面参考图像。

如上所述，根据本公开的实施例，可以至少产生要相加的适当的图像。另外，例如，甚至在暗场所拍摄图像时也可以使用要相加的适当的图像来执行帧NR处理。

＜2.变型例＞

虽然上面详细地描述了本公开的实施例，但是本公开并不局限于上述的实施例，并且可以基于本公开的技术范围进行各种修改。下面将描述变型例。

在实施例的每个处理中示出了处理单位，并且处理单位可以被适当地修改。可以以图像、块、多个块和像素为单位，适当地设置处理单位。另外，块的尺寸可以被适当地修改。

图像处理装置或者成像装置可以设置有传感器等，并且可以使用传感器等来获取照度。可以根据获取的亮度来设置混合比率。

作为指示每个块或其它单位的相关性大小的参数，可以使用除了SAD值以外的值。例如，可以使用作为照度值之间的平方差之和的SSD（Sum of Squared Difference，平方差之和）。

要注意，实施例和变型例中的配置和处理可以被适当地组合，只要不发生技术矛盾即可。在示出的处理流程中的相应处理的顺序可以被适当地改变，只要不发生技术矛盾即可。

此外，除了装置以外，本公开的实施例可以被实现为方法或程序。实现上述的实施例的功能的程序直接地或者通过使用有线/无线通信从记录介质被提供给包括能够执行该程序的计算机的***或装置。实施例的功能通过使得***或装置的计算机执行提供的程序来实现。

在这种情况下，程序可以采取任何形式，例如，对象代码、由解释器执行的程序、以及被供应给OS的脚本数据，只要它具有程序的功能即可。

作为用来供应程序的记录介质，可以使用软盘、硬盘、磁记录介质（例如，磁带）、光/磁-光存储介质（例如，MO（磁光盘）、CD-ROM、CD-R（可记录）、CD-RW（可重写）、DVD-ROM、DVD-R或DVD-RW）、非易失性半导体存储器等。

通过有线/无线通信供应程序的方法的例子包括在计算机网络上的服务器中存储数据文件（程序数据文件）并将程序数据文件下载到连接的客户端计算机的方法。数据文件（程序数据文件）可以是实现本公开的实施例的计算机程序自身，或者可以是用于在客户端计算机上实现本公开的实施例的计算机程序，例如，包括自动安装功能的压缩文件。在这种情况下，程序数据文件可以被分割成多个段文件，并且这些段文件可以被分布在不同的服务器中。

本公开可以被应用于所谓的云***，其中上述的处理由多个装置分布和执行。在实施例等中示出的多个处理由多个装置执行的***中，可以将本公开实现为用于执行这些处理中的至少一些的装置。

另外，本技术还可以被配置为如下。

(1)

一种图像处理装置，包括：

图像获取单元，被配置为获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及

图像产生器，被配置为通过以预定的混合比率将第一图像与第二图像混合来产生第三图像。

(2)

根据（1）的图像处理装置，还包括：

检测器，被配置为检测输入图像的亮度；以及

混合比率设置单元，被配置为基于输入图像的亮度来设置混合比率。

(3)

根据（2）的图像处理装置，其中当输入图像的亮度大于阈值时，混合比率设置单元将第二图像相对于第一图像的混合比率设置为零。

(4)

根据（2）的图像处理装置，其中混合比率设置单元设置混合比率，使得第二图像相对于第一图像的混合比率随着输入图像的亮度增加而减小。

(5)

根据（1）至（4）中的任何一项的图像处理装置，还包括：

图像加法器，被配置为将第三图像和目标图像相加。

(6)

根据（2）的图像处理装置，还包括：

增益设置单元，被配置为基于输入图像的亮度设置输入图像的增益，

其中，混合比率设置单元根据按照所设置的增益调整的输入图像的电平来设置混合比率。

(7)

根据（1）至（6）中的任何一项的图像处理装置，其中第一图像是通过使用第一运动矢量和与第一运动矢量不同的第二运动矢量中的至少一个而获得的。

(8)

根据（7）的图像处理装置，

其中第一运动矢量是针对图像被分割成多个区域得到的每个块获得的局部运动矢量，并且

其中第二运动矢量是基于一个或多个所述局部运动矢量获得的全局运动矢量。

(9)

一种图像处理装置中的图像处理方法，该图像处理方法包括：

获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及

通过以预定的混合比率将第一图像与第二图像混合来产生第三图像。

(10)

一种使计算机执行图像处理装置中的图像处理方法的程序，该图像处理方法包括：

获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及

通过以预定的混合比率将第一图像与第二图像混合来产生第三图像。

(11)

一种成像装置，包括：

成像单元；

图像获取单元，被配置为获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像，该第二图像是通过成像单元获得的；以及

图像产生器，被配置为通过以预定的混合比率将第一图像与第二图像混合来产生第三图像；以及

图像加法器，被配置为将第三图像和目标图像相加。

Claims (11)

1.一种图像处理装置，包括：

图像获取单元，被配置为获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得所述运动矢量的参考图像的第二图像；以及

图像产生器，被配置为通过以预定的混合比率将第一图像与第二图像混合来产生第三图像。

2.根据权利要求1所述的信息处理装置，还包括：

检测器，被配置为检测输入图像的亮度；以及

混合比率设置单元，被配置为基于输入图像的亮度来设置所述混合比率。

3.根据权利要求2所述的图像处理装置，其中当输入图像的亮度大于阈值时，混合比率设置单元将第二图像相对于第一图像的混合比率设置为零。

4.根据权利要求2所述的图像处理装置，其中混合比率设置单元设置所述混合比率，使得第二图像相对于第一图像的混合比率随着输入图像的亮度增加而减小。

5.根据权利要求1所述的信息处理装置，还包括：

图像加法器，被配置为将第三图像和目标图像相加。

6.根据权利要求2所述的信息处理装置，还包括：

增益设置单元，被配置为基于输入图像的亮度设置对于输入图像的增益，

其中，混合比率设置单元根据按所设置的增益调整的输入图像的电平来设置所述混合比率。

7.根据权利要求1所述的图像处理装置，其中第一图像是通过使用第一运动矢量和与第一运动矢量不同的第二运动矢量中的至少一个获得的。

8.根据权利要求7所述的图像处理装置，

其中第一运动矢量是针对图像被分割成多个区域得到的每个块获得的局部运动矢量，并且

其中第二运动矢量是基于一个或多个所述局部运动矢量获得的全局运动矢量。

9.一种图像处理装置中的图像处理方法，该图像处理方法包括：

获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及

通过以预定的混合比率将第一图像与第二图像混合来产生第三图像。

10.一种使计算机执行图像处理装置中的图像处理方法的程序，该图像处理方法包括：

获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像；以及

通过以预定的混合比率将第一图像与第二图像混合来产生第三图像。

11.一种成像装置，包括：

成像单元；

图像获取单元，被配置为获取使用指示帧之间的运动的运动矢量获得的第一图像和用作用于获得该运动矢量的参考图像的第二图像，第二图像是通过成像单元获得的；

图像产生器，被配置为通过以预定的混合比率将第一图像与第二图像混合来产生第三图像；以及

图像加法器，被配置为将第三图像和目标图像相加。