CN102201113A - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

本发明涉及图像处理设备、图像处理方法以及程序。该图像处理设备包括：运动预测处理单元，其检测标准图像与参考图像之间的图像间运动；运动补偿处理单元，其通过移动参考图像以便在像素位置中与标准图像对准，来生成经运动补偿的图像；相加处理单元，其生成降低了标准图像的噪声的噪声降低图像；以及相加确定单元，其计算经运动补偿的图像的相加权重。相加确定单元包括：第一运动区域检测单元，其计算运动区域确定值；第二运动区域检测单元，其计算运动区域确定值；控制映射生成单元，其选择并输出两个运动区域确定值之一；噪声确定表格生成单元，其生成或校正噪声确定表格；以及相加确定处理执行单元，其确定相加权重。

Description

图像处理设备、图像处理方法以及程序

技术领域

本发明涉及图像处理设备、图像处理方法以及程序，更特别地，涉及能够生成经运动补偿的图像或者降低图像中的噪声的图像处理设备、图像处理方法以及程序。

背景技术

利用诸如照相机或视频设备的成像设备拍摄的图像包括很多噪声。特别地，在低照明度下或者以短曝光时间来拍摄的图像通常包括很多噪声。当在低照明度下或者以短曝光时间来拍摄图像时，图像包括很多噪声的原因之一是由于入射光量小，因此在成像元件中积累的电荷量降低。为了基于成像数据来获取明亮的图像，需要对信号进行放大。当信号被放大时，在成像元件中或者在模拟电路中生成的噪声被放大，因此图像包括很多噪声。

为了降低噪声，长时间曝光是有效的。然而，当长时间执行曝光时，存在如下可能性：由于在曝光期间照相机抖动，因此出现图像模糊。降低噪声的方法包括如下方法：该方法通过执行连拍来以高快门速度反复拍摄图像、并对通过连拍在不同时刻拍摄的多个图像执行相加平均以使得曝光模糊几乎不出现，减少(降低)与时间不相关的噪声。然而，产生如下问题：由于对多个图像的相加处理引起相当大的计算量，因此处理效率退化。

例如，根据现有技术的日本未审查专利申请公布第2009-290827号公开了一种在时间方向上减少(降低)噪声的方法，作为通过对通过连拍在不同时刻拍摄的多个图像执行相加平均来降低噪声的方法。

在日本未审查专利申请公布第2009-290827号中，基本执行对如下多个图像的对应像素的像素值执行相加平均处理：这多个图像被确定为是通过调整不同时刻拍摄的多个图像的位置来拍摄同一对象而形成的。例如，使用作为噪声降低目标的标准图像和该标准图像的一帧之前的参考图像，通过将参考图像上的对象移动到该对象在标准图像上的同一位置，生成经运动补偿的图像(MC图像)。然后，对标准图像与经运动的补偿图像(MC)之间的对应像素执行相加平均，以生成噪声降低的图像。

然而，当执行该处理时，经运动补偿的图像(MC图像)的像素例如可能变成具有与整个图像的运动不同的运动的移动对象的区域(例如，诸如车或人的运动对象的区域)中与标准图像的对应像素不同的对象像素。在运动区域中，执行控制以便通过减少经运动补偿的图像(MC图像)的像素相对于标准图像的相加权重来提高标准图像的像素值的权重。

即，执行噪声降低处理，以使得在被确定为是除移动对象的区域之外的非运动区域中积极地执行标准图像与经运动补偿的图像(MC图像)之间的对应像素的相加平均，而在移动对象的区域中将相加平均的影响减少到相当大地反映标准图像的像素值。

在日本未审查专利申请公布第2009-290827号中，通过对与整个图像的运动对应的全局运动向量(GMV)和作为块区域(其是图像的划分区域)的运动向量的局部运动向量(LMV)进行比较、并且确定具有通过比较获得的较大差异的块为运动区域，执行检测运动区域的处理。

当向量精度取决于所生成的向量的精度而下降时，通过对全局运动向量(GMV)和局部运动向量(LMV)进行比较的处理而获得的运动确定精度显著下降。例如，包括比被设置为计算局部运动向量的块区域更小的局部区域的运动区域的块有时不会被确定为运动区域块。在这种情况下，在局部的运动区域中，可产生如下问题：执行与非运动区域相同的多个图像的对应点的相加平均，从而噪声被进一步提高。

当执行检测运动向量的处理时，执行通过比较连续拍摄的多个图像的像素值而进行的匹配处理来搜索对应点。然而，例如，当在图像的拍摄期间照明条件改变时，难以搜索对应的图像点，因此不能适当地算出运动向量。在这种情况下，可产生如下问题：在对全局运动向量(GMV)与局部运动向量(LMV)进行比较的处理中，运动区域的检测精度退化，因此不能生成有效地降低噪声的图像。

发明内容

期望提供一种图像处理设备、图像处理方法以及程序，其能够在通过多个图像的合成来生成噪声降低图像的配置中，通过改进确定运动区域的处理并且以高精度计算相加权重，实现生成高质量、噪声降低的图像。

期望提供一种图像处理设备、图像处理方法以及程序，其能够通过既执行经由全局运动向量(GMV)与局部运动向量(LMV)之间的比较而确定运动区域的处理，也执行还使用基于标准图像和经运动补偿的图像的像素差异信息而算出的运动估计(ME)成功确定信息来确定运动区域的处理两者，并且通过使用由这两种不同方式进行的运动区域的检测信息来以高精度计算相加权重，来实现生成高质量、噪声降低的图像。

根据本发明的实施例，提供了一种图像处理设备，其包括：运动预测处理单元，其检测标准图像与参考图像之间的图像间运动；运动补偿处理单元，其通过使用关于由运动预测处理单元检测到的图像间运动的信息移动参考图像以便在像素位置中与标准图像对准，来生成经运动补偿的图像；相加处理单元，其通过将标准图像与经运动补偿的图像相加的相加处理，生成降低了标准图像的噪声的噪声降低图像；以及相加确定单元，其以像素单位计算经运动补偿的图像的相加权重，该相加权重被应用于由相加处理单元在标准图像与经运动补偿的图像之间执行的相加处理。相加确定单元包括：第一运动区域检测单元，其基于标准图像与经运动补偿的图像之间的像素差异信息来计算运动区域确定值，该运动区域确定值表示以构成标准图像的区域单位来包括有移动对象的区域；第二运动区域检测单元，其通过应用作为区域单位的运动信息的局部运动向量(LMV)与作为整个图像的运动信息的全局运动向量(GMV)之间的差异信息，计算区域单位的运动区域确定值；控制映射生成单元，其依据各运动区域确定值的组合，选择并输出从第一运动区域检测单元和第二运动区域检测单元输出的两个运动区域确定值之一；噪声确定表格生成单元，其根据从控制映射生成单元输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及相加确定处理执行单元，其根据基于由噪声确定表格生成单元生成的噪声确定表格而估计的像素单位的噪声量，确定相加权重。

在根据本发明的实施例的图像处理设备中，在由从第一运动区域检测单元和第二运动区域检测单元输出的两个运动区域确定值的至少之一确定为很可能是运动区域的区域中，控制映射生成单元可将第一运动区域检测单元的确定值输出为最终确定值。在根据由第一运动区域检测单元和第二运动区域检测单元输出的两个运动区域确定值两者确定为并非很可能是运动区域的区域中，控制映射生成单元可将第二运动区域检测单元的确定值输出为最终确定值。

在根据本发明的实施例的图像处理设备中，在其中根据从控制映射生成单元输出的区域单位的运动区域确定信息而设置了表示区域不太可能是运动区域的确定值的区域中，噪声确定表格生成单元可生成或校正噪声确定表格，以增加与像素值对应的估计噪声量。在其中根据从控制映射生成单元输出的区域单位的运动区域确定信息而设置了表示区域很可能是运动区域的确定值的区域中，噪声确定表格生成单元可生成或校正噪声确定表格，以减少与像素值对应的估计噪声量。

在根据本发明的实施例的图像处理设备中，相加确定处理执行单元可执行如下确定相加权重的处理：在噪声量大的区域中将相加权重设置为大，并且在像素单位的噪声量小的区域中将相加权重设置为小，像素单位的噪声量是通过由噪声确定表格生成单元生成的噪声确定表格来估计的。

在根据本发明的实施例的图像处理设备中，第一运动区域检测单元可对标准图像和经运动补偿的图像进行分析，以确定从经运动补偿的图像划分的每个区域是否是与如下区域之一对应的区域：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)既不是(a)运动估计(ME)成功区域也不是(b)运动估计(ME)失败区域的边界区域，并且第一运动区域检测单元根据确定结果来计算每个小区域的运动区域确定值。

根据本发明的另一实施例，提供了一种在图像处理设备中生成噪声降低图像的图像处理方法，其包括以下步骤：由运动预测处理单元检测标准图像与参考图像之间的图像间运动；由运动补偿处理单元通过使用关于由运动预测处理单元检测到的图像间运动的信息移动参考图像以便在像素位置中与标准图像对准，来生成经运动补偿的图像；由相加处理单元通过将标准图像与经运动补偿的图像相加的相加处理，生成降低了标准图像的噪声的噪声降低图像；以及由相加确定单元以像素单位计算经运动补偿的图像的相加权重，该相加权重被应用于由相加处理单元在标准图像与经运动补偿的图像之间执行的相加处理。计算相加权重的步骤包括以下子步骤：基于标准图像与经运动补偿的图像之间的像素差异信息来计算运动区域确定值的第一运动区域检测子步骤，该运动区域确定值表示以构成标准图像的区域单位来包括有移动对象的区域；通过应用作为区域单位的运动信息的局部运动向量(LMV)与作为整个图像的运动信息的全局运动向量(GMV)之间的差异信息来计算区域单位的运动区域确定值的第二运动区域检测子步骤；依据各运动区域确定值的组合，选择并输出从第一运动区域检测子步骤和第二运动区域检测子步骤输出的两个运动区域确定值之一；根据在选择并输出两个运动区域确定值之一的子步骤中输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及根据基于在生成或校正噪声确定表格的子步骤中生成的噪声确定表格而估计的像素单位的噪声量，确定相加权重。

根据本发明的又一实施例，提供了一种使得图像处理设备执行生成噪声降低图像的处理的程序。该程序执行以下步骤：由运动预测处理单元检测标准图像与参考图像之间的图像间运动；由运动补偿处理单元通过使用关于由运动预测处理单元检测到的图像间运动的信息，移动参考图像以便在像素位置中与标准图像对准，来生成经运动补偿的图像；由相加处理单元通过将标准图像与经运动补偿的图像相加的相加处理，生成从其降低了标准图像的噪声的噪声降低图像；以及由相加确定单元以像素单位计算经运动补偿的图像的相加权重，该相加权重被应用于由相加处理单元在标准图像与经运动补偿的图像之间执行的相加处理。计算相加权重的步骤包括以下子步骤：基于标准图像与经运动补偿的图像之间的像素差异信息来计算运动区域确定值的第一运动区域检测子步骤，该运动区域确定值表示以构成标准图像的区域单位来包括有移动对象的区域；通过应用作为区域单位的运动信息的局部运动向量(LMV)与作为整个图像的运动信息的全局运动向量(GMV)之间的差异信息来计算区域单位的运动区域确定值的第二运动区域检测子步骤；依据各运动区域确定值的组合，选择并输出从第一运动区域检测子步骤和第二运动区域检测子步骤输出的两个运动区域确定值之一；根据在选择并输出两个运动区域确定值之一的子步骤中输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及根据基于在生成或校正噪声确定表格的子步骤中生成的噪声确定表格而估计的像素单位的噪声量，确定相加权重。

对于能够执行各种程序代码的图像处理设备或者计算机***，可以例如通过以计算机可读格式提供的存储介质或者通信介质提供根据本发明的实施例的程序。通过以计算机可读格式提供这样的程序，在图像处理设备或者计算机***上根据该程序实现处理。

根据通过本发明的实施例或者附图进行的详细描述，根据本发明的实施例的其他目的、特征以及优点是明显的。在本说明书中，***是多个设备的逻辑集合组成，并且每个配置的每个设备不限于在同一机箱内。

根据本发明的实施例，在其中通过针对经由标准图像和参考图像的运动补偿而获得的经运动补偿的图像的合成处理来生成噪声降低图像的配置中，通过应用如下两种运动区域确定信息来生成最终运动区域确定信息：基于标准图像与经运动补偿的图像之间的像素处于信息而算出的第一运动区域检测信息，以及通过应用作为区域单位的运动信息的局部运动向量(LMV)与作为整个图像的运动信息的全局运动向量(GMV)之间的差异信息而算出的第二运动区域检测信息。通过基于最终运动区域确定信息来估计噪声，确定经运动补偿的图像对于标准图像的相加权重。另外，通过应用所确定的相加权重来对标准图像和经运动补偿的图像进行相加，生成噪声降低图像。因此，由于提高了运动区域确定精度并且可以根据经运动补偿的图像的可靠性来设置相加权重，因此有可能实现生成高质量噪声降低图像的处理。

附图说明

图1是示出执行生成噪声降低图像的处理的图像处理设备的示例性配置的图。

图2是示出生成噪声降低图像的示例性处理的图。

图3是示出生成噪声降低图像的处理的序列的流程图。

图4是示出相加确定单元的示例性具体配置的图。

图5是示出作为表示由相加确定单元的噪声估计单元所保持的像素值与噪声量之间的对应关系的表格的噪声确定表格的示例的图。

图6A和6B是示出像素相加确定单元的示例性详细配置的图。

图7是示出相加处理单元的示例性配置的图。

图8是示出根据本发明的实施例的图像处理设备的示例性配置的图。

图9是示出根据本发明的实施例的图像处理设备的相加确定单元的示例性配置的图。

图10是示出设置在相加确定单元中的第一运动区域检测单元的示例性配置和示例性处理的图。

图11是示出基于像素值(亮度值)的差异的分散的确定处理的图。

图12是示出设置在相加确定单元中的第一运动区域检测单元的区域确定处理的示例性序列的流程图。

图13是示出设置在相加确定单元中的第一运动区域检测单元的区域确定处理的示例性序列的流程图。

图14是示出设置在相加确定单元中的第二运动区域检测单元的示例性配置和示例性处理的图。

图15是示出第二运动区域检测单元的背景/移动对象确定单元的处理的概况的图。

图16是示出第二运动区域检测单元的背景/移动对象确定单元的处理的图。

图17是示出第二运动区域检测单元的背景/移动对象确定单元的详细配置和处理的图。

图18是示出相加确定单元的控制映射生成单元的处理的图。

图19是示出相加确定单元的控制映射生成单元的处理的流程图。

图20A和20B是示出噪声确定表格的具体示例的图。

图21是示出根据本发明的实施例的图像处理设备的示例性硬件配置的图。

具体实施方式

在下文中，将参照附图详细描述根据本发明的实施例的图像处理设备、图像处理方法以及程序。在下文中，将根据以下条目顺次进行描述。

(1)生成噪声降低图像的图像处理设备的基本配置

(1a)生成噪声降低图像的图像处理设备的配置和处理

(1b)相加确定单元和相加处理单元的配置和处理

(2)根据本发明的实施例的、应用高精度运动区域检测信息生成噪声降低图像的图像处理设备的示例

(2a)图像处理设备的总体配置

(2b)相加确定单元的配置

(2b-1)第一运动区域检测单元(平坦映射(Flat Map)生成单元)的配置和处理

(2b-2)第二运动区域检测单元(击中映射(Hit Map)生成单元)的配置和处理

(2b-3)控制映射生成单元的配置和处理

(2b-4)噪声确定表格生成单元的配置和处理

(2b-5)相加确定处理执行单元的配置和处理

(2c)相加处理单元的处理

(3)根据本发明的实施例的图像处理设备的噪声降低效果

(4)图像处理设备的示例性硬件配置

(1)生成噪声降低图像的图像处理设备的基本配置

(1a)生成噪声降低图像的图像处理设备的配置和处理

首先，以下将参照图1描述通过使用多个图像执行图像合成处理来生成噪声降低图像的图像处理设备的示例性基本配置。

图1是示出如下图像处理设备的配置的图：该图像处理设备通过应用多个图像执行图像合成处理来执行生成噪声降低图像的处理。图1中示出的图像处理设备具有在与本申请的申请人相同的申请人的先前专利申请(日本专利申请第2007-136184号)中公开的图像处理设备的几乎相同配置。根据本发明的该实施例，改进在先前专利申请(日本专利申请第2007-136184号)中公开的图像处理设备的配置，以实现生成高质量噪声降低图像。以下将在条目(2)中描述根据本发明的该实施例的图像处理设备的示例。首先，将在条目(1)中描述作为基础的图像处理设备的配置和处理。

图1中示出的图像处理设备10可以被配置为单个图像处理设备，但是也可配置为例如照相机、PC(个人计算机)、或图像显示设备的一个内部组成元件。

在下文中，将描述如下示例：其中，在照相机内部提供有图1中示出的图像处理设备10，并且将连续拍摄的图像作为输入图像顺次存储在帧存储器11中。图像处理设备10包括帧存储器11、运动预测处理单元12、运动补偿处理单元13、相加确定单元14以及相加处理单元15。将拍摄的图像作为输入图像顺次存储在帧存储器11中。

输入图像是包括噪声的图像。图1中示出的图像处理设备10降低来自输入图像的噪声，并且图1中示出的相加处理单元15最终输出噪声降低图像(NR图像)。

将标准图像和参考图像从帧存储器11输入到运动预测处理单元12。标准图像指的是要对其进行噪声降低处理的图像。参考图像指的是应用于标准图像的噪声降低处理中的图像。例如，根据标准图像和参考图像计算运动向量。通过应用多个连续拍摄的参考图像，执行用于标准图像的噪声降低处理。

例如，将通过应用一个标准图像和一个参考图像而生成的噪声降低图像重新存储在帧存储器11中，并且通过应用随后的第二参考图像，对作为新标准图像的该噪声降低图像进行新的噪声降低处理。以下将参照图2描述其示例性具体示例。

运动预测处理单元12通过应用来自帧存储器11的标准图像和参考图像，计算运动向量。例如，通过对一个图像帧进行划分而获得小区域(块)单位，通过将参考图像的块的位置与标准图像的对应块的位置对准，输出块单位的运动向量MV。运动向量MV指的是表示标准图像与参考图像之间的图像运动的向量。运动向量可以被设置为如下向量：该向量不但包括关于平移的信息而且包括关于扩展、缩小、旋转等的信息。

可以通过例如应用块匹配方法来检测运动向量MV。块匹配方法是如下处理：该处理计算上述小区域(块)中的像素值之间的绝对差和(SAD)，并且将具有小的绝对差和(SAD)的一对块估计为对应块。可以将联结两个图像的对应块的向量确定为运动向量。

运动补偿处理单元13通过应用由运动预测处理单元12生成的运动向量MV来执行对标准图像或参考图像的运动补偿，生成经运动补偿的图像(MC图像)。即，通过移动标准图像和参考图像使得利用参考图像中的对象位置调整标准图像中的对象位置，生成经运动补偿的图像(MC图像)。将由运动补偿处理单元13生成的经运动补偿的图像(MC图像)提供到相加确定单元14和相加处理单元15。

相加确定单元14输入由运动补偿处理单元13生成的经运动补偿的图像(MC图像)、标准图像以及用来估计噪声量的拍摄条件信息。拍摄条件信息包括关于例如从照相机的内部微型计算机提供的、并且与输入图像(拍摄图像)对应的拍摄模式、曝光时间、增益等的信息。

相加确定单元14以像素单位生成相加处理单元15中所使用的相加权重。例如，当生成通过移动参考图像以使其在位置上与标准图像对准而获得的经运动补偿的图像(MC图像)、并且执行图像合成处理时，相加权重是通过对标准图像的像素的相加平均而获得的经运动补偿的图像(MC图像)的像素的相加权重。当正确地执行了对准并且经运动补偿的图像(MC图像)的像素与标准图像的对应像素位于同一对象的同一区域时，有可能设置大的相加权重。然而，例如，当在拍摄图像中包括诸如人或车的移动对象时，在包括移动对象的区域中，经运动补偿的图像(MC图像)的像素与标准图像的对应像素不位于同一对象的同一区域。因此，优选地，在包括移动对象的像素区域中，将相加权重设置为小。因此，优选地，将相加权重设置为与经运动补偿的图像(MC图像)的各个像素的可靠度对应的值。

即，通过执行如下图像合成处理，有可能生成降低了噪声的图像：该处理确定标准图像与经运动补偿的图像(MC图像)之间的运动补偿的正确性，并且增加被确定为与标准图像的特定像素对应的同一对象部分的经运动补偿的图像(MC图像)的像素的相加权重。

相加确定单元14确定是否在标准图像与经运动补偿的图像(MC图像)之间正确地执行了运动补偿，并且计算如下的相加权重：在该相加权重中提高了经运动补偿的图像(MC图像)的相加比率作为提高运动补偿的正确像素的可靠性的设置。相加确定单元14确定经运动补偿的图像(MC图像)中以像素单位的相加权重。

例如，当在不同时刻拍摄的两个图像的同一物体的同一部分的像素之间执行相加处理时，可以通过相加来降低与时间不相关的噪声。可以这样说：当两个图像的同一物体的同一位置的对应的确信度高时，可靠性高。换句话说，由于可靠性表示噪声叠加在同一图像上还是噪声叠加在不同图像上，因此需要在高精度噪声降低处理中尽可能形成仅与噪声量对应的相加权重。例如，当可靠性低时，将由相加确定单元14生成的相加权重设置为0，而当可靠性高时，将相加权重设置为1。

相加处理单元15通过应用针对标准图像与经运动补偿的图像(MC图像)之间的对应像素的每个像素所算出的相加权重，执行相加处理。相加处理单元15通过计算标准图像与经运动补偿的图像(MC图像)之间的加权平均，执行相加处理。加权平均的权重是通过使相加权重与反馈比(return ratio)相乘而获得的值。例如，当将反馈比设置为1/3时并且当相加权重从0至1变化时，加权平均中MC图像的权重从0至1/3变化。

将由相加处理单元15在标准图像与经运动补偿的图像(MC图像)之间生成的相加结果存储在帧存储器11中。作为新标准图像的图像与新参考图像组合，并且重复地执行上述处理。例如，在重复处理预定次数之后，将由相加处理单元15在标准图像与经运动补偿的图像(MC图像)之间生成的相加结果输出为噪声降低图像(NR图像)。

将参照图2描述其中应用了图1中示出的图像处理设备的示例性详细处理示例。在图2的最上部分中示出的标准图像a和参考图像A至C的四个图像是由照相机连续拍摄的图像。在时间上，先行拍摄标准图像，并且然后连续拍摄参考图像A至C。在图2中示出的示例中，标准图像是先行拍摄的图像，并且参考图像是随后拍摄的图像，反之亦然。即，可以将标准图像设置为随后拍摄的图像，并且就时间而言，参考图像可以是多个先行拍摄的图像。

在图2中示出的示例中，通过应用标准图像a11和作为随后拍摄的图像的参考图像A来执行处理。

在步骤S11中，通过应用标准图像a11和参考图像A21来计算运动向量MV，并且然后通过应用所算出的运动向量MV来生成经运动补偿的图像(MC图像)。

例如，参考图像A21的块和标准图像a11的对应块在位置上彼此对准，以生成块单位的运动向量MV。该对准处理由图1中示出的运动预测处理单元12执行。运动预测处理单元12从帧存储器11获取标准图像a11和参考图像A21，并且执行该处理。另外，运动补偿处理单元13通过应用运动向量MV来对参考图像执行运动补偿，生成经运动补偿的图像(MC图像)22。

接下来，在步骤S12中，将标准图像a11与经运动补偿的图像(MC图像)22进行比较，并且然后执行计算表示像素单位的相加可靠性的相加权重的相加确定处理。即，在标准图像与经运动补偿的图像(MC图像)之间确定运动补偿的正确性，并且然后计算如下的相加权重：在该相加权重中提高了经动补偿的图像(MC图像)22的相加比率作为提高运动补偿的正确像素的可靠性的设置。以像素单位来表示相加权重的值的映射是在图2中示出的相加确定映射23。步骤S12的处理是由图1中示出的相加确定单元14执行的处理。

在下文中，在步骤S13中，对标准图像a11和经运动补偿的图像(MC图像)22通过应用针对每个对应像素计算的相加权重(相加确定映射23)来进行相加处理。该处理由图1中示出的相加处理单元15执行。由该相加处理生成的图像(标准图像+MC图像)是在图2的最下部分中示出的标准图像b24。

将标准图像b24存储在帧存储器11中，并且将其与作为在参考图像A21之后的定时处拍摄的参考图像B31组合，并且然后执行步骤S14至步骤S16的处理。步骤S14至步骤S16的处理与步骤S11至步骤S13的处理相同。

即，在步骤S14中，通过应用标准图像b24和参考图像B31，生成经运动补偿的图像(MC图像)32。

在步骤S15中，通过应用标准图像b24和经运动补偿的图像(MC图像)32，生成相加确定映射33。

在步骤S16中，通过应用相加确定映射33来对标准图像b24和经运动补偿的图像(MC图像)32进行相加，生成作为标准图像+MC图像的标准图像c34。

将标准图像c34存储在帧存储器11中，并且将其与作为在参考图像B31之后的定时处拍摄的参考图像C41组合，并且然后执行步骤S17至步骤S19的处理。步骤S17至步骤S19的处理与步骤S11至步骤S13的处理相同。

即，在步骤S17中，通过应用标准图像c34和参考图像C41，生成经运动补偿的图像(MC图像)42。

在步骤S18中，通过应用标准图像c34和经运动补偿的图像(MC图像)42，生成相加确定映射43。

在步骤S19中，通过应用相加确定映射43来对标准图像c34和经运动补偿的图像(MC图像)42进行相加，生成作为标准图像+MC图像的噪声降低图像(NR图像)44。

在图2中示出的处理示例中，通过应用三个参考图像A至C来生成噪声降低图像(NR图像)44，但是该示例仅是示例。可通过重复地应用更多参考图像，重复步骤S11至步骤S13的处理。

将参照图3中的流程图描述由图1中示出的图像处理设备执行的噪声降低图像(NR图像)的生成序列。图3中示出的流程图中的步骤S51至S53的处理分别与图2中示出的步骤S11至步骤S13的处理对应。

首先，在步骤S51中，通过应用标准图像和参考图像来计算运动向量MV，并且然后通过应用所算出的运动向量MV来在参考图像的运动补偿处理中生成经运动补偿的图像(MC图像)。

然后，在步骤S52中，通过执行如下相加确定处理来生成相加确定映射：该处理将标准图像与经运动补偿的图像(MC图像)进行比较并且计算表示像素单位的相加可靠性的相加权重。

然后，在步骤S53中，执行如下处理：该处理根据针对每个对应像素的相加确定映射，将标准图像与经运动补偿的图像(MC图像)进行相加。在相加处理中生成与图2中示出的标准图像+MC图像对应的标准图像或噪声降低图像(NR图像)。

在步骤S53的处理之后，处理前进到步骤S54。在步骤S54中，确定是否存在另外的可执行的参考图像。例如，可执行的参考图像指的是在其他时刻拍摄的、并且包括与标准图像的对象相同对象的图像。具体地，例如，可执行的参考图像是连续拍摄的图像。当存在可执行的参考图像时，处理返回到步骤S51，并通过应用该参考图像和与在步骤S53中生成的标准图像+MC图像对应的标准图像，重复步骤S51至S53的处理。

当在步骤S54中不存在可执行的参考图像时，将在步骤S53中最终生成的相加后图像输出为噪声降低图像(NR图像)。

(1b)相加确定单元和相加处理单元的配置和处理

接下来，将参照图4等描述图1中示出的图像处理设备10的相加确定单元14和相加处理单元15的详细配置和处理。

首先，将参照图4描述图1中示出的图像处理设备10的相加确定单元14的详细配置和处理。图4是示出相加确定单元14的示例性配置的图。如图4中所示，相加确定单元14具有与亮度信号Y和两个色差信号Cb和Cr对应的几乎相同的确定处理配置。相加确定单元14包括图4中示出的(a)亮度信号Y确定单元、(b)色差信号Cb确定单元、以及(c)色差信号Cr确定单元。

首先，将描述在图4的部分(a)中示出的亮度信号Y确定单元的配置。将标准图像和经运动补偿的图像(MC图像)空间同一位置处的像素数据经由滤波器111和112提供到像素值差异计算单元113，使得计算像素值之间的差异并且计算差异绝对值。滤波器111和112剪切图像中的高频分量以提高相加确定效果。像素值差异计算单元113计算标准图像和经运动补偿的图像(MC图像)的空间同一位置处的像素数据的差异绝对值，并且将差异绝对值提供到像素相加确定单元116。

将从噪声估计单元110输出的信号提供到像素相加确定单元116。将标准图像的亮度信号Y经由滤波器111输入到噪声估计单元110，以估计与像素值对应的噪声量。将对图像中的噪声量具有影响的、与拍摄模式、曝光时间、增益信息等有关的拍摄条件信息从外部输入到噪声估计单元110。噪声估计单元110具有在每个条件下预先测量的噪声量与亮度值之间的关系数据作为表格。噪声估计单元110从该表格获得相应条件的亮度值与噪声量之间的关系，并且将与输入亮度值对应的噪声量输出到像素相加确定单元116、移动平均相加确定单元117以及移动分散相加确定单元118。

例如，当曝光时间更长时，随机噪声趋于增大。另外，随着用于对成像信号进行放大的增益增大，随机噪声趋于增大。因此，使用作为拍摄条件的与快门速度和/或增益有关的信息，生成并准备与每个快门速度和/或增益对应的像素值和噪声量的表格。另外，可使用成像设备的拍摄模式作为拍摄条件。例如针对每帧设置拍摄条件。

图5是示出作为表示由噪声估计单元110保持的像素值与噪声量之间的对应关系的表格的噪声确定表格的示例的图。在从拍摄条件1至拍摄条件N的多个不同拍摄条件下，限定像素值与噪声量之间的关系。噪声估计单元110从照相机的控制单元输入作为拍摄条件信息的、对图像中的噪声量具有影响的拍摄模式、快门速度(曝光时间)、增益等，从在每个拍摄条件下预先测量的噪声量与亮度值之间的关系数据中获取相应条件下亮度值与噪声量之间的关系，并且输出与在相应拍摄条件下输入的亮度值对应的噪声量。

将来自噪声估计单元110的噪声量与来自像素值差异计算单元113的像素值(亮度)之间的差异绝对值提供到像素相加确定单元116。差异绝对值是用于像素相加确定单元116的输入指标值。像素相加确定单元116输出作为与指标值对应的相加可靠性的相加权重。

图6A是示出像素相加确定单元的示例的图。与亮度Y对应的像素相加确定单元116包括将从噪声估计单元110输入的噪声量转换成确定阈值的噪声量/确定阈值转换单元201、确定曲线生成单元202以及相加确定单元203。噪声量/确定阈值转换单元201使用基于视觉特性而确定的表格，将噪声量转换成确定阈值，并且输出确定阈值。确定曲线的形状是依据确定阈值来确定的。确定曲线具有如下形状：该形状指示表示误差量的输入指标值与表示误差的可靠性的相加权重之间的对应。

图6B是示出可使用的确定曲线的若干示例的图。每个曲线的图形的水平轴表示输入指标值并且其垂直轴表示指标值的相加权重。在每个曲线中，相加权重从1开始变化的指标值的值和相加权重变成0的指标值的值是确定阈值。确定阈值的大小是与噪声量对应的值。当噪声量大时，确定阈值是较大的指标值。

确定曲线生成单元202使用从噪声量/确定阈值转换单元201输出的确定阈值，确定并输出确定曲线。确定曲线例如被配置为表格，并且被存储在存储器中。相加确定单元203使用确定曲线来输入指标值，并且输出与该指标值对应的相加权重。像素相加确定单元116将相加权重提供到乘法器119。由于以像素单位使用了利用与像素值对应的噪声量来生成的确定曲线，因此以像素单位执行像素相加确定单元116的系列转换、计算以及确定。

在图6B中示出的确定曲线的示例中，对于上至确定阈值1的指标值，输出(指标值的相加权重)是1，并且对于从确定阈值1至确定阈值2的指标值，相加权重逐渐向0下降。通过确定阈值1和确定阈值2来限定确定曲线的形状。当噪声量大时，与确定阈值1和确定阈值2对应的指标值是大的值。根据在图6B中示出的确定曲线，将输入指标转换成相应应的相加权重，并且然后将其输出。

将从像素相加确定单元116输出的相加权重提供到乘法器119，并且使其与如下相加权重相乘：该相加权重是关于亮度信号的移动平均以与上述像素的差异绝对值相同的方式计算的。将乘法器119的输出提供到乘法器120，并且使其与如下相加权重相乘：该相加权重是关于亮度信号的移动分散以与上述像素的差异绝对值相同的方式计算的。将乘法器120的输出提供到乘法器172，并且使其与关于颜色信号的像素、移动平均以及移动分散计算的相加权重相乘。从乘法器172输出由相加确定单元14生成的相加权重。将该相加权重提供到相加处理单元15。

接下来，将描述指标值是亮度信号的移动平均差异绝对值和移动分散差异绝对值的情况。如图4中所示，将标准图像和经运动补偿的图像(MC图像)的空间同一位置处的像素数据分别经由滤波器111和112提供到移动平均差异计算单元114和移动分散差异计算单元115。

移动平均差异计算单元114计算以要计算的像素(中心像素)为中心的矩形区域(例如，(5×5)像素的区域)中的像素值的移动平均的差异。首先，通过响应于标准图像和经运动补偿的图像(MC图像)的每个中的中心像素的移动来移位矩形区域、同时使矩形区域与先前像素的计算区域交叠，计算移动平均。此后，对于每个图像的每个对应像素，计算移动平均的差异。

移动分散差异计算单元115计算以要计算的像素(中心像素)为中心的矩形区域的区域中的像素值的分散。通过响应于中心像素的移动来移位矩形区域、同时使矩形区域与先前像素的计算区域交叠，计算移动分散。此后，对于每个图像的每个对应像素，计算移动分散的差异。

关于移动平均和移动分散计算相加权重的原因是要更精确地降低噪声量。例如，当多个像素的区域的移动平均或移动分散不同时，在许多情况下，更正确的是将图像确定为不同的，而不是将像素值的差异绝对值确定为噪声。

移动平均差异计算单元114输出移动平均差异信号的绝对值。移动分散差异计算单元115输出移动分散差异信号的绝对值。将移动平均差异信号的绝对值和移动分散差异信号的绝对值分别提供到移动平均相加确定单元117和移动分散相加确定单元118。

将噪声估计单元110的输出信号提供到移动平均相加确定单元117和移动分散相加确定单元118。移动平均相加确定单元117和移动分散相加确定单元118具有与像素相加确定单元116(参见图6A)的相同配置，并且使用从噪声量转换的确定阈值来生成确定曲线(表格)。当给出作为确定曲线的指标值的移动平均差异绝对值和移动分散差异绝对值时，计算相加权重。将来自移动平均相加确定单元117的、亮度信号的相加权重提供到乘法器119，并且使其与像素相加确定单元116的输出相乘。通过乘法器120使该相乘结果进一步与来自移动分散相加确定单元118的亮度信号的相加权重相乘。

上述处理是如下处理：该处理使用亮度信号的像素差异绝对值、移动平均差异绝对值以及移动分散差异绝对值作为指标值来计算相加权重。同样，针对颜色信号计算相加权重。在分量颜***信号的情况下，示出了针对亮度信号Y的采样频率、针对色差信号Cb的采样频率以及针对色差信号Cr的采样频率当中的比率，诸如(4∶2∶0)、(4∶2∶2)或者(4∶1∶1)。如在上述亮度信号Y中一样，关于色差信号Cb和Cr计算相加权重。

对亮度信号和色差信号Cb和Cr进行针对图像上的同一区域生成相加权重的处理。如根据上述采样频率当中的比率所已知的那样，与针对亮度信号Y计算的相加权重相比，针对色差信号Cr和Cb计算的相加权重的数量不足。为了解决该问题，提供了执行内插的上采样处理单元171。将关于来自上采样处理单元171的色差信号的相加权重提供到乘法器172，并且使其与关于亮度信号的相加权重相乘。

将描述用于色差信号Cb的处理。将标准图像的色差信号Cb经由滤波器131提供到噪声估计单元130。将拍摄条件信息提供到噪声估计单元130。如在针对亮度信号的噪声估计单元110中一样，噪声估计单元130基于表示与每个拍摄条件对应的像素值与噪声量之间的关系的表格，计算与标准图像的色差信号Cb对应的噪声量的估计值。噪声估计单元130将噪声量的估计值输出到像素相加确定单元136、移动平均相加确定单元137以及移动分散相加确定单元138。

将标准图像的色差信号Cb和经运动补偿的图像(MC图像)的色差信号Cb分别经由滤波器131和132提供到像素值差异计算单元133，使得计算像素值的差异并且计算差异绝对值。像素值差异计算单元133计算标准图像和经运动补偿的图像(MC图像)空间同一位置处的像素数据的差异绝对值，并且将差异绝对值提供到像素相加确定单元136。

像素相加确定单元136具有与参照图6描述的对应于亮度信号Y的像素相加确定单元116的配置相同的配置。像素相加确定单元136包括将从噪声估计单元130输入的噪声量转换成确定阈值的噪声量/确定阈值转换单元201、确定曲线生成单元202以及相加确定单元203。例如，根据在图6B中示出的确定曲线，将输入指标值转换成相应相加权重，并且然后将其输出。像素相加确定单元136输出作为与指标值(像素差异绝对值)对应的相加可靠性的相加权重。

接下来，将描述指标值是色差信号Cb的移动平均差异绝对值和移动分散差异绝对值的情况。将标准图像和经运动补偿的图像(MC图像)空间同一位置处的像素数据分别经由滤波器131和132提供到移动平均差异计算单元134和移动分散差异计算单元135。

移动平均差异计算单元134计算以要计算的像素(中心像素)为中心的矩形区域(例如，(5×5)像素的区域)中的像素值的移动平均的差异。首先，通过响应于标准图像和经运动补偿的图像(MC图像)的每个中的中心像素的移动来移位矩形区域、同时使矩形区域与先前像素的计算区域交叠，计算移动平均。此后，对于每个图像的每个对应像素，计算移动平均的差异。

移动分散差异计算单元135计算以要计算的像素(中心像素)为中心的矩形区域的区域中的像素值的分散。通过响应于中心像素的移动来移位矩形区域、同时使矩形区域与先前像素的计算区域交叠，计算移动分散。此后，对于每个图像的每个对应像素，计算移动分散的差异。

关于移动平均和移动分散计算相加权重的原因是要更精确地降低噪声量。移动平均差异计算单元134输出移动平均差异信号的绝对值。移动分散差异计算单元135输出移动分散差异信号的绝对值。将移动平均差异信号的绝对值和移动分散差异信号的绝对值分别提供到移动平均相加确定单元137和移动分散相加确定单元138。

将噪声估计单元130的输出信号提供到移动平均相加确定单元137和移动分散相加确定单元138。移动平均相加确定单元137和移动分散相加确定单元138具有与像素相加确定单元136(参见图6A)的相同配置，并且使用从噪声量转换的确定阈值来生成确定曲线(表格)。当给出作为确定曲线的指标值的移动平均差异绝对值和移动分散差异绝对值时，计算相加权重。将来自移动平均相加确定单元137的、色差信号Cb的相加权重提供到乘法器139，并且使其与像素相加确定单元116的色差信号Cb的输出相乘。通过乘法器140使该相乘结果进一步与来自移动分散相加确定单元138的色差信号Cb的相加权重相乘。

另一色差信号Cr具有与上述色差信号Cb的配置相同的配置。即，可以通过滤波器151和152、噪声估计单元150、像素值差异计算单元153、以及像素相加确定单元156来计算其中使用色差信号Cr的像素差异绝对值作为指标值的相加权重。可以通过滤波器151和152、噪声估计单元150、移动平均差异计算单元154以及移动平均相加确定单元157来计算其中使用色差信号Cr的移动平均差异绝对值作为指标值的相加权重。可以通过滤波器151和152、噪声估计单元150、移动分散差异计算单元155以及移动分散相加确定单元158来计算其中使用色差信号Cr的移动分散差异绝对值作为指标值的相加权重。

通过乘法器159使其中使用像素差异绝对值作为指标值的相加权重与其中使用移动平均差异绝对值作为指标值的相加权重相乘，并且通过乘法器160使乘法器159的输出与其中使用移动分散差异绝对值作为指标值的相加权重相乘。通过乘法器141使从乘法器160输出的关于色差信号Cr的相加权重与关于上述色差信号Cb的相加权重相乘。将来自乘法器141的输出提供到上采样处理单元171。上采样处理单元171根据色差格式来对色差的相加权重进行内插，并且使该点与亮度相加权重对准。通过乘法器172使上采样处理单元171的输出和乘法器120的输出相乘。乘法器172的输出是表示关注的像素的最终可靠性的相加权重。相加权重表示亮度像素、亮度移动平均、亮度移动分散、色差像素、色差移动平均以及色差移动分散中的每个的可靠性。将相加权重表达为从0至1的连续值。

接下来，将参照图7描述图1中示出的图像处理设备10的相加处理单元15的详细配置和处理。将经运动补偿的图像(MC图像)、标准图像以及来自相加确定单元14的相加权重信息输入到相加处理单元15。

通过乘法器251使从相加处理单元15输出的相加权重和反馈系数(w)相乘。例如，当反馈比被设置为1/3时并且当相加权重从0至1变化时，经运动补偿的图像(MC图像)的加权平均的权重从0至1/3变化。

将从乘法器251输出的系数(由α表示)提供到乘法器252，并且使其可与经运动补偿的图像(MC图像)相乘。

将系数α提供到减法器253以生成(1-α)。然后，将(1-α)提供到乘法器254并且使其可与标准图像(Cur图像)相乘，

通过加法器255使乘法器252和乘法器254的输出相加，并且从加法器255输出噪声降低图像(NR图像)。

还可以将作为由相加处理单元15生成的经运动补偿的图像(MC图像)和标准图像的相加结果的噪声降低图像(NR图像)存储在帧存储器11中。作为新标准图像的该噪声降低图像与新参考图像组合，并且可以对其重复地进行与上述处理相同的处理。

例如，可以在重复处理预定次数之后，将由相加处理单元15生成的经运动补偿的图像(MC图像)和标准图像的相加结果输出为最终噪声降低图像(NR图像)。

然而，例如，当存在表示与图像中的背景不同的运动的、诸如车或人的移动物体时，移动物体有时表示与由运动预测处理单元12算出的运动向量不同的运动。即，出现如下图像区域：该图像区域表示与由运动预测处理单元12生成的运动向量不匹配的运动。该区域被称为运动估计(ME)失败区域。另一方面，表示与由运动预测处理单元12生成的运动向量匹配的运动的图像区域被称为运动估计(ME)成功区域。当包括运动估计(ME)失败区域时，不生成精确的经运动补偿的图像(MC图像)。

相加确定单元执行标准图像与经运动补偿的图像(MC图像)之间的对应像素的比较处理，例如，计算像素值差异。然而，在运动估计(ME)失败区域中，像素值差异可变成较大的值。在以上条目(1a)和(1b)中描述的相加确定单元14的处理中，该像素值差异不会被确定为由于运动估计(ME)失败的不精确的(退化的)经运动补偿的图像(MC图像)导致的差异或者由于强噪声导致的差异。在这种情况下，可能输出错误的相加权重并且可能导致生成没有充分地降低噪声的噪声降低图像。

(2)根据本发明的实施例的、通过应用高精度运动区域的检测信息生成噪声降低图像的图像处理设备的示例

在下文中，将描述其中图像处理设备具有以下配置的本发明的实施例：为了解决以上问题，该配置能够检测运动区域、并且防止标准图像与经运动补偿的图像(MC图像)之间的错误的对应像素的相加处理，并且能够生成高质量噪声降低图像。

(2a)图像处理设备的总体配置

在图8中示出了根据本发明的实施例的图像处理设备的总体配置。如图8中所示，根据本发明的实施例的图像处理设备300的总体配置具有与以上参照图1描述的配置几乎相同的配置。即，如图8中所示，图像处理设备300包括帧存储器301、运动预测处理单元302、运动补偿处理单元303、相加确定单元304以及相加处理单元305。将拍摄图像作为输入图像顺次存储在帧存储器301中。

输入图像是包括噪声的图像。图8中示出的图像处理设备300降低来自输入图像的噪声，并且图8中示出的相加处理单元305最终输出噪声降低图像(NR图像)。

根据本发明的实施例的图像处理设备300的帧存储器301、运动预测处理单元302、运动补偿处理单元303以及相加处理单元305具有与参照图1至7描述的单元的相同的配置和处理，并且执行相同处理。然而，相加确定单元304具有与参照图1之7描述的单元的不同的配置和处理。

将标准图像和参考图像从帧存储器301输入到运动预测处理单元302。标准图像指的是要对其进行噪声降低处理的图像。参考图像指的是应用于标准图像的噪声降低处理中的图像。例如，根据标准图像和参考图像计算运动向量。通过应用多个连续拍摄的参考图像，执行用于标准图像的噪声降低处理。

例如，将通过应用一个标准图像和一个参考图像而生成的噪声降低图像重新存储在帧存储器301中，并且通过应用随后的第二参考图像，对作为新标准图像的该噪声降低图像进行新噪声降低处理。

运动补偿处理单元303通过应用由运动预测处理单元302生成的运动向量MV来执行对标准图像或参考图像的运动补偿，生成经运动补偿的图像(MC图像)。即，通过移动标准图像和参考图像使得利用参考图像中的对象位置调整标准图像中的对象位置，生成经运动补偿的图像(MC图像)。将由运动补偿处理单元303生成的经运动补偿的图像(MC图像)提供到相加确定单元304和相加处理单元305。经运动补偿的图像(MC图像)可以通过移动标准图像来生成或者可以通过移动参考图像来生成。在以下描述的实施例中，将描述通过移动参考图像来生成经运动补偿的图像(MC图像)的示例性处理。

相加确定单元304输入由运动补偿处理单元303生成的经运动补偿的图像(MC图像)、标准图像以及用来估计噪声量的拍摄条件信息。拍摄条件信息包括关于例如从照相机的内部微型计算机提供的、并且与输入图像(拍摄图像)对应的拍摄模式、曝光时间、增益等的信息。

相加确定单元304以像素单位生成相加处理单元305中所使用的相加权重。相加权重是经运动补偿的图像(MC图像)对于标准图像的相加权重，并且表示经运动补偿的图像(MC图像)的每个像素的可靠性。即，在确定标准图像与经运动补偿的图像(MC图像)之间的运动补偿正确、并且将标准图像和经运动补偿的图像(MC图像)相加时，降低噪声以便不产生退化的像素被认为具有高可靠性。

根据本发明的实施例的图像处理设备的相加确定单元304执行严格地检测运动区域的处理，以基于运动区域的检测结果，更精确地验证与标准图像相加的经运动补偿的图像(MC图像)的对应像素的可靠性。

具体地，相加确定单元304生成通过用以下两种不同方式为基础的运动区域的检测信息的结合而获得的运动区域检测信息，作为运动区域检测信息：

(a)使用基于标准图像与经运动补偿的图像之间的像素差异信息获得的运动估计(ME)的成功确定信息的运动区域检测信息[平坦映射]；以及

(b)通过对全局运动向量(GMV)和局部运动向量(LMV)进行比较的处理而获得的运动区域检测信息[击中映射]。

使用基于两种不同方式获得的运动区域确定信息(即，关于具有与整个图像的运动(全局运动)不同的运动的移动对象的区域的检测信息)，通过获得与经运动补偿的图像(MC图像)的像素对应的像素的可靠性、将具有高可靠性的经运动补偿的图像(MC图像)的像素的相加权重设置为高、并且将具有低可靠性的经运动补偿的图像(MC图像)的像素的相加权重设置为低，来确定相加权重。

如上所述，当在不同时刻拍摄的两个图像的同一物体的同一位置的像素之间执行相加处理时，可以通过相加来降低与时间无关的噪声。然而，当包括移动对象时，与标准图像的像素对应而选择的经运动补偿的图像(MC图像)的像素会变成与标准图像不同部分处的像素。因此，当对这些像素进行相加时，不会实现噪声的降低。

为了防止该错误处理，根据本发明的实施例的图像处理设备基于与两种方式(a)和(b)不同的方式来执行运动区域确定处理，并且基于确定结果来确定经运动补偿的图像(MC图像)的像素的相加权重。

例如，当可靠性低时，将由相加确定单元304生成的相加权重设置为0，而当可靠性高时，将相加权重设置为1。

相加处理单元305通过应用针对标准图像与经运动补偿的图像(MC图像)之间的每个对应像素计算的相加权重，执行相加处理。相加处理单元305通过计算标准图像与经运动补偿的图像(MC图像)之间的加权平均，执行相加处理。加权平均的权重是通过使相加权重与反馈比相乘而获得的值。例如，当将反馈比设置为1/3时并且当相加权重从0至1变化时，加权平均中MC图像的权重从0至1/3变化。

将由相加处理单元305在标准图像与经运动补偿的图像(MC图像)之间生成的相加结果存储在帧存储器301中。作为新标准图像的图像与新参考图像组合，并且重复地执行上述处理。例如，在重复处理预定次数之后，将由相加处理单元305在标准图像与经运动补偿的图像(MC图像)之间生成的相加结果输出为噪声降低图像(NR图像)。

(2b)相加确定单元的配置

在图9中示出了根据本发明的实施例的图像处理设备300的相加确定单元304的示例性具体配置。

如图9中所示，根据本发明的实施例的图像处理设备300的相加确定单元304包括第一运动区域检测单元(平坦映射生成单元)311、第二运动区域检测单元(击中映射生成单元)312、控制映射生成单元313、噪声确定表格生成单元314、以及相加确定处理执行单元315。

相加确定单元304的相加确定处理执行单元315具有与以上参照图4描述的配置相同的配置。相加确定处理执行单元315生成像素单位的、图8中示出的图像处理设备300的相加处理单元305中所使用的相加权重，并且将相加权重输出到相加处理单元305。如上所述，相加权重是经运动补偿的图像(MC图像)对于标准图像的相加权重、并且表示经运动补偿的图像(MC图像)的每个像素的可靠性。

第一运动区域检测单元(平坦映射生成单元)311使用运动估计(ME)的成功确定信息，生成运动检测信息[平坦映射]。

第二运动区域检测单元(击中映射生成单元)312生成通过对全局运动向量(GMV)和局部运动向量(LMV)进行比较的处理而获得的运动检测信息[击中映射]。

控制映射生成单元313生成通过对基于两种不同方式(平坦映射和击中映射)生成的运动区域检测信息进行结合而获得的运动区域检测信息。

噪声确定表格生成单元314基于由控制映射生成单元313生成的运动区域信息，对噪声确定表格进行校正。要校正的噪声确定表格是由相加确定处理执行单元315的噪声估计单元110(参见图4)保持的噪声确定表格。

相加确定处理执行单元315具有与以上参照图4描述的配置相同的配置。相加确定处理执行单元315使用由噪声确定表格生成单元314生成的噪声确定表格，计算像素单位的相加权重(标准图像的MC图像的相加权重)。即，图8中示出的图像处理设备300的相加处理单元305中所使用的相加权重是以像素单位生成的，并且被输出到相加处理单元305。

在下文中，将顺次描述图9中示出的相加确定单元304的处理单元的详细配置和处理。

(2b-1)第一运动区域检测单元(平坦映射生成单元)的配置和处理

首先，将描述第一运动区域检测单元(平坦映射生成单元)311的详细配置和处理。

第一运动区域检测单元(平坦映射生成单元)311使用运动估计(ME)的成功确定信息，生成运动区域检测信息[平坦映射]。

以下将参照图10描述第一运动区域检测单元311的示例性配置和示例性处理。图10是示出第一运动区域检测单元311的示例性配置的图。图10中示出的第一运动区域检测单元311包括差异计算单元380、分散值计算单元381、平均值计算单元382、中值计算单元383、最频值计算单元384、最大值计算单元385、最小值计算单元386以及确定单元387。

差异计算单元380输入位于标准图像与经运动补偿的图像(MC图像)之间的对应位置处的对应小区域(块)的像素值信息。在生成了标准图像和经运动补偿的图像(MC图像)的缩小图像之后，可针对缩小图像执行处理。在该实施例中，输入每个像素的亮度值(Y)。然而，可以输入像素值而不是亮度值。

在下文中，将描述如下示例：其中，输入标准图像与经运动补偿的图像(MC图像)之间的对应小区域的构成像素的亮度值(Y)。差异计算单元380计算标准图像与经运动补偿的图像(MC图像)之间的对应小区域的构成像素的亮度值(Y)之间的差异，并且将差异输出到分散值计算单元381、平均值计算单元382、中值计算单元383、最频值计算单元384、最大值计算单元385、以及最小值计算单元386。

分散值计算单元381至最小值计算单元386中的每个输出指标值，即，用来确定位于标准图像与(MC图像)之间的对应位置处的对应小区域是否属于如下区域之一的运动区域确定信息：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域。

因此，第一运动区域检测单元311可包括分散值计算单元381至最小值计算单元386之一、或者可包括其多个处理单元以使得确定单元387获取多个指标值并且执行合成确定。可替选地，取决于区域，确定单元387可通过选择性地应用其他处理单元的指标值来执行确定。

确定单元387使用运动估计(ME)的成功确定信息，输出运动区域检测信息[平坦映射]。

将平坦映射输出为指标值(平坦值[Flat])，其表示每个小区域(块)是否是例如由多个像素构成的小区域(块)单位的运动区域。

将平坦值的范围设置为Flat＝0至3。

Flat的值越小(越接近0)，则小区域越有可能是运动区域(即，经运动补偿的图像(MC图像)的运动估计(ME)失败的区域)。另一方面，Flat的值越大(越接近3)，则小区域越不可能是运动区域(即，经运动补偿的图像(MC图像)的运动估计(ME)成功的区域)。

首先，将描述分散值计算单元381的处理。分散值计算单元381计算从差异计算单元380输入的、标准图像与经运动补偿的图像(MC图像)之间的对应小区域的构成像素的亮度值(Y)差异的分散。

确定单元387基于由分散值计算单元381生成的差异的分散，确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域。

将参照图11描述基于像素值(亮度值)差异的分散的确定处理。图11是示出标准图像401、经运动补偿的图像(MC图像)402、以及由图像之间的亮度值差异构成的差异图像403的图。

在差异图像403中，示出了运动估计(ME)成功区域411、运动估计(ME)失败区域412、以及位于它们之间的边界区域413。在图11中，还示出了与每个区域对应的差异绝对值分布数据。

如从图11中示出的差异绝对值分布数据理解的那样，在运动估计(ME)成功区域411的差异绝对值分布数据中，平均接近零并且分散小，使得分布集中在0附近。

在运动估计(ME)成功区域411中，输出表示将标准图像的经运动补偿的图像(MC图像)的相加权重设置为高的结果。

具体地，输出表示将经运动补偿的图像(MC图像)的相加权重设置为高的平坦值(Flat＝3)。

在运动估计(ME)失败区域412的差异绝对值分布数据中，平均不是零并且分散是由小至大的，使得分布不是0。

在运动估计(ME)失败区域412中，输出表示未将标准图像的经运动补偿的图像(MC图像)的相加权重设置为高的结果。

具体地，输出表示将经运动补偿的图像(MC图像)的相加权重设置为低的平坦值(Flat＝0)。

在边界区域413的差异绝对值分布数据中，平均接近零并且分散大。

在运动估计(ME)边界区域413中，输出表示将标准图像的经运动补偿的图像(MC图像)的相加权重设置为中等的结果。

具体地，输出表示将经运动补偿的图像(MC图像)的相加权重设置为中等的平坦值(Flat＝1至2)。

确定单元387可以通过对在确定三个区域的处理中预先设置的阈值彼此进行比较，计算块单位的平坦值。当存在来自其他处理单元的指标值时，考虑该指标值来计算最终的块单位的平坦值。

平均值计算单元382计算从差异计算单元380输入的、标准图像与经运动补偿的图像(MC图像)之间的对应小区域(块)的构成像素的亮度值(Y)差异的平均值。亮度值差异的平均值在(b)运动估计(ME)失败区域中最大、在(a)运动估计(ME)成功区域中最小、并且在(c)边界区域中居中。

确定单元387对由平均值计算单元382算出的差异平均值和预设阈值进行比较，以确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域，并且然后计算块单位的平坦值。当存在来自其他处理单元的指标值时，考虑该指标值来计算最终的块单位的平坦值。

中值计算单元383计算从差异计算单元380输入的、标准图像与经运动补偿的图像(MC图像)之间的对应小区域的构成像素的亮度值(Y)差异的中值。同样地，亮度值(Y)差异的中值在(b)运动估计(ME)失败区域中最大、在(a)运动估计(ME)成功区域中最小、并且在(c)边界区域中居中。

确定单元387对由中值计算单元383算出的差异中值和预设阈值进行比较，以确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域，并且然后计算块单位的平坦值。当存在来自其他处理单元的指标值时，考虑该指标值来计算最终的块单位的平坦值。

最频值计算单元384计算从差异计算单元380输入的、标准图像与经运动补偿的图像(MC图像)之间的对应小区域的构成像素的亮度值(Y)差异的最频值。同样地，最频值在(b)运动估计(ME)失败区域中最大、在(a)运动估计(ME)成功区域中最小、并且在(c)边界区域中居中。

确定单元387对由最频值计算单元384算出的差异最频值和预设阈值进行比较，以确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域，并且然后计算块单位的平坦值。当存在来自其他处理单元的指标值时，考虑该指标值来计算最终的块单位的平坦值。

最大值计算单元385计算从差异计算单元380输入的、标准图像与经运动补偿的图像(MC图像)之间的对应小区域的构成像素的亮度值(Y)差异的最大值。同样地，最大值在(b)运动估计(ME)失败区域中最大、在(a)运动估计(ME)成功区域中最小、并且在(c)边界区域中居中。

确定单元387对由最大值计算单元385算出的差异最大值和预设阈值进行比较，以确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域，并且然后计算块单位的平坦值。当存在来自其他处理单元的指标值时，考虑该指标值来计算最终的块单位的平坦值。

最小值计算单元386计算从差异计算单元380输入的、标准图像与经运动补偿的图像(MC图像)之间的对应小区域的构成像素的亮度值(Y)差异的最小值。同样地，最小值在(b)运动估计(ME)失败区域中最大、在(a)运动估计(ME)成功区域中最小、并且在(c)边界区域中居中。

确定单元387对由最小值计算单元386算出的差异最小值和预设阈值进行比较，以确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域，并且然后计算块单位的平坦值。当存在来自其他处理单元的指标值时，考虑该指标值来计算最终的块单位的平坦值。

如上所述，确定单元387可通过各自应用从分散值计算单元381至最小值计算单元386输出的指标值来确定区域，或者可通过组合多个指标值来确定区域。

图12是示出第一运动区域检测单元311的区域确定处理的示例的流程图。根据流程图的处理序列，确定单元387使用由分散值计算单元381生成的差异分散值和由平均值计算单元382生成的差异平均值，确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域。

将描述在图12中示出的流程图的步骤的处理。在步骤S211中，计算标准图像与经运动补偿的图像(MC图像)之间的对应像素的差异值，并且然后针对每个区域计算差异平均值和差异分散值。由差异计算单元380、分散值计算单元381、以及平均值计算单元382执行该处理。

由确定单元387执行步骤S212之后的处理。在步骤S212中，确定单元387对预设阈值T2和由平均值计算单元382生成的差异平均值进行比较。

当满足差异平均值＞T2的关系时，处理前进到步骤S216，并且确定单元387确定该区域是“运动估计(ME)失败区域(Flat＝0)”。

当在步骤S212中不满足差异平均值＞T2的关系时，处理前进到步骤S213。在步骤S213中，将预设阈值T1和由平均值计算单元382生成的差异平均值进行比较，并且将由分散值计算单元381生成的差异分散值和基于预设阈值或图像而算出的噪声分散值进行比较。

即，基于如下两个关系来执行确定处理：T1＜差异平均值的关系且差异分散值＜噪声分散值的关系。当满足这两个关系时，处理前进到S215，并且将该区域确定为“运动估计(ME)成功区域(Flat＝3)”。

另一方面，当在步骤S213中不满足这两个关系(即，T1＜差异平均值的关系且差异分散值＜噪声分散值的关系)时，处理前进到步骤S214，并且将该区域确定为“边界区域(Flat＝1至2)”。

图13是示出第一运动区域检测单元311的区域确定处理的另一示例的流程图。根据流程图的处理序列，确定单元387使用由差异值计算单元381生成的差异分散值、由平均值计算单元382生成的差异平均值、由最大值计算单元385生成的差异最大值、以及由最小值计算单元386算出的差异最小值，确定每个区域是否属于以下区域之一：(a)运动估计(ME)成功区域、(b)运动估计(ME)失败区域、以及(c)边界区域。

将描述在图13中示出的流程图的步骤的处理。在步骤S221中，计算标准图像与经运动补偿的图像(MC图像)之间的对应像素的差异值，并且然后针对每个区域计算差异平均值、差异分散值、差异最大值、以及差异最小值。该处理由差异计算单元380、分散值计算单元381、平均值计算单元382、最大值计算单元385、以及最小值计算单元386执行。

由确定单元387执行步骤S222之后的处理。在步骤S222中，确定单元387对预设阈值T2和由平均值计算单元382生成的差异平均值进行比较。

当满足差异平均值＞T2的关系时，处理前进到步骤S228，并且确定单元387确定该区域是“运动估计(ME)失败区域(Flat＝0)”。

当在步骤S222中不满足差异平均值＞T2的关系时，处理前进到步骤S223。在步骤S223中，将预设阈值T1和由平均值计算单元382生成的差异平均值进行比较，并且将由分散值计算单元381生成的差异分散值和基于预设阈值或图像而算出的噪声分散值进行比较。

即，基于如下两个关系来执行确定处理：T1＜差异平均值的关系和差异分散值＜噪声分散值的关系。当满足这两个关系时，处理前进到步骤S227，并且将该区域确定为“运动估计(ME)成功区域(Flat＝3)”。

另一方面，当在步骤S223中不满足这两个关系(即，T1＜差异平均值的关系且差异分散值＜噪声分散值的关系)时，处理前进到步骤S224”。

在步骤S224中，确定单元387将预设阈值T3和由最小值计算单元386生成的差异最小值进行比较。

当满足差异最小值＞T3的关系时，处理前进到步骤S228，并且将该区域确定为“运动估计(ME)失败区域(Flat＝0)”。

另一方面，当在步骤S224中不满足差异最小值＞T3的关系时，处理前进到步骤S225。

在步骤S225中，确定单元387将预设阈值T4和由最大值计算单元385生成的差异最大值进行比较。

当满足差异最大值＜T4的关系时，处理前进到步骤S227，并且将该区域确定为“运动估计(ME)成功区域(Flat＝3)”。

另一方面，当在步骤S225中不满足差异最大值＜T4的关系时，处理前进到步骤S226，并且将该区域确定为“边界区域(Flat＝1至2)”。

因此，图9中示出的第一运动区域检测单元311使用关于标准图像与参考图像的经运动补偿的图像(MC图像)之间的对应块的像素信息、和关于用于经运动补偿的图像(MC图像)的运动估计(ME)处理的块单位的成功确定信息，生成每个块单位的运动区域检测信息[平坦映射]。平坦映射是以块单位来与作为表示块是否是运动区域的指标值的平坦值(Flat＝0至3)对应的映射。上述示例性处理被描述为以块单位执行的处理，但可以是以像素单位执行的处理。

平坦映射是表示标准图像的每个块是运动区域的可能性程度的运动区域确定指标值。

例如，Flat＝0至3的值之一是在每个块中设置的映射。

随着平坦值越小(越接近Flat＝0)，平坦值表示区域是运动区域。随着平坦值越高(越接近Flat＝3)，平坦值表示区域不是运动区域。(2b-2)第二运动区域检测单元(击中映射生成单元)的配置和处理

接下来，将描述第二运动区域检测单元(击中映射生成单元)312的详细配置和处理。

第二运动区域检测单元(击中映射生成单元)312执行对全局运动向量(GMV)和局部运动向量(LMV)进行比较的处理，以生成运动区域检测信息[击中映射]。生成集中映射的处理与在本申请人更早申请的日本专利申请第2008-144157号(日本未审查专利申请公布第2009-290827号)中公开的处理相同。

图14是示出第二运动区域检测单元(击中映射生成单元)312的示例性配置的图。在该示例中，第二运动区域检测单元(击中映射生成单元)312包括匹配处理单元504，其计算标准图像的小区域(块)与参考图像的小区域(块)之间的相应像素的SAD值。如上所述，SAD值是标准图像和参考图像的每个块的像素值的绝对差和(SAD)。

第二运动区域检测单元(击中映射生成单元)312包括局部运动向量计算单元505，其根据关于从匹配处理单元504输出的SAD值的信息来计算局部运动向量。另外，第二运动区域检测单元312包括运动向量可靠性指标值计算单元506、全局运动计算单元507、全局运动向量计算单元508、对比计算单元500、以及背景/移动对象确定单元509。

对比计算单元500包括低通滤波器501、最大亮度值检测单元502、以及最小亮度值检测单元503。

匹配处理单元504输入关于标准图像的小区域(块)和参考图像的小区域(块)的图像数据，并且将参考向量(关于参考图像的小区域(块)的位置信息)和块匹配处理的结果的SAD值提供到局部运动向量计算单元505。

局部运动向量计算单元505输入关于标准图像的小区域(块)和参考图像的小区域(块)的图像数据，执行关于参考向量(关于参考图像的小区域(块)的位置信息)的块匹配处理，并且执行参考图像的块与标准图像的对应块之间的位置调整以计算作为块单位的运动向量的局部运动向量(LMV)。将算出的局部运动向量(LMV)输入到背景/移动对象确定单元509和全局运动计算单元507。

全局运动计算单元507基于从局部运动向量505输入的多个局部运动向量(LMV)，计算作为标准图像和参考图像的整个图像的运动的全局向量。该处理可以例如由计算局部运动向量的平均值的处理等执行。可替选地，可计算由预定的局部运动向量的可靠性确定算法选择的局部运动向量的平均值。全局运动计算单元507将所算出的全局运动(GM)提供到全局运动向量计算单元508。

全局运动向量计算单元508通过将全局运动(GM)应用于标准图像的小区域(块)的坐标的位置(例如，中心位置)，计算标准图像的小区域(块)的全局运动向量(GMV)。

全局运动向量计算单元508将所算出的全局运动向量(GMV)提供到背景/移动对象确定单元509。还将来自局部运动向量计算单元505的局部运动向量(LMV)提供到背景/移动对象确定单元509。

背景/移动对象确定单元509对标准图像的每个小区域(块)的局部运动向量(LMV)和全局运动向量(GMV)进行比较，以确定标准图像的小区域(块)的局部运动向量与全局运动向量之间的一致度(即，背景一致度)。在这种情况下，背景/移动对象确定单元509对与局部运动向量(LMV)和全局运动向量(GMV)对应的参考图像的小区域(块)的相关值(SAD值)彼此进行比较，以执行背景与移动对象之间的确定。

将参照图15至17描述背景/移动对象确定单元509的处理和详细配置。

首先，将参照图15和16描述由背景/移动对象确定单元509执行的处理的概述。

图15是示出标准图像521和参考图像522的图。标准图像521和参考图像522是连续拍摄的图像。在其中拍摄了诸如人的移动对象的两个图像521和522中，在由于例如用户的手抖动而移动整个图像的状态下拍摄图像。整个图像的运动与全局运动向量(GMV)对应。

在除运动区域525(诸如人)之外的背景的小区域(块)中，与块对应的局部运动向量(LMV)几乎等于全局运动向量(GMV)。

然而，包括运动区域525(诸如人)的块的局部运动向量(LMV)不同于全局运动向量(GMV)。

因此，背景/移动对象确定单元509以小区域单位对局部运动向量(LMV)和全局运动向量(GMV)进行比较。当差异大时，背景/移动对象确定单元509确定区域是运动区域。另一方面，当差异小时，背景/移动对象确定单元509确定区域不是运动区域。

背景/移动对象确定单元509生成并输出击中映射，在该击中映射中，用作表示区域是否是运动区域的确定值的击中值(例如，Hit＝0至3)与每个小区域(块)对应。

当击中值越小(越接近0)时，击中值表示区域是运动区域。当击中值越大(越接近3)时，击中值表示区域不是运动区域。

在图15的部分(a)中，示出了针对其中局部运动向量(LMV)和全局运动向量(GMV)之间的差异小的块的击中值的设置示例。在被确定为不是运动区域的小区域中设置击中值(Hit＝2至3)。在该区域中，为了具有高噪声降低效果，使得基于参考图像的经运动补偿的图像(MC图像)的相加比率为高。

另一方面，在图15的部分(b)中，示出了针对其中局部运动向量(LMV)和全局运动向量(GMV)之间的差异大的块的击中值的设置示例。在被确定为是运动区域的小区域中设置击中值(Hit＝0至1)。即使使得基于参考图像的经运动补偿的图像(MC图像)的相加比率为高，该区域也不具有噪声降低效果。

将参照图16描述背景/移动对象确定单元509的具体处理示例。

在图16中，示出了其中检测到局部运动向量(LMV)和全局运动向量(GMV)的块531。

计算局部运动向量(LMV)，作为联结针对标准图像的块而从参考图像选择的块中具有最小SAD值的块的向量。

另一方面，全局运动向量(GMV)是表示基于标准图像与参考图像之间的多个局部运动向量(LMV)算出的整个图像的运动信息的向量。

可以通过应用块之间的像素值的绝对差和(SAD)，计算这些向量。

例如，与图16中示出的块531对应的LMV和GMV分别是LMV 542和GMV 541。

背景/移动对象确定单元509使用例如如在图16的部分(a)中示出的以下确定式，执行确定块531是否是运动区域的处理：

if(LMV_SAD＜th

&&

(GMV_SAD-SAD_offset)＜LMV_SAD)。

在以上式中，LMV_SAD是其中限定了局部运动向量(LMV)的块之间的SAD值。

GMV_SAD是其中限定了全局运动向量(GMV)的块之间的SAD值。

另外，th是预设阈值。

SAD_offset是预先限定的偏移值。

当满足LMV_SAD＜th的关系时，可以确定局部运动向量(LMV)的可靠性高。

另外，当满足(GMV_SAD-SAD_offset)＜LMV_SAD时，可以确定GMV的可靠性高。

因此，当满足if语句时，如图16的部分(b1)中所示，可以确定LMV≈GMV，因此可以确定区域不是运动区域。

在这种情况下，可以产生表示区域不是运动区域的击中值(Hit＝2至3)以与该块对应。

另一方面，当不满足if语句时，如图16的部分(b2)中所示，可以确定LMV≠GMV，因此可以确定区域是运动区域。

在这种情况下，可以产生表示区域是运动区域的击中值(Hit＝0至1)以与该块对应。

将参照图17描述背景/移动对象确定单元509的示例性详细配置。偏移生成单元561计算参照图16描述的偏移值(OFS＝SAD_offset)。偏移生成单元561根据图像的噪声生成偏移值OFS，并且将偏移值OFS提供到偏移相减单元563。图像的噪声与图像的亮度值对应。在该示例中，将关于各个亮度值与偏移值OFS之间的对应表格的信息存储在偏移生成单元561中。

偏移生成单元561计算作为来自最大亮度值检测单元502的最大亮度值MaxTAR与来自最小亮度值检测单元503的最小亮度值MinTAR之间的差的标准图像的块亮度值。偏移生成单元561检索其中预先存储了标准图像的所算出的块的亮度值作为参数的对应表格，并且获取与参数的亮度值对应的偏移值OFS。

偏移相减单元563从来自GMV_SAD计算单元562的SAD值中GMV_SAD减去来自偏移生成单元561的偏移值OFS，并且生成校正后的SAD值(即，GMV_SAD-OFS)。另外，偏移值(OFS)与图16的部分(a)中示出的SAD_offset对应。

偏移相减单元563将所生成的校正后的SAD值提供到比较确定单元564。

比较确定单元564通过以上参照图16的部分(a)描述的确定式，计算与每个块对应的击中值(Hit＝0至3)。

即，确定是否满足以下语句：

if(LMV_SAD＜th

&&

(GMV_SAD-SAD_offset)＜LMV_SAD).

因此，当满足if语句时，如图16的部分(b1)中所示，可以确定LMV≈GMV，因此可以确定区域不是运动区域。

在这种情况下，可以产生表示区域不是运动区域的击中值(Hit＝2至3)以与该块对应。

另一方面，当不满足if语句时，如图16的部分(b2)中所示，可以确定LMV≠GMV，因此可以确定区域是运动区域。

在这种情况下，可以产生表示区域是运动区域的击中值(Hit＝0至1)以与该块对应。

比较确定单元564可不设置是否满足图16的部分(a)中示出的式的两个模式划分，而是可根据(GMV_SAD-SAD_offset)与(LMV_SAD)之间的差异值对各个块设置两个或更多的任意划分，例如，示出运动区域的可能性的、作为划分的击中值(Hit＝0至3)。输出数据是击中映射。

击中映射是表示标准图像的每个块是运动区域的可能性程度的运动区域确定的指标值，并且是其中为每个块设置Hit＝0至3的值之一的映射。

例如，随着击中值越低(越接近Hit＝0)，击中值表示区域是运动区域。随着击中值越高(越接近Hit＝3)，则击中值表示区域不是运动区域。

在该实施例中，如参照图14所述，将标准图像和参考图像输入到第二运动区域检测单元(击中映射生成单元)312，并且然后第二运动区域检测单元(击中映射生成单元)312计算局部运动向量(LMV)和全局运动向量(GMV)。向量(LMV/GMV)可以由在例如图8中示出的图像处理设备300的运动预测处理单元302计算。因此，可以将由运动预测处理单元302算出的向量(LMV/GMV)输入到第二运动区域检测单元(击中映射生成单元)312并且在第二运动区域检测单元(击中映射生成单元)312中使用。利用这样的配置，可省略图14中示出的局部运动向量计算单元505或全局运动向量计算单元508。

(2b-3)控制映射生成单元的配置和处理

接下来，将参照图18和19描述图9中示出的相加确定单元304的控制映射生成单元313的处理。

控制映射生成单元313输入来自第一运动区域检测单元(平坦映射生成单元)311的平坦映射(Flat＝0至3)并且输入来自第二运动区域检测单元(击中映射生成单元)312的击中映射(Hit＝0至3)。

平坦映射和击中映射是表示标准图像的块是否是运动区域的确定信息。

控制映射生成单元313获取其中平坦值和击中值各自与标准图像的每个块对应的数据。

控制映射生成单元313使用两条数据，生成并输出控制映射，在该控制映射中，设置了与标准图像的每个块对应的最终运动确定信息。

图18是示出由控制映射生成单元313生成的控制映射(即，与标准图像的每个块对应的最终运动确定信息)的生成示例的图。

在图18示出的表格中，在垂直方向上设置从第一运动区域检测单元(平坦映射生成单元)311输入的平坦值(Flat＝0至3)，并且在水平方向上设置从第二运动区域检测单元(击中映射生成单元)312输入的击中值(Hit＝0至3)。

控制映射生成单元313确定并输出交叉位置处的值(0至3)作为与最终块对应的运动确定信息。

具体地，当击中值(Hit)和平坦值(Flat)之一是0(即，Hit＝0或者Flat＝0)时，将平坦值(Flat＝0至3)输出为块的最终运动确定信息。平坦值是由图18中示出的虚线表示的范围区域。

另一方面，当击中值(Hit)和平坦值(Flat)都不是0(即，Hit≠0且Flat≠0)时，将击中值(Hit＝0至3)输出为块的最终运动确定信息。击中值是由图18中示出的实线表示的范围区域。

与平坦值或击中值一样，当最终运动确定信息(0至3)的值较小(较接近0)时，区域非常有可能是运动区域。

另外，当最终运动确定信息的值较大(较接近3)时，区域不太可能是运动区域。

最终运动确定信息是这样的设置信息。

在通过由第一运动区域检测单元311和第二运动区域检测单元312输出的两个运动区域确定值的至少之一确定为非常有可能是运动区域的区域中，控制映射生成单元313输出第一运动区域检测单元311的所确定的值作为最终确定值。在通过由第一运动区域检测单元311和第二运动区域检测单元312输出的两个运动区域确定值两者确定为不太可能是运动区域的区域中，控制映射生成单元313输出第二运动区域检测单元312的所确定的值作为最终确定值。

将参照图19中示出的流程图描述控制映射生成单元313的处理序列。

在步骤S301中，控制映射生成单元313首先获取从作为噪声降低处理目标的标准图像所选择的块的平坦映射的值(Flat＝0至3)。

接下来，在步骤S302中，控制映射生成单元313获取同一块的击中映射的值(Hit＝0至3)。

接下来，在步骤S303中，控制映射生成单元313验证针对所选择的块在步骤S301中获取的平坦值(Flat＝0至3)和击中值(Hit＝0至3)，并且确定击中值和平坦值之一是否是0。即，控制映射生成单元313确定是否Hit＝0或者Flat＝0。

当确定结果为“是”时，处理前进到步骤S305，并且选择并输出针对该块设置为最终运动确定信息的平坦值(Flat＝0至3)。该处理与用于由图18中示出的虚线表示的范围的区域的处理对应。

另一方面，当步骤S303的确定结果为“否”(即，击中值(Hit)和平坦值(Flat)都不是0)时(即，当Hit≠0且Flat≠0时)，处理前进到步骤S304，并且输出针对该块设置为最终运动确定信息的击中值(Hit＝0至3)。该处理与用于由图18中示出的实线表示的范围的区域的处理对应。

最终，处理前进到步骤S306，以确定是否完成了针对标准图像的所有块的运动区域信息的设置。当存在未处理的块时，处理返回到步骤S301来执行用于未处理的块的处理。

当在步骤S306中确定完成了针对标准图像的所有块的运动区域信息的设置时，处理结束。

因此，控制映射生成单元301针对标准图像的所有块选择击中映射或平坦映射的设置值之一，并且生成设置为运动区域信息的控制映射。将所生成的控制映射输出到图9中示出的噪声确定表格生成单元314。(2b-4)噪声确定表格生成单元的配置和处理

接下来，将描述图9中示出的相加确定单元304的噪声确定表格生成单元314的配置和处理。

如上所述，控制映射生成单元313生成其中针对标准图像的每个块设置运动确定信息的控制映射。例如，控制映射是其中以标准图像的块单位设置运动确定信息＝0至3的一个值的映射。

与平坦值或击中值一样，当运动确定信息(0至3)的值较小(较接近0)时，区域非常有可能是运动区域。

另一方面，当运动确定信息的值较大(较接近3)时，区域不太可能是运动区域。运动确定信息是这样的设置值。

噪声确定表格生成单元314输入其中以标准图像的块单位设置运动确定信息(0至3)的控制映射，并且对图9中示出的相加确定单元304的相加确定处理执行单元315中所使用的噪声确定表格执行校正处理。

噪声确定表格是在参考图像与经运动补偿的图像(MC图像)之间的对应像素的相加处理中算出经运动补偿的图像(MC图像)的对应像素的相加权重时应用的表格。

噪声确定表格生成单元314输入来自控制映射生成单元313的每个小区域(块)单位的运动确定结果，并且根据确定结果生成与小区域(块)对应的噪声确定表格。

噪声确定表格是像素值与噪声量之间的关系数据。噪声确定表格是设置在相加确定处理执行单元315中的表格，并且应用于噪声估计单元中。例如，相加确定处理执行单元315具有与以上参照图4描述的相加确定单元的配置的相同配置。

如以上参照图4所述，图4中示出的相加确定单元14包括噪声估计单元110、130以及150。噪声估计单元110、130以及150具有在每个条件下预先测量的亮度值与噪声量之间的关系数据作为表格。在参照图4描述的示例中，通过获得由噪声估计单元110保持的表格中的相应条件下的亮度值与噪声量之间的关系，将与输入亮度值对应的噪声量输出到像素相加确定单元116、移动平均相加确定单元117、以及移动分散相加确定单元118。

例如，当曝光时间较长时，随机噪声趋于增加。另外，随着用于对成像信号进行放大的增益增加，随机噪声趋于增加。因此，使用关于作为拍摄条件的快门速度和/或增益的信息，生成并准备与每个快门速度和/或增益对应的像素值和噪声量的表格。另外，可使用成像设备的拍摄模式作为拍摄条件。例如，针对每帧设置拍摄条件。

噪声估计单元110从照相机的控制单元输入作为拍摄条件信息的、对图像中的噪声量具有影响的拍摄模式、快门速度(曝光时间)、增益等，从在每个拍摄条件下预先测量的噪声量与亮度值之间的关系的数据中获取相应条件下的亮度值与噪声量之间的关系，并且输出与在相应拍摄条件下输入的亮度值对应的噪声量。

表示与输入亮度值对应的噪声量的表格是噪声确定表格。在该实施例中，根据从控制映射生成单元313输入的、针对标准图像的每个块的运动确定信息＝0至3的值，将噪声确定表格生成为校正后的表格。

在下述实施例中，将描述根据运动确定信息＝0至3来生成三种校正表格的示例。

将描述根据三种运动确定信息＝0至1、运动确定信息＝1至2、以及运动确定信息＝2至3来执行的校正处理。

在表格的校正中，本发明不限于三种校正表格，而是可根据四种(0、1、2、以及3)运动确定信息＝0至3来生成四种表格。另外，可生成五种或更多种的表格作为更小划分的表格。

因此，噪声确定表格生成单元314根据从控制映射生成单元313输入的、针对标准图像的各个块的运动确定信息＝0至3的值，生成不同的噪声确定表格，并且将不同的噪声确定表格提供到图9中示出的相加确定处理执行单元315(例如，具有图4中示出的相同配置)的噪声估计单元。

相加确定处理执行单元315的噪声估计单元选择与包括作为相加确定处理执行单元315中的处理目标输入的像素(即，作为相加权重计算目标输入的像素)的区域对应的表格，并且从所选择的表格中获取像素值(或亮度值)与噪声量之间的关系。此后，将关于像素值(或亮度值)与噪声量之间的关系的信息输出到相加确定处理执行单元315的像素相加确定单元、移动平均相加确定单元、以及移动分散相加确定单元(参见图4)。

每个处理单元执行根据关于从噪声估计单元提供的噪声量的信息的处理。即，像素相加确定单元、移动平均相加确定单元、以及移动分散相加确定单元(参见图4)执行根据运动确定信息＝0至3来应用不同的估计噪声量的处理。

将参照图20A和20B描述噪声确定表格的具体示例。图20A是示出由噪声确定表格生成单元314生成的三种噪声确定表格的图。即，三种噪声确定表格如下：

(1)原始噪声确定表格(应用于运动确定信息＝1至2的块)

(2)其中估计噪声量被校正以便增加的校正噪声确定表格(应用于运动确定信息＝2至3的块)

(3)其中估计噪声量被校正以便减少的校正噪声确定表格(应用于运动确定信息＝0至1的块)

噪声确定表格是其中根据像素值(或者亮度值)来确定估计噪声量的表格。在表格中，基于在图20的(1)原始噪声确定表格(应用于运动确定信息＝1至2的块)中的噪声确定表格的实线曲线、根据像素值(或亮度值)来确定估计噪声量。随着像素值越低，在像素值中包括越多的噪声成分。随着像素值越高，在像素值中包括越少的噪声成分。

在图20的最上部示出的“(1)原始噪声确定表格”是当计算在控制映射生成单元313中设置了“运动确定信息＝1至2”的块区域所包括的像素的相加权重时应用的表格。

“(2)其中估计噪声量被校正以便增加的校正噪声确定表格”是当计算在控制映射生成单元313中确定了“运动确定信息＝2至3(作为非常不可能是运动区域的区域)”的区域所包括的像素的相加权重时应用的表格。

“(3)其中估计噪声量被校正以便减少的校正噪声确定表格”是当计算在控制映射生成单元313中确定了“运动确定信息＝0至1(作为非常有可能是运动区域的区域)”的区域所包括的像素的相加权重时应用的表格。

如从图20A和20B所理解的那样，与在“(1)原始噪声确定表格”中相比，在其中估计噪声量被校正以便增加的“(2)对其进行估计噪声量的增加校正的校正噪声确定表格”中，将估计噪声量设置为更大。与在“(1)原始噪声确定表格”中相比，在“(3)其中估计噪声量被校正以便减少的校正噪声确定表格”中，将估计噪声量设置为更小。

“(2)其中估计噪声量被校正以便增加的校正噪声确定表格”是当计算在控制映射生成单元313中确定了“运动确定信息＝2至3(作为非常不可能是运动区域的区域)”的区域所包括的像素的相加权重时应用的表格。

即，当标准图像的像素和经运动补偿的图像(MC图像)的对应像素非常有可能出现在同一对象的同一区域中时，应用“(2)其中估计噪声量被校正以便增加的校正噪声确定表格”。

该处理是基于如下确定的处理：确定从该区域的像素中检测到的噪声是纯粹的噪声而不是由于像素位置的偏离生成的噪声，因此可以执行大的噪声降低处理。

另一方面，当计算在控制映射生成单元313中确定了“运动确定信息＝0至1(作为非常有可能是运动区域的区域)”的区域所包括的像素的相加权重时，应用“(3)其中估计噪声量被校正以便减少的校正噪声确定表格”。

即，当标准图像的像素和经运动补偿的图像(MC图像)的对应像素不太可能出现在同一对象的同一区域中时，应用“(3)其中估计噪声量被校正以便减少的校正噪声确定表格”。

该处理是基于如下确定的处理：确定从该区域的像素中检测到的噪声不是纯粹的噪声而非常有可能是由于像素位置的偏离生成的噪声，因此更好的是避免执行大的噪声降低处理。

因此，噪声确定表格生成单元314根据由控制映射生成单元313生成的运动确定信息＝0至3来修改噪声确定表格，并且执行噪声估计。即，在从控制映射生成单元313输出的区域单位的运动区域确定信息设置表示区域不太可能是运动区域的确定值的区域中，噪声确定表格生成单元314生成或校正噪声确定表格，以增加与像素值对应的估计噪声量。另外，在从控制映射生成单元313输出的区域单位的运动区域确定信息设置表示区域非常有可能是运动区域的确定值的区域中，噪声确定表格生成单元314生成或校正噪声确定表格，以减少与像素值对应的估计噪声量。

在相加确定处理执行单元315中使用所生成或所校正的噪声确定表格。相加确定处理执行单元315的像素相加确定单元、移动平均相加确定单元、以及移动分散相加确定单元(参见图4)根据噪声信息来设置与每个像素对应的相加权重(即，与标准图像的像素对应的经运动补偿的图像(MC图像)的对应像素的相加权重)，其中，基于根据运动确定信息＝0至3的噪声确定表格来估计该噪声信息。

相加确定处理执行单元315执行如下确定相加权重的处理：在存在由噪声确定表格生成单元314生成的噪声确定表格估计的像素单位的大噪声量的区域中，设置大相加权重，而在像素单位的小噪声量的区域中，设置小相加权重。图20B是示出标准图像与经运动补偿的图像(MC图像)之间的对应像素的差异值与相加权重之间的关系的图。另外，σ表示噪声的分散。

相加确定处理执行单元315的像素相加确定单元、移动平均相加确定单元、以及移动分散相加确定单元(参见图4)依据各个区域设置并计算不同的相加权重，以便根据运动确定信息＝0至3来应用不同的估计噪声量。具体地，在其中设置了运动确定信息＝2至3(非常不可能是运动区域的区域)的块中，将经运动补偿的图像(MC图像)的像素值加得多，由此提高去除噪声的优点。另一方面，在其中设置了运动确定信息＝0至1(很有可能是运动区域的区域)的块区域中，将标准图像的像素值加得多，由此提高保护移动物体的优点。

(2b-5)相加确定处理执行单元的配置和处理

接下来，将描述图9中示出的相加确定单元304的相加确定处理执行单元315的处理。

图9中示出的相加确定单元304的相加确定处理执行单元315具有与以上参照图4描述的配置相同的配置。相加确定处理执行单元315以像素单位生成图8中示出的图像处理设备300的相加处理单元305中所使用的相加权重，并将其输出到相加处理单元305。如上所述，相加权重是经运动补偿的图像(MC图像)对于标准图像的的相加权重，并且表示经运动补偿的图像(MC图像)的每个像素的可靠性。

然而，相加确定处理执行单元315根据块的运动确定信息＝0至3的值，选择并使用由上述噪声确定表格生成单元314生成并校正的噪声确定表格。具体地，使用根据运动确定信息＝0至3的值校正的噪声确定表格来计算像素单位的相加权重(标准图像的MC图像的相加权重)，其中，该运动确定信息＝0至3的值是由控制映射生成单元313针对标准图像的每个块基于平坦值和击中值而设置的。即，以像素单位生成图8中示出的图像处理设备300的相加处理单元305中所使用的相加权重，并将其输出到相加处理单元305。

相加确定处理执行单元315使用由噪声确定表格生成单元314生成的、根据块的运动确定信息＝0至3的值的不同的噪声确定表格，计算像素单位的相加权重(标准图像的MC图像的相加权重)。即，相加确定处理执行单元315以像素单位生成图8中示出的图像处理设备300的相加处理单元305中所使用的相加权重，并将相加权重输出到图8中示出的相加处理单元305。

(2c)相加处理单元的处理

图8中示出的相加处理单元305执行如下处理：应用针对标准图像与经运动补偿的图像(MC图像)之间的每个对应像素计算的相加权重，并且对其进行相加。由相加处理单元305执行的处理是与以上参照图1和7描述的处理相同的处理。

相加处理单元305通过计算标准图像与经运动补偿的图像(MC图像)之间的加权平均，执行相加处理。加权平均的权重是通过使相加权重与反馈比相乘而获得的值。例如，当将反馈比设置为1/3时并且当相加权重从0至1变化时，加权平均中MC图像的权重从0至1/3变化。

将由相加处理单元305在标准图像与经运动补偿的图像(MC图像)之间生成的相加结果存储在帧存储器301中。作为新标准图像的图像与新参考图像组合，并且重复地执行上述处理。例如，在重复处理预定次数之后，将由相加处理单元305在标准图像与经运动补偿的图像(MC图像)之间生成的相加结果输出为噪声降低图像(NR图像)。

(3)根据本发明的实施例的图像处理设备的噪声降低效果

如上所述，图8中示出的图像处理设备300基于如下两种不同的方式来执行确定运动区域的处理，作为基于运动区域的检测信息的结合来检测运动区域的处理：

(a)使用基于标准图像与经运动补偿的图像之间的像素差异信息算出的运动估计(ME)的成功确定信息的运动区域检测信息[平坦映射]；以及

(b)通过对全局运动向量(GMV)和局部运动向量(LMV)进行比较的处理获得的运动区域检测信息[击中映射]。

图9中示出的相加确定单元304的控制映射生成单元313针对标准图像的所有块，通过选择击中映射和平坦映射的设置值之一，生成设置为运动区域信息的控制映射。

具体地，当击中值(Hit)和平坦值(Flat)之一是0(即，Hit＝0或者Flat＝0)时，将平坦值(Flat＝0至3)输出为块的最终运动确定信息。平坦值是由图18中示出的虚线表示的范围区域。

另一方面，当击中值(Hit)和平坦值(Flat)都不是0(即，Hit≠0且Flat≠0)时，将击中值(Hit＝0至3)输出为块的最终运动确定信息。击中值是由图18中示出的实线表示的范围区域。

当仅使用击中映射作为块单位的运动确定信息时，例如，可使局部移动对象的噪声降低效果退化。

当诸如照度改变的拍摄条件变化时，会出现问题在于，噪声降低效果退化。

由于击中映射是通过对全局运动向量(GMV)和局部运动向量(LMV)进行比较的处理进行的运动区域检测信息，并且依据块单位的LMV与GMV之间的差异确定块是否是运动区域，因此出现该问题。

另一方面，当仅使用平坦映射时，会出现问题在于，对于在诸如低照度的、噪声强的环境下拍摄的图像，噪声降低效果退化。

由于平坦映射是通过使用运动估计(ME)的成功确定信息获得的运动区域检测信息、并且如参照图10所述基于像素区域的分散值或平均值来确定运动的存在或不存在，因此出现该问题。

然而，在根据本发明的实施例的运动确定处理中，通过对击中映射和平坦映射进行结合来生成如在图18中设置的运动确定信息。

在图18中示出的设置中，例如，基于击中映射信息，可以估计出Hit＝0的区域是移动对象的内部区域、Hit＝0至2的区域是移动对象的边界、并且Hit＝3的区域是除移动对象之外的、诸如背景区域的区域。

然而，击中映射的值(Hit＝0至3)是通过基于LMV与GMV之间的比较的运动确定处理以及依据LMV和GMV的精度的确定结果来获得的。即，当向量的精度不足时，确定结果会包括误差。

在根据本发明的实施例的配置中，考虑平坦值(Flat＝0至3)以便防止由于向量的错误计算而导致错误设置相加权重。

例如，当在通过LVM与GMV之间的比较被确定为移动对象的区域的Hit＝0的区域中平坦值和击中值彼此相符、但是设置了平坦值(Flat＝0至3)时，将平坦值(Flat＝0至3)设置为块的最终运动确定信息，并且生成噪声确定表格(参见图20)。

即，在通过LVM与GMV之间的比较被确定为移动对象的区域的区域(Hit＝0)中，忽略Hit＝0的值，并且使用平坦值(Flat＝0至3)作为可靠的运动确定信息，其中，该平坦值(Flat＝0至3)作为利用运动估计(ME)成功确定信息的运动区域检测信息。

因此，当仅基于击中映射执行处理时，在Hit＝0的块中，会将经运动补偿的图像(MC图像)的图像像素对于标准图像的相加权重设置为小，因此在某些情况下会没有运用噪声降低效果。然而，在根据本发明的实施例的处理中，即使在Hit＝0的块中，也参照平坦映射的平坦值(Flat＝0至3)，执行基于平坦值的相加权重的设置。因此，根据运动估计(ME)的成功确定信息，在被确定运动小的块(其中平坦值大(较接近Flat＝3))中，将经运动补偿的图像(MC图像)的像素值的对于标准图像的相加权重设置为大。因此，在与运动估计(ME)成功区域对应的块中，可以使得噪声降低效果大。

即使在平坦值是0(Flat＝0)的块(即，根据运动估计(ME)的成功确定信息确定运动大的块)中，也忽略击中值(Hit＝0至3)，并且将平坦值(即，Flat＝0)设置为块的最终运动确定信息。

该处理防止使用基于在LMV与GMV之间的比较处理中容易出现的向量估计错误的错误的运动确定结果。在处理中，基于平坦值(Flat＝0)来设置经运动补偿的图像(MC图像)的相加权重。

在根据本发明的实施例的配置中，在可以获得其中区域基于击中映射和平坦映射之一非常有可能是运动区域的确定结果(Hit＝0或Flat＝0)的区域中，没有使用通过LMV与GMV之间的比较处理生成的、作为运动确定信息的击中映射(Hit＝0至3)的确定结果，并且优选地使用基于运动估计(ME)的成功确定信息生成的、作为运动确定信息的平坦映射(Flat＝0至3)的确定结果。

该处理使得防止相加权重由于向量估计错误而被设置。

总结根据本发明的实施例的处理，生成了两种运动确定信息，即，通过LMV与GMV之间的比较处理生成的、作为运动确定信息的击中映射(Hit＝0至3)和基于运动估计(ME)的成功确定信息生成的、作为运动确定信息的平坦映射(Flat＝0至3)。然后，在由于平坦映射或击中映射中的平坦值＝0或击中值＝0而被确定为非常有可能是运动区域的区域(块)中，优选地使用基于运动估计(ME)的成功确定信息生成的运动确定信息。

另外，在由于平坦映射和击中映射两个映射中的平坦值≠0且击中值≠0而被确定为不太可能是运动区域的区域(块)中，优选地使用击中值(Hit＝0至3)，即，基于LMV与GMV之间的比较结果生成的运动确定信息。

执行这样的处理。

通过选择并应用基于根据每个映射的检测信息的不同方式的运动确定信息(击中映射/平坦映射)，与仅使用每个映射的情况相比，可以提高对在各种条件下拍摄的图像的噪声降低效果。

(4)图像处理设备的示例性硬件配置

最后，将参照图21描述作为执行上述处理的设备的个人计算机的示例性硬件配置。CPU(中央处理单元)701根据存储在ROM(只读存储器)702或存储单元708中的程序来执行各种处理。例如，执行在上述实施例中描述的处理程序，诸如生成噪声降低图像(NR图像)的处理。RAM(随机存取存储器)703适当地存储由CPU 701执行的程序、数据等。CPU 701、ROM 702、以及RAM 703通过总线704彼此连接。

CPU 701通过总线704连接到输入/输出接口705。包括键盘、鼠标、麦克风等的输入单元706和包括显示器、扬声器等的输出单元707连接到输入/输出接口705。CPU 701根据从输入单元706输入的指令执行各种处理，并且例如将处理结果输出到输出单元707。

连接到输入/输出接口705的存储单元708由例如硬盘构成，并且存储由CPU 701执行的程序和各种数据。通信单元709经由诸如因特网或局域网的网络与外部设备通信。

连接到输入/输出接口705的驱动器710驱动诸如磁盘、光盘、磁光盘、或半导体存储器的可移除介质711，并且获取所记录的程序、数据等。所获取的程序或数据被传送到存储单元708，并且当需要时被存储。

至此已详细描述了本发明的具体实施例。然而，对本领域的技术人员明显的是，在不脱离本发明的要旨的情况下，可以在本发明的范围内进行实施例的修改和变更。即，由于根据实施例公开了本发明，因此本发明不应该被解释为限制性的。参考本发明的权利要求来确定本发明的范围。

在本说明书中描述的系列处理可以通过硬件、软件或者二者的组合配置来执行。当通过软件执行处理时，记录处理序列的程序可以安装在嵌入在专用硬件中的计算机的存储器中并且可以被执行，或者该程序可以安装在能够执行各种处理的通用计算机中并且可以被执行。例如，程序可以预先记录在记录介质中。除了将程序从记录介质安装到计算机中，还可以经由网络(诸如LAN(局域网)或互联网)来接收该程序，并且该程序可以安装在诸如内置硬盘的记录介质中。

在本说明书中描述的各种处理可以根据描述按时间顺序执行，或者可以依据执行处理的设备的处理能力来并行地或单独地执行，或者当需要时被执行。另外，本说明书中的***具有多个设备的逻辑集合配置，并且不限于每个配置的设备包括在同一机箱内的情况。

本申请包含与2010年3月23日向日本专利局提交的日本在先专利申请JP 2010-065833中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

本领域的技术人员应该理解，在所附权利要求或其等同物的范围内，根据设计需要和其他因素，可进行各种修改、组合、子组合以及变更。

Claims (7)

1.一种图像处理设备，其包括：

运动预测处理单元，其检测标准图像与参考图像之间的图像间运动；

运动补偿处理单元，其通过使用关于由所述运动预测处理单元检测到的图像间运动的信息移动所述参考图像以便在像素位置中与所述标准图像对准，来生成经运动补偿的图像；

相加处理单元，其通过将所述标准图像与所述经运动补偿的图像相加的相加处理，生成降低了所述标准图像的噪声的噪声降低图像；以及

相加确定单元，其以像素单位计算所述经运动补偿的图像的相加权重，所述相加权重被应用于由所述相加处理单元在所述标准图像与所述经运动补偿的图像之间执行的相加处理，

其中，所述相加确定单元包括：

第一运动区域检测单元，其基于所述标准图像与所述经运动补偿的图像之间的像素差异信息来计算运动区域确定值，该运动区域确定值表示以构成所述标准图像的区域单位来包括有移动对象的区域；

第二运动区域检测单元，其通过应用作为所述区域单位的运动信息的局部运动向量LMV与作为整个图像的运动信息的全局运动向量GMV之间的差异信息，计算所述区域单位的运动区域确定值；

控制映射生成单元，其依据各运动区域确定值的组合，选择并输出从所述第一运动区域检测单元和所述第二运动区域检测单元输出的两个运动区域确定值之一；

噪声确定表格生成单元，其根据从所述控制映射生成单元输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及

相加确定处理执行单元，其根据基于由所述噪声确定表格生成单元生成的噪声确定表格而估计的像素单位的噪声量，确定所述相加权重。

2.根据权利要求1所述的图像处理设备，

其中，在由从所述第一运动区域检测单元和所述第二运动区域检测单元输出的两个运动区域确定值的至少之一确定为很可能是运动区域的区域中，所述控制映射生成单元将所述第一运动区域检测单元的确定值输出为最终确定值，并且

其中，在根据由所述第一运动区域检测单元和所述第二运动区域检测单元输出的两个运动区域确定值两者确定为并非很可能是运动区域的区域中，所述控制映射生成单元将所述第二运动区域检测单元的确定值输出为最终确定值。

3.根据权利要求1或2所述的图像处理设备，

其中，在根据从所述控制映射生成单元输出的区域单位的运动区域确定信息而设置了表示区域不太可能是运动区域的确定值的区域中，所述噪声确定表格生成单元生成或校正所述噪声确定表格，以增加与像素值对应的估计噪声量，并且

其中，在根据从所述控制映射生成单元输出的区域单位的运动区域确定信息而设置了表示区域很可能是运动区域的确定值的区域中，所述噪声确定表格生成单元生成或校正所述噪声确定表格，以减少与像素值对应的估计噪声量。

4.根据权利要求1至3中任一项所述的图像处理设备，其中，所述相加确定处理执行单元执行如下确定所述相加权重的处理：在像素单位的噪声量大的区域中将所述相加权重设置为大，并且在所述像素单位的噪声量小的区域中将所述相加权重设置为小，所述像素单位的噪声量是通过由所述噪声确定表格生成单元生成的噪声确定表格来估计的。

5.根据权利要求1至4中任一项所述的图像处理设备，

其中，所述第一运动区域检测单元对所述标准图像和所述经运动补偿的图像进行分析，以确定从所述经运动补偿的图像划分的每个区域是否是与如下区域之一对应的区域：a)运动估计ME成功区域、b)运动估计ME失败区域、以及c)既不是a)运动估计ME成功区域也不是b)运动估计ME失败区域的边界区域，并且所述第一运动区域检测单元根据确定结果来计算每个小区域的运动区域确定值。

6.一种在图像处理设备中生成噪声降低图像的图像处理方法，其包括以下步骤：

由运动预测处理单元检测标准图像与参考图像之间的图像间运动；

由运动补偿处理单元通过使用关于由所述运动预测处理单元检测到的图像间运动的信息移动所述参考图像以便在像素位置中与所述标准图像对准，来生成经运动补偿的图像；

由相加处理单元通过将所述标准图像与所述经运动补偿的图像相加的相加处理，生成降低了所述标准图像的噪声的噪声降低图像；以及

由相加确定单元以像素单位计算所述经运动补偿的图像的相加权重，所述相加权重被应用于由所述相加处理单元在所述标准图像与所述经运动补偿的图像经运动补偿的图像之间执行的相加处理，

其中，所述计算所述相加权重的步骤包括以下子步骤：

基于所述标准图像与所述经运动补偿的图像之间的像素差异信息来计算运动区域确定值的第一运动区域检测子步骤，该运动区域确定值表示以构成所述标准图像的区域单位来包括有移动对象的区域；

通过应用作为所述区域单位的运动信息的局部运动向量LMV与作为整个图像的运动信息的全局运动向量GMV之间的差异信息来计算所述区域单位的运动区域确定值的第二运动区域检测子步骤；

依据各运动区域确定值的组合，选择并输出从所述第一运动区域检测子步骤和所述第二运动区域检测子步骤输出的两个运动区域确定值之一；

根据在所述选择并输出两个运动区域确定值之一的子步骤中输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及

根据基于在所述生成或校正所述噪声确定表格的子步骤中生成的噪声确定表格而估计的像素单位的噪声量，确定所述相加权重。

7.一种使得图像处理设备执行生成噪声降低图像的处理的程序，所述程序执行以下步骤：

由运动预测处理单元检测标准图像与参考图像之间的图像间运动；

由运动补偿处理单元通过使用关于由所述运动预测处理单元检测到的图像间运动的信息移动所述参考图像以便在像素位置中与所述标准图像对准，来生成经运动补偿的图像；

由相加处理单元通过将所述标准图像与所述经运动补偿的图像相加的相加处理，生成降低了所述标准图像的噪声的噪声降低图像；以及

由相加确定单元以像素单位计算所述经运动补偿的图像的相加权重，所述相加权重被应用于由所述相加处理单元在所述标准图像与所述经运动补偿的图像之间执行的相加处理，

其中，所述计算所述相加权重的步骤包括以下子步骤：

基于所述标准图像与所述经运动补偿的图像之间的像素差异信息来计算运动区域确定值的第一运动区域检测子步骤，所述该运动区域确定值表示以构成所述标准图像的区域单位来包括有移动对象的区域；

通过应用作为所述区域单位的运动信息的局部运动向量LMV与作为整个图像的运动信息的全局运动向量GMV之间的差异信息来计算所述区域单位的运动区域确定值的第二运动区域检测子步骤；

依据各运动区域确定值的组合，选择并输出从所述第一运动区域检测子步骤和所述第二运动区域检测子步骤输出的两个运动区域确定值之一；

根据在所述选择并输出两个运动区域确定值之一的子步骤中输出的区域单位的运动区域确定信息，生成或校正其中限定了与像素值对应的估计噪声量的噪声确定表格；以及

根据基于在所述生成或校正所述噪声确定表格的子步骤中生成的噪声确定表格而估计的像素单位的噪声量，确定所述相加权重。

Images