CN104115482A - 图像噪声除去装置、以及图像噪声除去方法 - Google Patents

Abstract

一种图像噪声除去装置(1)，用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，具备：空间噪声除去部(20)，通过利用第二图像中包含的像素值，进行用于除去第二图像中包含的噪声的运算，来生成空间噪声除去图像；可靠性算出部(30)，根据空间噪声除去图像、第二图像、以及除去了第一图像的噪声之后的第一噪声除去图像，算出关于第二图像中的运动的可靠性；以及时间混合部(50)，通过针对第二图像以及第一噪声除去图像，进行基于可靠性的加权求和运算处理，来除去第二图像中包含的噪声。

Description

图像噪声除去装置、以及图像噪声除去方法

技术领域

本发明涉及图像噪声除去装置以及图像噪声除去方法。

背景技术

在除去图像数据的噪声的滤波处理(以下简单记作“滤波器”)中包括时间噪声除去滤波器和空间噪声除去滤波器。作为对这些噪声除去滤波器进行切换的方法有专利文献1公开的方法，具体是，利用运动检测的结果，来选择时间噪声除去滤波器和空间噪声除去滤波器中个某一个处理结果。

并且，专利文献2公开的方法是，利用空间噪声除去滤波器的处理结果，在判断了是否利用时间噪声除去滤波器的处理结果的基础上，来输出最终处理结果。

(现有技术文献)

(专利文献)

专利文献1日本特开平2-248173号公报

专利文献2国际公开第2010/073488号

在由时间噪声除去滤波器除去噪声时，会出现生成新的噪声(例如残留图像或动态图像的不协调感)的问题。即，出现的问题是，为了除去噪声而难于对图像执行强度适度的时间噪声除去处理。

发明内容

因此，本发明提供一种对图像执行强度适度的时间噪声除去处理的图像噪声除去装置。

本发明的一个实施方式所涉及的图像噪声除去装置，用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该图像噪声除去装置具备：空间噪声除去部，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；可靠性算出部，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及时间混合部，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

并且，这些概括性或具体的实施方式可以作为***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过对***、方法、集成电路、计算机程序以及记录介质进行任意地组合来实现。

根据本发明的图像噪声除去装置以及方法，通过对时间噪声除去滤波器的滤波器強度进行适当地变化，从而能够对作为对象的图像采用时间噪声除去滤波器来进行最恰当地噪声除去。

附图说明

图1是实施方式1中的图像噪声除去装置的构成图。

图2是实施方式1中的可靠性算出部的构成图。

图3是实施方式1中的像素值与矢量的关系的说明图。

图4示出了噪声的概率分布。

图5是实施方式1中的α_tnr与P的对应关系的例子。

图6是示出实施方式1中的处理的流程的流程图。

图7是实施方式2中的图像噪声除去装置的构成图。

图8是示出实施方式2中的处理的流程的流程图。

图9是各个实施方式中的图像噪声除去装置的构成图的一个例子。

具体实施方式

(成为本发明的基础的见解)

本发明人员针对“背景技术”一栏中所记载的噪声除去技术发现了以下的问题。

在图像(动态图像、静态图像)数据中，由于拍摄环境或图像传感器的特性，而会含有噪声(噪音)。噪声的种类中包括：光散粒噪声、暗噪声、固定图案噪声、或电路噪声等。由于该噪声会导致图像质量(画质)的劣化，因此通过进行噪声除去的滤波处理，来除去或降低图像数据的噪声。

作为噪声除去的方法，受到关注的方法是利用像素数据(像素值)近旁的区域的数据，来对像素值进行平滑化。作为平滑化的方法的例子有，获取区域的平均值的滤波方法、或获取近旁区域的中值的中值滤波方法等。这些噪声除去滤波器是采用一张图像内的数据来进行空间噪声除去处理的滤波器。

然而，在动态图像中，由于在时间方向上存在连续的图像(帧)，因此采用了时间噪声除去滤波器，即通过采用该帧间的相关的平滑化处理，来降低或除去噪声。作为时间噪声除去的方法的例子，受到关注的方法是对像素数据与在时间上之前的帧的像素数据进行加权平均的方法。

作为对空间噪声除去滤波器与时间噪声除去滤波器进行组合的方法，关注像素数据若为静止部分，则选择使用时间噪声除去滤波器，若为移动部分则选择使用空间噪声除去滤波器。

作为对除去图像数据的噪声的噪声除去滤波器进行切换的方法，专利文献1公开的方法是，利用运动检测的结果来选择时间噪声除去滤波器和空间噪声除去滤波器之中的任一个处理结果。

并且，专利文献2公开的方法是，利用空间噪声除去滤波器的处理结果，来判断是否使用时间噪声除去滤波器的处理结果，在进行了该判断之后输出最终处理结果。

然而，在对时间噪声除去滤波器与空间噪声除去滤波器进行切换的方式中，要想提高时间噪声除去滤波器的噪声除去效果，则需要加强在时间方向上的平滑化处理。在施加了过强的时间噪声除去滤波的情况下，在移动区域周边会发生残留图像，从而导致画质降低。为了抑制该残留图像则不能施加过强的时间噪声除去滤波，从而降低了时间噪声除去滤波器的噪声除去效果。

并且，在利用空间噪声除去滤波器的处理结果，来判断是否采用时间噪声除去滤波器的处理结果的情况下，为了进行将时间噪声除去滤波处理结果设为有效或无效的选择，从而会因时间噪声除去滤波器与空间噪声除去滤波器的噪声除去性能上的差，则导致在两个滤波器的切换定时产生动态图像的不协调感。

如以上所述，在通过时间噪声除去滤波器来除去噪声时，会出现生成新的噪声(例如残留图像或动态图像的不协调感)的问题。即，出现的问题是，为了除去噪声却不能对图像施加强度适度的时间噪声除去处理。

因此，本发明提供了一种能够对图像施加强度适度的时间噪声除去处理的图像噪声除去装置。

为了解决上述的问题，本发明的一个实施方式所涉及的图像噪声除去装置，用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该图像噪声除去装置具备：空间噪声除去部，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；可靠性算出部，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及时间混合部，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

通过此构成，除了利用第二图像和第一噪声除去图像之外，还能够利用对第二图像的噪声在空间上进行除去后的空间噪声除去图像，高精确地对第二图像中的运动进行检测，并能够按照该检测结果来对第二图像进行时间噪声除去。由于第二图像中的运动检测的精度较高，因此能够提高时间噪声除去的精确度。因此，图像噪声除去装置能够对图像进行强度适度的时间噪声除去处理。

以往技术中的第二图像中的运动检测，是利用第二图像和第一噪声除去图像来进行的，正如周知的那样，检测结果的精确度较差。而在本发明，除了上述的两个图像之外，还利用第二图像的空间噪声除去图像，因此能够提高运动的检测结果的精确度。

例如，所述可靠性算出部，在所述第二图像中包含的像素的运动越小的情况下，就将所述可靠性算成越大的值，所述时间混合部，以所述可靠性越大，就越使所述第一噪声除去图像的权重加大的方式，来进行所述加权求和运算处理。

据此，第二图像中的运动越小，就越对图像进行使第一噪声除去图像的权重加大的时间噪声除去处理。对于第二图像中的运动可能性小的部分，通过使已经被除去了噪声的第一噪声除去图像的权重加大，从而，能够使时间噪声除去处理后的图像的噪声减少。

例如，所述可靠性算出部，在所述第一噪声除去图像与所述第二图像各自所包含的同一个位置上的像素值的差分越小的情况下，就将所述可靠性算成越大的值。

例如，所述可靠性算出部，在所述第一噪声除去图像与所述空间噪声除去图像各自所包含的同一个位置上的像素值的差分越小的情况下，就将所述可靠性算成越大的值。

据此，图像噪声除去装置在判断为在第二图像中有运动的可能性小的情况下，使时间噪声除去中的第一噪声除去图像的权重加大。第一噪声除去图像由于噪声已经被除去，因此时间噪声除去处理后的图像的噪声变小。

例如、所述可靠性算出部，根据所述差分相对于预先规定的偏差的比，来算出所述可靠性，所述预先规定的偏差是指，因噪声而发生了变化的像素值的分布的偏差。

据此，图像噪声除去装置在进行像素值的差分的大小判断时，能够利用针对因噪声而发生了变化的像素值的分布的偏差，来进行大小判断。

例如，所述像素值具有多个成分，所述可靠性算出部在第一矢量与第二矢量所成的角越小的情况下，就将所述可靠性算成越大的值，所述第一矢量是指，以所述空间噪声除去图像与所述第二图像各自所包含的同一个位置上的像素的像素值的差分作为所具有的成分，所述第二矢量是指，以所述第一噪声除去图像与所述第二图像各自所包含的同一个位置上的像素的像素值的差分作为所具有的成分。

据此，图像噪声除去装置在第一矢量与第二矢量所成的角越小的情况下，就越将第二图像判断为具有运动的可能性小，从而使时间噪声除去中的第一噪声除去图像的权重加大，所述第一矢量是与空间噪声除去图像和第二图像的差分对应的矢量，所述第二矢量是与第一噪声除去图像和第二图像的差分对应的矢量。第一噪声除去图像由于噪声已经被除去，因此能够使时间噪声除去处理后的图像的噪声变小。

例如，所述第一噪声除去图像是由该图像噪声除去装置对所述第一图像中包含的噪声进行除去之后的图像。

据此，图像噪声除去装置能够将由该图像噪声除去装置对第一图像进行了时间噪声除去处理后得到的图像，作为第一噪声除去图像来利用。

例如，所述第一图像是构成动态图像的图像之中的一个图像，所述第二图像是构成所述动态图像的图像之中的、在时间顺序上为紧接在所述第一图像之后的一个图像。

据此，针对在时间上连续的多个图像所构成的动态图像，能够对连续的图像依次进行考虑了该图像前一个图像的噪声除去结果的时间噪声除去处理。

例如，所述图像噪声除去装置还具备空间混合部，该空间混合部通过针对所述第二图像以及所述空间噪声除去图像进行基于所述可靠性的加权求和运算处理，来生成空间混合图像，所述时间混合部，进一步，通过针对所述空间混合图像以及除去了所述第一图像中包含的噪声之后的第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

据此，能够以上述的高精确度来进行第二图像中的运动的检测，并能够按照该检测结果来对第二图像进行空间噪声除去之后，再进行时间噪声除去。由于第二图像中的运动检测的精确度较高，因此能够提高空间噪声除去的精确度。并且，由于是在进行了该空间噪声除去之后进行时间噪声除去的，因此能够进一步对图像进行恰当地时间噪声除去处理。

例如，所述可靠性算出部，在所述第二图像中包含的像素的运动越小的情况下，就将所述可靠性算成越大的值，所述空间混合部，以所述可靠性越大，就越使所述第二图像的权重加大的方式，来进行所述加权求和运算处理，所述时间混合部，以所述可靠性越大，就越使所述第一噪声除去图像的权重加大的方式，来进行所述加权求和运算处理。

据此，第二图像中的运动的可能性越小，就越对图像进行使第二图像的权重加大的空间噪声除去处理。对于第二图像中的运动可能性小的部分，通过使第二图像的权重加大，从而能够回避因空间噪声除去而产生的模糊等副作用。

并且，本发明的一个实施方式所涉及的图像噪声除去方法，用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该图像噪声除去方法包括：空间噪声除去步骤，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；可靠性算出步骤，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及时间混合步骤，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

据此，能够实现与上述的图像噪声除去装置相同的效果。

并且，本发明的一个实施方式所涉及的程序是使计算机执行上述的图像噪声除去方法的程序。

据此，能够实现与上述的图像噪声除去装置同样的效果。

并且，本发明的一个实施方式所涉及的集成电路用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该集成电路具备：空间噪声除去部，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；可靠性算出部，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及时间混合部，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

据此，能够实现与上述的图像噪声除去装置同样的效果。

并且，这些概括性的或具体的实施方式不仅能够以***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过以***、方法、集成电路、计算机程序或记录介质的任意组合来实现。

以下参照附图对实施方式进行说明。

并且，以下所说明的实施方式均为概括性的或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均为一个例子，并非是限定本发明的主旨。并且，针对以下的实施方式的构成要素之中的示出最上位概念的独立权利要求所没有记载的构成要素，作为任意的构成要素来说明。

(实施方式1)

图1是本实施方式中的图像噪声除去装置的构成图。

如图1所示，图像噪声除去装置1具备：输入图像端子10、空间噪声除去部20、可靠性算出部30と、时间混合率算出部40、时间混合部50、缓冲器60、以及输出图像端子70。

输入图像端子10接受被输入到图像噪声除去装置1的图像(以后记作“输入图像”)。具体而言，输入图像端子10接受关注像素的像素值(像素数据)、以及其周边像素的像素值(像素数据)。并且，输入图像相当于第二图像。

空间噪声除去部20利用通过输入图像端子10接受的关注像素的像素值以及其周边像素的像素值，以平滑化来进行噪声除去。像上述这样被除去了噪声的图像相当于空间噪声除去图像。

可靠性算出部30算出通过输入图像端子10接受的关注像素，相对于过去的输入图像(相当于第一图像)中的相同位置上的像素静止的概率。即，可靠性算出部30将通过输入图像端子10接受的关注像素的像素值、针对记录在缓冲器中的过去的图像进行了噪声除去的图像中的相同位置上的像素值、以及空间噪声除去部20进行了噪声除去后的图像中的相同位置上的像素值作为输入，利用这些输入算出关注像素相对于过去的图像的噪声除去信号中的相同位置上的像素静止的概率。关于算出方式待后述。并且，“像素静止”是指与该像素对应的拍摄对象物没有发生变化。即，与两张图像的每一个中的像素相对应的拍摄对象物为相同的情况下，称为“像素静止”。而且，即使在这两个像素的每一个被施加了大小不同的噪声而导致像素值不同的情况下，也可以称为“像素静止”。相反，在与两张图像的每一个中的像素相对应的拍摄对象物不同的情况下，则称为“像素不为静止”。

具体而言，在从拍摄了现实中不动的被摄物(例如風景、建筑物等)的动画中提取两张图像的情况下，也称为一方的图像的像素相对于另一方的图像的像素为静止。而且，在上述一方的图像的像素与上述另一方的图像的像素彼此被施加了不同的噪声的情况下，即使上述的像素值不同，这种情况也称为一方的图像的像素相对于另一方的图像的像素为静止。另外，在从拍摄了现实中运动的被摄物(例如移动的车辆、正在挥手的人)的动画中提取两张图像的情况下，对于运动的部分而言，则不能称为一方的图像的像素相对于另一方的图像的像素为静止。

并且，“被记录在缓冲器的过去的图像”是指，与通过输入图像端子10接受的输入图像相比为过去的图像，并且是被施加了噪声除去处理的图像。即，过去的图像可以是该输入图像的前一个被输入的进行了噪声除去处理之后的图像，也可以是该输入图像的规定数量之前被输入的进行了噪声除去处理之后的图像。此时，规定数量可以是与该输入图像的差比较小的图像数量。并且，“被记录在缓冲器的过去的图像”相当于第一噪声除去图像。

时间混合率算出部40根据由可靠性算出部30算出的关注像素为静止的概率，算出在时间混合部50所使用的像素值的混合率，该像素值的混合率是指，通过输入图像端子10接受的像素值与被记录在缓冲器的过去的图像的像素值的混合率(掺杂率)。

时间混合部50按照时间混合率算出部40所算出的混合率，对通过输入图像端子10接受的像素值、与针对被记录在缓冲器的过去的图像的噪声除去信号中的相同位置上的像素值进行混合，来生成输出图像，并输出被生成的输出图像。

图2是本实施方式中的可靠性算出部30的构成图。

如图2所示，可靠性算出部30具备：差分运算部31a、差分运算部31b、差分运算部31c、以及概率算出部32。在以后的说明中，将被输入到可靠性算出部30的由输入图像端子10接受的像素值设为CUR，将由空间噪声除去部20进行了噪声除去(空间噪声除去)之后的像素值作为SNR、将被记录到缓冲器60的图像的图像数据作为PRE来进行说明。

差分运算部31a算出a＝SNR-CUR。

差分运算部31b算出b＝PRE-CUR。

差分运算部31c算出c＝PRE-SNR。

一般而言，像素值由RGB或YCbCr这种多个颜色成分数据构成，由差分运算部31a、31b以及31c算出的a、b以及c能够作为具有多个成分的矢量。例如，在像素值由YCbCr这三个信息构成的情况下，矢量a、b以及c能够由(式1)来表示。

[数式1]

$\left.\begin{array}{c}\stackrel{\→}{a}=({\mathrm{NR}}_y-\mathrm{CU}{R}_y,{\mathrm{NR}}_{\mathrm{cb}}-{\mathrm{CUR}}_{\mathrm{cb}},{\mathrm{NR}}_{\mathrm{cr}}-{\mathrm{CUR}}_{\mathrm{cr}})\\ \stackrel{\→}{b}=({\mathrm{PRE}}_y-{\mathrm{CUR}}_y,{\mathrm{PRE}}_{\mathrm{cb}}-{\mathrm{CUR}}_{\mathrm{cb}},{\mathrm{PRE}}_{\mathrm{cr}}-{\mathrm{CUR}}_{\mathrm{cr}})\\ \stackrel{\→}{c}=({\mathrm{PRE}}_y-{\mathrm{NR}}_y,{\mathrm{PRE}}_{\mathrm{cb}}-{\mathrm{NR}}_{\mathrm{cb}},{\mathrm{PRE}}_{\mathrm{cr}}-{\mathrm{NR}}_{\mathrm{cr}})\end{array}\right\}$     (式1)

在此，下标的y、cb以及cr分别表示像素值的Y成分、Cb成分以及Cr成分。矢量a、b以及c在像素值由三个成分(例如YCbCr或RGB形式)构成的情况下成为三维的矢量。但是，例如像灰度分布这种只有Y成分的信息的情况下(Cb与Cr时常为0的情况下)可以视为一维，也可以视为将Cb与Cr作为0的三维。

图3是实施方式1中的像素值与矢量的关系的说明图。图3中示出了像素值CUR、SNR以及PRE、与矢量a、b以及c的关系。

具体而言，像素值CUR、SNR以及PRE分别被配置在与各自的像素值对应的坐标。矢量a所描述的是，以CUR为始点，以SNR为终点。矢量b描述的是，以CUR为始点，以PRE为终点。矢量c描述的是，以SNR为始点，以PRE为终点。

概率算出部32按照(式2)，算出像素数据为静止的概率P。

[数式2]

$P(\stackrel{\→}{a},\stackrel{\→}{b},\stackrel{\→}{b})=e^{-\frac{1}{2}\mathrm{\α}{\mathrm{\ω}}_0}\×e^{-\frac{1}{2}\mathrm{\β}{\mathrm{\ω}}_1}\×e^{-\frac{1}{2}\mathrm{\γ}{\mathrm{\ω}}_2}=e^{-\frac{1}{2}(\mathrm{\α}{\mathrm{\ω}}_0+\mathrm{\β}{\mathrm{\ω}}_1+\mathrm{\γ}{\mathrm{\ω}}_2)}$     (式2)

在此，α、β以及γ是从外部给予的常数。并且，ω0、ω1以及ω2通过(式3)、(式4)以及(式5)而被计算。

[数式3]

${\mathrm{\ω}}_0={\left(\frac{\left|\right|\stackrel{\→}{b}\left|\right|}{\mathrm{\σ}}\right)}^2$     (式3)

[数式4]

${\mathrm{\ω}}_1={\left(\frac{\left|\right|\stackrel{\→}{c}\left|\right|}{\mathrm{\σ}}\right)}^2$     (式4)

[数式5]

${\mathrm{\ω}}_2=(1-\cos {\mathrm{\θ}}^2)={(1-\frac{\stackrel{\→}{a}\·\stackrel{\→}{b}}{\left|\stackrel{\→}{a}\right|\left|\stackrel{\→}{b}\right|})}^2$     (式5)

在此，σ是图像中所包含的噪声模式正态分布(因噪声而发生变化的像素值的分布)的偏差，是从外部给予的。图4示出了图像中所包含的噪声的概率分布的一个例子。该概率分布由以不含有噪声的真的像素值S为中心的偏差σ的正态分布而被模式化。

一般而言，像素数据为静止的概率P单纯地能够由b(＝PRE-CUR)来算出，但是精确度较低。仅采用b的方法与仅采用(式2)右边的第一个因数等同。

对此，在本实施方式中，考虑到了除了理想状态以外的情况，所述理想状态是指，时间噪声除去后的像素值与空间噪声除去后的像素值双方均正确的情况。具体而言，假设在通过时间噪声除去而完全将噪声除去了的情况下的时间噪声除去后的像素值、与假设在通过空间噪声除去而完全将噪声除去了的情况下的空间噪声除去后的像素值相等。即，在理想的状态下，两者的像素值的差|c|为0，且矢量a与b所成的角θ为0。然而，在现实上则难于实现上述的理想的状态，从理想的状态发生了偏差。在这种情况下所具有的关系是，两者的像素值的差|c|比较小，且矢量a与b所成的角θ也比较小。在此，进一步利用上述的|c|以及θ，通过(式2)来算出概率P。相反，在上述的关系不成立的情况下，则表现出时间噪声除去的精确度较低。即，关注的像素从过去的图像发生了移动(非静止状态)的可能性较高。

时间混合率算出部40利用在可靠性算出部30算出的像素值为静止的概率P，并算出在时间混合部50使用的混合率αtnr。αtnr虽然以1被正规化而被输出，但是没有必要以与后段的时间混合部50中的运算的关系来进行正规化。αtnr可以通过使用了概率P的运算来求，也可以使用事先准备的表或对应关系来算出。

图5是实施方式1中的αtnr与P的对应关系的例子。

图5的(a)是αtnr与P的对应关系的第一个例子。当P在0与1之间发生变化的情况下，αtnr与P成比例地变化。αtnr发生变化的范围例如是0至0.9。

图5的(b)是αtnr与P的对应关系的第二个例子。当P在0与1之间发生变化的情况下，在P为从0至规定数的区间中，αtnr与P成比例地变化，在P为规定数至1的区间中，αtnr为一固定值。αtnr发生变化的范围例如与上述同样，从0至0.9。

综上所述，当P在0与1之间发生变化的情况下，αtnr能够从0变化到规定数。

并且，通过将以1而被正规化的概率P，直接用作以1被正规化的混合率αtnr，从而能够省略时间混合率算出部40，以实现简单的构成。

时间混合部50利用在时间混合率算出部40算出的混合率αtnr，来算出输出图像OUT。例如，在αtnr以1被正规化的情况下，则成为OUT＝αtnr×PRE+(1-αtnr)×CUR。

通过以上的构成和处理，从而使时间噪声除去滤波器的滤波強度适当地变化，因此能够对成为对象的图像采用最恰当的时间噪声除去滤波器来进行噪声除去。

图6是示出本实施方式中的处理流程的流程图。图6是对本实施方式中的一张图像进行处理的流程图。

在步骤S101中，进行像素值的输入。

在步骤S102中，针对在步骤S101被输入的像素值进行空间噪声除去处理。

在步骤S103中，根据在步骤S102进行了空间噪声除去的像素值、在步骤S101被输入的像素值、以及过去的图像的像素值，算出像素为静止的概率。

在步骤S104，按照在步骤S103算出的概率来算出时间混合率。

在步骤S105，按照在步骤S104算出的时间混合率，对在步骤S101输入的像素值与过去的图像的像素值进行时间混合处理。

在步骤S106，对在步骤S105进行了时间混合处理后的输出图像进行输出。

在步骤S107，将上述的输出图像记录到缓冲器。

在步骤S108，判断所有像素的处理是否结束，在判断为结束了的情况下，结束针对该一个图像的处理(步骤S109)。并且，在判断为没有结束的情况下，移向步骤S101。

通过以上的处理，能够对时间噪声除去滤波器的強度进行适当地改变，来进行一个图像的噪声除去滤波处理。在为动态图像的情况下，针对构成动态图像的每一个图像，通过依次进行上述的处理，从而能够对构成动态图像的所有图像进行噪声除去滤波处理。

如以上所述，通过本实施方式中的图像噪声除去装置，除了第二图像以及第一噪声除去图像以外，还能够利用在空间上除去了第二图像的噪声的空间噪声除去图像，高精确度地检测第二图像中的运动，并按照该检测结果，来针对第二图像进行时间噪声除去。由于第二图像中的运动检测的精确度较高，因此也能够提高时间噪声除去的精确度。因此，图像噪声除去装置能够对图像进行强度适度的时间噪声除去处理。

以往技术中的第二图像中的运动检测是通过第二图像和第一噪声除去图像来进行的，因此检测结果的精确度不高是周知的。在本发明中，除了上述的两个图像之外还能够使用第二图像的空间噪声除去图像，因此能够提高运动检测结果的精确度。

并且，对于第二图像中的运动越小的图像，就越进行使第一噪声除去图像的权重加大的时间噪声除去处理。对于第二图像中的运动的可能性较小的部分，通过加大已经除去了噪声的第一噪声除去图像的权重，从而能够减少时间噪声除去处理后的图像的噪声。

并且，图像噪声除去装置在判断为第二图像中运动可能性较小的情况下，则加大时间噪声除去中的第一噪声除去图像的权重。第一噪声除去图像由于噪声已经被除去，因此能够减少时间噪声除去处理后的图像的噪声。

并且，图像噪声除去装置在进行像素值的差分的大小判断时，能够利用相对于因噪声而发生变化的像素值的分布的偏差比，来进行大小判断。

并且，图像噪声除去装置在第一矢量与第二矢量所成的角越小的情况下，就越将第二图像中的运动可能性判断为小，使时间噪声除去中的第一噪声除去图像的权重加大，所述第一矢量是对应于空间噪声除去图像与第二图像的差分的矢量，所述第二矢量是对应于第一噪声除去图像与第二图像的差分的矢量。第一噪声除去图像由于噪声已经被除去，因此能够使时间噪声除去处理后的图像的噪声减小。

并且，图像噪声除去装置能够将由该图像噪声除去装置对第一图像进行时间噪声除去处理而得到的图像，作为第一噪声除去图像来利用。

并且，能够针对由在时间顺序上连续的多个图像构成的动态图像、以及连续的图像，依次进行考虑了该图像的前一个图像的噪声除去结果的时间噪声除去处理。

(实施方式2)

图7是本实施方式中的图像噪声除去装置的构成图。

如图7所示，图像噪声除去装置2具备：输入图像端子10、空间噪声除去部20、可靠性算出部30、时间混合率算出部40、时间混合部50、缓冲器60、输出图像端子70、空间混合率算出部80、以及空间混合部90。

输入图像端子10接受被输入到图像噪声除去装置1的图像(以后记作“输入图像”)。具体而言，输入图像端子10接受关注像素的像素值(像素数据)、及其周边像素的像素值(像素数据)。

空间噪声除去部20利用由输入图像端子10接受的像素值、以及周边像素的像素值，通过平滑化来进行噪声除去。

可靠性算出部30算出由输入图像端子10接受的关注像素，相对于过去的输入图像中的相同位置上的像素的静止的概率。即，可靠性算出部30将由输入图像端子10接受的关注像素的像素值、针对被记录到缓冲器的过去的图像进行了噪声除去后的图像中的相同位置上的像素值、以及空间噪声除去部20进行噪声除去后的图像中的相同位置上的像素值作为输入，并利用这些输入，算出关注像素相对于过去的图像的噪声除去信号中的相同位置上的像素的静止的概率。

空间混合率算出部80根据由可靠性算出部30算出的概率，即根据关注像素为静止的概率，算出在空间混合部90所使用的由输入图像端子10接受的像素值与由空间噪声除去部20进行处理后的像素值的混合率。

空间混合部90按照由空间混合率算出部80算出的混合率，对由输入图像端子10接受的像素值、与由空间噪声除去部20进行处理后的图像中的相同位置上的像素值进行混合。

时间混合率算出部40根据由可靠性算出部30算出的关注像素为静止的概率，算出在时间混合部50所使用的空间混合部90的输出图像与被记录在缓冲器的关于过去的图像的噪声除去信号中的相同位置上的像素值的混合率(掺杂率)。

时间混合部50按照时间混合率算出部40算出的混合率，对由空间混合部90输出的图像的像素值、与被记录在缓冲器的过去的图像中的相同位置上的像素值进行混合，从而生成输出图像，并输出生成的输出图像。

空间混合率算出部80根据在实施方式1所说明的关注像素为静止的概率P，算出混合率αsnr。

关于混合率αsnr的计算例如需要考虑到如下之处。一般而言，在通过空间噪声除去来进行平滑化处理时，会产生在图像中发生模糊的副作用。因此，在图像为静止的概率越高的情况下，在以抑制上述的模糊这种副作用为目的时，为了能够在输入图像端子10以较高的比例来混合，从而调整混合率。

虽然αsnr是被正规化后被输出的，不过由于与后段的空间混合部90中的运算上的关系，并非必需要进行正规化。αsnr可以采用概率P来运算求出，也可以采用预先准备的表或对应关系来算出。对应关系如实施方式1所说明的那样，也可以采用图5所示的对应关系。

并且，在不考虑空间噪声除去的副作用的情况下，能够将以1正规化后的概率P直接用作以1正规化后的混合率αsnr。在这种情况下，能够省略空间混合率算出部80，从而能够使构成变得简单。

空间混合部90使用在空间混合率算出部80算出的混合率αsnr，对输出结果OUTsnr进行输出。例如，在αsnr以1被正规化的情况下，则成为OUTsnr＝αsnr×CUR+(1-αsnr)×SNR。

时间混合部50使用在时间混合率算出部40算出的混合率αtnr，对输出图像OUT进行输出。例如，在αtnr以1来进行正规化的情况下，则成为OUT＝αtnr×PRE+(1-αtnr)×OUTsnr。

通过以上的构成以及处理，来使时间噪声除去滤波器的滤波強度适当地变化，从而能够对成为对象的图像进行最恰当的时间噪声除去滤波处理，并且，能够针对发生了运动的部分进行顺利地切换成空间噪声除去滤波处理的噪声除去。

图8是示出本实施方式中的处理的流程的流程图。图8是针对本实施方式中的一个图像的处理的流程图。

在步骤S101，进行像素值的输入。

在步骤S102，针对在步骤S101输入的像素值进行空间噪声除去处理。

在步骤S103，根据在步骤S102进行了空间噪声除去的像素值、在步骤S101被输入的像素值、以及过去的图像的像素值，来算出像素为静止的概率。

在步骤S201，根据在步骤S103算出的概率来进行空间混合率的算出。

在步骤S202，根据在步骤S201算出的空间混合率，进行在步骤S101输入的像素值与进行了空间噪声除去后的像素值的空间混合处理。

在步骤S104，根据在步骤S103算出的概率来算出时间混合率。

在步骤S105，根据在步骤S104算出的时间混合率，对在步骤S101输入的像素值与在步骤S202被处理后的像素值进行时间混合处理。

在步骤S106，对在步骤105进行了时间混合处理后的输出图像进行输出。

在步骤S107，将上述的输出图像记录到缓冲器。

在步骤S108，对所有像素的处理是否已经结束进行判断，在判断为结束了的情况下，结束针对该一个图像的处理(步骤S109)。并且，在判断为没有结束的情况下，移向步骤S101。

通过以上的处理，能够恰当地对时间噪声除去滤波器的強度进行改变，并且能够针对发生了活动的部分进行顺利地切换成空间噪声除去滤波器的噪声除去滤波处理。

如以上所述，通过本实施方式中的图像噪声除去装置，能够以上述的高精确度来检测第二图像中的运动，并能够按照该检测结果对第二图像进行空间噪声除去之后，再进行时间噪声除去。由于第二图像中的运动检测的精确度较高，因此能够提高空间噪声除去的精确度。并且，由于能够在进行了该空间噪声除去之后进行时间噪声除去，因此能够对图像进行更加恰当的时间噪声除去处理。

并且，在第二图像中具有运动的可能性越小的情况下，就越对图像施加使第二图像的权重加大的空间噪声除去处理。针对第二图像中运动的可能性小的部分，通过使第二图像的权重加大，从而能够回避因空间噪声除去而产生的模糊等副作用。

并且，上述各个实施方式中的图像噪声除去装置也可以通过以下的构成来实现。图9是各个实施方式中的图像噪声除去装置的构成图的一个例子。

如图9所示，为了除去在时间顺序上的第一图像之后的第二图像中包含的噪声的图像噪声除去装置1A具备：空间噪声除去部20、可靠性算出部30、以及时间混合部50。

空间噪声除去部20通过利用第二图像(CUR)中包含的像素值，进行除去第二图像(CUR)中包含的噪声的运算，从而生成空间噪声除去图像(SNR)。

可靠性算出部30根据空间噪声除去图像(SNR)、第二图像(CUR)、以及除去了第一图像的噪声之后的第一噪声除去图像(PRE)，来算出作为第二图像(CUR)中的运动有无的指标的可靠性。

时间混合部50针对第二图像(CUR)以及第一噪声除去图像(PRE)，进行基于可靠性的加法处理。

并且，在上述的各个实施方式中，各个构成要素可以由专用的硬件来构成，也可以通过执行适合于各个构成要素的软件程序来实现。各个构成要素也可以通过CPU或处理器等程序実行部将记录到硬盘或半导体存储器等记录介质的软件程序读出并执行来实现。在此，实现上述的各个实施方式的图像噪声除去装置等的软件是如下的程序。

即，程序使计算机执行包含如下步骤的图像噪声除去方法，该图像噪声除去方法用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该图像噪声除去方法包括：空间噪声除去步骤，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；可靠性算出步骤，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及时间混合步骤，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

以上针对一个或多个实施方案所涉及的图像噪声除去装置，基于实施方式进行了说明，本发明并非受这些实施方式所限。在不脱离本发明的主旨的范围内，将本领域技术人员所想到的各种变形执行于本实施方式、或者对不同的实施方式中的构成要素进行组合而构成的方案也可以包含在一个或多个实施方案的范围内。

通过本发明所涉及的图像噪声除去装置的技术，由于能够对时间噪声除去滤波器的强度进行恰当地变更，因此有用于拍摄动态图像的数字视频相机以及数字静态相机的噪声除去。

符号说明

1、1A、2    图像噪声除去装置

10    输入图像端子

20    空间噪声除去部

30    可靠性算出部

31a、31b、31c    差分运算部

32    概率算出部

40    时间混合率算出部

50    时间混合部

60    缓冲器

70    输出图像端子

80    空间混合率算出部

90    空间混合部

Claims (13)

1.一种图像噪声除去装置，用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该图像噪声除去装置具备：

空间噪声除去部，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；

可靠性算出部，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及

时间混合部，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

2.如权利要求1所述的图像噪声除去装置，

所述可靠性算出部，在所述第二图像中包含的像素的运动越小的情况下，就将所述可靠性算成越大的值，

所述时间混合部，以所述可靠性越大，就越使所述第一噪声除去图像的权重加大的方式，来进行所述加权求和运算处理。

3.如权利要求2所述的图像噪声除去装置，

所述可靠性算出部，在所述第一噪声除去图像与所述第二图像各自所包含的同一个位置上的像素值的差分越小的情况下，就将所述可靠性算成越大的值。

4.如权利要求2或3所述的图像噪声除去装置，

所述可靠性算出部，在所述第一噪声除去图像与所述空间噪声除去图像各自所包含的同一个位置上的像素值的差分越小的情况下，就将所述可靠性算成越大的值。

5.如权利要求3或4所述的图像噪声除去装置，

所述可靠性算出部，根据所述差分相对于预先规定的偏差的比，来算出所述可靠性，所述预先规定的偏差是指，因噪声而发生了变化的像素值的分布的偏差。

6.如权利要求2至5的任一项所述的图像噪声除去装置，

所述像素值具有多个成分，

所述可靠性算出部在第一矢量与第二矢量所成的角越小的情况下，就将所述可靠性算成越大的值，所述第一矢量以所述空间噪声除去图像与所述第二图像各自中的同一个位置上的像素的像素值的差分作为所具有的成分，所述第二矢量以所述第一噪声除去图像与所述第二图像各自中的同一个位置上的像素的像素值的差分作为所具有的成分。

7.如权利要求1至6的任一项所述的图像噪声除去装置，

所述第一噪声除去图像是由该图像噪声除去装置对所述第一图像中包含的噪声进行除去之后的图像。

8.如权利要求1至7的任一项所述的图像噪声除去装置，

所述第一图像是构成动态图像的图像之中的一个图像，

所述第二图像是构成所述动态图像的图像之中的、在时间顺序上为紧接在所述第一图像之后的一个图像。

9.如权利要求1所述的图像噪声除去装置，

所述图像噪声除去装置还具备空间混合部，该空间混合部通过针对所述第二图像以及所述空间噪声除去图像进行基于所述可靠性的加权求和运算处理，来生成空间混合图像，

所述时间混合部，进一步，通过针对所述空间混合图像以及除去了所述第一图像中包含的噪声之后的第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

10.如权利要求1所述的图像噪声除去装置，

所述可靠性算出部，在所述第二图像中包含的像素的运动越小的情况下，就将所述可靠性算成越大的值，

所述空间混合部，以所述可靠性越大，就越使所述第二图像的权重加大的方式，来进行所述加权求和运算处理，

所述时间混合部，以所述可靠性越大，就越使所述第一噪声除去图像的权重加大的方式，来进行所述加权求和运算处理。

11.一种图像噪声除去方法，用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该图像噪声除去方法包括：

空间噪声除去步骤，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；

可靠性算出步骤，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及

时间混合步骤，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。

12.一种程序，用于使计算机执行权利要求11所述的图像噪声除去方法。

13.一种集成电路，用于在第一图像的噪声除去之后，对第二图像中所包含的噪声进行除去，该集成电路具备：

空间噪声除去部，通过利用所述第二图像中包含的像素值，进行用于除去所述第二图像中包含的噪声的运算，来生成空间噪声除去图像；

可靠性算出部，根据所述空间噪声除去图像、所述第二图像、以及除去了所述第一图像的噪声之后的第一噪声除去图像，算出关于所述第二图像中的运动的可靠性；以及

时间混合部，通过针对所述第二图像以及所述第一噪声除去图像，进行基于所述可靠性的加权求和运算处理，来除去所述第二图像中包含的噪声。