CN101536031B - 用于基于像素的自适应滤波的自动参数估计 - Google Patents

Abstract

本发明提供了一种特定的自动参数估计方法和设备，根据一个或多个用户控制的高等级滤波参数来对低等级滤波参数进行估计。所述高等级滤波参数是强度和质量，其中，强度指示了执行噪声减小的程度；质量指示了控制滤波均匀性和细节丢失之间平衡的容限。所估计的低等级滤波参数包括：从中选择候选像素的空间邻近区域和/或时间邻近区域的大小、以及用于验证空间或时间预测的候选像素的“良好性”的阈值。更具体地，访问(902)用于对数字图像数据进行滤波的准则；以及确定(904)用于对数字图像数据进行滤波的参数的值，所述值是基于所述值是否导致数字图像的至少一部分满足所述准则来确定的。

Description

用于基于像素的自适应滤波的自动参数估计

技术领域

本公开涉及视频滤波。更具体地，至少一种实现方式涉及用于基于像素的白适应空时滤波的自动参数估计。

背景技术

减小视频噪声的滤波器被广泛应用于后期制作和视频压缩环境中。前者往往要求滤波器保留尽可能多的细节，因此倾向于使用可能导致图像上不均匀噪声去除的非常保守的设置。后者往往要求较高的滤波强度(即使丢失一些细节)，这是因为其目的是要减小视频中的信息量，从而提高压缩效率(即降低比特率)。各种应用设法实现不均匀噪声去除和细节丢失之间的平衡。

发明内容

根据一个总体方面，访问用于对数字图像数据进行滤波的准则，并确定用于对数字图像数据进行滤波的参数的值，所述值是基于所述值是否导致数字图像中的至少一部分满足所述准则来确定的。

根据另一总体方面，使用滤波器对数字图像进行滤波，所述滤波器包括参数，所述参数的值是基于所述值是否导致数字图像中的一部分满足用户提供的准则来确定的。

在下面的附图和描述中，将阐述一个或更多实现方式的细节。即使以一种特定方式来描述实现方式，也应当清楚，可以以各种方式配置或实施该实现方式。例如，可以将实现方式执行为方法，或实施为被配置以执行一组操作的设备或存储用于执行一组操作的指令的设备。通过以下结合附图来考虑的详细描述和权利要求，其他的方面和特征将变得显而易见。然而，应当理解，附图的目的只是示意，而不是本原理的范围的限定。还应理解，这些图表不必需按比例绘制，除非特别指出，否则其仅意在从概念上举例说明特定的结构和过程。

附图说明

图1是基于像素的自适应空间-时间视频噪声滤波***的实现方式的方框图。

图2是实现方式中由图1的源所提供的内容的方框图。

图3示出了图1中的处理设备的实现方式的方框图。

图4是示出了使用图1中的***来执行的视频噪声滤波方法的实现方式的流程图。

图5是用于确定良好候选像素的小块测量的实现方式的示意图。

图6是示出了空间候选像素的选择的实现方式示意图。

图7是示出了基于像素的自适应视频噪声滤波方法的实现方式的流程图。

图8是示出了在像素p的空间滤波中的空间邻近候选像素的5×5方格的实现方式的示意图。

图9是示出了自动阈值估计的实现方式的流程图。

图10是示出了自动阈值估计的另一实现方式的流程图。

图11是示出了自动阈值估计的又一实现方式的流程图。

图12是示出自动阈值估计的实现方式的流程图。

图13是图1的处理设备的实现方式的方框图。

具体实施方式

例如，这里所描述的是一种视频滤波方法，解决与视频噪声去除相关联的两个主要问题：(a)内容细节的丢失和(b)滤波伪像(artifact)，即在如不均匀噪声去除之类的滤波过程中引入的伪像。现有的***中，像素级的空间和时间滤波之间缺乏交互，导致滤波强度在像素之间存在差异，从而导致了由不均匀滤波引起的后滤波伪像的可能性。一些挑战包括，设计能够在噪声减少量和导致的图像质量损失之间提供良好折衷的噪声减小滤波器，以及提供控制这种折衷的对用户友好的方法。

可以通过提供空间和时间滤波之间的显式交互来解决这些问题。这种显式交互是通过在像素级组合空间和时间滤波来实现的，同时继续对视频中的所有像素施加均匀量的噪声减小，并同时尽可能多地保留细节。这是通过将每个像素与在时间和空间上预测的恒定数目的像素进行平均来进行的。将每个像素与恒定数目的其他像素来进行平均，在存在如高斯噪声之类的加性噪声的情况下可能特别有优势，在存在其他类型噪声的情况下也同样适用。通过对视频中的所有像素施加均匀量的噪声减小，减少或避免了后滤波伪像。因此，在像素级对空间和时间滤波进行组合。相对于已知***，这提供了显著的优势，已知***：1)不存在像素级的空间和时间滤波的显式交互，或2)在像素级进行空间或时间滤波的切换。

滤波的“质量”依赖于许多参数，具体地：1)用于验证空间或时间预测的候选像素的“良好性(goodness)”的阈值；2)从中获得空间候选像素的空间邻近区域的大小(半径)；以及3)从中获得时间候选像素的时间邻近区域的大小(半径)。一个问题在于，这些阈值和半径必须手动规定，用户必须使用费时的反复试验方法来获得产生良好滤波质量的参数。例如，本原理通过提供一种基于更高等级用户规范自动地估计这些参数的方法和***来解决这一问题，所述更高等级用户规范理解更加直观，并独立于内容进行处理。

根据实现方式，本原理的至少一个方法以迭代的方式工作：(1)允许用户输入两个简单输入；(2)创建相应的滤波器；(3)对一个或多个数字图像应用该滤波器；(4)允许用户查看输出；以及(5)如果用户不喜欢该输出，则重复步骤1-4，以使用户可以改变两个简单输入。这样的***向需要对数据进行滤波的用户提供了显著优势。如果***要求用户执行过多变量之间的折衷，则该***对于用户来说变得复杂而且费时。通过以少量输入变量为目标，并且以智能的方式选择这些变量(如通过选择以已知和有用的方式进行交互的“强度”和“容限”)，提供了一种***，允许用户更快速并容易地设计出适合于需要滤波的数据的滤波器。

如上所述，两个输入是“强度”和“质量”(例如用于滤波的容限百分比)。如本公开所使用的，滤波“强度”规定执行噪声减小的程度(即滤波器强度越高，噪声减小程度越高)；“质量”是指控制滤波均匀性和细节丢失的容限度量(即容限越高，均匀性和细节丢失越低)。

根据另一实现方式，本原理能够允许用户提供一种输入(即“强度”或“质量”)。在这种实现方式中，基于针对所选输入的用户输入，(非用户所选的)其他输入将默认为预定值。响应于单个用户输入，可以提供查找表(LUT)或其他存储数据库，该查找表或其他存储数据提供预定值。例如，用户可以规定强度，容限可以默认为0％。

这里所述的至少一个实现方式提供了一种滤波器设计方法，该方法自动估计滤波器参数，同时保持对这种滤波产生的强度/质量折衷的对用户友好的控制。这是一种解决这里所述的至少一些技术问题的技术方案。所提供的各种技术优势包括：简化的滤波器产生、对强度/质量折衷的更精确控制、以及使用少量时间和处理来产生滤波器。

图1-8提供了根据本原理的一个方面的基于像素的自适应空间-时间滤波器的描述。图9示出了根据本原理的自动阈值估计方法的实现方式的流程图。例如，图9的方法允许针对图1-8中所述的示例性滤波处理的相应低级参数进行估计。然而，本领域的技术人员将认识到，图9的方法能够用于其他图像滤波环境和应用中，并显然不限于这里所公开的示例性空间-时间滤波。

在图1-8所示的示例中，滤波“强度”典型地与用于对每个像素进行滤波的候选像素的数目最相关，滤波“容限”可以规定滤波强度降低的像素的最大百分比。图1给出了***100的方框图。视频信息的源102向处理设备104提供输入。处理设备104进行基于像素的自适应空间-时间视频噪声滤波处理，并将结果输出给发射机和/或存储设备106以进行发送或存储。在所示的实现方式中，显示器108从发射机106接收噪声滤波后的视频信息，并进行操作以显示该视频信息。本领域技术人员可以意识到，显示器108可以被其他设备所替代。例如，接收机，如存储器，可以适于接收滤波后的视频，并可选地，将该视频传送给其他视频处理设备。

图2示出了由源102提供给处理设备104的一些源内容200的示例示意图。这些内容是基于时间产生的，并且可能采取在特定时刻t的帧和基于附近时刻(例如t-1，t+1)的帧的形式。每一帧包含像素集合，其中，各像素使用其在帧中的空间位置(x，y)作为索引。

图3是处理设备104的实现方式300的方框图。处理设备300的输入是源视频，输出是滤波后的视频。图3所示的实现方式可以对源视频中的一个或多个像素进行各种处理，产生这些像素中的每个像素的替代值(即滤波后的值)。将对其确定替代值的像素(或者换言之，正在被滤波的像素)称为当前像素，从中提取出当前像素的帧称为当前帧。对每一个当前像素，选择器110从一个或多个参考帧中选择候选像素集合。在一种实现方式中，参考帧是当前帧周围的帧，也可以包含当前帧本身。选择器110也可以选择当前像素。评估器112确定候选像素集合中每个像素的良好性值或质量度量。根据各种实现方式，可以使用以下方式来计算良好性值或质量度量，例如：1)像素与所选候选像素之间的色差；2)像素周围M×N块与候选像素周围M×N块之间的绝对差的均值(MAD)；或者3)与当前像素的距离。

集合控制单元114基于对评估器112的结果应用的一种或多种准则来确定当前像素的对应像素集合。这些准则可以确定：1)以预定顺序来考虑，候选集合中的一个或多个像素是否应当包括在对应集合中；和2)何时停止将候选集合中的像素包括在对应集合中。对于一种实现方式，用于停止将候选集合中的像素包括在对应集合中的准则按优先级顺序依次为：A)对应集合中已经包括了预定数目的像素，或B)已经考虑过了候选集合中的所有像素。确定单元116基于对应集合中的像素的值来确定当前像素的替代值。

可选地，处理设备300中包括用户输入单元118，图3中使用虚线框来表示用户输入单元118以指示它是可选的。举例来说，用户输入单元118可以用于允许用户输入停止准则，如N值，其中N可以是当前像素的对应像素集合中包括的像素数目。如图3所示，用户输入单元118可以耦合至集合控制单元114，或者(直接或间接地)耦合至一个或多个其他组件。在各种实现方式中，例如，N值可以固定在软件或硬件中而不允许用户调整。

图4示出了根据一种实现方式的处理过程的流程图400。访问402源视频的目标数字图像并选择当前像素。本实现方式的源视频可能包括一个或多个各种不同的视频源。对从目标图像中选择的至少一个像素执行接下来的操作404-412。对所选的当前像素，从一个或多个参考帧(可能包括或不包括当前帧)中选择404候选像素集合。一旦选择了候选像素集合，则计算每个候选像素的一个或多个良好性值(或质量度量)(406)。此时，基于一个或多个准则来确定当前像素的对应像素集合(408)。该准则可能包括例如良好性值是否满足阈值。操作408可以按预定顺序来考虑候选集合中的一个或多个像素。

然后，确定是否满足停止准则(410)。再次说明，如上所述，停止准则可以是例如：A)对应集合中已经包括了预定数目的像素，或者B)已经考虑过了候选集合中的所有像素。一旦满足了该停止准则，则基于对应集合中的像素的值来确定当前像素的替代值(412)。

参见图5，显示了两个相邻帧610和620，如图所示，其各自具有3×3的像素小块630和640。按照一种实现方式，基于小块的“良好性值”测量首先计算两个小块内对应像素的绝对差，然后对这些绝对差求平均来形成绝对差的均值(MAD)。在这种实现方式中，如果这两个小块中的像素之间的MAD小于预定阈值，则时间预测像素pred[j]被认为是“良好”。本领域技术人员可以意识到，实际上，该阈值可能被分为两个阈值，一个针对像素的亮度分量的MSD，一个针对像素的色度分量的MAD。重要的是，应注意以下内容：1)这些帧不必是相邻的(虽然图5中所示的是相邻的)；以及2)这两帧中像素的(x，y)位置不必相同。本领域技术人员知晓多种方式来选择小块和阈值。

图6是示出了帧710的示意图，帧710具有当前像素(x，y)和被选择为“良好”的空间候选像素(即空间邻近区域中“通过”空间滤波的良好性准则的像素)的像素集合720。例如，一种判决准则是当前像素和候选像素的值之间的差值，可以将该差值与阈值相比较。如果图5和图6表示通过时间(图5)和空间(图6)域的良好性测试的像素集合，则N等于7，反映了1个时间像素，5个空间像素和目标像素。

图7示出了根据一种实现方式的自适应空间-时间视频噪声滤波的过程500的流程图。为了对输入视频帧中的每个像素p进行滤波，过程500的目标就是要找到N个“良好”候选像素，用于与p(在本实现方式中包括其本身)的平均，其中N是贯穿滤波过程500的全局常数。将这些“良好”候选像素放入平均值集合A_p＝{p，c_i；i＝1，...，M}，其中M≤N-1，并且当有足够的“良好”候选像素不可用时允许M＜N-1。然后，该滤波过程包括使用A_p中元素的平均值来替换p。注意，尽管实现方式并不需要分别执行平均，但是这里使用的短语“平均像素”指的是分别对像素的亮度和色度分量值(例如，Y，U和V)进行平均。对于确实要对分量分别执行平均的实现方式，典型地或必要地，也要对分量分别执行各种其他操作(或甚至整个过程)。

在过程500中，可以从时间或者空间域中选择N个“良好”候选像素。按照一种实现方式，由于时间滤波模糊视觉细节的可能性较低，因此首先在时间域中寻找N个“良好”候选像素。如图7所示，过程500包括三个主要方面：时间候选像素的选择550；空间候选像素的选择560；以及通过对所选候选像素进行平均来进行滤波570。过程500使用从时间和/或空间域中选择的候选像素对每一个像素进行滤波。这与各种现有技术方法的方法相反，在现有技术方法中，一次对整个帧进行空间或时间滤波，并将结果进行组合来形成滤波后的帧。

参考图7所示的示例，时间候选像素的选择550首先包括估计像素p从当前帧到n个参考帧的运动。如图所示，使用输入帧中的像素p来对平均值集合A_p＝{p}进行初始化(502)。执行对参考帧j＝1，...，n的循环(504)，并且根据参考帧j来产生基于运动的预测像素pred[j](506)。此后，依次将每一个时间预测的像素pred[j](从第j个参考帧起)考虑为A_p的候选像素(508)。如果确定是“良好”预测像素(即符合质量度量准则)，则将其添加至集合A_p(510)。在选择时间候选像素的过程中，如果在512处|A_p|＝N(即A_p中元素的数目等于N)，则寻找候选像素的过程终止，并转移至滤波步骤570。

如果在从时间域中选择候选像素之后|A_p|＜N，则对j的循环结束(514)，并且开始在空间域中寻找候选像素。如图8所示，一种可能性是，考虑在p的b×b邻近区域中的所有像素。本领域技术人员知晓选择邻近区域大小的各种技术。在循环k＝1，...，m中，我们考虑空间邻近像素(516)的顺序由候选像素与p的邻近性来确定。如果候选邻近像素被确定为“良好”(518)，则将其添加至A_p。如果在扫描空间候选像素时|A_p|＝N(522)，或者已经扫描了所有候选像素，则我们继续至滤波步骤570的处理。

最终，在滤波步骤570中，使用A_p中元素的平均值(526)来替代像素p，该过程转移至要滤波的下一像素。替代平均的其他操作，或除平均之外的其他操作也可以用于确定像素p的替代值。更一般地，一种实现方式可以基于A_p中的像素的值来确定替代值，包括但不限于这些值的平均值。应当清楚，虽然对于目标数字图像中的每个像素，数值N典型地保持为常数，但是，对于目标数字图像中的每个像素，N个像素的相对位置可以改变。

图8示出了对当前像素p周围的候选像素集合的一种编号方式800。这种编号方式800基于与当前像素p的空间距离，或与当前像素p的空间邻近性来向邻近像素分配编号。标记为“1”的四个像素与p具有相同距离，并且都是离p最近的。标记为“2”的四个像素与p具有相同距离，并且都是离p第二近的。标记为“3”的四个像素与p具有相同距离，并且都是离p第三近的。标记为“4”的四个像素与p具有相同距离，并且都是离p第四近的。标记为“5”的四个像素与p具有相同距离，并且都是离p第五近的。编号方式800可以用于确定在建立p的对应像素集合时先测试哪些像素。例如，一种实现方式是先考虑所有“1”像素，然后是所有“2”像素，然后是所有“3”像素，然后是所有“4”像素，然后是所有“5”像素，直到对应集合具有N个像素为止。这与如从左到右、从上到下之类的光栅顺序来考虑所有像素相反。

图8中的“距离”方法也可以适用于其他帧内的时间候选像素。一种实现方式使用“时间距离”而不是图8中的空间距离，在使用帧的实现方式中，可以使用“帧距离”来替代“时间距离”。例如，对于帧j中的当前像素p，一种实现方式是首先考虑pred[j-1](对帧j-1中的p的预测)，然后是pred[j+1]，然后是pred[j-2]，然后是pred[j+2]等等，以帧距离递增的方式来进行。

实现方式可以在考虑在时间域中对候选像素进行评估之前(或不在时间域中对候选像素进行评估)，在空间域中对候选像素进行评估。也可以采用其他域。这样的其他域可以包括例如变换域(例如傅里叶域，小波域)，和从相同图像的分离的记录中获取的域。例如，在涉及从胶片卷轴获取视频的一种实现方式中，从不同胶片卷轴数字化而得到的相同视频中提取域。如果另一胶片卷轴具有与第一胶片卷轴相似的胶片颗粒(更一般地而言是噪声)特性，则该其他胶片卷轴可能尤其有用。

实现方式可以包括对各种源或输入中的一个或多个进行滤波，这样的源例如包括视频或静止图像。

“N”的选择可以基于需要去除的噪声量。例如对不同的帧(例如，可以对覆盖场景的给定帧序列来设置N)，对一帧内的不同区域，和对不同的分量或分离(例如，亮度和色度可以有不同的“N”，或者如R、G、B或Y、U、V之类的不同颜色分离也可以有不同的“N”值)，“N”可以变化。

此外，用户可以根据经验来选择N，在一种实现中，可以允许用户使用用户接口来输入N值。该用户接口可能包括例如：机械设备(例如开关或者旋钮)、计算机设备(例如键盘或鼠标，可能与所选值的下拉菜单或显示相结合)、或语音输入***。

用户可以为对应像素集合的大小选择一个或多个值。例如，这一个或多个值可以是具有封闭或开放端点的范围。示例包括：(i)N加或减X、(ii)大于N、以及(iii)小于N，其中N和X都是固定的。在该大小被选择为(或者硬编码为)“大于N”的各种实现方式中，只要对应集合中有N个像素，则认为该对应集合已经完成。对于具有对应像素集合中可以包括的像素数目的最大值的各种实现方式，用户可以选择(或者***可以硬编码)对应像素集合中可以包括的像素数目的预定最大数目。

许多实现方式使用预定阈值来确定对应像素集合中要包括多少像素。根据实现方式和预定阈值的使用，预定阈值可以涉及预定最小或预定最大值。在各种实现方式中，预定阈值可以用作停止点。

良好性或质量度量可以变化。此外，上述MAD可以用于空间域，而上述的像素差值可以用于时间域。

实现方式不需要进行运动估计。例如在确定pred[j]时，这种实现方式可以假设零运动。

根据另一实现方式，确定对应像素集合包括：从参考图像集合中的候选像素集合中选择像素；计算所选的候选像素的质量度量；如果该质量度量满足一个或多个预定准则，则将该候选像素添加至对应像素集合中；以及重复所述选择、计算和添加，直到满足一个或多个停止准则为止。

根据各种实现方式，质量度量可以是例如：1)像素与所选候选像素之间的色差；2)像素周围M×N块与候选像素周围M×N块之间的绝对差的均值；或者3)与当前像素的距离。

在另一实现方式中，计算替代值可以包括：1)将对应像素集合中的像素的值进行平均；和/或2)对应像素集合中像素的值的加权平均。在这种实现方式中，基于每个像素的质量度量值，对对应像素集合中的像素进行加权。确定单元执行的平均可以对像素的Y、U和V值(或其他颜色分离)分别进行。

在另一实现方式中，独立地对每个像素的每个颜色分量进行处理，并将对应像素集合中像素数目用作停止准则。

在又一实现方式中，一种用于对视频进行滤波的设备包括：选择器，用于为目标数字图像中的多个像素中的每个像素选择对应像素集合中可能包括的像素；评估器，用于计算所选像素的良好性值；集合控制单元，基于所计算的良好性值来为多个像素中至少一个像素确定对应像素集合；确定单元，基于对应像素集合中的像素的值来确定多个像素中的每个像素的对应替代值。

根据其他一些实现方式，所选的像素包含在一幅或多幅数字图像中，所述一幅或多幅数字图像可能包括目标数字图像。集合控制单元也可以基于预定准则来确定对应集合。用于集合控制单元的预定准则包括：以预定顺序来考虑，候选集合中的一个或多个像素是否应当包括在对应集合中。此外，控制单元还包括用于停止像素处理的停止准则。在一种实现方式中，该停止准则包括：确定对应集合中是否已经包括了预定数目的像素。在另一实现方式中，停止准则包括确定是否已经考虑过了候选集合中的所有像素。

在另一实现方式中，集合控制单元控制对应集合的大小，使得除非在包括N个像素之前满足停止准则，否则每个对应集合包括N个像素。在又一实现方式中，一个对应集合(与一个像素相对应)中N个像素的位置与另一对应集合(与另一像素相对应)中的N个像素的位置不同。

集合控制单元对对应像素集合的选择可以包括多种域中的像素。另外，例如，可以按距离螺旋式递增的顺序来进行像素选择。这个距离可以是例如空间域中的空间距离和/或时间域中的距离，例如参考图8所描述的顺序。

如本领域的技术人员将理解的是，图7中公开的方法500已被证明对去除噪声十分有效，同时保留细节并避免引入伪像。然而，这种方法需要手动设置特定参数，如空间和时间邻近区域大小和用于验证候选像素“良好性”的阈值。如上所述，对于没有经验的用户，这种手动选择可能需要反复试验过程来获得产生期望的滤波“强度”和滤波“质量”的参数值。此外，典型地，每次处理不同的剪辑时，甚至要求有经验的用户手动地调整滤波设置，这是由于，根据剪辑的特性，通常需要不同的滤波参数来实现相同的滤波“强度”和滤波“质量”。

本原理还提出了各种实现方式，以基于两种直观(高等级)的用户规定的参数：滤波“强度”和“质量”(即不充分滤波的容限)，来自动估计用于验证良好性的阈值。滤波强度规定了要执行的噪声减小的程度，而滤波质量控制滤波均匀性和细节丢失之间的平衡(即容限越高，均匀性和细节丢失越低)。对于图1-8的滤波器实现方式，滤波强度典型地与用于对每个像素进行滤波的候选像素数目N最相关，滤波“质量”或容限可以规定，例如可以滤波强度可以减小(即不需要实现该滤波强度)的像素的最大百分比。

例如，为了将自动阈值和半径估计引导向对期望的滤波行为的参数进行估计，使用两个高等级参数。在以下的实现方式中，“强度”是指滤波强度，特别是在对每个像素进行滤波时要平均的候选像素的期望数目，即N。对每个像素的越多候选像素求平均，则“强度”越大或噪声去除越大。“质量”是指，不充分滤波的像素(即不具有至少N个候选像素与其进行平均的像素)的可接受的百分比(即容限百分比水平)，称作“α”。例如，α＝5％表示应当尝试选择阈值，以使仅5％的像素不充分滤波。容限越低促使阈值越高，从而以可能模糊细节为代价来使更多像素充分滤波。通过允许更多像素被较少地滤波，较高的容限通常更容易保持精细的细节(即一般不会那样严重地破坏精细的细节)。

以下提供了用于估计空间和时间邻近区域大小的示例。本领域的技术人员将认识到，在不背离本原理的精神的前提下，可以利用估计空间和时间邻近区域大小的其他方法。

空间邻近区域大小估计

序列中的像素表示为p(x，y，t)，其中，x和y是空间坐标，t是帧(时间)索引。像素p的空间邻近区域是在p周围方形窗口中所有像素的集合。数学上，如下给出p(x，y，t)的空间邻近区域：

$N_r^S\left(p(x,y,t)\right)=\{p(x+i,y+j,t);i=\±1,...,\±r;j=\±1,...,\±r\}$

r值称作邻近区域半径。则该邻近区域被称作p的r-邻近区域。

在示例性实现方式中，如下估计空间邻近区域的大小。给定滤波强度N，选择最小正整数r，以使邻近区域包含至少2N个像素，即(其中，

表示向上取整运算符)。这确保了在邻近区域中存在足够的候选像素，以从中选择N个“良好”的候选像素。如果期望的亮度和色度滤波强度N_Y和N_C不同，则对应的半径r_Y和r_C也可以不同。注意，当“r”是整数时，不需要向上取整运算符。

在估计r时，不同的实现方式可以使用不同的限制，以允许更大的窗口大小(3N、4N等)，或更小的窗口大小(N，或甚至更小)。例如当处理非常高分辨率的图像时，可以使用更大的窗口；例如，可以使用更小的窗口以减小计算代价。

时间邻近区域大小估计

可以以类似的方式来估计时间邻近区域的大小。在时刻t处的帧中的像素p的时间邻近区域是时刻t周围的帧中位于相同位置的像素的集合。数学上，如下给出p(x，y，t)的时间邻近区域：

$N_r^T\left(p(x,y,t)\right)=\{p(x,y,t+k);k=\±1,...,\±r\}$

在示例性实现方式中，如下估计时间邻近区域的大小。给定滤波强度N，选择最小正整数r，以使邻近区域至少包含N个像素，即

(其中

表示向上取整操作符)。这确保了在邻近区域中存在足够的候选像素，以从中选择N个“良好”的候选像素。注意，当“r”是整数时，不需要向上取整操作符。

在空间邻近区域的情况下，在估计r时，不同的应用可以使用不同的限制。当限定p的时间邻近区域时，还可以使用运动补偿的像素来代替位于相同位置的像素。此外，在各种实现方式中，时间邻近区域包括其他帧中位于相同位置的像素周围的像素。另一种实现方式使用多种不同算法来估计运动，并且在时间邻近区域中包括所产生的各种运动估计。

图9示出了方法900的流程图，方法900用于对期望的滤波行为的参数进行自动估计。首先访问对数字图像数据进行滤波的准则(902)。这里的准则是滤波器设计准则(例如“质量”和/或“强度”)，通常以直接用户输入的形式由用户提供。该用户输入可以是主动提供的，或者在***初始化时由***向用户询问。

然而，准则的“访问”不仅来自用户输入，而且可选地由将值/变量返回的软件过程来提供，或者可以采用从缓冲器或其他存储器位置(根据应用，常驻或非常驻存储器)中检索准则的形式。“访问”是较宽的术语，例如包括，各种方式的获得、检索、接收、操作或处理。

一旦访问了用于滤波的准则，***确定用于对数字图像进行滤波的参数值(例如阈值)(904)。这种确定是基于：所确定的值是否导致数字图像的至少一部分满足所访问的准则。

图10示出了另一实现方式(方法1000)的流程图，方法1000用于对期望的滤波行为的参数进行自动估计。首先，访问(1002)或提供数字图像。对图像的像素值进行评估(1004)，并基于所述评估来选择(1006)数字图像的一部分。一旦选择了数字图像的一部分，则访问用于对数字图像进行滤波的准则(1008)。根据先前的实现方式，一旦访问了准则，则确定用于对数字图像进行滤波的参数值(1010)。所确定的值是使数字图像的所选部分满足所访问的准则的值。

图11示出了另一实现方式(方法1100)的流程图，方法1100用于对期望的滤波行为的参数进行自动估计。根据图10的实现方式，访问数字图像(1102)，评估图像的像素值(1104)。基于所述评估来选择数字图像的一部分(1106)。一旦进行了选择，则访问用于对数字图像数据进行滤波的一个或多个准则(1108)。一旦访问了一个或多个准则，则确定用于滤波的参数值(1110)，所述确定是基于：所述值是否将使数字图像的所选部分满足一个或多个所访问的准则。然后，使用所确定的参数值对图像进行滤波(1112)。

根据一个实现方式，对每个颜色分量估计三个参数：1)从中获得空间候选像素的空间邻近区域(r^S)的大小；2)从中获得时间候选像素的时间邻近区域(r^T)的大小；以及3)用于检验空间或时间预测的候选像素的“良好性”的阈值(T)。在一个示例性实现方式中，联合处理两个色度分量，总共要估计六个参数：空间邻近区域的亮度和色度邻近区域半径(r^S _Y，r^S _C)，时间邻近区域的亮度和色度邻近区域半径(r^T _Y，r^T _C)，亮度和色度阈值(T_Y，T_C)。在这种情况下，针对亮度(Y)和色度(U，V)分量分别估计参数。其他实现方式分别处理U、V和Y，产生九个参数。又一实现方式一起处理U、V和Y，产生三个参数。

参考图12，图12示出了方法1200的流程图，方法1200用于对期望的滤波行为的参数进行自动估计。通常将该方法分别应用于序列的亮度和色度分量。对于本示例，假设对亮度分量进行操作。

以下描述提供了对方法1200的概括。为了确定亮度阈值，该实现方式选择一组像素(典型地从包括目标数字图像在内的若干不同图像)。可以从例如整个场景、视频的(例如)前十帧、或视频的每一百帧中的一帧中提取这组像素。优选地，所选像素具有非常类似的像素值(例如蓝天)，所选的像素组被称作均质(homogeneous)区域。假设均质区域中的像素表示目标数字图像，或者至少表示目标数字图像中的噪声。因此，如果开发对该均质区域有效的阈值，则假设该阈值对目标数字图像有效。对于该均质区域，在该区域中检查每个像素，并且确定最小阈值，对于该阈值，该区域中不多于百分之“alpha”的像素不能使至少“N”个像素满足该阈值。这就是说，区域中至少百分之100-“alpha”的像素分别具有“N”个其他像素，所述至少百分之100-“alpha”像素自身的像素值与这N个其他像素的像素值之间的差值在阈值之内。一旦确定了阈值(基于强度和质量的输入)，则滤波器可以对实际目标数据进行操作。

再次参考方法1200，首先，接收(或更一般地，访问)视频帧。根据该视频帧，检测B×B像素固定大小的至多M个均质块。均质块是(在减去均值之后)仅包含要去除的噪声图案的块。可以从外部存储源提供包括块大小B在内的均质性参数(1203)。检测均质块的一种方式是，首先对序列应用光空间滤波器(例如平均滤波器)以去除一些噪声。然后，扫描所有B×B块(例如无论是否重叠)，并保留方差小于阈值T_homog的那些块。可以为***预先设置值M、B和T_homog。

作为示例，令集合H包含所检测的均质块中的所有像素。现在按顺序考虑(1204)所有可能的阈值，u＝1，...，256，其中，u是阈值的当前值。一旦进行了考虑，则执行所有均质块中所有像素p的循环(1206)。然后计算p与其r-邻近区域中的像素的绝对差(1208)。r-邻近区域(空间邻近区域)用于减小处理复杂度和时间。其他实现方式(或可选地)还考虑时间邻近区域，但是这典型地需要估计运动，而估计运动可能要求较多时间和处理器资源。

从外部源(如用户输入、或基于其他用户输入的计算机产生的输入)可以提供空间邻近区域半径r(1209)。在一个实现方式中，如前所述地计算邻近区域半径，然后将半径值输入阈值估计方法来产生相应参数。当用户基于一些计算上的考虑来设置半径时，此后将半径输入阈值估计过程。在本示例中，半径被示作方形(图8)，然而，本领域的技术人员将认识到，空间邻近区域的结构可以是除了方形以外的其他形状。例如，空间邻近区域的结构可以是圆形邻近区域。相应地，限定邻近区域大小的参数可以变化。对于每个像素p∈H，在操作1210中，确定满足约束条件|p_Y-q_Y|＜u的邻近像素 $q\∈N_{r_Y}\left(p\right)$ (即可用的候选像素)的数目n_p，u(其中，下标Y是指像素的亮度或Y值)。然后循环p结束(1212)。

在扫描所有像素p∈H之后，下一操作(1214)是确定(例如，通过计算)H中不充分滤波(即具有小于N个可用候选像素)的像素p的百分比y。N是用于平均的候选像素的期望数目，并且可以由用户输入来提供(1215)。在其他实现方式中，响应于其他用户输入(例如用户可以输入较高用户等级格式的期望分辨率，例如720i、1080i或1080p)，可以自动产生用于平均的候选像素的期望数目N。作为示例，一种方法是使用用户设置和对应N之间的查找表(LUT)。在该示例实现方式中，用户可以规定所使用的电影胶片，并且LUT可以提供适当的N以减少胶片颗粒。

如果y≤α(1216)，则过程1200终止，将亮度阈值T_Y设置成u(1218)。否则，u增加1，并且在操作1204处，再次开始以相同的方式评估新阈值u+1。如上所述，在操作1217处，不充分滤波的像素的可容许百分比α是由用户输入的“质量”等级。

注意，过程1200产生一个或多个阈值。较早的实现方式规定使用三种参数：空间半径、时间半径和一个或多个阈值。如上所述，基于N，在那些实现方式中计算两个半径。相应地，在执行过程1200之后，所有参数可用于滤波器的设计和应用。

除了阈值约束条件的评估，针对色度分量的过程是相同的。这里，如果存在至少N个邻近像素 $q\∈N_{r_C}\left(p\right),$ 则认为像素p充分滤波，从而p的两个色度值的绝对差均小于u(即|p_U-q_U|＜u和|p_V-q_V|＜u)。这里，下标U和V是指像素的色度值(U和V)。在不同的实现方式中，独立地处理每个色度分量。根据其他实现方式，通过独立地处理U和V分量，将色度阈值T_C分成两个阈值T_U和T_V。

注意，在一种实现方式中，将(例如)由过程1200确定的参数，应用至滤波器，将该滤波器应用至目标数据。如果均质区域表示目标数据，则期望能够满足强度和质量准则，但是这并不必需保证满足。然而，其他实现方式确实保证这种满足，并修改参数以满足阈值。

图13示出了图1的处理设备104的实现方式1300的方框图。准则输入接收机1302从用户输入设备1304接收用户规定的准则。准则输入接收机1302被配置为访问准则，并可以包括例如被编程用于检索用户提供的输入准则的处理器。用户输入设备1304可以是例如耦合至应用程序的键盘或鼠标，应用程序允许用户通过使用键盘或鼠标来提供输入。

准则输入接收机1302向参数值确定单元1306发送源视频和接收的规定准则。参数值确定单元1306基于接收的准则来确定(例如通过计算)一个或多个相应参数值，并输出所确定的应用于滤波器的参数值。例如，参数值确定单元1306可以根据方法1200来进行操作，以确定参数值。如过程1200中所讨论的，一个参数值是阈值。

其他实现方式允许用户对Y、U和/或V分量规定不同的准则。在一种实现方式中，强度和质量准则对于亮度分量比色度分量更为严格。应用还可以提供多于两个准则。

另外，实现方式例如通过确定视频中每个场景的不同参数，可以设计针对输入视频各个部分的不同的滤波器(确定不同的参数)。由于噪声和噪声百分比可以基于如强度之类的因素而变化，因此这是尤为有用的。例如，胶片颗粒和摄像机噪声典型地基于强度而变化。此外，典型地，与高或低的强度相反，人眼在中等强度下观察到更多噪声。

本领域的技术人员将认识到，可以在视频传送***的编码器或解码器侧实现图13的处理器配置和本原理的对应方法。在一种实现方式中，在编码器侧，滤波器参数与视频一起发送，以使解码器可以在无需包括用于确定滤波器参数的处理能力的情况下，对接收的数据进行滤波。在一种实现方式中，在解码器侧，视频源是接收到的视频传送(没有预先确定的滤波器参数)。在又一实现方式中，在编码器侧确定滤波器参数，在编码、分发、传送和/或存储之前，在编码器侧应用滤波器来减小噪声(例如由摄像机镜头上的灰尘导致的斑点)。此外，或可选地，可以在解码器侧确定滤波器参数，并且可以在解码器侧应用滤波器。

以上描述的实现方式包括例如各种***和处理过程。实现方式可以包括被配置为执行一个或多个过程的一个或多个设备。设备可以包括例如离散的或集成的硬件、固件和软件。设备可以包括例如处理器，一般将其称为处理设备，包括例如：微处理器、集成电路或可编程逻辑设备。

设备也可以包括一个或多个计算机可读介质，所述介质具有用于执行一个或多个过程的指令。这种计算机可读介质可以包括例如：存储设备，如硬盘、光盘、随机存取存储器(“RAM”)或只读存储器(“ROM”)。计算机可读介质还可以包括例如编码或传输指令的格式化电磁波。例如，指令可以存在于硬件、固件、软件或电磁波中。指令可以在例如操作***、独立应用程序或两者的结合中找到。因此，处理器的特征可以在于例如：被配置为执行过程的设备和包括具有用于执行过程的指令的计算机可读介质的设备。

对于本领域的技术人员显而易见的是，实现方式还可以产生被格式化以携带信息的信号，例如，可以对该信息进行存储或发送。例如，该信息可以包括用于执行方法(例如过程1200)的指令，或由所述实现方式之一产生的数据(例如由过程1200确定的一个或多个参数)。

可以以例如方法或过程、设备、或软件程序来实现这里所述的实现方式。即使仅以单一实现式的情况进行讨论(例如仅作为方法进行讨论)，然而，所讨论的特征的实现方式还可以以其他形式(例如设备或程序)来实现。

应当理解，可以以各种不同形式的硬件、软件、固件、专用处理器或其结合来实现本原理。很多实现使用了硬件和软件的结合。此外，软件可以被实现为程序存储设备上明确实现的应用程序。应用程序可以被加载至包括任何适当架构的机器上并由该机器来执行。可以在拥有如一个或多个中央处理单元(CPU)、随机存取存储器(RAM)和输入/输出(I/O)接口之类的硬件的计算机平台上实现该机器。计算机平台也可以包括操作***和微指令代码。此处描述的各种过程和功能可以是在操作***上执行的微指令代码的一部分或应用程序的一部分(或其结合)。另外，各种其他***设备可以连接到该计算机平台，如额外的数据存储设备和打印设备。

还应理解，由于附图中描述的一些组成***的组件和方法步骤优选地以软件来实现，因此***组件(或处理步骤)之间的实际联系可能根据对本发明进行编程的方式而不同。由于这里的教导，相关领域中的普通技术人员能够能够想到本原理的这些和类似实现方式或配置。

尽管已经说明、描述并指出了应用至特定实现方式的基本的新颖特征，但是，可以理解的是，本领域技术人员可以对所描述方法和所示设备的形式、细节和操作进行各种省略、替换和改变。例如，很清楚，以实质上相同的方法来执行实质上相同的功能以实现相同结果的元件和/或方法操作的所有组合，都包含在本原理的范围之内。此外，应当认识到，与本原理的任何公开的形式或实现方式相结合来说明和/或描述的结构和/或元件和/或方法步骤，一般可以在任何其他公开、描述或建议的形式或实现方式中使用。此外，不同实现方式中的元件可以组合、补充、修改或去除，以产生其他实现方式。相应地，其他实现方式落入所附权利要求的范围内。

Claims (19)

1.一种用于滤波的参数估计的方法，包括：

访问(902)用于对数字图像数据进行滤波的第一准则，其中，所述第一准则指示对所述数字图像数据中的像素的滤波器强度；

访问用于对所述数字图像数据进行滤波的第二准则，其中，所述第二准则指示所述数字图像数据中具有由所述第一准则指示的滤波器强度的像素的百分比；以及

确定(904)用于对数字图像数据进行滤波的参数的值，所述值是基于所述值是否导致所述数字图像的所述数字图像数据的至少一部分满足所述第一准则和所述第二准则中的至少一个来确定的。

2.如权利要求1所述的方法，其中，确定所述值包括：确定导致数字图像数据的所述部分中的像素满足所述第一准则的值。

3.如权利要求1所述的方法，其中，访问所述第一准则包括：从用户接收所述第一准则。

4.如权利要求1所述的方法，其中，通过以下步骤来确定数字图像数据的所述部分：

访问数字图像数据；

评估所访问的数字图像数据的像素值；以及

基于所述评估，从所访问的数字图像数据中选择所述部分。

5.如权利要求4所述的方法，其中，所述评估像素值包括：确定所访问的数字图像数据的所述部分的均质性度量。

6.如权利要求4所述的方法，其中，所述评估像素值包括：确定一个或多个像素块的方差，产生一个或多个方差，所述选择所述部分包括：

将一个或多个方差与阈值进行比较；

基于所述比较来选择所述一个或多个像素块中的至少一个；以及

选择包括一个或多个所选的块中的像素在内的部分。

7.如权利要求1所述的方法，其中，所述确定所述值还包括：基于空间邻近区域的大小是否允许满足所述第一准则来确定空间邻近区域的大小。

8.如权利要求1所述的方法，其中，所述确定所述值还包括：基于时间邻近区域的大小是否允许满足所述第一准则来确定时间邻近区域的大小。

9.如权利要求1所述的方法，其中，所述确定所述值还包括：基于空间邻近区域的大小和时间邻近区域的大小是否一起允许满足所述第一准则来确定空间邻近区域的大小和时间邻近区域的大小。

10.如权利要求1所述的方法，其中，所述确定所述值还包括：

针对所述部分，确定像素差阈值的值，以使数字图像数据的所述部分满足所述第一准则和所述第二准则。

11.如权利要求1所述的方法，其中，所述第一准则指示了要用于产生能够替换给定像素的强度值的平均像素强度值的像素的数目。

12.如权利要求1所述的方法，其中，所述参数与候选像素的良好性度量的阈值相关。

13.如权利要求12所述的方法，其中，候选像素的良好性度量基于至少一个当前像素与至少一个候选像素之间的差值。

14.如权利要求1所述的方法，还包括：

使用滤波器对数字图像数据进行滤波(1112)，所述滤波器包括所确定的参数的值。

15.一种用于滤波的参数估计的设备，包括：

处理器，被配置为接收数字图像数据，所述处理器还包括：

准则输入接收机(1302)，被配置为访问用于对数字图像数据进行滤波的第一准则，其中，所述第一准则指示对所述数字图像数据中的像素的滤波器强度，并被配置为访问用于对所述数字图像数据进行滤波的第二准则，其中，所述第二准则指示所述数字图像数据中具有由所述第一准则指示的滤波器强度的像素的百分比；以及

参数确定单元(1306)，用于确定用于对所述数字图像数据进行滤波的参数的值，所述值是基于所述值是否导致所述数字图像数据的至少一部分满足所述第一准则和所述第二准则中的至

少一个来确定的。

16.如权利要求15所述的设备，其中，所确定的用于滤波的参数值包括空间邻近区域的大小、时间邻近区域的大小和用于验证候选像素良好性的阈值中的至少一项。

17.如权利要求15所述的设备，其中，将所述处理器集成入编码器中，并将所确定的参数与数字图像数据一起发送。

18.如权利要求15所述的设备，其中，将所述处理器集成入解码器中，并对接收的数字图像数据执行参数确定。

19.一种用于滤波的参数估计的设备，包括：

用于访问用于对数字图像数据进行滤波的第一准则并访问用于对所述数字图像数据进行滤波的第二准则的装置(1302)，其中，所述第一准则指示对所述数字图像数据中的像素的滤波器强度，所述第二准则指示具有由所述第一准则指示的滤波器强度的像素的百分比；以及

用于确定用于对所述数字图像数据进行滤波的参数的值的装置(1304)，所述值是基于所述值是否导致所述数字图像数据的至少一部分满足所述第一准则和所述第二准则中的至少一个来确定的。

Images