CN101416523B - 具有抗补偿伪影保护的运动补偿帧速率转换 - Google Patents

Abstract

一种出于帧速率转换的目的而在多个图像之间插值的***，可包括运动矢量插值器、运动补偿模块和保护器。运动矢量插值器可基于目标图像距多个图像的每个的时间距离将运动矢量分割为部分。运动补偿模块可基于部分运动矢量为目标图像中的像素生成至少两个运动补偿值。当运动矢量精确时，保护器可为目标图像中的像素选定运动补偿值，以及当运动矢量不精确时，保护器可选定来自多个图像之一的像素值。

Description

具有抗补偿伪影保护的运动补偿帧速率转换

背景技术

要求保护的本发明的实施例大致涉及用于在视频信息的帧之间插值的方案，而且更详细地涉及有关运动补偿的此类方案。

帧速率转换(frame rate conversion)，也可称其为时间速率转换(temporal rate conversion)、扫描速率转换或者场速率转换，可认为是在不同帧速率之间转换的技术。帧速率可定义为单位时间内所显示的帧的数量。例如，当在国际间交换视频资料时，帧速率转换将是必需的。在一个特定情况下，PAL制式的视频资料，具有每秒50场的帧速率，可能需要转换为NTSC制式，该制式具有每秒60场的帧速率。因此，为了在使用NTSC制式的美国广播以PAL制式录制的视频资料，将需要帧速率的转换。

作为制式转换的附加或备选，帧速率转换也能用于增加视频显示***中的感知质量。显示刷新率中的不同对于人眼是可感知的，并且消费者通常喜欢例如100Hz或120Hz的较高刷新率胜过由广播***支持的常规帧速率50/60Hz。在视频显示***中的帧速率转换能力可使该***的用户能够以高的帧速率和更好的感知质量观看视频资料。

为了进一步介绍帧速率转换的概念，将对照图1讨论插值示例。视频序列100可包括图像或帧的时间序列，该序列的第N-1帧110和随后的第N帧130被显示。通过例如在序列100中丢弃或不丢弃现有帧的情况下在帧110和130之间***插值帧(或“目标帧”)120，可改变序列100的帧速率。例如，如果需要当前帧速率的整数倍(例如两倍、三倍等)，则一个或多个插值帧120可在现有帧110和130之间以大概相等的时间间隔***。然而，如果需要另一个帧速率转换因子，可将插值/目标帧120***到在时间上更接近帧110和130之一处，可能伴随着在序列100中丢弃前面已存在的(pre-existing)帧。

有三种主要类型的帧速率转换方案可使用：1)帧复制/丢弃(dropping)，2)时间插值，以及3)运动补偿方案。帧复制/丢弃可能是最广泛使用的技术因为它易于实现，但是它也可能提供最差的图像质量。运动补偿方案通常被认为具有最高的图像质量，但是这类方案也典型地在实施中引入高度复杂性。作为这种复杂性的结果，运动补偿帧速率转换方案可能仅在专业设备或非常高端的电视或视频处理器中可使用。

然而，甚至如此复杂的设备仍然可能呈现来自运动补偿中的不精确的视觉伪影(visual artifacts)，例如“光晕(halo)”伪影。

附图说明

与本说明书结合且作为本说明书的一部分的附图示出了与本发明的原理相符合的一个或多个实施例，并和说明书描述一起，解释这些实施例。附图不一定按比例绘制，而重点在于示出本发明的原理。在附图中，

图1在概念上示出视频帧之间的插值；

图2示出视频显示***的一部分；

图3示出图2的***中示范的帧速率转换器；

图4示出在帧速率转换期间中确定插值的像素值的示范过程。

具体实施方式

以下的详细描述涉及附图。相同的附图标记将用在不同的附图中以标识相同或相似的部件。在以下的描述中，出于解释和非限制的目的，提出例如特定结构、体系、接口、技术等的具体细节，以便提供对所要求保护的本发明的不同方面的透彻理解。然而，对于受益于本公开的本领域技术人员而言将是显而易见的，即所要求保护的本发明的不同方面可在脱离这些具体细节的其他示例中实践。在某些情况下，公知的装置、电路和方法的描述被省略以免不必要的细节对本发明描述的干扰。

图2示出视频显示***200的一部分。***200可从任何合适的媒介接收视频信息，包括但不限于不同的发射和/或存储媒介。视频信息中的图像可包括，例如其像素中的亮度和色度值(例如，Y、U和V)，或来自任何其他合适的颜色空间的值。虽然为了易于解释而示出为单独的功能部件，***200的任何的或所有的部件可由晶体管和/或门电路(gate)的共同组合协同定位(co-located)和/或实现。此外，***200可由软件、固件、硬件或其任何合适的组合实现。

在不同的实施例中，***200可包括，或被包括于，一个或多个处理***、处理子***、处理器、计算机、装置、编码器、解码器、编/解码器(CODEC)、发射装置、娱乐***、显示器或任何其它图像处理或显示体系。实施例在本上下文中是非限制的。

图2中示出的显示***200的部分可包括缓存区210、处理器220和帧速率转换器230。输入到***200的视频数据可能已经预先从多个编码方案中的任何编码方案解码，这些编码方案包括但不限于MPEG-1、MPEG-2、MPEG-4、先进视频编码(AVC)(例如，MPEG-4，part10和ITU-T建议H.264)，Windows媒体视频9(WMV-9)和/或SMPTE’s VC-1。视频数据可格式化为电视制式，例如NTSC或PAL制式。

可设置缓存区210以存储视频数据的帧或帧的一部分。例如，缓存区210可存储序列中两个相邻帧(例如，第N-1帧110和第N帧130)或图像的至少一部分。也可设置缓存区210以当插值(或目标)帧(例如，帧120)由帧速率转换器230生成时，存储插值帧的至少一部分。根据缓存区210的大小，可为现有的和插值的帧存储完整的帧、帧内的多个行或多个相邻像素。也可设置缓存区210以在处理器220的控制下输出经速率转换后的视频数据(例如，帧或例如行或像素的帧的部分)。可设置处理器220以控制来/往于缓存区210的视频数据的输入和输出，包括来自帧速率转换器230的插值数据。也可设置处理器220以将与缓存区210中的帧相关的运动矢量提供给帧速率转换器230。在一些实施例中，缓存区210中的视频数据的帧可能带有相关运动矢量而到达。在这种情况下，处理器220可将这些运动矢量传递给转换器230。

在一些实施例中，处理器220可能需要为第N帧130中的像素计算运动矢量

。在这种情况下，处理器220可使用多个已知的或将来开发的运动估计算法中的任何一种来计算运动矢量，例如在专利号为11/091,853的于2005年3月28日提交的美国专利中公开的运动估计算法，该美国专利的内容通过引用结合到本文中。应该注意到不同的运动矢量可在一些实施例中针对像素的块(或宏块或一些其它的像素的组合)计算。在这些实施例中，运动矢量对于块或组内的所有像素将是相同的。然而，在一些实施例中，每个像素可具有唯一的与其相关的运动矢量。

可设置帧速率转换器230以基于来自处理器220的运动矢量和来自缓存区210中的第N-1帧和/或第N帧的像素值来计算目标(或插值)帧中的插值像素值。当完成这些计算时，可设置转换器230以在缓存区210中存储这些目标像素值，或将它们输出到另一个存储装置，例如帧缓存区。

图3示出帧速率转换器230的示范实施例。参考图3，到转换器230的运动矢量输入可源于(originate)处理器220。相似地，第N帧和第N-1帧输入源于缓存区210。来自转换器230的插值数据输出也可送到缓存区210。在一些实施例中，转换器230可生成与插值的像素相关的所有颜色值(例如，YUV或RGB)。

帧速率转换器230可包括运动矢量插值器310、后向运动补偿器320、前向运动补偿器330、合成器340和保护器350。这些部件310-350可在例如逻辑电路、门电路、晶体管或一些其他合适的电路构建模块(circuit building block)中实现。

可设置插值器310以插值运动矢量

从而生成帧N-1与目标帧之间的“前向”运动矢量和帧N与目标帧之间的“后向”运动矢量。对于将在时间上处于两个原始帧之间的中间的目标帧，插值器310可计算帧N和目标帧之间的后向运动矢量作为

的一半而且可计算帧N-1和目标帧之间的前向运动矢量也作为

的一半。

然而，对于在时间上距一帧比另一帧更近的目标帧，插值器310可不同地插值运动矢量

例如，对于与帧N-1相距总的帧间隔时间的1/3并且与帧N相距总间隔时间的2/3的目标帧，前向运动矢量可以是的三分之一而后向运动矢量可以是的三分之二。这两个运动矢量然后用于补偿来自帧N-1和帧N的像素。在所有的情况下，插值器310可针对前向和后向运动矢量的方向使用恰当的和/或相一致的转换。

可设置后向运动补偿器320以通过使用后向运动矢量来运动补偿来自第N帧的对应的像素值，从而为目标/插值帧中的像素计算值。该后向运动补偿像素值可输出至合成器340和保护器350。

相似地，可设置前向运动补偿器320以通过使用前向运动矢量来运动补偿来自第N-1帧的对应的像素值，从而为目标/插值帧中的像素计算另一值。该前向运动补偿像素值可输出至合成器340和保护器350。

可设置合成器340以合成后向运动补偿像素值和前向运动补偿像素值以产生合成的运动补偿像素值。在目标帧与第N帧的距离等于目标帧与第N-1帧的距离的实施例中，合成器340可计算这两个输入值的中值作为合成的运动补偿像素值。然而，在目标帧与第N帧的距离不等于目标帧与第N-1帧的距离的实施例中，合成器340可基于目标帧与其他帧的各自的时间距离来计算这两个输入值的加权均值作为合成的运动补偿像素值。该合成的运动补偿像素值也可输出至保护器350。

图3中从第N帧数据和第N-1帧数据到保护器350的虚线指示来自距目标帧较近的帧(例如，N或N-1)的另外的像素值。例如，在目标帧和第N帧等距或在时间上更接近的一些实施例中，保护器350可接收来自帧N的多个像素值，这些像素在帧N中邻近插值/目标像素的(x，y)位置。在这些实施例中，保护器350可不接收来自帧N-1的像素值。在目标帧于时间上更接近帧N-1的一些实施例中，保护器350可接收来自帧N-1的多个像素值，这些像素在帧N中邻近插值/目标像素的(x，y)位置。在这些实施例中，保护器350可不接收来自帧N的像素值。

可设置保护器350以基于运动补偿值(和其可能的合成)和另一帧(例如，帧N)的空间上接近目标像素位置的像素的值而选择讨论的插值/目标像素“中心”值。例如，在一个实施例中，保护器350可包括五抽头(tap)中值滤波器。在该实施例中，对该中值滤波器350的输入是：(1)经补偿器320来自帧N的后向运动补偿像素值；(2)经补偿器330来自帧N-1的前向运动补偿像素值；(3)来自合成器340的后向运动补偿像素值和前向运动补偿像素值的均值；(4)帧N中比插值像素的(x，y)位置高一行(line)的像素的值；以及(5)帧N中比插值像素的(x，y)位置低一行的像素的值。保护器350可输出这五个值的中值作为插值像素的值。

在该实施例中，如果运动矢量(运动补偿值由其确定)相当精确，中值滤波器350将倾向于选择均值。然而，如果运动矢量没有精确计算，中值滤波器350将倾向于选择来自帧N的空间上“接近的”像素值之一。尽管保护器350的该空间选择可能相对于好的运动补偿会带来更多模糊(blurring)，但是它可“保护”免受由不精确的运动补偿引起的伪影(例如，以不同速度移动和/或光晕化(halo-ing)的***像素)的影响。

应注意到保护器350不需要是中值滤波器；它也不是必需具有五个输入。更确切地，保护器350可包括在运动补偿值和非运动补偿(即，在另一帧中空间上接近的)值中选定中心值的任何装置。例如，保护器350可忽视一个或多个溢出值(outlier value)并能够以剩余值的中值或一些其它统计量度来计算插值像素的值。虽然在一些实施例中，当运动矢量是精确的或很好呈现的时，合成器340的输出可能使保护器350偏向选择运动补偿值，但在一些实施例中，对保护器350的运动补偿输入值的数量不需要超过空间上接近的输入值的数量。滤波的类型、输入的数量和/或输入的类型的变动都是可能的和预期的。

图4示出在帧速率转换过程中确定插值像素值的示范过程400。虽然为了解释的清晰和简单可对照图2和3中描述的帧速率转换器230描述图4，应理解过程400可由其它硬件和/或软件实施例来执行。

通过运动矢量插值器310生成对于目标帧中的像素的部分运动矢量可开始处理(动作410)。该生成可来自围绕目标/插值帧的两个或更多帧之间的运动矢量。虽然在前面的示例中部分运动矢量由两个帧N和N-1确定，但在一些实施例中这些部分运动矢量可由三个或更多现存的帧或其部分生成。

通过补偿器320和/或330从动作410中生成的部分运动矢量确定运动补偿像素值可继续处理(动作420)。动作420可有选择地包括合成两个或更多运动补偿像素值以形成另一个合成的运动补偿的值。

保护器350也可接收来自围绕目标/插值帧的帧之一(例如，第N帧)的一个或多个像素值，这些像素在空间上接近插值像素的相同坐标，但在一帧内(动作430)。例如，这些值可包括第N帧中的一个或多个像素，例如这些像素在第N帧中位于(x，y)位置的像素的上、下、左或右，其中(x，y)位置是目标帧中的目标像素所在的位置。

以保护器350从动作420中生成的运动补偿值和动作430中获取的空间上接近的像素值中选定插值像素值可继续处理(动作440)。在一些实施例中，保护器350可从几个可能值中选定中值。在一些实施例中，动作440可涉及另一“中心”选择操作而不是中值。动作440可具有当动作410中生成的运动矢量(不管什么原因)不精确时保护免受运动有关的伪影的影响。然而，当这些矢量精确时，运动补偿值可能相对彼此接近(而且当呈现时接近它们的均值)，而且动作440可为目标/插值帧选定运动补偿像素值。

可重复动作410-440直到为目标帧或图像中的所有像素选定插值。虽然图4中未清楚示出，过程400也可包括当需要时在动作410之前生成运动矢量。它也可包括将目标像素值发送到缓存区以及当有足够多的目标值可送出时送出经速率转换的视频数据。

一个或多个实施例的以上描述提供了图示和描述，但不是旨在穷举或将发明的范围限制到所公开的明确形式。修改和变动根据以上的教导是可能的，或者从本发明的不同实施例的实践是可获得的。

例如，虽然可在逐像素的基础上执行本文描述的方案，但也可对图像中像素的集合或组合执行本方案。同样，本文描述的方案不应该限于所公开的特定实施例(例如，两帧、插值运动补偿)，但更确切地可应用于当运动补偿值极大幅度偏离空间上接近的值时通过原始帧的一个帧中选定空间上接近的像素保护免受运动引入的伪影的影响的任何技术。所要求保护的发明旨在涵盖在运动补偿帧速率转换中保护免受此类运动有关的伪影的影响的任何此类技术。

此外，图4中的动作的至少一些可实现为指令、或指令的集合，在机器可读的介质中实现。

在本申请的描述中使用的部件、动作或指令不应该解释为对于本发明是关键的或必要的除非清楚地如此描述。同样，如本文中使用的冠词“一个”旨在包括一种或多种项目。在基本上不脱离本发明的实质和原理的情况下可对所要求保护的本发明的以上描述的实施例做出变动和修改。所有此类修改和变动旨在包括在本公开的范围内并由所附权利要求所保护。

Claims (15)

1.一种生成插值图像的方法，包括：

从第一图像和第二图像之间的单个运动矢量生成多个部分运动矢量；

基于所述多个部分运动矢量和来自所述第一图像和所述第二图像的像素值确定多个运动补偿值；

从接近公共像素的所述第一图像获取多个像素值；以及

基于所述多个运动补偿值和来自所述第一图像的所述多个像素值而选择所述插值图像中像素的结果值。

2.如权利要求1所述的方法，其中所述生成包括：

将所述单个运动矢量的第一部分定义为一个部分运动矢量，以及

将所述单个运动矢量的剩余部分定义为另一部分运动矢量。

3.如权利要求1所述的方法，其中所述确定包括：

将所述多个部分运动矢量中的一个应用到与所述单个运动矢量相关的所述第一图像中的第一像素，以获取第一运动补偿值，以及

将所述多个部分运动矢量的另一个应用到与所述单个运动矢量相关的所述第二图像中的第二像素，以获取第二运动补偿值。

4.如权利要求3所述的方法，其中所述确定还包括：

组合所述第一运动补偿值和所述第二运动补偿值，以获取第三运动补偿值。

5.如权利要求1所述的方法，其中所述获取包括：

从所述公共像素上的行中选取第一像素值，以及

从所述公共像素下的行中选取第二像素值。

6.如权利要求1所述的方法，其中所述选择包括：

选取所述多个运动补偿值和来自所述第一图像的所述多个像素值的中值作为所述插值图像中的像素的所述结果值。

7.一种在多个图像之间插值的***，包括：

运动矢量插值器，用于基于目标图像和所述多个图像中的每个图像的时间距离而将运动矢量分割成部分；

运动补偿模块，用于基于所述运动矢量的所述部分为所述目标图像中的像素生成至少两个运动补偿值；以及

保护器，当所述运动矢量精确时，所述保护器为所述目标图像中的像素选择运动补偿值，以及当所述运动矢量不精确时，所述保护器从所述多个图像之一选择像素值。

8.如权利要求7所述的方法，还包括：

合成器，用于统计地组合所述至少两个运动补偿值，并且将组合的运动补偿值输出到所述保护器。

9.如权利要求7所述的***，其中所述运动补偿模块包括：

前向运动补偿模块，用于基于所述运动矢量的第一部分和所述多个图像中在所述目标图像之前的较早图像为所述目标图像中的像素生成前向运动补偿值，以及

后向运动补偿模块，用于基于所述运动矢量的第二部分和所述多个图像中在所述目标图像之后的较晚图像为所述目标图像中的像素生成后向运动补偿值。

10.如权利要求7所述的***，其中所述保护器包括：

中值过滤器，设置为在所述至少两个运动补偿值和来自所述多个图像之一的至少两个像素值中选择中值，以输出作为所述目标图像中的像素的插值。

11.如权利要求7所述的***，还包括：

缓存区，用于存储所述目标图像和所述多个图像的至少一部分。

12.如权利要求7所述的***，还包括：

处理器，用于基于所述多个图像而计算所述运动矢量，并且将所述运动矢量输出到所述运动矢量插值器。

13.一种在两个图像之间插值以形成目标图像的方法，包括：

基于所述两个图像的像素之间的运动矢量为所述目标图像中的给定像素计算两个或更多运动补偿像素值；

从所述两个图像中的一个图像获取一个或多个像素的像素值，其中，在所述一个图像中所述一个或多个像素的位置接近所述目标图像中的所述给定像素的空间位置；

如果所述两个或更多运动补偿像素值在数值上相对接近，则选择所述两个或更多运动补偿像素值中的一个作为所述目标图像中的所述给定像素的插值；以及

如果所述两个或更多运动补偿像素值在数值上不是相对接近，则选取所述一个图像中的所述一个或多个像素值中的一个作为所述目标图像中的所述给定像素的插值。

14.如权利要求13所述的方法，还包括：

通过将平均或加权平均应用到两个运动补偿像素值而计算第三补偿像素值。

15.如权利要求13所述的方法，还包括：

重复所述计算、获取、选择和选取直到已为整个目标图像获取了插值像素值。

Images