CN101572076B

CN101572076B - 帧速率变换设备和帧速率变换方法

Info

Publication number: CN101572076B
Application number: CN2009101376641A
Authority: CN
Inventors: 三好爱
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-05-01
Filing date: 2009-05-04
Publication date: 2011-11-30
Anticipated expiration: 2029-05-04
Also published as: JP5219609B2; JP2009272781A; EP2124430A1; US20090273707A1; CN101572076A; EP2124430B1

Abstract

本发明涉及一种帧速率变换设备和帧速率变换方法。该帧速率变换设备用于进行将输入帧分配成多个子帧时的帧速率变换，所述帧速率变换设备检测所述输入帧中包括一个像素或多个像素的各区域的运动度，根据所检测的各区域的运动度来确定所述多个子帧中的各区域中的输出值的分配量，并且根据所确定的分配量来输出分配有输出值的所述多个子帧。

Description

帧速率变换设备和帧速率变换方法

技术领域

本发明涉及一种对输入图像(输入帧)的帧速率进行变换的帧速率变换设备和帧速率变换方法。

背景技术

显示设备根据其显示特性大致分类为脉冲型或者保持型。如图14B所示在一个帧周期期间几乎均匀地保持显示的诸如液晶屏的设备被称为保持型显示设备。相反，如图14A所示在一个帧中具有短发光周期的设备被称为脉冲型显示设备。

脉冲型显示设备包括CRT(阴极射线管)和场发射型显示器。在脉冲型显示中，像素重复闪光，因此这种显示具有产生闪烁的特性。也就是说，画面看起来闪烁。发光度(luminosity)越高和面积越大，对应于越容易检测到闪烁。随着近来显示屏越来越大的趋势，脉冲型显示设备上的闪烁越来越成为要解决的问题。

减少闪烁的方法包括通过以任意比率将输入帧分配(distribute)成多个子帧来以更高的帧速率显示图像的方法。如果例如通过以6∶4的比率将输入帧分配成两个子帧而使帧速率加倍，则由于闪烁的频率增大，因此变得难以检测到闪烁。

然而，当用户观看该显示时，如图15所示，因为可以看到在给定帧周期期间时间上在后的子帧从视线跟踪偏移，所以出现依赖于视觉特性的假轮廓。

另外，当显示具有剧烈运动的场景等时，有时会出现拖尾模糊。作为处理这种拖尾模糊的技术，已知一种根据帧的运动量(矢量)来衰减子帧的一部分的像素值的技术(日本特开2007-052184号公报)。在子帧之间针对各像素交替衰减像素值。

根据在日本特开2007-052184号公报中公开的技术，因为甚至在运动区域中，在时间上在后输出的子帧中存在一半数量的承载亮度的像素，所以产生假轮廓。图16是示出使用日本特开2007-052184号公报中的技术时的显示输出的概要和在视觉上感知该显示输出的方式之间的关系的视图。很明显，作为假轮廓看到运动区域的端部处的子帧的亮度。

发明内容

本发明提供一种减少假轮廓和图像崩溃、同时保持闪烁减少的效果的帧速率变换设备和帧速率变换方法。

根据本发明的第一方面，提供一种帧速率变换设备，用于进行将输入帧分配成多个子帧时的帧速率变换，所述帧速率变换设备包括：检测单元(103，S303)，用于检测所述输入帧中至少包括一个像素的各区域的运动度；确定单元(104，S304)，用于根据所述检测单元检测的所述各区域的运动度来确定所述多个子帧中的各区域中的输出值的分配量；以及输出单元(106，107，108，S305-S307)，用于根据所述确定单元确定的所述分配量来输出分配有输出值的所述多个子帧。

根据本发明的第二方面，提供一种帧速率变换方法，用于进行将输入帧分配成多个子帧时的帧速率变换，所述帧速率变换方法包括：检测所述输入帧中包括一个像素或多个像素的各区域的运动度(S303)；根据所检测的各区域的运动度来确定所述多个子帧中的各区域中的输出值的分配量(S304)；以及根据所确定的分配量来输出分配有输出值的所述多个子帧(S305-S307)。

从以下参照附图对示例性实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的实施例的帧速率变换设备的示意性配置的示例的框图；

图2是示出图1所示的分配处理单元106中的输入/输出关系的示例的曲线图；

图3是示出图1所示的运动区域检测单元103中的处理的示例的流程图；

图4是示出在图1所示的运动区域检测单元103中计算运动度M的方法的示例的曲线图；

图5是示出图1所示的分配校正系数产生单元104中的处理的示例的流程图；

图6是示出分配校正系数产生单元104中的处理的概要的示例的视图；

图7是示出分配校正系数产生单元104中的处理(不执行比较减小滤波处理)的概要的示例的视图；

图8是示出不进行比较减小滤波处理时的显示输出的概要和在视觉上感知该显示输出的方式的概要的示例的视图；

图9A至9C是分别示出发射亮度的示例的视图；

图10是示出图9C所示的情况下的显示输出的概要的示例和在视觉上感知该显示输出的方式的概要的示例的视图；

图11是示出图1所示的帧速率变换设备中的处理序列的示例的流程图；

图12是示出根据变型例的运动区域检测单元103中的处理的示例的流程图；

图13是示出根据变型例的在运动区域检测单元103中计算运动度M的方法的示例的曲线图；

图14A和14B是分别示出显示设备中的发射亮度的示例的曲线图；

图15是示出现有技术中显示输出的概要的示例和在视觉上感知该显示输出的方式的示例的第一视图；以及

图16是示出现有技术中显示输出的概要的示例和在视觉上感知该显示输出的方式的示例的第二视图。

具体实施方式

现在，参照附图详细描述本发明的优选实施例。应当指出，除非特别说明，否则在这些实施例中描述的部件的相对配置、数字表示和数值不限制本发明的范围。

(实施例)

图1是示出根据本发明的实施例的帧速率变换设备的示意性配置的示例的框图。

帧速率变换设备包含计算机。计算机包括诸如CPU的主控制单元以及诸如ROM(只读存储器)和RAM(随机存取存储器)的存储单元。计算机还可以包括例如诸如显示器或者触摸屏的输入/输出单元以及诸如网卡的通信单元。应当指出，这些构成元件经由总线等连接，并且通过使主控制单元执行存储在存储单元中的程序来控制。

帧速率变换设备将输入图像(下文中称为输入帧)分配成多个子帧，并以多(整数)倍的帧速率输出这些子帧。在分配输入帧时，根据帧间差分来检测输入帧中的各区域的运动，并且利用对在子帧中的各区域中所反映的运动的检测结果进行分配。应当指出，以通过帧速率变换使输入帧的帧速率加倍的情况为例来说明本实施例。

帧速率变换设备对输入帧的帧速率进行变换以减少画面上的闪烁，即闪烁的发生。闪烁发生的频率与分配的子帧之间的对比度(contrast)相关联。也就是说，在图1所示的情况下，闪烁的发生受子帧f204和子帧f205之间的对比度关系的影响。它们之间的亮度差越大，越容易检测到闪烁，反之亦然。应当指出，将子帧f204作为一个帧周期中时间上在后的子帧输出，将子帧f205作为一个帧周期中时间上在前的子帧输出。

帧速率变换设备针对各子帧中的各区域控制子帧f204和子帧f205之间的对比度。该控制基于在各个帧之间检测到的各区域的运动和闪烁之间的关系来进行。子帧f204和f205的亮度的和等于在帧存储器102中保持的帧f201的亮度。也就是说，在帧速率变换之前和之后，亮度保持相同。

在这种情况下，帧速率变换设备作为其功能构成元件包括帧存储器102、运动区域检测单元103、分配校正系数产生单元104、分配处理单元106、差分处理单元107和切换器108。

帧存储器102依次保持一个或更多个输入帧。运动区域检测单元103将在帧存储器102中保持的帧f201与输入帧f200进行比较，计算在帧存储器102中保持的帧f201中的各区域的运动度M，并且输出运动度映射(map)M_map。

分配校正系数产生单元104对运动度映射M_map执行滤波处理，并将结果作为分配校正系数映射R_map输出给分配处理单元106。分配处理单元106根据基本分配函数和分配校正系数映射R_map对在帧存储器102中保持的帧f201的值进行变换，并将子帧f204作为第一子帧输出。

差分处理单元107基于子帧f204和在帧存储器102中保持的帧f201产生子帧f205，并将子帧f205作为第二子帧输出。切换器108交替切换并输出子帧f204和子帧f205。

图2是示出分配处理单元106中的输入/输出关系的示例的视图。分配处理单元106根据基本分配函数和分配校正系数映射R_map对到分配处理单元106的输入f201的各值进行变换，并将结果作为子帧f204输出(参见式(1))。基本分配函数表示输入是静止图像时(捕获静止图像时)的子帧f204的值。

S(p)＝基本分配函数(fin(p))×Rmap(p) ...(1)

其中fin是输入帧，S是输出帧，p是关注像素的位置。

子帧f204中的各区域的值根据分配校正系数映射R_map的值动态地增大/减小。例如，随着针对具有大运动量的区域的分配校正系数R的值减小，子帧f204中相应区域的值减小。利用这种运算，由于作为一个帧周期中时间上在后的子帧而输出的子帧中具有大运动量的区域的值减小，因此改善了假轮廓和拖尾模糊。

图3是示出运动区域检测单元103中的处理的示例的流程图。

运动区域检测单元103根据输入帧和在输入帧之前(例如紧接在输入帧之前)输入的帧来计算帧间差分(步骤S101和S102)。运动区域检测单元103根据该差分值计算并输出运动度M(步骤S103和S104)。将运动度M输出为具有针对各区域的运动度的映射(二维映射)的形式的M_map。以区域是单个像素的情况为例说明本实施例。然而，区域可以是预定范围内的多个像素(N×N个像素)。如果多个像素构成区域，则可以通过对作为区域的多个像素的平均值等进行处理，通过与针对由单个像素形成的区域的处理相同的处理来对该区域进行处理。

图4是示出帧间差分值D和运动度M之间的关系的示例的曲线图。如图4所示，随着帧间差分值D增大，检测到的运动度M趋于减小。也就是说，在本实施例中，由于运动度M表示静止度，因此在具有小运动量的区域中运动度M高，而在具有大运动量的区域中运动度M低。虽然参照运动度M表示静止度的情况说明了本实施例，但是很明显本实施例可以应用于与上述情况相反的情况。

运动区域检测单元103通过执行具有较低处理负荷的阈值处理来计算在帧存储器102中保持的帧f201中的各区域的运动度。更具体地，如果帧间差分值小于(预定)阈值d1，则运动区域检测单元103输出m2作为运动度。如果帧间差分值大于阈值d1，则运动区域检测单元103输出m1作为运动度。针对根据各区域计算的各帧间差分值来进行该阈值处理。其结果是，输出映射形式的M_map作为运动度。应当指出，m1和m2例如大于或等于0而小于或等于1，且值m2大于值m1。

图5是示出分配校正系数产生单元104中的处理的示例的流程图。

当将运动度映射M_map输入到分配校正系数产生单元104(步骤S201)时，该处理开始。在这种情况下，如图6中的“601”所示，根据运动度映射M_map，将m2作为运动度赋予确定为静止区域的区域，而将m1作为运动度赋予确定为运动区域的区域。应当指出，横坐标表示像素位置。

首先，分配校正系数产生单元104对运动度映射M_map进行比较减小滤波处理(步骤S202)。在该处理中，分配校正系数产生单元104将关注区域的运动度M的值与相邻区域(预定范围的区域)的运动度M的值进行比较，以减小关注区域的运动度M的值。滤波具有例如用滤波范围内的最小值代替给定值的特性。在运动度映射M_map中，如图6中的“602”所示，静止区域的运动度M的值减小。

随后，分配校正系数产生单元104对比较缩小滤波处理的结果执行低通滤波处理(步骤S203)，然后将处理结果作为分配校正系数映射R_map输出给分配处理单元106(步骤S204)。如图6中的“603”所示，在要输出的分配校正系数映射R_map中，通过低通滤波处理去除了高频区域中的信号。其结果是，获得了在空间上平滑的值。如图6中的“603”所示，如果静止区域邻接运动区域，则连续衰减直到静止区域接触运动区域的边界位置的预定范围内的分配校正系数R的值。

如上所述，本实施例中的分配校正系数产生单元104针对帧中的各区域来改变分配校正系数R。在这种改变操作中，分配校正系数产生单元104通过利用低通滤波处理平滑运动度映射M_map来在空间上平滑地改变分配校正系数R。在这种情况下在低通滤波处理之前进行比较缩小滤波处理的原因在于，如果在不进行比较缩小滤波处理的情况下产生分配校正系数映射R_map，则如图7所示，子帧中的运动区域的端部的值增大。在这种情况下，如图8所示，在静止区域和运动区域之间的边界处图像崩溃。优选仅在静止区域中平滑分配校正系数R，而不在运动区域中进行分配校正系数R的平滑。

差分处理单元107将通过计算在帧存储器102中保持的帧f201和子帧f204之间的差分而获得的结果作为子帧f205输出。因此，要输出的子帧的和与在帧存储器102中保持的帧匹配。在脉冲型显示设备的情况下，如果在任意时间内显示的信号的和相等，则看见的亮度看起来几乎相等。因此，能够保持在帧速率变换之前和之后帧的亮度几乎相等。

在这种情况下，图9A示出在帧存储器102中保持的帧f201，图9B和9C示出分配校正系数映射R_map变化时的输出。

如上所述，将对应于具有小运动量的区域的分配校正系数R设置为大的值。由于该原因，在作为一个帧周期中时间上在后的子帧而输出的子帧f204中，对应于该区域的输出值的分配量增大。图9B所示的波形表示这种情况下该区域中的各子帧的亮度。虽然在具有小运动量的区域中易于出现闪烁，但是由于保证子帧f204中该区域的值处于能够减少闪烁的水平，因此可以防止闪烁的发生。

相反，如上所述，将对应于具有大运动量的区域的分配校正系数R设置为小的值。由于该原因，在作为一个帧周期中时间上在后的子帧而输出的子帧f204中，对应于该区域的输出值的分配量减小。图9C所示的波形表示这种情况下该区域中的各子帧的亮度。由于在具有大运动量的区域中不容易检测到闪烁，因此即使子帧f204中该区域的值小，发生闪烁的可能性也低。

在这种情况下，例如，图10所示的关系表示在用图9C所示的波形表示各子帧的亮度的情况下的显示输出的概要和在视觉上感知该显示输出的方式。图10所示的显示输出的概要和看到该显示输出的方式之间的关系显示，与图8所示的情况相比，假轮廓和图像崩溃减少。

接下来，参照图11描述图1所示的帧速率变换设备的处理序列。

在接收到输入帧f200(步骤S301)时，帧速率变换设备将该帧存储在帧存储器102中(步骤S302)。在该帧的存储完成时，帧速率变换设备使运动区域检测单元103比较输入帧f200与已存储在帧存储器102中的帧。然后，帧速率变换设备针对存储在帧存储器102中的帧f201中的各区域计算运动度M，并输出运动度映射M_map(步骤S303)。

随后，帧速率变换设备使分配校正系数产生单元104针对算出的运动度映射M_map执行滤波处理，计算出结果作为分配校正系数映射R_map(步骤S304)。帧速率变换设备使分配处理单元106根据基本分配函数和分配校正系数映射R_map对已经存储在帧存储器102中的帧f201的值进行变换，并产生子帧f204(步骤S305)。

在子帧f204的产生完成时，帧速率变换设备使差分处理单元107根据已经存储在帧存储器102中的帧f201和子帧f204之间的差分来产生子帧f205(步骤S306)。然后，帧速率变换设备使切换器108交替切换并输出子帧f204和子帧f205(步骤S307)。随后，每次输入帧输入时，重复执行上述处理。

如上所述，根据本实施例，根据帧中的图像的各区域检测运动度，并且根据检测结果来确定子帧f204和f205的各个区域的分配量。这使得能够减少假轮廓和图像崩溃，同时保持闪烁减少的效果。

上述是本发明的典型实施例。然而，本发明不限于附图所示的上述实施例，可以在本发明的范围内按照需要对上述实施例进行变型并执行。

例如，以获得帧间差分值、并且根据该差分值和阈值之间的关系来计算帧的图像中的各区域的运动度M的情况为例说明了上述实施例。然而，本发明不限于此。例如，计算帧之间各区域的矢量并且根据矢量的大小来计算运动度M就足够了。参照图12说明在这种情况下运动区域检测单元103中的处理序列。运动区域检测单元103根据输入帧和在输入帧之前(例如紧接在输入帧之前)输入的帧计算帧间运动矢量(步骤S401和S402)。然后，运动区域检测单元103根据运动矢量计算并输出运动度M(步骤S403和S404)。应当指出，基于运动矢量的大小通过与参照图4所描述的方法相同的方法来计算运动度M就足够了。使用运动矢量使得能够更准确地识别帧的图像中各区域的运动的幅度。

以运动度M是二值(m1，m2)的情况为例说明了上述实施例。然而，本发明不限于此。例如，如图13所示，如果帧间差分值D小于或等于阈值d2则将m2作为第一值输出、如果帧间差分值D大于阈值d3则将m1作为第二值输出就足够了。如果帧间差分值D在d2和d3之间，则输出m2和m1之间的值作为运动度M(在这种情况下，运动度M表示静止度)。在这种情况下，如果帧间差分值D在d2和d3之间，则要输出的运动度M的值随着该差分值的增大而单调变化(减小)。这反映了运动的幅度的连续性。很明显，即使根据上述运动矢量获得运动度M时，也可以通过使用这种方法来获得运动度M。

本发明可以采用例如***、设备、方法、程序和存储介质形式的实施方式。本发明可以应用于由多个装置构成的***或者由单个装置构成的设备。

本发明包括在直接或者远程地向***或设备提供软件程序、包含在该***或者设备中的计算机读出并执行提供的程序代码时、实现上述实施例的功能的情况。在这种情况下提供的程序是对应于在实施例中示出的流程图的计算机程序。

因此，安装在计算机中以使用计算机来实现本发明的功能处理的程序代码本身也实现本发明。也就是说，本发明包括用于实现本发明的功能处理的计算机程序本身。在这种情况下，不特别限制程序的形式，可以使用目标代码、由解释器执行的程序、提供给OS(操作***)的脚本数据等，只要它们具有程序的功能即可。

作为用于提供计算机程序的计算机可读存储介质，可以使用以下介质。作为另一程序提供方法，用户使用客户计算机上的浏览器与因特网上的网站建立连接，并将本发明的计算机程序从网站下载到诸如硬盘的记录介质上。

当计算机执行读出的程序时，可以实现上述实施例的功能。另外，基于该程序的指令与在计算机上运行的OS等协作，可以实现上述实施例的功能。在这种情况下，OS等执行部分或全部实现上述实施例的功能的处理。

如上所述，根据本发明，能够抑制假轮廓和图像崩溃，同时保持闪烁减少的效果。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释，以覆盖所有这种变型、等同结构和功能。

Claims

1.一种帧速率变换设备，用于进行将输入帧分配成多个子帧时的帧速率变换，所述帧速率变换设备包括：

检测单元(103，S303)，用于检测所述输入帧中包括至少一个像素的各区域的运动度；

确定单元(104，S304)，用于根据所述检测单元检测的所述各区域的运动度来确定所述多个子帧中的各区域中的输出值的分配量；以及

输出单元(106，107，108，S305-S307)，用于根据所述确定单元确定的所述分配量来输出分配有输出值的所述多个子帧。

2.根据权利要求1所述的帧速率变换设备，其中

所述确定单元(104，S304)通过根据所述各区域的运动度而产生分配校正系数来确定所述分配量，所述分配校正系数用于校正所述多个子帧中的各区域中的所述分配量，并且

所述输出单元(106，107，108，S305-S307)包括：

分配处理单元(106，S305)，用于根据利用所述确定单元产生的所述分配校正系数校正后的分配量，将所述输入帧的各区域的输出值分配给第一子帧，

差分处理单元(107，S306)，用于根据所述第一子帧和所述输入帧之间的差分来产生第二子帧，以及

切换单元(108，S307)，用于在一个帧周期中在所述第一子帧和所述第二子帧之间进行切换，并输出子帧。

3.根据权利要求1所述的帧速率变换设备，其中，所述检测单元(S101-S104)根据所述输入帧和在所述输入帧之前输入的帧来计算帧间差分值，并且根据所算出的差分值和阈值之间的关系来检测在所述输入帧之前输入的所述帧中的图像的各区域的运动度。

4.根据权利要求1所述的帧速率变换设备，其中，所述检测单元(S401-S404)根据所述输入帧和在所述输入帧之前输入的帧来计算帧之间各区域的运动矢量，并且根据所算出的运动矢量来检测在所述输入帧之前输入的所述帧中的图像的各区域的运动度。

5.根据权利要求1所述的帧速率变换设备，其中

所述检测单元根据在所述输入帧之前输入的帧的图像的各区域的运动和预定值之间的关系，来检测与具有大运动量的区域和具有小运动量的区域相对应的运动度，其中如果所述运动小于所述预定值，则所述检测单元输出m2作为所述运动度，而如果所述运动大于所述预定值，则所述检测单元输出m1作为所述运动度，其中m1和m2大于或等于0而小于或等于1，并且m2大于m1，并且其中在所述具有小运动量的区域中所述运动度高而在所述具有大运动量的区域中所述运动度低，并且

在所述具有大运动量的区域的情况下，所述确定单元将针对与时间上在后的子帧相对应的区域的分配量设置为小于在所述具有小运动量的区域的情况下针对所述子帧的相同区域的分配量。

6.根据权利要求1所述的帧速率变换设备，其中

在所述具有小运动量的区域的情况下，所述确定单元将针对与时间上在后的子帧相对应的区域的分配量设置为大于在所述具有大运动量的区域的情况下针对所述子帧的相同区域的分配量。

7.根据权利要求1所述的帧速率变换设备，其中

预先设置第一值和大于所述第一值的第二值，

所述检测单元根据在所述输入帧之前输入的帧中的图像的各区域的运动与所述第一值和所述第二值中的一个之间的关系，来检测与包括具有大运动量的区域和具有小运动量的区域的区域相对应的运动度，其中如果所述运动小于所述第一值，则所述检测单元输出m2作为所述运动度，而如果所述运动大于所述第二值，则所述检测单元输出ml作为所述运动度，其中m1和m2大于或等于0而小于或等于1，并且m2大于m1，并且其中在所述具有小运动量的区域中所述运动度高而在所述具有大运动量的区域中所述运动度低，并且

在所述具有大运动量的区域的情况下，所述确定单元将针对与时间上在后的子帧相对应的区域的分配量设置为小于在所述具有小运动量的区域的情况下针对所述子帧的相同区域的分配量；并且在所述具有小运动量的区域的情况下，所述确定单元将针对与时间上在后的子帧相对应的区域的分配量设置为大于在所述具有大运动量的区域的情况下针对所述子帧的相同区域的分配量。

8.根据权利要求7所述的帧速率变换设备，其中

如果在所述输入帧之前输入的帧中的图像的区域的运动在所述第一值和所述第二值之间，则所述检测单元输出m2和m1之间的值作为所述运动度，其中所述运动度的输出值随着所述区域的运动的增大而单调减小，并且

如果所述区域的运动在所述第一值和所述第二值之间，则所述确定单元将针对与时间上在后的子帧相对应的区域的分配量设置为小于在所述具有小运动量的区域的情况下针对所述子帧的相同区域的分配量，

其中，如果所述区域的运动在所述第一值和所述第二值之间，则所述确定单元设置的分配量根据所检测到的运动度而连续变化。

9.根据权利要求6或者7所述的帧速率变换设备，其中，对于与所述具有大运动量的区域邻接的所述具有小运动量的区域，所述确定单元设置针对与时间上在后的子帧相对应的区域的分配量，以使在所述具有小运动量的区域中直到所述具有小运动量的区域与所述具有大运动量的区域接触的边界位置的预定范围内，分配量连续减小。

10.一种帧速率变换方法，用于进行将输入帧分配成多个子帧时的帧速率变换，所述帧速率变换方法包括：

检测所述输入帧中包括一个像素或多个像素的各区域的运动度(S303)；

根据所检测的各区域的运动度来确定所述多个子帧中的各区域中的输出值的分配量(S304)；以及

根据所确定的分配量来输出分配有输出值的所述多个子帧(S305-S307)。