CN1246765A - 用于数字信号内插的方法和*** - Google Patents

Abstract

本发明涉及一种由隔行向顺次变换的方法和***,通过根据提高各种资源的逐渐增加的可用性即计算能力、可用的存储器和可用的存储器带宽使用按照几种级别或模式增加计算的复杂性可分级的内插算法(IPC)算法实现。按照一判定表可以实施IPC模式控制。最好,由行重复(最低级别)开始、线性内插(较低级别)、按照3分支式的或5分支式的中值运算器的中值场内计算(中间级别),以及线性内插器和中值内插器的组合;最后与边缘检测的组合(较高级别的可分级的算法),可以分别为至少5个级别的算法。

Description

用于数字信号内插的方法和***

本发明涉及一种利用信号内插算法(IPC算法)将隔行扫描的源信号按一种自适应光栅扫描方式变换为顺次输出信号的方法和***。

一些隔行扫描到逐行变换的内插算法将遗漏的行内插到一隔行扫描源的场(field)中，以便形成一个顺次的帧。隔行扫描是一种按时空二次采样的方案，即在空间范围内沿垂直方向二次采样。这种对光栅的采样综合了高的时间采样频率即高的场速率的优点，其中包括适中的带宽或者数据速率的低空间采样频率的优点。

对于顺次显示的媒体，例如计算机监视器、LDC显示器等，存在的问题是要按顺次方式显示“隔行的信号”。在能够实现这一点之前，必须实现格式变换或者扫描光栅变换，将隔行的信号变换为顺次的形式(IPC)。由于如上所述隔行扫描是按时空方式二次扫描的，为了得到最佳可能的效果，必须采用时空内插方案。

IPC算法可以粗分为三类算法。这种分类是根据最关键的特征源信号，即图象移动。这些类别是：

-静止的，即无论如何都无移动信息；

-移动是自适应的，即需要带某些ON/OFF选择的移动探测器；

-移动经补偿的，即包含移动矢量信息。

静态算法主要是对移动不敏感的，即不随时间变化的滤波器设计方案，以及没有清晰的移动探测器或者移动矢量估值器。其实例为：

-行再现，

-线性行内插，即按照固定的时空滤波器窗口(aperture)的一、二或三维FIR滤波器，以及

-非线性中间滤波器，即一、二或三维滤波器。

由于这些算法类别简单，滤波器按相对简单的方式实施，不过它们视觉效果与移动自适应或者移动补偿式算法相比可能受到限制。根据本技术领域的目前状态，IPC算法的良好的时空特性只有利用移动矢量估值才能实现。

移动自适应算法特征在于移动探测器部分，它只在空间内插或空间/时间内插之间进行软件或硬件转换，即滤波器掩膜选择。该转换方案包含阈值和定义的转换法。换句话说，移动信号在空间和空间-时间内插之间进行转换，即在垂直的和时间的内插之间进行滤波器掩膜选择转换，以及在帧或场上检测移动信号。在文献中提出了各种移动探测器，可参考在本说明书中作为附录的文献表。

然而，移动探测器的估值是通过计算进行的代价大的任务。

本发明的目的是提供一种新的改进的方法和***，用于将隔行的源信号按照扫描光栅变换为顺次输出信号，它具有良好的视觉效果，但是计算量低。

与实施方案相关的问题是可以用于IPC算法的一些***资源的可用性。在一个复杂的用于多种目的的图象处理***中，资源的可用性经常是时间变量的函数。这个问题同使用可分级的IPC算法相近似，取决于一定时间上可改变的一些资源，能产生可能最佳的内插结果。

根据上述这种背景技术，通过根据各***资源的随时间变化的可用性仅采用静态的但是可分级的IPC算法，通过将隔行的源信号变换为顺次的输出信号使计算的花费被限制在最小的IPC算法，本发明解决了该IPC问题。

根据本发明，提出一种通过利用信号内插算法(IPC算法)将隔行的源信号按自适应扫描光栅变换为顺次输出信号的方法，它根据赖于在一定时间各***资源和/或外部的限定的，可用的各种模式是分级的。

所述的一些***资源可以包含一可交替分级的IPC***，具有分别相关交替的处理模件和/或模件资源，根据由IPC模式控制分组的选择分别。这些***资源和/或外部限定可以是计算能力、可用存储容量、可用存储带宽。最好关于每种可选择的模式的所述内插算法，为线性滤波器类型，和/或中值类型和/或线性内插例如FIR滤波和中值滤波的组合。

根据本发明通过利用信号内插算法(IPC算法)将隔行的源信号变换为顺次的输出信号的扫描光栅变换***包含：

用于信号内插的各种模件，以及

IPC模式控制装置，装有对于特定类别的各内插方法所需的资源的资料，在一定时间接收关于所接受的***的各可用的资源的输入信息，用以提供命令结构，以便根据所述的输入信息用于一个或者多个组合的所述内插模件的模式专门选择。

根据一个优选实施例，所述各种用于信号内插的模件包含至少一个线性内插器和一个排序滤波器内插器。

各种信号内插模件一方面是根据各种线性算法，它们可以划分为对源信号不敏感的算法，例如上述线性滤波器：另一方面是根据一些非线性信号自适应算法，例如

-中值滤波器，

-加权的中值滤波器，

-垂直的和/或对角的边缘自适应内插器，包含边缘自适应中值滤波器，以及

-适用于空间上各行斜率的滤波器。

这种最后提到的第三类是最完善的内插方案，并且提供能够维持高的空间分辨率的可能性，因此具有内插结果的高的视觉质量，即随着移动速度的变化，具有最小假频的顺次帧的高视觉质量。

各种算法中的另外一类即移动补偿算法，其特征在于各种各样的部分，即：

-以帧或场为基准的移动矢量估值，

-对于可以小到单个像素的各种信息块大小(空间粒度)计算移动矢量，即对于每个源像素的移动矢量，

-移动矢量精度可变化，并且可以精细至以一子像素为基准，

对在隔行的源信号场中遗漏的像素进行估值的内插方案包含这种移动矢量信息，从而增强形成的顺次的图象的视觉质量。

已经提出各种移动估值器，例如

-信息块检索，

-递归的信息块检索/信息块匹配，

-相位校正的信息块的匹配，

-适合于MPEG移动矢量的并将其用于IPC的方案。

按本发明的算法结构或构造是根据当时的资源的设置或可用性是自适应的。考虑到实施时受到如CPU能力和存储器的限制，这种算法的各种模式均属于静态内插式。按照它的一种高级的模式，它是线性滤波的混合，即线性内插部分和边缘自适应的中值滤波，它是按照三分支和五分支中值处理器部分实施的。

鉴于本发明的范围应由考虑到本领域的技术人员的知识通过说明书阐明的权利要求来确定的，参照附图对本发明的如下各种实施例进行描述，其中：

图1是一查询表的实例，用于在考虑到可用的一些资源时为适应算法模式的IPC模式控制；

图2是线性IPC内插模件的方块图，例如是一种需要单行存储器和像素平均计算的线性滤波器模件；

图3是更高级模式IPC模件的功能方块图，包含三分支中值前趋运算器、一场和二行存储器；

图4表示更高级模式IPC模件的功能性的设计方案，包含一个三分支中值后续运算器，一个场和二行存储器；

图5表示一需要二个场存储器和三个行存储器的更高级模式五分支中值处理器的功能性的方块图；

图6是与归并到一根据本发明的按照动态资源分配的环绕***的多模式IPC***相关的一些资源的总体功能性方块图；

图7是对于分别具有不同的IPC滤波器窗口的垂直一时间扫描光栅的4种不同模式的图形表示。

图8是对于IPC算法的三种不同模式即分别对于奇数的场进入的情况和对于偶数场进入的情况，表示行延迟、滤波器窗口和场内插的场设计方案；

图9表示关于5分支中值算法的基本型式的一个实施例；

图10表示利用FIR内插的输出的5分支中值算法的一改进实施例。

首先介绍如在图8中所示的用于IPC滤波器同步的行延迟，在隔行的光栅中扫描输入的源信号。当为了产生所述的顺次的帧利用内插的行对相同的初始的输入源信号场进行隔行扫描时，输出一顺次的帧。

让我们用处于奇数场光栅位置的A，C，…各场，和处于偶数场光栅位置的B，D，…各场来代表该输入的场A，B，C，D…。将各遗漏的即必须内插的场称为A′，B′，C′，D′…，用分别处于偶数场光栅位置的A′，C′，…和分别处于奇数场光栅位置的B′，D′，…来表示。一个顺次的帧是由隔行扫描的各场(A+A′)、  (B′+B)，…(X+X′)或(X′+X)组成的。如象某些时候那样，所用的各源场被称为X，各内插的场称作为X′。

根据本发明提出的IPC***包含由两个主要部分组成的算法，即如下两部分：

-线性内插；这一部分将称之为“线性部分”，以及

-排序次序内插；这一部分将称之为“中值部分”。

按照其基本形式，线性内插是指一种简单的线性滤波器，用于对在像信号场中的两个连续的行进行平均，可以是四或更多分支的线性滤波器。

结合本发明的排序次序滤波器内插是指具有三分支式或五分支式的中值式滤波器。

一些即使未专门强调的另外的部分也可以归并到IPC算法中，即在隔行扫描的信号是瞄准输出的情况下的旁路功能度。这种模式(参阅图1中的第一行)可能变为对于一种灵活的硬件解决方案的需求。

另一方面，作为包含5分支式的中值滤波器(参阅图5和图1中的第5行)的IPC模式的更完善的方案，可以包含边缘检测和边缘处理，以便改进在对角边缘或者变化斜率(参阅图1中的第6行)的5分支式的中值滤波器算法部分的性能。

内插处理的每一级需要一定量的“处理延迟”。这种延迟是按照如下所述定义的：即为输入的场相对各匹配输出的和经内插的场的延迟。例如，如果场B来到而场A′(与A匹配)移出，则该内插器产生一个场的延迟。这一点对于将源信号行和内插的行合并以便产生一顺次的帧是很重要的。这一点从原理上表示在图6中。

如果该算法无场延迟，则可以将各场直接合并。但是，如果该算法具有场延迟，即倘若为三分支或五分支式中值运算器的情况，则还由于需要同步该源信号场必须延迟。由图2到7可以看到该适当的延迟，其中“滤波器运算的中心”或“内插器的重心”在每种情况下是不进行延迟的并由带阴影的区域形成帧。

如上所述，根据本发明的新的算法在几个级别的范围内是可分级的，这里称之为“模式”，具有增加的计算的复杂性和提高的对源的要求。内插的级别决定于不为另外的处理方法使用的可用的一些资源。这一点表示在按与如图6中所示的动态资源分配的环绕***中。所示的方块“IPC模式控制”可以按照一个判定表来实施，对于该表一种原理性的示范器件有一种如在图1中所示的用于IPC模式控制的查询表。在图1中表示用在图2到5中所示的2到5行的各个硬件要求的5个不同的级别。

1最低级别：仅行再现；不需要两个主要部分(图1中第一行)。

2较低级别：仅需要“线性部分”；线性内插和内场计算(见图1和2中的第二行)。

3中间级别：仅使用“中间部分”，即一3分支式的中值运算器，一场存储器和内场计算，是分别考虑到一个前趋的场或后续的场而计算的(参见图1、3和4中的第3行和第4行)。

4较高级别：组合“线性部分”和“中值部分”；5分支中值运算器，两个场存储器和内场计算(参见图1、5中的第5行)。

5最高级别：组合如在级别4中所述的“线性部分”和“中值部分”，然而，可以实施附加边缘检测，以改进在对角边缘和变化斜率行的滤波器性能(见图1中第6行)。

为了概观各滤波器窗口，注意图7，其中对于所示的四种级别，各自的重心处于下方，并由灰色区域框起来。

在如下部分更详细地解释根据本发明的可分级的算法的各种级别。

附录1最低级别，即行再现(见图1中第1行)：

这属于IPC算法中的最低级别。简单地重复输入到来的源信号行，以便形成为了产生顺次的场的遗漏的行。可以重复上一行或者重复下一行，并且可以根据到来的逐个场改变。不需要计算，并不需要场存储器。算法没有场延迟；它在输出质量方面和所需***资源方面代表最低质量的输出和最低的级别。

附录2较低级别，即线性内插，“线性部分”(图1中第2行，图2)：

这属于IPC算法中的较低级别。没有场存储器而仅需某些计算功能。算法没有场延迟。线性实施的简单实施例是，通过对在遗漏的X′像素之上和之下的各像素进行平均来计算遗漏的像素X′。

附录3中间级别，即3分支式的中值内插，“中值部分”(参见图1中的第3、4行和图3与4)：

对于这种中间级别的IPC算法，为了内插处理需要一个场存储器。为了实施这一算法有两种可能的方式，即所谓的“三分支式的中值前趋”(见图1中的第3行和图3)和“三分支式的中值后续”(见图1中的第4行和图4)。该前趋类型没有场延迟，而后续类型具有一个场的延迟。这是两种实施方式的主要差别。内插结果在视觉性能上基本上是相同的。滤波器是这样工作的，即由当前的和前一接连的场这2个连续的场中取得3个采样值。该输出是如下像素的中值：

-在前/后场X中的处于位置X′的像素(图象基元)；

-在位置X′之上的像素；

-在像素X′之下的像素。

可以看出，这些像素是由垂直一时间平面内取出的。这就是沿垂直方向保持好的边缘特性的原因。

附录4较高级别，即5分支式的中间内插，即“线性部分”和“中值部分”的组合(见图1中的第5行和图5)：在这种较高级别的IPC算法中，为了内插处理需要两个场存储器。该算法具有一个场延迟。由三个相继的场取得4个采样值，第五个采样值是一个时空线性滤波器采样值。如果要内插的场用“场B”代表，前趋为“场A”，以及后续为“场C”。该输出为如下像素的中值：

-来自前趋场A的处于位置X′的像素P，

-来自后续场C的处于位置X′的像素S，

-来自当时的场的处于位置X′顶部(上方)的像素T，

-来自当时场B的在位置X′下方的像素B，以及

-时空线性滤波器采样。

按照简单的方式例如将像素T和B平均可以计算线性采样值。它等于在该线性部分中线性内插估值。

由于垂直加重(5个像素中的3个)，将较强的权重加于空间域。利用较少的时间上的赝象达到更好的移动再现。此外，经降低的加重加在空间分辨率上。

为了按通常方式实施5分支式的中值运算器，读者应注意图9，该图表示按照本发明实施的5分支式的中值算法的基本型式。特别是对于包括5分支式的中值内插器在内的2分支式的平均内插器，请参阅图10中所示的5分支式的中值算法的改进的类型。

如图9中作为示范表示的5分支式的中值算法的基本型式产生5个输入数值的中值输出，如利用各自的函数方程所表示的，这一构思是将最大值选出3次。第三个最大值就是该中值的值。

对于图10中所示的5分支式的中值算法的一种改进形式，该中值是根据5个数值再次产生的，然而，与图8所示不同，关于线性部分的了解是作为一个输入值使用的。在图10的特定实例中-不应理解是对线性内插的限定-由顶值和底值中确立的该数值处于这些数值之间，是由“假定”表示的平均值。

附录5最高级别即5分支式的中值内插和边缘检测的组合(见图1中的第6行)：

为了改进上述较高级别内插的中值效能，另外包含一个对角边缘探测器。

本发明超出现有技术状态的可比拟的IPC算法和IPC实施结构的主要优点如下：

-通过应用各种不同的IPC算法根据***资源即CPU、存储器要求、存储器带宽等可得到一种可分级的IPC结构；

-提供一种具有小的局部滤波器窗口的简单的IPC滤波器算法；

-与移动自适应式或者移动补偿式算法相比，资源要求少；

-关于静止图象内容以及移动目标这两者，都具有良好特性；

-对于所有的图象内容，提供一种总体加强的算法。

根据本发明的可分级的算法在制作阶段可按硬件构成或者在***运行时可以按软件构成。本发明的多级别的可分级的算法对于可变的资源要求能灵活地自适应，或者理解为为得到更好的输出质量提供了更多可用的资源，即可用性。

Claims (20)

1.一种用于将隔行的源信号按自适应扫描光栅变换成顺次输出信号的方法，它是利用根据在一定时间各个***资源的可用性和/或外部规定按照各种模式可分级的信号内插算法(IPC算法)实施的。

2.如权利要求1所述的方法，其中所述***资源包含一可交替分级的IPC***，该***分别与交替的一些处理模件和模件资源相关联，根据利用IPC模式控制的分组选择可分别分级的。

3.如权利要求1所述的方法，其中所述的***资源包含计算能力、可用的存储器和可用的存储器带宽，和/或所述外部限制包含可用的***能力。

4.如权利要求1或2所述的方法，其中与每一可分级模式相关的所述内插算法属于线性型和/或中值型。

5.如权利要求4所述的方法，其中与每一可分级模式相关的所述内插算法为线性内插滤波器和中值滤波器的组合。

6.如权利要求5所述的方法，其中根据相应的***资源的所述自适应中值滤波器是分别利用3分支式中值运算器或5分支式中值运算器实现的。

7.如权利要求5或6所述的方法其中将特别考虑对角边缘和/或变化斜率各行的中值滤波器用于场内插。

8.如权利要求1或2所述的方法，其中所述的IPC模式控制利用判定表来实施。

9.如权利要求4所述的方法，其中所述的内插算法在逐步增加复杂性方面是可按模式分级的，其中：

-第一模式只包含行再现，或

-第二模式仅包含线性内插，或

-第三模式包含3分支式中值内插，或

-第四模式包含线性内插和5分支式中值内差的组合，或

-第五模式包含结合有对角边缘和/或变化斜率的各行检测和处理的线性内插和5分支式中值内插。

10.如权利要求9所述的方法，其中利用内场FIR内插作为所述线性内插。

11.如权利要求9所述的方法，其中对于前趋或后续场两个置换之一使用所述3分支式中值内插。

12.如权利要求9所述的方法，其中考虑到同一场的顶像素T和底像素B，所述第二模式对于一个IPC滤波器窗口包含用于各个像素X的线性内插。

13.如权利要求9所述的方法，其中考虑到前趋像素P或后续像素S，顶像素T和底像素B，对于一个IPC滤波器窗口，所述第三模式包含用于各个像素X的三行中值内插。

14.如权利要求9所述的方法，其中所述第四模式包含根据权利要求12所述的线性内插和5像素数值中值内插，其中的一个数值是线性内插的X数值以及其它4个数值分别是前趋场像素P、后续场像素S、顶像素T和底像素B。

15.如权利要求14所述的方法，其中所述5个数值的中值是根据如下函数形成的：中值＝Max{Min(W，X)；Max(Y，Z)}，其中W＝Min{S；Max[P；Max(T，B)]}；X＝Max{Min[P；Max(T，B)]；FIR X}；Y＝Min{Min[P；Max(T，B)]；FIR X}；Z＝Min(T，B}.

16.一种通过利用信号内插算法(IPC算法)将一隔行的源信号变换为顺次输出信号的扫描光栅变换***，包含：

-各种用于信号内插的模件；以及

-IPC模式控制装置，设有关于对于特定类别的内插方法所需的资源和在一定时间接收关于一环绕***的可用资源和外部限制的输入信息，用于根据所述输入信息提供用于对一个或组合的多个所述内插模件的特定模式选择的命令结构。

17.根据权利要求16所述的***，其中所述的用于信号内插的各种模块包含至少一个线性内插器和一个排序滤波器内插器。

18.如权利要求17所述的***，其中所述的排序滤波器内插器是一3分支中值内插器。

19.如权利要求17所述的***，其中所述的排序滤波器内插器是一5分支中值内插器。

20.如权利要求17所述的***，其中所述的线性内插器是FIR滤波器。

Images