CN1285115A - 编码***中基于对象的速率控制装置和方法 - Google Patents

Abstract

披露了对帧内各对象选择量化器级数使编码率最佳的方法和装置。对各帧内各区域或“对象”选择量化器级数,以实现该帧的目标比特率,同时在整个帧中保持均匀的可视图象质量。

Description

编码***中基于对象的速率控制装置和方法

本申请要求获得1997年7月10日申请的美国临时申请No.60/052134的利益，该申请在此引证作为参考。

本发明涉及最佳化运动图象编码的装置及其方法。本发明特别涉及在帧内对各区域或“对象”适当地调整量化器级数以保持运动图象总体质量同时最佳化编码速率的装置和方法。

                  发明的背景

ISO/IEC国际标准11172和13818(一般分别称为MPEG-1和MPEG-2格式)建立的运动图象专家组(MPEG)对编码/解码策略建立了标准。尽管这些MPEG标准对产生MPEG允许的比特流规定了一般编码方法和语法，但允许许多变化以适应多种不同的应用，并用于例如台式图象印刷、电视会议、数字存储介质和电视广播。

在速率控制领域中，MPEG对控制编码器比特率未限定特殊的方法。编码器设计者的任务是设计速率控制方法，用以控制比特率以便解码器输入缓冲器即不上溢也不下溢。

目前，控制比特率的一种方式是变更量化处理，该处理将导致输入视频图象的失真。通过变更量化器级数(步长)，可以改变和控制比特率。

尽管改变量化器级数是实施编码器速率控制的有效方法，但已经发现，低劣的速率控制处理实际上将降低视频图象的可视质量，即不能按有效的方式变更量化器级数，以致接近图象结束时必须急剧地变更量化器级数，以避免上溢和下溢条件。由于变更量化器级数影响图象质量和压缩效率，所以关键在于速率控制处理，以在不损失图象质量的情况下控制比特率。

在目前的MPEG编码策略(例如，各种MPEG测试模式)中，通过假设相同类型的所有图象在图象组内有相同的复杂性来选择各帧的量化器级数。但是，由于各图象的复杂性将随时间变化，所以按这种标准选择的量化器级数不能获得最佳的编码性能。

因此，在技术上需要在帧内适当地调整各区域或“对象”的量化器级数，以保持运动图象的总体质量，同时使编码速率最佳。

                    发明的概述

本发明的实施例是在各帧内选择各区域或“对象”的量化器级数以保持视频图象的总体质量同时使编码速率最佳的方法和装置。就是说，在各帧(图象)内对各对象选择量化器级数，以便达到图象的目标比特率，同时在图象的整个序列上维持均匀的可视图象质量。

                附图的简要描述

参照结合附图进行的下列详细说明，可以容易地理解本发明的技术，其中：

图1表示本发明装置的方框图；

图2表示根据图象内的对象导出和分配目标比特率的方法流程图；

图3表示确定目标帧比特率方法的流程图；

图4表示对当前图象内的对象确定一个或多个目标对象比特率的方法流程图；

图5表示本发明装置第二实施例的方框图；

图6是小波树的图解表示；和

图7表示本发明的编码***。

为了便于理解，在可能的地方使用相同的参考序号来表示附图中所共有的相同元件。

                  详细描述

图1表示本发明装置100的方框图，用于导出针对各帧内的各“对象”的量化器级数，以保持视频图象的总体质量，同时控制编码速率。尽管本发明在参照MPEG允许的编码器情况下进行了如下说明，但本领域技术人员会意识到本发明可用于其它编码/解码标准允许使用的其它编码器。

在本发明的优选实施例中，装置100是编码器或更复杂的基于块的运动补偿编码***的一部分。装置100包括运动评估模块140、运动补偿模块150、速率控制模块130、DCT模块160、量化(Q)模块170、变长编码(VLC)模块180、缓冲器190、反量化(Q-1)模块175、反DCT(DCT^-1)变换模块165、减法器115和加法器155。尽管装置100包括多个模块，但本领域的技术人员会意识到由各个模块完成的功能不需要被隔离成图1所示的分离模块。例如，包括运动补偿模块150、反量化模块175和反DCT模块165的一组模块是众所周知的“嵌入式解码器”。

图1表示根据MPEG标准数字化并表示为亮度和两个色差信号(Y、C_r、C_h)的位于信号通路110上的输入视频图象(图象序列)。这些信号还被分成多层(序列、图象组、图象、片、宏块和块)，以致用多个宏块表示各图象(帧)。各宏块包括四(4)个亮度块、一个C_r块和一个C_b块，其中，块限定为八(8)乘八(8)的取样阵列。图象划分成块单元提高了区分两个连续图象之间的变化的能力并且通过消除低幅度变换系数(后面说明)改善了图象压缩。数字化的信号可以任意地进行预处理，例如选择适当窗口、清晰度和输入格式的格式转换。

以下说明使用MPEG标准术语；但是，应该理解，术语宏块或块用于说明任何尺寸或形状的用作编码基础的象素块。一般来说，“宏块”可以象单个象素那样小，或象整个图象帧那样大。

同样，应该理解，术语“对象”用于说明任何尺寸或形状的象素块。一般来说，“对象”可以象单个象素那样小，或象整个图象帧那样大。

通路110上的输入视频图象被评估运动矢量的运动评估模块140接收。运动矢量是两维矢量，该矢量用作运动补偿，把来自当前图象中块的坐标位置的偏移设置在基准帧中的坐标上。基准帧可以是前一帧(P-帧)，或前一帧和/或后面的帧(B-帧)。由于仅编码和传送当前帧和基准帧之间的改变，所以通过减少信道上传送的信息量，利用运动矢量可极大地增强图象压缩。

运动补偿模块150接收来自运动评估模块140的运动矢量，以改善取样值预测效率。运动补偿包括利用运动矢量的预测，以把偏移量提供给过去的基准帧和/或后面的基准帧，其中基准帧包含用于形成预测误差的预先解码的取样值。就是说，运动补偿模块150使用预先解码的帧和运动矢量构成当前帧的评估。此外，本领域的技术人员会意识到由运动评估模块和运动补偿模块完成的功能可以用组合模块例如单块运动补偿器来完成。

此外，在对指定的宏块完成运动补偿预测前，必须选择编码模式。在编码模式判定领域中，MPEG提供多个不同的宏块编码模式。MPEG-2特别提供宏块编码模式，该模式包括内部(intra)模式、非运动补偿模式(No MC)、帧/场/双起动运动补偿相互(inter)模式、正向/反向/平均相互(inter)模式和场/帧DCT模式。

一旦选择了编码模式，运动补偿模块150根据过去的和/或后面的基准图象在路径152上产生块内容的运动补偿预测(预测图象)。通过减法器115从当前宏块中路径110上的视频图象中减去路径152上的该运动补偿预测，以在路径153上形成误差信号或预先剩余信号。预先剩余信号的形成有效地消除输入视频图象中的多余信息。应该指出，如果当前帧被编码为I-帧，那么路径153上的信号仅是原来的图象，而不是预先剩余信号。

然后，DCT模块160把正向离散余弦变换处理施加给预先剩余信号的各块，产生DCT系数的一组八(8)乘八(8)的块。DCT基本功能或子波段(subband)分解允许对于量化的下一步骤来说很重要的视觉心理(psychovi sual)准则的有效使用。

由量化DCT系数的量化模块170接收所获得的DCT系数的8×8块。通过把DCT系数除以一组量化值，并适当舍入形成整数值来表示DCT系数，由此量化处理降低了DCT系数的精度。使用基于基本功能可见度(称为视觉加权量化)的准则，对各DCT系数可以单独设定量化值。就是说，量化值对应于给定基本功能可见度的阈值，即由肉眼刚好可检测的系数幅度。通过用该值量化DCT系数，许多DCT系数被转换成“零”值，从而提高图象压缩效率。量化处理是关键操作，并且是获得可视质量和控制编码器使其输出与给定的比特率匹配(速率控制)的重要工具。由于可以把不同的量化值施加给各DCT系数，所以一般把“量化矩阵”建立成基准表，例如亮度量化表或色度量化表。因此，编码器选择确定变换块中各频率系数如何量化的量化矩阵。

但是，量化误差的主观感觉随频率极大地改变，并有利地是对更高频率采用更近似量化值。就是说，对于较高的空间频率来说，量化误差的人为主观敏感性低。结果，用比低频更少的允许值就可更加近似地量化高频。此外，精确的量化矩阵取决于许多外部参数，例如指定显示器的特性、观看距离和电源中的噪声量。因此，可以为应用或甚至对帧的单独序列裁定特定的量化矩阵。一般地，特定的量化矩阵可以象目录那样与压缩视频图象一起存储。由速率控制模块130完成量化器级数的适当选择。

接着，通过信号连接171由变长编码(VLC)模块180接收所获得的量化DCT系数的8×8块，其中量化系数的两维块按“之字”顺序扫描，以把该系数转换成量化的DCT系数的一维字符串。该之字扫描顺序是从最低空间频率至最高空间频率的DCT系数的近似连续顺序。然后，变长编码(VLC)模块180编码量化DCT系数的字符串，并利用变长编码和行程编码对宏块编码所有辅助信息。

在“先入一先出”(FIFO)缓冲器190中接收该数据流。采用不同图象类型和变长编码的结果是，FIFO中的所有比特率是可变的。就是说，用于编码各帧的比特数可以不同。在包括固定速率信道的应用中，FIFO缓冲器用于使编码输出与信道匹配，平滑比特率。因此，路径195上的FIFO缓冲器190的输出信号是路径110上的输入视频图象的压缩表示(或输入图象和预测图象之间的压缩差别信号)，其中，把该信号送入存储介质或通过路径295送入电信信道。

速率控制模块130用于监视和调整进入FIFO缓冲器190的数据流的比特率，防止数据流传送后在解码器侧(在接收器或目标存储装置，未示出)上溢或下溢。因此，速率控制模块130的任务是监视缓冲器190的状态，以控制编码器产生的比特数。

在本发明的优选实施例中，速率控制模块130在各帧内对各区域或“对象”选择量化器级数，以保持视频图象的总体质量，同时控制编码速率。就是说，可以测定帧，以确定该帧内某些区域是否需要更大或更小的比特率分配。已经看到，对于不同的应用来说，变化的区域比其它区域更重要，例如，对于观察者来说，电视电话中人的面部一般比背景更重要。其它实例包括医学上的应用，其中某些图象区域即潜在的肿瘤比周围组织更重要，或在监视应用中，其中某些图象区域即军事评估比周围的伪装更重要等等。因此，实际的应用将规定限定帧内有关区域或对象的重要性规则。在本发明中，在各帧内对各区域或对象选择量化器级数，以便达到图象的目标比特率，同时在图象的整个序列上保持均匀的可视质量。

应该理解，尽管用进行时间(例如，运动评估/补偿)和空间编码(例如，离散余弦变换)的编码器说明了本发明，但本发明不限于此。可以采用其它时间和空间编码方法，包括不采用任何时间和空间编码。

特别是，速率控制模块130包括帧速率分配器131和对象速率分配器132。帧速率分配器131对当前帧分配比特预算(目标帧比特率)，而对象速率分配器132对当前帧内各限定对象分配比特预算(目标对象比特率)。

简单地说，帧速率分配器131从预先编码的图象中或通过实施各种MPEG测试模式初步获得特定类型图象(I、P、B)的复杂性的大致评估。该评估的复杂性用于导出编码各帧所需的预测比特数。利用这种认识，根据具有多项式的复杂性量度，计算帧的量化器级数。导出该复杂性量度，以满足对帧选择的量化器级数应该达到图象目标比特率的限制。一旦帧被编码，速率控制模块就通过使用多项式回归处理递归地调整复杂性量度。就是说，编码宏块所需的实际比特数用于限定复杂性量度，以改善对后续帧的量化器级数的预测。在计算量化器级数中，“目标帧比特率”也被递归地更新。在1998年2月11日申请的序列号为09/022349(代理编号SAR12459)的专利申请“编码***中速率控制最佳化的装置和方法”中披露了这种帧速率分配方法，该申请在此引证作为参考。应该理解，本发明可以采用其它帧比特率分配方法，例如，根据失真量度等的帧比特率分配方法。

简单地说，接着，对象速率分配器132应用计算过的目标帧比特率来确定一个或多个目标对象比特率，其中目标帧比特率的比特与对象的绝对差(MAD)均方成正比分布。下面，参照图4进行目标对象比特率和对应的量化器级数选择方法的详细说明。

应该指出，由可选择的对象分类或分段模块120确定各帧内的对象。对象分类或分段模块120包括必要的规则以限定各帧内的对象。可采用各种对象分类或分段方法，例如，MPEG-4标准附件FISO/IEC 14496-2所述的。

另一方面，可以直接从路径112上的图象序列中获得“基于对象的”信息，例如，哪些象素值组成对象、这些象素值的位置等。就是说，如果图象序列被预先处理和存储在存储介质中，例如，在服务器上存储的图象序列或程序，那么产生存储图象序列的编码器可传递“基于对象的”的信息。换句话说，“基于对象的”信息可以与图象序列一起传送至编码器100。在这种情况下，可以省略对象分类和分段模块120。

再参照图1，通过信号连接线172由反量化模块175接收由量化模块170量化的DCT系数的8×8块。在该阶段，编码器通过编码数据重新产生输入视频图象的I-帧和P-帧，以便它们被用作后续编码的基准帧。

所获得的DCT系数的反量化8×8块传到反DCT模块165上，其中反DCT被提供给各宏块，产生解码误差信号。该误差信号通过加法器155反加在来自运动补偿模块的预测信号上，产生解码基准图象(重现的图象)。

图2表示根据图象内的对象对图象导出和分配比特的方法200的流程图。更具体地说，方法200在步骤205开始，并进入步骤210，在该步骤210中，为当前帧确定目标帧比特率。在优选实施例中，利用通过使用多项式回归处理(参见图3)的递归调整的复杂性量度来确定目标帧比特率。

图3表示确定目标帧比特率的方法300的流程图。参照图3，该方法在步骤305开始，并进入步骤310，其中该方法如下确定帧的目标比特率(目标帧比特率)T_frame： $T_{\mathrm{frame}}=\frac{R}{\mathrm{Nf}}\×(1-\mathrm{past}\_\mathrm{percent})+T_{\mathrm{previous\; frame}}\×\mathrm{past}\_\mathrm{percent}---\left(1\right)$

其中，R是帧序列的剩余比特数，Nf是该序列中剩余的帧数，T_{previous frame}是用于编码前一帧的比特数，而past_percent是常数。在优选实施例中，把常数past_percent选择为0.05。但是，本发明不限于此。根据特定的应用或图象的内容，可以采用其它值。实际上，可以临时调整这些值。

总之，公式(1)允许根据可得到的比特和最新编码的帧比特计算目标帧比特率。如果最新的帧复杂并使用许多比特，那么导致应该把更多比特分配给当前的帧。但是，这种增加的分配将减少编码剩余帧的比特的有效数，从而限制对该帧增加分配。如公式(1)中第二项所示，加权平均反映这两个系数的综合平衡。

在步骤320中，方法300按当前缓冲器填满度(fullness)把目标帧比特率T_frame调整如下： ${T\′}_{\mathrm{frame}}=\frac{(a+c\×b)}{(c\×a+b)}\×T_{\mathrm{frame}}------\left(2\right)$

其中，T'_frame是调整的目标比特率，“a”是当前缓冲器填满度(包括待传送至解码器的比特的缓冲器部分)，b是(物理缓冲器大小-缓冲器填满度(a))，而c是选择的值为2(可以使用其它值)的常数。因此，这样的“b”表示缓冲器中的剩余空间。公式(2)指出，如果缓冲器被填满一半以上，那么调整的目标比特率T'_frame下降。相反，如果缓冲器未被填满到一半，那么调整的目标比特率T'_frame增加。如果缓冲器正好填满一半，那么由于公式(2)简化为T'_frame=T_frame，所以不需要调整。

然后，在步骤330中，方法300随意地验证如下保持的目标帧比特率(Rs/30)的下边界：

T_frame=Max(R_s/30，T_frame)    (3)

应该指出，公式(3)允许T_frame采用两个可能值中较大(max)的，其中，R_s是序列(段)的比特率(例如，24000比特/秒)。就是说，目标速率的下边界(R_s/30)被用于保持或保证最小量，例如，可以把800比特/帧设定为最小。如果不能保持最小量，那么解码器可选择完全越过当前帧。然后，方法300在步骤340中结束。

应该理解，在本发明的情况下，可以采用其它帧比特率分配方法，例如，MPEG TM4和TM5。但是，由于目标对象比特率是利用目标帧比特率推导出来的，所以因采用的帧比特率分配方法会影响目标对象比特率的计算操作量(overhead)和精度。例如，如果期望以性能为代价使计算的复杂性最小，那么可适当地采用MPEG TM4和TM5的帧比特率分配方法。相反，如果期望以增加计算复杂性为代价使性能最大，那么可以采用专利申请(代理编号SAR12459)的帧比特率分配方法，或其它更复杂的帧比特率分配方法。

返回到图2，一旦T_frame被确定，那么方法200在下面的图4所示的当前图象内确定对象的一个或多个目标对象比特率。然后，方法200在步骤230中结束。

图4表示在当前图象内确定对象的一个或多个目标对象比特率的方法400的流程图。该方法从步骤405开始并进入步骤410，其中，对于每个对象i(i=1，2，3…)，目标对象比特率V_i确定如下：

V_i=K_i×T_frame    (4) $K_i=\frac{{\left(\mathrm{Ma}{d}_i\right)}^2}{\underset{k=i}{\overset{n}{\mathrm{\Σ}}}{\left(\mathrm{Ma}{d}_k\right)}^2}---\left(5\right)$

其中，Mad_i是对象i的平均绝对差(MAD)，n是帧中的对象数，而V_i是对对象i导出的目标对象比特率。就是说，在整个区域或在图象中限定“对象”的区域进行计算，获得对象的平均象素值。

更具体地说，对对象内限定的象素计算各象素值(在原图象中)和对应的象素值(在预测的图象中)之间的绝对差。接着，计算对象象素的所有绝对差之和(SAD)。最后，SAD除以对象中的象素数，以产生对象的平均绝对差象素值(MAD)。因此，目标帧比特T_frame与对象的平均绝对差(MAD)的平方成正比地分布。

例如，如果对象“a”的Mad_a为2，对象“b”的Mad_b为3，而T_frame被确定为100，那么V_a和V_b分别为： $V_a=\frac{2^2}{2^2+3^2}\×100$ 和 $V_b=\frac{3^2}{2^2+3^2}\×100$ 。

在步骤420中，方法400询问V_i是否足够大，以传送对象i的形状信息。就是说，对象比特V_i用于编码三组信息：1)语法信息(例如，标题信息)，2)对象i的运动信息(运动矢量)和3)形状信息，该信息限定图象内对象i的形状。

在优选实施例中，利用限定图象内对象位置的“alpha面”提供形状信息。例如，如果图象被限定为有两个对象a和b，那么图象上的象素值由量化器量化，产生仅有0和1值的“alpha面”(在本例中，为二进制alpha面)，其中，用“0”占据的区域表示对象“a”，而用“1”占据的区域表示对象“b”。通过把图象量化为三个或多个等级等，alpha面可以依次构成有大于两个对象的图象。

因此，alpha面的大小与原图象的大小相同。因此，目标对象比特率Vi的一部分必须被用于把该形状信息传送至解码器。

但是，为了避免目标对象比特的重要部分被用于编码运动矢量和/或对象形状信息，取代用于编码对象内容或结构的有效比特的情况，方法400采用对象形状控制机构(称为“alpha_th_i”的阈值)，以增加或降低地改变分配给形状编码的比特数。

更具体地说，如果在步骤420中的询问被否定地回答，那么方法400到达步骤423，其中阈值alpha_th_i按下式调整：

如果(V_i≤syntax_i+montion_i+shape_i)那么

alpha_th_i=min(35，alpha_th_i+d)    (6)

其中syntax_i表示编码对象i的语法信息(例如，标题信息)所需要的比特；montion_i表示编码对象i的运动信息(例如，运动矢量)所需要的比特；shape_i表示编码对象i的形状信息所需要的比特；而“d”是设定值为5的常数。常数“d”可以根据特定的应用设定为其它值。

开始，对对象i来说把阈值alpha_th_i设定为零，而一旦对对象建立了alpha_th_i，那么它从帧到帧通用(并且可变更)。应该指出，公式(6)中的shape_i最初取自前一帧中对应的shape_i。这允许方法400迅速地测定V_i是否足以编码syntax_i、montion_i和shape_i，从而控制如何调整alpha_th_i。

在操作中，alpha面一般被下取样，例如，降至四分之一，以减少用于传送形状信息的比特数。但是，由于下取样是有损失的处理，所以误差被导入对象的位置或边界。因此，方法400通过计算原alpha面和下取样然后上取样的alpha面之间各对象的绝对差SADi的和来测量该误差。然后，把SAD_i与alpha_th_i比较如下：

如果SAD_i＞(16×alpha_th_i)，那么

减小下取样因子    (6a)

然后，使用新的下取样因子重复公式(6a)，例如，因子2，然后利用公式(6a)等将SAD_i再次与alpha_th_i进行比较。在某些点上，SAD_i将小于16×alpha_th_i的值，在这种点上，当前下取样因子被用于产生shape_i的比特数。因此，变化alpha_th_i影响分配给形状信息的比特数。常数16是实验性推定的，但该常数可根据不同的应用来变更。

更具体地说，如果确定目标对象比特率V_i小于对前一帧中对象i编码syntax_i、montion_i和shape_i所需要的比特，那么alpha_th_i增加5。增加alpha_th_i降低了对象i的位置精度，即在对象边界上导入失真。应该指出，公式(6)有最大(max)函数，其中，把alpha_th_i设定为35或alpha_th_i+5。因此，在某些情况下，即使步骤420中的询问是否定的回答，也可以适当维持alpha_th_i的值。

如果步骤420中的询问是肯定的回答，那么方法400进入步骤425，其中，阈值alpha_th_i按下式调整：

如果(V_i＞syntax_i+montion_i+shape_i)那么

alpha_th_i=max(0，alpha_th_i-d)    (7)其中，“d”是也设定为值5的常数。再有，常数d也可以根据特定的应用设定为其它值。因此，如果确定目标对象比特率V_i大于对前一帧中的对象i进行编码H_i(即syntax_i+montion_i+shape_i)所需要的比特，那么alpha_th_i减小5。减小alpha_th_i提高了对象i的位置精度，即失真在对象的边界上最小。应该指出，公式(7)有最小(min)函数，其中，把alpha_th_i选择为小于0或alpha_th_i-5。

在步骤430中，方法400根据下列式(8a-b)调整V_i：

如果(缓冲器填满度+V_i＞容限)那么

V_i=Max(R_s/30/对象数、容限缓冲器填满度)    (8a)

如果(缓冲器填满度-B_pp+V_i≤安全容限×缓冲器容量)那么

V_i=B_pp-V_i-缓冲器填满度+安全容限×缓冲器容量(8b)其中，把“容限”定义为：

容限=最高限度((1.0-安全容限)×缓冲器填满度)    (9)其中，“缓冲器填满度”是当前缓冲器填满度(即包括要传送至解码器的比特的缓冲器部分)，“安全容限”是设定为0.1的常数(根据应用可以使用其它值)，R_s是序列(或段)的比特率，“对象数”是图象中的对象数，“缓冲器容量”是缓冲器的大小，而B_pp是信道输出速率。就是说，如果方法400检测由式(8a)定义的缓冲器条件，那么调低V_i至用较大的比特率除以30(视频的显示帧速率)再除以图象中的对象数或缓冲器中空间剩余部分的值，减去由“容限”限定的部分即容限缓冲器填满度。

另一方面，如果方法400检测由式(8b)定义的缓冲条件，那么把V_i调整至计算信道输出速率。总之，根据缓冲器的当前状态即缓冲器的填满度来调整V_i。在该步骤中，方法400对图象中各对象完成计算目标对象比特率V_i的任务。

一旦确定图象中各对象的V_i，那么可以使用目标对象比特率V_i，影响其它编码参数，例如，如下所述对各对象确定量化器级数。或者，可以提供其它编码参数，例如计算资源的分配。就是说，如果确定特定的对象有大的V_i，那么可以分配更多的处理能力，例如，在编码特定对象中致力于多个处理编码***中的更多的处理。

回到图4，在步骤440中，方法400计算各对象i的量化级数Q_i，接着利用量化级数Q_i在步骤450中编码对象i。然后，方法400在步骤460中结束。

在优选实施例中，按照序号为09/022349(代理编号SAR12459)的美国专利披露的失真测量，计算量化级数Q_i。简单地说，量化级数Q_i可按如下表示的二次速率失真方法导出：(R_i-H_i)=X₁E_iQ_i ^-1+X₂E_iQ_i ^-2其中 $\underset{i}{\mathrm{\Σ}}{R}_i=T_{\mathrm{frame}}---\left(10\right)$ 其中，R_i是对象i使用的实际比特，H_i是语法、运动和形状编码使用的标题比特，Q_i表示对对象i选择的量化等级或级数，E_i表示失真量度。在优选实施例中，E_i表示完成运动补偿后当前对象的平均绝对差。就是说，该量度E_i提供调整对象比特的预算以计算序列中连续帧之间的对象差的方法。通过求出当前对象和来自从块到块的前一帧中相同对象之差的和并计算平均绝对差量度来计算E_i。换句话说，当前帧中的对象与前一帧中相同对象之间的差越大，当前帧中需要编码对象的比特数就越大。此外，可以采用其它失真量度，以致E_i可以表示均方误差或正好变明显的差(jnd)。

在初始化期间，式(10)中的R_i被计算出的V_i代替以产生Q_i。但是，在实际编码后，R_i和Q_i被用于更新采用多项式回归模型或二次回归模型的参数X₁和X₂，以改善参数X₁和X₂。就是说，变更常数X₁和X₂，计算对对象分配的比特与相对于量化器等级或级数编码对象所需要的实际比特数之间与的偏差。回归模型在现有技术中是众所周知的。对于各种回归模型的详细论述例如可参见Bowerman及0'Connell，Forecasting and Time Series，3rd Edition，DuxburyPress，(1993，chapter4)。

参数X₁和X₂被如下初始化：

X₁=(R_s ^*N_s)/2

X₂=0         (11)

R_s表示序列(或段)的比特率，例如，每秒24000比特。N_s表示编码帧之间的距离。就是说，因使用低比特率，所以序列内的某些帧可以不被编码(跳越)，例如，编码器仅编码所有的第四帧。应该理解，跳越帧的数可以按实际应用的需要来增减。

更具体地说，在编码下帧前，编码器也可以检验当前缓冲器填满度，和检验下帧的估计的目标帧比特率T_frame。如果缓冲器填满度加下帧的目标帧比特率在缓冲器容量的80％以上，那么下帧在不编码的情况下将被跳越，并通过信道输出速率变更缓冲器填满度。帧跳越条件可用公式表示如下：

如果(缓冲器填满度+T_{previous frame}-B_pp)＞(缓冲器容量x跳越容限)

那么跳越下帧    (12)

其中，“跳越容限”被设定为0.8(根据应用，可以采用其它值)。在序列号09/022349(代理编号SAR12459)的美国专利申请中也披露了这种跳越方法。

尽管本发明说明了量化计算方法和帧跳越方法，但应该理解，在目前的基于对象的速率控制方法情况下，可以使用其它量化计算方法和帧跳越方法。

图5表示包括本发明的基于小波(wavelet)的编码器500。该编码器包括块运动补偿器(BMC)和运动矢量编码器504、减法器502、离散小波变换(DWT)编码器506、比特率控制器510、DWT解码器512和输出缓冲器514。

一般地，如上所述，输入信号是视频图象(在视频序列中定义帧的两维象素阵列)。为了通过低比特率信道准确地传送图象，必须显著地降低视频帧序列中空间和时间的冗余量。这一般通过编码和传送连续帧之间的差来完成。编码器有三个功能：第一，使用BMC和其编码器504产生表示出现在帧之间的运动的多个运动矢量；第二，与运动矢量组合地使用前一帧的重构模型预测当前的帧；第三，从当前帧中减去预测的帧，产生与运动矢量一起被编码和传送至接收器的剩余帧。

离散小波变换完成小波分级的子波段(subband)分解，以产生表示输入图象的普通小波树。为了实现这种图象分解，利用双倍子取样为高水平-高垂直(HH)、(高水平-低垂直(HL)、低水平-高垂直(LH)和低水平-低垂直(LL)频率子波段来分解图象。接着，LL子波段再被双倍子取样(subsampling)，以产生一组HH、HL、LH和LL子波段。递归地完成这种子取样，以产生例如图6所示的已经进行三次子取样的一系列子波段。实际上，最好进行六次子取样。子波段之间父子相关性如从父节点的子波段指向子节点的子波段的箭头所示。最低频率子波段是上部左边的LL₁，而最高频率子波段在底部右边的HH₃处。在本实例中，所有子节点有一个父体。子波段分解的详细论述可参见J.M.Shapiro，“Embedded Image Coding UsingZerotrees of Wavelet Coefficients”，IEEE信号处理学报，Vol.41，No.12，pp.3445-62，1993年12月。

图5所示的DWT编码器按“横向优先”或“深度优先”模式编码小波树的系数。横向优先模式在比特平面中按比特平面模式横切小波树，即量化所有父节点，接着量化所有子节点，然后量化所有第三代节点等。相反，深度优先模式从低-低子波段(LL₁)的根节点到子节点(顶部向下)或从子节点到低-低子波段(底部向上)横切各树。如上所述，通过速率控制器510进行适当量化等级的选择，以在序列的各帧内控制各对象的比特率。因此，本发明可适合于采用不同变换的编码器的各种类型。

图7表示本发明的编码***700。该编码***包括通用计算机710和各种输入/输出装置720。通用计算机包括中央处理单元(CPU)712、存储器714和接收和编码图象序列的编码器716。

在该优选实施例中，编码器716简单地为上述那样的编码器100和/或编码器500。编码器716可以是通过通信信道与CPU712连接的物理装置。另一方面，编码器716可以用存储装置装载的和由计算机的存储器712中存储的应用软件(或软件和硬件的组合，例如，采用特定的集成电路(ASIC))来表示。因此，本发明的编码器100和500可以被存储在计算机可读的介质中，例如存储器或存储装置中。

计算机710可以与多个输入和输出装置720耦接，例如，键盘、鼠标器、摄象机、camcorder、视频监视器、多个图象装置或存储装置，但不限于此，还有磁带驱动器、软盘驱动器、硬磁盘或小型磁盘驱动器。输入装置把输入提供给计算机，以便产生编码的视频比特流或接收来自存储装置或图象装置的视频图象序列。最后，通信信道730显示来自编码***的编码信号被传送至解码***(未示出)。

由此，已经展示和说明了在各帧内对各区域或“对象”选择量化器级数以保持视频图象的总体质量同时使编码速率最佳的新颖装置和方法。但是，对于本领域技术人员来说，在研究本说明书和披露其实施例的附图后，显然可以进行属于本发明的许多改变、改进、变更和各种其它应用。不脱离本发明的精神和范围的所有这些改变、改进、变更和各种其它应用都被认为包括在本发明内。

Claims (10)

1．一种分配比特以编码图象序列的各帧的方法，各所述帧至少有一个对象，所述方法包括以下步骤：

(a)对该帧确定目标帧比特率；和

(b)在至少一个对象中分配所述目标帧比特率。

2．如权利要求1的方法，其中，所述分配步骤(b)包括按照至少一个对象的目标对象帧比特率分配所述目标帧比特率的步骤。

3．如权利要求2的方法，其中，按照所述对象的平均绝对差(Mad)选择至少一个对象的所述目标对象比特率。

4．如权利要求3的方法，其中，所述目标对象比特率按下式确定：V_i=K_i×T_frame和 $K_i=\frac{{\left(\mathrm{Ma}{d}_i\right)}^2}{\underset{k=i}{\overset{n}{\mathrm{\Σ}}}{\left(\mathrm{Ma}{d}_k\right)}^2}$

其中，Mad_i是对象i的平均绝对差(Mad)，n是该帧中所述对象数，而V_i是对象i的所述目标对象比特率。

5．如权利要求2的方法，其中，按照缓冲器填满度的量度调整所述目标对象比特率。

6．如权利要求1的方法，其中，所述目标帧比特率T_frame可按下式推出： $T_{\mathrm{frame}}=\frac{R}{\mathrm{Nf}}\×(1-\mathrm{past}\_\mathrm{percent})+T_{\mathrm{previous\; frame}}\×\mathrm{past}\_\mathrm{percent}$

其中，R是图象序列的剩余比特数，Nf是图象序列中剩余帧数，T_{previous frame}是用于编码前一帧的比特数，而past_percent是常数。

7．如权利要求2的方法，其中，所述目标对象比特率被分配，用以编码对象的语法信息、运动信息和形状信息。

8．如权利要求2的方法，还包括以下步骤：

(c)按照所述目标对象比特率产生所述至少一个对象的量化器级数。

9．一种编码图象序列各帧的装置，所述帧有至少一个对象，所述装置包括：

运动补偿器，用于产生当前帧的预测图象：

变换模块，用于对当前帧和所述预测图象之间的差分信号进行变换，其中，所述变换产生多个系数；

量化器，用于按至少一个量化器级数量化所述多个系数；和

控制器，用于根据至少一个对象的目标对象比特率，有选择地调整当前帧的所述至少一个量化器级数。

10．如权利要求9的装置，其中，按照所述对象的平均绝对差(Mad)选择至少一个对象的所述目标对象比特率。

Images