CN1898965B - 运动图象编码方法和装置 - Google Patents

Abstract

一种用于参考多个图象帧执行多帧运动预测的运动图象编码方法，包括：在用于多帧运动预测的参考帧中包括被以比相同图象类型的其他帧更高的图象质量编码的帧。以更高图象质量编码的帧例如是P图象帧或B图象帧，并且优选为比起相同图象类型的其他帧被分配了更多代码量的帧或比起相同图象类型的其他帧具有更小量化参数的帧。

Description

运动图象编码方法和装置

技术领域

本发明涉及运动图象编码技术，具体而言涉及用于执行多帧运动预测的运动图象编码方法和装置。

背景技术

图1是示出用于对运动图象信号进行编码的传统的典型编码装置的配置的框图。

图1所示的编码装置包括本地解码装置，并且具有频率转换单元101、量化单元102、可变长度编码单元103、解量化单元104、逆频率转换单元105、帧存储器106、帧内预测单元107、运动补偿单元108、运动估计单元109、缓冲器110和代码量控制单元111。该编码装置还包括减法器121、开关122和加法器123。

输入图象帧被馈送到编码装置中，并且被划分成多块。减法器121从经划分的块中减去帧内预测或帧间预测的预测值。在这里，帧内预测是用于通过利用要编码的当前帧的已重建区域来预测当前图象的技术，帧间预测是用于通过利用先前重建的图象帧来预测当前图象的技术。其中减去了帧内预测或帧间预测的预测值的图象块被称为预测误差。顺便说一下，这样的图象帧被称为I图象：在这种图象帧中，要编码的帧中的所有块都只通过用于从要编码的同一帧中的相邻像素产生预测值的帧内预测被编码。利用帧内预测和帧间预测两者来编码的图象帧被称为P帧。此外，在帧间预测中，通过参考在当前被编码帧之前和之后输入的多个图象帧来编码的图象帧被称为B帧。

一般来说，在要编码的运动图象数据中，I图象是以恒定间隔设置的，并且被I图象分隔开来并包括多个帧的部分被称为GOP(图象群组)。I图象、P图象和B图象以及GOP的定义由MPEG(运动图象专家组)规定，MPEG是国际标准化的运动图象编码标准。

然后，预测误差被频率转换单元101转换到频域中。被转换到频域中的预测误差被量化单元102量化。经量化的预测误差，即转换系数被可变长度编码单元103进行熵编码，并且被存储在缓冲器110中。缓冲器110输出存储的发生代码，即具有预定定时的比特流。此外，经量化的预测误差被解量化单元104和逆频率转换单元105再次返回到原始空间域作为本地解码处理。此外，预测值被加法器123添加到已返回到空间域的预测误差，并且预测误差被存储在帧存储器106中作为重建的图象。

已被存储在帧存储器106中的重建图象被帧内预测单元107、运动补偿单元108和运动估计单元109所参考，以产生预测值。因此，存储在帧存储器中的重建图象也被称为参考帧。

帧内预测单元107根据帧存储器107中的重建图象执行帧内预测，并且输出预测值。运动估计单元109根据输入图象块和从帧存储器106读取的参考帧来检测输入块和参考帧的运动向量，以使输入块和预测值之间的差异(即预测误差)最小化。运动补偿单元108通过利用从运动估计单元109提供来的运动向量和参考帧从存储在帧存储器106中的参考帧产生预测值。运动估计单元109产生的预测值是基于帧间预测的。因此，开关122被安排为切换从帧内预测单元107输出的预测值和从运动补偿单元108输出的预测值，以提供到减法器121。

作为在上述过程中压缩的运动图象信息，比特流是由可变长度代码构成的，其中主要包括每个块的转换系数、量化参数、运动向量(用于最小化预测误差)和参考帧(用于最小化预测误差)。

以上是运动图象压缩技术中的主要操作。

现在，一般来说，在数字广播***或图象通信服务中，运动图象信号的发生代码量(即其用于传输/存储的比特率)受到控制。于是，代码量控制单元111检测从可变长度编码单元103提供来的发生代码量，并且执行如下所述的两个过程来控制发生代码量。

在第一过程中，代码量控制单元111根据每种图象类型为每个帧设置目标代码量。当R是被分配给GOP中尚未被编码的帧的代码量，Np和Nb分别是GOP中尚未被编码的P图象和B图象的数目，Xi、Xp、Xb是由方程(1)到(3)定义的各自代表图象的帧复杂度的参数，并且Kp和Kb是考虑到按图象类型的主观图象质量的参数时，按图象类型的目标代码量Ti、Tp、Tb由方程(4)至(6)给出。

Xi＝Qi×Ci    (1)，

Xp＝Qp×Cp    (2)，

Xb＝Qb×Cb    (3)，

Ti＝R/(1+Np×Xp/Kp×Xi)+Nb×Xb/(Kb×Xi))     (4)，

Tp＝R/(Np+Nb×Kp×Xb/(Kb×Xp))               (5)，以及

Tb＝R/(Nb+Np×Kb×Xp/(Kp×Xb))               (6)

其中Ci、Cp、Cb分别是最后被编码的I图象、P图象、B图象的发生代码量，Qi、Qp、Qb分别是最后被编码的I图象、P图象和B图象的平均量化步长。顺便说一下，在以下说明中，为了书写方便，Ci、Cp、Cb中的一个值被表达为Ci，p，b。另外，表达式Qi，p，b＝Xi，p，b/Ti，p，b总地代表与I图象相关的方程Qi＝Xi/Ti，与P图象相关的方程Qp＝Xp/Tp以及与B图象相关的方程Qb＝Xb/Tb。

只要每个帧被根据第一过程和第二过程(稍后描述)编码，分配给GOP中尚未被编码的帧的代码量R就根据方程(7)被更新。

R＝R-Ci，p，b(7)。

此外，当GOP的头部图象被编码时，代码量R按照方程(8)初始化。

R＝bit_rate×N/frame_rate+R    (8)。

其中，bit_rate是目标比特率，frame_rate是帧速率，N是GOP中帧的数目。

在第二过程中，为了使在第一过程中获得的分配给各帧的代码量Ti、Tp、Tb与实际发生代码量相一致，根据由每种图象类型设置的虚拟缓冲器容量，通过宏块单元中的反馈控制来获得量化步长。

首先，在对第j个宏块编码之前，根据方程(9)按图象类型获得虚拟缓冲器中的占用量。

di，p，b(j)＝di，p，b(0)+B(j-1)-Ti，p，b×(j-1)/MBcount    (9)。

di，p，b(0)是虚拟缓冲器中的初始占用量，B(j)是从帧中头部到第j个宏块的发生代码量，MBcount是帧中的宏块数目。

当每个帧的编码完成时，按图象类型的虚拟缓冲器中的初始占用量di，p，b(MBcount)被用作与下一图象相关的虚拟缓冲器中的初始占用量di，p，b(0)。

然后，根据方程(10)计算与第j个宏块相关的量化步长Q(j)。

Q(j)＝Qi，p，b×di，p，b(j)×31/(10×r)    (10)，并且

Qi，p，b＝Xi，p，b/Ti，p，b                (11)。

其中r是用于控制反馈环的响应速度的参数，它被称为反应参数，并且由方程(12)表示。

r＝2×bit_rate/frame_rate    (12)

顺便说一下，编码开始时虚拟缓冲器中的初始占用量di，p，b(0)由方程(13)至(15)表示。

di(0)＝10×r/31     (13)，

dp(0)＝Kp×di(0)    (14)，以及

db(0)＝Kb×di(0)    (15)。

另一方面，提出了一种运动图象编码方案，其中结合了实现运动预测的多帧运动预测，即，P图象不仅是从就在之前编码的I图象或P图象预测的，还是从已经编码的帧预测的，而B图象不仅是从就在编码的I图象或P图象预测的，还是从已经编码的B图象预测的。在这种方案中，由于选择了先前编码的高质量帧，然后可以执行运动预测，因此运动预测的自由度增加了。

发明内容

要解决的技术问题：

但是，如上所述，传统的运动图象编码技术仅利用最后被编码的每种图象类型的图象类型和复杂度来控制分配给每个帧的代码量，而不根据多帧运动预测利用运动预测的自由度。因此，根据传统技术，在利用多帧运动预测的运动图象压缩中，并没有通过有效地利用多帧运动预测以高图象质量对运动图象进行编码。相反，在利用多帧运动预测的运动图象压缩中，需要一种能够通过有效地利用多帧运动预测以高图象质量对运动图象进行编码的技术。

本发明的一个目的是提供一种通过有效地利用多帧预测来以高图象质量对运动图象进行编码的运动图象编码方法。

本发明的另一个目的是提供一种通过有效地利用多帧预测来以高图象质量对运动图象进行编码的运动图象编码装置。

解决问题的技术手段：

本发明的一个目的是通过一种用于参考多个图象帧执行多帧运动预测的运动图象编码方法实现的，其中该方法包括在用于多帧运动预测的参考帧中包括被以比相同图象类型的其他帧更高的图象质量编码的帧。

本发明的另一个目的是通过一种用于参考多个图象帧执行多帧运动预测的运动图象编码装置实现的，该装置的特征在于其包括：选择装置，用于从相同图象类型的多个参考帧中选择至少一个参考帧；以及编码装置，用于以比相同图象类型的其他参考帧更高的图象质量对所选参考帧进行编码。

根据本发明，在利用多帧运动预测的运动图象压缩中，不是简单地使用最后被编码的每个图象的图象类型和复杂度，而是通过在考虑到要编码的主题帧和多帧运动预测中的参考帧之间的关系的情况下以高图象质量对作为参考帧的具有高优先级的帧进行编码，来执行代码量控制，以便改善整个场景的运动预测的效果。利用此配置，根据本发明，在利用多帧运动预测的运动预测的自由度的运动图象压缩中，可以执行更高图象质量的运动图象编码方法。

另外，根据运动图象的场景，要以更高图象质量编码的帧被安排成具有恒定的帧间隔，或者要以更高图象质量编码的帧的帧间隔根据参考帧和要编码的主题帧之间的差别信息和运动信息而适应性地改变，从而准确地选择具有优先级的要以更高图象质量编码的参考帧，因此可以提供对于更高图象质量的运动图象的代码量控制。因此，可以以更高的图象质量对运动图象进行编码。

另外，更多的代码量被分配给作为参考帧的具有高优先级的B图象帧，从而提供对更高图象质量的运动图象的代码量控制。因此，由于整个序列的运动预测的效果能够得到改善，运动图象就能够被以更高的图象质量编码。

附图说明

图1是示出传统的典型运动图象编码装置的配置的框图。

图2是用于说明根据本发明的运动图象编码过程的视图。

图3是用于说明根据本发明的运动图象编码过程的视图。

图4是示出根据本发明第一实施例的运动图象编码装置的配置的框图。

图5是示出图象质量控制单元的配置的框图。

图6是示出图象质量确定过程的流程图。

图7是用于说明要以高图象质量编码的帧的视图。

图8是示出图象质量控制计数器过程的流程图。

图9是示出代码量控制单元的配置的框图。

图10是示出用于分配代码量给帧的过程的流程图。

图11是示出用于更新量化参数的过程的流程图。

图12是示出根据本发明第二实施例的运动图象编码装置的配置的框图。

图13是示出运动图象分析单元的配置的框图。

图14是示出运动检测过程的流程图。

图15是示出图象质量控制单元的配置的框图。

图16是示出图象质量确定过程的流程图。

图17A是用于说明最优参考帧的视图。

图17B是用于说明最优参考帧的视图。

图18A是用于说明帧间预测的难度的视图。

图18B是用于说明帧间预测的难度的视图。

图19是示出用于确定以高图象质量编码的帧的过程的流程图。

图20是用于说明要以高图象质量编码的帧的视图。

图21是示出图象质量确定过程的流程图。

图22是用于说明要以高图象质量编码的帧的视图。

图23是示出用于分配代码量给帧的过程的流程图。

图24是示出图象质量确定过程的流程图。

图25是根据本发明的安装有运动图象编码装置的信息处理***的典型框图。

图26是示出被提供有根据本发明生成的运动图象比特流的接收器的示例的框图。

图27是示出用于生成参考帧图象质量波动标志的过程的流程图。

具体实施方式

在本发明中，如上所述，通过以高图象质量对作为参考帧的具有高优先级的帧进行编码，在考虑到要编码的主题帧和多帧运动预测中的参考帧之间的关系的情况下，以整个场景的运动预测的效果得到改善的方式，来控制编码量。

在下面的说明中，“场景(scene)”是指任何数目的连续的帧。“以高图象质量编码的帧”是指更多代码量被分配给该帧，或者该帧的量化步长较小，或者帧中的编码失真被减小。

下面，将比较传统技术说明本发明的基本原理。

根据本发明，在利用多帧运动预测的运动图象编码方法中，相同图象类型的帧的图象质量不是一致的，而是可变的，从而增强了整个场景的运动预测的效果，以便以高图象质量对运动图象进行编码。另一方面，在传统的利用运动预测方法的运动图象编码方法中，由于运动预测只是用刚刚被编码的图象来执行的，因此只能执行相同图象类型的帧的图象质量保持一致的编码。因此，当同一场景中的图象质量改变时，在参考另一个图象质量较低的帧的帧中，帧间差异增大了，从而运动预测的效果降低了。因此，整个场景的编码效率降低了，从而被编码的运动图象的图象质量降低了。

接下来，参考图2说明该问题。

如图2中的实线所示，在传统运动预测中，每个P图象只参考刚刚被编码的I图象或P图象。即使尝试以比P₁、P₃帧更高的质量对P₂、P₄帧进行编码，P₁帧也是以低图象质量编码的，因此参考P₁帧的P₂帧中的运动预测的效果大大降低，并且P₂帧中的图象质量也大大降低。参考P₂帧的P₃帧中的图象质量也大大降低，并且因为图象质量降低在随后的帧中传播，因此整个场景的图象质量降低。因此，在利用传统运动预测的方法中，相同图象类型的图象的图象质量必须保持一致。

但是，像应用本发明的编码方法那样，存在一种能够通过不仅参考刚刚被编码的帧还参考已经被编码的帧来执行运动预测的多帧运动预测。在图2的根据多帧运动预测的情况下，除传统方法外，还可执行由虚线指示的预测。在这种情况下，要被参考的帧可以按帧中的区域或块来选择。

利用这种多帧预测配置，可以执行即使在图象类型相同的情况下也改变图象质量的编码。参考图2说明本发明。

在图2所示的多帧运动预测中，每个P图象参考刚刚被编码的多个I图象或P图象。在该示例中，两个I图象或P图象被参考。即使在尝试以比P₁、P₃帧高的质量对P₂、P₄帧编码而P₁帧是以低质量编码的情况下，在不仅参考P₁帧还参考I₁帧的P₂帧中，运动预测的效果也不会大大降低。因此，P₂帧被以更高的质量编码。

此外，参考以高图象质量编码的P₂帧的P₃帧中的运动预测的效果增强了，并且P₃帧被以高于传统技术的质量编码。此外，由于P₄帧参考以高图象质量编码的P₂、P₃帧，因此P₄帧被以较高质量编码。在随后的帧中，与上述帧类似，运动预测的效果增强，并且运动图象能够以高图象质量被编码。

利用这种配置，比起传统技术，运动预测的效果增强了，并且运动图象能够以高图象质量被编码。此外，根据本发明编码的运动图象从主观上来说提供了比传统技术更高的图象质量，这是因为按照视觉存留，即按照人类视觉特征，以高图象质量编码的帧在被解码时被周期性地显示。

在以上说明中，示出了只使用I图象和P图象的示例，但是，本发明也可用于使用I图象、P图象和B图象的情况。参考图3，说明在存在I图象、P图象和B图象的情况下与传统技术相比根据本发明的优点。顺便说一下，与P图象相关的基本概念与图2所示的类似，因此下面是在仅关注B图象的同时进行说明的。

在传统技术中，B图象帧是不被参考的帧，即不被另一帧参考的帧。因此，当B图象帧连续时，各个连续的B图象中的运动预测的效果是相等的。因此，相同的代码量被分配给各个连续的B帧，并且B帧被以相同的图象质量编码。因为各个连续的B图象的运动预测的效果是相等的，因此当关注图3的示例中的B₁和B₂帧时，从I₀、P₃帧到B₁帧的距离分别是1和2，从I₀、P₃帧到B₂帧的距离分别是2和1，用于确定运动预测效果的帧距离总量都是3。

但是，在利用多帧运动预测的运动图象编码中，B图象也可以参考先前编码的另一个B图象。因此，连续的B图象的运动预测的效果是可变的。当关注图3中的B₁和B₂帧时，B₂帧可以执行不仅参考I₀帧还参考具有较短帧间距离的B₁帧的运动预测，并且很明显，B₂帧比起B₁帧来可以提供更高的运动预测性能。因此，即使不向B₁和B₂帧分配相同的代码量，也可以以相同的图象质量来对B₁和B₂帧进行编码。

利用该技术，根据本发明，在利用多帧运动预测的运动图象编码方法中，将代码量分配给连续B帧中按编码顺序优先级处于第一位的参考B帧，从而以高图象质量执行运动图象编码。由于在图3中代码量是按优先级分配给B₁和B₂帧的，因此比起传统技术来B₁帧被以更高的图象质量编码，并且参考B₁帧的B₂帧可以以比B₁更高的图象质量编码。换言之，通过改变B图象帧的图象质量，整个运动预测的效果增强了，并且运动图象能够被以更高的图象质量编码。

下面说明本发明的具体实施例。

图4所示的根据本发明第一实施例的运动图象编码装置除了图1所示的运动图象编码装置还包括图象质量控制单元112，并且代码量控制单元111基于从图象质量控制单元112提供来的图象质量控制信息确定与参考帧相对应的分配代码量。在图4中，相同的标号被用于与图1中相同的构成元件，并且对其的详细说明被省略。顺便说一下，在第一实施例中，说明了在I图象和P图象被用作用于对帧进行编码的图象类型时的操作。下面，说明图象质量控制单元112和代码量控制单元111，它们是根据第一实施例的运动图象编码装置的区别特征。

如图5所示，图象质量控制单元112包括图象质量确定单元1121和图象质量控制计数器1122。从图象质量控制单元112提供来的图象质量控制信息包括高图象质量标志HQ_flg、剩余高图象质量帧数目R_HQ_num以及剩余高图象质量帧编号R_HQ_frame_num。图象质量控制单元112中的图象质量确定单元1121计算高图象质量标志HQ_flg、高图象质量帧数目R_HQ_num和高图象质量帧编号R_HQ_frame_num，并且将高图象质量标志HQ_flg提供到代码量控制单元111，以及将高图象质量帧数目HQ_num和高图象质量帧编号HQ_frame_num提供到图象质量控制计数器1122。

下面参考图6说明根据第一实施例的图象质量确定单元1121的操作。在下面的说明中，要以高图象质量编码的帧相互间的帧间隔由S表示，刚刚确定要以高图象质量来编码的帧编号由prev_hq_num表示，已被确定具有高图象质量的帧的数目由i表示。此外，满足S≤MAX_REF，其中要编码的主题帧与多帧预测能够参考的最靠前的帧之间的间隔由MAX_REF表示。prev_hq_num和i的初始值都是0。

顺便说一下，在第一实施例中，在一段时间的压缩之后，例如一个GOP或场景的压缩之后，可以根据运动速度或帧速率改变以高图象质量编码的帧间隔S。通过按GOP或场景来选择帧间隔S以便与之适合，根据本发明的编码效率获得了进一步提高。

在步骤S101中，图象质量确定单元1121基于帧间隔S和GOP中帧的数目N通过利用方程(16)计算高图象质量帧数目HQ_num。

HQ_num＝(N/S)-1    (16)。

然后，在步骤S102中，图象质量确定单元1121确定已经被确定具有高图象质量的帧的数目i是否小于高图象质量帧数目HQ_num。当小于时，执行步骤S103，当不小于时，过程完成。

在步骤S103中，图象质量确定单元1121利用方程(17)计算高图象质量帧编号HQ_frame_num[i]。此外，已经被确定具有高图象质量的帧的数目i被递增1，刚刚被确定要以高图象质量编码的帧编号prev_hq_num按方程(18)被更新，并且执行步骤S102。

HQ_frame_num[i]＝prev_hq_num+S         (17)，并且

prev_hq_num＝HQ_frame_num[i]           (18)。

在上述过程之后，图象质量确定单元1121在HQ_num不小于1时开启HQ_flag，在其小于1时关闭HQ_flag。

在本实施例的运动图象编码装置中，根据图6所示的过程，按间隔S以高图象质量对在另一帧被编码时会被参考的参考帧进行编码。由于S不大于多帧预测中能够参考的最靠前的帧的间隔MAX_REF，因此能够在参考以高图象质量编码的帧的同时对所有要编码的主题帧必要地执行运动预测。

例如，图7示出了在N＝10，MAX_REF＝3并且S＝2的情况下，根据本实施例的方法要以高图象质量编码的帧。在这种情况下，P₂、P₄、P₆、P₈中的每个帧被以高图象质量编码。

图象质量控制计数器1122根据从代码量控制单元111提供来的帧编号coding_frame_num和从图象质量确定单元1121提供来的高图象质量帧数目HQ_num和高图象质量帧编号HQ_frame_num[HQ_num]计算剩余高图象质量帧数目R_HQ_num和剩余高图象质量帧编号R_HQ_frame_num，并将它们输出到代码量控制单元111。图象质量控制计数器1122仅在高图象质量帧数目HQ_num不小于1时工作。在这里，GOP头部的I图象的帧编号由frame_num_I表示，高图象质量帧计数器HQ_frame_count被设置为0，并且参考图8说明图象质量控制计数器1122的操作。

在步骤S201中，图象质量控制计数器1122将frame_num_I添加到从图象质量确定单元1121提供来的高图象质量帧编号HQ_frame_num[HQ_frame_count]。执行该操作是为了将从代码量控制单元

提供来的正在编码的帧编号coding_frame_num与要以高图象质量编码的帧编号同步。

在步骤S202中，图象质量控制计数器1122采用HQ_frame_num[HQ_frame_count]作为剩余高图象质量帧编号R_HQ_frame_num，并输出(HQ_num-HQ_frame_count)作为剩余高图象质量帧数目R_HQ_num。然后，在步骤S203中，图象质量控制计数器1122确定帧编号coding_frame_num是否与高图象质量帧编号HQ_frame_num[HQ_frame_count]同步。当它们同步时，过程前进到步骤S204，当它们不同步时，过程返回步骤S202。

在步骤S204中，图象质量控制计数器1122将HQ_frame_count递增1，并且确定HQ_frame_count是否小于HQ_num。当HQ_frame_count小于HQ_num时，过程前进到步骤S201，当不小于时，过程完成。

如上所述，图象质量控制计数器1122将剩余高图象质量帧编号R_HQ_frame_num和剩余高图象质量帧数目R_HQ_num输出到代码量控制单元111。

如图9所示，代码量控制单元111包括帧代码量分配单元1111和量化参数更新单元1112。本实施例中的代码量控制单元111与图1所示的传统运动图象编码装置中的代码量控制单元的不同之处在于帧代码量分配单元1111的操作。

本实施例中的帧代码量分配单元1111通过利用从图象质量控制单元112提供来的图象质量控制信息(高图象质量标志HQ_flg、剩余高图象质量帧数目R_HQ_num和剩余高图象质量帧编号R_HQ_frame_num)计算分配给每个帧的代码量，并且将代码量提供到量化参数更新单元1112。量化参数更新单元1112通过利用从帧代码量分配单元1111提供来的帧分配代码量和从缓冲器110提供来的发生代码量来计算量化参数，并将量化参数提供到可变长度编码单元103。

下面说明帧代码量分配单元1111的操作。在下面的说明中，假设目标代码量Ti、Tp是按图象类型的目标代码量，R是分配给GOP中尚未被编码的帧的代码量，Np是GOP中尚未被编码的P图象的数目，Xi是最后被编码的I图象的屏幕复杂度，Xp是最后被编码的P图象的屏幕复杂度，Kp是考虑到主观图象质量的按图象类型的参数。

图10示出根据第一实施例的帧代码量分配单元1111的操作。

首先，在步骤S301中，帧代码量分配单元1111确定从图象质量控制单元112提供来的高图象质量标志HQ_flg是开启还是关闭。当高图象质量标志HQ_flg开启时，过程前进到步骤S302，当关闭时，过程前进到步骤S307。

在步骤S302中，确定要编码的帧是否是I图象。当要编码的主题帧是I图象时，过程前进到步骤S303，当不是I图象时，过程前进到步骤S304。

在步骤S303中，帧代码量分配单元1111通过方程(19)计算正被编码的I图象的代码量Ti，并且完成帧代码量分配。

Ti＝R/(1+Np×Xp/Xi)+additonal_Ti    (19)，

additional_Ti＝residul_bitl×Xi/Xgop2    (20)，

residu_bitl＝(margin_ratio×R×(Np-R_HQ_num)×Xp)/(Kp×Xgopl)

                             (21)，

Xgop1＝Xi+Np×Xp/Kp          (22)，以及

Xgop2＝Xi+R_HQ_num×Xp/Kp    (23)。

这里，margin_ratio是不大于1的数。

在这种情况下，由于向I帧分配了比传统技术多additional_Ti的比特数，因此该帧的图象质量提高了。因此，参考该帧的帧运动预测的效果得到了改善。

在步骤S304中，帧代码量分配单元1111确定正被编码的P图象的帧编号coding_frame_num是否与从图象质量控制单元112提供来的剩余高图象质量帧编号R_HQ_frame_num同步。当它们同步时，过程前进到步骤S305，当不同步时，过程前进到步骤S306。

在步骤S305中，帧代码量分配单元1111通过方程(24)计算正被编码的P图象的代码量，并且完成帧代码量分配。

Tp＝R/Np+additional_Tp    (24)，并且

additional_Tp＝(margin_ratio×R×(Np-R_HQ_num))/(Np×R_HQ_num)

                                       (25)。

在这种情况下，由于向P帧分配了比传统技术多additional_Tp的比特数，因此该帧的图象质量提高了。因此，参考该帧的帧运动预测的效果也得到了改善。

在步骤S306中，帧代码量分配单元1111通过方程(26)计算正被编码的P图象的代码量，并且完成帧代码量分配。

Tp＝(1-margin_ratio)×R/Np(26)。

在这种情况下，由于分配给帧的代码量减小了margin_ratio，因此认为该帧的图象质量降低了。但是，由于可以在参考以高图象质量编码的帧的同时通过图象质量控制单元112的控制来执行运动预测，因此可以通过提高运动预测性能来防止图象质量降低，即使分配的代码量较小也是如此。

在步骤S307中，帧代码量分配单元1111确定正被编码的帧是否是I图象。当要被编码的主题帧是I图象时，过程前进到步骤S308，当不是I图象时，过程前进到步骤S309。

在步骤S308中，帧代码量分配单元1111通过方程(27)计算正被编码的I图象的代码量，并且完成帧代码量分配。

Ti＝R/(1+Np×Xp/Xi)    (27)。

类似地，在步骤S309中，帧代码量分配单元1111通过方程(28)计算正被编码的P图象的代码量，并且完成帧代码量分配。

Tp＝R/Np    (28)。

根据如上所述的代码量分配，通过利用多帧运动预测中的运动预测的自由度，所有帧都可以参考以高图象质量编码的帧。利用此配置，根据本实施例，由于整个场景的运动预测的效果得到了改善，因此运动图象能够被以高图象质量编码。

量化参数更新单元1112基于为每种图象类型设置的虚拟缓冲器容量按宏块对量化参数执行反馈控制，以便使分配给各帧的、在帧代码量分配单元1111中获得的代码量Ti、Tp与实际发生代码量匹配。图11是更新量化参数的流程图。

首先，在步骤S401中，量化参数更新单元1112在第j个宏块的编码之前利用方程(29)计算按图象类型的虚拟缓冲器占用量。

di，p(i)＝di，p(0)+B(j-1)-Ti，p×(j-1)/MBcount(29)。

其中di，p(0)是按图象类型的虚拟缓冲器中初始占用量，B(j)是从帧头部到第j宏块的发生代码量，MBcount是帧中的宏块的数目。显然，I图象的虚拟缓冲器中初始占用量是di(0)，P图象的虚拟缓冲器中初始占用量是dp(0)。

在完成对每个帧的编码时，按图象类型的虚拟缓冲器中初始占用量di，p(MBcount)被用作下一图象的虚拟缓冲器中初始占用量di，p(0)。

然后，在步骤S402中，量化参数更新单元1112通过方程(30)计算与第j宏块相关的量化步长。

Qstep＝Qi，p×di，p(j)×31/(10×r)    (30)，并且

Qi，p＝Xi，p/Ti，p                    (31)。

利用帧代码量分配单元1111进行的控制，要以高图象质量编码的帧的分配代码量Ti，p变得比传统技术的大。因此，从方程(31)可以明显看出，高图象质量帧的量化步长Qi，p较小，并且帧是以高图象质量编码的。因此，要输出的比特流的帧的平均量化参数以帧间隔S提供较小的值。

在这里，r是一个被称为反应参数的参数，它用于控制反馈环的响应速度，并且由方程(32)给出。

r＝2×bit_rate/frame_rate    (32)。

顺便说一下，在编码开始时，每种图象类型的虚拟缓冲器初始占用量di，p(0)由方程(33)、(34)给出。

di(0)＝10×r/31(33)，以及

dp(0)＝Kp×di(0)    (34)。

然后，在步骤S403中，量化参数更新单元1112从量化表中检测与量化步长Qstep相对应的量化参数Q。当在量化表中没有量化步长Qstep时，与量化步长Qstep最接近的量化步长的量化参数Q被输出。

如上所述，根据第一实施例的运动图象编码装置以高图象质量对作为参考帧的具有高优先级的帧进行编码，从而执行了代码量控制，以便整个场景的运动预测的效果得到改善。

接下来，说明根据本发明的第二实施例的运动图象编码装置。图12所示的根据本发明第二实施例的运动图象编码装置除了根据图4所示的第一实施例的运动图象编码装置之外，还包括执行运动图象分析的运动图象分析单元113。运动图象分析单元113输出帧差别信息和帧运动信息，图象质量控制单元112通过进一步利用帧差别信息和帧运动信息来生成图象质量控制信息。因此，在根据第二实施例的运动图象编码装置中，集中说明了运动图象分析单元113和图象质量控制单元112。顺便说一下，在第二实施例中，说明了I图象和P图象被用作用于对帧进行编码的图象类型的情况。

运动图象分析单元113从输入图象计算帧差别信息和帧运动信息，并将计算出的信息提供到图象质量控制单元112，并且包括输入帧缓冲器1131和运动检测单元1132，如图13所示。

输入帧缓冲器1131预见N段输入运动图象帧，按升序向各帧分配编号，并且存储了帧。要预见的帧的数目是任意的，例如可以认为在MPEG中使用的GOP间隔被用作N。

运动检测单元1132根据存储在运动检测单元1132中的帧检测每个帧的帧运动信息和帧差别信息。运动检测单元1132的操作在下面参考图14说明。运动检测单元1132针对每个被预见的帧执行图14所示的每个步骤。

首先，在步骤S501中，运动检测单元1132将帧划分成大小为w×h(小于帧大小W×H)的块，并且在步骤S502中，根据以下过程计算块的块运动信息MVX、MVY和块差别信息D以形成帧。

第cur个帧中的坐标(x，y)处的像素值被设置为F(cur，x，y)，第cur帧中的第k个划分的块被设置为B(cur，k)，该帧中B(cur，k)的左上角的坐标被设置为(bx(cur，k)，by(cur，k))。

相对于与第cur帧相距ref段的先前的帧(即第(cur-ref)个帧)，第cur帧中的块(cur，k)的块运动信息MVX(cur，k，ref)、MVY(cur，k，ref)以及差别信息D(cur，k，ref)由使方程(35)中的diff(ref，mvx，mvy)最小化的mvx、mvy以及最小化的diff(ref，MVX(cur，k，ref)，MVY(cur，k，ref))给出。

$\mathrm{diff}(\mathrm{ref},\mathrm{mvx},\mathrm{mvy})\underset{i=0,j=0}{\overset{i=w-1,j=h-1}{\mathrm{\Σ}}}\mathrm{abs}(\mathrm{cur}\_\mathrm{pixel}(i,j)-\mathrm{ref}\_\mathrm{pixel}(\mathrm{ref},i+\mathrm{mvx},j+\mathrm{mvy}))---\left(35\right)$

cur_pixel(i，j)＝F(cur，bx(cur，k)+i，by(cur，k)+j)           (36)，以及

ref_pixel(ref，i，j)＝F(cur-ref，bx(cur，k)+i，by(cur，k+j))  (37)。

然后，在步骤S503中，运动检测单元1132从块运动信息MVX、MVY和块差别信息D计算帧运动信息和帧差别信息。

当帧中的块的数目被设置为block_num时，相对于第i-j帧，第i帧的帧运动信息FMVj(i)和帧差别信息FDj(i)由方程(38)和(39)给出。

$\mathrm{FMVj}\left(i\right)=\underset{n=0}{\overset{\mathrm{block}\_\mathrm{num}-1}{\mathrm{\Σ}}}\left(\mathrm{abs}(\mathrm{MVX}(i,n,j)+\mathrm{MVY}(i,n,j))\right)---\left(38\right),$

$\mathrm{FDj}\left(i\right)=\underset{n=0}{\overset{\mathrm{block}\_\mathrm{num}-1}{\mathrm{\Σ}}}D(i,n,j)---\left(39\right).$

运动检测单元1132对每个帧i(1≤i≤N-1)和每个参考帧ref(1≤ref≤MAX_REF)执行上述过程，并且计算所有输入帧和参考帧之间的帧差别信息和帧运动信息。

如图15所示，图象质量控制单元112包括图象质量确定单元1121和图象质量控制计数器1122。从图象质量控制单元112提供来的图象质量控制信息包括高图象质量标志、剩余高图象质量帧数目和剩余高图象质量帧编号。本实施例的图象质量控制单元112与上述第一实施例的图象质量控制单元112的不同之处在于图象质量确定单元1121的操作。因此，下面说明根据第二实施例的图象质量确定单元1121的操作。

图象质量确定单元1121根据从图象质量控制单元112提供来的帧差别信息和帧运动信息计算高图象质量标志、剩余高图象质量帧数目和高图象质量帧编号。高图象质量标志被输出到代码量控制单元111，高图象质量帧数目和高图象质量帧编号被输出到图象质量控制计数器1122。下面参考图16说明根据本实施例的图象质量确定单元1121的操作。

首先，在步骤S601中，图象质量确定单元1121利用方程(40)计算每个帧i和参考帧j的帧间代价IFC(i)。α是依赖于帧的平均量化参数的值。

IFCj(i)＝FDj(i)+α×FMVj(i)    (40)，

$\mathrm{MIN}\_\mathrm{IFC}\left(i\right)=\underset{\arg 1\≤j\≤\mathrm{MAX}\_\mathrm{REF}}{\min }\left\{\mathrm{IFCj}\left(i\right)\right\}---\left(41\right).$

然后，在步骤S602中，图象质量确定单元1121利用方程(41)计算最小帧间代价MIN_IFC(i)(1≤i≤N-1)，并且获得与MIN_IFC(i)相对应的最佳参考帧BEST_REF(i)。在这里，MAX_REF是要编码的主题帧和多帧预测中能够参考的最靠前的帧之间的间隔。

在步骤S603中，图象质量确定单元1121确定是否所有帧的BEST_REF(i)(1≤i≤N-1)都是1。如图17A所示，当所有帧的BEST_REF(i)都是1时，在N段分析片段中，在没有诸如场景变化和闪烁之类的瞬时图象波动的情况下预测了连续的场景。另一方面，如图17B所示，当存在其BEST_REF(i)不为1的帧时，在N段分析片段中，在有场景变化和闪烁的情况下预测了不连续的场景。因此，在步骤S603中当所有BEST_REF(i)都为1时，过程前进到步骤S604，当并非所有BEST_REF(i)都为1时，高图象质量标志被关闭，并且高图象质量帧数目被设置为0，然后过程完成。

在步骤S604中，图象质量控制单元112通过方程(42)至(44)根据所有帧的MIN_IFC(i)(＝＝IFC1(i))计算平均帧间代价AVERAGE_IFC、帧间代价上限IFC_UPPER_LIMIT和帧间代价下限IFC_LOWER_LIMIT。在这里，margin_ratio是不大于1的值。

$\mathrm{AVERAGE}\_\mathrm{IFC}=\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{MIN}\_\mathrm{IFC}\left(i\right)/(N-1)---\left(42\right),$

IFC_UPPER_LIMIT＝(1+margin_ratio)×AVERAGE_IFC(43)，以及

IFC_LOWER_LIMIT＝(1-margin_ratio)×AVERAGE_IFC(44)。

然后，在步骤S605中，图象质量控制单元112分析是否所有帧的MIN_IFC(i)(1≤i≤N-1)都在IFC_LOWER_LIMIT和IFC_UPPER_LIMIT之间的范围内。当所有N-1段图象帧的MIN_IFC(i)都在上述范围内时，如图18A所示，帧间预测的难度是稳定的，当不在该范围内时，难度是不稳定的，如图18B所示。

因此，当在步骤S605中所有帧的MIN_IFC(i)都在上述范围内时，图象质量控制单元112开启高图象质量标志，并且使过程前进到步骤S606。否则，图象质量控制单元112关闭高图象质量标志，将高图象质量帧数目设置为0，并且终止下面的过程。

在步骤S606中，图象质量控制单元112根据后面将描述的过程适应性地计算在SS内要以高图象质量编码的帧间隔S，其中由GOP或场景设置的最大高图象质量帧间隔由SS表示。在本文中，最大高图象质量帧间隔SS是不大于要编码的主题帧和多帧预测中能够参考的最靠前的帧之间的间隔的值，并且是在运动图象压缩之后根据运动速度和帧速率适当地设置的。

不超过IFC_UPPER_LIMIT的连续帧的数目由s_frame表示，刚刚已经确定要以高图象质量编码的帧的编号由prev_fnum表示，处于图象质量确定过程中的帧编号由i表示，高图象质量帧数目HQ_num和高图象质量帧编号HQ_frame_num[N-1]的计算方法示例参考图19示出。在该示例中，s_frame的初始值为1，prev_fnum的初始值为0，i的初始值为2，HQ_num的初始值为0。

图19更详细示出步骤S606中的过程。

首先，在步骤S701中，图象质量控制单元112确定IFCs_frame+1(i)是否大于IFC_UPPER_LIMIT，并且在IFCs_frame+1(i)大于IFC_UPPER_LIMIT时使过程前进到步骤S702，而在不大于时使过程前进到步骤S707。

在步骤S702中，图象质量控制单元112根据方程(45)获得高图象质量帧编号，根据方程(46)至(48)更新prev_fnum、HQ_num和S_frame，并且使过程前进到步骤S706。

HQ_frame_num[hq_num]＝prev_fnum+s_frame    (45)，

prev_fnum＝HQ_frame_num[hq_num]    (46)，

HQ_fnum＝HQ_fnum+1                 (47)，以及

S_fnum＝HQ_fnum+1                  (48)。

在步骤S703中，图象质量控制单元112确定s_frame是否等于SS-1，在等于时使过程前进到步骤S704，而在不等于时使过程前进到步骤S705。

在步骤S704中，图象质量控制单元112在设置s_frame＝SS的同时根据方程(45)获得高图象质量帧编号，根据方程(46)至(48)更新prev_fnum、HQ_num和s_frame，并且使帧编号递增1。然后，过程前进到步骤S706。

在步骤S705中，图象质量控制单元112将s_frame递增1，并且使过程前进到步骤S706。

在步骤706中，图象质量控制单元112将要处理的帧编号i递增1，确定i是否小于预见的帧的数目N，并且在小于时使过程前进到步骤S701，而在不小于时完成过程。

利用上述过程，在所有要编码的主题帧都无一例外的参考以高图象质量编码的帧的同时，运动预测变得可能。顺便说一下，当通过上述图象质量确定过程获得的HQ_num等于N-1时，即，当确定所有帧都是以高图象质量编码的时，HQ_num被重置为0，高图象质量标志被关闭，并且高图象质量帧数目被设置为0。

图20示出一个示例，其中，上述高图象质量编码帧确定是在N＝15、REF_NUM＝3并且引导帧即第0帧为I图象时执行的。根据本实施例，要以高图象质量编码的帧间隔S被适应性地更新。

如上所述，根据第二实施例，安排了运动图象分析单元113，从而在考虑到GOP中的诸如场景变化和闪烁之类的瞬时图象波动(即，连续的帧之间的像素相关性迅速降低)以及场景编码难度的大波动的影响的情况下准确地选择要以高图象质量编码的帧。因此，根据本实施例，可以以更高的图象质量来对运动图象进行编码。

此外，对于以上所述的选择要以高图象质量编码的帧的方法没有限制。例如，利用帧间代价IFC(i)的简单实施例是可用的。例如，当要编码的主题帧和多帧预测中能够参考的最靠前的帧之间的间隔为MAX_REF时，刚刚以高图象质量编码的高图象质量帧编号R_HQ_frame_num被视为参考帧之一，并且在帧编号(R_HQ_frame_num+m)中(其中m≤MAX_REF)，其相对于高图象质量参考帧的帧间代价IFC(i)小于预定阈值并且对应于最大值m的帧可以被设置为下一个高图象质量帧。

接下来，说明根据本发明第三实施例的运动图象编码装置。在第三实施例中，I图象、P图象和B图象被用作用于对帧进行编码的图象类型。第三实施例的运动图象编码装置的配置与第一实施例的运动图象编码装置类似，但是，由于利用B图象执行的编码，第三实施例与第一实施例的不同之处在于图象质量控制单元112和代码量控制单元111的操作。下面说明第三实施例中的图象质量控制单元112和代码量控制单元111的操作。

与第一实施例类似，图象质量控制单元112包括图象质量确定单元1121和图象质量控制计数器1122。图象质量控制单元112向代码量控制单元111提供高图象质量标志、剩余高图象质量帧数目和高图象质量帧编号，作为图象质量控制信息。在第一实施例中剩余高图象质量帧数目和高图象质量帧编号涉及P图象帧，而在第三实施例中它们涉及B图象帧。因此，第三实施例与第一实施例的不同之处仅在于图象质量控制单元112中的图象质量确定单元1121的操作。

因此，参考图21说明根据第三实施例的图象质量确定单元1121的操作。

参考图21说明当GOP中包括的帧的数目被设置为N并且图象质量确定过程中的帧编号被设置为i时，高图象质量帧数目HQ_num和高图象质量帧编号HQ_frame_num[HQ_num]的计算过程。i的初始值为1，HQ_num的初始值为0。

首先，在步骤S801中，图象质量确定单元1121确定当前要分析的第i帧的编码类型是否为B图象。当编码类型为B图象时，过程前进到步骤S802，当不是B图象时，过程前进到步骤S804。

在步骤S802中，图象质量确定单元1121确定接下来的第i+1帧的编码类型是否是B图象。当编码类型是B图象时，过程前进到步骤S803，当不是B图象时，过程前进到步骤S804。

在步骤S803中，图象质量确定单元1121根据方程(49)存储当前的第i帧，作为要以高图象质量编码的帧，并且根据方程(50)更新高图象质量帧数目。

HQ_frame_num[HQ_num]＝i，    (49)，并且

HQ_num＝HQ_num+1             (50)。

在步骤S804中，图象质量确定单元1121将要处理的帧编号i递增1，并且确定帧编号i是否小于N。当帧编号i小于N时，过程返回步骤S801，当不小于时，过程完成。

在完成上述过程之后，图象质量确定单元1121在HQ_num不小于1时开启高图象质量标志HQ_flg，而在HQ_num小于1时关闭HQ_flg。

利用上述过程，将被参考并被编码为B图象的帧被视为高图象质量帧编号。换言之，参考帧能够被以高图象质量编码。图22示出根据这种过程以高图象质量编码的B图象的示例。

与第一实施例类似，代码量控制单元111包括帧代码量分配单元1111和量化参数更新单元1112。下面说明根据第三实施例的代码量控制单元111中的帧代码量分配单元1111和量化参数更新单元1112的操作。

帧代码量分配单元1111利用从图象质量控制单元112提供来的图象质量控制信息，即高图象质量标志、剩余高图象质量帧数目R_HQ_num和剩余高图象质量帧编号R_HQ_frame_num，来执行帧代码量分配。

目标代码量Ti、Tp、Tb被视为各图象类型的目标代码量，R被视为分配给GOP中尚未被编码的帧的代码量，Np和Nb被视为GOP中尚未被编码的P图象和B图象的数目，Xi、Xp和Xp被视为最后被编码的每个图象的屏幕复杂度，Kp和Kb是考虑到按图象类型的主观图象质量的参数。图23示出根据第三实施例的帧代码量分配单元1111的操作。

首先，在步骤S901中，帧代码量分配单元1111确定从图象质量控制单元112提供来的高图象质量标志HQ_flg是开启的还是关闭的。当高图象质量标志HQ_flg是开启的时，过程前进到步骤S902，当关闭时，过程前进到步骤S908。

在步骤S902中，代码量控制单元111确定正被编码的帧的帧类型。在I图象的情况下，过程前进到步骤S903，在P图象的情况下，过程前进到步骤S904，在其他情况下，即在B图象的情况下，过程前进到步骤S905。

在步骤S903中，帧代码量分配单元1111根据方程(51)计算正被编码的I图象的代码量，并且完成帧代码量分配。

Ti＝R/(1+Np×Xp/(Kp×Xi)+Nb×Xb/(Kp×Xi))+additional_Ti

                                        (51)，

additional_Ti＝residu_bit3×Xi/Xgop4    (52)，

residu_bit3＝(margin_ratio×R×(Nb-R_HQ_num)×Xb)/(Kb×Xgop3)

                                          (53)，

Xgop3＝Xi+Np×Xp/Kp+Nb×Xb/Kb             (54)，以及

Xgop4＝Xi+Np×Xp/Kp+(Nb-R_HQ_num)×Xb/Kb  (55)。

在这种情况下，由于与传统技术相比向I帧分配了多additional_Ti的比特数，因此，该帧的图象质量提高了。因此，参考该帧的帧运动预测的效果得到了改善。

在步骤S904中，帧代码量分配单元1111根据方程(56)计算正被编码的P图象的代码量，并且完成帧代码量分配。

Tp＝R/(Np+Nb×Kp×Xb/(Kb×Xp)+additional_Tp    (56)，

additional_Tp＝residu_bit4×Xp/(Kp×Xgop6)     (57)，

residu_bit4＝(margin_ratio×R×(Nb-R_HQ_num)×Xb)/(Kb×Xgop5)

                                         (58)，

Xgop5＝Np×Xp/Kp+Nb×Xb/Kb               (59)，以及

Xgop6＝Np×Xp/Kp+(Nb-R_HQ_num)×Xb/Kb    (60)。

在这种情况下，由于与传统技术相比向P帧分配了多additional_Tp的比特数，因此，该帧的图象质量提高了。因此，参考该帧的帧运动预测的效果得到了改善。

在步骤S095中，帧代码量分配单元1111确定正被编码的B图象的帧编号coding_fram_num是否与从图象质量控制单元112提供来的剩余高图象质量帧编号R_HQ_frame_num同步。当它们同步时，过程前进到步骤S906，当不同步时，过程前进到步骤S907。

在步骤S906中，帧代码量分配单元1111根据方程(61)计算立即被编码的B图象的代码量，并且完成帧代码量分配。

Tb＝R/(Nb+Np×Kb×Xp/(Kp×Xb))+additional_Tb    (61)，并且

additional_Tb＝residu_bit4×Xb/(Kb×Xgop6)      (62)。

在这种情况下，由于与传统技术相比向B帧分配了多additional_Tb的比特数，因此，该帧的图象质量提高了。因此，参考该帧的帧运动预测的效果得到了改善。

在步骤S907中，帧代码量分配单元1111根据方程(63)计算立即被编码的B图象的代码量，并且完成帧代码量分配。

Tb＝(1-margin_ratio)×R/(Nb+Np×Kb×Xp/(Kp×Xb))    (63)。

在这种情况下，由于分配给B帧的代码量减少了margin_ratio，因此认为该帧的图象质量降低。但是，利用图象质量控制单元112的控制，可以在参考以高图象质量编码的I帧、P帧和B帧的同时执行运动预测。因此，即使代码量小到某种程度，也能通过运动预测性能的改善来防止图象质量降低。

在步骤S908中，帧代码量分配单元1111确定正被编码的帧的图象类型。在I图象的情况下，过程前进到步骤S909，在P图象的情况下，过程前进到步骤S910，在其他情况下，即B图象的情况下，过程前进到步骤S911。

在步骤S909中，帧代码量分配单元1111根据方程(64)计算正被编码的I图象的代码量，并且完成帧代码量分配。

Ti＝R/(1+Np×Xp/(Kp×Xi)+Nb×Xb/(Kp×Xi))    (64)。

在步骤S910中，帧代码量分配单元1111根据方程(65)计算正被编码的P图象的代码量，并且完成帧代码量分配。

Tp＝R/(Np+Nb×Kp×Xb/(Kb×Xp)    (65)。

在步骤S911中，帧代码量分配单元1111根据方程(66)计算正被编码的B图象的代码量，并且完成帧代码量分配。

Tb＝R/(Nb+Np×Kb×Xp/(Kp×Xb)    (66)。

利用上述代码量分配，在不向作为参考帧的具有低优先级的B图象帧分配剩余代码量的情况下，被另一帧参考并且被编码为I图象、P图象、B图象的帧能够被以高图象质量编码。因此，通过以高图象质量编码的帧可以对所有帧执行运动预测，并且可以以高图象质量对运动图象编码。

量化参数更新单元1112基于为每种图象类型设置的虚拟缓冲器容量按宏块根据反馈控制获得量化参数，以便使在帧代码量分配单元1111中获得的分配给各帧的代码量Ti，p，b与实际发生代码量匹配。量化参数更新单元1112的操作与第一实施例的类似，下面参考图11的流程图说明每个步骤的操作，以对应于每种图象类型的可变名称。

在步骤S401中，量化参数更新单元1112在第j个宏块的编码之前利用方程(67)计算按每种图象类型的虚拟缓冲器占用量。

di，p，b(i)＝di，p，b(0)+B(j-1)-Ti，p，b×(j-1)/MBcount    (67)。

其中di，p，b(0)是虚拟缓冲器中的初始占用量，B(j)是从帧头部到第j宏块的发生代码量，MBcount是帧中的宏块的数目。在完成每个帧的编码时，每个帧的虚拟缓冲器中初始占用量di，p，b(MBcount)被用作下一图象的虚拟缓冲器中初始占用量di，p，b(0)。

在步骤S402中，量化参数更新单元1112通过方程(68)计算与第j宏块相关的量化步长。

Qstep＝Qi，p，b×di，p，b(j)×31/(10×r)    (68)，并且

Qi，p，b＝Xi，p，b/Ti，p，b(69)。

利用帧代码量分配单元1111进行的控制，要以高图象质量编码的帧的分配代码量Ti，p，b变得比传统技术的大，并且被粗糙编码的B图象的代码量Tb变得比传统技术的小。根据方程(69)，以高图象质量编码的B图象帧的量化步长Qb变小，而粗糙编码的B图象帧的量化步长Qb变大。换言之，比起作为参考帧的具有低优先级的B图象帧来，作为参考帧的具有高优先级的B图象帧被以更高的图象质量编码。

在这里，r是用于控制反馈环的响应速率的参数，它被称为反应参数，并且由方程(70)表示。

r＝2×bit_rate/frame_rate    (70)。

顺便说一下，在编码开始时，虚拟缓冲器中的初始值di，p(0)由方程(71)至(73)表示。

di(0)＝10×r/31     (71)

dp(0)＝Kp×di(0)    (72)，以及

db(0)＝Kb×di(0)    (73)。

在步骤S403中，量化参数更新单元1112从量化表中检测与量化步长Qstep相对应的量化参数Q。当在量化表中没有相应的量化步长Qstep时，量化参数更新单元1112输出与量化步长Qstep最接近的量化步长值的量化参数Q。

接下来，说明根据本发明的第四实施例的运动图象编码装置。在第四实施例中，I图象、P图象和B图象被用作用于对帧进行编码的图象类型。第四实施例的运动图象编码装置的配置与第二实施例的运动图象编码装置类似，但是，由于利用B图象执行编码，因此第四实施例与第二实施例的不同之处在于图象质量控制单元112和代码量控制单元111的操作。在该配置中，代码量控制单元111的操作与根据第三实施例的代码量控制单元111的操作类似。因此，下面说明根据第四实施例的图象质量控制单元112的操作。

与第三实施例类似，图象质量控制单元112包括图象质量确定单元1121和图象质量控制计数器1122。第四实施例的图象质量控制单元与第三实施例的图象质量控制单元的不同之处在于图象质量确定单元1121利用从图象质量控制单元112提供来的帧差别信息和帧运动信息进行的操作有所改变。下面参考图24说明根据第四实施例的图象质量确定单元1121的操作。

参考图24说明当GOP中包括的帧的数目被设置为N并且图象质量确定过程中的帧编号被设置为i时，高图象质量帧数目HQ_num和高图象质量帧编号HQ_frame_num[HQ_num]的计算过程。i的初始值为1，HQ_num的初始值为0。

首先，在步骤S1001中，图象质量确定单元1121根据方程(40)利用从运动图象分析单元113提供来的帧差别信息FD1(i)和帧运动信息FMV(i)计算每个帧i及其参考帧的帧间代价IFC1(i)。另外，图象质量确定单元1121在假定对于方程(42)中的MIN_IFC(i)满足MIN_IFC(i)＝IFC(i)的情况下根据方程(42)至(44)获得IFC_UPPER_LIMIT和IFC_LOWER_LIMIT。在此基础上，图象质量确定单元1121确定是否所有IFCl(i)都满足IFC_LOWER_LIMIT＜IFC(i)＜IFC_UPPER_LIMIT。当所有IFCl(i)都在上述范围内时，过程前进到步骤S1002，同时设置i＝1，当不在上述范围内时，过程完成。

在步骤S1002中，图象质量确定单元1121确定当前要分析的第i帧的编码类型是否为B图象。当编码类型为B图象时，过程前进到步骤S1003，当不是B图象时，过程前进到步骤S1005。

在步骤S1003中，图象质量确定单元1121确定接下来的第i+1帧的编码类型是否是B图象。当编码类型是B图象时，过程前进到步骤S1004，当不是B图象时，过程前进到步骤S1005。

在步骤S1004中，图象质量确定单元1121根据方程(49)存储当前的第i帧，作为高图象质量帧编号HQ_frame_num[HQ_num]，并且根据方程(50)更新高图象质量帧数目HQ_num。

在步骤S1005中，图象质量确定单元1121将要处理的帧编号i递增1，并且确定帧编号i是否小于帧数目N。当帧编号i小于N时，过程返回步骤S1002，当不小于时，过程完成。

在完成上述过程之后，图象质量确定单元1121在HQ_num不小于1时开启高图象质量标志HQ_flg，而在HQ_num小于1时关闭HQ_flg。

由于在本实施例中也安排了运动图象分析单元113，因此可以在考虑到GOP中的诸如场景变化和闪烁之类的瞬时图象波动以及场景编码难度的大波动的影响的情况下准确地选择要以高图象质量编码的B图象帧。因此，可以以更高的图象质量来对运动图象进行编码。

接下来，说明本发明的第五实施例。从上述说明可以看出，上述根据本发明的运动图象编码装置可以用硬件来配置，也可以由计算机程序执行。

图25示出根据本发明的第五实施例的信息处理***，并且示出其中实现了根据本发明的运动图象编码装置的信息处理***的典型配置。

该信息处理***包括处理器210、程序存储器(主存储器)202和存储介质203、204。存储介质203、204是分离的存储介质以及一个存储介质中的不同存储区域。可以使用诸如硬盘驱动器这样的磁存储介质作为存储介质。

然后，用于使信息处理***执行上述运动图象编码过程的程序被存储在程序存储器202中，并且处理器210执行该程序，从而该信息处理***充当上述运动图象编码装置。输入运动图象数据预先被存储在存储介质203中，已经被编码的比特流被存储在存储介质204中。

因此，本发明的范围包括使计算机执行根据本发明的运动图象编码过程的程序、存储有这种程序的计算机可读存储介质以及包括这种程序的程序产品。

根据本发明的计算机程序，例如用于使计算机通过参考多个图象帧执行多帧运动预测来执行运动图象编码的计算机程序，执行以下过程：

在相同图象类型的多个参考帧中选择一个参考帧的过程；以及

以比相同图象类型的其他参考帧更高的图象质量对所选参考帧进行编码的过程。

或者，根据本发明的计算机程序，例如用于使计算机通过参考多个图象帧执行多帧运动预测来执行运动图象编码的计算机程序，执行以下过程：

获得参考帧和要编码的主题帧之间的差别信息和运动信息的过程；

以所选参考帧的间隔根据差别信息和运动信息适应性地改变的方式在相同图象类型的多个参考帧中选择至少一个参考帧的过程；以及

以比相同图象类型的其他参考帧更高的图象质量对所选参考帧进行编码的过程。

接下来，作为第六实施例，描述一种输入/输出装置，例如由根据第一至第五实施例的运动图象编码装置编码的运动图象数据或运动图象比特流被输入其中/从其中输出。在本文中，作为运动图象数据(运动图象比特流)被输入其中/从其中输出的输入/输出装置的示例，说明了接收根据第一或第二实施例生成的运动图象编码比特流作为输入的接收器。但是，对于根据本发明的输入/输出装置没有限制，并且根据本发明的输入/输出装置可以是运动图象数据被输入其中和从其中输出的帧同步器，诸如视频装置这样的记录装置，等等。

如图26所示，接收器具有视频解码器115和参考帧图象质量监视器116。视频解码器115与和图1所示的传统运动图象编码装置配对的传统运动图象解码装置类似。换言之，视频解码器115包括解量化单元104、逆频率转换单元105、帧存储器106、帧间预测单元107、运动补偿单元108和缓冲器110，它们构成图1所示的运动图象编码装置中的本地解码装置。此外，视频解码器115包括可变长度解码单元114。除可变长度解码单元114之外，视频记录器115中的这些元件的功能与图1所示的传统运动图象编码装置的类似。

输入到视频记录器115的视频比特流主要包括以下部分作为构成元素：通过利用运动图象编码装置将原始输入图象划分成多个块并通过频率转换和量化预测误差信号而获得的转换系数，其中预测值被帧间预测单元或运动补偿单元从这些块中减去；以及代码串，其中用于生成预测值和参考帧的运动向量被可变长度解码。

可变长度解码单元114将从缓冲器110提供来的与接收到的比特流一起存储的可变长度代码解码为原始值。经解码的值包括转换系数、量化参数、图象类型、运动向量、参考帧等等。

解量化单元104通过利用量化参数对转换系数进行解量化，并且生成解量化转换系数。逆频率转换单元105对解量化转换系数应用逆频率转换，并且生成预测误差信号。加法器132将从帧间预测单元107或运动补偿单元108提供来的预测值加到预测误差信号，并且获得经解码的图象。开关131可以选择是来自帧间预测单元107的预测值还是来自运动补偿单元108的预测值。视频解码器重复这些过程，从而获得经解码的图象。另外，以这种方式获得的经解码的图象被存储在帧存储器106中，作为重建的图象，并且被帧间预测单元107、运动补偿单元108和运动估计单元109用于生成预测值。

接下来说明参考帧图象质量监视器116的操作。

参考帧图象质量监视器116监视从视频解码器115提供来的图象类型、参考帧、量化参数、可变长度代码和帧存储，并且输出由参考帧图象质量波动标志构成的参考帧图象质量波动信息。参考帧图象质量波动标志指示比起相同图象类型的其他帧来，用于运动补偿(多帧运动预测)以便对运动图象比特流进行解码的参考帧被分配了更多的代码量，或者指示运动图象编码比特流是否包括具有小量化参数的帧。

参考帧图象质量波动标志具体是通过以下方式获得的：在解码之后存储在作为被另一帧参考的参考帧的帧的解码时的图象类型、代码量和平均量化参数，并且检查比起相同图象类型的其他帧来存储在帧存储器中的参考帧被分配了更多的代码量，或者是通过检查运动图象编码比特流是否包括具有小量化参数的帧而获得的。

图27示出用于生成参考帧图象质量波动标志的过程，其中与存储在帧存储器中的参考帧编号i(1＜i＜MAX_REF)相对应的图象类型为pic_type(i)，整个帧的代码量为total_bit(i)，整个帧的平均量化参数为average_q(i)。

首先，在步骤SA01中，参考帧图象质量监视器116确定正被解码的帧的图象类型是否是P图象或B图象。当图象类型是P图象或B图象时，过程前进到步骤SA02，当既不是P图象也不是B图象时，参考帧图象质量波动标志被关闭并且过程完成。

在步骤SA02中，参考帧图象质量监视器116确定在与正被解码的帧具有相同图象类型的多个参考帧ref(1＜ref＜MAX_REF)中，比起第j参考帧来第i帧被分配了更多的代码量(这是条件1)，或者量化参数较小(这是条件2)。

条件1可以被描述为：

total_bit(i)≈(1+margin_ratio)×total_bit(j)，pic_type(i)＝pic_type(j)，并且i≠j。

条件2可以被描述为：

average_q(i)≈(1/(1+margin_ratio)×average_q(j)，pic_type(i)＝pic_type(j)，并且i≠j。

在步骤SA02中，由于比起相同图象类型的其他帧来被运动图象比特流用于运动预测的参考帧被分配了更多代码量，或者由于这种参考帧是运动图象编码比特流，因此满足条件1或条件2，并且参考帧图象质量监视器116开启参考帧图象质量波动标志。当既不满足条件1也不满足条件2时，参考帧图象质量波动标志被关闭。

然后，在步骤SA03中，参考帧图象质量监视器116检查从缓冲器110提供来的可变长度代码的代码长度，以计算要解码的整个主题帧的代码量tmp_total_bit，并且根据从参考帧图象质量监视器116提供来的按MB的量化参数计算整个帧的平均量化参数tmp_avaerage_Q。另外，此时，从参考帧图象质量监视器116提供来的图象类型tmp_pc_type被存储。当在解码完成之后要解码的当前主题帧被存储在帧存储器106中作为编号k时，参考帧图象质量监视器116分别将tmp_total_bit、tmp_avaerage_Q和tmp_pc_type存储到pic_type(k)、total_bit(k)和average_q(k)中，然后过程完成。

一旦每个帧被解码，这样的参考帧图象质量波动标志计算就被执行。

利用上述过程，当参考帧图象质量波动标志被开启时，可以确认比起相同图象类型的其他帧来，由根据本发明的运动图象编码方法生成的作为用于多帧运动预测的参考帧的运动图象比特流被分配了更多的代码量，或者可以确认包括了具有小量化参数的帧。

Claims (20)

1.一种用于参考多个图象帧执行多帧运动预测的运动图象编码方法，包括：

从正用于某个帧的所述多帧运动预测的、用相同图象类型编码的多个连续参考帧中选择至少一个参考帧；以及

以比相同图象类型的所述多个参考帧中的其他参考帧更高的图象质量对所选参考帧进行编码，

其中所述某个帧是所述多个连续参考帧的后续参考帧，

其中在所述多帧运动预测中利用更高的图象质量编码的所选参考帧将被所有帧参考。

2.根据权利要求1所述的方法，其中以更高图象质量编码的参考帧是比起相同图象类型的其他参考帧被分配了更多代码量的帧。

3.根据权利要求1所述的方法，其中以更高图象质量编码的参考帧是比相同图象类型的其他参考帧具有更小量化参数的帧。

4.根据权利要求1所述的方法，其中以更高图象质量编码的参考帧是P图象帧。

5.根据权利要求1所述的方法，其中以更高图象质量编码的参考帧是B图象帧。

6.根据权利要求5所述的方法，还包括以下步骤：

当多个连续的B图象帧被编码时，与所述连续的B图象帧中的最后的B图象帧相比，以更高的图象质量对所述最后的B图象帧之前的B图象帧进行编码。

7.根据权利要求1所述的方法，还包括以下步骤：

以恒定的帧间隔安排以更高图象质量编码的参考帧。

8.根据权利要求6所述的方法，还包括以下步骤：

以恒定的帧间隔安排以更高图象质量编码的参考帧。

9.根据权利要求1所述的方法，其中从所述多个连续参考帧中选择至少一个参考帧包括以下步骤：

导出所述多个连续参考帧之间的差别信息和运动信息；以及

以要选择的参考帧的间隔根据所述差别信息和运动信息自适应地改变的方式从所述多个连续参考帧中选择至少一个参考帧。

10.根据权利要求6所述的方法，其中从所述多个连续参考帧中选择至少一个参考帧包括以下步骤：

导出所述多个连续参考帧之间的差别信息和运动信息；以及

以要选择的参考帧的间隔根据所述差别信息和运动信息自适应地改变的方式从所述多个连续参考帧中选择至少一个参考帧。

11.一种用于参考多个图象帧执行多帧运动预测的运动图象编码装置，包括：

选择装置，用于从正用于某个帧的所述多帧运动预测的、用相同图象类型编码的多个连续参考帧中选择至少一个参考帧；以及

编码装置，用于以比相同图象类型的所述多个参考帧中的其他参考帧更高的图象质量对所选参考帧进行编码，

其中所述某个帧是所述多个连续参考帧的后续参考帧，

其中在所述多帧运动预测中利用更高的图象质量编码的所选参考帧将被所有帧参考。

12.根据权利要求11所述的装置，其中所述编码装置向所述所选参考帧分配比相同图象类型的其他参考帧更多的代码量。

13.根据权利要求11所述的装置，其中所述编码装置为所述所选参考帧设置比相同图象类型的其他参考帧更小的量化参数。

14.根据权利要求11所述的装置，其中所述所选参考帧是P图象帧。

15.根据权利要求11所述的装置，其中所述所选参考帧是B图象帧。

16.根据权利要求15所述的装置，其中所述选择装置从多个连续的B图象帧中选择所述连续的B图象帧中最后的B图象帧之前的B图象帧。

17.根据权利要求11所述的装置，其中所述选择装置以恒定的帧间隔选择所述参考帧。

18.根据权利要求16所述的装置，其中所述选择装置以恒定的帧间隔选择所述参考帧。

19.根据权利要求11所述的装置，还包括：

运动图象分析装置，用于导出所述多个连续参考帧之间的差别信息和运动信息，

其中所述选择装置以要选择的参考帧的间隔根据所述差别信息和运动信息自适应地改变的方式从所述多个连续参考帧中选择至少一个参考帧。

20.根据权利要求16所述的装置，其中所述选择装置包括：

运动图象分析装置，用于导出所述多个连续参考帧之间的差别信息和运动信息，

其中所述选择装置以要选择的参考帧的间隔根据所述差别信息和运动信息自适应地改变的方式从所述多个连续参考帧中选择至少一个参考帧。

Images