CN100401782C - 控制视频序列速率的方法和装置及视频编码装置 - Google Patents

Abstract

一种控制视频序列编码速率的方法，其中，所述视频序列包括多个图片组，其中每个图片组至少包括I帧和帧间帧，此方法包括如下步骤来对所述图片组中的帧间帧进行编码：基于用于传输所述视频序列的信道的可用带宽以及用于所述编码进程的可用计算资源确定预期帧速率；基于所述预期帧速率以及所述帧间帧关于所述I帧的位置确定目标缓冲区级别；以及基于所述目标缓冲区级别和所述可用信道带宽确定目标比特率，其中，所述目标比特率用于控制所述视频序列编码速率。

Description

控制视频序列速率的方法和装置及视频编码装置

技术领域

本发明涉及一种用于控制视频序列编码速率的方法和装置以及一种视频编码装置，其中考虑了可用信道带宽和计算资源。

背景技术

速率控制在诸如因特网或者无线网络的有限带宽的信道上的实况视频编码中扮演着十分重要的角色，并且许多研究人员对其进行了广泛的研究。在[1]，[2]，[3]，[4]中披露的关于速率控制的已有成果都基于计算资源总是足够的假设，从而总可以保证可以得到预期的编码帧速率。

然而，在多任务环境中，通过软件对实况视频编码时，对于编码进程而言，中央处理单元(CPU)的计算资源可能并不总是足够。这是由于CPU的计算资源可能被其它具有更高优先级的进程所占据。在实时视频编码***中，已编码比特在被经由网络传输到解码器之前，存储在缓冲区中。当为编码进程分配的计算资源不足时，实际的编码帧速率小于所述预期帧速率，缓冲区中存储的生成的比特的数量也很低。结果，浪费了可用信道的带宽。当视频编码进程在仅具备有限计算能力的手提装置上执行时，这种现象尤其常见。

同样，多数现有的速率控制方法专注在用于视频传输的可用信道带宽恒定的情况。然而，当实况视频通过诸如因特网或者无线网络的有限带宽信道传输时，用于视频传输的可用信道带宽常常是随时间变化的。当信道可用带宽降低时，缓冲区中的比特的数量积累。当缓冲区中的比特数量过大时，编码器常常跳过一些帧，以减少缓冲区延时并避免缓冲区溢出。跳帧将导致所不希望看到的视频序列中的动态不连续。

参考书目[5]中的近来的教学资料披露了一种速率控制方法，其能调整编码速率使之适应不断变化的可用带宽。此速率控制方法使用了流动模型来计算所述视频序列的每一帧的目标比特率。然而，[5]中披露的速率控制方法并没有考虑可用的计算资源。而且，分配给每个图片组(GOP)的比特总数在该GOP的每个P帧上平均分配。

发明内容

本发明的目的在于提供一种适用于具有可变计算资源和可变可用带宽的实况视频编码进程的速率控制方法。

此目的通过一种用于控制视频序列编码速率的方法来实现，其中，所述视频序列包括多个图片组(GOP)，其中，每个图片组至少包括I帧和帧间帧，此方法包括以下步骤来对所述图片组中的各帧间帧进行编码：基于用于传输所述视频序列的信道的可用带宽以及用于所述编码进程的可用计算资源确定预期帧速率；基于该所需帧速率以及所述帧间帧关于所述I帧的位置确定目标缓冲区级别；以及基于该目标缓冲区级别和所述可用信道带宽确定目标比特率，其中，所述目标比特率用于控制所述视频序列编码速率。

假定所述视频序列的GOP包括I帧(关键帧，即，无需进行动态估计和动态补偿就可完全编码的帧)以及作为帧间帧的多个P帧(预测帧，即，利用动态估计和动态补偿进行编码的帧)或者B帧(双向预测帧，即，利用动态估计和动态补偿从两个相邻的关键帧编码的帧)。利用根据本发明的速率控制方法，比特基于其复杂度被分配给I帧，并且所述比特被分配给每一个帧间帧，尤其是每个P帧。

尽管所述速率控制方法，具体而言，所述对于目标缓冲区级别和相应目标比特率的确定更适宜在所述GOP的P帧上进行，但仍然需要注意到，根据本发明的速率控制方法也可以在B帧上进行。

当编码帧间帧时，优选地当编码P帧时，首先基于用于编码进程的可用信道带宽和可用计算资源来确定预期帧速率。所述预期帧速率并非稳定不变，而是依据所述可用信道带宽和所述可用计算资源，对每一个帧间帧进行适应地改变。

当可用计算资源不足以获得所述预期帧速率时，在所述编码器缓冲区中累积的已编码比特会因此较少，导致缓冲区下溢和信道带宽的浪费。因此，通过考虑用于所述编码进程的可用计算资源，可以预先定义目标缓冲区级别，以防止缓冲区下溢。

所述目标缓冲区级别定义了如何将分配给所述GOP的比特总数分配给该GOP的各个帧间帧(优选地为P帧)，即，各帧间帧的预算。然而，各帧间帧的预算与其使用的实际比特通常是有差异的。为保证每个帧间帧并因此每个GOP使用其自己的预算，就要计算各帧间帧的目标比特率。所述目标比特率通过利用流动模型和线性***控制理论来计算，并考虑了所述目标缓冲区级别和所述可用信道带宽。

通过确定所述优选地为P帧的帧间帧的目标编码时间间隔，即，编码所述帧间帧所需要的时间，来确定所述预期帧速率。所述目标编码时间反比于所述预期帧速率，其基于所述可用带宽并且优选地也基于平均编码时间确定。所述用于编码帧间帧的平均编码时间间隔正比于所述计算资源，并因此可用来指示所述可用计算资源。所述可用带宽可以用[6]中披露的方法来进行估计。

用于编码所述帧间帧的所述目标编码时间间隔利用如下等式确定：如果B_mad(n)＞B₁*T_Bad(n)，则T_fi(n)＝A₁*T_fi(n-1)，如果B_mad(n)＜B₂*TB_mad(n)，则T_fi(n)＝A₂*T_fi(n-1)，否则，T_fi(n)＝T_fi(n-1)。其中，T_fi(n)为目标编码时间间隔或者编码帧间帧所需要的目标时间，A₁为参数，且0.80＜A₁＜1.00，A₂为参数，且1.00＜A₂＜1.10，B₁为参数，且1.00＜B₁＜2.00，B₂为参数，且0＜B₂＜1.00，TB_mad(n)为B_mad(n)的平均值，且B_mad(n)与平均编码时间间隔T_ave通过下式关联：

$B_{\mathrm{mad}}\left(n\right)=\frac{u\left(n\right)\max \{T_{\mathrm{ave}}(n-1),T_{\mathrm{fi}}(n-1)\}}{\mathrm{NAD}\left(n\right)}$

其中，u(n)为可用信道带宽，T_ave(n-1)为帧间帧的平均编码时间间隔，以及MAD(n)为当前帧和前一帧之间的绝对平均差。

根据本发明，A₁优选地被设置为0.9，A₂优选地被设为1.05，B₁优选地被设为1.5，而B₂优选地被设为0.25。

所获得的目标编码时间间隔T_fi(n)的数值优选地利用以下等式进行进一步调整： $T_{\mathrm{fi}}\left(n\right)=\min \{\frac{5}{{4F}_r},\max \{\frac{3}{{4F}_r},T_{\mathrm{fi}}\left(n\right)\left\}\right\}$

所述目标编码时间间隔T_fi(n)与所述预期帧速率反向相关。

利用编码所述帧间帧所用的实际编码时间间隔、所述目标编码时间间隔以及因缓冲区溢出引起的跳帧的数目等信息确定所述平均编码时间间隔。

所述平均编码时间间隔由以下等式确定：

$T_{\mathrm{ave}}\left(n\right)=(1-x)T_{\mathrm{ave}}(n-1)+\mathrm{\χ}*\max \{T_c\left(n\right),\frac{1}{F_r}-{\mathrm{RT}}_{\mathrm{st}}(n-1)\}$

其中，T_ave(n)为编码所述帧间帧所用的平均时间间隔，x为权重因子，T_c(n)为编码所述帧间帧所用的实际时间，F_r为预定义帧速率，以及RT_st被进一步定义为：

如果 $\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}<\frac{1}{F_r}-{\mathrm{RT}}_{\mathrm{st}}(n-1)$ 或者，N_post(n)＞0则RT_st(n)＝0

否则，

${\mathrm{RT}}_{\mathrm{st}}\left(n\right)=\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}+{\mathrm{RT}}_{\mathrm{st}}(n-1)-\frac{\left[\left(\max \right\{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}+{\mathrm{RT}}_{\mathrm{st}}(n-1))F_r\right]}{F_r}$

其中，N_post(n)为缓冲区溢出导致的跳帧的数目，[a]指小于a的最大整数。

利用基于滑动窗口的方法来计算T_fi(n)对于整个编码进程的全面性能而言，具有降低突发噪声的效果。

依据本发明的调整所述预期帧速率的简单方法能够在时变信道带宽和突发动态变化的情况下，在容忍范围内保持帧间帧的质量，而所感知的动态平滑度不会有明显的降低。

利用所述平均编码时间间隔T_ave(n)的信息，并因此基于所述可用计算资源来确定所述预期帧速率。

在各GOP中，每帧中的目标缓冲区级别以如下方式预定义，相比属于同一GOP中离所述I帧较远的那些帧间帧，该GOP中的帧间帧，优选地为P帧，其越接近于该I帧，就分配到越多的比特。这样，接近于所述I帧的帧间帧以高质量编码，而从这些高质量的帧间帧预测得到的后面的帧间帧，也就有了较高的质量。于是，基于这些帧间帧的预测增益得到了改进。

所述帧间帧的目标缓冲区级别利用如下等式预定义并确定：

$T\arg \mathrm{et}\left(n\right)=T\arg \mathrm{et}(n-1)-\frac{B_c\left(t_{i,l}\right)-\mathrm{\&delta;}*B_s}{N_{\mathrm{gop}}-1}*\underset{j=0}{\overset{N_{\mathrm{post}}(n-1)+S_c(n-1)}{\mathrm{\&Sigma;}}}{W}_{\mathrm{pos}}(n+j)$

其中，Targ et(n)为目标缓冲区级别，N_gop为GOP中的帧的数量，B_s为缓冲区大小，B_c为对I帧编码后的实际缓冲区占用量，S_c为由于用于根据所述预期帧速率对所述帧间帧编码的可用计算资源不足而导致的跳帧的平均数，并且W_pos(l)为第l个帧间帧的位置权重，其满足

$\underset{l=1}{\overset{N_{\mathrm{gop}}-1}{\mathrm{\&Sigma;}}}{W}_{\mathrm{pos}}\left(l\right)=N_{\mathrm{gop}}-1,$ 以及W_pos(1)≤W_pos(2)≤…≤W_pos(N_gop-1)。

基于当对所述帧间帧编码时由于计算资源不足而引起的跳帧的即时数

来确定所述由于计算资源不足而引起的跳帧的平均数。利用所述实际编码时间间隔和所述目标编码时间间隔的信息来确定所述由于计算资源不足而引起的跳帧的即时数。所述由于计算资源不足而引起的跳帧的即时数的确定可用如下等式概括：

${\tilde{S}}_c\left(n\right)=[\mathrm{TST}\left(n\right)*F_r]$

其中，TST(n)可进一步定义为 $\mathrm{TST}\left(n\right)=\max \{0,\tilde{T}\tilde{S}\tilde{T}(n-1)+\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}-\frac{1}{F_r}\}$ 而定义为 $\tilde{T}\tilde{S}\tilde{T}(n-1)=\mathrm{TST}(n-1)-\frac{[\mathrm{TST}(n-1)*F_r]}{F_r}$

其中，T_c为实际编码时间间隔，而F_r为预定义帧速率。

所述由于计算资源不足引起的跳帧的平均数然后利用如下等式确定： $S_c\left(n\right)=[(1-\mathrm{\&theta;})S_c(n-1)+\mathrm{\&theta;}*{\tilde{S}}_c\left(n\right)]$ 其中θ为权重因子。

利用所述跳帧平均数S_c而不用跳帧即时数来计算所述目标缓冲区级别的优点在于S_c数值变化缓慢。S_c的这种缓慢变化与对用于视频编码进程的量化参数Q的缓慢调整一致。

然而，应该注意到，在本发明的可选实施例中，所述跳帧的即时数

可代替所述跳帧的平均数S_c(n)，以确定所述目标缓冲区级别。

在所述信道带宽稳定不变的情况下，各帧的复杂度相同并且可确保所述预期帧速率，第i个GOP中的第n个帧间帧的目标缓冲区级别可简化为 $T\arg \mathrm{et}\left(n\right)=\frac{u}{F_r}-\frac{B_c\left(t_{i.l}\right)-\mathrm{\&delta;}*B_s}{N_{\mathrm{gop}}-1}*W_{\mathrm{pos}}\left(n\right).$

从以上等式可看出，当前帧间帧的目标缓冲区级别大于随后的帧间帧的目标缓冲区级别。换言之，与距离所述I帧，也即所述关键帧较远的帧间帧相比，属于同一GOP的离所述I帧更近的帧间帧可分配到更多的比特。

根据本发明的优选实施例的目标比特率基于所述平均编码时间间隔，所述计算资源不足引起的跳帧的平均数，所述目标缓冲区级别，所述可用信道带宽以及所述实际缓冲区占用量来确定。具体而言，根据本发明优选实施例的目标比特率利用下式确定：

$\tilde{f}\left(n\right)=\max \{0,u\left(t_{n,i}\right)*\max \{T_{\mathrm{ave}}(n-1),T_{\mathrm{fi}}\left(n\right)\left\}\right\}+(\mathrm{\&gamma;}-1)(B_c\left(t_{n,i}\right)-T\arg \mathrm{et}\left(n\right))\}$

其中，

为目标比特率，t_n，i为编码第i个GOP中的第n个帧间帧的即时时间，γ为常数。

由于所述可用信道带宽u(t_n，i)和所述平均编码时间间隔T_ave(n-1)被用来确定所述帧间帧的目标比特率，根据本发明的比特速率控制方法适合于所述可用信道带宽和所述可用计算资源。

如前确定的所述帧间帧的目标比特率可进一步根据下式利用加权时间平滑进行调整：

$f\left(n\right)=\max \{\frac{u\left(t_{n,i}\right)*\max \{T_{\mathrm{ave}}(n-1),T_{f,i}\left(n\right)\}}{3}+H_{\mathrm{hdr}}(n-1),\mathrm{\&mu;}\&times;\tilde{f}\left(n\right)+(1-\mathrm{\&mu;})\&times;f(n-1)\}$

其中，f(n)为经过平滑的目标比特率，μ为加权控制因子常数，以及H_hdr(n)为用于形状信息、动态向量以及前一帧报头的比特数。

应该注意到，在可选实施例中，所述实际编码时间间隔T_fi(n)可代替所述平均编码时间间隔T_ave(n)用来确定所述目标比特率。使用所述平均编码时间间隔T_ave而不是T_c来计算所述目标比特率的优势在于T_ave变化缓慢。这也正好与用于视频编码进程的量化参数Q的缓慢调整相一致。并且，当所述实际帧速率小于所述预定义帧速率时，即 $T_{\mathrm{ave}}>\frac{1}{F_r}$ 时，各帧可分配到更多的比特。因此，与任何已有的速率控制方法相比，缓冲区下溢的可能性降低了，同时，所述信道带宽得到了更好的利用。

一旦计算了各帧间帧的目标比特率，就可以计算所述编码进程的相应量化参数，优选地使用[5]中所描述的速率失真(R-D)方法。

在依据本发明的速率控制方法的编码后阶段，编码进程的休眠时间利用下式进行更新：

${\mathrm{ST}}_c\left(n\right)=\max \{\frac{1}{F_r}-{\mathrm{RT}}_{\mathrm{st}}(n-1)-\max \{T_{\mathrm{fi}}\left(n\right),T_c\left(n\right)\},0\}+\frac{N_{\mathrm{post}}\left(n\right)}{F_r}$

其中ST_c(n)为所述编码进程的休眠时间。

下一帧的起始编码时间如下给出

SCT(n)＝T_c(n)+SCT(n-1)+ST_c(n)

其中，SCT(n)为起始编码时间。

下一帧的起始解码时间如下给出

$\mathrm{SDT}\left(n\right)=\frac{[\mathrm{SCT}\left(n\right)*F_r]}{F_r}$

其中，SDT(n)为起始解码时间。所述起始解码时间将发送给解码器来为解码所述已编码视频序列的每一帧提供时间信息。

当确定休眠时间ST_c(n)和起始解码时间SDT(n)时，有三点需要考虑到。任何帧都不能编码两次，时间辨析率为

以及当缓冲区存在溢出危险时所需要经过的时间。

以下参照附图，具体描述所给出的各实施例，进而说明根据本发明的其它目标、特点和优势。

附图说明

图1示出了根据本发明优选实施例的速率控制方法的框图；

图2示出了用于视频序列“天气”和“儿童”的每帧的信道带宽；

图3示出了利用本发明的优选实施例，编码所述视频序列“天气”和“儿童”的每帧所需要的计算时间；

图4示出了视频序列“天气”的PSNR的比较；

图5示出了视频序列“儿童”的PSNR的比较；

图6示出了视频序列“天气”的实际缓冲区占用量的比较；

图7示出了视频序列“儿童”的实际缓冲区占用量的比较。

具体实施方式

图1示出了根据本发明优选实施例的速率控制方法的框图。

根据本发明的速率控制方法包括如下三个阶段：

初始化阶段，编码前阶段以及编码后阶段。

在步骤101中，帧速率F_r被预定义以用于图片组(GOP)的编码进程。当在此选择合适的编码帧速率时，诸如编码器和解码器的参数/规范之类的实际问题都需要考虑到。此外，不一定能够获知用于运行所述视频编码进程，包括所述速率控制的硬件，是否能支持所述预定义的帧速率。

在步骤102中，各视频帧的缓冲区大小基于等待时间的需要被设置。在编码所述I帧前，缓冲区被初始化为B_s*δ，其中B_s为缓冲区大小，δ则为定义为0≤δ≤0.5的参数。然后，在步骤103中使用量化参数Q₀的预定义初始值对所述I帧进行编码。在步骤103中，对所述I帧的编码可以使用[1]、[3]、[4]、[5]中描述的任何一种方法实现。

对所述I帧编码后，用于随后确定用于编码所述视频相应帧的适合的量化参数的速率失真(R-D)模型的参数在编码后阶段得到更新(步骤104)。在编码后阶段的步骤105中，优选地使用[5]中披露的方法确定由缓冲区溢出导致的跳帧数N_post(n)。

在步骤106中，在当前帧之后的编码进程的休眠时间ST_c(n)被确定，其中，所述休眠时间ST_c(n)被用来确定下一帧的起始编码时间SCT(n)。所述已确定的起始编码时间SCT(n)随后用来在步骤107中确定下一帧的起始解码时间SDT(n)，其中该SDT(n)被传送给所述解码器。

一旦所述I帧的编码完成，使用在前的编码后阶段所确定的量化参数对下一帧，也是帧间帧进行编码。

当所述信道带宽或者视频内容的统计随时间改变时，如果所述编码帧速率固定为预定义的帧速率F_r，则所述视频序列各帧的质量将有显著变化。为避免此类情况，在所述编码前阶段，根据所述可用信道带宽和任何突发动态改变来确定目标或预期帧速率。

在步骤108中确定平均编码时间间隔T_ave(n)，或者用于对P帧编码的平均时间间隔。平均编码时间间隔T_ave(n)然后用于在步骤109中确定目标编码时间间隔T_fi(n)。所述目标编码时间间隔T_fi(n)与所述预期帧速率反向相关。

所述已确定的预期帧速率然后用于在步骤110中确定所述P帧的目标缓冲区级别。在步骤111中，所述目标缓冲区级别，所述实际缓冲区占用量，所述可用信道带宽，所述预期帧速率以及所述平均编码时间间隔T_ave被用于确定所述P帧的目标比特率f(n)。

在步骤112中，基于所述目标比特率f(n)，各比特被分配给所述的P帧。在步骤113中使用来自步骤104的更新的R-D模型进行如[5]中所描述的对相应量化参数Q的计算。所述量化参数Q用于在步骤114中编码所述P帧。

当下一帧是P帧时，所述R-D模型在所述编码后阶段的步骤104中再次更新，且所述编码后和编码前阶段整体重复以对下一个P帧进行编码。如果下一帧为下一个图片组(GOP)的I帧，所述编码进程从步骤101再次开始从而对下一个I帧进行编码。

下面具体描述根据本发明的编码前阶段的步骤108到步骤111以及编码后阶段的步骤106和步骤107的执行。

在编码第i个I帧后，所述目标缓冲区级别的初始值被初始化为

Targ et(0)＝B_c(t_i，l)    (1)

其中，B_c(t_i，l)为第i个I帧编码后的实际缓冲区占用量，并且t_i，l为所述第i个I帧被编码的即时时间。

为确定所述GOP中各P帧的目标比特率，需要确定所述P帧的目标缓冲区级别。确定所述目标缓冲区级别的第一步是确定所述预期帧速率。这通过首先利用如下等式确定所述P帧的平均编码时间间隔T_ave(n)来实现(步骤108)：

$T_{\mathrm{ave}}\left(n\right)=(1-x)T_{\mathrm{ave}}(n-1)+\mathrm{\&chi;}*\max \{T_c\left(n\right),\frac{1}{F_r}-{\mathrm{RT}}_{\mathrm{st}}(n-1)\}---\left(2\right)$

其中，x为权重因子，T_c(n)为编码所述P帧的实际时间，以及RT_st被定义为：

如果 $\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}<\frac{1}{F_r}-{\mathrm{RT}}_{\mathrm{st}}(n-1)$ 或者N_post(n)＞0，则RT_st(n)＝0    (3)

否则，

${\mathrm{RT}}_{\mathrm{st}}\left(n\right)=\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}+{\mathrm{RT}}_{\mathrm{st}}(n-1)-\frac{\left[\left(\max \right\{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}+{\mathrm{RT}}_{\mathrm{st}}(n-1))F_r\right]}{F_r}---\left(4\right)$

其中，[a]指小于a的最大整数。

权重因子x满足0＜x＜1，且优选地被设置为0.125的值。所述平均编码时间间隔T_ave(n)的初始值由下式给出

$T_{\mathrm{ave}}\left(0\right)=\frac{1}{F_r}---\left(5\right)$

且RT_st(n)的初始值由下式给出

RT_st(0)＝0                  (6)

变量B_mad(n)进一步由如下等式定义：

$B_{\mathrm{mad}}\left(n\right)=\frac{u\left(n\right)\max \{T_{\mathrm{ave}}(n-1),T_{\mathrm{fi}}(n-1)\}}{\mathrm{MAD}\left(n\right)}---\left(7\right)$

其中，u(n)为可用信道带宽，以及MAD(n)为当前帧和前一帧之间的绝对平均差。

所述可用信道带宽u(n)可通过[6]中描述的方法进行估计。

然后，利用如下等式计算B_mad(n)的平均值：

TB_mad(n)＝(1-ξ)TB_mad(n-1)+ξB_mad(n)             (8)

其中TB_mad(n)为B_mad(n)的平均值，以及ξ为权重因子，优选地为0.125的值。

计算得到TB_mad(n)的值后，可如下计算所述目标编码时间间隔T_fi(n)(步骤109)：

如果B_mad(n)＞B₁*TB_mad(n)，T_fi(n)＝A₁*T_fi(n-1)    (9)

如果B_mad(n)＜B₂*TB_mad(n)，T_fi(n)＝A₂*T_fi(n-1)    (10)

否则，T_fi(n)＝T_fi(n-1)                           (11)

其中，A₁为参数，且0.80＜A₁＜1.00，A₂为参数，且1.00＜A₂＜1.10，B₁为参数，且1.00＜B₁＜2.00，B₂为参数，且0＜B₂＜1.00，

从等式(9)，(10)或(11)确定的目标编码时间间隔T_fi(n)的数值可进一步利用以下等式进行调整：

$T_{\mathrm{fi}}\left(n\right)=\min \left\{\frac{5}{{4F}_r}\max \right\{\frac{3}{{4F}_r},T_{\mathrm{fi}}\left(n\right)\left\}\right\}---\left(12\right)$

其中T_fi(n)的初始值如下给出

$T_{\mathrm{fi}}\left(0\right)=\frac{1}{F_r}---\left(13\right)$

在所述预期帧速率从所述目标编码时间间隔T_fi(n)的倒数确定后，为确定所述目标缓冲区级别，需要先确定因计算资源不足导致的跳帧的平均数S_c(n)。

两个时间变量如下定义：

$\tilde{T}\tilde{S}\tilde{T}(n-1)=\mathrm{TST}(n-1)-\frac{[\mathrm{TST}(n-1)*F_r]}{F_r}---\left(14\right)$

$\mathrm{TST}\left(n\right)=\max \{0,\tilde{T}\tilde{S}\tilde{T}(n-1)+\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}-\frac{1}{F_r}\}---\left(15\right)$

其中TST(n)的初始值如下给出

TST(0)＝0                                        (16)

所述因计算资源不足导致的跳帧的即时数

如下给出

${\tilde{S}}_c\left(n\right)[\mathrm{TST}\left(n\right)*F_r]---\left(17\right)$

并且，所述因计算资源不足导致的跳帧的平均数S_c(n)如下给出

$S_c\left(n\right)=[(1-\mathrm{\&theta;})S_c(n-1)+\mathrm{\&theta;}*{\tilde{S}}_c\left(n\right)]---\left(18\right)$

其中，θ满足0＜θ＜1，且其优选地被设置为0.125的值。S_c(n)的初始值如下给出

S_c(0)＝0    (19)

所述P帧的目标缓冲区级别现在可以利用如下等式确定(步骤110)：

$T\arg \mathrm{et}\left(n\right)=T\arg \mathrm{et}(n-1)-\frac{B_c\left(T_{i,l}\right)-\mathrm{\&delta;}*B_s}{N_{\mathrm{gop}}-1}*\underset{j=0}{\overset{N_{\mathrm{post}}(n-1)+S_c(n-1)}{\mathrm{\&Sigma;}}}{W}_{\mathrm{pos}}(n+j)---\left(20\right)$

其中Targ et(n)为目标缓冲区级别，N_gop为GOP中的帧数，且W_pos(l)为第l个帧间帧的位置权重，其满足，

$\underset{l=1}{\overset{N_{\mathrm{gop}}}{\mathrm{\&Sigma;}}}{W}_{\mathrm{pos}}\left(l\right)=N_{\mathrm{gop}}-1$ 以及W_pos(1)≤W_pos(2)≤…≤W_pos(N_gop-1)。

当所述R-D模型不准确时，在各帧的目标缓冲区级别和实际缓冲区占用量之间常常存在差别。因此，需要计算各帧的目标比特率以使得实际缓冲区占用量维持为目标缓冲区级别。所述各帧的目标比特率如下确定：

$\tilde{f}\left(n\right)=\max \{0,u\left(t_{n,i}\right)*\max \{T_{\mathrm{ave}}(n-1),T_{\mathrm{fi}}\left(n\right)\}+(\mathrm{\&gamma;}-1)(B_c\left(t_{n,i}\right)-T\arg \mathrm{et}\left(n\right))\}---\left(21\right)$

其中

为目标比特率，t_n，i为第i个GOP中的第n个P帧被编码的即时时间，以及γ为常数，其满足0＜γ＜1，且优选地被设置为0.25的值。

由于所述可用信道带宽u(t_n，i)和所述平均编码时间间隔T_ave(n-1)被用来确定各P帧的目标比特率，根据本发明的比特率控制方法适合于所述信道带宽和所述计算资源。

所述目标比特率可利用如下加权时间平滑等式进行进一步调整：

$f\left(n\right)=\max \{\frac{u\left(t_{n,i}\right)*\max \{T_{\mathrm{ave}}(n-1),T_{f,i}\left(n\right)\}}{3}+H_{\mathrm{hdr}}(n-1),\mathrm{\&mu;}\&times;\tilde{f}\left(n\right)+(1-\mathrm{\&mu;})\&times;f(n-1)\}---\left(22\right)$

其中，f(n)为经过平滑的目标比特率，μ为加权控制因子常数，其优选地被设置为0.5的值，以及H_hdr(n)为用于形状信息、动态向量以及前一帧报头的比特数。

一旦所述目标比特率确定，各比特就基于此目标比特率被分配给各P帧(步骤112)。所述相应的量化参数Q也利用[5]中所披露的方法进行计算(步骤113)。所述相应的量化参数Q然后用于编码所述P帧(步骤114)。

所述P帧编码完成后，使用[5]中所披露的方法，分别地在所述编码后阶段更新所述R-D模型的参数，以及确定因缓冲区溢出导致的跳帧的数量(步骤104，105)。

在所述编码后阶段进一步的步骤中(步骤106)，当前帧之后的编码进程的休眠时间利用如下等式确定：

${\mathrm{ST}}_c\left(n\right)=\max \{\frac{1}{F_r}-{\mathrm{RT}}_{\mathrm{st}}(n-1)-\max \{T_{\mathrm{fi}}\left(n\right),T_c\left(n\right)\},0\}+\frac{N_{\mathrm{post}}\left(n\right)}{F_r}---\left(23\right)$

其中ST_c(n)为所述编码进程的休眠时间。

然后，下一帧的起始编码时间可利用如下等式获得：

SCT(n)＝T_c(n)+SCT(n-1)+ST_c(n)    (24)

其中，SCT(n)为起始编码时间。下一帧的起始解码时间可利用如下等式获得(步骤107)：

$\mathrm{SDT}\left(n\right)=\frac{[\mathrm{SCT}\left(n\right)*F_r]}{F_r}---\left(25\right)$

其中，SDT(n)为起始解码时间。所述下一帧的SDT(n)然后将被发送给解码器，以便在SDT(n)所指示的时间对该下一帧解码。

应该注意到，在确定ST_c(n)和SDT(n)时，任何帧都不能进行两次编码，时间辨析率为

并且，当所述缓冲区存在溢出危险时，应当经过必须的时间。

为证明根据本发明的速率控制方法已经实现所述目标，将根据本发明的速率控制方法以及在标准MPEG-4编码装置中使用的速率控制方法应用于两个视频序列，从而对它们的性能进行比较。

所述两个视频序列分别称为“天气”和“儿童”，且其大小为QCIF。所述预定义帧速率F_c为30fps(帧/秒)，且各GOP的长度为50。所述可用信道带宽以及用于编码视频序列各帧的计算时间分别在图2和图3中示出。

实际帧速率为17fps以上，但小于30fps的预定义帧速率。所述初始缓冲区充满度被设置为B_s/8，并且，所述初始量化参数Q₀被设置为15。

图4和图5分别示出了使用了根据本发明的速率控制方法和MPEG-4中所用的速率控制方法的视频序列“天气”和“儿童”的峰值信噪比(PSNR)。

使用了根据本发明的速率控制方法的视频序列“天气”的平均PSNR为34.16dB，而使用了MPEG-4中所使用的速率控制方法的视频序列“天气”的平均PSNR为32.6dB。类似地，使用了根据本发明的速率控制方法的视频序列“儿童”的平均PSNR为30.51dB，而使用了MPEG-4中所使用的速率控制方法的视频序列“儿童”的平均PSNR为29.87dB。

因此，可看出，使用根据本发明的速率控制方法比使用MPEG-4的速率控制方法所得的视频序列的平均PSNR高。

图6和图7分别示出了使用了根据本发明的速率控制方法和MPEG-4中的速率控制方法的视频序列“天气”和“儿童”的实际缓冲区占用量。

从图6和图7可看出，在使用MPEG-4的速率控制方法时，视频序列“天气”中出现了12次缓冲区下溢，而视频序列“儿童”中出现了18次。而使用根据本发明的速率控制方法时，两个视频序列都未出现缓冲区下溢。

本说明书中使用了下列文献：

[1]H.J.Lee and T.H.Chiang and Y.Q.Zhang.Scalable Rate Control forMPEG-4 Video.IEEE Trans.Circuit Syst.Video Technology，10：878-894，2000.

[2]T.Chang and Y.Q.Zhang.A new rate control scheme using quadraticrate-distortion modeling.IEEE Trans.Circuit Syst.Video Technology，7：246-250，1997.

[3]J.Ribas-Corbera and S.Lei.Rate control in DCT video coding forlow-delay communications.IEEE Trans.Circuit Syst.Video Technology，9：172-185，1999.

[4]A.Vetro，H.Sun and Y.Wang.MPEG-4 rate control for multiple videoobjects.IEEE Trans.Circuit Syst.Video Technology，9：186-199，1999.

[5]Z.G.Li，X.Lin，C.Zhu and F.Pan.A novel rate control scheme for videoover the internet.In Proceedings ICASSP 2002，Florida，USA，Vol.2，pp.2065-2068，May 2002.

[6]Z.G.Li，N.Ling，C.Zhu，X.K.Yang，G.N.Feng，S.Wu and F.Pan.Packetization algorithm for MPEG-4 Fine Granularity Scalability over theinternet.In the 3^rd workshop and Exhibition on MPEG-4，USA，California，pp 17-20，June 25-27，2002.

Claims (21)

1.一种控制视频序列编码速率的方法，其中，所述视频序列包括多个图片组，其中每个图片组至少包括I帧和帧间帧，该方法包括如下步骤来对所述图片组中的各帧间帧进行编码：

基于所述帧间帧的目标编码时间间隔确定预期帧速率，其中，基于用于传输所述视频序列的可用信道带宽和用于编码所述帧间帧的平均编码时间间隔来确定所述帧间帧的目标编码时间间隔，所述帧间帧的平均编码时间间隔正比于所述编码进程的可用计算资源；

基于所述预期帧速率以及所述帧间帧关于所述I帧的位置确定目标缓冲区级别；以及

基于所述目标缓冲区级别和所述可用信道带宽确定目标比特率，其中，所述目标比特率用于控制所述视频序列编码速率。

2.根据权利要求1的速率控制方法，其中，所述帧间帧的目标编码时间间隔利用如下等式确定：

如果B_mad(n)＞B₁*TB_mad(n)，则T_fi(n)＝A₁*T_fi(n-1)

如果B_mad(n)＜B₂*TB_mad(n)，则T_ft(n)＝A₂*T_ft(n-1)

否则，T_ft(n)＝T_fi(n-1)

其中，T_fi(n)为所述帧间帧的目标编码时间间隔，A₁为参数，且0.80＜A₁＜1.00，A₂为参数，且1.00＜A₂＜1.10，B₁为参数，且1.00＜B₁＜2.00，B₂为参数，且0＜B₂＜1.00，TB_mad(n)为B_mad(n)的平均值，且B_mad(n)定义为

$B_{\mathrm{mad}}\left(n\right)=\frac{u\left(n\right)\max \{T_{\mathrm{ave}}(n-1),T_{\mathrm{fi}}(n-1)\}}{\mathrm{MAD}\left(n\right)}$

其中，u(n)为所述可用信道带宽，T_ave(n-1)为所述帧间帧的平均编码时间间隔，以及MAD(n)为当前帧和前一帧之间的绝对平均差。

3.根据权利要求2的速率控制方法，其中所述目标编码时间间隔进一步用下式调整：

$T_{\mathrm{fi}}\left(n\right)=\min \{\frac{5}{4F_r},\max \{\frac{3}{4F_r},T_{\mathrm{fi}}\left(n\right)\left\}\right\}$

4.根据权利要求1的速率控制方法，其中基于所述帧间帧的实际编码时间间隔确定所述帧间帧的平均编码时间间隔。

5.根据权利要求4的速率控制方法，其中基于所述目标编码时间间隔以及因缓冲区溢出引起的跳帧数进一步确定所述帧间帧的平均编码时间间隔。

6.根据权利要求5的速率控制方法，其中所述帧间帧的平均编码时间间隔利用如下等式确定：

$T_{\mathrm{ave}}\left(n\right)=(1-x)T_{\mathrm{ave}}(n-1)+\mathrm{\&chi;}*\max \{T_c\left(n\right),\frac{1}{F_r}-R{T}_{\mathrm{st}}(n-1)\}$

其中，χ为权重因子，T_c(n)为所述实际编码时间，F_r为预定义帧速率，以及RT_st被进一步定义为

如果 $\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}<\frac{1}{F_r}-R{T}_{\mathrm{st}}(n-1)$ 或者N_post(n)＞0，则RT_st(n)＝0

否则， ${\mathrm{RT}}_{\mathrm{st}}\left(n\right)=\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}+{\mathrm{RT}}_{\mathrm{st}}(n-1)-\frac{\left[\left(\max \right\{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}+{\mathrm{RT}}_{\mathrm{st}}(n-1))F_r\right]}{F_r}$

其中，N_post(n)为由缓冲区溢出引发的跳帧的数目。

7.根据权利要求3的速率控制方法，其中，确定所述目标缓冲区级别以使得与属于相同GOP的离所述I帧较远的其它帧间帧相比，该GOP中的离所述I帧更近的帧间帧具有更高的目标缓冲区级别高。

8.根据权利要求7的速率控制方法，其中所述目标缓冲区级别利用如下等式确定：

$T\arg \mathrm{et}\left(n\right)=T\arg \mathrm{et}(n-1)-\frac{B_c\left(t_{i,I}\right)-\mathrm{\&delta;}*B_s}{N_{\mathrm{gop}}-1}*\underset{j=0}{\overset{N_{\mathrm{post}}(n-1)+S_c(n-1)}{\mathrm{\&Sigma;}}}{W}_{\mathrm{pos}}(n+j)$

其中，Target(n)为所述目标缓冲区级别，N_gop为GOP中的帧的数量，B_s为缓冲区大小，B_c为实际缓冲区占用量，S_c为由于用于根据所述预期帧速率对所述帧间帧编码的可用计算资源不足而导致的跳帧的平均数，且W_pos(l)为第l个帧间帧的位置权重，其满足，

$\underset{l=1}{\overset{N_{\mathrm{gop}}-1}{\mathrm{\&Sigma;}}}{W}_{\mathrm{pos}}\left(l\right)=N_{\mathrm{gop}}-1$ 以及W_pos(1)≤W_pos(2)≤…≤W_pos(N_gop-1)。

9.根据权利要求8的速率控制方法，其中，基于当对所述帧间帧编码时由于可用计算资源不足而导致的跳帧的即时数来确定由于用于根据所述预期帧速率编码所述帧间帧的计算资源不足而导致的跳帧的平均数。

10.根据权利要求9的速率控制方法，其中，基于所述实际编码时间间隔和所述目标编码时间间隔确定所述因计算资源不足导致的跳帧的即时数。

11.根据权利要求10的速率控制方法，其中所述跳帧的即时数可用如下等式确定：

${\tilde{S}}_c\left(n\right)=[\mathrm{TST}\left(n\right)*F_r]$

其中，TST(n)可进一步定义为

$\mathrm{TST}\left(n\right)=\max \{0,\tilde{T}\tilde{S}\tilde{T}(n-1)+\max \{T_c\left(n\right),T_{\mathrm{fi}}\left(n\right)\}-\frac{1}{F_r}\}$

而

定义为

$\tilde{T}\tilde{S}\tilde{T}(n-1)=\mathrm{TST}(n-1)-\frac{[\mathrm{TST}(n-1)*F_r]}{F_r}$

其中，为所述因计算资源不足而导致的跳帧的即时数，T_c(n)为所述实际编码时间间隔，以及F_r为预定义帧速率。

12.根据权利要求11的速率控制方法，其中所述因计算资源不足而导致的跳帧的平均数用如下等式确定：

$S_c\left(n\right)=[(1-\mathrm{\&theta;})S_c(n-1)+\mathrm{\&theta;}*{\tilde{S}}_c\left(n\right)]$

其中θ为权重因子。

13.根据权利要求12的速率控制方法，其中，基于所速帧间帧的平均编码时间间隔，所述因计算资源不足而导致的跳帧的平均数，所述目标缓冲区级别，所述可用信道带宽以及实际缓冲区占用量来确定所述目标比特率。

14.根据权利要求6或权利要求13的速率控制方法，其中所述目标比特率利用下式确定：

$\tilde{f}\left(n\right)=\max \{0,u\left(t_{n,i}\right)*\max \{T_{\mathrm{ave}}(n-1),T_{\mathrm{fi}}\left(n\right)\}+(\mathrm{\&gamma;}-1)(B_c\left(T_{n,i}\right)-T\arg \mathrm{et}\left(n\right))\}$

其中，

为所述目标比特率，t_n，i为编码第i个GOP中的第n个帧间帧的即时时间，以及γ为常数。

15.根据权利要求14的速率控制方法，其中所述目标比特速率可进一步通过下式利用加权时间平滑进行调整：

$f\left(n\right)=\max \{\frac{u\left(t_{n,i}\right)*\max \{T_{\mathrm{ave}}(n-1),T_{f,i}\left(n\right)\}}{3}+H_{\mathrm{hdr}}(n-1),\mathrm{\&mu;}\&times;\tilde{f}\left(n\right)+(1-\mathrm{\&mu;})\&times;f(n-1)\}$

其中，f(n)为经过平滑的目标比特率，μ为加权控制因子常数，以及H_hdr(n)为用于形状信息、动态向量以及前一帧报头的比特数。

16.根据权利要求1的速率控制方法，进一步包括如下步骤：

在对每一帧编码后，确定该帧的休眠时间，

基于所述计算得到的休眠时间确定各帧的起始编码时间，

基于所述计算得到的起始编码时间确定下一帧的起始解码时间，

将所述已确定的起始解码时间传送给被设计用于解码所述视频序列的解码器。

17.根据权利要求16的速率控制方法，其中所述体眠时间根据如下公式确定：

${\mathrm{ST}}_c\left(n\right)=\max \{\frac{1}{F_r}-{\mathrm{RT}}_{\mathrm{st}}(n-1)-\max \{T_{\mathrm{fi}}\left(n\right),T_c\left(n\right)\},0\}+\frac{N_{\mathrm{post}}\left(n\right)}{F_r}$

其中ST_c(n)为所述编码进程的休眠时间。

18.根据权利要求17的速率控制方法，其中，所述起始编码时间根据下式确定：

SCT(n)＝T_c(n)+SCT(n-1)+ST_c(n)

其中，SCT(n)为所述起始编码时间。

19.根据权利要求18的速率控制方法，其中，所述起始解码时间根据下式确定：

$\mathrm{SDT}\left(n\right)=\frac{[\mathrm{SCT}\left(n\right)*F_r]}{F_r}$

其中，SDT(n)为所述起始解码时间。

20.一种用于控制视频序列编码速率的装置，其中，所述视频序列包括多个图片组，其中每个图片组至少包括I帧和帧间帧，此装置包括处理单元，其适于对所述图片组中的各帧间帧进行编码，其中所述处理单元包括：

预期帧速率确定部分，基于所述帧间帧的目标编码时间间隔确定预期帧速率，其中，基于用于传输所述视频序列的可用信道带宽和用于编码所述帧间帧的平均编码时间间隔来确定所述帧间帧的目标编码时间间隔，所述帧间帧的平均编码时间间隔正比于所述编码进程的可用计算资源；

目标缓冲区级别确定部分，基于所述预期帧速率以及所述帧间帧关于所述I帧的位置确定目标缓冲区级别；以及

目标比特率确定部分，基于所述目标缓冲区级别和所述可用信道带宽确定目标比特率，其中，所述目标比特率用于控制所述视频序列编码速率。

21.一种用于控制视频序列编码速率的视频编码装置，其中，所述视频序列包括多个图片组，其中每个图片组至少包括I帧和帧间帧，此编码装置包括处理单元，其适于对所述图片组中的各帧间帧进行编码，其中所述处理单元包括：

预期帧速率确定部分，基于所述帧间帧的目标编码时间间隔确定预期帧速率，其中，基于用于传输所述视频序列的可用信道带宽和用于编码所述帧间帧的平均编码时间间隔来确定所述帧间帧的目标编码时间间隔，所述帧间帧的平均编码时间间隔正比于所述编码进程的可用计算资源；

目标缓冲区级别确定部分，基于所述预期帧速率以及所述帧间帧关于所述I帧的位置和复杂度确定目标缓冲区级别；以及

目标比特率确定部分，基于所述目标缓冲区级别和所述可用信道带宽确定目标比特率，其中，所述目标比特率用于控制所述视频序列编码速率。

Images