CN100358365C

CN100358365C - 网络视频编码器多维尺度码率控制方法

Info

Publication number: CN100358365C
Application number: CNB2005100263900A
Authority: CN
Inventors: 熊红凯; 宋利; 孙军; 余松煜; 周军
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2005-06-02
Filing date: 2005-06-02
Publication date: 2007-12-26
Anticipated expiration: 2025-06-02
Also published as: CN1694533A

Abstract

一种网络视频编码器多维尺度码率控制方法，输入视频序列以宏块条、图像帧或图像组作为图像控制单元，按照时间域、空间域、时域变换、空域变换、时空域变换，分割为不同尺度的集合空间，码率控制单元根据互联网、移动通信网或广播网的多元异构网络信道传输带宽的时变状态、缓冲区充溢度、多接入终端的资源及处理能力，进行集合空间分割的可变比特率编码，以匹配当前的视频编码器资源、网络传输码率、接收端及解码器处理能力，视频解码器根据接收码流***的语法标识，进行相应的多维相关尺度图像重构，显示图像序列。本发明输出的数据流可以在确保良好主观图像质量的基础上，具有良好的扩展度，充分结合当前传统的视频编码器。

Description

网络视频编码器多维尺度码率控制方法

技术领域

本发明涉及的是一种视频编码技术领域的控制方法，特别是一种可以应用于在多元集成异构网络、多接入环境下的恒定速率和可变速率数据传输场合的网络视频编码器多维尺度码率控制方法。

技术背景

当前，通用的数字电视编码技术是由MPEG(运动图像专家组)制定的MPEG-2技术，它由ISO/IEC13818文件描述；常用的网络视频编码技术是MPEG-4技术，它由ISO/IEC14496文件描述。这些文件只规定了视频编码器编出的码流所必须遵守的语法规范，包含图象组、图象帧、宏块条、宏块、块等分层结构，其中图象帧按照时域分级的特性又分为帧内编码帧、前向预测编码帧、双向预测编码帧，但标准并未对码率控制的具体方法作出限制性规定。常用的码率控制方法是TM5和Q2算法，它们分别由ISO/IEC/JTC1/SC29/WG11/N0400和ISO/IEC/JTC1/SC29/WG11/M1631等文件描述，包含对图象组内的图象帧作比特分配、根据虚拟缓冲区充溢度进行宏块码率控制、针对宏块复杂度进行自适应量化调整等阶段。随着计算机互联网和不同接入网的发展，基于不同类型网路混合传递结构的尽力而为(Best-effort)的服务模式成为当前网络视频应用的主流。因此根据端到端的服务质量(QoS)需求，无论是基于预留的集成业务框架，还是基于优先级的区分业务框架，都意味着进行可变速率的资源分配和视频数据流传输成为当前的重要应用。针对异构网络结构、时变信道状态、多接入业务进行多媒体视频的灵活自适应码率控制，成为网络视频传输等网络电视(IPTV)、移动电视、流媒体应用等服务广泛拓展的关键问题。而传统的TM5和Q2等现有视频编解码码率控制方法，针对时变的网络传输带宽与缓冲区充溢度，主要是仅仅根据编码端的复杂度控制，进行简单门限判决下的时间域跳帧、及空间域或变换域上量化步长的设置，来匹配所需可变比特率的调整。该码率控制机制导致主观图像质量不理想，波动起伏大且块状效应明显，更无法针对多元(互联网、移动通信网、广播网)异构网络带宽变化、用户解码器的处理能力作出调整。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种网络视频编码器多维尺度码率控制方法，使其输出的数据流可以在确保良好主观图像质量的基础上，具有良好的扩展度，充分结合当前传统的视频编码器。

本发明是通过以下技术方案实现的，本发明将输入视频序列以宏块条、图像帧或图像组作为图像控制单元，按照时间域、空间域、时域变换、空域变换、时空域变换，分割为不同尺度的集合空间，码率控制单元根据互联网、移动通信网或广播网的多元异构网络信道传输带宽的时变状态、缓冲区充溢度、多接入终端的资源及处理能力，进行集合空间分割的可变比特率编码，以匹配当前的视频编码器资源、网络传输码率、接收端及解码器处理能力，视频解码器根据接收码流***的语法标识，进行相应的多维相关尺度图像重构，显示图像序列。

所述的集合空间分割，其按照码率控制的精细粒度和率失真优化判决准则，选择适宜的集合空间，进行可变比特率编码。集合空间分割的可变比特率编码包括如下步骤：

1、首先，对输入的图象序列按输入的时间次序设置固定大小的图像组，进行场景检测。当发现场景变换时，重新设置时域上的新图像组：即将图象序列当前图象组中的剩余图象帧与下一个图象组合并以构成一个新图象组。

2、其次，以图象组作单元，根据网络性能和业务参数，选择码率控制的集合空间，即将图像组按照时间域、空间域、时域变换、空域变换、时空域变换分割为不同尺度的集合空间。

定义终端显示的帧率与原始输入帧率的比率为时间域重要性因子；定义终端显示的分辨率与原始图像分辨率的比率为空间域重要性因子；定义图像组的取样平均方差与图像组内各图像帧方差平均值的比率为变换域重要性因子。按照各重要性因子的权重定义一致性测度函数，根据一致性测度函数的取值门限为当前图像组的编码选择适宜的集合空间分割。

如果按照时间域分割，则对输入图象序列中的图像组进行多重间隔划分，每次间隔划分可以构造成时域上相关的多个子区间集合；如果按照空间域分割，则对输入图象序列中的图像帧进行多重空间分辨率下变换，每次空间分辨率下变换可以构造成空域上相关的多分辨率图像帧；如果按照时域变换，则对输入图象序列中的图像组进行多重时域变换，每次时域变换的系数进行区间划分以构成多个时域变换图像帧；如果按照空域变换，则对图像帧进行多重空间域变换，每次空间域变换的系数按照位置和门限分割为不同重要性的区间；如果按照时空变换，则对输入图象序列中的图像组进行多重三维时空变换，每次三维时空变换的系数按照位置和门限分割为不同重要性的区间。

3、码率控制单元对选定的图像组集合空间分割，选择变换、量化与熵编码，并在编码单元生成的码流中***相应的语法标识，进行传输。

4、码率控制单元每编完一个图像组，更新其选择集合空间分割的已生成比特数，进行缓冲区充溢度判决和码率控制集合空间分割的预判决。

5、视频编码器的本地解码模块，按照集合空间分割的相关性进行对应图像重构。

本发明的网络视频编解码器多维尺度自适应码率控制方法，将人眼视觉特性以及不同应用环境下的主观需求，结合传统的客观图像质量，通过在时间域、空间域、时域变换、空域变换、时空域变换的多维尺度分割，实现一种可伸缩、可扩展的集合空间渐进划分，通过码率控制单元按照率失真预测下的控制，使输出的数据流能匹配多种资源约束条件。本发明运算实现具有良好的扩展度和兼容性。无论是相对于传统视频编码器的实现结构和码率控制方法，还是针对现有网络视频业务的应用和转换，本发明的方法均具有适用性。

附图说明

图1本发明示意图。

图2本发明实施例的时间域分割示意图。

图3本发明实施例的空间域分割示意图。

图4本发明实施例的时间域变换分割示意图。

图5本发明实施例的空间域变换分割示意图。

图6本发明实施例的时空域变换分割示意图。

具体实施方式

以下结合附图和进一步具体描述实施方式。

由于网络视频业务涉及广泛的网络电视、可视电话、会议电视、视频点播等业务模式，使现有独立的多元异构网络包括互联网、移动通信网、广播网成为集成化的信道，不同的服务质量保证、不同的接入信道带宽、不同的终端处理能力、不同的应用服务需求等，都使现有复杂的视频编码器中基于量化步长调整的码率控制机制陷于僵化和进退两难的地步，目前往往是通过业务传输信道中不同网络节点的转码处理来进行中继。视频编码器的结构扩展和资源自适应性成为需要着力解决的关键问题，本发明提出的网络视频编码器多维尺度码率控制方法，是一种具体的实施策略，它在传统的视频编码器体系基础上采用了多种码率调整的控制方法。操作步骤如下：

1、如图1所示，对原始图像组进行场景检测和组织。

2、网络检测管理单元根据网络带宽的变化将网络性能参数(带宽、抖动以及时延)返回给码率控制单元。

码率控制单元获得网络性能参数，根据前一已编码图像组的生成比特数S、缓冲区充溢度B_c，对当前待编码图像组(包含N帧图像)进行目标码字T_G分配。

T_{G} = Δ_{1} \frac{R_{C}}{F} N + (1 - Δ_{1}) (T_{G}^{'} - S) - \max {0, B_{c} + S - T_{G}^{'},}

其中T_G′为前一图像组的目标码字，Δ₁为码字分配的加权系数，R_C为信道带宽，F为当前的编码帧率。

令{B_t，B_s，B_f}分别为最新的图像组在时间域、空间域、变换域集合空间生成的比特数，分别计算时间域、空间域、变换域重要性因子T_Q，S_Q，F_Q，从而计算一致性测度函数：M＝w_tT_M+w_sS_M+w_fF_M，其中{w_t，w_p，w_f}分别为不同重要性因子的权重系数且w_t+w_p+w_f＝1。

按照最小化准则

对当前待编码图像组，进行相应的多维尺度分割(图2，图3，图4，图5，图6)。

如图2所示，进行时间域的多重区间分割，如原始图像组按奇、偶图像帧划分为两个子图像组，每个子图像组按奇、偶排列继续划分，形成不同层次的图像组子区间。低层次的子区间可以按照时域内插技术进行高层次的子区间预测重建，相同层次的不同子区间可以按照时域的前、后向相关性进行预测重建。传统视频编码标准中的内插双向预测B帧图像、时域跳帧图像都属于该时域分割的特定情形。

如图3所示，进行空间域的多重分割，如原始图像帧按空间分辨率进行下变换(例如由分辨率704×576变换为352×288，再变换为176×144等)，形成不同层次的子图像帧序列。低层次的子图像帧序列可以按照空间域内插技术进行高层次的子图像序列预测重建。

如图4所示，进行时域多重变换的频域尺度区间分割，如原始图像组按Haar小波或按(5，3)小波变换分解为低、高频两个区间序列，每个低频序列可以继续分解为高层次的低、高频区间序列。低层次的低频序列可以由高层次的低、高频序列合成重构。

如图5所示，进行空间域多重变换的频域尺度区间分割，如原始图像帧按照小波变换进行空间分解为LL、HL、LH、HH子带，每个LL子带可以持续分解为高层次LL、HL、LH、HH子带。高层次的子带集合可以合成低层次的低频子带。

如图6所示，进行时空域多重变换的频域尺度区间分割，如原始图像帧按照三维小波变换进行空间分解为LLL、LHH、LHL、LLH、HLL、HHL、HLH、HHH子带，每个LLL子带可以持续分解为高层次的8个子带。高层次的子带集合可以合成低层次的低频子带。

3、将选定集合空间分割出的视频信号，选择进行后续的变换、量化、编码，将集合分割的描述信息作为边信息与运动矢量一起***码流，通过网络传输。

4、编码完成该图像组后，更新图像组相应的集合空间分割最新生成比特数S与B_i，i∈{t，s，f}，预测缓冲区B_c的充溢度状态，

{\tilde{B}}_{c} = B_{c} + S - \frac{R_{C}}{F} .

若

小于0，则对下一个图像组编码不采用该集合空间分割的方式。

同时，按照设定的门限，比较该图像组的生成比特数B_i，i∈{t，s，f}与目标比特数T_G的偏离，当超出门限时，则对下一个图像组编码不采用该集合空间分割的方式。

5、解码器收到码流后，根据码流中的描述信息和编码内容按照和编码器对应的解码器解码出特性维度和尺度的视频信息，按照集合空间分割的相关性进行对应图像重构。

如果是时间域的分割，则低层次的子区间可按照时域内插技术进行高层次的子区间预测重建，相同层次的不同子区间可以按照时域的前、后向相关性进行预测重建；如果是空间域的分割，则低层次的子图像帧可以按照空间域内插技术进行高层次的子图像帧预测重建；如果是时域变换的分割，则低层次的图像可以由高层次的变换图像帧合成；如果是空间域变换的分割，则低层次的区间可以由高层次的区间合成；如果是时空域变换的分割，则高层次的区间可以合成低层次的区间。

实验结果表明：采用本发明的码率控制结构和方法，针对低码率应用以及不同的显示终端，提供了非常灵活和良好的接入控制和显示技术，可以有效克服传统的块状效应和提高主观图像质量。

Claims

1、一种网络视频编码器多维尺度码率控制方法，其特征在于，输入视频序列以宏块条、图像帧或图像组作为图像控制单元，按照时间域、空间域、时域变换、空域变换、时空域变换，分割为不同尺度的集合空间，码率控制单元根据互联网、移动通信网或广播网的多元异构网络信道传输带宽的时变状态、缓冲区充溢度、多接入终端的资源及处理能力，进行集合空间分割的可变比特率编码，以匹配当前的视频编码器资源、网络传输码率、接收端及解码器处理能力，视频解码器根据接收码流***的语法标识，进行相应的多维相关尺度图像重构，显示图像序列；

所述的集合空间分割的可变比特率编码包括如下步骤：

①首先，对输入的图像序列按输入的时间次序设置固定大小的图像组，进行场景检测；

②其次，以图像组作单元，根据网络性能和业务参数，选择码率控制的集合空间，即将图像组按照时间域、空间域、时域变换、空域变换、时空域变换分割为不同尺度的集合空间；

③码率控制单元对选定的图像组集合空间分割，选择变换、量化与熵编码，并在编码单元生成的码流中***相应的语法标识，进行传输；

④码率控制单元每编完一个图像组，更新其选择集合空间分割的已生成比特数，进行缓冲区充溢度判决和码率控制集合空间分割的预判决；

⑤视频编码器的本地解码模块，按照集合空间分割进行对应图像重构。

2、如权利要求1所述的网络视频编码器多维尺度码率控制方法，其特征是，所述的集合空间分割，其按照码率控制的精细粒度和率失真优化判决准则，选择适宜的集合空间，进行可变比特率编码。

3、如权利要求1所述的网络视频编码器多维尺度码率控制方法，其特征是，在步骤①中，所述的场景检测，当发现场景变换时，重新设置时域上的新图像组：即将图象序列当前图象组中的剩余图象帧与下一个图象组合并以构成一个新图象组。

4、如权利要求1所述的网络视频编码器多维尺度码率控制方法，其特征是，在步骤②中，定义终端显示的帧率与原始输入帧率的比率为时间域重要性因子；定义终端显示的分辨率与原始图像分辨率的比率为空间域重要性因子；定义图像组的取样平均方差与图像组内各图像帧方差平均值的比率为变换域重要性因子，按照各重要性因子的权重定义一致性测度函数，根据一致性测度函数的取值门限为当前图像组的编码选择适宜的集合空间分割。

5、如权利要求1所述的网络视频编码器多维尺度码率控制方法，其特征是，在步骤②中，所述的将图像组按照时间域、空间域、时域变换、空域变换、时空域变换分割为不同尺度的集合空间，具体为：

按照时间域分割，则对输入图象序列中的图像组进行多重间隔划分，每次间隔划分构造成时域上多个子区间集合；

按照空间域分割，则对输入图象序列中的图像帧进行多重空间分辨率下变换，每次空间分辨率下变换构造成空域上多分辨率图像帧；

按照时域变换，则对输入图象序列中的图像组进行多重时域变换，每次时域变换的系数进行区间划分以构成多个时域变换图像帧；

按照空域变换，则对图像帧进行多重空间域变换，每次空间域变换的系数按照位置和门限分割为多个不同重要性的空域变换系数分布区间；

按照时空变换，则对输入图象序列中的图像组进行多重三维时空变换，每次三维时空变换的系数按照位置和门限分割为多个不同重要性的时空变换系数分布区间。