CN103796019A

CN103796019A - 一种均衡码率编码方法

Info

Publication number: CN103796019A
Application number: CN201210435590.1A
Authority: CN
Inventors: 赵新峰
Original assignee: BEIJING QINNENG TONGDA TECHNOLOGY Co Ltd
Current assignee: BEIJING QINNENG TONGDA TECHNOLOGY Co Ltd
Priority date: 2012-11-05
Filing date: 2012-11-05
Publication date: 2014-05-14
Anticipated expiration: 2032-11-05
Also published as: CN103796019B

Abstract

本发明公开了一种均衡码率编码方法，将图像序列中的I帧分割为多个条带分别编码传送，具体包括如下步骤：（1）进行条带分割：在静态转码中，在所述图像序列中动态提前找到下一个场景切换点，并在这个场景切换点处***I帧；（2）同时传输：条带分割后的I帧的数据，进行分别传输；在传输P帧或者B帧数据时，一并传输后继的已经编码完成的条带分割编码的I帧；（3）合并解码：对应的渐进解码器在接收P帧和B帧传输过程中，不断收集后继的I帧数据，等全部收集完成，再对其进行解码。本发明的优点在于，通过本发明可有效平缓图像编解码过程中由于必须***的I帧而带来了码流本身的波动，为视频码流的平稳传播提供了可能。

Description

一种均衡码率编码方法

技术领域

本发明涉及一种视频图像编码方法，具体涉及一种先进行条带分割然后分别编码传输的均衡码率编码方法。

背景技术

现阶段已经有多个关于视频编解码的技术标准，包括ISO/IEC 运动专家组（MPEG）系列的MPEG-1，MPEG-2，MPEG-4，以及国际电信联盟ITU视频编码专家组(VCEG)的联合视频组（JVT）的联合标准H.264/AVC，H.264也叫做MPEG4 part 10，这些视频压缩技术标准都是通过压缩技术对视频数据进行压缩从而改进传输效率。在实际电信应用中，电路的额定传输带宽往往是固定的，难以适应可变码率VBR（Variable Bitrate）的大幅度抖动。例如，VBR方式编码的视频压缩码流，其最大码率和最小码率上下波动范围有可能达到10倍，如此大幅度的波动，很难与现有电信网进行适配。为了与现有电信网进行比较好的适配，需要进行固定码率CBR(Constant Bitrate)编码。

在现代的视频编码标准中，一般有Intra（I）帧，P帧，B帧，I帧的效率最低，B帧可以进行双向参考，它的效率最高。一个I帧占用的数据位bit数可以是B帧的上百倍，这就造成了根本上的码率的大幅度抖动，非常不利于CBR固定码率编码。H.264允许每个宏块参照不同的图像，选择不同的参考图像能够改善压缩效率。

一个典型的视频压缩序列就是由上述I帧P帧B帧组成。由于I帧的编码效率低于P帧和B帧，所以I帧是比较节约的，特别是在码率或传输带宽受限的场景下。I帧可以独立解码，而IDR帧(Instananeous Decoding Refresh，解码即时刷新帧) 就是一个入口点或随机存取点，不允许后继的帧跨越IDR参照前面的帧，I帧无此限制。IDR就是一个解码的起始点。为了允许随机存取一个视频序列，需要在序列中***一定数量的IDR帧。在镜头切换时，由于场景变化很大，帧与帧之间可以借鉴的内容不多，此时用I帧编码更有效，此I帧可以不必是一个IDR帧。一个GOP中开始的第一帧必须是一个IDR帧，一个GOP在另外一个IDR之前结束。IDR之间的由于换场等因素***的I帧可以被未来的帧跨越参照此I帧先前的帧。一个更加密集的IDR帧密度显然更有利于用户随机访问一个视频序列。由于换场而***的I帧可以确定为IDR从而引导一个新的GOP的开始，这样的IDR可以叫做自然IDR。在没有换场之间，由于GOP长度约束被迫***的IDR帧，可以叫做被动IDR帧。被动IDR帧与之前的帧有冗余。IDR之后的帧不能参照IDR之前的帧，I帧之后的帧可以参照I帧之前的帧。

分级结构有四层，从上到下依次为图像层(picture layer)、条带层(slice，GOB)、宏块层(MB)和块层(block layer)。条带结构是一个条带头以及后继的条带数据。条带定义为一个图像内若干宏块的组合。条带能够独立编码，一个条带不能参照其它条带的数据。在有误码的传输环境中，条带结构有利于差错恢复。每个条带内部有多个MB，一个MB是16x16的亮度像素数据和8x8的色度数据。H.264标准中，将视频压缩的数据VCL与将此数据打包适配特定网络上传输形成的传输层NAL分离。图像冗余表示空间上相邻像素之间的相似性，时间冗余表示帧与帧之间有很大的相似性，可以互相参照和借鉴。频谱冗余是指不同彩色成分之间的具有相互的关系。参考图像选择，运动补偿的参考图像可以在参考图像缓冲区中进行选择。H.264允许每个宏块参照不同的图像，选择不同的参考图像能够改善压缩效率。

渐进解码器刷新涉及“脏的”随机访问，图像内容在多个编码图像内渐进恢复。渐进解码刷新的基本想法是将帧的一部分宏块编码为帧内编码。当解码器在一个随机的访问点开始解码时，对于该解码器来说，运动补偿的参考帧是未知的。解码器可以重建帧内编码的宏块，但运动补偿宏块涉及到未正确接收参考帧的不能被恢复。经过多个解码帧后，累积的帧内编码区域逐渐增加，最终可以获得一个完整的重建图像。

H.264中运用环路滤波减弱边界效应，但临近宏块可能未能正确解码重建。半像素和1/4像素也是通过6抽头或4抽头滤波器重建的。未能正确重建的像素可能会被用于内插一个位于可靠解码区域之内的像素，这将导致解码误差。

为解决此类问题，不少单位及发明人对此作出了较深入的研究，并公开了一系列有创造的解决办法。如诺基亚有限公司曾于2003年4月28日申请并于2006年5月17日公开了一件名为“视频编码中的随机访问点”的发明专利（专利申请号为03809615.3），其是在识别渐进解码器刷新方法实现的潜在复杂性的基础上进行的。根据该方法，由视频帧构成的一个视频序列被编码，其中编码方法包括将至少一个视频帧分成一组编码块，并且使用帧内编码来编码至少一个所述的编码块。然后，包括至少一个帧内编码的编码块的第一可靠区域被确定，并且在所述的视频序列中编码所述的第一可靠区域从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。当从一个任意的点访问该视频序列时，解码器能够使用所述的可靠区域作为一个随机访问点。该发明的优点在于能够用于在编码视频流中提供随机访问点，同时可靠地更新图像区域的一部分，而不是该区域的整个帧内宏块的覆盖范围，而且阻止传输误差的时空传播。此外，其允许不同的误差保护和传输优先级从而改善接收的视觉质量并且根据不同部分的视频数据的主观的优先级形成通信量，并能够避免对话应用中的全部I帧，以使终端-终端之间的延迟最小，并且改进接收到的视觉质量。但此方法对于换场I帧的处理效果不够好，因为换场I帧的图片内容与前续的画面相同的部分很少，没有很多可以继承和参考的内容，所以前续画面的帧内编码部分并不能对后继的换场I帧起到很大的帮助作用。此外，清华大学于2007年1月12日申请了一件名为“一种支持视频帧随机读取的视频编解码方法”发明专利（专利申请号为200710062633.5），其编码方法为：对视频帧进行分组，将组内所有帧设置成I帧，P帧，B帧和随机读取帧W帧，并对组内的所有帧I帧，P帧，B帧进行传统编码，对W帧首先按照P帧的编码方式进行编码，再利用分布式视频编码的编码方法参考离该W帧最近的I帧以及该I帧与该W帧之前的任意一帧对该W帧进行编码；解码方法为：当不需要进行随机读取时，对各组的I帧、P帧、B帧进行传统解码，W帧按P帧的方法进行解码；当需要进行随机读取时，利用分布式视频编码的解码方法直接对W帧进行解码。该方法的优点在于不但可提高视频帧的随机读取性能，而且生成的码流具有一定的抗差错性能，但其也存在一个明显的缺点，就是除了对I帧、P帧、B帧进行传统解码外，还要按P帧的方法对W帧进行解码，并且不能解除对前I帧的依赖，实际使用效果差。

发明内容

为了克服上述现有技术存在的缺陷，本发明提供一种均衡码率编码方法，通过该方法可有效平缓图像编解码过程中由于必须***的I帧而带来了码流本身的波动，为视频码流的平稳传播提供了可能。

为了实现上述目的，本发明的技术方案如下：一种均衡码率编码方法，将图像序列中的I帧分割为多个条带，分别编码传送，具体包括如下步骤：（1）进行条带分割：在静态转码中，在所述图像序列中动态提前找到下一个场景切换点，并在这个场景切换点处***I帧；（2）同时传输：条带分割后的I帧的数据，进行分别传输；在传输P帧或者B帧数据时，一并传输后继的已经编码完成的条带分割编码的I帧；（3）合并解码：对应的渐进解码器在接收P帧和B帧传输过程中，不断收集后继的I帧数据，等全部收集完成，再对其进行解码。

进一步的，所述解码步骤中，标准解码程序在收到条带数据后分别解码，在标准的I帧的显示时间进行一致显示，将得到一个完整的I帧。

进一步的，所述步骤（1）中的I帧提前独立编码。

进一步的，所述步骤（2）中进行同时传输时，根据P或B帧的大小选择一并传输的后继I帧的条带数据，P帧与I帧条带数据组成的合并传输帧更趋近于目标码率，使得总体码流平稳均衡。

进一步的，所述图像序列中每后续I帧图像分割为条带，这些条带中的宏块可以空间相邻也可以不相邻。

进一步的，所述条块的区域为任意形状。

一种用于权利要求1所述的均衡码率编码方法的视频编码器，该编码器被安排来将后续I帧分割为至少两个条带，通过帧内编码来对所述的条带进行编码。

一种用于权利要求1所述的均衡码率编码方法的视频解码器，其特征在于，所述解码器为渐进解码器，用于对所收集的I帧多个条带数据进行合并解码。

本发明的有益效果在于：(1)在解码端，由于这些分割条带的显示时间是一致的，都是等于它们代表的I帧的显示时间，标准解码程序在收到这些条带数据后分别解码，在标准的I帧的显示时间进行一致显示，将得到一个完整的I帧。通过这些步骤，就可以避免I帧的大数据量带来的波动，以及P帧B帧间，以及在一个GOP内运动量大小不一致等，引起的编码数据大小不一致带来的码流波动。(2)本方法是在本GOP内编码传输下一个GOP的I帧，是跨GOP全局调整码流分配，所以既可以平滑GOP内因为运动和纹理等引起的编码复杂性波动，也可以跨GOP平滑这种复杂性波动，例如，当下一个GOP的纹理和运动复杂，可以把下一个GOP开头的I帧进行更加精细的编码；当本GOP的复杂度高，则简化下一个GOP的I帧编码的精细化程度，进行全局性码率控制调整，形成CBR要求的近似的效果。(3)提前编码的后继的I帧是按照条带切割后分别编码提前传送，这样，即使部分条带的数据在传输过程中丢失，致使某些条带不能够被正确解码，解码端也可以根据收到的正确收到数据的条带最大限度地修复丢失数据条带的显示。（4）由于这些I帧数据比较重要，是后继帧参照的基础，这些提前传输的数据可以进行循环校验编码传输，在有部分数据在传输过程中丢失时，可以做数据恢复。本方法更加适合于点播的离线静态编码，不适合于直播编码，因为离线编码可以提前探测下一个换场点，可以提前确认下一个I帧的位置，而直播难以***下一个换场点，也就不能提前确认前一个I帧的位置。

附图说明

图1为本发明实施例的设计原理框图。

具体实施方式

为了使本发明的技术手段、创作特征与达成目的易于明白理解，以下结合具体实施例进一步阐述本发明。

实施例1：一种均衡码率编码方法，将所述图像序列中的I帧分割为多个条带，分别编码传送，具体包括如下步骤：

步骤一，对于静态转码过程，可以在图像序列中提前找到下一个场景切换点，并决定在这个场景切换点处***I帧。此I帧由于是内部编码，与其它帧无关，可以比它前面的P帧和B帧提前独立编码。

步骤二，由条带分割然后编码产生的数据分别传输。

步骤三，由于P帧和B帧的数据明显少于I帧的数据，在传输P帧或者B帧数据时，顺带传输后继的已经编码完成的条带分割编码的I帧数据，有利于平顺码流。顺带传输的后继I帧的数据片断的大小，是根据本帧(P或B)的大小，本帧大则I帧的数据片断就小些，本帧小则I帧的数据片断就大些，主要目的是平顺码流，争取在每个帧的时间片内都达到目标码率。例如，对于fps=25的视频，一个帧的时间片是40ms，如果目标码率是1Mbps，则每帧的理想大小是41943bit。

步骤四，在解码端，解码器在P帧和B帧传输过程中，不断收集后继的I帧数据，等全部收集完成，即可完整地解码此I帧。

步骤五，由于现有的视频标准没有实现上述算法的标准语法，要实现上述过程，可以用边带数据传输的方法，通过解码端的配合来实现。

步骤六，一种简单的分割方法，就是把I帧分割为面积大小一样的不同区域。这样编码出来的不同条带的数据大致相似。生硬的条带切割可能会留下条带边界的痕迹。另外一种分割方法，是把具有更多空间参考特性的区域划分为一个条带，例如背景条带，前景条带。根据前景形状确定条带分割，这样条带的边界不会很明显。编码完成后，可以把这些编码后的数据包按照大小排序，分别指派给前面GOP的P帧或者B帧数据包，顺带传送。这些条带边界可以互相覆盖，形成冗余。并非静态化条带，而是根据图像情况动态划分，最后有一个剩余部分编码条带，保证在一个周期完毕时获得一个完整的更新。

步骤七，在解码端，由于这些分割条带的显示时间是一致的，都是等于它们代表的I帧的显示时间，标准解码程序在收到这些条带数据后分别解码，在标准的I帧的显示时间进行一致显示，将得到一个完整的I帧。

通过这些步骤，就可以避免I帧的大数据量带来的波动，以及P帧B帧间，以及在一个GOP内以及GOP间复杂度和运动量大小不一致等，引起的编码数据大小不一致带来的码流波动。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明核心构思的前提下，还可以做出若干简单推演或替换，这些变化和改进都落入要求保护的本发明范围内。

Claims

1.一种均衡码率编码方法，其特征在于，将图像序列中的I帧分割为多个条带，分别编码传送，具体包括如下步骤：（1）进行条带分割：在静态转码中，在所述图像序列中动态提前找到下一个场景切换点，并在这个场景切换点处***I帧；（2）同时传输：条带分割后的I帧的数据，进行分别传输；在传输P帧或者B帧数据时，一并传输后继的已经编码完成的条带分割编码的I帧；（3）合并解码：对应的渐进解码器在接收P帧和B帧传输过程中，不断收集后继的I帧数据，等全部收集完成，再对其进行解码。

2.根据权利要求1所述的均衡码率编码方法，其特征在于，所述解码步骤中，标准解码程序在收到条带数据后分别解码，在标准的I帧的显示时间进行一致显示，将得到一个完整的I帧。

3.根据权利要求1所述的均衡码率编码方法，其特征在于，所述步骤（1）中的I帧提前独立编码。

4.根据权利要求1所述的均衡码率编码方法，其特征在于，所述步骤（2）中进行同时传输时，根据P或B帧的大小选择一并传输的后继I帧。

5.根据权利要求1所述的均衡码率编码方法，其特征在于，所述图像序列中每一图像都有由空间相邻的宏块组成的可靠区域，所述可靠区域保持不变或者逐帧增加。

6.根据权利要求5所述的均衡码率编码方法，其特征在于，所述可靠区域为任意形状。

7.一种用于权利要求1所述的均衡码率编码方法的视频编码器，其特征在于，该编码器被安排来将至少一个视频帧分成一组编码块，通过帧内编码来对至少一个所述的编码块进行编码。

8. 一种用于权利要求1所述的均衡码率编码方法的视频解码器，其特征在于，所述解码器为渐进解码器，用于对所收集的P帧、B帧和I帧数据进行合并解码。