CN103916675B - 一种基于条带划分的低延迟帧内编码方法 - Google Patents

Abstract

本发明提出了一种基于条带划分的低延迟帧内编码方法，从采集与编码两个环节，来降低延迟，首先，采集端将每帧图像以条带为单位进行采集，条带的大小与视频分辨率、延迟要求、编码标准相关；然后，以条带为单位进行编码，为了提高预测精度，进一步降低延迟，将每个条带划分成多个子条带，以其中一个子条带编码后的重建图像的插值放大图像为预测图像进行帧内预测，这样可以有效提升预测的精度。经过测试，本发明提出的基于条带的低延迟编解码结构能有效降低编解码***的固有延迟，对于标准清晰度视频，可以降低到150ms。

Description

一种基于条带划分的低延迟帧内编码方法

技术领域

本发明涉及一种新的低延迟帧内编码方法，尤其涉及一种基于条带划分的低延迟帧内编码，属于计算机视觉技术领域。

背景技术

随着网络技术和终端处理能力的不断提高和发展，为了不断提高压缩性能，ITU和ISO组织推出了一系列视频编码标准，包括ITU组织的H.26x系列和ISO组织的MPEG-x系列标准，以及最新制定的HEVC标准。最新的HEVC标准致力于满足于用户的1)高清，2)3D，3)移动无线，以满足新的家庭影院、远程监控、数字广播、移动流媒体、便携摄像、医学成像等新领域的需求。在HEVC标准中有多种配置模式，包括HE(High Efficiency)高性能、LC(LowComplexity)低复杂度配置。

在这些编码标准中，主要分为两类：一类是面向存储的，另一类是面向传输的。以H系列为主为面向传输的，以Mpeg系列为主是面向存储的。视频编码标准虽然制定的组织不同，完成的年代及应用的背景方面并不相同，但是采用的基本编码框架却是相同的，多采用运动补偿+DCT的基本框架。这种框架下视频帧一般分为I(Intra-frame)、P(Predictive-frame)、B(Bidirectionally predicted-frame)三种类型：I帧通过变换、量化等过程完成编码；P帧以前向已编码帧的重建图像为参考，进行运动补偿后编码残差；B帧则以前后双向已编码帧的重建图像为参考，进行运动补偿后编码残差。

在三种类型的视频帧中，虽然I帧的个数比较少，但其每帧编码位数却远高于P、B帧，在最终生成的码流中也占有相当比例，在H.264标准中，I/P帧的压缩比分为：I：P＝1：3～5，也即I帧的位率是P帧的3～5倍，而在HEVC标准中，随着新的复杂技术的引入，I帧与P帧的压缩比进一步扩大，在某些视频中，可以达到1：10。对于输出码率恒定(CBR)的视频流，I帧的码率突然增大，将直接导致减少后续P/B帧的编码位数的下降，进而影响到恢复图像和预测图像的质量。提高I帧的压缩比，不仅对于视频质量的稳定性与连续性起到了至关重要的作用，而且会降低编解码***的延迟。也即，如果I帧的码率过高，将会导致占用更多的网络带宽来传输压缩码流。

在视频编码过程中，尤其是移动平台下，对于带宽和复杂度都有要求的情况下，希望编解码算法做到低延迟和低复杂度。在视频的编码过程中，延迟主要有两个原因引起的：

(1)编解码固有的时间，如果编解码速度都能够达到实时，那么将不会有延时产生。

(2)信道传输，如果信道足够宽，没有拥挤也不会有延迟产生。

如果不考虑信道的问题，那么如何降低编解码的固有延迟就显得十分重要。一个编解码***的延迟由以下几个部分组成(见图1)，包括图像信息采集、压缩处理、发送缓冲区、数据链路传输、接收缓冲区、解压缩、图像数据格式转换和显示等环节的延迟。在帧率为25帧/秒的实时编码情况下，一帧图像采集完成后编码器在40ms内完成压缩处理；当编码的帧类型为I-P时，编码输出的位数比一般为8：3，因此通常设定的缓冲区大小为每帧平均码流量的3.5～4倍，以满足I帧码流的缓存。通过数据链路传输后，解码端收到压缩码流就进行解压缩处理，最后在显示设备进行显示。在图1中，假定以下两种情况：

1)：数据链路传输在整个编解码过程中都是固定的，(CBR类型信道)，不计入延迟。

2)：在实时采集、处理、传输***中，接收缓冲区与解压缩过程是并行处理的，可以只计算一个时间。

在标准的编码框架下，以帧为基本单元，那么编解码***总延迟分析如下：采集时间T1采集一帧图像所需的时间，以PAL制标准为例，TI＝1000/25＝40ms。

编码时间T2：在实时编码的情况下，编码一帧图像的时间为：T2＝40ms。码流发送时间T3：对延迟影响比较大的部分是发送缓冲区，设置缓冲区是为了解决变码率码流的传输和存储问题。缓冲区越大，越能够承受码率的波动，但造成的延迟也越大，反之亦然。以I帧编码为例，产生的码流可能会充满个缓冲区的3/4，所以发送缓冲区延迟一般为T3＝3×40＝120ms，在缓冲区被充满的极端情况下可能会导致140ms～160ms的延迟。

码流接收时间T4：以解压缩图第一帧图像并进行图像数据格式转换的时间，这里记为T4＝25ms。

显示时间T5，解压缩后送入显示设备，显示一帧图像的时间为T5＝40ms。将上述时间进行累加得到，编解码总延迟为T＝T1+T2+T3+T4+T5＝265ms。在上述延迟中，I帧作为关键帧类型，其编解码延迟是最大的，同时对整个编解码延迟的贡献也是最大的，因此降低I帧编码过程中的延迟，降低其产生码率将对延迟产生重要的影响。

发明内容

本发明的目的是提供一种基于条带划分的低延迟帧内编码方法。该方法是通过对视频编解码延迟进行分析，给出适合于I帧编码的低延迟编码结构，在该结构中，将主要考虑到采集端，编码端两个方面。首先，采集端将每帧图像以条带为单位进行采集，条带的大小与视频分辨率和延迟要求相关；然后，以条带为单位进行编码，为了提高预测精度，进一步降低延迟，将每个条带划分成多个子条带，以其中一个子条带为预测单元进行帧内预测，这样可以有效提升预测的精度。

为实现上述目的，本发明采用下述的技术方案。其特征在于包括以下步骤：

步骤一：以条带为单位进行视频采集，将输入图像划分成若干个条带进行采集以降低采集延迟，其中条带大小的确定与所采用的视频编码标准中基本编码单元的大小相关，设一帧图像的扫描行数为N_frame，N_bcu表示所述基本编码单元所包含的像素行数，N_{siyce_bcu}表示每个条带内的像素行数，所述条带以N_bcu的倍数为单位对一帧图像进行条带划分，N_{slice_bcu}＝α×β×N_bcu，其中参数α为延迟调整参数，β为分辨率调整参数，α和β均为正整数；

步骤二：以条带为单位进行预测编码，为提高预测精度，对条带采用隔行和/或隔列方式进行抽取，进一步划分成多个子条带；将上述多个子条带按照以下2种方式进行预测编码：首先以所述多个子条带中的一个子条带作为基本子条带，直接采用所述视频编码标准规定的预测方法进行编码，编码码流直接进入输出缓冲区，并传输到解码端进行解码；其次，对该基本子条带编码后的码流进行重建，并对重建图像进行插值放大处理，将其放大到与所述条带的分辨率相同，得到的插值图像作为其它子条带的预测图像；第三，针对其余若干个子条带，在编码过程中依据所述预测图像采用对应位置点直接求差的方式进行预测，编码得到的残差数据；在图像解码时，所述其余若干个子条带利用基本子条带的重建放大图像作为预测图像进行恢复，避免了反复的插值处理。

上述条带划分与编码标准有关，针对H.264编码标准，所述基本编码单元为宏块，针对HEVC编码标准，所述基本编码单元为CU或LCU。为减小I帧和P帧之间的码流差别，使每帧图像的压缩码流量平稳，对输入图像的类型进行判断，若输入图像为I帧，划分的条带将都采用帧内编码，若输入图像为P帧或B帧图像，则P帧或B帧图像中的一个条带采用Intra编码方式，其余的条带仍采用原有P帧的Inter编码。

本发明所提供的条带划分的低延迟帧内编码方法可以有效地提高预测的精度，进而降低编码延时的方法。

附图说明

图1是***延迟示意图；

图2是基于条带的采集低延迟编码划分方式；

图3是JVT中的空间相邻点预测；

图4是HEVC标准中的帧内预测模式；

图5是不同预测方式下像素的预测距离；

具体实施方式

前已述及，本发明根据条带划分的低延迟帧内编码方法，实现了在不降低图像质量的前提下，降低码流，进而降低延迟。

下面结合附图说明本发明的实现方式，在图1中，假定以下两种情况：

1)：数据链路传输在整个编解码过程中都是固定的，(CBR类型信道)，不计入延迟。

2)：在实时采集、处理、传输***中，接收缓冲区与解压缩过程是并行处理的，可以只计算一个时间。

在标准的编码框架下，以帧为基本单元，那么编解码***总延迟分析如下：采集时间T1采集一帧图像所需的时间，以PAL制标准为例，T1＝1000/25＝40ms。

编码时间T2：在实时编码的情况下，编码一帧图像的时间为：T2＝40ms。码流发送时间T3：对延迟影响比较大的部分是发送缓冲区，设置缓冲区是为了解决变码率码流的传输和存储问题。缓冲区越大，越能够承受码率的波动，但造成的延迟也越大，反之亦然。以I帧编码为例，产生的码流可能会充满个缓冲区的3/4，所以发送缓冲区延迟一般为T3＝3×40＝120ms，在缓冲区被充满的极端情况下可能会导致140ms～160ms的延迟。

码流接收时间T4：以解压缩图第一帧图像并进行图像数据格式转换的时间，这里记为T4＝25ms。

显示时间T5，解压缩后送入显示设备，显示一帧图像的时间为T5＝40ms。将上述时间进行累加得到，编解码总延迟为T＝T1+T2+T3+T4+T5＝265ms。

在上述延迟中，I帧作为关键帧类型，其编解码延迟是最大的，同时对整个编解码延迟的贡献也是最大的，因此降低I帧编码过程中的延迟，降低其产生码率将对延迟产生重要的影响。

为此需要从采集和编码两个环节来降低编码的延迟。

步骤一：基于条带划分来降低采集延迟

图2为基于条带的采集低延迟编码划分方式，降低采集延迟，条带的划分不宜过小，也不宜过大；如果过小，将会影响编码处理时的预测效果；如果过大，采集延迟降低效果不明显。下面将分别对隔行扫描和逐行扫描进行分析。

以隔行扫描25帧/秒，分辨率为720×576的隔行视频序列为例，每幅图像的行数为N_frame＝576。对于H.264及其之前的标准，将以宏块行为N_MB＝16单位进行划分条带；HEVC标准讲义LCU为单位划分条带，N_MB＝64。在这里以H.264及其之前的标准进行分析，HEVC标准的分析类似，这里不赘述。N_MB包含纯奇数行或者纯偶数行，一帧图像共有N_{alice_MB}＝N_frame/N_MB＝36条带；对于则基于条带的***延迟为：采集一个条带就可进行编码，采集所需时间为：T1＝40ms/36＝1.11ms。在基于条带(Slice)的编解码器中，一帧图像的压缩码流量相对平稳，可以设定缓冲区大小为1.25～1.5帧长，发送缓冲区延迟一般为T3＝40ms；T2、T4、T5的计算方法与基于帧编码方式类似，这样就比基于帧编解码方式减少了100ms以上。

逐行行扫描：条带可以是逐行划分，也可以是隔行划分。但本发明采用隔行划分的形式，N_MB只包含奇数行或偶数行，即对于第一个SLICE将是由第一行、第三行、第五行等奇数行构成，第二个SLICE将是由第二行、第四行、第六行等偶数行构成。

以上逐行扫描方式中的两种条带划分方式，延迟相差不大，第一种方式，与隔行扫描方式相同。第二种方式将比第一种方式，在采集时需要多一个条带，采集所需时间为：T1＝(40ms/36)*2＝2.22ms。

考虑到实时的***中多数为隔行扫描，后面的实现分析将以隔行扫描来分析条带划分和编码处理。

基于条带的编码预测模式具体实施步骤如下：

在标准的编码过程中，采用了多模式的预测技术，从多个角度进行预测。H.264标准中采用的帧内预测算法，该算法以16×16的宏块及4×4的块为基本预测单元，对块内各点在9个方向上进行预测。以4×4块为例，如图3左图所示，a，b，…，p为当前待预测块，周围17个点Q，I，…，P为已编码点。对a-p逐点，沿图3右图所示的0，1，…，8及方向2(DC预测)共九个方向，取P-Q-H中的点，用适当的预测公式计算预测值，与原始采样值做差分，差值最小的模式为最终预测模式，最后对预测残差系数进行DCT编码。

在最新的HEVC标准中，引入了CU(编码单元)，PU(预测单元)，TU(变换单元)，三个新的概念。编码单元类似于H.264/AVC中的宏块概念，其大小最大可以为64×64；预测单元是进行预测的基本单元；变换单元是进行变换和量化的基本单元。三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也更符合视频图像的纹理特征。预测单元的大小可以为4×4，8×8，16×16，32×32，64×64，块的大小不同，预测的模式也不相同，分别为17，34，34，34，和3种模式可选，如图4所示，统一的帧内预测角度为：+/-[0，2，5，9，13，17，21，26，32]/32，模式的选择标准同JVT标准一样。

这些预测模式存在其固有的复杂度，本发明引入了一种如图5(B)所示的基于最近像素点的分层预测模式，首先利用黑色像素预测图中灰色点，其余像素由编码后重建的灰色点进行第二级预测。并通过平均预测距离这个概念(即所有当前像素与其参考像素距离的平均值，用D_pred表示)，并用平均距离对标准方法与本发明方法的预测距离进行分析。

首先将采集的第一个条带，将采集的条带划分成四个子条带，按照隔行隔列的模式进行抽取。然后，将其中一个子条带按照标准的预测模式进行编码，即经过变换、量化、熵编码等处理过程，得到重建图像。之后，将重建图像利用双线性插值的方法进行放大，到条带的大小。最后，其余子条带将按照如图5(B)的模式进行预测。下面是本发明的预测距离和H.264标准的预测距离的分析。这里仅以标准中的垂直预测模式为例进行了理论分析，该方法可同理适用于其他预测模式。

设当前待编码的基本块大小为2N×2N(通常N＝2，4，8，16…)，D_i，j表示坐标为(i，j)的像素与其参考像素之间的距离，该数据块的平均预测距离D_pred可按如下步骤求得。

首先计算单列像素的预测距离D_col：

数据块的总预测距离D_total，为各列预测距离之和：

图5(A)为H.264的帧内预测垂直模式，该模式下同一行所有像素的预测距离相等，即D_i＝i，图中当前像素点上标注的数字即是该点的预测距离，因此该数据块所有像素的平均预测距离D_{pred_A}为：

图5(B)中箭头标记了每个像素的参考像素点，与图5(A)相同，其一级像素点的预测距离由其与参考像素的距离决定；由于第二级预测的所有点均由相邻点预测得出，因此预测距离均为1。

本发明方法的平均预测距离计算如下：首先，第一级预测距离D_{level_1}为第一级中N列像素点预测距离总和：

由于第一级预测中采取的是隔行隔列预测，所以其中每一列像素点的预测距离D_{col_j}＝1+3+……+2N-1，代入上式可以得到：

第二级预测距离D_{level_2}为第一级预测得到的所有点(共2N个)各自分别对应的三个二级预测点的预测距离之和，即D_{level_2}＝2N×3。

因此，采用B图所示方法整个预测像素块的预测距离D_{total_B}为：

D_{total_B}＝D_{ltvel_1}+D_{level_2}＝N³+6N

平均预测距离D_{pred_B}为：

令λ为D_{pred_A’}D_{pred_B}两者比值，可以得出：

上式表明D_{pred_A’}D_{pred_B}两者有数倍左右的差距，N值越大差距越大。

对比式(2)和(3)可以看出，分层预测方法大幅降低了平均预测距离。对于4x4大小的预测块(N＝2)，可以计算出D_{pred_A}＝2.5，D_{pred_B}＝1.25，两者相差一倍；对于16x16这样较大的预测块(N＝8)，两种方法的平均预测距离分别为8.5和2.2，与H.264方法相比，基于最近像素点的分层预测方法平均预测距离下降近75％，优势更加明显。

性能分析

采用本发明方法对H.264标准baseline profile进行实现、测试并与标准算法结果相比较。对恢复图像质量，本发明仍采用传统的峰值信噪比(PSNR)作为衡量指标。通过调整量化参数，分别测得各序列在标准算法及本发明在相同PSNR(dB)值时对应的编码位数(Kb/frame)。针对测试序列，本发明从Cif序列中选择了运动剧烈的coastguard，相对静止的mother，纹理复杂的flower，测试结果如表1所示。

表1本发明算法及标准算法测试结果比较

Claims (4)

1.一种基于条带划分的低延迟帧内编码方法，其特征在于：

步骤一：以条带为单位进行视频采集，将输入图像划分成若干个条带进行采集以降低采集延迟，其中条带大小的确定与所采用的视频编码标准中基本编码单元的大小相关，设一帧图像的扫描行数为N_frame，N_bcu表示所述基本编码单元所包含的像素行数，N_{slice_bcu}表示每个条带内的像素行数，所述条带以N_bcu的倍数为单位对一帧图像进行条带划分，N_{slice_bcu}＝α×β×N_bcu，其中参数α为延迟调整参数，β为分辨率调整参数，α和β均为正整数；

步骤二：以条带为单位进行预测编码，为提高预测精度，对条带采用隔行和/或隔列方式进行抽取，进一步划分成多个子条带；将上述多个子条带按照以下2种方式进行预测编码：首先以所述多个子条带中的一个子条带作为基本子条带，直接采用所述视频编码标准规定的预测方法进行编码，编码码流直接进入输出缓冲区，并传输到解码端进行解码；其次，对该基本子条带编码后的码流进行重建，并对重建图像进行插值放大处理，将其放大到与所述条带的分辨率相同，得到的插值图像作为其它子条带的预测图像；第三，针对其余若干个子条带，在编码过程中依据所述预测图像采用对应位置点直接求差的方式进行预测，编码得到的残差数据；在图像解码时，所述其余若干个子条带利用基本子条带的重建放大图像作为预测图像进行恢复，避免了反复的插值处理。

2.如权利要求1所述的帧内编码方法，其特征在于：条带划分与编码标准有关，针对H.264编码标准，所述基本编码单元为宏块，针对HEVC编码标准，所述基本编码单元为CU或LCU。

3.如权利要求1所述的帧内编码方法，其特征在于：为减小I帧和P帧之间的码流差别，使每帧图像的压缩码流量平稳，对输入图像的类型进行判断，若输入图像为I帧，划分的条带将都采用帧内编码，若输入图像为P帧图像，则P帧图像中的一个条带采用Intra编码方式，其余的条带仍采用原有P帧的Inter编码。

4.如权利要求1所述的帧内编码方法，其特征在于：在采集完一个条带后就进行编码，以降低采集延迟。