CN103118262B - 率失真优化方法及装置、视频编码方法及*** - Google Patents

Abstract

本发明公开了一种率失真优化方法及装置、视频编码方法及***，其中率失真优化方法包括步骤：计算基本编码单元的视频内容的复杂度；根据复杂度筛选获得基本编码单元的分割方式；采用分割方式对基本编码单元进行率失真优化，以获得基本编码单元的最优编码模式。此处，通过基于基本编码单元的视频内容的复杂度，预先排除对基本编码单元不适用的多个分割方式，在较小损失编码效率的情况下，大幅度减少了编码的计算量，有益于视频编码的硬件实现和工程应用。

Description

率失真优化方法及装置、视频编码方法及***

技术领域

本发明涉及数字视频编码，尤其涉及一种率失真优化方法及装置、视频编码方法及***。

背景技术

视频编码技术的目标是对视频进行压缩编码，在保证同等视频质量的条件下，取得更大的压缩比，从而用更小的带宽进行传输。

以国际标准H264为参考，对基本编码单元（通常为宏块）编码时，可以选择不同的编码模式。编码模式可以包括对帧内预测或帧间预测的选择，也可以包括对基本编码单元的分割方式的选择，还可以包括对预测块位置的选择。例如，帧内预测模式包括INTRA-4x4、INTRA-8x8、INTRA-16x16；省略模式为SKIP；直接模式为DIRECT；帧间预测模式包括INTER-16x16、INTER-16x8、INTER-8x16、INTER-8x8，其中INTER-8x8可以进一步分为INTER-8x8、INTER-8x4、INTER-4x8、INTER-4x4。另外，帧内预测的各种预测方向包括：Intra_4x4_Vertical、Intra_4x4_Horizontal、Intra_4x4_Diagonal_DownLeft、Intra_4x4_Diagonal_Down_Right、Intra_4x4_Vertical_Right、Intra_4x4_Horizontal_Down、Intra_4x4_Vertical_Left、Intra_4x4_Horizontal_Up、Intra_4x4_DC。

目前，通常通过率失真优化来确定基本编码单元的编码模式，率失真优化是对以下代价函数J求最小值的过程：

J(s,c,mode|QP)=D(s,c,mode|QP)+λ_modeR(s,c,mode|QP)；（1)

其中D是失真代价，R是码率代价，s和c分别表示原图和通过编解码处理的再建图的基本编码单元，mode表示基本编码单元的可选择编码模式。率失真优化过程是在量化参数（QP：QuantizationParameter）已定的条件下，确定使得上述代价函数J达到最小值的编码模式mode。其中λ_mode是用来折衷失真代价和码率代价的拉格朗日参数。在H264标准中，λ_mode由QP决定，即可采用以下公式表示λmode：

λ_mode=0.85×2^(QP12)/3。（2）

在上述率失真优化过程中，每计算一种编码模式下的分割方式的代价，都需要对该分割方式进行运动搜索，找到最佳的参考帧和运动矢量。随后再对该模式下的残差进行离散余弦变换（DCT：DiscreteCosineTransform）、量化和熵编码，进而重建图像，这样才能得到该分割方式下的失真和实际的码率。这种方法虽然能够找到最佳的分割方式，但是计算量非常巨大，因此实际使用较少。

上述方式的替代方法是用运动补偿误差来预测重建误差，用绝对误差和（SAD：SumofAbsoluteDifference）或阿达玛变换后的绝对值求和（SATD：SumofAbsoluteTransformedDifference）来代替差值的平方和（SSD：SumofSquaredDifference），作为公式（1）中D(s,c,mode|QP)的值。其中，SSD和SAD分别采用以下公式表示：

$\mathrm{SSD}=\underset{i,j}{\mathrm{\Σ}}{[S(i,j)-C(i,j)]}^2;---(3)$

$\mathrm{SAD}=\underset{i,j}{\mathrm{\Σ}}|\mathrm{Oringinal}(i,j)-\mathrm{Predict}(i,j)|;---\left(4\right)$

此处，SAD的结果代表预测误差；而SATD是预测误差经过哈达玛变换之后的绝对值和；SSD的结果代表重建误差。用SAD和SATD代替SSD，这样就可以在预测之后直接计算出代价函数值，不用经过DCT变换、量化、熵编码和重建等步骤，节省了大量的计算量。但是，由于该种方式依然要遍历（或循环）所有的分割方式，并对每种分割方式的运动进行补偿，其计算量依然很大。而且，压缩效率不如原有方式高。

另一方面，不同的分割方式适用于不同类型的基本编码单元（例如，宏块）。在实际分割中，大的分割方式往往适用于视频内容较为简单的宏块，而精细的分割方式适用于视频内容较为复杂的宏块。图1为实际编码中示例的视频帧的分割方式的示意图，图中示出了该视频帧经过率失真优化而最终选用的分割方式，从图1可以清楚地看出，对于脸部这种视频内容较为复杂的宏块，选用了精细的分割方式；而对于背景或身体这种视频内容较为简单的宏块，选用了大的分割方式。

发明内容

本发明要解决的技术问题在于针对现有技术中在率失真优化过程中需要遍历基本编码单元全部分割方式而导致计算量巨大的缺陷，提供一种率失真优化方法及装置、视频编码方法及***。

本发明解决其技术问题所采用的技术方案是：依据本发明的一方面，提供了一种率失真优化方法，包括步骤：

计算基本编码单元的视频内容的复杂度；

根据所述复杂度筛选获得所述基本编码单元的分割方式；

采用所述分割方式对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式。

在依据本发明实施例的率失真优化方法中，在步骤计算基本编码单元的视频内容的复杂度中，

通过所述基本编码单元的方差或边缘强度计算所述复杂度。

在依据本发明实施例的率失真优化方法中，在步骤根据所述复杂度筛选获得所述基本编码单元的分割方式中，

通过比较所述复杂度与预设的复杂度阈值来筛选获得所述基本编码单元的分割方式。

在依据本发明实施例的率失真优化方法中，在步骤采用所述分割方式对所述基本编码单元进行率失真优化中，

采用所述分割方式对所述基本编码单元进行率失真优化以获得所述分割方式中的最优分割方式，通过所述最优分割方式获得所述最优编码模式。

本发明还提供了一种视频编码方法，包括步骤：

将视频图像编码分割成多个基本编码单元；

采用上述的率失真优化方法对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式；

基于所述最优编码模式对所述视频图像进行视频编码。

本发明还提供了一种率失真优化装置，包括：

复杂度计算模块，用于计算基本编码单元的视频内容的复杂度；

分割单元筛选模块，用于根据所述复杂度筛选获得所述基本编码单元的分割方式；

率失真优化模块，用于采用所述分割方式对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式。

在依据本发明实施例的率失真优化装置中，所述复杂度计算模块进一步通过所述基本编码单元的方差或边缘强度来计算所述复杂度。

在依据本发明实施例的率失真优化装置中，所述分割单元筛选模块进一步通过比较所述复杂度与预设的复杂度阈值来筛选获得所述基本编码单元的分割方式。

在依据本发明实施例的率失真优化装置中，所述率失真优化模块采用所述分割方式对所述基本编码单元进行率失真优化以获得所述分割方式中的最优分割方式，并通过所述最优分割方式获得所述最优编码模式。

本发明还提供了一种视频编码***，包括：

编码分割装置，用于将视频图像编码分割成多个基本编码单元；

采用权利要求上述的率失真优化装置，用于对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式；

视频编码装置，用于基于所述最优编码模式对所述视频图像进行视频编码。

本发明产生的有益效果是：通过获取基本编码单元的视频内容的复杂度，预先排除对基本编码单元不适用的多个分割方式，只选用适用的分割方式，在较小损失编码效率的情况下，大幅度减少了编码的计算量，有益于视频编码的硬件实现和工程应用。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为实际编码中示例的视频帧的分割方式的示意图；

图2示出了依据本发明实施例的视频编码***的逻辑框图；

图3示出了图2中的率失真优化装置的逻辑框图；

图4示出了依据本发明实施例的视频编码方法的流程图；

图5示出了图4中步骤S200中的率失真优化方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图2示出了依据本发明实施例的视频编码***的逻辑框图，如图2所示，该视频编码***包括：编码分割装置100、率失真优化装置200以及视频编码装置300。其中，编码分割装置100可将视频图像编码分割成多个基本编码单元；率失真优化装置200可对该基本编码单元进行率失真优化，以获得基本编码单元的最优（或者最适合的）编码模式；视频编码装置300可基于最优编码模式对视频图像进行视频编码。

具体而言，输入编码分割装置100的视频图像为画面组（GOP：GroupofPictures）中的一帧，该GOP内各帧可有不同的编码方式，根据现行视频编码标准，编码方式可以分为I帧、P帧和B帧，本发明中对编码方式没有限定。为了说明的简便性这里不再区分I帧、P帧以及B帧，而是使用统一的方式加以描述。画面帧输入到编码分割装置100后，在此被分割为多个基本编码单元，最简单地可以把帧分为16×16大小的宏块，以每一宏块作为基本编码单元。当然，这里也可以采用其它的分割方式，如采用一个条带、或者将一帧直接做为基本编码单元。

图3示出了图2中的率失真优化装置200的逻辑框图，如图3所示，该率失真优化装置200包括：复杂度计算模块210、分割单元筛选模块220以及率失真优化模块230。其中，复杂度计算模块210可计算基本编码单元的视频内容的复杂度；分割单元筛选模块220可根据复杂度筛选获得基本编码单元的分割方式；率失真优化模块230可采用筛选获得的分割方式对基本编码单元进行率失真优化，以获得基本编码单元的最优编码模式。

具体而言，复杂度计算模块210可通过基本编码单元的方差或边缘强度来计算每个基本编码单元的视频内容的复杂度ComplexMb。

其中，当通过基本编码单元的方差来计算基本编码单元的复杂度ComplexMb时，可采用方差VarMb作为基本编码单元的视频内容的复杂度的指标：

$\mathrm{VarMb}=\sqrt{\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(x_{i,j}-\stackrel{\‾}{x})}^2};---\left(5\right)$

其中，该基本编码单元的尺寸为N×N，为该基本编码单元中所有像素点的亮度均值，x_i，j为（i，j）位置上像素的亮度值。而最终结果VarMb是该基本编码单元的方差，也以此作为宏块内容复杂度指标ComplexMb，即ComplexMb=VarMb。

当通过基本编码单元的边缘强度来计算基本编码单元的复杂度ComplexMb时，可采用边缘强度作为基本编码单元的视频内容的复杂度的指标。

首先，可采用以下公式计算基本编码单元内的每个像素点的边缘强度：

EdgePix（i,j）=f(x_i，j)；（6）

其中，f函数可以为任意的边缘强度计算算子函数，比如Canny算子、Sobel算子等。

在得到每个像素点的边缘强度后，接着计算一个基本编码单元内边缘点的个数。例如，如果某像素点的边缘算子指标值Edge_pix大于预先设定值Edge0，则可认为该点是边缘点。统计基本编码单元内边缘点的个数EdgeNum，以此作为基本编码单元的视频内容复杂度的判定指标ComplexMb，即ComplexMb=EdgeNum。

当通过基本编码单元的边缘强度来计算基本编码单元的复杂度ComplexMb时，还可在获得基本编码单元内每个像素点的边缘强度EdgePix(i，j)后，将基本编码单元内所有像素点的边缘强度值EdgePix(i，j)叠加求和获得EdgeMb：

$\mathrm{EdgeMb}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{EdgePix}(i,j);---\left(7\right)$

从而，采用该叠加值作为基本编码单元的视频内容复杂度的判定指标ComplexMb，即ComplexMb=EdgeMb。

本领域的技术人员应当知晓，以上示出的采用方差或边缘强度获得基本编码单元的视频内容的复杂度的方法仅用作举例，并不是对本发明的限制。除此之外，在计算复杂度时，可选用任意的适合的方法来获得该复杂度，例如，还可以根据上一基本编码单元经过运动补偿后的预测像素值和实际像素值之差（即上一基本编码单元的平均绝对误差（MAD：MeanAbsoluteDifference）值），近似推断获得当前基本编码单元的复杂度。

基本编码单元可采用的分割方式有很多种，但是从图1示出的示例可以获知，基本编码单元因其视频内容的复杂度的不同，而适用不同的分割方式。例如，对于复杂度高的基本编码单元，适用于精细的分割方式；而对于复杂度较低的基本编码单元，适用于大的分割方式。因此，分割单元筛选模块220可根据复杂度的大小度筛选基本编码单元所有可用的分割方式，从中获得适用的分割方式，剔除不适用的分割方式。

优选地，分割单元筛选模块220可通过比较复杂度与预设的复杂度阈值来筛选获得基本编码单元的分割方式。例如，可预设第一复杂度阈值T1，当复杂度ComplexMb＜T1时，即复杂度非常小时，选择较大的分割方式，诸如16×16、16×8、8×16、SKIP作为备选或适用的分割方式。还可进一步预设第二复杂度阈值T2，当复杂度ComplexMb＜T2且ComplexMb＞T1时，选择中间的分割方式，诸如16×16、8×8、8×4、4×8、DIRECT、SKIP作为备选分割方式。而当ComplexMb＞T2时，即复杂度非常大时，选择精细的分割方式，诸如8×8、8×4、4×8、4×4、DIRECT作为备选分割方式。

以上的筛选方法仅用作举例，并不是对本发明的限制。无论选用何种筛选方法，只要确保针对复杂度小的基本编码单元选用大的分割方式，而针对复杂度大的基本编码单元选用精细的分割方式即可。

从以上可以看出，基于视频内容的复杂度对基本编码单元的分割方式的筛选，可以剔除不适用的分割方式，只留下适用的分割方式，减少了遍历的分割方式的数量，从而减少了后续处理中的计算量。

率失真优化模块230可采用筛选获得的分割方式对基本编码单元进行率失真优化，以获得基本编码单元的最优编码模式。其中，可采用公式（1）中的率失真优化方法，此时，失真代价D可以为SSD、SARD或SAD。具体而言，将基本编码单元以上述的筛选后的分割方式进行分割，进而通过预测、变换、量化、熵编码、重建等环节，得到该分割方式下基本编码单元的失真代价D和码率代价R。进而计算出代价函数J值。循环或遍历每个筛选获得的分割方式，比较各种分割方式下代价函数J的数值，选取其中的最优分割方式，即代价函数J的数值为最小时对应最优分割方式。基于该最优分割方式即可获得相应的最优编码模式。

视频编码装置300可基于最优编码模式对视频图像进行视频编码。具体而言，视频编码装置300可利用最优编码模式中的最优分割方式，对相应的基本编码单元进行预测、变换、量化、熵编码等视频编码后续环节，从而得到最终码流，完成视频编码过程。

从以上可以看出，通过基于基本编码单元的视频内容的复杂度，预先排除对基本编码单元不适用的多个分割方式，在较小损失编码效率的情况下，大幅度减少了编码的计算量，有益于视频编码的硬件实现和工程应用。

图4示出了依据本发明实施例的视频编码方法的流程图，可采用上述视频编码装置300来实施该视频编码方法，因此，此处部分或全部引用以上关于视频编码装置300的描述。下面将按步骤描述该视频编码方法。

S100、将视频图像编码分割成多个基本编码单元。例如，可以采用宏块作为基本编码单元。当然，这里也可以采用其它的分割方式，如采用一个条带、或者一帧直接做为基本编码单元。

S200、采用率失真优化方法对基本编码单元进行率失真优化，以获得基本编码单元的最优编码模式。该步骤进一步包括以下子步骤，来实施率失真优化方法，图5示出了该率失真优化方法的流程图。

S210、计算基本编码单元的视频内容的复杂度。其中，可通过基本编码单元的方差或边缘强度来计算每个基本编码单元的视频内容的复杂度。

S220、根据复杂度筛选获得基本编码单元的分割方式。其中，可通过比较复杂度与预设的复杂度阈值来筛选获得基本编码单元的分割方式。该筛选方法仅用作举例，并不是对本发明的限制。无论选用何种筛选方法，只要确保针对复杂度小的基本编码单元选用大的分割方式，而针对复杂度大的基本编码单元选用精细的分割方式即可。

S230、采用筛选获得的分割方式对基本编码单元进行率失真优化，以获得基本编码单元的最优编码模式。其中，可采用公式（1）对基本编码单元实施率失真优化，此时，失真代价D可以为SSD、SARD或SAD。

S300、基于最优编码模式对视频图像进行视频编码。具体而言，可利用最优编码模式中的最优分割方式，对相应的基本编码单元进行预测、变换、量化、熵编码等视频编码后续环节，从而得到最终码流，完成视频编码过程。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种率失真优化方法，其特征在于，包括步骤：

通过基本编码单元的方差或边缘强度计算基本编码单元的视频内容的复杂度；

根据所述复杂度筛选获得所述基本编码单元的分割方式；

采用所述筛选获得的分割方式对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式；

其中，所述根据复杂度筛选获得所述基本编码单元的分割方式具体包括：

通过比较所述复杂度和预设的第一复杂度阈值与第二复杂度阈值来筛选分割方式，当所述复杂度小于第一复杂度阈值时，选择较大的分割方式作为所述基本编码单元适用的分割方式，当所述复杂度大于第一复杂度阈值且小于第二复杂度阈值时，选择中间的分割方式作为所述基本编码单元适用的分割方式，当所述复杂度大于第二复杂度阈值时，选择精细的分割方式作为所述基本编码单元适用的分割方式。

2.根据权利要求1所述的率失真优化方法，其特征在于，在步骤采用所述分割方式对所述基本编码单元进行率失真优化中，

采用所述分割方式对所述基本编码单元进行率失真优化以获得所述分割方式中的最优分割方式，通过所述最优分割方式获得所述最优编码模式。

3.一种视频编码方法，其特征在于，包括步骤：

将视频图像编码分割成多个基本编码单元；

采用权利要求1-2任一项所述的率失真优化方法对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式；

基于所述最优编码模式对所述视频图像进行视频编码。

4.一种率失真优化装置，其特征在于，包括：

复杂度计算模块，用于通过基本编码单元的方差或边缘强度计算基本编码单元的视频内容的复杂度；

分割单元筛选模块，用于根据所述复杂度筛选获得所述基本编码单元的分割方式；

率失真优化模块，用于采用所述分割方式对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式；

其中，所述分割单元筛选模块根据复杂度筛选获得所述基本编码单元的分割方式具体包括：

通过比较所述复杂度和预设的第一复杂度阈值与第二复杂度阈值来筛选分割方式，当所述复杂度小于第一复杂度阈值时，选择较大的分割方式作为所述基本编码单元适用的分割方式，当所述复杂度大于第一复杂度阈值且小于第二复杂度阈值时，选择中间的分割方式作为所述基本编码单元适用的分割方式，当所述复杂度大于第二复杂度阈值时，选择精细的分割方式作为所述基本编码单元适用的分割方式。

5.根据权利要求4所述的率失真优化装置，其特征在于，所述率失真优化模块采用所述分割方式对所述基本编码单元进行率失真优化以获得所述分割方式中的最优分割方式，并通过所述最优分割方式获得所述最优编码模式。

6.一种视频编码***，其特征在于，包括：

编码分割装置，用于将视频图像编码分割成多个基本编码单元；

采用权利要求4-5任一项所述的率失真优化装置，用于对所述基本编码单元进行率失真优化，以获得所述基本编码单元的最优编码模式；

视频编码装置，用于基于所述最优编码模式对所述视频图像进行视频编码。