CN104333761A - 一种hevc基本单元级码率分配方法 - Google Patents

Abstract

本发明公开一种HEVC基本单元级码率分配方法，本发明能针对不同视频序列特征，在HEVC视频编码的码率控制过程中，通过区域的直流分量与纹理分量的分歧归一化进行比特分配，从而在纹理区域减少比特分配，但对人眼敏感的区域则增加码率，从而提升编码的率失真性能。所设计的码率分配方法同样适用其他视频编码标准。

Description

一种HEVC基本单元级码率分配方法

技术领域

本发明涉及视频编解码领域，特别是涉及一种HEVC基本单元级码率分配方法。

背景技术

在视频编码与传输应用中，新一代高性能视频编码标准H.265/MPEG-HEVC(High Efficiency Video Coding)由ISO-IEC/MPEG和ITU-T/VCEG两大国际标准化组织成立的视频编码联合开发小组(JCT-VC)开发，与H.264/AVC相比，在相同的视觉质量下，HEVC能使比特率降低一半。

作为新一代视频编码标准，HEVC仍然属于预测加变换的混合编码框架，它也包含了帧内预测、帧间预测、正交变换、量化、滤波、熵编码等编码模块，但在各个编码环节都进行了细致的优化与改进，HEVC标准编码方法如附图1所示。

码率控制是视频编码中一项非常有用的技术，特别是在实时通信等应用中码率控制的意义更为明显。已有的任何一个视频编码标准如果没***率控制，其实际应用都会受到限制，比如在带宽约束条件下的传输过程中，如果没有合适的码率控制方法，客户端缓存区就有可能发生上溢或下溢，造成数据丢失。为此每种视频编码标准也都推荐一种适合其自身的码率控制算法。

码率控制算法可以分成两个步骤。第一步是对每一级别的编码单元分配合适数量的比特，通常包括图片组(GOP，Group of Pictures)级、图片级和基本单元级。编码器主要根据缓冲区的占有情况在对每一级别的编码单元分配合适数量的比特。第二步是设法达到为每一个级别预先分配的比特数。

一个良好的码率控制算法可以在精确的达到目标码率的同时达到尽量小的编码失真。码率控制问题可以被转化成如公式(1)所示的率失真优化(RDO，Rate-Distortion Optimization)问题，通过这个优化问题编码器将在编码比特数不超过目标比特数的情况下，选择使失真最小化的参数作为最优的编码参数。其中{Para}表示编码参数集合，包括模式、运动信息、量化参数(QP，QuantizationParameter)等。

${\left\{\mathrm{Para}\right\}}_{\mathrm{opt}}=\arg \underset{\left\{\mathrm{Para}\right\}}{\min }(D+\mathrm{\λD})---\left(1\right);$

公式(1)中的λ是拉格朗日乘子，表示R-D(Rate-Distortion)曲线的斜率绝对值。HEVC视频编码提供了很大的编码灵活性，编码器可以自由的选择各种编码参数的组合。选择不同的参数会对最终视频的编码比特率产生非常重要的影响。因此，码率控制算法会使得编码器在一些离散的合法的编码参数集合中选择合适的编码参数，进而达到目标码率。

HEVC采用了一种新颖的基于R-λ模型的λ域码率控制算法，使用双曲线模型来精确刻画编码算法中的R-D码率失真模型。如公式(2)所示，其中D表示经过压缩编码后的视频失真；R表示压缩后的比特率，以每像素消耗比特(bpp，bit per pixel)为单位；C和K是和序列特性相关的模型参数，不同的视频序列C、K的取值不同。

D(R)＝CR^-K    (2)；

在码率控制时，在R-D码率失真模型的基础上通过码率R和编码使用的拉格朗日乘子λ之间建立数学关系，并利用调整λ的方法达到所期望的目标码率。如公式(3)所示，可以通过该公式计算拉格朗日乘子λ，其中α＝CK，β＝-K-1。因此α和β这两个参数也与序列的特性相关，不同序列具有不同的取值。

$\mathrm{\λ}=-\frac{\∂D}{\∂R}=\mathrm{CK}\×R^{-K-1}={\mathrm{\αR}}^{\mathrm{\β}}---\left(3\right);$

由公式(3)进一步得到码率R与λ关系，如公式(4)所示。

$R={\left(\frac{\mathrm{\λ}}{\mathrm{\α}}\right)}^{\frac{1}{\mathrm{\β}}}---\left(4\right);$

由公式(4)可知码率R完全由拉格朗日乘子λ所决定。λ与R-D曲线的关系示意图如附图2所示。λ是由所有实际工作点的凸包络决定的R-D曲线的斜率绝对值，码率R和拉格朗日乘子λ之间存在着一一对应关系。由于R-D曲线是凸函数，基于某个λ值计算最小化公式(1)等效于使用斜率绝对值为λ值的直线去逼近R-D曲线，而此直线仅会和R-D曲线相切于一点。因此，λ值能够决定码率R和视频失真D。

为了达到所分配的某个目标码率R，编码器将根据公式(1)决定相关联的λ值，并将其用于编码过程。当编码使用的λ值确定后，所有其他的编码参数均应由率失真优化决定。

HEVC码率控制中的比特分配在三个层次进行，GOP级别、图片级别以及基本编码单元级别。一个基本编码单元可以包含一个或者几个连续的编码单元CU(Coding Unit)。基本单元级别的码率分配是将当前图片剩余的比特按照比例分配到当前图片剩余的基本单元中。HEVC根据估计的MAD值按照公式(5)进行基本单元级码率分配。

$T_{\mathrm{BU}}=\frac{T_{\mathrm{Pic}}-{\mathrm{Bit}}_H-{\mathrm{Coded}}_{\mathrm{Pic}}}{\underset{\left\{\mathrm{AllNotCodedBUs}\right\}}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{BU}}}\×{\mathrm{\ω}}_{\mathrm{BUCurr}}---\left(5\right);$

其中T_Pic为当前编码帧的目标码率，Bit_H为预先估计的图片头信息(包括SliceHeader等)的比特，其使用之前编码的属于同一级别图片的头信息的比特的平均值进行估计。Coded_Pic为当前帧编码已获得的比特数，ω_BUCurr为当前基本单元的码率分配权重，ω_BU为当前帧未编码的各基本单元的分配权重。ω_BU根据估计的MAD值进行计算，而MAD值根据之前编码的，在同一级别图片中处于同一位置的基本单元的预测误差，按照公式(6)进行计算，该值可以通过先前的编码预先得到。

${\mathrm{MAD}}_{\mathrm{BU}}=\frac{1}{N_{\mathrm{pixels}}}\underset{\left\{\mathrm{AllPixelsInBU}\right\}}{\mathrm{\Σ}}|P_{\mathrm{org}}-P_{\mathrm{pred}}|---\left(6\right);$

在公式(6)中，N_pixels是基本单元BU中像素的数目，P_org是原始像素值，P_pred是预测像素值，ω_BU可以按照公式(7)进行计算。

${\mathrm{\ω}}_{\mathrm{BU}}={\mathrm{MAD}}_{\mathrm{BU}}^2---\left(7\right);$

由上述可知，不同基本编码单元所分配的比特主要依靠预测误差的大小决定，没有考虑到人眼的视觉特性。实际上，人眼对不同纹理区域的敏感度不同，人眼对不同区域的敏感度是不同的，对纹理区域能容忍更多的误差，对平坦区域则相反，从而导致码率分配不合理。

发明内容

本发明所要解决的技术问题是：提供一种HEVC基本单元级码率分配方法，解决现有HEVC码率分配方法中忽略人眼对不同纹理区域的敏感度不同而造成的码率分配不合理的问题。

为了解决上述技术问题，本发明采用的技术方案为：一种HEVC基本单元级码率分配方法，根据图像区域中的直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC进行比特分配，在纹理区域减小比特分配，在平坦区域增加比特分配，具体包括步骤：

分割步骤，将各基本单元的预测残差分成l个4×4的子块，然后对子块进行DCT变换；

归一化因子分析处理步骤，对所述进行DCT变换后的子块进行分析处理，得到直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC；

码率分配权重ω_BU计算步骤，根据所述f_DC和f_AC计算各基本单元的码率分配权重ω_BU；

执行步骤，根据各基本单元的码率分配权重ω_BU对各基本单元进行码率分配。

本发明的有益效果在于：区别于HEVC现有技术在视频编码码率分配中忽略了人眼对不同纹理区域的敏感度不同，码率分配不合理的缺点。本发明通过计算直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC来计算各基本单元的码率分配权重，并根据所述权重进行码率分配，在纹理区域减少比特分配，在人眼敏感的区域则增加比特分配，大大提高了码率分配的合理性，使在相同的目标码率的情况下达到更小的编码失真。

附图说明

图1为现有技术中HEVC标准编码方法示意图；

图2为拉格朗日乘子λ与R-D曲线的关系示意图；

图3为本发明实施方式中直流分量归一化因子与纹理归一化因子示意图；

图4为本发明实施方式基于归一化因子的HEVC基本单元级码率分配方法的流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

HEVC：英文全拼：High Efficiency Video Coding，是一种新的国际视频压缩标准，在相同视觉质量下比H.264/AVC编码标准的压缩性能提高一倍。

基本单元级：HEVC中的基本编码单元是编码树单元CTU(Coding TreeUnit)，与固定尺寸的宏块不同，编码端可以对CTU的尺寸进行配置。HEVC中允许的CTU的大小包括16x16、32x32和64x64(均以亮度块大小计算)，CTU是解码器处理的基本单元。

预测残差：预测残差为当前编码的原始帧与预测值的差值。

本发明最关键的构思在于：本方法在码率控制过程中能够针对不同的视频序列，通过不同区域的归一化因子进行比特分配，对纹理区域减少比特分配，但对人眼敏感的区域则增加码流，提升编码的率失真性能。所设计的码率分配方法同样适用其他视频编码标准。

一种HEVC基本单元级码率分配方法，根据图像区域中的直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC进行比特分配，在纹理区域减小比特分配，在平坦区域增加比特分配，具体包括步骤：

分割步骤，将各基本单元的预测残差分成l个4×4的子块，然后对子块进行DCT变换；

归一化因子分析处理步骤，对所述进行DCT变换后的子块进行分析处理，得到直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC；

码率分配权重ω_BU计算步骤，根据所述f_DC和f_AC计算各基本单元的码率分配权重ω_BU；

执行步骤，根据各基本单元的码率分配权重ω_BU对各基本单元进行码率分配。

其中，根据公式(8)可以计算得到直流分量归一化因子f_DC；根据公式(9)可以计算得到纹理交流分量归一化因子f_AC；

将所述f_DC和f_AC带入公式(10)可以计算得到各基本单元的码率分配权重ω_BU；

$f_{\mathrm{DC}}=\frac{\frac{1}{l}{\mathrm{\Σ}}_{i=1}^l\sqrt{X_{\mathrm{org}}{\left(0\right)}^2+X_{\mathrm{pred}}{\left(0\right)}^2+{\mathrm{NC}}_1}}{E\left(\sqrt{X_{\mathrm{org}}{\left(0\right)}^2+X_{\mathrm{pred}}{\left(0\right)}^2+{\mathrm{NC}}_1}\right)}---\left(8\right);$

$f_{\mathrm{AC}}=\frac{\frac{1}{l}{\mathrm{\Σ}}_{i=1}^l\sqrt{\frac{{\mathrm{\Σ}}_{k=1}^{N-1}(X_{\mathrm{org}}{\left(k\right)}^2+X_{\mathrm{pref}}{\left(k\right)}^2)}{N-1}+C_2}}{E\left(\sqrt{\frac{{\mathrm{\Σ}}_{k=1}^{N-1}(X_{\mathrm{org}}{\left(k\right)}^2+X_{\mathrm{pred}}{\left(k\right)}^2)}{N-1}+C_2}\right)}---\left(9\right);$

${\mathrm{\ω}}_{\mathrm{BU}}=|\frac{X_{\mathrm{mad}}{\left(0\right)}^2}{f_{\mathrm{DC}}}+\frac{{\mathrm{\Σ}}_{k=1}^{N-1}{X}_{\mathrm{mad}}{\left(k\right)}^2}{f_{\mathrm{AC}}}|---\left(10\right);$

其中，X_org(k)表示当前要编码的原始图像的第k个DCT系数；X_pred(k)表示当前帧编码后的重构图像预测值的DCT系数，N＝16；l为正整数，表示基本编码单元中包含的4×4子块的个数；C₁与C₂是常数因子；E表示数学期望；X_mad(k)表示预测残差P_res的DCT系数，通过DCT变换获得；k为变换系数索引值。f_DC体现了某个基本编码单元在整个图像中平均亮度相对的视觉敏感度，f_AC体现了区域纹理在整个图像帧中相对的视觉敏感度。

ω_BU为当前帧未编码的各基本单元的分配权重。ω_BU根据估计的预测残差值P_res进行计算，X_mad(k)表示预测残差P_res的DCT系数，通过DCT变换获得。预测残差P_res的计算方法如公式(11)所示，其中P_org是原始像素值，P_pred是预测像素值。

P_res＝P_org-P_pred    (11)；

从上述描述可知，本发明的有益效果在于：本发明通过计算直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC来计算各基本单元的码率分配权重，并根据所述权重进行码率分配，从而现实根据人眼对不同纹理区域的敏感度不同合理的分配码率，在视频编码时在纹理区域减少比特分配，在人眼敏感的区域则增加比特分配，大大提高了码率分配的合理性，使在相同的目标码率的情况下达到更小的编码失真。

本发明的码率分配方法同样适用其他视频编码标准。

其中，对各基本单元进行码率分配具体为将码率分配权重ω_BU带入公式(5)进行计算得到；

$T_{\mathrm{BU}}=\frac{T_{\mathrm{Pic}}-{\mathrm{Bit}}_H-{\mathrm{Coded}}_{\mathrm{Pic}}}{\underset{\left\{\mathrm{AllNotCodedBUs}\right\}}{\mathrm{\Σ}}{\mathrm{\ω}}_{\mathrm{BU}}}\×{\mathrm{\ω}}_{\mathrm{BUCurr}}---\left(5\right);$

其中T_Pic为当前编码帧的目标码率，Bit_H为预先估计的图片头信息(包括SliceHeader等)的比特，其使用之前编码的属于同一级别图片的头信息的比特的平均值进行估计。Coded_Pic为当前帧编码已获得的比特数，ω_BUCurr为当前基本单元的码率分配权重；

是指所有未编码基本单元的码率分配权重ω^BU之和。

请参照图4，本发明的实施例一为：一种基于归一化因子的HEVC基本单元级码率分配方法，本码率分配方法在HEVC视频编码标准的码率控制过程中，针对不同视频序列特征，通过区域的直流分量与纹理交流分量的分歧归一化进行比特分配，从而在纹理区域减少比特分配，但对人眼敏感的区域则增加码率，提升编码的率失真性能。

人眼对不同区域的敏感度是不同的，对纹理区域能容忍更多的误差，对平坦区域则相反。因此，本发明在码率分配时，对纹理区域减少比特分配，但对人眼敏感的区域则增加码流。

分歧归一化的思想被证明与人眼视觉***有密切的关系，而且，分歧归一化可以较好地解释人眼***的掩盖效应，本发明正是使用一种DCT域SSIM分歧归一化的方法计算不同区域的归一化因子，由此指导不同纹理区域的码率分配。

由于图像的局部统计特性通常比较稳定，因此首先将各基本单元分成l个4×4的子块，然后再进行DCT变换。其中，X_org(k)表示当前要编码的原始图像的第k个DCT系数，X_pred(k)表示当前帧编码后的重构图像预测值的DCT系数，这里使用之前已编码的帧预测X_pred(k)。直流分量归一化因子f_DC的计算方法如公式(8)所示，f_DC体现了某个基本编码单元在整个图像中平均亮度相对的视觉敏感度；而纹理交流分量归一化因子f_AC的计算方法如公式(9)所示，f_AC体现了区域纹理在整个图像帧中相对的视觉敏感度。在计算直流分量归一化因子时只用到直流系数，同样的道理在计算纹理归一化因子时只用DCT的交流系数，这里N＝16。C₁与C₂是常数因子，E表示数学期望，通过计算整帧所有子块的直流以及交流平均能量，作为当前帧视觉重要性的参考。

$f_{\mathrm{DC}}=\frac{\frac{1}{l}{\mathrm{\Σ}}_{i=1}^l\sqrt{X_{\mathrm{org}}{\left(0\right)}^2+X_{\mathrm{pred}}{\left(0\right)}^2+{\mathrm{NC}}_1}}{E\left(\sqrt{X_{\mathrm{org}}{\left(0\right)}^2+X_{\mathrm{pred}}{\left(0\right)}^2+{\mathrm{NC}}_1}\right)}---\left(8\right)$

$f_{\mathrm{AC}}=\frac{\frac{1}{l}{\mathrm{\Σ}}_{i=1}^l\sqrt{\frac{{\mathrm{\Σ}}_{k=1}^{N-1}(X_{\mathrm{org}}{\left(k\right)}^2+X_{\mathrm{pref}}{\left(k\right)}^2)}{N-1}+C_2}}{E\left(\sqrt{\frac{{\mathrm{\Σ}}_{k=1}^{N-1}(X_{\mathrm{org}}{\left(k\right)}^2+X_{\mathrm{pred}}{\left(k\right)}^2)}{N-1}+C_2}\right)}---\left(9\right)$

归一化因子与图像局部特性以及图像内容直接相关，其大小直接关系到局部图像的视觉重要程度。f_AC值越大，则表示这个区域交流系数较大，纹理能量也相对较大，因此可以加大该区域的量化步长，减少比特分配。f_DC的意义与此类似，归一化因子的示意图如附图3所示，图中黑色的地方表示更小的归一化因子，白色表示归一化因子较大，对应分量的人眼敏感度较小。图中由于花的纹理结构可以掩盖更多的失真，因此可以将其AC系数分配更大的归一化因子；然而由于亮度在这些纹理区域中相对比较低，对于DC系数则归一化因子相对较小。可以看出，归一化因子的求解结果符合HVS的亮度自适应性与纹理掩盖特性。

使用归一化因子之后的各个基本单元的码率分配权重ω_BU值计算公式(10)如示。X_mad(k)表示预测残差P_res的DCT系数，预测残差P_res的计算方法如公式(11)所示。由于计算DCT系数需要在DCT变换域进行，这增加的计算复杂度，根据帕塞瓦尔定理，DCT直流实际上是P_res的平均亮度μ_x，而交流能量为P_res的方差δ_x ²，因此可以在像素域直接计算，如公式(12)与(13)所示。通过归一化的ω_BU，可以实现不同敏感度区域在视觉均衡空间中的统一处理，然后同样使用公式(5)就可以得到各个基本编码单元分配的码率，计算过程如图4所示。

${\mathrm{\ω}}_{\mathrm{BU}}=|\frac{X_{\mathrm{mad}}{\left(0\right)}^2}{f_{\mathrm{DC}}}+\frac{{\mathrm{\Σ}}_{k=1}^{N-1}{X}_{\mathrm{mad}}{\left(k\right)}^2}{f_{\mathrm{AC}}}|---\left(10\right);$

P_res＝P_org-P_pred    (11)；

${\mathrm{\μ}}_x=\frac{X_{\mathrm{mad}}\left(0\right)}{\sqrt{N}}---\left(12\right);$

${{\mathrm{\δ}}_x}^2=\frac{{\mathrm{\Σ}}_{k=1}^{N-1}{X}_{\mathrm{mad}}{\left(k\right)}^2}{N-1}---\left(13\right);$

综上所述，本发明提供的

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种HEVC基本单元级码率分配方法，其特征在于，根据图像区域中的直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC进行比特分配，在纹理区域减小比特分配，在平坦区域增加比特分配，具体包括步骤：

分割步骤，将各HEVC基本单元的预测残差分成l个4×4的子块，然后对子块进行DCT变换，l为大于或等于2的正整数；

归一化因子分析处理步骤，对所述进行DCT变换后的子块进行分析处理，得到直流分量归一化因子f_DC和纹理交流分量归一化因子f_AC；

码率分配权重ω_BU计算步骤，根据所述f_DC和f_AC计算各基本单元的码率分配权重ω_BU；

执行步骤，根据各基本单元的码率分配权重ω_BU对各基本单元进行码率分配。

2.根据权利要求1所述的HEVC基本单元级码率分配方法，其特征在于，所述直流分量归一化因子f_DC是根据公式：

$f_{\mathrm{DC}}=\frac{\frac{1}{l}{\mathrm{\Σ}}_{i=1}^l\sqrt{X_{\mathrm{org}}{\left(0\right)}^2+X_{\mathrm{pred}}{\left(0\right)}^2+{\mathrm{NC}}_1}}{E\left(\sqrt{X_{\mathrm{org}}{\left(0\right)}^2+X_{\mathrm{pred}}{\left(0\right)}^2+{\mathrm{NC}}_1}\right)}$ 计算得到；

纹理交流分量归一化因子f_AC是根据公式：

$f_{\mathrm{AC}}=\frac{\frac{1}{l}{\mathrm{\Σ}}_{i=1}^l\sqrt{\frac{{\mathrm{\Σ}}_{k=1}^{N-1}(X_{\mathrm{org}}{\left(k\right)}^2+X_{\mathrm{pred}}{\left(k\right)}^2)}{N-1}+C_2}}{E\left(\sqrt{\frac{{\mathrm{\Σ}}_{k=1}^{N-1}(X_{\mathrm{org}}{\left(k\right)}^2+X_{\mathrm{pred}}{\left(k\right)}^2)}{N-1}+C_2}\right)}$ 计算得到；

其中，X_org(k)表示当前要编码的原始图像的第_k个DCT系数；X_pred(k)表示当前帧编码后的重构图像预测值的DCT系数，N＝16；l为正整数，表示基本编码单元中包含的4×4子块的个数；C₁与C₂是常数因子；E表示数学期望。f_DC体现了某个基本编码单元在整个图像中平均亮度相对的视觉敏感度，f_AC体现了区域纹理在整个图像帧中相对的视觉敏感度。

3.根据权利要求2所述的HEVC基本单元级码率分配方法，其特征在于，所述ω_BU是根据公式：

得到的，其中，X_mad(k)表示预测残差P_res的DCT系数，通过DCT变换获得，k为变换系数索引值。

4.根据权利要求3所述的HEVC基本单元级码率分配方法，其特征在于，所述“根据各基本单元的码率分配权重ω_BU对各基本单元进行码率分配”具体为

将码率分配权重ω_BU带入公式：

$T_{\mathrm{BU}}=\frac{T_{\mathrm{Pic}}-{\mathrm{Bit}}_H-{\mathrm{Coded}}_{\mathrm{Pic}}}{\underset{\left\{\mathrm{AllNotCodBUs}\right\}}{\mathrm{\Σ}{\mathrm{\ω}}_{\mathrm{BU}}}}\×{\mathrm{\ω}}_{\mathrm{BUCurr}}$ 进行计算得到的；

其中T_Pic为当前编码帧的目标码率，Bit_H为预先估计的图片头信息的比特，其使用之前编码的属于同一级别图片的头信息的比特的平均值进行估计，Coded_Pic为当前帧编码已获得的比特数，ω_BUCurr为当前基本单元的码率分配权重，ω_BU为当前帧未编码的各基本单元的分配权重；

是指所有未编码基本单元的码率分配权重ω_BU之和。