CN102404570A - 基于率失真敏感度的多视点视频编码快速模式选择方法 - Google Patents

Abstract

一种基于率失真敏感度的多视点视频编码快速模式选择方法，包括以下步骤：(1)输入一帧多视点视频数据；(2)率失真代价参考帧的选取及其量化步长修正的率失真代价均值计算；(3)宏块大尺寸帧间模式的估计；(4)宏块率失真敏感度的计算；(5)宏块小尺寸帧间模式估计的选择；(6)宏块帧内模式估计的选择；(7)宏块最终编码模式的选取。本发明适用于多视点视频编码宏块编码模式的选择，可以降低多视点视频编码的整体计算量，同时保持编码率失真性能。

Description

基于率失真敏感度的多视点视频编码快速模式选择方法

技术领域

本发明涉及数字视频编码领域，具体涉及一种基于率失真敏感度的多视点视频编码快速模式选择方法。

背景技术

多视点视频(Multiview Video，MV)是多个摄像头从不同视角对同一场景进行拍摄得到的视频数据，可以为用户提供传统单视点视频无法比拟的视觉感受，是3D电视重要的输入数据(见A.Kubota，A.Smolic，M.Magnor，M.Tanimoto，T.Chen and C.Zhang，Multiview imaging and 3DTV，即“多视点图像和3D电视”，IEEE Signal Processing Magazine，vol.24，no.6，pp.10-21，Nov.2007)。多视点视频由于包含多个视角的视频数据，其数据量随视点个数的增加而增多。为了解决多视点视频存储和传输的需求，多视点视频编码(Multiview Video Coding，MVC)对多视点视频数据进行高效的压缩。多视点视频编码已被标准化为H.264/AVC的第四个增修案(见ITU-T and ISO/IEC JTC 1，Advanced video coding for generic audiovisualservices，即“面向音视频服务的高级视频编码”，ITU-T RecommendationH.264and ISO/IEC 14496(MPEG-4AVC)，2010)，它继承了H.264/AVC的宏块模式，包括Skip、Inter16x16、Inter16x8、Inter8x16和Inter8x8等帧间模式，以及Intra16x16、Intra8x8和Intra4x4等帧内模式(见T.Wiegand，G.J.Sullivan，G.

and A.Luthra，Overview of the H.264/AVC videocoding standard，即“H.264/AVC标准概述”，IEEE Transactions on Circuitsand Systems for Video Technology，vol.13，no.7，pp.560-576，July 2003；以及见A.Vetro，T.Wiegand，and G.J.Sullivan，Overview of the stereo andmultiview video coding extensions of the H.264/AVC standard，即“H.264/AVC立体视频和多视点视频编码扩展标准概述”，Proceedings of the IEEE，vol.99，pp.626-642，2011)。为了提高编码压缩效率，需要先对各种模式进行估计，再从中选取率失真代价最小的模式作为最终编码模式(见T.Wiegand，H.Schwarz，A.Joch，F.Kossentini，and G.J.Sullivan，Rate-constrained codercontrol and comparison of video coding standards，即“视频编码标准的率失真编码器控制与比较”，IEEE Transactions on Circuits and Systems for VideoTechnology，vol.13，no.7，pp.688-703，July 2003)。如果对宏块的所有模式逐个进行模式估计，则多视点视频编码的模式选择会消耗巨大的计算量。因此，多视点视频编码的快速模式选择方法对多视点视频编码的实际应用具有重要的意义。

传统单视点H.264/AVC编码的快速模式选择算法主要是利用单个视点内部的编码信息来加速模式选择。在多视点视频编码结构中，只有一个基本视点，其它都是非基本视点。基本视点只采用视点内部的预测，非基本视点可以同时采用视点内部和视点间的预测(见A.Vetro，P.Pandit，H.Kimata，A.Smolic and Y.K.Wang，Joint Multiview Video Model(JMVM)8.0，即“多视点视频编码校验模型8.0”，ISO/IEC JTC1/SC29/WG11 and ITU-TQ6/SG16，Doc.JVT-AA207，Apr.2008)。由于各个视点的视频内容源于同一个场景，视点之间除了视频像素存在相关性之外，视点之间的编码信息同样存在相关性。而传统单视点视频编码的模式选择算法由于只利用了视点内部的编码信息，没有利用邻近视点的编码信息，因此并不能完全适用于多视点视频编码。现有的多视点视频编码快速模式选择方法主要是利用邻近视点编码帧局部区域的编码信息来降低模式选择的计算复杂度(见L.F.Ding，P.K.Tsung，S.Y.Chen，W.Y.Chen，W.Y.Chen，and L.G.Chen，Content-aware prediction algorithm with inter-view mode decision formultiview video coding，即“多视点视频编码内容自适应的预测算法和视点之间模式选择算法”，IEEE Transactions on Multimedia，vol.10，no.8，pp.1553-1564，Dec.2008；以及见L.Q.Shen，Z.Liu，P.An，R.Ma，and Z.Y.Zhang.Low-complexity mode decision for MVC，即“多视点视频编码低复杂度模式选择算法”，IEEE Transactions on Circuits and Systems for VideoTechnology，vol.21，no.6，pp.837-843，Jun.2011)。在使用邻近视点已编码帧的编码信息时，这些算法没有考虑由于量化步长不同而引起的视点之间以及宏块之间的编码信息差异，而实际应用中由于码率控制的使用，视点之间和宏块之间的量化步长会有所不同，因此这些算法在实际应用中的鲁棒性不高。另外，由于需要使用邻近视点同个时刻已编码帧的信息，这些算法只适用于非基本视点，不适用于基本视点，因此不能全面地降低多视点视频编码的整体计算量。

发明内容

为了克服现有多视点视频编码快速模式选择方法整体计算量较大、编码率失真性能降低较多的不足，本发明提供了一种可以有效地降低多视点视频编码的整体计算量，并保持良好编码率失真性能的基于率失真敏感度的多视点视频编码快速模式选择方法。

为了解决上述技术问题采用的技术方案为：

一种基于率失真敏感度的多视点视频编码快速模式选择方法，所述选择方法包括以下步骤：

(1)输入一帧多视点视频数据；

(2)从已编码帧中为当前编码帧选取率失真代价参考帧，并计算量

化步长修正的率失真代价均值：

如果当前编码帧所在视点是基本视点，则将距当前编码帧时域方向最近的当前视点前向已编码帧选为率失真代价参考帧；如果当前编码帧所在视点是非基本视点，则将与当前编码帧具有同一采集时刻的邻近视点前向已编码帧选为率失真代价参考帧。在选定率失真代价参考帧之后，计算该帧的量化步长修正的率失真代价均值QRD_AVG，如式(I)所示：

${\mathrm{QRD}}_{\mathrm{AVG}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{{\mathrm{RD}}_{\mathrm{MB}}\left(i\right)}{{\mathrm{Qstep}}_{\mathrm{MB}}\left(i\right)}---\left(I\right)$

式(I)中，N是所选率失真代价参考帧的宏块个数，i是宏块索引，Qstep_MB是宏块i的编码量化步长，RD_MB是宏块i最终编码模式的率失真代价。

(3)宏块的大尺寸帧间模式的估计：

先进行宏块大尺寸帧间模式Skip模式和Inter16x16模式的估计，然后从这两个模式估计得到的率失真代价中选取较小值作为Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}。

(4)宏块的率失真敏感度计算：

利用步骤(2)中得到的量化步长修正的率失真代价均值QRD_AVG和步骤(3)中得到的Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}，来计算当前编码宏块的率失真敏感度RDSensitivityDegree，如式(II)所示：

$\mathrm{RDSensitivityDegree}\left(n\right)=\left\{\begin{array}{cc}\mathrm{Low},& \mathrm{if}\frac{{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\left(n\right)}{\mathrm{Qste}{p}_{\mathrm{cur}}\left(n\right)}<\mathrm{\&alpha;}\&times;{\mathrm{QRD}}_{\mathrm{AVG}}\\ \mathrm{High},& \mathrm{if}\frac{{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\left(n\right)}{{\mathrm{Qstep}}_{\mathrm{cur}}\left(n\right)}>\mathrm{\&beta;}\&times;{\mathrm{QRD}}_{\mathrm{AVG}}\\ \mathrm{Middle},& \mathrm{others}\end{array}\right.---\left(\mathrm{II}\right)$

式(II)中，n是当前编码帧的宏块索引，Low表示当前编码宏块的率失真敏感度低，High表示当前编码宏块的率失真敏感度高，Middle表示当前编码宏块的率失真敏感度中等，Qstep_cur为当前宏块的量化步长，α和β是率失真敏感度计算的阈值调整参数，β大于α，通常根据经验选取，α设为0.1～1.0，β设为1.0～3.0。

(5)宏块的小尺寸帧间模式估计选择：

根据步骤(4)中计算得到的当前宏块率失真敏感度来选择是否进行Inter16x8模式、Inter8x16模式和Inter8x8模式等三种小尺寸帧间模式的估计。如果当前宏块的率失真敏感度为Low，则不进行Inter16x8模式、Inter8x16模式和Inter8x8模式的估计，直接跳到步骤(6)；如果当前宏块的率失真敏感度为Middle，则只进行Inter16x8模式和Inter8x16模式的估计，不进行Inter8x8模式的估计，并跳到步骤(6)；如果当前宏块的率失真敏感度为High，则先进行Inter16x8模式和Inter8x16模式的估计，再利用估计得到的Inter16x8模式和Inter8x16模式的较小率失真代价RD_{Inter16x8_8x16}以及从步骤(3)得到Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}来计算Inter8x8模式估计的使能Inter8x8En，如式(III)所示：

$\mathrm{Inter}8\&times;8\mathrm{En}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RD}}_{\mathrm{Inter}16x8\_8x16}<\mathrm{\&gamma;}\&times;{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\\ 0,& \mathrm{others}\end{array}\right.---\left(\mathrm{III}\right)$

式(III)中，1表示进行Inter8x8模式的估计，0表示不进行Inter8x8模式的估计，γ是Inter8x8模式估计选择的控制参数，通常根据经验选取，设为0.8～1.2。如果当前宏块选择不进行Inter8x8模式的估计，则跳到步骤(6)。如果当前宏块选择进行Inter8x8模式的估计，则对Inter8x8模式估计中每个8x8块的不同尺寸划分模式的估计进行选择，具体如下：1)进行8x8划分模式的估计。2)选择是否进行8x4、4x8和4x4划分模式的估计，即如果8x8划分模式的率失真代价小于当前已估计帧间模式的最小率失真代价的四分之一，则不进行8x4、4x8和4x4划分模式的估计；否则先进行8x4和4x8划分模式的估计，再根据8x4和4x8划分模式的较小率失真代价Inter8x8RD_{8x4_4x8}和8x8划分模式的较小率失真代价Inter8x8RD_8x8来选择是否进行4x4划分模式的估计，如式(IV)所示：

$\mathrm{Block}8\&times;8{\mathrm{En}}_{4x4}\left(k\right)=\left\{\begin{array}{cc}1,& \mathrm{if\; Inter}8x8{\mathrm{RD}}_{8x4\_4x8}\left(k\right)<\mathrm{\&mu;}\&times;{\mathrm{Inter}8x8\mathrm{RD}}_{8x8}\left(k\right)\\ 0,& \mathrm{others}\end{array}\right.---\left(\mathrm{IV}\right)$

式(IV)中，k是8x8块的索引，1表示Inter8x8模式的8x8块进行4x4划分模式的估计，0表示不进行4x4划分块的估计，μ是4x4划分模式估计选择的控制参数，通常根据经验选取，设为0.8～1.2。

(6)宏块的帧内模式估计的选择：

根据帧间模式估计得到的率失真代价和大尺寸帧内模式的率失真代价来选择帧内模式的估计。如果已估计帧间模式中具有最小率失真代价的模式是Skip模式，则不进行所有帧内模式的估计，直接跳到步骤(7)；否则先进行大尺寸帧内模式Intra16x16模式的估计，然后利用Intra16x16模式的率失真代价RD_Intra16x16和步骤(3)中得到的Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}来决定是否进行Intra8x8模式和Intra4x4模式的估计，如式(V)所示：

${\mathrm{IntraEn}}_{8x8\_4x4}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RD}}_{\mathrm{Intra}16x16}<\mathrm{\&eta;}\&times;{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\\ 0,& \mathrm{others}\end{array}\right.---\left(V\right)$

式(V)中，1代表进行Intra8x8模式和Intra4x4模式的估计，0代表不进行Intra8x8模式和Intra4x4模式的估计，参数η是用于调整算法选择精度和计算复杂度，通常根据经验选取，设为0.9～1.3。

(7)宏块的最终编码模式的选取：

从已估计的帧间模式和帧内模式中选取率失真代价最小的模式作为当前宏块的最终编码模式。

本发明的技术构思为：利用已编码帧量化步长修正的率失真代价均值和当前宏块大尺寸帧间模式量化步长修正的率失真代价来计算当前宏块的率失真敏感度；然后根据率失真敏感度来选择小尺寸帧间模式的估计，其中对率失真敏感度高的宏块，还利用已估计帧间模式的率失真代价来选择小尺寸帧间模式中Inter8x8模式的估计，并采用已估计帧间模式最小率失真代价和8x8划分模式率失真代价来选择是否进行Inter8x8模式估计中8x4、4x8和4x4划分模式的估计，进一步采用8x8、8x4和4x8划分模式的率失真代价来选择4x4划分模式的估计；最后利用帧间模式估计中具有最小率失真代价的模式类型来选择是否进行帧内模式的估计，利用大尺寸帧间模式率失真代价和大尺寸帧内模式率失真代价来选择是否进行小尺寸帧内模式的估计。

与现有技术相比，本发明具有以下有益效果：

本发明提供了一种基于率失真敏感度的多视点视频编码快速模式选择方法。该方法适用于多视点视频编码的模式选择，与现有技术相比，具有如下特点和优点：利用邻近视点和当前视点已编码帧量化步长修正的率失真代价均值和当前宏块大尺寸帧间模式量化步长修正的率失真代价，来计算当前宏块的率失真敏感度；根据宏块率失真敏感度和已估计模式的率失真代价来选择是否进行不同尺寸的帧间模式和帧内模式的估计。本发明能在保持良好的编码率失真性能的条件下，有效地降低多视点视频编码模式选择的计算复杂度。另外，本发明同时适用于多视点视频编码中基本视点和非基本视点所有的帧间预测编码帧。

附图说明

图1为本发明方法的基本流程图。

具体实施方式

下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。

如图1所示，一种基于率失真敏感度的多视点视频编码快速模式选择方法，包括以下步骤：

(1)输入一帧多视点视频数据；

(2)率失真代价参考帧的选取及其量化步长修正的率失真代价均值的计算；

(3)宏块大尺寸帧间模式的估计；

(4)宏块率失真敏感度的计算；

(5)宏块小尺寸帧间模式估计的选择；

(6)宏块帧内模式估计的选择；

(7)宏块最终编码模式的选取。

本实施例中，所述的宏块大尺寸帧间模式包括Skip模式和Inter16x16模式；所述的宏块小尺寸帧间模式包括Inter16x8模式、Inter8x16模式和Inter8x8模式。

步骤(2)具体为：

如果当前编码帧所在视点是基本视点，则将距当前编码帧时域方向最近的当前视点前向已编码帧选为率失真代价参考帧；如果当前编码帧所在视点是非基本视点，则将与当前编码帧具有同一采集时刻的邻近视点前向已编码帧选为率失真代价参考帧。在选定率失真代价参考帧之后，计算该帧的量化步长修正的率失真代价均值QRD_AVG，如式(I)所示：

${\mathrm{QRD}}_{\mathrm{AVG}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{{\mathrm{RD}}_{\mathrm{MB}}\left(i\right)}{{\mathrm{Qstep}}_{\mathrm{MB}}\left(i\right)}---\left(I\right)$

式(I)中，N是所选率失真代价参考帧的宏块个数，i是宏块索引，Qstep_MB是宏块i的编码量化步长，RD_MB是宏块i最终编码模式的率失真代价。

步骤(3)具体为：

先进行宏块大尺寸帧间模式Skip模式和Inter16x16模式的估计，然后从这两个模式估计得到的率失真代价中选取较小值作为Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}。

步骤(4)具体为：

利用步骤(2)中得到的量化步长修正的率失真代价均值QRD_AVG和步骤(3)中得到的Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}，来计算当前编码宏块的率失真敏感度RDSensitivityDegree，如式(II)所示：

$\mathrm{RDSensitivityDegree}\left(n\right)=\left\{\begin{array}{cc}\mathrm{Low},& \mathrm{if}\frac{{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\left(n\right)}{\mathrm{Qste}{p}_{\mathrm{cur}}\left(n\right)}<\mathrm{\&alpha;}\&times;{\mathrm{QRD}}_{\mathrm{AVG}}\\ \mathrm{High},& \mathrm{if}\frac{{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\left(n\right)}{{\mathrm{Qstep}}_{\mathrm{cur}}\left(n\right)}>\mathrm{\&beta;}\&times;{\mathrm{QRD}}_{\mathrm{AVG}}\\ \mathrm{Middle},& \mathrm{others}\end{array}\right.---\left(\mathrm{II}\right)$

式(II)中，n是当前编码帧的宏块索引，Low表示当前编码宏块的率失真敏感度低，High表示当前编码宏块的率失真敏感度高，Middle表示当前编码宏块的率失真敏感度中等，Qstep_cur为当前宏块的量化步长，α和β是率失真敏感度计算的阈值调整参数，β大于α，通常根据经验选取，α设为0.1～1.0，β设为1.0～3.0，此处α设为0.5，β设为2.0。

步骤(5)具体为：

根据步骤(4)中计算得到的当前宏块率失真敏感度来选择是否进行Inter16x8模式、Inter8x16模式和Inter8x8模式等三种小尺寸帧间模式的估计。如果当前宏块的率失真敏感度为Low，则不进行Inter16x8模式、Inter8x16模式和Inter8x8模式的估计，直接跳到步骤(6)；如果当前宏块的率失真敏感度为Middle，则只进行Inter16x8模式和Inter8x16模式的估计，不进行Inter8x8模式的估计，并跳到步骤(6)；如果当前宏块的率失真敏感度为High，则先进行Inter16x8模式和Inter8x16模式的估计，再利用估计得到的Inter16x8模式和Inter8x16模式的较小率失真代价RDInter16x8_8x16以及从步骤(3)得到Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}来计算Inter8x8模式估计的使能Inter8x8En，如式(III)所示：

$\mathrm{Inter}8\&times;8\mathrm{En}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RD}}_{\mathrm{Inter}16x8\_8x16}<\mathrm{\&gamma;}\&times;{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\\ 0,& \mathrm{others}\end{array}\right.---\left(\mathrm{III}\right)$

式(III)中，1表示进行Inter8x8模式的估计，0表示不进行Inter8x8模式的估计，γ是Inter8x8模式估计选择的控制参数，通常根据经验选取，设为0.8～1.2，此处设为1.0。如果当前宏块选择不进行Inter8x8模式的估计，则跳到步骤(6)。如果当前宏块选择进行Inter8x8模式的估计，则对Inter8x8模式估计中每个8x8块的不同尺寸划分模式的估计进行选择，具体如下：1)进行8x8划分模式的估计。2)选择是否进行8x4、4x8和4x4划分模式的估计，即如果8x8划分模式的率失真代价小于当前已估计帧间模式的最小率失真代价的四分之一，则不进行8x4、4x8和4x4划分模式的估计；否则先进行8x4和4x8划分模式的估计，再根据8x4和4x8划分模式的较小率失真代价Inter8x8RD_{8x4_4x8}和8x8划分模式的较小率失真代价Inter8x8RD_8x8来选择是否进行4x4划分模式的估计，如式(IV)所示：

$\mathrm{Block}8\&times;8{\mathrm{En}}_{4x4}\left(k\right)=\left\{\begin{array}{cc}1,& \mathrm{if\; Inter}8x8{\mathrm{RD}}_{8x4\_4x8}\left(k\right)<\mathrm{\&mu;}\&times;{\mathrm{Inter}8x8\mathrm{RD}}_{8x8}\left(k\right)\\ 0,& \mathrm{others}\end{array}\right.---\left(\mathrm{IV}\right)$

式(IV)中，k是8x8块的索引，1表示Inter8x8模式的8x8块进行4x4划分模式的估计，0表示不进行4x4划分块的估计，μ是4x4划分模式估计选择的控制参数，通常根据经验选取，设为0.8～1.2，此处设为1.0。

步骤(6)具体为：

根据帧间模式估计得到的率失真代价和大尺寸帧内模式的率失真代价来选择帧内模式的估计。如果已估计帧间模式中具有最小率失真代价的模式是Skip模式，则不进行所有帧内模式的估计，直接跳到步骤(7)；否则先进行大尺寸帧内模式Intra16x16模式的估计，然后利用Intra16x16模式的率失真代价RD_Intra16x16和步骤(3)中得到的Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}来决定是否进行Intra8x8模式和Intra4x4模式的估计，如式(V)所示：

${\mathrm{IntraEn}}_{8x8\_4x4}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RD}}_{\mathrm{Intra}16x16}<\mathrm{\&eta;}\&times;{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\\ 0,& \mathrm{others}\end{array}\right.---\left(V\right)$

式(V)中，1代表进行Intra8x8模式和Intra4x4模式的估计，0代表不进行Intra8x8模式和Intra4x4模式的估计，参数η是用于调整算法选择精度和计算复杂度，通常根据经验选取，设为0.9～1.3，此处设为1.1。

步骤(7)具体为：

从已估计的帧间模式和帧内模式中选取率失真代价最小的模式作为当前宏块的最终编码模式。

Claims (1)

1.一种基于率失真敏感度的多视点视频编码快速模式选择方法，其特征在于：所述选择方法包括以下步骤：

(1)输入一帧多视点视频数据；

(2)从已编码帧中为当前编码帧选取率失真代价参考帧，并计算量化步长修正的率失真代价均值：

如果当前编码帧所在视点是基本视点，则将距当前编码帧时域方向最近的当前视点前向已编码帧选为率失真代价参考帧；如果当前编码帧所在视点是非基本视点，则将与当前编码帧具有同一采集时刻的邻近视点前向已编码帧选为率失真代价参考帧；在选定率失真代价参考帧之后，计算该帧的量化步长修正的率失真代价均值QRD_AVG，如式(I)所示：

${\mathrm{QRD}}_{\mathrm{AVG}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{{\mathrm{RD}}_{\mathrm{MB}}\left(i\right)}{{\mathrm{Qstep}}_{\mathrm{MB}}\left(i\right)}---\left(I\right)$

式(I)中，N是所选率失真代价参考帧的宏块个数，i是宏块索引，Qstep_MB是宏块i的编码量化步长，RD_MB是宏块i最终编码模式的率失真代价；

(3)宏块的大尺寸帧间模式的估计：

先进行宏块大尺寸帧间模式Skip模式和Inter16x16模式的估计，然后从这两个模式估计得到的率失真代价中选取较小值作为Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}；

(4)宏块的率失真敏感度计算：

利用步骤(2)中得到的量化步长修正的率失真代价均值QRD_AVG和步骤(3)中得到的Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}，来计算当前编码宏块的率失真敏感度RDSensitivityDegree，如式(II)所示：

$\mathrm{RDSensitivityDegree}\left(n\right)=\left\{\begin{array}{cc}\mathrm{Low},& \mathrm{if}\frac{{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\left(n\right)}{\mathrm{Qste}{p}_{\mathrm{cur}}\left(n\right)}<\mathrm{\&alpha;}\&times;{\mathrm{QRD}}_{\mathrm{AVG}}\\ \mathrm{High},& \mathrm{if}\frac{{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\left(n\right)}{{\mathrm{Qstep}}_{\mathrm{cur}}\left(n\right)}>\mathrm{\&beta;}\&times;{\mathrm{QRD}}_{\mathrm{AVG}}\\ \mathrm{Middle},& \mathrm{others}\end{array}\right.---\left(\mathrm{II}\right)$

式(II)中，n是当前编码帧的宏块索引，Low表示当前编码宏块的率失真敏感度低，High表示当前编码宏块的率失真敏感度高，Middle表示当前编码宏块的率失真敏感度中等，Qstep_cur为当前宏块的量化步长，α和β是率失真敏感度计算的阈值调整参数，β大于α；

(5)宏块的小尺寸帧间模式估计选择：

根据步骤(4)中计算得到的当前宏块率失真敏感度来选择是否进行Inter16x8模式、Inter8x16模式和Inter8x8模式等三种小尺寸帧间模式的估计；

如果当前宏块的率失真敏感度为Low，则不进行Inter16x8模式、Inter8x16模式和Inter8x8模式的估计，直接跳到步骤(6)；

如果当前宏块的率失真敏感度为Middle，则只进行Inter16x8模式和Inter8x16模式的估计，不进行Inter8x8模式的估计，并跳到步骤(6)；

如果当前宏块的率失真敏感度为High，则先进行Inter16x8模式和Inter8x16模式的估计，再利用估计得到的Inter16x8模式和Inter8x16模式的较小率失真代价RD_{Inter16x8_8x16}以及从步骤(3)得到Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}来计算Inter8x8模式估计的使能Inter8x8En，如式(III)所示：

$\mathrm{Inter}8\&times;8\mathrm{En}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RD}}_{\mathrm{Inter}16x8\_8x16}<\mathrm{\&gamma;}\&times;{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\\ 0,& \mathrm{others}\end{array}\right.---\left(\mathrm{III}\right)$

式(III)中，1表示进行Inter8x8模式的估计，0表示不进行Inter8x8模式的估计，γ是Inter8x8模式估计选择的控制参数；如果当前宏块选择不进行Inter8x8模式的估计，则跳到步骤(6)；如果当前宏块选择进行Inter8x8模式的估计，则对Inter8x8模式估计中每个8x8块的不同尺寸划分模式的估计进行选择，具体如下：1)进行8x8划分模式的估计；2)选择是否进行8x4、4x8和4x4划分模式的估计，即如果8x8划分模式的率失真代价小于当前已估计帧间模式的最小率失真代价的四分之一，则不进行8x4、4x8和4x4划分模式的估计；否则先进行8x4和4x8划分模式的估计，再根据8x4和4x8划分模式的较小率失真代价Inter8x8RD_{8x4_4x8}和8x8划分模式的较小率失真代价Inter8x8RD_8x8来选择是否进行4x4划分模式的估计，如式(IV)所示：

$\mathrm{Block}8\&times;8{\mathrm{En}}_{4x4}\left(k\right)=\left\{\begin{array}{cc}1,& \mathrm{if\; Inter}8x8{\mathrm{RD}}_{8x4\_4x8}\left(k\right)<\mathrm{\&mu;}\&times;{\mathrm{Inter}8x8\mathrm{RD}}_{8x8}\left(k\right)\\ 0,& \mathrm{others}\end{array}\right.$

(IV)

式(IV)中，k是8x8块的索引，1表示Inter8x8模式的8x8块进行4x4划分模式的估计，0表示不进行4x4划分块的估计，μ是4x4划分模式估计选择的控制参数；

(6)宏块的帧内模式估计的选择：

根据帧间模式估计得到的率失真代价和大尺寸帧内模式的率失真代价来选择帧内模式的估计，如果已估计帧间模式中具有最小率失真代价的模式是Skip模式，则不进行所有帧内模式的估计，直接跳到步骤(7)；否则先进行大尺寸帧内模式Intra16x16模式的估计，然后利用Intra16x16模式的率失真代价RD_Intra16x16和步骤(3)中得到的Skip模式和Inter16x16模式的较小率失真代价RD_{Skip_Inter16x16}来决定是否进行Intra8x8模式和Intra4x4模式的估计，如式(V)所示：

${\mathrm{IntraEn}}_{8x8\_4x4}\left(n\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{RD}}_{\mathrm{Intra}16x16}<\mathrm{\&eta;}\&times;{\mathrm{RD}}_{\mathrm{Skip}\_\mathrm{Inter}16x16}\\ 0,& \mathrm{others}\end{array}\right.---\left(V\right)$

式(V)中，1代表进行Intra8x8模式和Intra4x4模式的估计，0代表不进行Intra8x8模式和Intra4x4模式的估计，参数η是用于调整算法选择精度和计算复杂度；

(7)宏块的最终编码模式的选取：

从已估计的帧间模式和帧内模式中选取率失真代价最小的模式作为当前宏块的最终编码模式。

Images