CN104202612B - 基于四叉树约束的编码单元的划分方法及视频编码方法 - Google Patents

Abstract

本发明公开了一种基于四叉树约束的编码单元的划分方法及视频编码方法。编码单元的划分方法包括步骤：输入两个以上视点视频纹理图像和深度图像序列；记录各独立视点的最大编码单元的划分层次信息；获取最大编码单元中各个存储单元在独立视点中的匹配单元；得到最大编码单元对应的子分块的初步划分层次图；利用四叉树约束条件对初步划分层次图进行校正；输出当前编码视点各最大编码单元的划分。视频编码方法中对编码单元的划分采用上述划分方法。本发明利用独立视点的编码单元的划分信息来帮助非独立视点进行编码单元的划分，并利用四叉树约束条件对编码单元划分层次图进行校正，避免了现有的复杂算法，加速了整个编码单元划分的过程，提高了效率。

Description

基于四叉树约束的编码单元的划分方法及视频编码方法

技术领域

本发明涉及视频编码技术，尤其涉及一种基于四叉树约束的多视点视频编码单元的快速划分方法，以及使用该方法的多视点视频编码方法。

背景技术

随着对支持3D视频格式(如“多视点视频”和“多视点视频+深度图”格式)的编码标准的要求越来越强烈，ITU-T VCEG(Video Coding Experts Group)和ISO/IEC MPEG(Moving Pictures Experts Group)组成了JCT-3V(Joint Collaborative Team on 3DVideo coding development)来一起研发3D视频的编码标准。在目前的标准中，基于新一代视频标准HEVC(High Efficiency Video Coding)的3D视频编码标准由于其采用了更复杂的编码工具和利用视点间相关性进行编码，获得了更好的性能。

在新的HEVC标准中，编码层采用的是不同以往宏块(MB)的编码单元，而是新的编码单元(CU，Coding Units)和编码树结构(CTU，Coding Tree Units)。与其它的3D视频编码标准相比，3D-HEVC提供了更高的压缩效率和性能，但也带来了很高的编码复杂度。其主要原因是由于编码层采用了递归的四叉树结构：将每个编码单元划分成四个子编码单元，其大小从最大编码单元(LCU)的64×64到最小编码单元的8×8，并对每种尺寸的CU进行帧内、帧间及视点间运动估计和率失真优化。其中以划分层次信息来表示CTU的四叉树结构：当CU的划分信息值为0时，最大编码单元被划分为64x64的CU；当CU的划分信息值为1时，最大编码单元被划分为32x32的CU；当CU的划分信息值为2时，最大编码单元被划分为16x16的CU；当CU的划分信息值为3时，最大编码单元被划分为8x8的CU。目前的HTM平台上采用的是穷尽迭代法，将一个最大编码单元从64x64的CU经过三层四叉树结构到8x8的CU，划分过程计算复杂度很大，限制了其在实时场景中的应用。

发明内容

为克服上述现有技术的缺陷，本发明提供一种基于四叉树结构的编码单元的划分方法及视频编码方法，加速了编码单元划分的过程，大大提高了效率。

为达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于四叉树约束的编码单元的划分方法，包括以下步骤：A1：输入两个以上视点视频纹理图像和深度图像序列；A2：编码独立视点纹理图像，记录各独立视点的最大编码单元的划分层次信息；A3：获取待编码的非独立视点纹理图像的最大编码单元中各个存储单元在所述各独立视点中的匹配单元；A4：根据步骤A2所述的所述划分层次信息得到当前待编码的非独立视点纹理图像的最大编码单元对应的子分块的初步划分层次图；A5：利用四叉树约束条件对所述初步划分层次图进行校正；A6：输出当前编码视点各最大编码单元的划分。

进一步地，所述步骤A2中，所述各最大编码单元的划分信息为四叉树单元结构的分层信息k，k的取值为0、1、2或3。

更进一步地，所述步骤A2中，所述划分信息是以各最大编码单元内信息的存储单元为单位记录的。

更进一步地，所述步骤A3具体包括：对各待编码的非独立视点纹理图像的最大编码单元中各个存储单元，根据当前编码视点的深度信息图来计算视差向量，得到当前最大编码单元中各个存储单元在独立视点中对应的匹配；其中，对当前最大编码单元中的每一个存储单元都计算一个视差向量。

更进一步地，所述步骤A4中，当前待编码的非独立视点纹理图像中各待编码的最大编码单元对应的子分块的初步划分层次图是通过步骤A3中得到的各个存储单元的匹配单元的划分构成。

更进一步地，所述步骤A5中，利用四叉树约束条件对步骤A4中的得到的初步划分层次图进行校正，使其满足编码单元划分的四叉树结构。

更进一步地，所述编码单元的四叉树结构可由如下公式表示：

如果d_i,j＝k，i,j＝0,2,4,…14，

d'_i',j'＝k,

(i',j')≠(i,j) (1)，

d_i,j为所述步骤A2中每个存储单元中左上角像素位置存储的当前编码单元划分层次信息，d＇_i＇,j＇为当前编码单元划分层次信息中其它存储单元的深度值，k为四叉树单元结构的分层信息，其所满足的四叉树约束条件由公式(1)表示。

利用公式(1)的四叉树约束条件，对于得到的初步的层次划分图，自顶向下逐级校正其不满足四叉树结构的部分；依次类推，直到将独立视频内的匹配单元和当前最大编码单元划分到标准中允许的最小编码单元为止。

更进一步地，所述计算视差向量可采用HEVC标准中所列方法。

更进一步地，所述HEVC标准中所列方法包括基于已编码深度图像的视差向量估计方法、基于已编码视差向量和运动向量的视差向量估计方法、基于相邻块视差向量的估计方法和基于不同视点已编码的深度图计算的方法。

本发明还公开了一种基于四叉树约束的视频编码方法，该编码方法中对编码单元的划分采用如上述任一项所述的划分方法。

本发明的有益效果是：本发明利用视点间纹理的相关性，利用独立视点的编码单元的划分信息来帮助非独立视点进行编码单元的划分。当编码非独立视点时，利用已编码的同一时刻的独立视点的编码单元划分层次信息来帮助当前编码的非独立视点编码单元的划分，在计算上省略了穷尽迭代的非独立视点的编码单元划分法，取而代之的是统计非独立视点中当前最大编码单元中各个存储单元对应到独立视点中最大编码单元位置内的各个存储单元中编码单元的划分层次信息，初步得到非独立视点编码单元划分的层次图，并利用四叉树结构约束条件对其进行校正，从而避免了现有算法中对每种编码单元划分模式的计算，以及对相应的RDCost的计算，加速了整个编码单元划分的过程，提高了效率。与此同时，相比于其它快速算法，本发明所提供的算法不需要进行复杂的运算，只需根据四叉树约束条件进行校正，本发明所提供的算法引入的平均负载只有0.0187％，并且节省了平均59.4％的编码时间。

附图说明

图1是本发明一个实施例的编码单元的划分方法流程图；

图2是本发明一个实例中待编码的非独立视点中最大编码单元的初步划分层次图；

图3是利用四叉树约束条件校正图2中的初步划分层次图所得到的待编码的非独立视点最大编码单元的划分层次图。

具体实施方式

通过研究视点间纹理的相关性，可通过利用独立视点中的最大编码单元的划分层次信息，来判定当前待编码的非独立视点的最大编码单元对应子分块的划分方法。因为，相邻视点之间基线较短，相邻视点中的内容相同，其在不同视点中的划分有很大的相似性，从而可以初步得到非独立视点中最大编码单元中各子分块的划分，同时四叉树条件约束对初步得到的划分进行校正，使其可以直接用于指导非独立视点最大编码单元的划分，而无须经过复杂的计算，对整个编码器引入的负载可忽略不计，可在保证编码质量的前提下，大大降低编码过程运算的复杂度。

下面对照附图和结合优选具体实施方式对本发明进行详细的阐述。下面的实施过程中所述的具体方法都仅为举例说明，本发明所涵盖的范围不局限于所列举的这些方法。

如图1所示是本发明一个实施例的编码单元的划分方法流程图，其主要包括如下步骤：

A1：输入两个以上视点视频纹理图像和深度图像序列。输入的多视点立体视频序列为：通过摄像机、照相机采集所得，或者通过计算机工具所得的视频序列，数据格式不限，该序列可用于立体观看。

A2：编码独立视点纹理图像，记录各最大编码单元的划分信息。当编码独立视点纹理图像时，记录独立视点内每一帧的各最大编码单元的划分信息。其中划分信息是以各最大编码单元内信息的存储单元为单位记录的，且该划分信息为四叉树单元结构的分层信息k，k的取值为0、1、2或3。

A3：获取待编码的非独立视点纹理图像的最大编码单元中各个存储单元在各独立视点中的匹配单元。根据当前编码视点的深度信息图的深度信息来计算其相对独立视点的视差向量，得到当前待编码的非独立视点的最大编码单元中各个存储单元在独立视点中对应的匹配单元，例如:可以计算当前待编码的非独立视点的最大编码单元中各个存储单元的任一像素位置所对应到独立视点中的位置，根据其位置信息找到其对应在独立视点中对应的存储单元，如在HEVC中：利用当前待编码的非独立视点的最大编码单元中各个存储单元(如4×4的存储单元)左上角像素的信息，通过视差向量得到其在独立视点中对应的位置，此位置右方和下方各4个像素位置所对应的4×4的编码单元即为这里所说的匹配单元。其中，较佳的做法是对当前待编码的非独立视点的最大编码单元中的每个存储单元都重新计算一个视差向量，因为视频中不同区域内容不同，深度值也不同，对于每一个待编码的非独立视点的最大编码单元都重新计算一个视差向量使得该视差向量对当前编码单元更准确。具体视差向量的计算过程可采取基于已编码的深度图来计算视差向量，但不限于此，任何能够算出视差向量的计算方法均可采用，譬如，基于已编码深度图像的视差向量估计方法、基于已编码视差向量和运动向量的视差向量估计方法、基于相邻块视差向量的估计方法和基于不同视点已编码的深度图计算的方法等在HEVC标准中所列出的多种视差向量计算方法。

A4：得到当前待编码的非独立视点纹理图像中各待编码的最大编码单元对应的子分块的初步划分层次图。

当前待编码的非独立视点纹理图像中各待编码的最大编码单元对应的子分块的初步划分层次图是通过步骤A3中得到的各个存储单元的匹配单元的划分构成，但此初步得到的划分层次图不一定满足编码单元划分的四叉树结构。

例如：在HEVC标准中，最大编码单元为64×64，其存储单元大小为4×4，划分层次信息为0、1、2、3，可利用步骤A3中的视差向量得到当前待编码的非独立视点纹理图像中各待编码的最大编码单元对应的子分块的初步划分层次图如图2所示，其中图中所标示出的加粗框部分为不满足四叉树约束条件部分，如左上角加粗矩形框中的值应为2。

A5：利用四叉树约束条件对步骤A4中得到的初步划分层次图进行校正，其中四叉树约束条件的四叉树结构可由如下公式(1)表示：

如果d_i,j＝k，i,j＝0,2,4,…14，

d'_i',j'＝k,

(i',j')≠(i,j) (1)，

d_i,j为所述步骤A2中每个存储单元中左上角像素位置存储的当前编码单元划分层次信息，d＇_i＇,j＇为当前编码单元划分层次信息中其它存储单元的深度值，k为四叉树单元结构的分层信息，其所满足的四叉树约束条件由公式(1)表示。

利用公式(1)自顶向下，逐级对图2所示的初步划分层次图进行四叉树约束条件校正，经校正后得到待编码的非独立视点最大编码单元的划分层次图，如图3所示，校正后的划分层次图满足四叉树约束条件。

A6：反复执行步骤A4和A5，直至按需要停止(譬如已达当前帧最后一个最大编码单元)为止。

A7：最后，输出当前编码视点各最大编码单元的划分。

本发明一个实施例的基于四叉树约束的视频编码方法，对编码单元的划分采用如上所述的编码单元的划分方法，而其它编码步骤可采用现有技术的做法。利用本发明的多视点视频编码方法，能够明显提高自由视点视频编码中非独立视点的编码速度，避免迭代划分判定编码单元，大幅降低了自由视点视频编码的计算复杂度，加速了整个编码单元划分的过程，提高了效率。与此同时，相比于其它快速算法，本发明所提供的算法不需要进行复杂的运算，只需根据四叉树约束条件进行校正，本发明所提供的算法引入的平均负载只有0.0187％，并且节省了平均59.4％的编码时间。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于四叉树约束的编码单元的划分方法，其特征在于，包括以下步骤：

A1：输入两个以上视点视频纹理图像和深度图像序列；

A2：编码独立视点纹理图像，记录各独立视点的最大编码单元的划分层次信息；

A3：根据当前编码视点的深度信息图的深度信息来计算其相对独立视点的视差向量，得到当前待编码的非独立视点纹理图像的最大编码单元中各个存储单元在所述各独立视点中的匹配单元；

A4：根据步骤A2所述的所述划分层次信息得到当前待编码的非独立视点纹理图像的最大编码单元对应的子分块的初步划分层次图，其中所述初步划分层次图是通过步骤A3中得到的各个存储单元的匹配单元的划分构成；

A5：利用四叉树约束条件对步骤A4中的得到的所述初步划分层次图进行校正，使其满足编码单元划分的四叉树结构；

A6：输出当前编码视点各最大编码单元的划分。

2.如权利要求1所述的划分方法，其特征在于，所述步骤A2中，所述各最大编码单元的划分信息为四叉树单元结构的分层信息k，k的取值为0、1、2或3。

3.如权利要求1所述的划分方法，其特征在于，所述步骤A2中，所述划分信息是以各最大编码单元内信息的存储单元为单位记录的。

4.如权利要求1所述的划分方法，其特征在于，所述步骤A3具体包括：对各待编码的非独立视点纹理图像的最大编码单元中各个存储单元，根据当前编码视点的深度信息图来计算视差向量，得到当前最大编码单元中各个存储单元在独立视点中对应的匹配；其中，对当前最大编码单元中的每一个存储单元都计算一个视差向量。

5.如权利要求4所述的划分方法，其特征在于，所述计算视差向量可采用HEVC标准中所列方法。

6.如权利要求5所述的划分方法，其特征在于，所述HEVC标准中所列方法包括基于已编码深度图像的视差向量估计方法、基于已编码视差向量和运动向量的视差向量估计方法、基于相邻块视差向量的估计方法和基于不同视点已编码的深度图计算的方法。

7.一种基于四叉树约束的视频编码方法，其特征在于，该编码方法中对编码单元的划分采用如权利要求1至6任一项所述的划分方法。