CN105594214A - 直接简化深度编码的方法及装置 - Google Patents

Abstract

本发明提供一种直接简化深度编码的方法及装置。该方法及装置直接得到每一个分片的预测值，而不需要得到深度预测采样或深度预测子采样。直接简化深度编码方法实质上通过基于重建的相邻深度采样直接得到预测值，减少了与得到预测采样或预测子采样并计算预测采样或子采样的平均值相关的计算量。直接简化深度编码可被应用以得到两个预测值，P0和P1，以用于简化深度编码的深度模型模式1编码的深度区块的两个分片。

Description

直接简化深度编码的方法及装置

交叉引用

本发明主张在2013年4月12日提出的申请号为PCT/CN2013/074161、标题为“DirectSimplifiedDepthCoding”的PCT专利申请的优先权。因此在全文中合并参考该PCT专利申请案。

技术领域

本发明是有关于三维和多视图视频编码，特别是有关于利用简化深度编码(SimplifiedDepthCoding)技术的深度编码。

背景技术

三维(Three-dimensional,以下简称为3D)电视为近年来的技术发展趋势，并且三维电视给观众带来震撼的视觉体验。多视图视频为捕获和显现3D视频的技术。多视图视频通常通过利用多个摄像机同时捕获场景来产生。其中，适当地放置多个摄影机，以使得每一个摄影机能够自一个视点来捕获场景。具有与视图相关的大量的视频序列的多视图视频意味着大量的数据。相应地，多视图视频要求大存储空间来存储及/或高带宽来传输。因此，在相关领域中已开发多视图视频编码技术，来降低需要的存储空间和传输带宽。在三维和多视图编码***中，纹理数据和深度数据一样被编码。

在基于HEVC的测试模式(HEVCbasedTestModel,HTM)中采用简化深度编码(implifieddepthcoding,SDC)和深度查找表(depthlookuptable,DLT)。对于每一个深度编码单元来说，若简化深度编码被选择，则三个不同预测模式(即，直流模式DC、平面模式以及深度模型模式1(DepthModellingMode1,DMM-1))中的一个被选择。在预测之后，简化深度编码的已编码残余不是编码为量化的转换系数，而是根据深度区块是否分为一个或两个分片，而通过一个或两个常数残差值来表示。此外，深度查找表用于将简化深度编码中已编码的深度值映射至原始深度图的有效深度值中。

一种两步法用于在简化深度编码预测阶分片中获得预测值。首先，利用相邻重建采样的常规帧内预测(Intra-prediction)过程被调用，以得到在已编码区块中的所有的预测采样。在此步骤中，直流模式DC、平面模式、以及深度模型模式1为三种可能的预测模式。其次，在一个分片(segment)中的预测采样的平均值被计算，以作为此分片的预测值。对于直流模式DC和平面模式来说，在已编码区块中仅有一个分片，对于深度模型模式1来说，如深度模型模式1所定义，在已编码区块中有两个分片。为求简化，zhang等人提出的子采样方法仅利用每四个预测采样中的一个来得到平均值(CE6.Hrelated:Referencesamplessub-samplingforSDCandDMM,”DocumentofJointCollaborativeTeamon3DVideoCodingExtensionDevelopment,JCT3V-C0154,Jan.2013)。此方法可以有效地减少求平均过程中的求和操作。

图1为用于直流模式的简化深度编码预测的两步法。当前深度区块(110)的相邻重建深度值(112)用作参考采样，以形成当前区块的预测采样。自预测值得到平均值。两步法在产生预测采样和计算这些采样的平均值过程中引起高计算开销。因此，求平均过程需要较高位宽(bit-width)。为降低求平均中涉及的预测采样的数目，Zheng等人提出的子采样方法，保留四个相邻采样(120)中的一个。然后，用于要被编码或解码的区块(130)的预测值P被得到。对于解码端来说，将得到的预测值与接收的残差相加，以形成重建的区块(140)。在简化深度编码中，多达64x64/4的预测采样可相加在一起，并由此通过用于8比特采样的累加器得到18比特，该18比特大于通过常规帧内预测所需要的。

图2为用于深度模型模式1的简化深度编码预测的两步法。当前深度区块(210)的相邻重建采样(212)用于形成预测。子采样预测区块(220)用于预测。每一个分片的平均值(平均值P0和平均值P1)被得到，以形成预测区块(230)。如图2所示，对于解码来说，各自的残差(残差R0和残差R1)被接收并加至对应的预测值以形成重建区块(240)。

需要开发一种用于每一个分片的预测值推导的方法，其能减少需要的操作或减轻执行大量采样求和需要的比特深度。

发明内容

本发明提供一种置直接得到每一个分片的预测值，而不需要得到深度预测采样或深度预测子采样的直接简化深度编码的方法及装置。根据本发明的实施方式实质上通过基于重建的相邻深度采样直接得到预测值，减少了与得到预测采样或预测子采样并计算预测采样或子采样的平均值相关的计算量。举例来说，直接简化深度编码可被应用以得到两个预测值，P0和P1，以用于通过简化深度编码的深度模型模式1编码的深度区块的两个分片。预测值可基于已重建相邻深度采样的线性函数而得到。对于不同分片，预测值可基于已重建相邻深度采样的不同函数来得到。对于不同的简化深度编码模式，预测值可基于已重建相邻深度采样的不同函数来得到。每一个分片的预测值可被剪切于最小深度采样值和最大深度采样值之间的范围内。若已重建相邻深度采样不可用，则已重建相邻深度采样通过可用的另一个已重建相邻深度采样来代替。可选地，预测值可基于剩余的可用已重建向量深度采样来得到。

本发明一方面描述了预测值的简化推导。该推导基于少量的已重建相邻深度采样。举例来说，在简化深度编码的直流模式中，少量的已重建相邻深度采样可包括相邻于当前深度区块的左上角深度采样的左侧的已重建相邻深度采样和相邻于当前深度区块的左上角深度采样的另一已重建向量深度采样。根据这两个采样的可用性，预测值可被设置为这两个采样的平均值、这两个采样中的一个、或预定值。预定值可对应于最大深度值的一半、最大深度值和最小深度值的平均值、或128。对于简化深度编码平面模式来说，预测值可为当前深度区块的左下角深度采样的对角位置的已重建相邻深度采样和当前深度区块的右上角深度采样的对角位置的另一已重建相邻深度采样的平均值。

附图说明

图1为基于简化深度编码的直流模式下的深度区块解码处理步骤的示意图，其中深度区块包括一个分片。

图2为基于简化深度编码的深度模型模式1(modellingmode1,DMM-1)下的深度区块解码处理步骤的示意图，其中深度区块被分为两个分片。

图3为根据本发明实施方式的直接简化深度编码的直流模式下的深度区块解码处理步骤的示意图。

图4为根据本发明实施方式的直接简化深度编码的深度模型模式1下的深度区块解码处理步骤的示意图。

图5为根据本发明实施方式的自已重建相邻深度采样的已选择的采样得到预测值的示例的示意图。

图6为根据本发明实施方式的包括直接简化深度编码的***的流程图。

具体实施方式

在现有的简化深度编码(之后被称为分片式深度编码(Segment-wiseDCcoding,SDC))中，要编码的输入信号为深度区块的原始深度值的平均值，以及输出为深度区块的预测的深度值，其自深度区块的预测的深度值的平均值来得到。根据现有的简化深度编码，对于每一个分片仅有一个预测的深度值。每一个分片的预测深度值自当前区块的已预测采样或子采样的平均值来得到。如上所述，平均已预测采样的推导为计算密集型，其需要确定当前区块的已预测采样或子采样，并将已预测的采样或子采样求和，以计算每一个分片的平均值。此外，平均值计算也增加了求平均过程需要的位宽(bit-width)。

为进一步简化深度编码过程，揭示了直接简化深度编码(directSDC,dSDC)方法。在直接简化深度编码中，移除了两步法。取而代之的是，预测值直接自分别如图3和图4的用于直流模式和深度模型模式1的相邻重建采样来计算。在已编码区块中的预测采样仅是中间变量，以得到当前简化深度编码中的一个或两个最终预测值。由于在已编码区块中的预测采样自相邻重建采样来得到，此方法比在现有方法中执行的旁通帧内预测过程和直接自相邻重建采样得到简化深度编码中的预测值更有效。

为得到每一个分片的预测值，已重建相邻深度采样被接收并用于得到每一个分片的预测值。用于预测值的推导过程可概括为：P＝f(x₁,x₂,…x_n)，其中P是预测值，x₁,x₂,…,x_n为当前区块的已重建相邻深度采样，以及f(.)为函数。举例来说，可使用线性函数其中a_i为权重系数。不同的分片可使用不同的函数来得到预测值。此外，不同的函数可用于不同的简化深度编码模式。若一个已重建相邻深度采样不可用，则该采样由可用的其他采样来代替。可选地，预测值可基于可用的这些采样而得到。

每一个模式的示范性推导方法如下所示：

a)对于深度模型模式1

平均值P0和平均值P1遵循在深度模型模式1中相同的方法来得到。不需要填充(filling)每一个预测采样并计算平均值，P0和P1被直接视为最终预测值。

b)对于直流模式

在简化的方法中，P＝(A+B+1)>>1。

c)对于平面模式

P＝(X+Y+1)>>1

其中，如图5所示，A、B、X和Y为当前区块510的四个不同位置的相邻重建采样。采样A对应于相邻于当前区块的左上角深度采样的左侧的位置。采样B对应于当前区块的左上角深度采样的顶部的位置。采样X对应于自当前区块的左下角深度采样的对角位置。采样Y对应于自当前区块的右上角深度采样的对角位置。

在上述示例中，操作(A+B)＞＞1对应于A和B的截断平均值(truncatedaverage)。该操作可由(A+B+1)＞＞1来代替，以得到适当的修整。当A和B均不可用，则其他预测值也可以被使用。举例来说，可以使用最大深度值MAX_VALUE的一半，即MAX_VALUE/2。可选地，可以使用最大深度值MAX_VALU和最小深度值MIN_VALUE的截断平均值，即(MAX_VALUE+MIN_VALUE)>>1。也可以使用(MAX_VALUE+MIN_VALUE+1)>>1，来得到适当的修整。

在一些实施方式中，不同简化深度编码模式的预测值基于已重建相邻深度采样的不同函数来得到。当使用简化深度编码时深度模型模式1的两个分片的预测值得到的方式与当不使用简化深度编码时深度模型模式1的预测值得到的方式一致。

直接简化深度编码方法显著地简化在简化深度编码中预测值的推导。第一，产生预测采样和计算这些采样的平均值的高计算开销可通过直接简化深度编码来完全移除。第二，在直流模式和平面模式中，产生直接简化深度编码预测值甚至比产生常规预测采样更简单。第三，平均过程的高位宽可在直接简化深度编码中避免。在简化深度编码中，多达64x64/4个预测采样相加在一起。因此，通过用于8比特采样的累加器需要18比特。然而，在直接简化深度编码中比特宽度不会超过现有的帧内预测需要的比特宽度。

根据本发明实施方式的包括直接简化深度编码的3D/多视图视频编码***的性能与基于HTM-6.0的现有的***的性能进行比较。预测类型包括直流模式、深度模型模式1和平面模式。根据本发明的实施方式利用直接简化深度编码，其中每一个分片的预测值直接自相邻采样而得到，不需要确定所有的预测采样或子采样并计算这些预测采样或子采样的平均值。性能比较是基于第一列中列举的测试数据的不同集合做出的。在常见的测试条件(commontestconditions,CTC)和全帧内测试条件下的包括本发明实施方式的***的测试结果分别如表1和表2所示。如表格中所示，对于常见测试条件和所有帧内测试条件中的视频总比特率，基于采样的简化深度编码节约0.2％的BD率。对于常见测试条件和所有帧内测试条件中的合成视图，可分别节约0.2％和0.1％的BD率。

表1

表2

图6为根据本发明实施方式的利用帧内模式的用于深度数据的直接简化深度编码的流程图。如步骤610所示，***接收与当前深度区块相关的输入数据。当前深度区块被分割为一个或多个分片。对于编码端来说，与深度区块相关的数据输入对应于要编码的深度采样。对于解码端来说，与当前区块相关的输入数据对应于要被解码的已编码的深度数据。与当前深度区块相关的输入数据可自存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其他媒体)或自处理器来检索。如步骤620所示，接收当前深度区块的已重建相邻深度采样。如步骤830所示，每一个分片的预测值基于已重建相邻深度采样而直接得到，不需要得到每一个分片的深度预测采样或深度预测子采样。如步骤640所示，利用预测值编码或解码当前深度区块的每一个分片。在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。

以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(DigitalSignalProcessor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(FieldProgrammableGateArray,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。

Claims (18)

1.一种在三维编码***中深度区块的帧内编码方法，其特征在于，该方法包括：

接收与当前深度区块相关的输入数据，其中该当前深度区块被分割为一个或多个分片；

接收该当前深度区块的已重建相邻深度采样；

直接基于该已重建相邻深度采样来得到用于每一个分片的预测值，而不需要得到每一个分片的深度预测采样或深度预测子采样；以及

利用该预测值来编码或解码该当前深度区块的每一个分片。

2.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，根据深度模型模式1，该当前深度区块被分割为两个分片；以及自用于该两个分片的该已重建相邻深度采样直接得到两个预测值。

3.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，用于每一个分片的该预测值基于该已重建相邻深度采样的线性函数而得到。

4.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块被分割为两个分片以及用于该两个分片的两个预测值基于该已重建相邻深度采样的两个不同的函数而得到。

5.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，根据至少两个不同的简化深度编码模式，该当前深度区块被分割为一个或两个分片；以及用于该至少两个不同简化深度编码模式的至少两个预测值基于该已重建相邻深度采样的至少两个不同函数而得到。

6.根据权利要求5所述的在三维编码***中深度区块的帧内编码方法，其特征在于，得到利用深度模型模式1编码的当前深度区块的两个分片的该预测值的方法与当简化深度编码未使用时得到用于深度模型模式1的该预测值的方法相同。

7.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，每一个分片的该预测值被剪切于最小深度采样值和最大深度采样值之间的范围内。

8.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，若一个已重建相邻深度采样不可用，则该已重建相邻深度采样通过可用的另一个已重建相邻深度采样来代替。

9.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，若一个或多个已重建相邻深度采样不可用，则该预测值基于其他可用的该已重建相邻深度采样而得到。

10.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，用于一个分片的该预测值基于第一已重建相邻深度采样和第二已重建相邻深度采样的平均值来得到，其中该第一已重建相邻深度采样相邻于该当前深度区块的左上角深度采样的左侧，以及该第二已重建相邻深度采样相邻于该当前深度区块的左上角深度采样的顶部。

11.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块利用简化深度编码的直流模式来编码，其中该当前深度区块具有一个分片，以及用于该一个分片的该预测值P基于以下公式来得到：

其中，A相邻于该当前深度区块的左上角深度采样的左侧，B相邻于该当前深度区块的左上角深度采样的顶部，以及MAX_VALUE为最大深度值。

12.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块利用简化深度编码的直流模式来编码，其中该当前深度区块具有一个分片，以及用于该一个分片的该预测值P基于以下公式来得到：

其中，A相邻于该当前深度区块的左上角深度采样的左侧，B相邻于该当前深度区块的左上角深度采样的顶部。

13.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块利用简化深度编码的直流模式来编码，其中该当前深度区块具有一个分片，以及用于该一个分片的该预测值P基于以下公式来得到：

其中，A相邻于该当前深度区块的左上角深度采样的左侧，B相邻于该当前深度区块的左上角深度采样的顶部，MAX_VALUE为最大深度值，以及

MIN_VALUE为最小深度值。

14.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块利用简化深度编码的直流模式来编码，其中该当前深度区块具有一个分片，以及用于该一个分片的该预测值P基于以下公式来得到：

其中，A相邻于该当前深度区块的左上角深度采样的左侧，B相邻于该当前深度区块的左上角深度采样的顶部，以及MAX_VALUE为最大深度值。

15.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块利用简化深度编码的直流模式来编码，其中该当前深度区块具有一个分片，以及用于该一个分片的该预测值P基于以下公式来得到：

其中，A相邻于该当前深度区块的左上角深度采样的左侧，B相邻于该当前深度区块的左上角深度采样的顶部。

16.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块利用简化深度编码的直流模式来编码，其中该当前深度区块具有一个分片，以及用于该一个分片的该预测值P基于以下公式来得到：

其中，A相邻于该当前深度区块的左上角深度采样的左侧，B相邻于该当前深度区块的左上角深度采样的顶部，MAX_VALUE为最大深度值，以及

MIN_VALUE为最小深度值。

17.根据权利要求1所述的在三维编码***中深度区块的帧内编码方法，其特征在于，该当前深度区块利用简化深度编码的平面模式来编码，其中该当前深度区块具有一个分片，以及用于该一个分片的该预测值P根据P＝(X+Y)＞＞1来得到，其中X对应于第一已重建相邻深度采样，该第一已重建相邻深度采样对应于该当前深度区块的左下角深度采样的对角位置，以及Y对应于第二已重建相邻深度采样，该第二已重建相邻深度采样对应于该当前深度区块的右上角深度采样的对角位置。

18.一种在三维编码***中深度区块的帧内编码装置，其特征在于，该装置包括一个或多个电子电路，其中该一个或多个电子电路被配置为：

接收与当前深度区块相关的输入数据，其中该当前深度区块被分割为一个或多个分片；

接收该当前深度区块的已重建相邻深度采样；

直接基于该已重建相邻深度采样来得到用于每一个分片的预测值，而不需要得到每一个分片的深度预测采样或深度预测子采样；以及

利用该预测值来编码或解码该当前深度区块的每一个分片。