CN105474643A - 3d视频编码中简化的视图合成预测的方法 - Google Patents

Abstract

本发明揭露了一种用于VSP过程以及基于VSP的合并候选导出的使用统一深度数据访问的三维视频编码或解码的方法。当编码工具对应于VSP过程或基于VSP的合并候选时，本发明的实施例获取参考视图中的相同参考深度数据。参考视图中对应于当前纹理CU的参考深度块使用已导出DV来获取。对于VSP过程，当前CU中用于当前PU的第一VSP数据是基于参考深度块来产生。对于基于VSP的合并候选导出，用于与VSP空间合并候选相关联的VSP已编码空间相邻PU的第二VSP数据也是基于参考深度块产生。

Description

3D视频编码中简化的视图合成预测的方法

【相关申请的交叉引用】

本发明主张申请于2013年7月19日，序列号为PCT/CN2013/079668，标题为“SimplifiedViewSynthesisPredictionfor3DVideoCoding”的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及三维视频编码。特别地，本发明涉及与3D视频编码中视图合成预测(viewsynthesisprediction，VSP)相关联的深度数据访问的方法。

【背景技术】

三维电视技术是近年来的技术发展趋势，其试图给观看者带来轰动的观看体验(viewingexperience)。各种技术都被开发出来以使三维观看成为可能。其中，多视图视频(multi-viewvideo)是三维电视应用中的一个关键技术。现有的视频是二维(two-dimensional)介质，二维介质只能给观看者提供来自照相机视角的一个场景的单个视图。然而，多视图视频可以提供动态场景的任意视角，并为观看者提供真实的感觉。

通常，多视图视频是通过同时地使用多个相机捕捉场景来创建的，其中，多个照相机都被合适地定位，以使每个照相机从一个视角捕捉场景。因此，多个相机将捕捉对应多个视图的多个视频序列。为了提供更多的视图，需要使用更多的相机来产生具有与视图相关联的大量视频序列的多视图视频。因此，多视图视频将需要大量的存储空间来存储和/或需要高的带宽来传送。因此，在本领域中，多视图视频编码技术被开发出来以减少所需要的存储空间或传送带宽。

一个直接方法可以简单地应用于现有的视频编码技术，使每个单个视图视频序列独立且忽视不同视图中的任何关联。这样的编码***将是非常低效的。为了提高多视图视频编码效率，多视图视频编码利用视图间冗余。通过扩展现存的视频编码标准，各种3D编码工具已经被开发出来或正在被开发。例如，有标准开发活动以扩展多视图视频编码(multi-viewvideocoding，MVC)以及3D编码的H.264/高级视频编码(advancedvideocoding，AVC)以及高效视频编码(highefficiencyvideocoding，HEVC)。

用于3D-HEVC以及3D-AVC的各种已被开发出来或正在被开发的3D编码工具综述如下。

为了共享邻近视图的先前已编码的纹理信息，一种被称为视差补偿预测(Disparity-CompensatedPrediction，DCP)的技术被包括到基于HEVC的三维视频编码的测试模型(testModelforthree-dimensionalvideocodingbasedonHEVC，3D-HTM)中以作为动补偿预测(motion-compensatedprediction，MCP)的备选编码工具。MCP是关于使用相同视图中先前已编码图片的图片间预测，而DCP是关于相同存取单元中其它视图的先前已编码图片的图片间预测。图1所示为结合MCP以及DCP的3D视频编码***的示例。用于DCP的向量110被称为视差向量(disparityvector，DV)，其模拟用于MCP的运动向量(motionvector，MV)。图1显示了与MCP相关联的三个MV120、130以及140。此外，DCP块的DV还可由视差向量预测(disparityvectorpredictor，DVP)候选来预测，DVP候选是由也使用视图间参考图片的相邻块或时间对应块导出。于当前3D-HTM中，当导出用于合并/跳过模式的视图间合并候选时，如果对应块的运动信息是不可用的或无效的，视图间合并候选由DV来替代。

视图间运动预测(Inter-viewmotionprediction)用于共享参考视图的先前已编码运动信息。为了导出附属视图中当前块的候选运动参数，用于当前块的DV首先被导出，且接着，通过将DV增加到当前块的位置，参考视图中已编码图片中的预测块被定位。如果预测块是使用MCP来编码，相关的运动参数可用作当前视图中当前块的候选运动参数。已导出DV还可被直接用作用于DCP的候选DV。

视图间残差预测(Inter-viewresidualprediction)是被用于3D-HTM的另一编码工具。为了共享邻近视图的先前已编码的残差信息，当前预测块(即，预测单元(predictionunit，PU))的残差信号可由视图间图片中的对应块的残差信号来预测。对应块可由相应DV来定位。对应于特定照相机位置的视频图片以及深度图由视图标识符(即，V0、V1以及V2)来指示。属于相同照相机位置的所有视频图片以及深度图通过相同视图Id(即，视图标识符)被关联。视图标识符被用于在存取单元中指定编码顺序，且于易出错环境中检测丢失的视图(missingview)。存取单元包括对应于相同时刻的所有视频图片以及深度图。于存取单元中，如果存在视图Id等于0的深度图，则视图Id等于0的视频图片及相关的深度图首先被编码，接下来是视图Id等于1的视频图片以及深度图等。视图Id等于0(即，V0)的视图也被称作基础视图或独立视图。基础视图视频图片可使用现有的HEVC视频编码器不依赖于其它视图被编码。

对于当前块，运动向量预测(motionvectorpredictor，MVP)/视差向量预测(disparityvectorpredictor，DVP)可以从视图间图片的视图间块导出。在下文中，视图间图片的视图间块被简称为视图间块。已推导出的候选被称为视图间候选，其可以是视图间MVP或DVP。基于其它视图中先前已编码的运动信息来编码当前块(例如，当前PU)的运动信息的编码工具被称为视图间运动参数预测(inter-viewmotionparameterprediction)。此外，相邻视图的对应块被称为视图间块，且视图间块使用从当前图片中的当前块的深度信息导出的视差向量来定位。

视图合成预测(ViewSynthesisPrediction，VSP)是一种移除来自不同视角的视频信号中的视图间冗余的技术，于VSP中，合成信号被用作为预测当前图片的参考。于3D-HEVC测试模型HTM-7.0中，存在一过程来导出视差向量预测，被称为相邻块视差向量(NeighboringBlockDisparityVector，NBDV)。接着，已导出视差向量被用于获取参考视图的深度图像中的深度块。导出虚拟深度的过程可被应用于VSP以定位已编码视图的对应深度块。已获取的深度块可具有与当前PU相同的大小，且接着将被用于对当前PU执行后向扭曲(backwardwarping)。此外，扭曲操作可被执行于子PU级别精度，例如2x2、4x4、8x4或4x8块。

于当前实现中，VSP仅被用于纹理分量编码。VSP预测也被增加以作为新的合并候选来显示VSP预测的使用。以这样的方式，VSP块可以是没有任何残差的跳过块(skippedblock)，或具有已编码残差信息的合并块。于本申请中，为方便起见，基于VSP的合并候选的还可被称为VSP合并候选。

当图片作为B图片被编码，且当前块被表示为VSP预测时，下文的步骤被应用以确定VSP的预测方向：

-从NBDV获取已导出视差向量的视图索引refViewIdxNBDV；

-获取与具有视图索引refViewIdxNBDV的参考图片相关联的参考图片列表RefPicListNBDV(RefPicList0或RefPicList1)；

-检查具有视图索引refViewIdx的视图间参考图片的可用性，视图索引refViewIdx不等于参考图片列表中除RefPicListNBDV之外的refViewIdxNBDV；

ο如果这样的不同视图间参考图片被找到，则应用双向VSP。来自视图索引refViewIdxNBDV的深度块被用作为当前块的深度信息(在纹理第一编码顺序的情况下)，且两个不同视图间参考图片(来自每个参考图片列表中的一个)经由后向扭曲过程被访问，且进一步加权以获得最终后向VSP预测子；

ο否则，单向(uni-direction)VSP被应用到RefPicListNBDV以作为用于预测的参考图片列表。

当图片作为P图片被编码，且当前预测块使用VSP时，单向VSP被应用。

VSP被用作用于下述模块的通用DCP候选：时间合并候选导出，用于深度编码的运动参数继承，深度方向的相邻块视差向量(depthorientedneighboringblockdisparityvector，DoNBDV)，自适应运动向量预测(adaptivemotionvectorprediction，AMVP)，以及解块滤波器(deblockingfilter)。VSP合并候选的导出检查属于所选择空间相邻组的空间相邻块以确定是否组中的任何空间相邻块被编码为VSP模式。如图2所示，当前块210的五个空间相邻块(B0、B1、B2、A0以及A1)属于用于VSP合并候选的导出的组。当前块可以是编码单元(codingunit，CU)或PU。于组中的相邻块中，块B0、B1以及A1被VSP编码。为了推断当前PU的空间相邻是否被VSP编码，用于相邻块的合并候选组的重建被需要。相邻块的合并索引也被需要且必须被储存。如图2所示，如果当前PU在邻近于最大编码单元(largestcodingunit，LCU)或编码树单元(codingtreeunit，CTU)的上边界(boundary)220的位置，将需要来自相邻LCU或CTU的相邻块的重建。因此，需要线缓冲器来储存与位于上方相邻LCU或CTU行的下边界的块相关联的合并候选组。

需要注意的是，在当前设计中，当构建合并候选列表时，如果当前PU的空间相邻使用VSP模式，VSP模式以及空间相邻的NBDV是从空间相邻中继承(inherited)。接着，如图3A到图3C所示，空间相邻的NBDV将被用于获取用于执行当前PU的VSP过程的参考视图的深度图像中的深度块。

图3A所示为基于DoNBDV的用于当前CU的深度数据访问。块310为当前视图的当前图片中的当前CU。DoNBDV过程利用由NBDV指向的视图间参考图片中的深度图来导出精致的DV。如图3A所示，块310’位于对应于当前纹理CU310的对应的深度块的位置。深度块320根据NBDV过程基于位置310’以及已导出的DV322被定位。

图3B所示为用于VSP合并候选导出的深度图访问的示例。在此情况下，用于当前PU的VSP模式以及空间相邻的NBDV是从空间相邻中继承。空间相邻的NBDV可以不同于当前CU的NBDV。因此，空间相邻的NBDV可指向由当前CU的NBDV指向的视图间参考的不同深度块。例如，如图3B的左侧所示，空间相邻的NBDV由参考标号332以及342指示，且将被获取的深度块由参考标号330以及340指示。因此，必须访问附加的深度数据以便导出VSP合并候选。此外，如图3B的右侧所示，空间相邻的NBDV可指向除了由当前CU的NBDV指向的视图间参考图片的深度图，其中，已导出DV352指向深度块350。

图3C所示为用于VSP合并候选导出的深度图访问的另一示例，其中，CU被分成两个PU(360a以及360b)。360a以及PU360b的相应相邻PU的DV(372a以及372b)可能会彼此不同。此外，DV372a以及372b还可不同于当前CU的NBDV。因此，必须获取来自DoNBDV的不同深度数据以执行VSP处理，包括导出用于当前PU的VSP合并候选。

如以上所描述的，DV是用于视图间运动预测、视图间残差预测、DCP、后向视图合成预测(backwardviewsynthesisprediction，BVSP)或任何其它指示视图间图片之间的对应工具的3D视频编码的关键。用于3D-HEVC版本7.0(HTM-7.0)的当前测试模型的DV导出如下所述。

于当前3D-HEVC中，用于DCP的DV被显式地传送或以类似于关于AMVP以及合并操作的MV的方式被隐式地导出。目前，除了用于DCP的DV，用于其它的编码工具的DV是使用NBDV过程或DoNBDV过程被导出，如下所述。

于当前3D-HEVC中，DV可用作帧间模式(Intermode)的DVP候选或合并/跳过模式的合并候选。已导出DV还可被用作用于视图间运动预测以及视图间残差预测的偏置向量。如图4A到图4B所示，当已导出DV被用作偏置向量时，DV是从空间及时间相邻块导出。多个空间以及时间相邻块被确定，且空间以及时间相邻块的DV可用性是根据预定顺序被检查。此用于基于相邻(空间以及时间)块的DV导出的编码工具被称为NBDV。如图4A所示，时间相邻块组首先被搜寻。时间合并候选组包括时间参考图片中当前块的中心位置(即，B_CTR)以及当前块的右下角的对角线位置(即，RB)。时间搜寻顺序从RB开始到B_CTR。当一个块被识别为具有DV时，检查过程将会被终止。如图4B所示，空间相邻块组包括当前块的左下角的对角线位置(即，A0)、当前块的左下方的相邻位置(即，A1)、当前块的左上角的对角线位置(即，B2)、当前块的右上角的位置对角线(即，B0)，以及当前块的右上方的相邻位置(即，B1)。用于空间相邻块的搜寻顺序是(A1、B1、B0、A0、B2)。

如果DCP已编码块没有于相邻块组(如图4A以及图4B所示，即，空间以及时间相邻块)中被找到，视差信息可从另一个被称为DV-MCP的编码工具获得。在此情况下，当空间相邻块是MCP已编码块且其运动是由视图间运动预测来预测时，如图5所示，用于视图间运动预测的视差向量表示当前以及视图间参考图片之间的运动对应。此运动向量的类型被称为视图间预测运动向量，且块被称为DV-MCP块。图5所示为DV-MCP块的示例，其中，DV-MCP块510的运动信息是从视图间参考图片的对应块520预测。对应块520的位置是通过视差向量530来指示。用于DV-MCP块的视差向量表示当前以及视图间参考图片之间的运动对应。对应块520的运动信息522用于预测当前视图中当前块510的运动信息512。

为了指示MCP块是否为DV-MCP已编码块，且为了保存以及用于视图间运动参数预测的视差向量，两个变量被用于表示每个块的运动向量信息：

-dvMcpFlag，以及

-dvMcpDisparity。

当dvMcpFlag等于1时，dvMcpDisparity被设置为指示视差向量被用于视图间运动参数预测。于AMVP模式以及合并候选列表的建立过程中，如果候选是由视图间运动参数预测来产生，则候选的dvMcpFlag被设置为1，否则，其被设置为0。如果DCP已编码块以及DV-MCP已编码块都没有于上述的空间以及时间相邻块中被找到，则零向量可被用作默认视差向量。

通过从深度图中提取更准确的视差向量来增强NBDV的方法被用于当前3D-HEVC中。来自相同存取单元的已编码深度图的深度块首先被获取且被用作当前块的虚拟深度。具体而言，如图3所示，精致的DV是由虚拟深度块的像素子集的最大值视差转换，其中，虚拟深度块是由使用NBDV导出的DV来定位。此用于DV导出的编码工具被称为DoNBDV。

于当前方案中，由于VSP模式以及运动信息是从空间相邻中继承，其需要访问多个参考视图中的多个深度块以执行用于当前PU的VSP过程。VSP模式旗标也必须被存储于线存储器，以便确定当前PU的空间相邻是否被VSP编码。因此，需要开发出一种用于VSP过程的方法，其可以简化过程或减少所需存储。

【发明内容】

本发明揭露了一种用于VSP过程以及基于VSP的合并候选导出的使用统一深度数据访问(unifieddepthdataaccess)的三维视频编码或解码的方法。当编码工具对应于VSP过程或基于VSP的合并候选时，本发明的实施例获取参考视图中的相同参考深度数据。参考视图中对应于当前纹理CU的的参考深度块使用已导出DV来获取。对于VSP过程，当前CU中用于当前PU的第一VSP数据是基于参考深度块来产生。对于基于VSP的合并候选导出，用于与VSP空间合并候选相关联的VSP已编码(VSP-coded)空间相邻PU的第二VSP数据也是基于参考深度块产生。如果VSP模式被使用，则当前PU使用第一VSP数据来编码或解码，或者，如果合并模式被使用以及VSP合并候选被选择，则当前PU使用第二VSP数据来编码或解码。

已导出DV可使用NBDV来导出，其中，由当前纹理CU的相邻块导出的已选择DV被用作已导出DV。已导出DV可使用DoNBDV来导出，其中，NBDV首先被导出，且由NBDV指向的参考视图中的深度数据被转换为视差值且被用作已导出DV。

对应于当前PU的视图间参考图片中的第一参考纹理数据可根据由参考深度块转换的视差来产生。第一参考纹理数据被用作第一VSP数据。对应于VSP已编码空间相邻PU的视图间参考图片的第二参考纹理数据可根据由参考深度块转换的视差来产生。接着，第二参考纹理数据被用作为第二VSP数据。在一些实施例中，第一参考纹理数据以及第二参考纹理数据也可以是相同的。

对于多个VSP空间合并候选，检查候选的冗余，且任何与另一VSP合并候选相同的冗余VSP合并候选会从合并候选列表中被移除。此检查可以基于VSP空间合并候选的部分组或全组。

【附图说明】

图1所示为结合将DCP作为备选MCP的三维视频编码的示例。

图2所示为属于VSP合并候选导出组的当前块的空间相邻块的示例。

图3A所示为基于DoNBDV的用于当前CU的深度数据访问的示例。

图3B所示为用于VSP合并候选导出的深度图访问的另一示例，其中，空间相邻的NBDV以及VSP模式是从空间相邻中继承。

图3C所示为用于VSP合并候选导出的深度图访问的又一示例，其中，CU被分成两个PU，且两个PU的相应相邻PU的DV是彼此不同的。

图4A至图4B所示为用于导出当前块的视差向量的当前块的相应时间相邻块以及空间相邻块。

图5所示为从DV-MCP块导出视差的示例，其中，对应块的位置是由视差向量来指定。

图6所示为根据本发明实施例的通过VSP访问的受限的(constrained)深度数据。

图7所示为根据本发明实施例的受限的VSP信息的示例，其中，如果VSP已编码相邻与LCU边界交叉，具有VSP的已编码空间相邻被称为用于空间合并候选导出的通用DCP候选。

图8所示为根据本发明实施例的使用与VSP相关联的受限的深度数据访问的三维视频编码及解码的示范性流程图。

【具体实施方式】

如以上所描述的，根据现有的3D-HEVC，由于VSP模式以及运动信息是从空间相邻继承，其需要访问多个参考视图中的多个深度块以执行用于当前PU的VSP过程。VSP模式旗标也必须被存储于线存储器，以便确定当前PU的空间相邻是否被VSP编码。因此，本发明的实施例简化了VSP过程。

于本发明的第一实施例中，对于VSP模式继承(inheritance)，如果已选择的空间候选是从VSP已编码空间相邻块导出，则当前PU将被编码为VSP模式，即，从相邻块继承VSP模式。然而，相邻块的NBDV将不被继承。作为替换，用于当前CU的由NBDV导出的DV将被用于获取用于当前CU中所有PU的参考视图中的深度块。需要注意的是，于当前3D-HEVC中，CU等级的NBDV被用于导出相同CU中用于所有PU的DV。根据第一实施例，VSP模式继承也使用相同已导出DV，其中，相同已导出DV是使用用于当前PU的NBDV。因此，相同的深度数据将被访问以用于使用DoBNDV或使用VSP模式继承的VSP过程。

于本发明的第二实施例中，对于VSP模式继承，如果已选择的空间候选从VSP已编码空间相邻块中导出，当前PU将被编码为VSP模式，即，继承相邻PU的VSP模式。然而，相邻块的NBDV将不被继承。作为替换，用于当前CU的由NBDV导出的DV将被用于获取参考视图中的深度块。于合并候选列表中具有多个相同的VSP候选。根据第二实施例的方法将对空间合并候选的VSP模式执行部分检查(partialchecking)，类似于空间相邻的运动信息之间的比较。例如，当B1为空间VSP合并候选时，如果B0也被VSP编码，B0将不会被增加到合并候选列表中。这样的两两比较(pairwisecomparison)被表示为B0->B1。其它比较，例如B1->A1、A0->A1、B2->A1以及B2->B1也可被使用。

于本发明的第三实施例中，对于VSP模式继承，如果已选择的空间候选是由以VSP模式编码的空间相邻块中导出。然而，相邻块的NBDV将不被继承。作为替换，用于当前CU的由NBDV导出的DV将被用于获取参考视图中的深度块。于合并候选列表中具有多个相同的VSP候选。根据第三实施例的方法将对空间合并候选的VSP模式执行全部检查(fullchecking)。例如，在将空间VSP合并候选增加到合并候选列表之前，将执行检查以确定合并候选列表中是否已经存在VSP已编码空间合并候选或VSP合并候选。如果VSP已编码空间合并候选或VSP合并候选存在，则空间VSP合并候选将不会被增加，这可以确保合并候选列表中最多只有一个VSP合并候选。

以上所有实施例确保VSP合并候选使用当前CU的已导出NBDV来替换使用来自相邻块的DV以获取参考视图中的深度块。由VSP访问的深度数据的限制(constraint)如图6所示。CU/PU630位于附属视图610(即使，视图1)的当前纹理图片T1中。已导出DV642使用用于当前CU/PU630的NBDV或DoNBDV被确定，以访问由NBDV或DoNBDV642指向的参考深度图620中的深度块640。另一方面，VSP合并候选导出将使用当前PU660a以及660b的相邻块的已导出DV672a以及672b来访问参考深度图620中的深度块670a以及670b。根据本发明的实施例，当VSP合并候选被选择以用于当前CU/PU时，不允许来自相邻块的已导出DV的使用。作为替换，根据本发明的实施例，当VSP合并候选被选择时，使用用于当前CU的已导出DV来替换从相邻块继承的DV。

于第四实施例中，VSP模式被禁止继承从LCU行边界上方的相邻块中导出的空间合并候选的DV以及VSP模式。当LCU行边界上方的相邻块于VSP模式中被编码，且空间合并候选是由此相邻块导出时，此空间合并候选将被当做通用DCP候选，通用DCP候选具有被存储用于VSP已编码块的DV以及参考索引。于图7所示的示例中，两个空间相邻块710以及720于VSP模式中被编码。于现有的途径下，如图2所示的示例中，在当前CU的LCU行边界上方的两个相邻块使用VSP模式被编码时，这些用于这两个块的DV以及VSP模式旗标必须被存储，以便导出用于当前块的VSP合并候选。然而，如图7所示的第四实施例的示例使用这两个VSP已编码块的通用DCP。因此，不需要存储与LCU行边界上方的相邻块相关联的DV以及VSP旗标。换句话说，本发明的第四实施例可以节省与LCU行边界上方的相邻块相关联的DV以及VSP旗标所需的线缓冲器。

本发明的实施例强制VSP合并候选使用如VSP所使用的DoNBDV来定位参考视图中的深度数据以导出VSP合并候选。因为用于VSP过程以及基于VSP的合并候选导出的深度访问被统一，所以此限制提供了减少深度数据访问数量的优点。然而，此限制可能会导致***性能降低。根据本发明实施例的用于统一VSP过程以及基于VSP的合并候选导出的统一深度数据访问的***与现有的***(3D-HEVC测试模型版本8.0(HTM8.0))的比较如表1所示。性能比较是基于第一列中列出的不同组的测试数据。BD率度量是视频编码***技术领域中公知的性能度量。用于视图1(视频1)以及视图2(视频2)的纹理图片的BD率差值被示出。BD率的负值意味着本发明具有更佳的性能。如表1所示，结合本发明实施例的***对于视图1以及视图2显示了一个小的BD率增长(分别为0.3％以及2.0％)。用于具有视频比特率的已编码视频PSNR、具有总比特率(纹理比特率以及深度比特率)的已编码视频PSNR、以及具有总比特率的合成视频PSNR的BD率度量显示了很小的BD率增长或无增长(分别为0.1％，0.1％以及0％)。编码时间、解码时间以及渲染时间与现有的***大致相同。

表1

如表2所示，已修改***以及基于HTM-8.0的现有***的另一比较被执行。已修改***是基于HTM-8.0的。然而，如果VSP已编码空间相邻块位于当前LCU行的边界之上，已修改***不允许NBDV以及VSP模式继承。已修改***对于视图1以及视图2显示了一个小的BD率增长(分别为0.3％以及2.0％)。用于具有视频比特率的已编码视频PSNR、具有总比特率(纹理比特率以及深度比特率)的已编码视频PSNR、以及具有总比特率的合成视频PSNR的BD率度量都无增长。编码时间、解码时间以及渲染时间与现有的***大致相同。

表2

结合用于统一VSP过程以及基于VSP的合并候选导出的统一深度数据访问的另一实施例与基于HTM-8.0的现有***的比较如表3所示。于此比较，如果VSP已编码空间相邻块位于当前LCU行的边界之上，根据本发明的统一深度数据访问方法不允许NBDV以及VSP模式继承。结合本发明实施例的***对于视图1以及视图2显示了一个小的BD率增长(分别为0.3％以及2.0％)。用于具有视频比特率的已编码视频PSNR、具有总比特率(纹理比特率以及深度比特率)的已编码视频PSNR、以及具有总比特率的合成视频PSNR的BD率度量显示了很小的BD率增长或无增长(分别为0.1％，0％以及0％)。编码时间、解码时间以及渲染时间与现有的***大致相同。

表3

图8所示为使用用于VSP过程以及基于VSP的合并候选导出的统一深度数据访问的三维或多视图视频编码或解码***的示范性流程图。如步骤810所示，***接收与附属视图中当前纹理CU相关联的输入数据。输入数据可对应于未编码或已编码的纹理数据。输入数据可从存储器(例如：计算机存储器、缓冲器(RAM或DRAM)或其它媒体)中获取。视频比特流还可从处理器(例如：控制器、中央处理单元、数字信号处理器或、产生输入数据的电子电路)接收。如步骤820所示，使用已导出DV获取对应于当前纹理CU的参考视图的参考深度块。如步骤830所示，基于参考深度块产生用于当前CU中当前PU的第一VSP数据。如步骤840所示，基于参考深度块，产生用于与所述一个或多个VSP空间合并候选相关联的一个或多个VSP已编码空间相邻PU的第二VSP数据。如步骤850所示，如果VSP模式被使用，接着，使用第一VSP数据来编码或解码当前PU，或如果合并模式与所选择的VSP合并候选一起被使用，编码或解码当前PU作为第二VSP数据。

以上所示的流程图旨在说明用于VSP过程以及基于VSP的合并候选导出的统一深度数据访问的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (22)

1.一种视频编码方法，用于三维或多视图视频编码或解码***，其特征在于，所述三维或多视图视频编码或解码***使用具有合并候选列表的视图合成预测模式以及合并模式的编码工具，所述合并候选列表包括一个或多个视图合成预测空间合并候选，所述方法包括：

接收与附属视图中当前纹理编码单元相关联的输入数据；

使用已导出视差向量来获取对应于所述当前纹理编码单元编码单元的参考视图中的参考深度块；

基于所述参考深度块产生用于所述当前编码单元中当前预测单元的第一视图合成预测数据；

基于所述参考深度块产生用于与所述一个或多个视图合成预测空间合并候选相关联的一个或多个视图合成预测已编码空间相邻预测单元的第二视图合成预测数据；以及

如果所述视图合成预测模式被使用，则使用所述第一视图合成预测数据编码或解码所述当前预测单元，或如果所述合并模式与所选择的所述视图合成预测合并候选被使用，则编码或解码所述当前预测单元作为所述第二视图合成预测数据。

2.如权利要求1所述的方法，其特征在于，所述已导出视差向量对应于从所述当前纹理编码单元编码单元的一个或多个相邻块导出的已选择视差向量。

3.如权利要求1所述的方法，其特征在于，已选择视差向量是从所述当前纹理编码单元编码单元的一个或多个相邻块导出，以及所述已导出视差向量是由将所述已选择视差向量指向的所述参考视图中的已选择深度数据转换为所述已导出视差向量来导出的。

4.如权利要求1所述的方法，其特征在于，所述产生用于所述当前预测单元的所述第一视图合成预测数据的步骤包括：根据从所述参考深度块转换的视差导出对应于所述当前预测单元的视图间参考图片中的第一参考纹理数据，以及使用所述第一参考纹理数据作为所述第一视图合成预测数据。

5.如权利要求1所述的方法，其特征在于，所述产生用于所述视图合成预测已编码空间相邻的第二视图合成预测数据的步骤包括：根据从所述参考深度块转换的视差导出对应于所述当前预测单元的视图间参考图片中的第二参考纹理数据，以及使用所述第二参考纹理数据作为所述第二视图合成预测数据。

6.如权利要求1所述的方法，其特征在于，所述产生用于所述视图合成预测已编码空间相邻的第二视图合成预测数据的步骤包括：根据从所述参考深度块转换的视差导出对应于所述当前预测单元的视图间参考图片中的第二参考纹理数据，以及使用所述第二参考纹理数据作为所述第二视图合成预测数据。

7.如权利要求1所述的方法，其特征在于，所述一个或多个视图合成预测空间合并候选的部分组的冗余被检查，其中，与另一视图合成预测合并候选相同的任何冗余视图合成预测合并候选从所述合并候选列表中被移除。

8.如权利要求1所述的方法，其特征在于，所述一个或多个视图合成预测空间合并候选的全部组的冗余被检查，其中，与另一视图合成预测合并候选相同的任何冗余视图合成预测合并候选从所述合并候选列表中被移除。

9.如权利要求1所述的方法，其特征在于，如果一个视图合成预测空间合并候选位于包含所述当前纹理编码单元编码单元的当前最大编码单元行的边界上方，所述一个视图合成预测空间合并候选被排除成为一个视图合成预测空间合并候选。

10.如权利要求9所述的方法，其特征在于，位于所述当前最大编码单元行的所述边界上方的所述一个视图合成预测空间合并候选被当做通用视差补偿预测候选，所述通用视差补偿预测候选使用相关的被存储用于视图合成预测已编码块的视差向量以及参考索引。

11.如权利要求1所述的方法，其特征在于，如果一个视图合成预测空间合并候选位于包含所述当前纹理编码单元编码单元的当前最大编码单元的外部，所述一个视图合成预测空间合并候选被排除成为一个视图合成预测空间合并候选。

12.如权利要求11所述的方法，其特征在于，所述当前最大编码单元外部的所述一个视图合成预测空间合并候选被当做通用视差补偿预测候选，所述通用视差补偿预测候选使用相关的被存储用于视图合成预测已编码块的视差向量以及参考索引。

13.一种视频编码装置，用于三维或多视图视频编码或解码***，其特征在于，所述三维或多视图视频编码或解码***使用具有合并候选列表的视图合成预测模式以及合并模式的编码工具，所述装置包括一个或多个被配置如下的电子电路：

接收与附属视图中当前纹理编码单元编码单元相关联的输入数据；

使用已导出视差向量来获取对应于所述当前纹理编码单元编码单元的参考视图中的参考深度块；

基于所述参考深度块产生用于所述当前编码单元中当前预测单元的第一视图合成预测数据；

基于所述参考深度块产生用于与所述一个或多个视图合成预测空间合并候选相关联的一个或多个视图合成预测已编码空间相邻预测单元的第二视图合成预测数据；以及

如果所述视图合成预测模式被使用，则使用所述第一视图合成预测数据编码或解码所述当前预测单元，或如果所述合并模式与所选择的所述视图合成预测合并候选被使用，则编码或解码所述当前预测单元作为所述第二视图合成预测数据。

14.如权利要求13所述的装置，其特征在于，所述已导出视差向量对应于从所述当前纹理编码单元编码单元的一个或多个相邻块导出的已选择视差向量。

15.如权利要求13所述的装置，其特征在于，已选择视差向量是从所述当前纹理编码单元编码单元的一个或多个相邻块导出，以及所述已导出视差向量是由将所述已选择视差向量指向的所述参考视图中的已选择深度数据转换为所述已导出视差向量来导出的。

16.如权利要求13所述的装置，其特征在于，所述产生用于所述当前预测单元的所述第一视图合成预测数据是根据从所述参考深度块转换的视差导出对应于所述当前预测单元的视图间参考图片中的第一参考纹理数据来产生所述第一视图合成预测数据。

17.如权利要求13所述的装置，其特征在于，用于所述视图合成预测已编码空间相邻的所述第二视图合成预测数据是根据从所述参考深度块转换的视差导出对应于所述当前预测单元的视图间参考图片中的第二参考纹理数据以产生所述第二视图合成预测数据。

18.如权利要求13所述的装置，其特征在于，用于所述视图合成预测已编码空间相邻的所述第二视图合成预测数据是根据从所述参考深度块转换的视差导出对应于所述当前预测单元的视图间参考图片中的第二参考纹理数据以产生所述第二视图合成预测数据。

19.如权利要求13所述的装置，其特征在于，所述一个或多个视图合成预测空间合并候选的部分组的冗余被检查，其中，与另一视图合成预测合并候选相同的任何冗余视图合成预测合并候选从所述合并候选列表中被移除。

20.如权利要求13所述的装置，其特征在于，所述一个或多个视图合成预测空间合并候选的全部组的冗余被检查，其中，与另一视图合成预测合并候选相同的任何冗余视图合成预测合并候选从所述合并候选列表中被移除。

21.如权利要求13所述的装置，其特征在于，如果一个视图合成预测空间合并候选位于包含所述当前纹理编码单元编码单元的当前最大编码单元行的边界上方或者位于所述当前最大编码单元外部，所述一个视图合成预测空间合并候选被排除成为一个视图合成预测空间合并候选中。

22.如权利要求21所述的装置，其特征在于，位于所述当前最大编码单元行的所述边界上方或所述当前最大编码单元外部的所述一个视图合成预测空间合并候选被当做通用视差补偿预测候选，所述通用视差补偿预测候选使用相关的被存储用于视图合成预测已编码块的视差向量以及参考索引。