CN105432084B - 用于三维视频编码的参考视图选择的方法 - Google Patents

Abstract

本发明揭露了一种导出具有已对齐视图间参考图片的VSP合并候选的方法。该方法使用由当前块的NBDV导出的已缩放DV产生第二DV。本发明也揭露了导出具有已对齐DV以及相关的视图间参考图片的一个或多个视图间DV合并候选的方法。由从DoNBDV导出的DV指向的视图间参考图片被用作为参考图片，且从DoNBDV导出的DV被用作为用于视图间DV合并候选的DV。此外，本发明揭露了一种导出用于NBDV的时间DV的方法，其中，如果时间相邻块具有DV存在，只有当相关的视图间参考图片存在于当前CU的参考列表时，此DV被用作为用于当前CU的可用的DV。

Description

用于三维视频编码的参考视图选择的方法

【相关申请的交叉引用】

本发明主张申请于2013年7月19日，序列号为PCT/CN2013/079715，标题为“Reference View Selection for 3D Video Coding”的PCT专利申请的优先权。将此PCT专利申请以参考的方式并入本文中。

【技术领域】

本发明涉及三维(three-dimensional，3D)视频编码。特别地，本发明涉及与各种三维编码工具相关联的视差向量(disparity vector，DV)以及参考图片导出(referencepicture derivation)。

【背景技术】

3D视频编码被开发以用于传送由多个相机同时捕获的多个视图的视频数据。因为相机从不同的视点捕获相同的场景，所以多视图视频数据包含大量视图间冗余。为了利用视图间冗余，各种使用视差向量(disparity vector，DV)的编码工具被集成到下述现有的3D高效视频编码(3D-High Efficiency Video Coding，3D-HEVC)或3D高级视频编码(3D-Advanced Video Coding，3D-AVC)编解码器中。

视差补偿预测(Disparity-Compensated Prediction，DCP)

为了共享参考视图先前被编码的纹理信息，DCP的公知技术被增加以作为运动补偿预测(motion-compensated prediction，MCP)的替代。如图1所示，MCP是关于使用不同访问单元(即，不同时间)的相同视图的已被编码图片的图片间预测(inter pictureprediction)，而DCP是关于使用相同访问单元中其他视图的已被编码图片的图片间预测。用于DCP的向量110被称为视差向量(disparity vector，DV)，其模拟用于MCP的运动向量(motion vector，MV)。图1显示了与MCP相关联的三个MV120、130以及140。此外，DCP块的DV还可由视差向量预测(disparity vector predictor，DVP)候选来预测，DVP候选是由也使用视图间参考图片的相邻块或时间对应块导出。

视图间运动预测(Inter-View Motion Prediction，IVMP)

为了共享参考视图的先前已编码运动信息，IVMP被使用。为了导出用于附属视图中当前块的候选运动参数，用于当前块的DV首先被导出，且接着，通过将DV增加到当前块的位置，参考视图中已编码图片中的预测块被定位。如果预测块是使用MCP来编码，相关的运动参数可用作当前视图中当前块的候选运动参数。已导出DV还可被直接用作当前预测单元(prediction unit，PU)的视图间DV合并候选。要注意，于当前标准草案中，当将已导出DV储存为视图间DV合并候选时，相关的参考索引涉及每个参考图片列表中第一视图间参考图片。因为由已导出DV指向的视图间参考图片可能与涉及每个参考图片列表中第一视图间参考图片的相关的参考索引不相同，所以这可能会引入已导出DV以及相关的参考图片之间的偏差(misalignment)。

视图间残差预测(Inter-View Residual Prediction，IVRP)

为了共享参考视图中先前已编码残差信息，当前块的残差信号可由参考视图中对应块的残差信号来预测。参考视图中的对应块是由一个DV来定位。

视图合成预测(View Synthesis Prediction，VSP)

VSP是一种用于移除来自不同视点的视频信号中的视图间冗余的技术，其中，合成信号被用作预测当前图片的参考。

于3D-HEVC测试模型，HTM-7.0中，存在一种程序来导出视差向量预测子，其也被称为相邻块视差向量(Neighboring Block Disparity Vector，NBDV)。接着，由NBDV导出的视差向量被用于获取参考视图的深度图像中的深度块。已获取的深度块当前PU相同的大小，且将被用于执行用于当前PU的后向扭曲(backward warping)。

此外，扭曲操作可被执行于子PU等级精度，例如2x2或4x4块。最大深度值被选择用于子PU块以转换为已转换DV(converted DV)，且用于扭曲子PU块中的所有像素。VSP仅被应用于纹理分量的编码。

于当前实施方式中，VSP预测被增加以作为新的合并候选以表示VSP预测的使用。于这样的方式下，VSP块可于跳过模式中被编码，且不需要传送任何残差，或具有已编码残差信息的合并块。于两种模式中，运动信息将从VSP候选中导出。

当图片作为B图片被编码，且当前块被表示为VSP预测时，下文的步骤被应用以确定VSP的预测方向。

-从NBDV获取已导出视差向量的视图索引refViewIdxNBDV；

-获取与具有视图索引refViewIdxNBDV的参考图片相关联的参考图片列表RefPicListNBDV(RefPicList0或RefPicList1)；

-检查具有视图索引refViewIdx的视图间参考图片的可用性，视图索引refViewIdx不等于参考图片列表中除RefPicListNBDV之外的refViewIdxNBDV；

○如果这样的不同视图间参考图片被找到，则应用双向VSP。来自视图索引refViewIdxNBDV的深度块被用作为当前块的深度信息(在纹理第一编码顺序的情况下)，且两个不同视图间参考图片(来自每个参考图片列表中的一个)经由后向扭曲过程被访问，且进一步加权以获得最终后向VSP预测子；以及

○否则，单向(uni-directional)VSP被应用到RefPicListNBDV以作为用于预测的参考图片列表。

当图片作为P图片被编码，且当前预测块使用VSP时，单向VSP被应用。要注意，当前3D-HEVC草案与软件HTM-7.0中的VSP过程是不同的。两个不同的VSP操作将被描述如下。

3D-HEVC工作草案中的VSP(HTM-7.0)

-VSP合并候选的导出过程：

○获取参考图片列表RefPicListX(RefPicList0或RefPicList1)其包括RefPicListX[refIdxLX]的ViewIdx等于refViewIdxNBDV的视图间参考图片。如果是，predFlagLXVSP被设置为1，mvLXVSP被设置为NBDV，且refIdxLXVSP被设置为refIdxLX；

○检查存在于RefPicListY(Y＝1-X)中的视图间参考图片RefPicListY[refIdxLY]是否具有不同于refViewIdxNBDV的ViewIdx。如果是，predFlagLYVSP被设置为1，mvLYVSP被设置为NBDV，且refIdxLYVSP被设置为refIdxLY。

-当VSP模式旗标是真(true)，用于帧间预测取样的解码过程：

对于X于从0到1的范围中：

○如果predFlagLXVSP等于1，RefPicListX[refIdxLX]中的一个或多个视图间参考图片经由后向扭曲过程被访问。

-视图合成预测过程：

对于X于从0到1的范围中：

○纹理图片是由RefPicListX[refIdxLX]被导出；以及

○接着，视差向量mvLX被用于获取当前CU中具有视图索引refViewIdxNBDV的参考视图的深度图像中的深度块。

HTM7.0中的VSP

-视图合成预测合并候选的导出过程：

○predFlagL0VSP被设置为1，且predFlagL1VSP被设置为0；

○如果存在RefPicList0中的视图间参考图片且参考图片RefPicList0(refIdxL0)是RefPicList0中的第一视图间参考图片，则mvL0VSP被设置为NBDV，且refIdxL0VSP被设置为refIdxL0；以及

○类似地，如果存在RefPicList1中的视图间参考图片且参考图片RefPicList1(refIdxL1)是RefPicList1中的第一视图间参考图片，则mvL1VSP被设置为NBDV，且refIdxL1VSP被设置为refIdxL1。

-当VSP模式旗标是真，用于帧间预测取样的解码过程：

○RefPicListX是第一参考图片列表，其包含视图间参考图片，refIdxLXVSP与RefPicListX中的第一视图间参考图片相关联，且接着，后向扭曲过程于此方向被执行；以及

○对于B条带(slice)，确定是否为B-VSP的附加测试被执行。附加测试检查列表RefPicListY(Y＝1-X)中的视图间参考图片具有的视图索引是否不同于RefPicListX[refIdxLXVSP]的ViewIdx。

-视图合成预测过程：

○RefPicListX为第一参考图片列表，其包含视图间参考图片，refIdxLXVSP与RefPicListX中第一视图间参考图片相关联，接着，视差向量mvLX被用于获取深度图像RefPicListX(refIdxLXVSP)中的深度块；以及

○当VSP模式旗标是真时，纹理图片的参考索引使用类似于用于帧间预测取样的解码过程的过程来导出。

DV是用于视图间运动预测3D视频编码的关键，因为视图间残差预测、DCP、VSP需要DV来指示视图间图片之间的对应。用于3D-HEVC(HTM-7.0)的当前测试模型的DV导出如下所述。

HTM-7.0中的DV导出

目前，除了用于DCP的DV，用于其它的编码工具的DV是使用NBDV或深度方向的相邻块视差向量(depth oriented neighboring block disparity vector，DoNBDV)被导出，如下所述。

NBDV

首先，如图2A所示，时间相邻块以下述的扫描顺序被定位于时间对应图片中：右下角块(right-bottom block，RB)，接着是对应块210的中心块(B_CTR)。当一个块被识别为具有DV时，检查过程将会被终止。要注意，于当前设计中，两个对应图片将被检查。从对应图片的时间相邻块中导出DV，每当时间相邻块被识别为具有DV，则此DV被直接用作为当前CU的已导出DV，而不管由此DV指向的视图间参考图片的视图索引的视图间参考图片是不是存在于当前CU的参考列表中。

如果时间相邻块中没有DV被找到，则当前块220的空间相邻块中将被以如图2B所示的所给出的顺序(A1，B1，B0，A0，B2)被检查。

如果DCP已编码块没有于上述空间以及时间相邻块中被找到，由空间相邻DV-MCP块获取的视差信息被使用。图3所示为DV-MCP块的示例，其运动从视图间参考图片中的对应块预测，其中，对应块的位置是根据视差向量来确定。于图3中，用于附属视图中当前块310的视图间参考图片的对应块320是根据视差向量330被确定。用于DV-MCP块的视差向量表示当前以及视图间参考图片之间的运动对应。

为了指示MCP块是否为DV-MCP已编码块，且为了保存以及用于视图间运动参数预测的视差向量，两个变量被增加以储存每个块的运动向量信息：

-dvMcpFlag，以及

-dvMcpDisparity(仅有水平分量被储存)。

当dvMcpFlag等于1时，dvMcpDisparity被设置为用于视图间运动参数预测的视差向量。于自适应运动向量预测(adaptive motion vector prediction，AMVP)以及合并候选列表建立过程中，仅对于由合并模式中视图间运动参数预测产生的候选，候选的dvMcpFlag被设置为1，而其他候选的dvMcpFlag被设置为0。要注意，如果DCP已编码块以及DV-MCP已编码块都没有于上述的空间以及时间相邻块中被找到，零向量可被用作默认视差向量。

DoNBDV

于DoNBDV方案中，NBDV被用于获取参考视图中的虚拟深度以导出精致的DV。具体来说，精致的DV是从虚拟深度块中最大值深度中被转换，虚拟深度块是由使用NBDV导出的DV来定位。

于HEVC中，用于表示块的运动参数的两个不同模式被指定。于被称为AMVP模式的第一模式中，运动假设的数量、参考索引、运动向量差别、以及指定已使用的运动向量预测子的指示(indication)被编码于比特流中。第二模式被称为合并模式。对于此模式，只有一个指示被编码，该指示表示用于块的一组运动参数。要注意，于3D-HEVC的当前设计中，在收集AMVP的运动假设的过程中，如果空间相邻块(spatial neighbor)的参考图片类型与当前PU(视图间或时间)的参考图片类型相同，且空间相邻块的参考图片的图片顺序计数(picture order count，POC)等于当前PU的参考图片的POC，空间相邻块的运动信息被直接用作当前PU的运动假设。

于现存的方案中，当参考视图是可选的类似于IBP(即，I-图片，B-图片以及P-图片)的结构，DV以及视图间参考图片之间的非对应(non-correspondence)可能会发生于以下的3D编码工具中：已导出DV被作为用于DCP、VSP以及AMVP的候选DV存储。于NBDV过程中，当从时间相邻块导出DV时，也会存在问题。因此，希望能开发出新的DV导出过程以及参考图片选择过程以克服这些问题。

【发明内容】

本发明揭露了一种根据本发明实施例的用于3D或多视图编码的导出具有已对齐视图间参考图片的双向VSP合并候选的方法。已导出DV首先被确定以用于当前块，其中，已导出DV位于第一参考列表中，且已导出DV指向具有第一视图索引的第一参考列表中的第一列表视图间参考图片。获取具有第二视图索引的第二参考列表中的第二列表视图间参考图片，其中，第二参考列表不同于第一参考列表，且第二视图索引不同于第一视图索引。当第二列表视图间参考图片存在时，指向第二列表视图间参考图片的第二DV被导出以作为双向VSP合并候选，其中，第二DV是根据DV转换过程基于已导出DV被导出。当前块使用包括双向VSP合并候选的双向合并候选被编码或解码，其中，双向VSP被允许。

DV转换过程可对应于DV缩放(DV scaling)或深度到DV转换(depth-to-DVconversion)。在DV缩放的情况下，第二DV基于已导出DV根据与第一视图索引以及第二视图索引相关联的视图顺序距离被导出。在深度到DV转换的情况下，第二DV是由从参考视图的深度块中选择的最大深度值转换的，其中，深度块是使用已导出DV被定位。已导出DV可使用NBDV过程被确定，其中，已导出DV是基于当前块的相邻块的视差向量被确定。已导出DV还可使用DoNBDV过程被确定，其中，第一DV使用NBDV过程被导出，第一DV用于访问参考视图的深度块，已转换DV是由从深度块中选择的最大深度值转换的，且已转换DV被用作为已导出DV。

本发明揭露了一种根据本发明实施例的用于3D或多视图编码的导出具有已对齐DV以及相关的视图间参考图片的一个或多个视图间DV合并候选的方法。已导出DV是基于DV导出过程被导出，其中，已导出DV位于第一参考列表中，且已导出DV指向具有第一视图索引的第一参考列表中的第一列表视图间参考图片。第一视图间DV合并候选通过使用已导出DV的视差值被导出，且视图间参考图片由已导出DV指向。当前块使用包括第一视图间DV合并候选的合并候选来编码或解码。已导出DV可使用NBDV或DoNBDV过程被导出。在当前块使用双向预测被编码时，具有第二视图索引的第二参考列表中的第二列表视图间参考图片被导出，其中，第二参考列表不同于第一参考列表。结合(combining)指向第一列表视图间参考图片的第一DV的指向第二列表视图间参考图片的第二DV被推导以作为第二视图间DV合并候选，其中，第二DV是基于已导出DV根据DV转换过程被导出。第二DV被包含在合并候选中。DV转换过程可以基于DV缩放或深度到DV转换。在另一实施例中，具有第二视图索引的第二参考列表中的第二列表视图间参考图片被导出，其中，第二参考列表不同于第一参考列表，且第二视图索引不同于第一视图索引。指向第二列表视图间参考图片的第二DV被导出以作为第二视图间DV合并候选，其中，第二DV是基于已导出DV根据DV转换过程被导出。第二DV被包含在合并候选中。DV转换过程可以基于DV缩放或深度到DV转换。

本发明揭露了一种导出用于NBDV的时间DV的方法。对应于当前块的时间参考图片中的一个或多个对应块被确定。对应块被搜索以用于可用的DV。执行关于可用的DV是否指向当前块的参考列表中的视图间参考图片的测试。如果是，可用的DV被指定为时间NBDV。当前块使用时间NBDV被编码或解码。

【附图说明】

图1所示为使用MCP以及DCP的三维编码***的示例。

图2A至2B所示为时间以及空间相邻块分别被用于NBDV过程的的示例。

图3所示为DV-MCP块的示例，其中，块的运动是从视图间参考图片中的对应块来预测。

图4所示为结合本发明实施例的导出具有已对齐DV以及相关的视图间参考图片的双向VSP合并候选的三维视频编码***的示范性流程图。

图5所示为结合本发明实施例的导出具有已对齐DV以及相关的视图间参考图片的一个或多个视图间DV合并候选的三维视频编码***的示范性流程图。

图6所示为结合本发明实施例的导出具有已对齐DV以及相关的视图间参考图片的用于NBDV的时间DV的三维视频编码***的示范性流程图。

【具体实施方式】

下文的描述是实施本发明的最佳预期模式。这种描述是为了说明本发明的一般原理，而不应被理解成对本发明的限制。本发明的范围可通过参考所附权利要求做最好的确定。

本发明的第一实施例使用单向候选导出视图间DV合并候选，以便视差向量以及视图间DV相关的参考图片总是被调整。根据已导出DV属于哪个预测列表，视图间DV合并候选的预测方向被决定。例如，如果已导出DV是ListX DV，则视图间DV合并候选的预测方向被设置为ListX单向预测(X＝0或1)。视图间DV合并候选的运动向量被设置为由任何DV导出算法(例如：NBDV、DoNBDV)导出的DV。此外，视图间DV合并候选的参考图片索引被设置为已导出DV的参考索引。以此方式，视差向量以及视图间DV相关的参考图片将被调整。

于第二实施例中，视图间DV合并候选被导出以用于双向候选。在此情况下，另一DV指向其它不同于由使用深度到DV转换或DV缩放导出的NBDV指向的视图间参考图片的视图间参考图片。根据第一实施例，首先应用单向候选导出以导出第一视图间DV合并候选。已导出DV被指定为列表X DV。接着，检查当前条带是否为B条带以及视图间参考图片RefPicAdditional是否存在于当前PU的参考图片列表Y(Y＝1-X)中的测试被执行，其中，当前PU具有的视图索引不同于由原始已导出DV(表示为refViewIdxOriginal)指向的参考图片的视图索引。如果视图间参考图片RefPicAdditional存在，视图间DV候选的预测方向被设置为双向预测；ListY(Y＝1–X)中视图间DV合并候选的视差向量从深度到DV转换或DV缩放被导出。当深度到DV转换被使用，目标参考图片被设置为由相关的深度块指向的视图间参考图片RefPicAdditional。相关的深度块可使用已导出DV从视图间参考深度图片中获取。当DV缩放被使用，视图间DV候选的预测方向被设置为双向预测。根据与视图间参考图片以及当前图片相关联的视图顺序距离，ListY(Y＝1–X)中视图间DV合并候选的视差向量通过DV缩放被导出。

VSP的细化

于本发明的第三实施例中，VSP被存储为单向合并候选如下：

-用于VSP合并候选的导出过程：

○VSP候选的预测方向根据已导出DV属于哪个预测列表被决定。例如，如果已导出DV是ListX DV，则视图间DV候选的预测方向被设置为ListX单向预测(X＝0或1)；且DV以及VSP候选的参考索引被设置为已导出DV以及其相关的参考索引。已导出DV可以是由DV导出算法(例如NBDV或DoNBDV)的任何方法导出的DV。

-当VSP候选被选择时，用于帧间预测样本的解码过程：

○RefPicListX是由VSP合并候选的预测方向决定，其中，如果预测方向为1，则X为0，且如果预测方向为2，则X为1。refIdxLXVSP被设置为refIdxLX，且接着VSP过程以此方向被执行。

○对于B条带，附加的过程被调用(invoked)以寻找RefPicListY(Y＝1-X)中的视图间参考图片，上述视图间参考图片的视图索引不等于由已导出DV指向的参考图片的视图索引。如果这样的视图间参考图片存在，VSP过程也于此方向被调用。ListX VSP以及ListYVSP被结合以形成双向预测VSP。

-视图合成预测过程：

○RefPicListX是由VSP合并候选的预测方向决定，其中，如果预测方向为1，则X为0，且如果预测方向为2，则X为1。接着，视差向量mvLX被用于获取RefPicListX(refIdxLX)的深度图像中的深度块。

○当VSP候选被选择时，用于VSP的纹理参考图片的参考索引使用类似于用于帧间预测样本的解码过程的过程来导出。

于本发明的第四实施例中，VSP被存储为双向合并候选，其中，另一DV指向不同于被由深度到DV转换或由DV缩放导出的NBDV指向的视图间参考图片的其它视图间参考图片。

用于双向合并候选的VSP过程如下所述。

-VSP合并候选的导出过程：

○VSP候选的预测方向根据已导出DV属于哪个预测列表被决定。例如，如果已导出DV是ListX DV，视图间DV候选的预测方向被设置为ListX单向预测(X＝0或1)。DV以及VSP候选的参考索引被设置为已导出DV以及其相关的参考索引。已导出DV可以是由任何DV导出算法(例如NBDV或DoNBDV)导出的DV。

○对于B条带，附加的过程被调用以寻找RefPicListY(Y＝1-X)中的视图间参考图片RefPicAdditional，视图间参考图片RefPicAdditional的视图索引不等于由已导出DV指向的参考图片的视图索引。如果这样的视图间参考图片存在，VSP候选的预测方向被设置为双向预测，ListY(Y＝1–X)中VSP候选的视差向量从深度到DV转换或DV缩放被导出。当深度到DV转换被使用，目标参考图片被设置为指向相关的深度块的视图间参考图片RefPicAdditional。相关的深度块可使用已导出DV从视图间参考深度图片中获取。当DV缩放被使用，视图间DV候选的预测方向被设置为双向预测。ListY(Y＝1–X)中视图间DV合并候选的视差向量根据与视图间参考图片以及当前图片相关联的视图顺序距离通过DV缩放被导出。

○VSP合并候选的VSP方向为X。

-当VSP模式旗标是真，用于帧间预测取样的解码过程如下所述：

对于X的范围是从0到1的情况：

○如果predFlagLXVSP等于1，RefPicListX[refIdxLX]的视图间参考图片是经由VSP过程被访问。

-视图合成预测过程：

对于X的范围是从0到1的情况：

○纹理图片是通过RefPicListX[refIdxLX]被导出；

○D为VSP方向的值，接着，视差向量mvLD被用于获取具有视图索引ViewIdx(RefPicListD[refIdxLD])的参考视图的深度图像中的深度块。

从时间相邻块导出的有效的DV

于第五实施例中，从对应图片的时间相邻块导出DV期间，如果一个时间相邻块被识别为具有DV，只有当存在具有由当前CU/PU的参考列表中存在的DV指向的视图间参考图片的视图索引的视图间参考图片时，DV可用作用于当前CU/PU的已导出DV。

导出用于AMVP的空间MVP的细化过程

于第六实施例中，导出用于AMVP的空间MVP的期间，将用到视图索引。例如，当空间相邻块的参考图片类型与当前PU(视图间或时间)的参考图片类型相同时，空间相邻块的参考图片的POC等于当前PU的参考图片的POC，且空间相邻块的参考图片的视图索引等于当前PU的参考图片的视图索引，空间相邻块的运动信息可直接被用作当前PU的候选MVP。

如先前所提到的，本发明试图克服与用于3D视频编码的现存的草案***相关联的各种问题。可以预料到对于结合本发明实施例的***能导致性能改进。结合上述所列的所有实施例的3D视频编码***的性能与基于HTM-7.0(高效视频编码，HEVC测试模型版本7.0)的现有***的性能的比较如表1所示。性能比较是基于第一列中列出的不同组的测试数据。用于视图1(视频1)以及视图2(视频2)的纹理图片的BD率差值被示出。BD率的负值意味着本发明具有更佳的性能。如表1所示，与现有的HTM-7.0相比较，用于视图2的BD率度量具有3.9％的性能改进。对于仅用于纹理视频的(视频/视频比特率)、总比特率(纹理比特率以及深度比特率)以及用于已编码以及合成视频(合成/总比特率)的总比特率的BD率度量也显示出微小的改进(0.6到1.1％)。处理时间(编码时间，解码时间以及渲染时间)是大致相同的。

表1

图4所示为结合本发明实施例的导出具有已对齐DV以及相关的视图间参考图片的双向VSP合并候选的三维视频编码***的示范性流程图。如步骤410所示，***接收与当前块相关联的输入数据。对于编码，输入数据对应于待编码的纹理数据。对于解码，输入数据对应于待解码的已编码纹理数据。输入数据可以从存储器(例如，计算机存储器，缓冲器(RAM或DRAM)或其它媒体)或处理器中得到。于步骤420中，确定用于当前块的已导出DV，其中，已导出DV位于第一参考列表中，且已导出DV指向第一参考列表中具有第一视图索引的第一列表视图间参考图片。于步骤430中，识别第二参考列表中具有第二视图索引的第二列表视图间参考图片，其中，第二参考列表不同于第一参考列表，且第二视图索引不同于第一视图索引。于步骤440中，当第二列表视图间参考图片存在时，导出指向第二列表视图间参考图片的第二DV以作为双向VSP合并候选，其中，第二DV是基于已导出DV根据DV转换过程被导出。于步骤450中，使用包括双向VSP合并候选的双向合并候选编码或解码当前块，其中，双向VSP是被允许的。

图5所示为结合本发明实施例的导出具有已对齐DV以及相关的视图间参考图片的一个或多个视图间DV合并候选的三维视频编码***的示范性流程图。于步骤510中，接收与附属视图中当前块相关联的输入数据。于步骤520中，基于DV导出过程确定已导出DV，其中，已导出DV位于第一参考列表中，且已导出DV指向第一参考列表中具有第一视图索引的第一列表视图间参考图片。于步骤530中，使用已导出DV的视差值以及由已导出DV指向的视图间参考图片导出第一视图间DV合并候选。于步骤540中，使用包括第一视图间DV合并候选的合并候选编码或解码当前块。

图6所示为结合本发明实施例的导出具有已对齐DV以及相关的视图间参考图片的用于NBDV的时间DV的三维视频编码***的示范性流程图。于步骤610中，接收与附属视图中当前块相关联的输入数据。于步骤620中，确定对应于当前块的时间参考图片的一个或多个对应块。于步骤630中，从所述一个或多个对应块中搜寻可用的DV。于步骤640中，确定可用的DV是否指向当前块的参考列表中的视图间参考图片。于步骤650中，如果所述可用的DV是否指向当前块的参考列表中的视图间参考图片的结果被确定，指定可用的DV为时间NBDV。于步骤660中，使用时间NBDV编码或解码当前块。

根据本发明，以上所示的流程图旨在示出3D编码中DV以及参考图片选择的示例。本领域技术人员可以在不脱离本发明的精神实质的情况下修改每个步骤，重新排列所述步骤，分割步骤，或合并步骤来实施本发明。

以上描述可使本领域的普通技术人员如特定应用及其要求的上下文提供的来实践本发明。对本领域技术人员来说，对所描述的实施例的各种修改是显而易见的，且本文定义的一般原理可被应用于其它实施例。因此，本发明并非意在限定于以上所示及所描述的特定实施例，而是要符合与此公开揭露的原理和新颖特征相一致的最宽范围。在以上详细描述中，各种具体细节被示出以便提供本发明的彻底理解。然而，本领域技术人员应知晓本发明是可被实践的。

如上所述，本发明的实施例可以由各种硬件，软件代码，或两者的组合来实现。例如，本发明的实施例可以是被集成到视频压缩芯片电路，或被集成于视频压缩软件的程序代码以执行本文所描述的处理过程。本发明的实施例还可以是执行于数字信号处理器上的程序代码，以执行本文所描述的处理过程。本发明还可包含由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列执行的多个功能。根据本发明，通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为执行特定任务。软件代码或固件代码可被开发为不同的编程语言以及不同的格式或风格。软件代码还可被编译以用于不同的目标平台。然而，根据本发明的不同的软件代码的代码格式、风格及语言，以及用于配置代码以执行任务的其他方式，均不会背离本发明的精神以及范围。

在不脱离其精神或本质特征的情况下，本发明可以其它特定形式来体现。所描述的示例在所考虑的所有的方面都只是说明性的而不是限制性的。因此，本发明的范围是由其所附的权利要求来指示的，而不是由上文的描述来指示的。在权利要求的等效范围及含义内的所有改变均包含于本发明范围之内。

Claims (9)

1.一种使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述方法包括：

接收与附属视图中当前块相关联的输入数据；

基于视差向量导出过程确定用于所述当前块的已导出视差向量，其中，所述已导出视差向量位于第一参考列表，以及所述已导出视差向量指向所述第一参考列表中具有第一视图索引的第一列表视图间参考图片；

使用所述已导出视差向量的视差值以及由所述已导出视差向量指向的所述第一列表视图间参考图片导出第一视图间视差向量合并候选；以及

使用包括所述第一视图间视差向量合并候选的合并候选编码或解码所述当前块；其中，

当所述当前块使用双向预测被编码时，识别第二参考列表中具有第二视图索引的第二列表视图间参考图片，其中，所述第二参考列表不同于所述第一参考列表；

导出指向所述第二列表视图间参考图片的第二视差向量以作为第二视图间视差向量合并候选，其中，所述第二视差向量基于所述已导出视差向量根据视差向量转换过程被导出；以及，所述合并候选还包括所述第二视图间视差向量合并候选。

2.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述视差向量导出过程对应于相邻块视差向量过程，其中，所述已导出视差向量基于所述当前块的相邻块的视差向量被确定。

3.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述视差向量导出过程对应于深度方向的相邻块视差向量过程，其中，所述已导出视差向量使用深度方向的相邻块视差向量过程被确定，其中，相邻块视差向量过程被用于从所述当前块的相邻块的视差向量导出第一视差向量，所述第一视差向量被用于访问参考视图的深度块，已转换视差向量是由从所述深度块选择的最大深度值转换的，以及所述已转换视差向量被提供以作为所述深度方向的相邻块视差向量过程的输出。

4.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述已导出视差向量被存储为单向视图间视差向量候选。

5.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述第二视图索引不同于所述第一视图索引。

6.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述第二视差向量被存储双向视图间视差向量候选。

7.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述视差向量转换过程对应于视差向量缩放，其中，所述第二视差向量基于所述已导出视差向量根据与所述第一视图索引以及所述第二视图索引相关联的视图顺序距离被导出。

8.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，所述视差向量转换过程对应于深度到视差向量转换，其中，所述第二视差向量是由从参考视图中深度块选择的最大深度值转换的，其中，所述深度块使用所述已导出视差向量被定位。

9.如权利要求1所述的使用视图间视差向量合并候选的三维或多视图编码***的方法，其特征在于，还包括：于所述视差向量导出过程中，当对应于所述当前块的时间参考图片中的对应块的可用的视差向量存在,如果可用的视差向量指向所述当前块的参考列表中的视图间参考图片，则指定所述可用的视差向量为时间NBDV，且使用所述时间NBDV编码或解码所述当前块。