CN104782126A - 用于对多视点图像进行编码/解码的设备和方法 - Google Patents

Abstract

公开了一种用于对多视点图像进行编码/解码的***。根据一个实施例的***可包括用于对多视点图像进行编码的设备以及用于对多视点图像进行解码的设备。用于对多视点图像进行编码的设备可从多个候选运动矢量确定最适合于当前块的预测运动矢量，并将被确定的预测运动矢量的索引发送给用于对多视点图像进行解码的设备。

Description

用于对多视点图像进行编码/解码的设备和方法

技术领域

以下描述涉及一种用于对多视点图像进行编码的多视点图像编码设备和方法，以及一种用于对编码的多视点图像进行解码的多视点图像解码设备和方法。

背景技术

立体视觉图像是指在提供图像信息的同时一并提供关于深度和空间的形状信息的三维(3D)图像。与简单地将不同视点的图像分别提供给用户的左眼和右眼的立体图像不同，立体视觉图像看上去就像随着用户改变用户的观看点而从不同方向被看到一样。因此，从不同视点拍摄的图像被用于创建立体视觉图像。

由于在多个视点拍摄的图像具有大量数据，因此考虑到网络基础设施和地面带宽，使用诸如MPEG-2、H.264/AVC和高效视频编码(HEVC)的单视点视频编码方法对拍摄的图像进行编码几乎不可行。

因此，为了更有效地对从不同视点拍摄的图像进行编码，需要适用于多视点图像的编码方法。然而，由于网络基础设施和地面带宽的限制，多视点视频压缩方法将被更有效地增强。

发明内容

根据实施例的一种多视点图像编码方法可包括：识别与第一视点图像内的当前块的编码相关联的运动矢量候选；基于识别出的运动矢量候选来确定将用于对当前块进行编码的预测运动矢量；通过比特流将预测运动矢量的索引发送给多视点图像解码设备。

根据实施例的一种多视点图像解码方法可包括：从接收自多视点图像编码设备的比特流提取预测运动矢量的索引；基于预测运动矢量的索引来确定将被解码的第一视点图像内的当前块的最终运动矢量。

根据实施例的一种多视点图像编码设备可包括：运动矢量候选识别器，被配置为识别与第一视点图像内的当前块的编码相关联的运动矢量候选；预测运动矢量确定器，被配置为基于识别出的运动矢量候选来确定将用于对当前块进行编码的预测运动矢量；比特流发送器，被配置为通过比特流将预测运动矢量的索引发送给多视点图像解码设备。

根据实施例的一种多视点图像解码设备可包括：索引提取器，被配置为从接收自多视点图像编码设备的比特流提取预测运动矢量的索引；最终运动矢量确定器，被配置为基于预测运动矢量的索引来确定将被解码的第一视点图像内的当前块的最终运动矢量。

附图说明

图1是用于描述根据实施例的多视点图像编码设备和多视点图像解码设备的操作的框图。

图2是示出根据实施例的多视点图像编码设备的框图。

图3是示出根据实施例的多视点图像解码设备的框图。

图4示出根据实施例的多视点图像的结构。

图5示出根据实施例的用于对当前块进行编码的参考图像。

图6示出根据实施例的用于对多视点图像进行编码的编码模式。

图7示出根据实施例的使用视差矢量来识别视点间候选矢量的处理。

图8示出根据实施例的产生视差矢量的处理。

图9是示出根据实施例的对多视点图像进行编码的方法的流程图。

图10是示出根据实施例的对多视点图像进行解码的方法的流程图。

具体实施方式

在下文中，将参照附图描述实施例。提供以下用于功能描述的具体结构来简单描述实施例，并因此不应将本发明的范围解释为限于实施例。可由多视点图像编码设备来执行根据实施例的多视点图像编码方法，可由多视点图像解码设备来执行多视点图像解码方法。相同的参考标号指示相同的组成元件。

在描述实施例之前，实施例或权利要求中所公开的术语可被如下定义：

(1)当前块：当前块表示在多视点图像中所包括的任意一个视点的图像中的将被编码或解码的块。

(2)第一视点图像：第一视点图像表示在多视点图像中所包括的视点图像之中的包括当前块的视点图像。在实施例中，第一视点图像具有与当前视点图像相同的含义。

(3)第二视点图像：第二视点图像是指在第一视点图像之前被编码或解码的视点图像，并表示与第一视点图像的视点不同的视点的视点图像。

(4)相应块：相应块表示第二视点图像内与当前块相应的块。

(5)共同定位块：共同定位块表示这样的视点图像的帧内与当前块位于相同位置的块：所述视点图像的帧在当前视点图像之前被编码或解码并具有与当前视点图像的视点相同的视点。

图1是用于描述根据实施例的多视点图像编码设备和多视点图像解码设备的操作的框图。

根据实施例的多视点图像编码设备110可对多视点图像进行编码，可以以比特流的形式产生编码数据，并可将比特流发送给多视点图像解码设备120。多视点图像可包括在多个视点处拍摄的图像。多视点图像具有在时间上连续的图像之间存在的时间冗余以及在不同视点的图像之间存在的视点间冗余。多视点图像编码设备110可在基于块的编码处理期间确定能够使针对每个块的编码效率最优化的运动矢量，这可使得图像之间的冗余减少。

多视点图像编码设备110可以以多种编码模式对多视点图像进行编码。多视点图像编码设备110可使用表示与将被编码的当前块最相似的预测块的预测运动矢量，对当前块进行编码。多视点图像编码设备110可在对多视点图像进行编码的处理期间在最大程度上去除图像之间的冗余，从而使用更小的数据量来表示编码的多视点图像。多视点图像编码设备110可使用基于块的帧内、帧间或视点间预测方法来去除图像之间的冗余。

多视点图像编码设备110可在当前块中识别多个运动矢量候选，并可在运动矢量候选之中确定能够使当前块的编码效率最优化的预测运动矢量。多视点图像编码设备110可通过比特流将确定的预测运动矢量的索引发送给多视点图像解码设备120。

例如，多视点图像编码设备110可在与包括将被编码的当前块的视点图像不同的视点的图像中，发现与当前块最相似的预测块。可选地，多视点图像编码设备110可在包括当前块的视点图像之前被编码的视点图像的帧中，发现与当前块最相似的预测块。多视点图像编码设备110可使用预测运动矢量的索引来表示指示当前块和预测块之间的关系的预测运动矢量，并可将关于预测运动矢量的索引的信息发送给多视点图像解码设备120。

多视点图像解码设备120可以以比特流的形式从多视点图像编码设备110接收编码的多视点图像。此外，多视点图像解码设备120可从所述比特流提取将用于解码处理的预测运动矢量的索引。多视点图像解码设备120可从预测运动矢量的索引识别预测运动矢量。多视点图像解码设备120可按照应用于多视点图像的编码处理的编码模式，基于预测运动矢量确定最终运动矢量。

图2是示出根据实施例的多视点图像编码设备的框图。

参照图2，多视点图像编码设备210包括运动矢量候选识别器230、预测运动矢量确定器240和比特流发送器250。

运动矢量候选识别器230可识别与对第一视点图像内的当前块的编码相关联的运动矢量候选。运动矢量候选识别器230可识别空间候选矢量、时间候选矢量、视点间候选矢量或视差候选矢量。

空间候选矢量表示与将被编码的当前块邻近的邻近块的运动矢量。运动矢量候选识别器230可验证与当前块邻近的邻近块是否具有运动矢量，并可将邻近块的运动矢量作为空间候选矢量包括在运动矢量候选中。例如，运动矢量候选识别器230可验证当前块的左侧块、当前块的上端块、当前块的左上端块或当前块的右上端块是否具有运动矢量。

时间候选矢量表示在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的运动矢量。例如，当假设当前块的中心位置为(x，y)时，共同定位块是指位于在时间上与第一视点图像不同的位置处的帧内的中心位置为(x，y)的块。在第一视点图像之前被编码的第一视点图像的帧是指位于在时间上与第一视点图像不同的位置处的帧，并表示具有与第一视点图像相同的视点的帧。

时间候选矢量可包括与共同定位块邻近的邻近块的运动矢量。例如，共同定位块的邻近块可包括共同定位块的左侧块、共同定位块的上端块、共同定位块的右上端块或共同定位块的左上端块。运动矢量候选识别器230可验证共同定位块或共同定位块的邻近块是否具有运动矢量，并可将共同定位块的运动矢量和与共同定位块邻近的邻近块的运动矢量作为时间候选矢量包括在运动矢量候选中。

视点间候选矢量表示在第二视点图像内与当前块相应的相应块的运动矢量。第二视点图像表示具有与第一视点图像不同的视点的视点图像。当在第二视点图像的相应块中存在运动矢量时，运动矢量候选识别器230可将相应运动矢量作为视点间候选矢量包括在运动矢量候选中。

运动矢量候选识别器230可使用视差矢量来识别存在还是不存在视点间候选矢量。例如，为了识别存在还是不存在视点间候选矢量，运动矢量候选识别器230可使用当前块的邻近块的视差矢量、在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、或与共同定位块邻近的邻近块的视差矢量。

根据实施例，运动矢量候选识别器230可使用第一视点间候选矢量和第二视点间候选矢量对视点间候选矢量进行分类，并从而可识别视点间候选矢量。当第一视点间候选矢量与第二视点间候选矢量相同时，运动矢量候选识别器230可仅将两个视点间候选矢量之一包括在运动矢量候选中。

例如，运动矢量候选识别器230可使用与当前块邻近的邻近块的视差矢量来识别第一视点间候选矢量。当在与当前块邻近的邻近块中不存在视差矢量时，运动矢量候选识别器230可基于以下视差矢量中的至少一个来识别存在还是不存在视点间候选矢量：在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、以及共同定位块的邻近块的视差矢量。运动矢量候选识别器230可基于以下视差矢量中的至少一个来识别第二视点间候选矢量：在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、以及共同定位块的邻近块的视差矢量。当在共同定位块和共同定位块的邻近块中不存在视差矢量时，运动矢量候选识别器230可基于与当前块邻近的邻近块的视差矢量来识别存在还是不存在视点间候选矢量。

作为另一示例，运动矢量候选识别器230可基于以下视差矢量中的至少一个来识别第一视点间候选矢量：在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、以及共同定位块的邻近块的视差矢量。当在共同定位块和与共同定位块邻近的邻近块中不存在视差矢量时，运动矢量候选识别器230可基于与当前块邻近的邻近块的视差矢量来识别存在还是不存在视点间候选矢量。运动矢量候选识别器230可基于与当前块邻近的邻近块的视差矢量来识别第二视点间候选矢量。当在与当前块邻近的邻近块中不存在视差矢量时，运动矢量候选识别器230可基于以下视差矢量中的至少一个来识别存在还是不存在视点间候选矢量：在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、以及共同定位块的邻近块的视差矢量。

根据另一实施例，当与当前块邻近的邻近块不具有视差矢量，但具有运动矢量时，运动矢量候选识别器230可确定与当前块邻近的邻近块的运动矢量是否基于视差矢量被获取。当邻近块的运动矢量被确定为基于视差矢量被获取时，运动矢量候选识别器230可基于相应视差矢量来识别存在还是不存在视点间候选矢量。当与当前块邻近的邻近块不具有视差矢量，但具有运动矢量时，运动矢量候选识别器230可计算识别视点间候选矢量的处理的复杂度。当所述复杂度大于预设阈值时，运动矢量候选识别器230可不将视点间候选矢量包括在运动矢量候选中。

此外，当共同定位块或与共同定位块邻近的邻近块不具有视差矢量，但具有运动矢量时，运动矢量候选识别器230可确定共同定位块或与共同定位块邻近的邻近块的运动矢量是否基于视差矢量被获取。如果共同定位块或与共同定位块邻近的邻近块的运动矢量被确定为基于视差矢量被获取时，运动矢量候选识别器230可基于相应视差矢量来识别存在还是不存在视点间候选矢量。当共同定位块或与共同定位块邻近的邻近块不具有视差矢量，但具有运动矢量时，运动矢量候选识别器230可计算识别视点间候选矢量的处理的复杂度。当所述复杂度大于预设阈值时，运动矢量候选识别器230可不将视点间候选矢量包括在运动矢量候选中。

当与当前块邻近的邻近块不具有视差矢量，但具有运动矢量时，运动矢量候选识别器230可确定邻近块的运动矢量是否基于视差矢量被获取。当邻近块的运动矢量被确定为基于视差矢量被获取时，运动矢量候选识别器230可基于相应视差矢量来识别存在还是不存在视点间候选矢量。

当视点间候选矢量不存在时，运动矢量候选识别器230可将零运动矢量确定为当前块的视差矢量，并可基于确定的当前块的视差矢量来识别存在还是不存在视点间候选矢量。例如，当视点间候选矢量不存在时，运动矢量候选识别器230可将当前块的视差矢量设置为零运动矢量，并可从不同视点的视点图像中识别与当前块相应的相应块的运动矢量。可选地，当视点间候选矢量不存在时，运动矢量候选识别器230可将零运动矢量确定为视点间候选矢量。

根据另一实施例，当与当前块邻近的邻近块、在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块、以及与共同定位块邻近的邻近块不具有视差矢量时，运动矢量候选识别器230可不将视点间候选矢量包括在运动矢量候选中。

根据另一实施例，当视点间候选矢量不存在时，运动矢量候选识别器230可不将视点间候选矢量包括在运动矢量候选中。

视差候选矢量表示用于发现在第二视点图像内与当前块相应的相应块的视差矢量。例如，视差候选矢量可包括与当前块邻近的邻近块的视差矢量、共同定位块的视差矢量或与共同定位块邻近的邻近块的视差矢量。运动矢量候选识别器230可识别存在还是不存在视差候选矢量，并可将用于发现在第二视点图像内的相应块的视差矢量作为视差候选矢量包括在运动矢量候选中。

例如，当用于当前块的视差矢量被发现时，运动矢量候选识别器230发现由发现的视差矢量指示的第二视点图像内的相应块，并可将相应块的运动矢量确定为视点间候选矢量。这里，运动矢量候选识别器230可识别用于发现第二视点图像内的相应块的视差矢量，并可将该视差矢量作为视差候选矢量包括在运动矢量候选中。

当使用第一视点间候选矢量和第二视点间候选矢量对视点间候选矢量进行分类，并从而识别视点间候选矢量时，运动矢量候选识别器230可识别与每个视点间候选矢量相关联的两个视差候选矢量。当识别的两个视差候选矢量相同时，运动矢量候选识别器230可仅将两个视差候选矢量之一包括在运动矢量候选中。

预测运动矢量确定器240可基于识别出的运动矢量候选来确定将用于对当前块进行编码的预测运动矢量。预测运动矢量确定器240可在运动矢量候选之中确定最有效的运动矢量候选。例如，预测运动矢量确定器240可确定当前块和由运动矢量候选中的每一个所指示的预测块之间的相似级别，并将与最相似于当前块的预测块相应的运动矢量候选确定为预测运动矢量。例如，预测运动矢量确定器240可识别使用最少量的比特来表示当前块和预测块之间的差的预测块，并可将与识别的预测块相应的运动矢量候选确定为预测运动矢量。

比特流发送器250可通过比特流将预测运动矢量的索引发送给多视点图像解码设备220。

当编码模式是融合模式或帧间模式时，比特流发送器250可通过比特流将在编码的当前块和由预测运动矢量指示的预测块之间的残差信号发送给多视点图像解码设备220。

根据实施例，残差信号在被编码之前可从在对第二视点图像进行编码时出现的残差信号被预测。视差矢量可用于对在第二视点图像中出现的残差信号进行预测。为了对在第二视点图像中出现的残差信号进行预测，可使用与当前块邻近的邻近块的视差矢量、共同定位块的视差矢量或与共同定位块邻近的邻近块的视差矢量。例如，可基于与当前块邻近的邻近块的视差矢量来预测在第二视点图像中出现的残差信号。当在与当前块邻近的邻近块中不存在视差矢量时，可使用共同定位块的视差矢量或与共同定位块邻近的邻近块的视差矢量。作为另一示例，可基于共同定位块的视差矢量或与共同定位块邻近的邻近块的视差矢量来预测在第二视点图像中出现的残差信号。当在共同定位块和与共同定位块邻近的邻近块中不存在视差矢量时，可使用与当前块邻近的邻近块的视差矢量。多视点图像编码设备210可基于视差矢量对在当前块的残差信号和识别出的第二视点图像中出现的残差信号之间的差信号进行编码。当预测块基于第二视点图像被预测时，多视点图像编码设备210可不对在第二视点图像中出现的残差信号进行预测。作为另一示例，当通过使用与第一视点图像和第二视点图像相同的视点的所有图像来对预测块进行预测时，多视点图像编码设备210可不对在第二视点图像中出现的残差信号进行预测。

图3是示出根据实施例的多视点图像解码设备的框图。

参照图3，多视点图像解码设备320可包括索引提取器330和最终运动矢量确定器340。

索引提取器330可从接收自多视点图像编码设备310的比特流提取预测运动矢量的索引。最终运动矢量确定器340可基于预测运动矢量的索引来确定第一视点图像内将被解码的当前块的最终运动矢量。例如，最终运动矢量确定器340可将预测运动矢量确定为最终运动矢量。根据另一实施例，最终运动矢量确定器340可基于预测运动矢量重新发现与当前块更相似的预测块，并可基于重新发现的预测块来确定最终运动矢量。

预测运动矢量可基于由多视点图像编码设备310识别的运动矢量候选被确定。运动矢量候选可包括视点间候选矢量、空间候选矢量、时间候选矢量和视差候选矢量中的至少一个。

空间候选矢量表示与将被解码的当前块邻近的邻近块的运动矢量。例如，空间候选矢量可包括当前块的左侧块的运动矢量、当前块的上端块的运动矢量、当前块的左上端块的运动矢量或当前块的右上端块的运动矢量。

时间候选矢量表示在第一视点图像之前被解码的第一视点图像的帧内与当前块位于相同位置的共同定位块的运动矢量。在第一视点图像之前被解码的第一视点图像的帧是指位于在时间上与第一视点图像不同的位置处的帧，并表示具有与第一视点图像相同的视点的帧。时间候选矢量可包括与共同定位块邻近的邻近块的运动矢量。

视点间候选矢量表示在第二视点图像内与将被解码的当前块相应的相应块的运动矢量。例如，视点间候选矢量可基于以下矢量被确定：与当前块邻近的邻近块的视差矢量、在第一视点图像之前被解码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、共同定位块的邻近块的视差矢量或零运动矢量。

视差候选矢量表示用于发现在第二视点图像内与当前块相应的相应块的视差矢量。例如，视差候选矢量可包括与当前块邻近的邻近块的视差矢量、共同定位块的视差矢量或与共同定位块邻近的邻近块的视差矢量。

图4示出根据实施例的多视点图像的结构。

图4示出用于根据实施例的当三个视点(例如，左视点、中心视点和右视点)的图像被接收时执行使用画面组(GOP)“8”的编码的多视点视频编码(MVC)方法。GOP表示从I帧开始的一组连续图像。

由于分层B画面或分层B帧的构思在多视点图像编码处理期间被用于时间轴和视点轴，因此可减少图像之间的冗余。

图1的多视点图像编码设备110可基于图4的多视点图像的结构依次对左图像(也被称为左画面(I视点))、右图像(也被称为右画面(P视点))和中心图像(也被称为中心画面(B视点))编码，并因此可对与三个视点相应的图像进行编码。在此示例中，多视点图像编码设备110可首先对右图像或中心图像进行编码，并可按照与上述顺序不同的顺序执行编码。

在对左图像进行编码的处理期间，可使用运动估计从先前图像中发现与左图像相似的区域，并且可使用关于发现的区域的信息来减少时间冗余。由于通过参考编码的左图像对将在左图像之后被编码的右图像进行编码，因此除了可使用运动估计减少时间冗余之外，还可使用视差估计减少视点间冗余。此外，由于使用通过参考所有的已经被编码的左图像和右图像的视差估计对中心图像进行编码，因此可减少视点间冗余。

参照图4，在多视点图像编码处理期间，可将在不使用不同视点的图像的情况下被编码的图像(例如，左图像)定义为I视点图像。可将通过对不同视点的图像进行单向预测而被编码的图像(例如，右图像)定义为P视点图像。可将通过对不同视点的图像进行双向预测而被编码的图像(例如，中心图像)定义为B视点图像。

图5示出根据实施例的用于对当前块进行编码的参考图像。

当对当前视点图像B 510中所包括的当前块进行编码时，多视点图像编码设备可将基于视点与当前视点图像B 510邻近的图像540和550，或基于时间与当前视点图像B 510邻近的图像520和530用作参考图像。例如，多视点图像编码设备可从图像520、530、540和550之中识别与当前块最相似的预测块，并可对当前块和预测块之间的残差信号(残差)进行编码。H.264/AVC可包括跳过模式(仅P条带)/直接模式(仅B条带)、16×16模式、16×8模式、8×16模式、P8×8模式等，作为用于使用参考图像发现预测块的编码模式。高效视频编码(HEVC)可包括融合(跳过/直接)模式、2N×2N模式、N×N模式、2N×N模式、N×2N模式等，作为用于使用参考图像发现预测块的编码模式。

在对当前块进行编码的处理期间，多视点图像编码设备可将基于时间与当前视点图像B 510邻近的图像520和530用作参考图像，以减少时间冗余。此外，为了减少视点间冗余，多视点图像编码设备可将基于视点与视点图像B 510邻近的图像540和550用作参考图像。多视点图像编码设备可使用图像520和530(即，Ref1图像和Ref2图像)来去除时间冗余，并可使用图像540和550(即，Ref3图像和Ref4图像)来去除视点间冗余。

图6示出根据实施例的用于对多视点图像进行编码的编码模式。

为了对编码单元块进行预测，多视点图像编码设备可将视点图像划分为多个块。划分后的块的尺寸可针对每个块是多样化的。多视点图像编码设备可将多种压缩模式(例如，融合模式、帧间模式(2N×2N、N×N、2N×N和N×2N)以及帧内模式)应用于划分的块。多视点图像编码设备可在编码模式中确定最适用于每个划分的块的编码模式，并可基于确定的编码模式对划分的块进行编码。

在压缩模式中的融合模式下，不对将被编码的块的运动信息进行编码。因此，对多视点图像进行编码且由此发送多视点图像所需的比特数量可减少。在多视点图像编码处理期间越频繁地选择融合模式，则编码性能将越被提高。

图7示出根据实施例的使用视差矢量识别视点间候选矢量的处理。

参照图7，多视点图像编码设备可针对第一视点图像710中的当前块730基于视差矢量740识别与当前块730的编码相关联的视点间候选矢量760。

例如，多视点图像编码设备可使用当前块730的邻近块、在第一视点图像710之前被编码的第一视点图像的帧内与当前块730位于相同位置的共同定位块的视差矢量、或与共同定位块邻近的邻近块的视差矢量740。多视点图像编码设备可将由视差矢量740指示的第二视点图像720内的相应块的运动矢量750确定为视点间候选矢量760。

根据另一实施例，多视点图像编码设备可将零运动矢量确定为当前块730的视差矢量740，可基于零运动矢量的视差矢量740来识别第二视点图像720内与当前块730相应的相应块的运动矢量750，并可将识别出的运动矢量750确定为视点间候选矢量760。

根据另一实施例，当与当前块730邻近的邻近块不具有视差矢量，但具有运动矢量，并且邻近块的运动矢量基于视差矢量被获取时，多视点图像编码设备可基于相应视差矢量740来识别存在还是不存在视点间候选矢量760。当共同定位块或与共同定位块邻近的邻近块不具有视差矢量，但具有运动矢量，并且共同定位块或与共同定位块邻近的邻近块的运动矢量基于视差矢量被获取时，多视点图像编码设备可基于相应视差矢量740来识别存在还是不存在视点间候选矢量760。

图8示出根据实施例的产生视差矢量的处理。

参照图8，(a)描述当多视点图像编码设备将识别视点间候选矢量时，使用当前块810的邻近块820来产生视差矢量的处理。在(a)中，与当前块810邻近的邻近块820的运动矢量可与空间候选矢量相应。多视点图像编码设备可基于与当前块810邻近的邻近块820的视差矢量，将第二视点图像内的相应块的运动矢量识别为视点间候选矢量的运动矢量。

(b)描述当多视点图像编码设备将识别视点间候选矢量时，使用在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块830或与共同定位块830邻近的邻近块840，来产生视差矢量的处理。在(b)中，共同定位块830的运动矢量和与共同定位块830邻近的邻近块840的运动矢量可与时间候选矢量相应。多视点图像编码设备可基于共同定位块830的视差矢量或与共同定位块830邻近的邻近块840的视差矢量，将第二视点图像内的相应块的运动矢量识别为视点间候选矢量的运动矢量。

图9是示出根据实施例的对多视点图像进行编码的方法的流程图。

在操作910，多视点图像编码设备可识别与第一视点图像内的当前块的编码相关联的运动矢量候选。多视点图像编码设备可识别空间候选矢量、时间候选矢量、视点间候选矢量或视差候选矢量。

多视点图像编码设备可识别与当前块邻近的邻近块是否具有运动矢量，并可将邻近块的运动矢量作为空间候选矢量包括在运动矢量中。多视点图像编码设备可识别共同定位块或与共同定位块邻近的邻近块是否具有运动矢量，并可将共同定位块的运动矢量和与共同定位块邻近的邻近块的运动矢量作为时间候选矢量包括在运动矢量候选中。

当第二视点图像的相应块中存在运动矢量时，多视点图像编码设备可将相应运动矢量作为视点间候选矢量包括在运动矢量候选中。多视点图像编码设备可使用视差矢量来识别存在还是不存在视点间候选矢量。为了识别存在还是不存在视点间候选矢量，多视点图像编码设备可使用与当前块邻近的邻近块的视差矢量、在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、共同定位块的邻近块的视差矢量或零运动矢量。

根据实施例，多视点图像编码设备可使用第一视点间候选矢量和第二视点间候选矢量对视点间候选矢量进行分类，并从而可识别视点间候选矢量。当第一视点间候选矢量与第二视点间候选矢量相同时，多视点图像编码设备可仅将两个视点间候选矢量之一包括在运动矢量候选中。

根据另一实施例，当多视点候选矢量不存在时，多视点图像编码设备可将零运动矢量确定为当前块的视差矢量，并可基于确定的当前块的视差矢量识别存在还是不存在视点间候选矢量。根据另一实施例，当视点间候选矢量不存在时，多视点图像编码设备可不将视点间候选矢量包括在运动矢量候选中。

多视点图像编码设备可识别存在还是不存在视差候选矢量，并可将用于发现第二视点图像内的相应块的视差矢量作为视差候选矢量包括在运动矢量候选中。

在操作920，多视点图像编码设备可基于识别的运动矢量候选来确定将用于对当前块进行编码的预测运动矢量。多视点图像编码设备可在运动矢量候选之中确定最有效的运动矢量候选。

在操作930，多视点图像编码设备可通过比特流将预测运动矢量的索引发送给多视点图像解码设备。

图10是根据实施例的对多视点图像进行解码的方法的流程图。

在操作1010，多视点图像解码设备可从接收自多视点图像编码设备的比特流提取预测运动矢量的索引。预测运动矢量可基于由多视点图像编码设备识别的运动矢量候选被确定。运动矢量候选可包括视点间候选矢量、空间候选矢量、时间候选矢量和视差候选矢量中的至少一个。

空间候选矢量表示与将被解码的当前块邻近的邻近块的运动矢量。时间候选矢量表示在第一视点图像之前被解码的第一视点图像的帧内与当前块位于相同位置的共同定位块的运动矢量。在第一视点图像之前被解码的第一视点图像的帧是指位于在时间上与第一视点图像不同的位置处的帧，并表示具有与第一视点图像相同的视点的帧。时间候选矢量可包括与共同定位块邻近的邻近块的运动矢量。

视点间候选矢量表示第二视点图像内与将被解码的当前块相应的相应块的运动矢量。视点间候选矢量可基于以下矢量中的至少一个被确定：与当前块邻近的邻近块的视差矢量、在第一视点图像之前被解码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、共同定位块的邻近块的视差矢量和零运动矢量。

视差候选矢量表示用于发现第二视点图像内与当前块相应的相应块的视差矢量。例如，视差候选矢量可包括与当前块邻近的邻近块的视差矢量、共同定位块的视差矢量或与共同定位块邻近的邻近块的视差矢量。

在操作1020，多视点图像解码设备可基于预测运动矢量的索引来确定第一视点图像内将被解码的当前块的最终运动矢量。例如，多视点图像解码设备可将预测运动矢量确定为最终运动矢量。根据另一实施例，多视点图像解码设备可基于预测运动矢量重新发现与当前块更相似的预测块，并可基于重新发现的预测块来确定最终运动矢量。当最终运动矢量被确定时，多视点图像解码设备可基于由最终运动矢量指示的最终预测块来恢复当前块。

上述根据示例实施例的方法可以以程序指令的形式被构造，其中，所述程序指令可通过各种计算机***来执行并由此被记录在非暂时性计算机可读介质中。所述非暂时性计算机可读介质还可单独地或与程序指令相结合地包括数据文件、数据结构等。在介质上记录的程序指令可以是针对示例实施例的目的而被专门设计和构造的程序指令，或程序指令可以是对于计算机软件领域中的技术人员所公知和可用的程序指令。非暂时性计算机可读介质的示例包括磁介质(诸如硬盘、软件和磁带)、光介质(诸如CD ROM盘和DVD)、磁光介质(诸如软光盘)和被专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)和可由计算机使用解释器来执行的高级语言代码两者。上述硬件装置可被配置为充当一个或更多个软件模块，以便执行上述示例实施例的操作，或者反之亦然。

虽然已参照一些实施例和附图示出并描述了示例实施例，但是本领域技术人员将理解，可在前述描述中进行各种改变和修改。例如，即使前述技术按照与前述方法不同的顺序执行，和/或前述***、结构、设备、电路等的组成元件按照与前述方法不同的形式被连接或组合，或者用其它组成元件或它们的等同物来替换或取代，都可实现适当的结果。

因此，其它配置、其它实施例、权利要求和等同物属于权利要求的范围。

Claims (21)

1.一种多视点图像编码方法，包括：

识别与第一视点图像内的当前块的编码相关联的运动矢量候选；

基于识别出的运动矢量候选来确定将用于对当前块进行编码的预测运动矢量；

通过比特流将预测运动矢量的索引发送到多视点图像解码设备，

其中，识别运动矢量候选的步骤包括：识别存在还是不存在视点间候选矢量，其中，视点间候选矢量表示在第二视点图像内与当前块相应的相应块的运动矢量。

2.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：基于与当前块邻近的邻近块的视差矢量来识别存在还是不存在视点间候选矢量。

3.如权利要求2所述的方法，其中，识别运动矢量候选的步骤包括：当在与当前块邻近的邻近块中不存在视差矢量时，基于以下视差矢量中的至少一个来识别存在还是不存在视点间候选矢量：在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、共同定位块的邻近块的视差矢量。

4.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：基于以下视差矢量中的至少一个来识别存在还是不存在视点间候选矢量：在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、共同定位块的邻近块的视差矢量。

5.如权利要求4所述的方法，其中，识别运动矢量候选的步骤包括：当共同定位块的视差矢量和与共同定位块邻近的邻近块的视差矢量不存在时，基于与当前块邻近的邻近块的视差矢量来识别存在还是不存在视点间候选矢量。

6.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：当视点间候选矢量不存在时，将零运动矢量确定为当前块的视差矢量，并基于确定的视差矢量来识别存在还是不存在视点间候选矢量。

7.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：当视点间候选矢量不存在时，将零运动矢量确定为视点间候选矢量。

8.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：识别存在还是不存在空间候选矢量，其中，空间候选矢量表示与当前块邻近的邻近块的运动矢量。

9.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：识别存在还是不存在时间候选矢量，其中，时间候选矢量表示在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块的运动矢量、以及与共同定位块邻近的邻近块的运动矢量。

10.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：识别存在还是不存在视差候选矢量，其中，视差候选矢量表示用于发现第二视点图像内与当前块相应的相应块的视差矢量。

11.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：当与当前块邻近的邻近块、在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块、以及与共同定位块邻近的邻近块不具有视差矢量时，不将视点间候选矢量包括在运动矢量候选中。

12.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：

当与当前块邻近的邻近块不具有视差矢量，但具有运动矢量时，确定与当前块邻近的邻近块的运动矢量是否是基于视差矢量被获取的；

当邻近块的运动矢量被确定为是基于视差矢量被获取的时，基于该视差矢量来识别存在还是不存在视点间候选矢量。

13.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：

当在第一视点图像之前被编码的第一视点图像的帧内与当前块位于相同位置的共同定位块不具有视差矢量，但具有运动矢量时，确定共同定位块的运动矢量是否是基于视差矢量被获取的；

当共同定位块的运动矢量被确定为是基于视差矢量被获取的时，基于该视差矢量来识别存在还是不存在视点间候选矢量。

14.如权利要求1所述的方法，其中，识别运动矢量候选的步骤包括：当视点间候选矢量不存在时，不将视点间候选矢量包括在运动矢量候选中。

15.一种多视点图像解码方法，包括：

从接收自多视点图像编码设备的比特流提取预测运动矢量的索引；

基于预测运动矢量的索引来确定第一视点图像内将被解码的当前块的最终运动矢量，

其中，基于由多视点图像编码设备识别的运动矢量候选，预测运动矢量被确定，

运动矢量候选包括视点间候选矢量、空间候选矢量、时间候选矢量和视差候选矢量中的至少一个。

16.如权利要求15所述的方法，其中，视点间候选矢量表示第二视点图像内与当前块相应的相应块的运动矢量。

17.如权利要求16所述的方法，其中，视点间候选矢量是基于以下视差矢量中的至少一个被确定的：与当前块邻近的邻近块的视差矢量、在第一视点图像之前被解码的第一视点图像的帧内与当前块位于相同位置的共同定位块的视差矢量、共同定位块的邻近块的视差矢量。

18.如权利要求15所述的方法，其中，视差候选矢量表示用于发现第二视点图像内与当前块相应的相应块的视差矢量。

19.一种存储用于实现根据权利要求1至18中的任意一项的方法的程序的非暂时性计算机可读介质。

20.一种多视点图像编码设备，包括：

运动矢量候选识别器，被配置为识别与第一视点图像内的当前块的编码相关联的运动矢量候选；

预测运动矢量确定器，被配置为基于识别出的运动矢量候选来确定将用于对当前块进行编码的预测运动矢量；

比特流发送器，被配置为通过比特流将预测运动矢量的索引发送到多视点图像解码设备，

其中，运动矢量候选识别器被配置为识别存在还是不存在视点间候选矢量，其中，视点间候选矢量表示第二视点图像内与当前块相应的相应块的运动矢量。

21.一种多视点图像解码设备，包括：

索引提取器，被配置为从接收自多视点图像编码设备的比特流提取预测运动矢量的索引；

最终运动矢量确定器，被配置为基于预测运动矢量的索引来确定第一视点图像内将被解码的当前块的最终运动矢量，

其中，基于由多视点图像编码设备识别的运动矢量候选，预测运动矢量被确定，

运动矢量候选包括视点间候选矢量、空间候选矢量、时间候选矢量和视差候选矢量中的至少一个。