CN103716642B - 用于多视点视频编码/解码的方法 - Google Patents

Abstract

提供了一种用于多视点视频编码/解码的方法，该方法包括：控制与多视点视频对应的第一和第二深度信息视频的比例尺，从而使所述比例尺相同；以及通过参考其比例尺被控制的第一深度信息视频，来对其比例尺被控制的第二深度信息视频进行编码。

Description

用于多视点视频编码/解码的方法

本专利申请是下列专利申请的分案申请：

申请号：200980156340.0

申请日：2009年12月08日

发明名称：多视点视频编码/解码方法和设备

技术领域

本发明的示范实施例涉及一种多视点（multi-view）视频编码/解码方法和设备，该方法和设备使用编码和解码的多视点视频来对与所述多视点视频对应的深度信息视频进行编码和解码。

背景技术

近年来，已经进行了用于通过数字电视（DTV）来对多视点视频进行广播的研究。为了对与利用人眼所看到的真实视频相似的多视点视频进行广播，应该创建和传送多视点视频。然后，应该通过显示设备来接收和再现所述多视点视频。然而，由于多视点视频具有大量的数据，所以难以按照在当前的数字广播***中使用的信道的带宽来接收多视点视频。相应地，正在对用于对多视点视频进行编码和解码的技术进行研究。

多视点视频编码（MVC）是一种以下技术，其对从具有不同视图的多个相机获取的多个视频、以及与所述多个视频对应的多个深度信息视频（即，多视点视频）进行编码。针对同一对象，所述多个相机被布置为根据距离和方向上的预定规则而彼此间隔开。作为结果，在具有不同视图并且组成多视点视频的相应视频之间存在高相关性。当恰当地使用相应视频之间的高相关性时，可能显著地改善MVC的编码效率。然而，由于从同一对象反射的光可能取决于方向而彼此不同，所以可以考虑所述光以使编码效率最大化。

正在积极地进行其标准化的MVC基于H.264/MPEG部分10高级视频编码（在下文中，称作H.264/AVC），该H.264/MPEG部分10高级视频编码是现有的国际运动图像编码标准。在MVC中，考虑多视点视频的上述特性，以寻找一种用于改善编码效率的方法。例如，将分级B画面编码处理应用于视图内预测编码，执行该分级B画面编码处理以支持在H.264/AVC中定义的联合可伸缩视频编码（JSVC）中的时间可伸缩性。此外，与视图内预测编码并排地（sideby side）执行视图间预测编码，以改善MVC中的编码效率。相应地，研究三维（3D）视频的关联团体正在对通过DTV广播进行的3D视频的接收和传送进行大量研究。当前，该研究正针对高清晰度（HD）立体视频的传送和接收。HD立体视频是指具有1920×1080尺寸的隔行视频或者具有1024×720尺寸的逐行视频。

图1是解释了传统的多视点视频编码/解码***的框图。

参考图1，传统的多视点视频编码/解码***包括第一视频编码单元101、第一视频解码单元103、第一深度信息视频编码单元105、第一深度信息视频解码单元107、第二视频编码单元109、第二视频解码单元111、第二深度信息视频编码单元113、和第二深度视频信息解码单元115。

分别将第一和第二视频以及第一和第二深度信息视频输入到第一和第二视频编码单元101和109以及第一和第二深度信息视频编码单元105和113。第一和第二视频具有彼此不同的视图，并且第一和第二深度信息视频分别对应于所述第一和第二视频，并包括深度信息。在传统的多视点视频编码/解码***中，可以使用两个或更多视频，并且深度信息视频的数目可以对应于视频的数目。此时，可以使用具有不同视图的视频来对多视点视频进行编码。即，在多视点视频之间存在高相关性。因此，当首先对第一视频进行编码时，第二视频编码单元109可以通过参考编码的第一视频来对第二视频进行编码。可以按照相同的方式来对深度信息视频进行编码。

将相应的编码的视频输入到第一和第二视频解码单元103和111以及第一和第二深度信息视频解码单元107和115，并然后进行解码。

二维（2D）视频是通过对编码的第一或第二视频进行解码所获得的视频，而3D视频是通过对编码的第一和第二视频以及编码的第一深度信息视频进行解码所获得的视频。第一视频可以是具有参考视图的视频。多视点视频是通过对编码的第一和第二视频以及编码的第一和第二深度信息视频进行解码所获得的视频。

即，在传统的多视点视频编码/解码***中，独立地执行多视点视频和深度信息视频的编码和解码。

发明内容

技术问题

本发明的实施例针对一种多视点视频编码/解码方法和设备，该方法和设备有效地对与多视点视频对应的深度信息视频进行编码和解码，由此有效地对该多视点视频进行编码和解码。

可以通过以下描述来理解本发明的其他目的和优点，并且通过参考本发明的实施例，它们将变得明显。同样，对于本发明所属技术领域的技术人员来说明显的是，可以通过所要求保护的部件及其组合来实现本发明的目的和优点。

技术解决方案

根据本发明的实施例，一种多视点视频编码方法包括：通过执行帧间预测（interprediction）和帧内预测（intra prediction）来对多视点视频进行编码；以及根据帧间预测和帧内预测中的至少一个来对与该多视点视频对应的深度信息视频进行编码。

根据本发明的另一实施例，一种多视点视频编码方法包括：控制与多视点视频对应的第一和第二深度信息视频的比例尺（scale），从而使所述比例尺相同；以及通过参考其比例尺被控制的第一深度信息视频来对其比例尺被控制的第二深度信息视频进行编码。

根据本发明的另一实施例，一种多视点视频编码设备包括：视频编码块，被配置为通过帧间预测和帧内预测来对多视点视频进行编码；以及深度信息视频编码块，被配置为使用该视频编码块所生成的帧间预测信息和帧内预测信息中的一条或多条，来对与该多视点视频对应的深度信息视频进行编码。

根据本发明的另一实施例，一种多视点视频编码设备包括：比例尺控制块，被配置为控制与多视点视频对应的第一和第二深度信息视频的比例尺，从而使所述比例尺彼此相等；以及深度信息视频编码块，被配置为通过参考其比例尺被控制的第一深度信息视频来对其比例尺被控制的第二深度信息视频进行编码。

根据本发明的另一实施例，一种多视点视频解码方法包括：接收通过帧间预测和帧内预测所编码的多视点视频、以及通过使用根据帧间预测的预测信息和根据帧内预测的预测信息中的一条或多条所编码的深度信息视频；对编码的多视点视频进行解码；以及使用在深度信息视频编码期间所使用的预测信息来对编码的深度信息视频进行解码。

具体来讲，按照本发明一个方面，提供了一种用于多视点视频编码的方法，该方法包括：控制与多视点视频对应的第一和第二深度信息视频的比例尺，从而使所述比例尺相同；以及通过参考其比例尺被控制的第一深度信息视频，来对其比例尺被控制的第二深度信息视频进行编码。

按照本发明另一方面，提供了一种用于多视点视频解码的方法，该方法包括：接收通过帧间预测和帧内预测中的至少一个所编码的多视点视频、通过使用根据帧间预测和帧内预测中的至少一个的预测信息中的一条或多条所编码的深度信息视频、以及指示出是否使用了根据至少一个帧间预测和帧内预测的预测信息的标志比特，其中根据帧间预测的预测信息包括根据帧间预测的运动向量；对所编码的多视点视频进行解码；使用在深度信息视频的编码期间所使用的预测信息，来对所编码的深度信息视频进行解码；以及控制所解码的深度信息视频的比例尺，其中通过参考其比例尺被控制的第二深度信息视频，来对所解码的深度信息视频的比例尺进行控制。

有益效果

根据本发明的实施例，当对用于多视点视频的深度信息视频进行编码时，可以通过使用在多视点视频编码期间所生成的预测信息来执行该编码，这使得可能增加编码效率。此外，可以在深度信息视频的解码期间使用在多视点视频解码期间所使用的预测信息。因此，可能增加用于多视点视频的解码效率。

附图说明

图1是解释了传统的多视点视频编码/解码***的框图。

图2示出了用于解释根据本发明实施例的多视点视频编码方法的构思的视频。

图3是解释了根据本发明另一实施例的多视点视频编码/解码***的图。

图4是解释了其中在根据本发明实施例的多视点视频编码设备301中使用预测信息的处理的图。

图5图示了根据本发明另一实施例的多视点视频编码设备301。

图6图示了根据本发明另一实施例的多视点视频编码设备301。

图7图示了根据本发明另一实施例的多视点视频编码方法。

图8图示了根据本发明另一实施例的多视点视频编码方法。

图9图示了根据本发明另一实施例的多视点视频解码方法。

具体实施方式

下面，将参考附图来更加详细地描述本发明的示范实施例。然而，本发明可以按照不同的形式来实施，并且不应被构造为限于在这里提出的实施例。相反地，提供这些实施例，使得本公开将是彻底和完全的，并将向本领域技术人员充分地传达本发明的范围。贯穿整个公开中，贯穿本发明的各个图和实施例中，同样的附图标记表示同样的部分。附图不必按照比例尺，并且在一些实例中，可能已经对比例进行了扩大，以便清楚地图示所述实施例的特征。

图2示出了用于解释根据本发明实施例的多视点视频编码方法的构思的视频。

在图2中，第一深度信息视频203对应于第一视频201，而第二深度信息视频207对应于第二视频205。第一和第二视频201和205是由同一相机所拍摄的，并且是用于具有时间差的不同帧的视频。

参考图2，在时间轴上，第一视频201和第一深度信息视频203以及第二视频205和第二深度信息视频207分别在对象的轮廓和对象的运动上具有相似性。这是因为深度信息是通过表达图中视频的对象与相机之间的距离所获得的，并且深度信息视频表现了该深度信息。

具体地，编码期间的视频和深度信息视频中的对象轮廓与根据帧内预测的帧中预测模式紧密相关，而对象运动与运动向量紧密相关。即，当对视频和与该视频对应的深度信息视频进行编码时，视频中的预测模式和运动向量非常可能与深度信息视频中的预测模式和运动向量相似。因此，并不独立地执行视频和深度信息视频的编码，而是使用视频与深度信息视频之间的相似性来执行该编码，这使得可能增加编码效率。即，当在对深度信息视频进行编码时、通过在视频编码期间所生成的预测信息来执行多视点视频的编码时，整个编码量可能降低，以增加编码效率。预测信息包括预测模式和运动向量。可以将此原理扩展到多视点视频。

图3是解释了根据本发明另一实施例的多视点视频编码/解码***的图。

参考图3，根据本发明实施例的多视点视频编码和解码***包括多视点视频编码设备301和多视点视频解码设备303。图3图示了以下情况，其中分别对第一和第二视频以及与所述第一和第二视频对应的第一和第二深度信息视频进行编码和解码。

多视点视频编码设备301接收并编码第一和第二视频以及第一和第二深度信息视频。第一和第二视频是由具有彼此不同视图的相机所拍摄的多视点视频，而第一和第二深度信息视频可以通过立体匹配或深度相机来获取。

多视点视频编码设备301通过帧间预测和帧内预测来对多视点视频（即，第一和第二视频以及第一和第二深度信息视频）进行编码。此时，多视点视频编码设备301可以使用在视频编码期间生成的根据帧间预测的预测信息和根据帧内预测的预测信息中的一条或多条，来对与该视频对应的深度信息视频进行编码。预测信息可以包括根据帧间预测的视频的运动向量和根据帧内预测的视频的预测模式。

如上面在图2中所描述的，视频的运动向量和预测模式与深度信息视频的运动向量和预测模式相似。因此，多视点视频编码设备301可以使用视频的运动向量和预测模式中的一者或两者来对深度信息视频进行编码。多视点视频编码设备301可以传送编码的视频和编码的深度信息视频，作为一个比特流。

多视点视频解码设备303从多视点视频编码设备301接收编码的视频和编码的深度信息视频，并然后对接收到的视频进行解码。多视点视频解码设备303使用在多视点视频编码期间所使用的预测信息来对编码的深度信息视频进行解码。由于多视点视频编码设备301使用多视点视频的预测信息来对深度信息视频进行编码，所以需要通过使用该多视点视频的预测信息来对编码的深度信息视频进行解码。在此情况下，在深度信息视频的编码期间使用了多视点视频的预测信息的信息可以被包括在由多视点视频编码设备301所生成的比特流中并然后被提供到多视点视频解码设备303，或者被单独地提供到多视点视频解码设备303。

多视点视频编码设备301和多视点视频解码设备303两者都可以根据H.264/AVC标准来分别执行编码和解码。

多视点视频编码/解码***可以包括分离器303。分离器303对解码的第一和第二视频以及解码的第一和第二深度信息视频进行分离，使得可以使用分离的视频用于再现2D、3D或多视点视频。

此外，多视点视频编码设备301可以使用先前编码的视频和深度信息视频，来对与先前编码的视频和深度信息视频具有不同视图的视频和深度信息视频进行编码。具体地，当通过参考先前编码的深度信息视频来对与先前编码的深度信息视频具有不同视图的深度信息视频进行编码时，根据本发明实施例的多视点视频编码设备301可以通过控制深度信息视频之间的比例尺来执行该编码。下面，将参考图5来详细地描述此内容。

图4是解释了其中在根据本发明实施例的多视点视频编码设备301中使用预测信息的处理的图。

参考图4，视频和深度信息视频包括I帧、P帧和B帧。在I帧中，执行通过帧内预测的编码。可以通过I帧来执行对于运动图像的随机访问。在将先前编码的I帧或P帧设置为参考视频的情况下，P帧估计单一方向中的运动向量，并且B帧使用I帧、P帧和B帧来估计两个方向中的运动向量。即，在P和B帧中，执行通过帧间预测的编码。在图4中，箭头指示出参考帧。

帧内预测是基于单一帧中相邻像素的灰度级之间的高相关性的编码技术。在帧内预测中，并不使用参考帧来对当前帧的块进行编码，而是使用要编码的当前帧的先前编码区域来计算当前块的预测值。将帧内预测模式划分为4×4亮度（luma）帧内预测模式、8×8亮度帧内预测模式、和16×16亮度帧内预测模式、以及色度帧内预测模式。取决于帧内预测模式的类别（即，各种尺寸和各种帧内预测方向）来对当前块执行帧内预测，并且根据从它们之中选择的最佳帧内预测模式来生成预测值。当生成预测值时，对关于残差（residue）和预测模式的信息进行编码，以增加视频编码的压缩率。残差是当前块的像素值与预测值之间的差值。

帧间预测是基于视频序列中相继帧之间的相似性的编码技术。使用一个或多个参考帧来按照块为单位估计和补偿当前帧的运动，以便对视频进行编码。在参考帧中，搜索当前帧的相似块，并且提取运动向量。对参考帧中当前块与相似块之间的残差进行编码，以便增加视频编码的压缩率。此时，需要运动向量，以对根据帧间预测所编码的视频进行解码。因此，对运动向量一起进行编码。

根据本发明的实施例，当对深度信息视频进行编码时，使用根据视频的编码的预测信息。即，如图4所图示的，可以通过使用根据视频的I帧的编码的预测信息来对深度信息视频的I帧进行编码。此外，可以通过使用根据视频B帧和P帧的编码的预测信息来对深度信息视频的B和P帧进行编码。在此情况下，当对深度信息视频进行编码时，可以执行该编码，而无需包括关于预测模式或运动向量的信息。因此，编码效率可以增加。

即，当对深度信息视频进行编码时，***标志比特，该标志比特包括使用根据视频的编码的预测信息的这种信息。然后，当对编码的深度信息视频进行解码时，可以使用标志比特，以使用视频的解码信息。因此，可以不对根据深度信息视频的编码的预测模式和运动向量进行编码。由于标志比特的信息量小于根据深度信息视频的编码的预测模式和运动向量的信息量，所以编码效率可以增加。

此时，可以在深度信息视频之前对视频进行编码。此外，由于使用视频与深度信息视频之间的相似性，所以可以通过使用关于同一视图和同一帧的预测信息来对深度信息视频进行编码。

其间，如图4中所图示的，当对视频进行编码时，可以参考具有不同视图的视频的帧。此外，当对深度信息视频进行编码时，可以参考具有不同视图的深度信息视频的帧。可以通过参考具有不同视图的视频的帧来对B帧和P帧进行编码。例如，针对第二视频的P帧，可以通过参考第一视频的I帧来执行根据帧间预测的编码。下面，将参考图6来详细地描述此内容。

图5图示了根据本发明另一实施例的多视点视频编码设备301。

参考图5，根据本发明实施例的多视点视频编码设备301包括视频编码块501和深度信息视频解码块503。

视频编码块501执行帧间预测和帧内预测，以对多视点视频进行编码。图5图示了以下情况，其中视频编码块501对多视点视频之中的第一视频进行编码。

深度信息视频编码块503使用根据帧间预测和帧内预测的预测信息中的一条或多条，来对与多视点视频对应的深度信息视频进行编码。视频编码块501对第一视频进行编码，而深度信息视频编码块503对第一深度信息视频进行编码。

如上所述，预测信息可以是根据帧间预测的视频的运动向量、和根据帧内预测的视频的预测模式。

更具体地，深度信息视频编码块503包括运动向量生成单元505、一致性（identity）判断单元507、标志比特编码单元509和编码单元511。

运动向量生成单元505使用参考帧来生成用于第一深度信息视频的当前帧的运动向量。如上所述，运动向量生成单元505在将B帧和P帧设置为当前帧的情况下，设置参考帧，并且生成运动向量。

一致性判断单元507判断用于当前帧的运动向量是否与根据帧间预测的运动向量一致。即，一致性判断单元507对视频编码块501所生成的运动向量与运动向量生成单元505所生成的运动向量进行比较。作为结果，当确认了运动向量之间的一致性时，在深度信息视频的编码期间使用视频编码块501所生成的运动向量。

标志比特编码单元509生成指示出一致性判断单元507的一致性判断结果的标志比特，并然后对生成的标志比特进行编码。例如，当确认了一致性时，标志比特可以指示出“1”。另一方面，当没有确认一致性时，标志比特可以指示出“0”。

编码单元511取决于该标志比特来对包括了用于当前帧的运动向量的深度信息视频进行编码。即，当确认了一致性时，编码单元511对包括了用于深度信息视频的运动向量的深度信息视频进行编码。另一方面，当没有确认一致性时，编码单元511对排除了用于深度信息视频的运动向量的深度信息视频进行编码。

根据本发明的实施例，当确认了一致性时，可以仅仅对标志比特进行编码，该标志比特比运动向量具有更少量的信息量。因此，编码效率可以增加。此外，当判断出视频编码块501所生成的运动向量与运动向量生成单元505所生成的运动向量一致时，可以使用视频编码块501所生成的运动向量来增加编码的精度。

在I帧中，并不生成运动向量，而是根据预测模式来执行编码。多视点视频编码设备301可以使用根据帧内模式的视频的预测模式来对深度信息视频进行编码。更具体地，标志比特编码单元509可以进一步生成和编码指示出视频编码块501是否使用在帧内预测期间所使用的预测模式来对深度信息视频进行编码的标志比特。

编码单元511可以执行根据预测模式的帧内预测，并且进一步对深度信息视频的当前帧进行编码。即，编码单元511在第一视频的I帧的预测模式与深度信息视频的I帧的预测模式一致的前提下，使用第一视频的I帧内的预测模式来对深度信息视频进行编码。

因此，由于可以仅仅对比预测模式的信息具有更少信息量的标志比特进行编码，所以编码效率增加。取决于该设计，多视点视频编码设备301可以使用预测模式和运动向量中的一者或两者来对深度信息视频进行编码。此外，当深度信息视频编码块503使用视频编码块501的运动向量来对深度信息视频进行编码时，多视点视频编码设备301可以不判断一致性，而是在确认了该一致性的前提下对深度信息视频进行编码。

可以取决于宏块类型来执行帧间预测和帧内预测。多视点视频编码设备301首先判断宏块类型之间的一致性。当确认了该一致性时，多视点视频编码设备301可以使用视频编码块501的预测信息来对深度信息视频进行编码。

其间，多视点视频编码设备301可以进一步包括未图示的过滤器块。过滤器块取决于视频与深度信息视频之间的分辨率或帧频的差异来控制预测信息，使得深度信息视频编码块503可使用该预测信息。例如，当一致性判断单元507判断出运动向量之间的一致性时，过滤器块可以控制输入到一致性判断单元507的运动向量的比例尺。即，当视频的帧频不同于深度信息视频的帧频时，过滤器块可以执行重采样（sub sampling），以控制运动向量的比例尺。替换地，当视频的分辨率不同于深度信息视频的分辨率时，过滤器块可以执行欠采样（down sampling），以控制运动向量的比例尺。

图6图示了根据本发明另一实施例的多视点视频编码设备301。

参考图6，根据本发明实施例的多视点视频编码设备301包括比例尺控制块601和深度信息视频编码块603。图6图示了以下情况，其中对第一和第二深度信息视频进行编码。第二深度信息视频是对应于与第一深度信息视频具有不同视图的视频的深度信息视频。

比例尺控制块601控制与多视点视频对应的第一和第二深度信息视频的比例尺，从而使所述比例尺彼此相同。如上所述，深度信息视频包括深度信息，并且该深度信息是通过表达图中视频的对象与相机之间的距离所获得的。因此，可能存在相对于同一对象的第一和第二深度信息视频之间的深度值。即，可能存在比例尺上的差异。当在第二深度信息视频编码期间、参考第一深度信息视频时，第一深度信息视频与第二深度信息视频之间的比例尺上的差异可能导致误差。比例尺控制块601可以基于第二深度信息视频来控制第一深度信息视频的比例尺，或者利用其平均值来控制第一和第二深度信息视频的比例尺。

深度信息视频编码块603通过参考由比例尺控制块601来控制其比例尺的第一深度信息深度图像，来对其比例尺被控制的第二深度信息视频进行编码。参考图4，当对于第二深度信息视频的P帧执行根据帧间预测的编码时，可以参考第一深度信息视频的I帧。尽管在图4中未图示，但是当对于第二深度信息视频的B帧执行根据帧间预测的编码时，可以参考第一深度信息视频的B帧。此时，深度信息视频编码块603可以通过参考其比例尺被控制的第一深度信息视频来对其比例尺被控制的第二深度信息视频进行编码。

其间，多视点视频可以由图5中所图示的视频编码块501来进行编码。此外，根据本发明实施例的包括比例尺控制块601和深度信息视频编码块603的多视点视频编码设备301可以控制两个或更多深度信息视频的比例尺，并然后对所述深度信息视频进行编码。

图7图示了根据本发明另一实施例的多视点视频编码方法。

参考图7，根据本发明实施例的多视点视频编码方法从步骤S701开始。在步骤S701中，视频编码块501执行帧间预测和帧内预测，以对多视点视频进行编码。在步骤S703中，深度信息视频编码块503使用根据帧间预测和帧内预测的预测信息中的一条或多条，来对与多视点视频对应的深度信息视频进行编码。

在下文中，将详细地描述步骤S703。

在步骤S705中，运动向量生成单元505使用参考帧来生成用于深度信息视频的当前帧的运动向量。在步骤S707中，一致性判断单元507判断根据视频编码块501的帧间预测的运动向量是否与用于当前帧的运动向量一致。此时，当在视频与深度信息视频之间存在帧频或分辨率上的差异时，过滤器块可以控制根据视频编码块501的帧间预测的运动向量的比例尺。

在步骤S709中，标志比特编码单元509生成和编码指示出一致性判断结果的标志比特。在步骤S711中，编码单元509取决于该标志比特来对包括用于当前帧的运动向量的深度信息视频进行编码。当在步骤S707中判断出没有确认运动向量之间的一致性时，在步骤S711中对包括了运动向量的深度信息视频进行编码。另一方面，当在步骤S707中判断出确认了该一致性时，在步骤S711中对排除了运动向量的深度信息视频进行编码。

根据本发明的实施例，可以通过使用在步骤S701中生成的根据帧内预测的预测模式来执行深度信息视频的编码。更具体地，可以将在步骤S701中生成的根据帧内预测的预测模式传输到标志比特编码单元509，并且标志比特编码单元509使用该预测模式来生成和编码指示出是否对深度信息视频进行编码的标志比特。编码单元509执行根据该预测模式的帧内预测，并然后，对深度信息视频进行编码。

图8图示了根据本发明另一实施例的多视点视频编码方法。

参考图8，根据本发明实施例的多视点视频编码方法从步骤S801开始。

在步骤S801中，比例尺控制块601控制与多视点视频对应的第一和第二深度信息视频的比例尺，从而使所述比例尺彼此相同。这是因为当在第二深度信息视频编码期间、参考第一深度信息视频时，第一深度信息视频与第二深度信息视频之间的比例尺上的差异可能导致误差。

在步骤S803中，深度信息视频编码块603通过参考在步骤S801中控制其比例尺的第一深度信息视频来对第二深度信息视频进行编码。在步骤S801中，可以控制两个或更多深度信息视频的比例尺。在步骤S803中，可以对其比例尺被控制的两个或更多深度信息视频进行编码。

图9图示了根据本发明另一实施例的多视点视频解码方法。

参考图9，根据本发明实施例的多视点视频解码方法从步骤S901开始。

在步骤S901中，接收通过帧间预测和帧内预测所编码的多视点视频、以及通过使用根据帧间预测和帧内预测的预测信息中的一条或多条所编码的深度信息视频。即，在步骤S901中接收根据本发明上述实施例所编码的视频和深度信息视频。可以作为一个比特流来传送所编码的多视点视频和所编码的深度信息视频。

在步骤S903中，对编码的多视点视频进行解码。然后，在步骤S905中，使用在深度信息视频编码期间所使用的预测信息来对编码的深度信息视频进行解码。由于在深度信息视频的编码处理中使用了根据多视点视频的编码的预测信息，所以可以在步骤S905中使用根据多视点视频的编码的预测信息。在步骤S905中，可以通过参考在深度信息视频的编码处理中生成的标志比特，来使用根据多视点视频的编码的预测信息。

此外，可以根据H.264/AVC标准来执行在步骤S903和S905中的解码。

同样，可以将上述的多视点视频编码/解码方法和设备实施为计算机程序。本发明所属技术领域的计算机程序员可以容易地诠释出用于构成该程序的代码和代码段。此外，可以将创建的程序存储在计算机可读记录介质或数据存储介质中，并且可以通过计算机来读出和运行。计算机可读记录介质的示例包括任何计算机可读记录介质，例如，诸如载波之类的无形介质、以及诸如CD或DVD之类的有形介质。

尽管已经针对特定实施例而描述了本发明，但是对于本领域技术人员将显而易见的是，可以做出各种改变和修改，而不脱离由以下权利要求限定的本发明的精神和范围。

Claims (5)

1.一种用于多视点视频编码的方法，该方法包括：

控制与多视点视频对应的第一和第二深度信息视频的比例尺，从而使所述比例尺相同；

通过参考其比例尺被控制的第一深度信息视频，来对其比例尺被控制的第二深度信息视频进行编码；和

通过执行帧间预测和帧内预测中的至少一个来对多视点视频进行编码。

2.根据权利要求1的方法，其中所述第一和第二深度信息视频包括深度信息。

3.根据权利要求1的方法,其中该方法还包括：

传送关于该比例尺的信息。

4.根据权利要求1的方法，其中通过使用根据帧间预测和帧内预测中的至少一个的预测信息中的一条或多条、来对该第二深度信息视频进行处理，其中***标志比特，其中该标志比特包括根据帧间预测和帧内预测中的至少一个的预测信息，其中根据帧间预测的预测信息包括根据帧间预测的运动向量。

5.一种用于多视点视频解码的方法，该方法包括：

接收通过帧间预测和帧内预测中的至少一个所编码的多视点视频、通过使用根据帧间预测和帧内预测中的至少一个的预测信息中的一条或多条所编码的深度信息视频、以及指示出是否使用了根据至少一个帧间预测和帧内预测的预测信息的标志比特，其中根据帧间预测的预测信息包括根据帧间预测的运动向量；

对所编码的多视点视频进行解码；

使用在深度信息视频的编码期间所使用的预测信息，来对所编码的深度信息视频进行解码；以及

控制所解码的深度信息视频的比例尺，其中通过参考其比例尺被控制的第二深度信息视频，来对所解码的深度信息视频的比例尺进行控制。