CN101455084A - 用于解码/编码视频信号的方法和装置 - Google Patents

Abstract

本发明提供了一种解码视频信号的方法。该方法包括以下步骤：检查视频信号的编码方案，根据编码方案获得用于视频信号的配置信息，使用配置信息识别视图的总数目，基于视图的总数目识别视图间参考信息，以及基于视图间参考信息解码视频信号，其中配置信息至少包括用于识别视频信号的视图的视图信息。

Description

用于解码/编码视频信号的方法和装置

技术领域

本发明涉及一种用于解码/编码视频信号的方法及其装置。

背景技术

压缩编码是指用于经由通信电路传送数字化信息或者以适于存储介质的形式存储数字化信息的一系列信号处理技术。压缩编码的对象包括音频、视频、文本等。具体地，用于对序列执行压缩编码的技术被称为视频序列压缩。视频序列通常特征在于具有空间冗余和时间冗余。

发明内容

技术目的

本发明的目的在于提高视频信号的编码效率。

技术方案

本发明的一个目的在于通过定义用于识别图片的视图的视图信息来有效地编码视频信号。

本发明的另一个目的在于通过基于视图间参考信息编码视频信号来提高编码效率。

本发明的另一个目的在于通过定义视图级别信息来提供视频信号的视图可分级性。

本发明的另一个目的在于通过定义指示是否获得虚拟视图的图片的视图间合成预测标识符来有效率地编码视频信号。

有益效果

在编码视频信号中，本发明通过使用用于识别图片的视图的视图信息执行视图间预测而使得能够更加有效地执行编码。并且，通过新定义的、指示用于分层结构的信息以提供视图可分级性的级别信息，本发明能够提供适用于使用者的视图序列。而且，通过定义与最低级别相应的视图作为参考视图，本发明提供与传统解码器的兼容性。另外，本发明通过在执行视图间预测期间决定是否预测虚拟视图的图片来提高编码效率。在预测虚拟视图的图片的情形中，本发明使得能够更准确地预测，由此降低要传送的位数。

附图说明

图1是根据本发明的用于解码视频信号的装置的示意性框图。

图2是根据本发明的实施例的能够被添加到多视图视频编码位流的关于多视图视频的配置信息的图表。

图3是根据本发明的实施例的参考图片列表构造单元620的内部框图。

图4是根据本发明的实施例的用于提供视频信号的视图可分级性(scalability)的级别信息的分层结构的图表。

图5是根据本发明的一个实施例的在NAL报头的扩展区域中包括级别信息的NAL单元配置的图表。

图6是根据本发明的实施例的多视图视频信号的总体预测性结构的图表，用于解释视图间图片组的概念。

图7是根据本发明的实施例的预测性结构的图表，用于解释新定义的视图间图片组的概念。

图8是根据本发明的实施例的用于使用视图间图片组识别信息来解码多视图视频的装置的示意性框图。

图9是根据本发明的实施例的用于构造参考图片列表的过程的流程图。

图10是根据本发明的一个实施例的用于解释当当前片段(slice)是P-片段(P-slice)时初始化参考图片列表的方法的图表。

图11是根据本发明的一个实施例的用于解释当当前片段是B-片段(B-slice)时初始化参考图片列表的方法的图表。

图12是根据本发明的实施例的参考图片列表重排单元630的内部框图。

图13是根据本发明的一个实施例的参考索引分配改变单元643B或者645B的内部框图。

图14是根据本发明的一个实施例的用于解释使用视图信息来重排参考图片列表的过程的图表。

图15是根据本发明的另一实施例的参考图片列表重排单元630的内部框图。

图16是根据本发明的实施例的用于视图间预测的参考图片列表重排单元970的内部框图。

图17和图18是根据本发明的一个实施例的用于参考图片列表重排的句法的图表。

图19是根据本发明的另一实施例的用于参考图片列表重排的句法的图表。

图20是根据本发明的一个实施例的用于获得当前块的亮度差值的过程的图表。

图21是根据本发明的实施例的用于执行当前块的亮度补偿的过程的流程图。

图22是根据本发明的一个实施例的用于使用关于相邻块的信息来获得当前块的亮度差预测值的过程的图表。

图23是根据本发明的一个实施例的用于使用关于相邻块的信息来执行亮度补偿的过程的流程图。

图24是根据本发明的另一实施例的用于使用关于相邻块的信息来执行亮度补偿的过程的流程图。

图25是根据本发明的一个实施例的用于使用虚拟视图中的图片来预测当前图片的过程的图表。

图26是根据本发明的实施例的用于在MVC中执行视图间预测期间合成虚拟视图中的图片的过程的流程图。

图27是根据本发明的用于在视频信号编码中根据片段类型执行加权预测的方法的流程图。

图28是根据本发明的在视频信号编码中在片段类型中可允许的宏块类型的图表。

图29和图30是根据本发明的一个实施例的用于根据新定义的片段类型来执行加权预测的句法的图表。

图31是根据本发明的使用指示在视频信号编码中是否执行视图间加权预测的标志信息来执行加权预测的方法的流程图。

图32是根据本发明的一个实施例的用于解释根据指示是否使用关于与当前图片的视图不同的视图中的图片的信息来执行加权预测的标志信息的加权预测方法的图表。

图33是根据本发明的一个实施例的用于根据新定义的标志信息来执行加权预测的句法的图表。

图34是根据本发明的实施例的根据NAL(网络抽象层)单元类型来执行加权预测的方法的流程图。

图35和图36是根据本发明的一个实施例的用于在NAL单元类型是关于多视图视频编码的情形中执行加权预测的句法的图表。

图37是根据本发明的实施例的根据新定义的片段类型的视频信号解码装置的局部框图。

图38是根据本发明的用于解释在图37所示装置中解码视频信号的方法的流程图。

图39是根据本发明的一个实施例的宏块预测模式的图表。

图40和图41是根据本发明的向其应用了片段类型和宏块模式的句法的图表。

图42是向其应用图41中的片段类型的实施例的图表。

图43是包括在图41所示的片段类型中的片段类型的各种实施例的图表。

图44是根据本发明的一个实施例的按照两个混合预测的预测进行的对于混合片段类型可允许的宏块的图表。

图45到47是根据本发明的一个实施例的在按照两个混合预测的预测的混合片段中存在的宏块的宏块类型的图表。

图48是根据本发明的实施例的根据新定义的片段类型的视频信号编码装置的局部框图。

图49是根据本发明的在图48所示装置中编码视频信号的方法的流程图。

具体实施方式

为了实现如在这里体现和广泛描述的这些和其它优点并且根据本发明的目的，一种解码视频信号的方法包括以下步骤：检查视频信号的编码方案，根据编码方案获得用于视频信号的配置信息，使用配置信息识别视图的总数目，基于视图的总数目识别视图间参考信息，以及基于视图间参考信息解码视频信号，其中配置信息至少包括用于识别视频信号的视图的视图信息。

为了进一步实现这些和其它优点并且根据本发明的目的，一种解码视频信号的方法包括以下步骤：检查视频信号的编码方案，根据编码方案获得用于视频信号的配置信息，从配置信息检查视频信号的用于视图可分级性的级别，使用配置信息识别视图间参考信息，以及基于级别和视图间参考信息解码视频信号，其中配置信息包括用于识别图片的视图的视图信息。

用于本发明的模式

现在将详细参考本发明的优选实施例，在附图中示出了其示例。

压缩和编码视频信号数据的技术考虑空间冗余、时间冗余、可分级冗余以及视图间冗余。并且，还能够在压缩编码过程中通过考虑在视图之间的相互冗余而执行压缩编码。考虑视图间冗余的用于压缩编码的技术仅是本发明的一个实施例。并且，本发明的技术思想可应用于时间冗余、可分级冗余等。

研究H.264/AVC中的位流的配置，在处理运动图片编码过程自身的VCL(视频编码层)和传送并且存储编码信息的下层***之间存在被称为NAL(网络抽象层)的单独的层结构。来自编码过程的输出是VCL数据并且其在被传送或者存储之前被NAL单元映射。每一个NAL单元包括压缩视频数据或者RBSP(原始字节序列载荷：运动图片压缩的结果数据)，RBSP是与报头信息对应的数据。

NAL单元基本上包括NAL报头和RBSP。NAL报头包括指示是否包括作为NAL单元的参考图片的片段的标志信息(nal_ref_idc)和指示NAL单元的类型的标识符(nal_unit_type)。被压缩的原始数据被存储在RBSP中。并且，RBSP末位被添加到RBSP的最后部分以表示RBSP的长度为8-位乘法。作为NAL单元的类型，有IDR(即时解码刷新：instantaneous decoding refresh)图片、SPS(序列参数集：sequenceparameter set)、PPS(图片参数集：picture parameter set)、SEI(附加增强信息：supplemental enhancement information)等。

在标准化中，设置了对于各种类(profile)和级别的限制，以使得能够以适当成本实现目标产品。在这种情况下，解码器应该满足根据相应的类和级别决定的限制。因此，定义了两个概念“类”和“级别”来指示用于表示解码器能够将压缩序列的范围处理到何种程度的功能或者参数。并且，类标识符(profile_idc)能够标识出位流是基于规定的类的。类标识符是指指示位流所基于的类的标志。例如，在H.264/AVC中，如果类标识符是66，则这表示位流基于基线类。如果类标识符是77，则这表示位流基于主要类。如果类标识符是88，则这表示位流基于扩展类。并且，类标识符能够被包括在序列参数集中。

所以，为了处理多视图视频，需要识别输入位流的类是否是多视图类。如果输入位流的类是多视图类，则有必要添加句法以使得能够传送关于多视图的至少一个附加信息。在这种情况下，多视图类指示作为H.264/AVC的修订技术的处理多视图视频的类模式。在MVC中，添加作为关于MVC模式的额外信息的句法可能比添加无条件句法更加有效。例如，当AVC的类标识符指示多视图类时，如果添加关于多视图视频的信息，则能够提高编码效率。

序列参数集指示含有涵盖总体序列的编码的信息(例如类、级别等)的报头信息。整个被压缩的运动图片、即序列应该以序列报头开始。因此，与报头信息对应的序列参数集应该在参考该参数集的数据到达之前到达解码器。即，序列参数集RBSP对于运动图片压缩的结果数据扮演报头信息的角色。一旦位流被输入，则类标识符优选地识别输入位流是基于多个类中的哪一个。因此，通过向句法中添加用于决定输入位流是否涉及多视图类的部分(例如，“If(profile_idc＝＝MULTI_VIEW_PROFILE)”)，决定输入位流是否涉及多视图类。仅当确定输入位流涉及多视图类时，才能够添加各种配置信息。例如，能够在视图间图片组的情况下添加所有视图的数目、视图间参考图片的数目(List0/1)，在非视图间图片组的情况下添加视图间参考图片的数目(List0/1)等。并且，关于视图的各种信息可用于产生和管理解码图片缓冲器中的参考图片列表。

图1是根据本发明的用于解码视频信号的装置的示意性框图。

参考图1，根据本发明的用于解码视频信号的装置包括NAL解析器100、熵解码单元200、反向量化/反向变换单元300、帧内预测单元400、去块滤波单元500、解码图片缓冲器单元600、帧间预测单元700等。

解码图片缓冲器单元600包括参考图片存储单元610、参考图片列表构造单元620、参考图片管理单元650等。并且，参考图片列表构造单元620包括变量推导单元625、参考图片列表初始化单元630和参考图片列表重排单元640。

并且，帧间预测单元700包括运动补偿单元710、亮度补偿单元720、亮度差预测单元730、视图合成预测单元740等。

NAL解析器100通过NAL单元执行解析以解码所接收的视频序列。通常，在解码片段报头和片段数据之前，至少一个序列参数集和至少一个图片参数集被传递到解码器。在这种情况下，各种配置信息能够被包括在NAL报头区域或者NAL报头的扩展区域中。因为MVC是对于传统的AVC技术的修订技术，所以在MVC位流的情形中仅仅添加配置信息而非无条件添加可能更加有效。例如，可以在NAL报头区域或者NAL报头的扩展区域中添加用于识别存在或者不存在MVC位流的标志信息。仅当根据标志信息输入位流是多视图视频编码位流时，才能够添加关于多视图视频的配置信息。例如，该配置信息可以包括时间级别信息、视图级别信息、视图间图片组识别信息、视图识别信息等。如下参考图2对其详细解释。

图2是根据本发明的一个实施例的可添加到多视图视频编码位流的关于多视图视频的配置信息的图表。在下面的说明中解释关于多视图视频的配置信息的细节。

首先，时间级别信息指示关于用于提供根据视频信号的时间可分级性的分层结构的信息(①)。通过时间级别信息，能够为使用者提供在各种时间区(zone)上的序列。

视图级别信息指示关于用于提供根据视频信号的视图可分级性的分层结构的信息(②)。在多视图视频中，有必要定义关于时间的级别以及关于视图的级别，从而为使用者提供各种时间和视图序列。在定义以上的级别信息的情形下，可以使用时间可分级性和视图可分级性。因此，使用者能够选择处于特定时间和视图处的序列，或者可以通过条件来限制被选择的序列。

能够根据特定条件以各种方式来设置级别信息。例如，能够根据照相机位置或者照相机校准而不同地设置级别信息。并且，能够通过考虑视图依赖性(dependency)来确定级别信息。例如，关于视图间图片组中的具有I-图片的视图的级别被设置为0，关于视图间图片组中的具有P-图片的视图的级别被设置为1，并且关于视图间图片组中的具有B-图片的视图的级别被设置为2。而且，能够不基于特定条件而随机地设置级别信息。将在随后参考图4和图5详细地解释视图级别信息。

视图间图片组识别信息指示用于标识当前NAL单元的编码图片是否为视图间图片组的信息(③)。在这种情况下，视图间图片组是指其中所有的片段仅仅参考具有相同图片序列号的片段的编码图片。例如，视图间图片组是指仅仅参考不同视图中的片段而不参考当前视图中的片段的编码图片。在多视图视频的解码过程中，可能需要视图间随机访问。视图间图片组识别信息对于实现有效的随机访问而言可能是必要的。并且，视图间参考信息对于视图间预测而言可能是必要的。所以，视图间图片组识别信息可以被用于获得视图间参考信息。而且，视图间图片组识别信息可以被用于在构造参考图片列表期间添加用于视图间预测的参考图片。此外，视图间图片组识别信息可以被用于管理所添加的用于视图间预测的参考图片。例如，参考图片可以被分类成视图间图片组和非视图间图片组，并且所分类的参考图片然后能够被标注，从而将不使用不能被用于视图间预测的参考图片。同时，视图间图片组识别信息可应用于假想参考解码器。将在随后参考图6解释视图间图片组识别信息的细节。

视图识别信息是指用于将当前视图中的图片与不同视图中的图片相区别的信息(④)。在编码视频信号期间，POC(图片次序号)或者“frame_num(帧号)”可以被用于标识每一个图片。在多视图视频序列的情况下，可以执行视图间预测。所以，需要用于将当前视图中的图片与另一视图中的图片相区别的识别信息。所以，有必要定义用于识别图片的视图的视图识别信息。能够从视频信号的报头区域中获得该视图识别信息。例如，所述报头区域可以是NAL报头区域、NAL报头的扩展区域、或者片段报头区域。使用视图识别信息来获得关于与当前图片的视图不同的视图中的图片的信息，并且能够使用该不同视图中的图片的信息来解码视频信号。视图识别信息可应用于视频信号的总体编码/解码过程。并且，使用考虑视图而不是考虑特定视图标识符的“frame_num”，视图识别信息能够被应用于多视图视频编码。

同时，熵解码单元200对于所解析的位流执行熵解码，并且然后提取每一个宏块的系数、运动矢量等。反向量化/反向变换单元300通过将所接收的量化值乘以常数而获得经转换的系数值，并且然后反向变换该系数值以重构像素值。使用重构的像素值，帧内预测单元400根据当前图片中的解码采样来执行帧内预测。同时，去块滤波单元500被应用于每一个编码宏块以减少块失真。滤波器平滑块边缘以提高解码帧的图像质量。滤波过程的选择依赖于在边缘周围的图像采样的边界强度和梯度。通过滤波的图片被输出或者被存储于解码图片缓冲器单元600中，以被用作参考图片。

解码图片缓冲器单元600充当存储或者打开先前编码的图片以执行帧间预测的角色。在这种情况下，为了在解码图片缓冲器单元600中存储图片或者打开图片，使用每一个图片的“frame_num”和POC(图片次序号)。所以，因为在先前编码的图片中存在在与当前图片的视图不同的视图中的图片，所以用于识别图片的视图的视图信息可以与“frame_num”和POC一起使用。解码图片缓冲器单元600包括参考图片存储单元610、参考图片列表构造单元620以及参考图片管理单元650。参考图片存储单元610存储为编码当前图片而将被参考的图片。参考图片列表构造单元620构造用于图片间(inter-picture)预测的参考图片的列表。在多视图视频编码中，可能需要视图间预测。所以，如果当前图片参考另一视图中的图片，则可能有必要构造用于视图间预测的参考图片列表。在这种情况下，参考图片列表构造单元620能够在产生用于视图间预测的参考图片列表期间使用关于视图的信息。将在随后参考图3解释参考图片列表构造单元620的细节。

图3是根据本发明的实施例的参考图片列表构造单元620的内部框图。

参考图片列表构造单元620包括变量推导单元625、参考图片列表初始化单元630和参考列表重排单元640。

变量推导单元625推导用于参考图片列表初始化的变量。例如，能够使用指示图片识别号的“frame_num”来推导变量。具体地，变量FrameNum(帧号)和FrameNumWrap(帧号换行)可以被用于每一个短期参考图片。首先，变量FrameNum等于句法元素frame_num的值。变量FrameNumWrap能够被用于解码图片缓冲器单元600以为每一个参考图片分配较小的号。并且，能够从变量FrameNum来推导变量FrameNumWrap。所以，能够使用推导出的变量FrameNumWrap来推导变量PicNum(图片号)。在这种情况下，变量PicNum可以指解码图片缓冲器单元600所使用的图片的识别号。在指示长期参考图片的情况下，可以使用变量LongTermPicNum(长期图片号)。

为了构造用于视图间预测的参考图片列表，可以推导出第一变量(例如，ViewNum(视图号))以构造用于视图间预测的参考图片列表。例如，能够使用用于识别图片的视图的“view_id(视图标识符)”来推导第二变量(例如，ViewId(视图标识符))。首先，第二变量可以等于句法元素“view_id”的值。并且，第三变量(例如，ViewIdWrap(视图标识符换行))可以被用于解码图片缓冲器单元600以向每一个参考图片分配较小的视图识别号，并且可以从第二变量推导出。在这种情况下，第一变量ViewNum可以指解码图片缓冲器单元600所使用的图片的视图识别号。然而，因为在多视图视频编码中用于视图间预测的参考图片的数目可能相对小于用于时间预测的参考图片的数目，所以可以不定义用于指示长期参考图片的视图识别号的另一个变量。

参考图片列表初始化单元630使用上述变量初始化参考图片列表。在这种情况下，用于参考图片列表的初始化过程可以根据片段类型而不同。例如，在解码P-片段的情况下，可以基于解码次序来分配参考索引。在解码B-片段的情况下，可以基于图片输出次序来分配参考索引。在初始化用于视图间预测的参考图片列表的情况下，可以基于第一变量、即从视图信息推导的变量向参考图片分配索引。

参考图片列表重排单元640充当通过向被初始化的参考图片列表中的被频繁地参考的图片分配更小的索引来提高压缩效率的角色。这是因为，如果用于编码的参考索引变得更小则分配较小的位。

并且，参考图片列表重排单元640包括片段类型检查单元642、参考图片列表0重排单元643以及参考图片列表1重排单元645。如果输入被初始化的参考图片列表，则片段类型检查单元642检查将被解码的片段的类型并且然后决定是重排参考图片列表0还是参考图片列表1。所以，如果片段类型不是I-片段，则参考图片列表0/1重排单元643、645执行参考图片列表0的重排，并且如果片段类型是B-片段，则还另外地执行参考图片列表1的重排。因此，在重排过程结束之后，参考图片列表得以构造。

参考图片列表0/1重排单元643、645分别包括识别信息获得单元643A、645A和参考索引分配改变单元643B、645B。如果根据指示是否执行参考图片列表的重排的标志信息来执行参考图片列表的重排，则识别信息获得单元643A、645A接收指示参考索引的分配方法的识别信息(reordering_of_pic_nums_idc)。并且，参考索引分配改变单元643B、645B通过根据识别信息改变参考索引的分配而重排参考图片列表。

并且，可以利用另一种方法来操作参考图片列表重排单元640。例如，可以通过检查在通过片段类型检查单元642之前传递的NAL单元类型并且然后将NAL单元类型分类成MVC NAL情形和非MVCNAL情形而执行重排。

参考图片管理单元650管理参考图片以更加灵活地执行帧间预测。例如，可以使用存储器管理控制操作方法和滑动(sliding)窗口方法。这是通过将存储器统一为一个存储器而管理参考图片存储器和非参考图片存储器并且利用较小的存储器来实现有效的存储器管理。在多视图视频编码期间，因为在视图方向中的图片具有相同的图片次序号，所以用于标识每一个图片的视图的信息能够被用于沿着视图方向标注图片。并且，帧间预测单元700可以使用按照以上方式管理的参考图片。

帧间预测单元700使用在解码图片缓冲器单元600中存储的参考图片来执行帧间预测。帧间编码宏块能够被划分成宏块划分(partition)。并且，可以根据一个或者两个参考图片来预测每一个宏块划分。帧间预测单元700包括运动补偿单元710、亮度补偿单元720、亮度差预测单元730、视图合成预测单元740、加权预测单元750等。

运动补偿单元710使用从熵解码单元200传递的信息来补偿当前块的运动。从视频信号中提取当前块的相邻块的运动矢量，并且然后由相邻块的运动矢量推导当前块的运动矢量预测。并且，使用推导出的运动矢量预测以及从视频信号中提取的差分运动矢量来补偿当前块的运动。并且，可以使用一个参考图片或者多个图片来执行运动补偿。在多视图视频编码期间，在当前图片参考不同视图中的图片的情形中，可以使用在解码图片缓冲器单元600中存储的用于视图间预测的参考图片列表信息来执行运动补偿。并且，还能够使用用于标识参考图片的视图的视图信息执行运动补偿。直接模式是用于根据用于编码块的运动信息来预测当前块的运动信息的编码模式。因为这种方法能够节省用于编码运动信息所需要的位的数目，所以压缩效率得以提高。例如，时间方向模式使用时间方向中的运动信息的相关性来预测关于当前块的运动信息。使用类似于该方法的方法，本发明能够使用视图方向中的运动信息的相关性来预测关于当前块的运动信息。

同时，在输入位流对应于多视图视频的情况下，因为各个视图序列是由不同照相机获得的，所以由于照相机的内部和外部因素而产生亮度差。为了防止这点，亮度补偿单元720补偿亮度差。在执行亮度补偿期间，可以使用指示是否在视频信号的特定层上执行亮度补偿的标志信息。例如，可以使用指示是否对相应的片段或者宏块执行亮度补偿的标志信息来执行亮度补偿。在使用标志信息执行亮度补偿期间，亮度补偿可应用于各种宏块类型(例如，帧间16x16模式、B-跳跃(B-skip)模式、直接模式等)。

在执行亮度补偿期间，能够使用关于相邻块的信息或者关于与当前块的视图不同的视图中的块的信息来重构当前块。并且，还能够使用当前块的亮度差值。在这种情况下，如果当前块参考不同视图中的块，则能够使用在解码图片缓冲器单元600中存储的用于视图间预测的参考图片列表信息来执行亮度补偿。在这种情况下，当前块的亮度差值指示在当前块的平均像素值和相应于当前块的参考块的平均像素值之间的差。作为使用亮度差值的示例，使用当前块的相邻块获得当前块的亮度差预测值，并且使用在亮度差值和亮度差预测值之间的差值(亮度差残值)。因此，解码单元能够使用该亮度差残值和亮度差预测值来重构当前块的亮度差值。在获得当前块的亮度差预测值期间，可以使用关于相邻块的信息。例如，可以使用相邻块的亮度差值来预测当前块的亮度差值。在预测之前，检查当前块的参考索引是否等于相邻块的参考索引。根据检查结果，然后决定将使用哪一种相邻块或者值。

视图合成预测单元740被用于使用与当前图片的视图相邻的视图中的图片来合成虚拟视图中的图片，并且使用虚拟视图中的合成图片来预测当前图片。解码单元能够根据从编码单元传递的视图间合成预测标识符来决定是否合成虚拟视图中的图片。例如，如果view_synthesize_pred_flag＝1或者view_syn_pred_flag＝1，则合成虚拟视图中的片段或者宏块。在这种情况下，当视图间合成预测标识符告知将产生虚拟视图时，可以使用用于识别图片的视图的视图信息来产生虚拟视图中的图片。并且，在根据虚拟视图中的合成图片来预测当前图片期间，可以使用视图信息来使用虚拟视图中的图片作为参考图片。

加权预测单元750被用于在编码其亮度暂时改变的序列的情况下补偿该序列的图片质量显著降低的现象。在MVC中，可以执行加权预测以补偿与不同视图中的序列的亮度差，以及对其亮度暂时改变的序列执行加权预测。例如，加权预测方法可以被分类成显式加权预测方法和隐式加权预测方法。

具体地，显式加权预测方法能够使用一个参考图片或者两个参考图片。在使用一个参考图片的情况下，通过将相应于运动补偿的预测信号乘以加权系数而产生预测信号。在使用两个参考图片的情况下，通过将偏移值增加到将相应于运动补偿的预测信号乘以加权系数所得到的值，从而产生预测信号。

并且，隐式加权预测使用离参考图片的距离执行加权预测。作为获得离参考图片的距离的方法，可以例如使用指示图片输出次序的POC(图片次序号)。在这种情况下，可以通过考虑每一个图片的视图的标识而获得POC。在获得关于不同视图中的图片的加权系数期间，可以使用用于识别图片的视图的视图信息以获得在各个图片的视图之间的距离。

在视频信号编码期间，深度信息可用于特定应用或者另一目的。在这种情况下，深度信息可以指能够指示视图间视差差异的信息。例如，能够通过视图间预测获得视差矢量。并且，所获得的视差矢量应该被传递到解码装置以用于当前块的视差补偿。然而，如果获得深度映射并且然后其被传递到解码装置，则可以根据深度映射(或者视差映射)推出视差矢量而不用将视差矢量传递到解码装置。在这种情况下，其优势在于要被传递到解码装置的深度信息的位数能够被降低。所以，通过根据深度映射推导视差矢量，能够提供一种新的视差补偿方法。因此，在根据深度映射推导视差矢量期间使用不同视图中的图片的情况下，可以使用用于标识图片的视图的视图信息。

根据预测模式选择通过上面解释的过程的帧间预测或者帧内预测图片以重构当前图片。在下面的说明中，对提供有效的视频信号的解码方法的各种实施例进行解释。

图4是根据本发明的一个实施例的用于提供视频信号的视图可分级性的级别信息的分层结构的图表。

参考图4，可以通过考虑视图间参考信息来决定关于每一个视图的级别信息。例如，因为不可能没有I-图片地解码P-图片和B-图片，所以可以向其视图间图片组是I-图片的基础视图分配“level＝0”，向其视图间图片组是P-图片的基础视图分配“level＝1”，并且向其视图间图片组是B-图片的基础视图分配“level＝2”。然而，还能够根据特定标准随机地决定级别信息。

可以根据特定标准或者无需标准地随机地决定级别信息。例如，在基于视图决定级别信息的情况下，可以将作为基础视图的视图V0设置为视图级别0，将使用一个视图中的图片预测的图片的视图设置为视图级别1，并且将使用多个视图中的图片预测的图片的视图设置为视图级别2。在这种情况下，可能需要具有与传统的解码器(例如，H.264/AVC、MPEG-2、MPEG-4等)的兼容性的至少一个视图序列。这个基础视图成为多视图编码的基础，它可以对应于用于预测另一个视图的参考视图。在MVC(多视图视频编码)中对应于基础视图的序列可以通过利用传统的序列编码方案(MPEG-2、MPEG-4、H.263、H.264等)编码而被配置成独立位流。对应于基础视图的序列能够与H.264/AVC相兼容或者可以不相兼容。然而，在与H.264/AVC相兼容的视图中的序列对应于基础视图。

如能够在图4中看到的，可以将使用视图V0中的图片预测的图片的视图V2、使用视图V2中的图片预测的图片的视图V4、使用视图V4中的图片预测的图片的视图V6以及使用视图V6中的图片预测的图片的视图V7设置为视图级别1。并且，可以将使用视图V0和V2中的图片预测的图片的视图V1和以相同方式预测的视图V3、以及以相同方式预测的视图V5设置为视图级别2。所以，在使用者的解码器不能观看多视图视频序列的情况下，其仅仅解码对应于视图级别0的视图中的序列。在使用者的解码器受到类信息限制的情况下，可以仅仅解码受限制的视图级别的信息。在这种情况下，类是指用于视频编码/解码过程中的算法的技术元素被标准化。具体地，类是用于解码压缩序列的位序列所需要的一组技术元素并且可以是一种子标准。

根据本发明的另一个实施例，级别信息可以根据照相机的位置而改变。例如，假设视图V0和V1是由位于前面的照相机获得的序列，视图V2和V3是由位于后面的照相机获得的序列，视图V4和V5是由位于左侧的照相机获得的序列，并且视图V6和V7是由位于右侧的照相机获得的序列，则可以将视图V0和V1设置为视图级别0，将视图V2和V3设置为视图级别1，将视图V4和V5设置为视图级别2，并且将视图V6和V7设置为视图级别3。可替代地，级别信息可以根据照相机校准而改变。可替代地，级别信息可以不基于特定标准地被随机地决定。

图5是根据本发明的一个实施例的在NAL报头的扩展区域中包括级别信息的NAL单元配置的图表。

参考图5，NAL单元基本上包括NAL报头和RBSP。NAL报头包括指示是否包括成为NAL单元的参考图片的片段的标志信息(nal_ref_idc)和指示NAL单元的类型的标识符(nal_unit_type)。并且，NAL报头还可包括指示关于分层结构以提供视图可分级性的信息的级别信息(view_level)。

压缩的原始数据被存储在RBSP中，并且RBSP末位被添加到RBSP的最后部分以表示RBSP的长度为8-位乘法数。作为NAL单元的类型，有IDR(即时解码刷新：instantaneous decoding refresh)、SPS(序列参数集：sequence parameter set)、PPS(图片参数集：pictureparameter set)、SEI(附加增强信息：supplemental enhancementinformation)等。

NAL报头包括关于视图标识符的信息。并且，在根据视图级别执行解码期间，参考视图标识符解码相应视图级别的视频序列。

NAL单元包括NAL报头51和片段层53。NAL报头51包括NAL报头扩展52。并且，片段层53包括片段报头54和片段数据55。

NAL报头51包括指示NAL单元的类型的标识符(nal_unit_type)。例如，指示NAL单元类型的标识符可以是关于可分级编码和多视图视频编码的标识符。在这种情况下，NAL报头扩展52可以包括区分当前NAL是用于可分级视频编码的NAL还是用于多视图视频编码的NAL的标志信息。并且，根据标志信息，NAL报头扩展52可以包括关于当前NAL的扩展信息。例如，在根据标志信息当前NAL是用于多视图视频编码的NAL的情况下，NAL报头扩展52可以包括指示关于分层结构以提供视图可分级性的信息的级别信息(view_level)。

图6是根据本发明的一个实施例的多视图视频信号的总体预测结构的图表，用于解释视图间图片组的概念。

参考图6，水平轴上的T0到T100指示根据时间的帧，并且垂直轴上的S0到S7指示根据视图的帧。例如，在T0处的图片是指在同一时间区T0由不同照相机捕捉的帧，而在S0处的图片是指在不同时间区由单一照相机捕捉的序列。并且，在图中的箭头指示各个图片的预测方向和预测次序。例如，在时间区T0上的视图S2中的图片P0是从I0预测的图片，它成为在时间区T0上的视图S4中的图片P0的参考图片。并且，它分别地成为在视图S2中的时间区T4和T2上的图片B1和B2的参考图片。

在多视图视频解码过程中，可能需要视图间随机访问。所以，通过减少解码强度(effort)，对随机视图的访问应该是可能的。在这种情况下，实现有效的访问可能需要视图间图片组的概念。视图间图片组是指其中所有的片段仅仅参考具有相同图片次序号的片段的编码图片。例如，视图间图片组是指仅仅参考不同视图中的片段而不参考当前视图中的片段的编码图片。在图6中，如果在时间区T0上的视图S0中的图片I0是视图间图片组，则在同一时间区、即时间区T0上的不同视图中的所有的图片均成为视图间图片组。作为另一个例子，如果时间区T8上的视图S0中的图片I0是视图间图片组，则在同一时间区、即时间区T8上的不同视图中的所有的图片均是视图间图片组。同样地，T16，...，T96，和T100中所有的图片也成为视图间图片组。

图7是根据本发明的实施例的预测结构的图表，用于解释新定义的视图间图片组的概念。

在MVC的总体预测结构中，GOP可以以I-图片开始。并且，I-图片与H.264/AVC相兼容。所以，与H.264/AVC相兼容的所有的视图间图片组总是能够成为I-图片。然而，在用P-图片来代替I-图片的情况下，可以进行更加有效的编码。具体地，使用使得GOP能够以与H.264/AVC相兼容的P-图片开始的预测结构使得能够进行更加有效的编码。

在这种情况下，如果视图间图片组被重新定义，则所有的片段成为能够不仅参考在同一时间区上的帧中的片段而且参考在不同时间区上的同一视图中的片段的编码图片。然而，在参考同一视图中在不同时间区上的片段的情形中，其可以被限制为仅仅与H.264/AVC相兼容的视图间图片组。例如，在图6中的视图S0中的时序点T8上的P-图片可以成为新定义的视图间图片组。同样地，在视图S0中的时序点T96上的P-图片或者在视图S0中的时序点T100上的P-图片可以成为新定义的视图间图片组。并且，能够仅当其是基础视图时定义视图间图片组。

在视图间图片组已被解码之后，根据按照输出次序在该视图间图片组之前被解码的图片来解码所有的顺序编码图片，而不进行帧间预测。

考虑图6和图7所示的多视图视频的总体编码结构，因为视图间图片组的视图间参考信息不同于非视图间图片组的视图间参考信息，所以有必要根据视图间图片组识别信息将视图间图片组和非视图间图片组相互区分。

视图间参考信息是指能够识别出视图间图片之间的预测结构的信息。这能够从视频信号的数据区域中获得。例如，可以从序列参数集区域中获得。并且，可以使用参考图片的数目和关于参考图片的视图信息来识别视图间参考信息。例如，获得全部视图的数目并且然后可以基于所有视图的数目来获得用于识别每一个视图的视图信息。并且，可以获得对于每一个视图的参考方向的参考图片的数目。根据参考图片的数目，可以获得关于每一个参考图片的视图信息。以此方式，能够获得视图间参考信息。并且，通过将视图间图片组和非视图间图片组相区分，可以识别视图间参考信息。这能够使用指示当前NAL中的编码片段是否为视图间图片组的视图间图片组识别信息而被获得。如下参考图8解释视图间图片组识别信息的细节。

图8是根据本发明的一个实施例的用于使用视图间图片组识别信息来解码多视图视频的装置的示意性框图。

参考图8，根据本发明的一个实施例的解码装置包括位流决定单元81、视图间图片组识别信息获得单元82以及多视图视频解码单元83。

如果输入位流，则位流决定单元81决定输入位流是用于可分级视频编码的编码位流还是用于多视图视频编码的编码位流。这能够通过在位流中包括的标志信息而被决定。

如果作为决定结果，输入位流是用于多视图视频编码的位流，则视图间图片组识别信息获得单元82能够获得视图间图片组识别信息。如果所获得的视图间图片组识别信息是“true(真)”，则其是指当前NAL的编码片段是视图间图片组。如果所获得的视图间图片组识别信息是“false(假)”，则其是指当前NAL的编码片段是非视图间图片组。可以从NAL报头的扩展区域或者片段层区域中获得该视图间图片组识别信息。

多视图视频解码单元83根据视图间图片组识别信息解码多视图视频。根据多视图视频序列的总体编码结构，视图间图片组的视图间参考信息不同于非视图间图片组的视图间参考信息。所以，例如在添加用于视图间预测的参考图片期间，可以使用视图间图片组识别信息，以产生参考图片列表。并且，还能够使用视图间图片组识别信息来管理用于视图间预测的参考图片。而且，视图间图片组识别信息可以被应用于假想参考解码器。

作为使用视图间图片组识别信息的另一个示例，在对于每一个解码过程使用不同视图中的信息的情况下，可以使用在序列参数集中包括的视图间参考信息。在这种情况下，可能需要用于区分当前图片是视图间图片组还是非视图间图片组的信息，即，视图间图片组识别信息。所以，能够对于每一个解码过程使用不同的视图间参考信息。

图9是根据本发明的实施例的用于产生参考图片列表的过程的流程图。

参考图9，解码图片缓冲器单元600充当存储或者打开先前编码图片以执行图片间预测的角色。

首先，在当前图片之前被编码的图片被存储在参考图片存储单元610中，以被用作参考图片(S91)。

在多视图视频编码期间，因为先前编码图片中的一些位于与当前图片的视图不同的视图中，因此用于识别图片的视图的视图信息可以被用于利用这些图片作为参考图片。所以，解码器应该获得用于识别图片的视图的视图信息(S92)。例如，视图信息可以包括用于识别图片的视图的“view_id”。

解码图片缓冲器单元600需要推导在其中使用的变量以产生参考图片列表。因为对于多视图视频编码可能需要视图间预测，所以如果当前图片参考不同视图中的图片，则可能有必要产生用于视图间预测的参考图片列表。在这种情况下，解码图片缓冲器单元600需要使用所获得的视图信息来推导用来产生用于视图间预测的参考图片列表的变量(S93)。

根据当前片段的片段类型，可以通过不同的方法来产生用于时间预测的参考图片列表或者用于视图间预测的参考图片列表(S94)。例如，如果片段类型是P/SP片段，则产生参考图片列表0(S95)。在片段类型是B-片段的情形中，产生参考图片列表0和参考图片列表1(S96)。在这种情况下，参考图片列表0或者1可以仅仅包括用于时间预测的参考图片列表或者用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者。这将在随后参考图8和图9详细解释。

被初始化的参考图片列表经历用于向被频繁地参考的图片分配更小的号以进一步提高压缩速率的过程(S97)。并且，这可以被称为用于参考图片列表的重排过程，这将在随后参考图12到19详细解释。使用经重排的参考图片列表来解码当前图片，并且解码图片缓冲器单元600需要管理解码的参考图片以更加有效地操作缓冲器(S98)。通过以上过程管理的参考图片被帧间预测单元700读取出，以被用于帧间预测。在多视图视频编码中，帧间预测可以包括视图间预测。在这种情况下，可使用用于视图间预测的参考图片列表。

如下参考图10和图11解释用于根据片段类型产生参考图片列表的方法的详细示例。

图10是根据本发明的一个实施例的用于解释当当前片段是P-片段时初始化参考图片列表的方法的图表。

参考图10，时间由T0，T1，...TN指示，而视图由V0，V1，...，V4指示。例如，当前图片指示在视图V4中在时间T3的图片。并且，当前图片的片段类型是P-片段。“PN”是变量PicNum的缩写，“LPN”是变量LongTermPicNum的缩写，并且“VN”是变量ViewNum的缩写。附加到每一个变量末端部分的数字指示每一个图片的时间(对于PN或者LPN)或者每一个图片的视图(对于VN)的索引。这可以以相同方式被应用于图11。

可以根据当前片段的片段类型以不同方式产生用于时间预测的参考图片列表或者用于视图间预测的参考图片列表。例如，在图12中的片段类型是P/SP片段。在这种情况下，产生参考图片列表0。具体地，参考图片列表0可以包括用于时间预测的参考图片列表和/或用于视图间预测的参考图片列表。在本实施例中，假设参考图片列表包括用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者。

存在各种方法来排序参考图片。例如，可以根据解码或者图片输出的次序排列参考图片。可替代地，可以基于使用视图信息推导的变量排列参考图片。可替代地，可以根据指示视图间预测结构的视图间参考信息排列参考图片。

在用于时间预测的参考图片列表的情形中，可以基于解码次序来排列短期参考图片和长期参考图片。例如，可以根据从指示图片识别号的值(例如，frame_num或者Longtermframeidx)推导的变量PicNum或者LongTermPicNum的值来排列它们。首先，短期参考图片可以在长期参考图片之前被初始化。可以从具有最高值的变量PicNum的参考图片到具有最低变量值的参考图片来设置短期参考图片的排列次序。例如，在PN0到PN2中，可以按照具有最高变量的PN1、具有中间变量的PN2和具有最低变量的PN0的次序来排列短期参考图片。可以从具有最低值的变量LongTermPicNum的参考图片到具有最高变量值的参考图片来设置长期参考图片的排列次序。例如，可以按照具有最高变量的LPN0和具有最低变量的LPN1的次序来排列长期参考图片。

在用于视图间预测的参考图片列表的情形中，可以基于使用视图信息推导的第一变量ViewNum来排列参考图片。具体地，可以按照具有最高第一变量(ViewNum)值的参考图片到具有最低第一变量(ViewNum)值的参考图片的次序来排列参考图片。例如，在VN0、VN1、VN2和VN3中，可以按照具有最高变量的VN3、VN2、VN1和具有最低变量的VN0的次序来排列参考图片。

因此，可以作为一个参考图片列表来管理用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者。可替代地，可以作为单独的参考图片列表分别地管理用于时间预测的参考图片列表和用于视图间预测的参考图片列表。在作为一个参考图片列表管理用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者的情形中，可以按照次序或者同时地初始化它们。例如，在根据次序初始化用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者的情形中，用于时间预测的参考图片列表被优先地初始化，并且用于视图间预测的参考图片列表然后被附加地初始化。该概念也可应用于图11。

如下参考图11解释当前图片的片段类型是B-片段的情形。

图11是根据本发明的一个实施例的用于解释当当前片段是B-片段时初始化参考图片列表的方法的图表。

参考图9，在片段类型是B-片段的情形中，产生参考图片列表0和参考图片列表1。在这种情况下，参考图片列表0或者参考图片列表1可以包括仅仅用于时间预测的参考图片列表或者用于时间预测的参考图片列表和用于视图间预测的参考图片列表两者。

在用于时间预测的参考图片列表的情形中，短期参考图片排列方法可以不同于长期参考图片排列方法。例如，在短期参考图片的情形中，可以根据图片次序号(在下文中简称POC)来排列参考图片。在长期参考图片的情形中，可以根据变量(LongtermPicNum)值来排列参考图片。并且，短期参考图片可以在长期参考图片之前被初始化。

在排列参考图片列表0的短期参考图片的次序中，在具有小于当前图片的POC值的参考图片中，优先地从具有最高POC值的参考图片到具有最低POC值的参考图片排列参考图片，并且然后在具有大于当前图片的POC值的参考图片中，从具有最低POC值的参考图片到具有最高POC值的参考图片进行排列。例如，可以优先地从在具有小于当前图片的POC值的参考图片PN0和PN1中具有最高POC值的PN1到PN0排列参考图片，并且然后从在具有小于当前图片的POC值的参考图片PN3和PN4中具有最低POC值的PN3到PN4排列。

在排列参考图片列表0的长期参考图片的次序中，从具有最低变量LongtermPicNum的参考图片到具有最高变量的参考图片来排列参考图片。例如，从在LPNO和LPN1中具有最低值的LPN0到具有第二最低变量的LPN1来排列参考图片。

在用于视图间预测的参考图片列表的情形中，可以基于使用视图信息推导的第一变量ViewNum来排列参考图片。例如，在用于视图间预测的参考图片列表0的情形中，可以从在具有比当前图片更低的第一变量值的参考图片中具有最高的第一变量值的参考图片到具有最低的第一变量值的参考图片来排列参考图片。然后从在具有大于当前图片的第一变量值的参考图片中具有最低的第一变量值的参考图片到具有最高的第一变量值的参考图片来排列参考图片。例如，优先地从在具有小于当前图片的第一变量值的VN0和VN1中具有最高的第一变量值的VN1到具有最低的第一变量值的VN0排列参考图片，并且然后从在具有大于当前图片的第一变量值的VN3和VN4中具有最低的第一变量值的VN3到具有最高的第一变量值的VN4进行排列。

在参考图片列表1的情形中，可以类似地应用在上面解释的排列参考列表0的方法。

首先，在用于时间预测的参考图片列表的情形中，在排列参考图片列表1的短期参考图片的次序中，优先地在具有大于当前图片的POC值的参考图片中从具有最低POC值的参考图片到具有最高POC值的参考图片来排列参考图片，并且然后在具有小于当前图片的POC值的参考图片中从具有最高POC值的参考图片到具有最低POC值的参考图片进行排列。例如，可以优先地从在具有大于当前图片的POC值的参考图片PN3和PN4中具有最低POC值的PN3到PN4来排列参考图片，并且然后从在具有大于当前图片的POC值的参考图片PN0和PN1中具有最高POC值的PN1到PN0进行排列。

在排列参考图片列表1的长期参考图片的次序中，从具有最低变量LongtermPicNum的参考图片到具有最高变量的参考图片来排列参考图片。例如，从在LPN0和LPN1中具有最低值的LPN0到具有最低变量的LPN1来排列参考图片。

在用于视图间预测的参考图片列表的情形中，可以基于使用视图信息推导的第一变量ViewNum来排列参考图片。例如，在用于视图间预测的参考图片列表1的情形中，可以在具有大于当前图片的第一变量值的参考图片中从具有最低的第一变量值的参考图片到具有最高的第一变量值的参考图片来排列参考图片。然后在具有小于当前图片的第一变量值的参考图片中从具有最高的第一变量值的参考图片到具有最低的第一变量值的参考图片来排列参考图片。例如，优先地在具有大于当前图片的第一变量值的VN3和VN4中从具有最低的第一变量值的VN3到具有最高的第一变量值的VN4来排列参考图片，并且然后在具有小于当前图片的第一变量值的VN0和VN1中从具有最高的第一变量值的VN1到具有最低的第一变量值的VN0进行排列。

通过以上过程被初始化的参考图片列表被传递到参考图片列表重排单元640。初始化的参考图片列表然后被重排以更有效地进行编码。重排过程用于通过操作解码图片缓冲器而通过向具有被选择为参考图片的最高可能性的参考图片分配小号来降低位速率。如下参考图12到19解释重排参考图片列表的各种方法。

图12是根据本发明的一个实施例的参考图片列表重排单元640的内部框图。

参考图12，参考图片列表重排单元640基本上包括片段类型检查单元642、参考图片列表0重排单元643和参考图片列表1重排单元645。

具体地，参考图片列表0重排单元643包括第一识别信息获得单元643A和第一参考索引分配改变单元643B。并且，参考图片列表1重排单元645包括第二识别获得单元645A和第二参考索引分配改变单元645B。

片段类型检查单元642检查当前片段的片段类型。然后根据片段类型决定是否重排参考图片列表0和/或参考图片列表1。例如，如果当前片段的片段类型是I-片段，则参考图片列表0和参考图片列表1均不被重排。如果当前片段的片段类型是P-片段，则仅仅重排参考图片列表0。如果当前片段的片段类型是B-片段，则参考图片列表0和参考图片列表1均被重排。

如果用于执行参考图片列表0的重排的标志信息是“真”并且如果当前片段的片段类型不是I-片段，则激活参考图片列表0重排单元643。第一识别信息获得单元643A获得指示参考索引分配方法的识别信息。第一参考索引分配改变单元643B根据识别信息改变被分配给参考图片列表0的每一个参考图片的参考索引。

同样地，如果用于执行参考图片列表1的重排的标志信息是“真”并且如果当前片段的片段类型是B-片段，则激活参考图片列表1重排单元645。第二识别信息获得单元645A获得指示参考索引分配方法的识别信息。第二参考索引分配改变单元645B根据识别信息改变被分配给参考图片列表1的每一个参考图片的参考索引。

所以，通过参考图片列表0重排单元643和参考图片列表1重排单元645产生用于实际帧间预测的参考图片列表信息。

如下参考图13解释通过第一或者第二参考索引分配改变单元643B或者645B来改变被分配给每一个参考图片的参考索引的方法。

图13是根据本发明的一个实施例的参考索引分配改变单元643B或者645B的内部框图。在下面的说明中，一起解释在图12中所示的参考图片列表0重排单元643和参考图片列表1重排单元645。

参考图13，第一和第二参考索引分配改变单元643B和645B的每一个包括用于时间预测的参考索引分配改变单元644A、用于长期参考图片的参考索引分配改变单元644B、用于视图间预测的参考索引分配改变单元644C和参考索引分配改变终止单元644D。根据由第一和第二识别信息获得单元643A和645A获得的识别信息，分别激活在第一和第二参考索引分配改变单元643B和645B中的部件。并且，保持执行重排过程，直至输入用于终止参考索引分配改变的识别信息。

例如，如果从第一或者第二识别信息获得单元643A或者645A接收到用于改变用于时间预测的参考索引的分配的识别信息，则激活用于时间预测的参考索引分配改变单元644A。用于时间预测的参考索引分配改变单元644A根据所接收的识别信息获得图片号差。在这种情况下，图片号差是指在当前图片的图片号和预测的图片号之间的差。并且，预测的图片号可以指之前刚刚分配的参考图片的号。所以，能够使用所获得的图片号差来改变参考索引的分配。在这种情况下，根据识别信息，可以向/从预测的图片号增加/减去图片号差。

作为另一个实例，如果接收到用于将参考索引的分配改变为指定的长期参考图片的识别信息，则激活用于长期参考图片的参考索引分配改变单元644B。用于长期参考图片的参考索引分配改变单元644B根据识别号获得指定图片的长期参考图片号。

作为另一个实例，如果接收到用于改变用于视图间预测的参考索引的分配的识别信息，则激活用于视图间预测的参考索引分配改变单元644C。用于视图间预测的参考索引分配改变单元644C根据识别信息获得视图信息差。在这种情况下，视图信息差是指在当前图片的视图号和预测的视图号之间的差。并且，预测的视图号可以指示之前刚刚分配的参考图片的视图号。所以，能够使用所获得的视图信息差改变参考索引的分配。在这种情况下，根据识别信息，可以向/从预测的视图号增加/减去视图信息差。

对于另一实例，如果接收到用于终止参考索引分配改变的识别信息，则激活参考索引分配改变终止单元644D。参考索引分配改变终止单元644D根据所接收的识别信息终止参考索引的分配改变。所以，参考图片列表重排单元640产生参考图片列表信息。

因此，能够与用于时间预测的参考图片一起地管理用于视图间预测的参考图片。可替代地，能够独立于用于时间预测的参考图片来管理用于视图间预测的参考图片。为此，可能需要用于管理用于视图间预测的参考图片的新信息。这将在随后参考图15到19解释。

如下参考图14解释用于视图间预测的参考索引分配改变单元644C的细节。

图14是根据本发明的一个实施例的用于解释使用视图信息重排参考图片列表的过程的图表。

参考图14，如果当前图片的视图号VN是3，如果解码图片缓冲器的尺寸DPBsize是4，并且如果当前片段的片段类型是P-片段，则如下解释用于参考图片列表0的重排过程。

首先，初始预测的视图号是“3”，它是当前图片的视图号。并且，用于视图间预测的参考图片列表0的初始排列是“4，5，6，2”(①)。在这种情况下，如果接收到用于通过减去视图信息差而改变用于视图间预测的参考索引的分配的识别信息，则根据所接收的识别信息获得“1”作为视图信息差。通过从预测的视图号(＝3)减去视图信息差(＝1)计算出新预测的视图号(＝2)。具体地，将用于视图间预测的参考图片列表0的第一索引分配给具有视图号2的参考图片。并且，可以将先前分配给第一索引的图片移动到参考图片列表0的最后部分。所以，重排的参考图片列表0是“2，5，6，4”(②)。随后，如果接收到用于通过减去视图信息差而改变用于视图间预测的参考索引的分配的识别信息，则根据识别信息获得“-2”作为视图信息差。然后通过从预测的视图号(＝2)减去视图信息差(＝-2)计算出新预测的视图号(＝4)。具体地，将用于视图间预测的参考图片列表0的第二索引分配给具有视图号4的参考图片。因此，重排的参考图片列表0是“2，4，6，5”(③)。随后，如果接收到用于终止参考索引分配改变的识别信息，则根据所接收的识别信息产生最终具有重排的参考图片列表0的参考图片列表0(④)。因此，最终产生的用于视图间预测的参考图片列表0的次序是“2，4，6，5”。

对于在已分配用于视图间预测的参考图片列表0的第一索引之后重排其余图片的另一个实例，可以将分配给每一个索引的图片移动到正好在相应的图片的后面的位置。具体地，将第二索引分配给具有视图号4的图片，将第三索引分配给向其分配第二索引的图片(视图号5)，并且将第四索引分配给向其分配第三索引的图片(视图号6)。因此，重排的参考图片列表0变成“2，4，5，6”。并且，可以以相同的方式执行随后的重排过程。

通过以上解释的过程而产生的参考图片列表被用于帧间预测。可以作为一个参考图片列表来管理用于视图间预测的参考图片列表和用于时间预测的参考图片列表两者。可替代地，用于视图间预测的参考图片列表和用于时间预测的参考图片列表中的每一个可以作为单独的参考图片列表被管理。如下参考图15到19对此进行解释。

图15是根据本发明的另一实施例的参考图片列表重排单元640的内部框图。

参考图15，为了作为单独的参考图片列表来管理用于视图间预测的参考图片列表，可能需要新的信息。例如，在一些情形中，用于时间预测的参考图片列表被重排，并且然后用于视图间预测的参考图片列表被重排。

参考图片列表重排单元640基本上包括用于时间预测的参考图片列表重排单元910、NAL类型检查单元960和用于视图间预测的参考图片列表重排单元970。

用于时间预测的参考图片列表重排单元910包括片段类型检查单元642、第三识别信息获得单元920、第三参考索引分配改变单元930、第四识别信息获得单元940和第四参考索引分配改变单元950。第三参考索引分配改变单元930包括用于时间预测的参考索引分配改变单元930A、用于长期参考图片的参考索引分配改变单元930B和参考索引分配改变终止单元930C。同样地，第四参考索引分配改变单元950包括用于时间预测的参考索引分配改变单元950A、用于长期参考图片的参考索引分配改变单元950B和参考索引分配改变终止单元950C。

用于时间预测的参考图片列表重排单元910重排用于时间预测的参考图片。用于时间预测的参考图片列表重排单元910的操作除了用于视图间预测的参考图片的信息外与图10所示的前述参考图片列表重排单元640的操作相同。所以，在下面的说明中省略了用于时间预测的参考图片列表重排单元910的细节。

NAL类型检查单元960检查所接收的位流的NAL类型。如果NAL类型是用于多视图视频编码的NAL，则通过用于时间预测的参考图片列表重排单元970重排用于视图间预测的参考图片。所产生的用于视图间预测的参考图片列表与由用于时间预测的参考图片列表重排单元910产生的参考图片列表一起被用于帧间预测。然而，如果NAL类型不是用于多视图视频编码的NAL，则用于视图间预测的参考图片列表不被重排。在这种情况下，仅仅产生用于时间预测的参考图片列表。并且，视图间预测参考图片列表重排单元970重排用于视图间预测的参考图片。如下参考图16对此进行详细解释。

图16是根据本发明的一个实施例的用于视图间预测的参考图片列表重排单元970的内部框图。

参考图16，用于视图间预测的参考图片列表重排单元970包括片段类型检查单元642、第五识别信息获得单元971、第五参考索引分配改变单元972、第六识别信息获得单元973和第六参考索引分配改变单元974。

片段类型检查单元642检查当前片段的片段类型。如果这样，然后根据片段类型决定是否执行参考图片列表0和/或参考图片列表1的重排。能够从图10推出片段类型检查单元642的细节，其在下面的说明中被省略。

第五和第六识别信息获得单元971和973中的每一个获得指示参考索引分配方法的识别信息。并且，第五和第六参考索引分配改变单元972和974中的每一个改变被分配给参考图片列表0和/或1的每一个参考图片的参考索引。在这种情况下，参考索引可以仅仅指参考图片的视图号。并且，指示参考索引分配方法的识别信息可以是标志信息。例如，如果标志信息为真，则改变视图号的分配。如果标志信息为假，则可以终止视图号的重排过程。如果标志信息为真，则第五和第六参考索引分配改变单元972和974中的每一个可以根据标志信息获得视图号差。在这种情况下，视图号差是指在当前图片的视图号和预测图片的视图号之间的差。并且，预测图片的视图号可以指之前刚刚分配的参考图片的视图号。然后能够使用视图号差来改变视图号分配。在这种情况下，根据识别信息，可以向/从预测图片的视图号增加/减去视图号差。

因此，为了作为单独的参考图片列表来管理用于视图间预测的参考图片列表，有必要新定义一种句法结构。作为在图15和图16中解释的内容的一个实施例，如下参考图17、图18和图19对句法进行解释。

图17和图18是根据本发明的一个实施例的用于参考图片列表重排的句法的图表。

参考图17，图15所示的用于时间预测的参考图片列表重排单元910的操作被表示为句法。与图15所示的块相比较，片段类型检查单元642对应于S1和S6，并且第四识别信息获得单元940对应于S7。第三参考索引分配改变单元930的内部块分别对应于S3、S4和S5。并且，第四参考索引分配改变单元950的内部块分别对应于S8、S9和S10。

参考图18，NAL类型检查单元960和视图间参考图片列表重排单元970的操作被表示为句法。与图15和图16所示的各个块相比较，NAL类型检查单元960对应于S11，片段类型检查单元642对应于S13和S16，第五识别信息获得单元971对应于S14，并且第六识别信息获得单元973对应于S17。第五参考索引分配改变单元972对应于S15，并且第六参考索引分配改变单元974对应于S18。

图19是根据本发明的另一个实施例的用于参考图片列表重排的句法的图表。

参考图19，NAL类型检查单元960和视图间参考图片列表重排单元970的操作被表示为句法。与图15和图16所示的各个块相比较，NAL类型检查单元960对应于S21，片段类型检查单元642对应于S22和S25，第五识别信息获得单元971对应于S23，并且第六识别信息获得单元973对应于S26。第五参考索引分配改变单元972对应于S24，并且第六参考索引分配改变单元974对应于S27。

如在前面的说明中所述，用于视图间预测的参考图片列表可以被帧间预测单元700使用，并且也可以用于执行亮度补偿。在执行运动估计/运动补偿期间可应用亮度补偿。在当前图片使用不同视图中的参考图片的情形中，能够使用用于视图间预测的参考图片列表来更有效率地执行亮度补偿。如下解释根据本发明的实施例的亮度补偿。

图20是根据本发明的一个实施例的用于获得当前块的亮度差值的过程的图表。

亮度补偿是指用于根据亮度变化来解码自适应运动补偿视频信号的过程。并且，它可应用于视频信号的预测结构，例如视图间预测、视图内预测等。

亮度补偿是指用于使用亮度差残值和与将被解码的块对应的亮度差预测值来解码视频信号的过程。在这种情况下，可以从当前块的相邻块获得亮度差预测值。可以使用用于相邻块的参考信息来决定用于从相邻块获得亮度差预测值的过程，并且在搜索相邻块期间序列和方向能够被加以考虑。相邻块是指已经被解码的块并且还指通过考虑在相同图片中关于视图或者时间的冗余而解码的块或者通过考虑不同图片中的冗余而解码的序列。

在比较在当前块和候选参考块之间的类似性时，在两个块之间的亮度差应该被加以考虑。为了补偿亮度差，执行新的运动估计/补偿。可以使用公式1发现新的SAD。

[公式1]

$\begin{array}{c}{M}_{\mathrm{cur}}=\frac{1}{S\×T}\underset{i=m}{\overset{m+S-1}{\mathrm{\&Tgr;}}}\underset{j=n}{\overset{n+T-1}{\mathrm{\Σ}}}f(i,j)\\ M_{\mathrm{ref}}(p,q)=\frac{1}{S\×T}\underset{i=p}{\overset{p+S-1}{\mathrm{\Σ}}}\underset{j=q}{\overset{q+T-1}{\mathrm{\Σ}}}r(i,j)\end{array}$

[公式2]

$\mathrm{NewSAD}(x,y)=\underset{i=m}{\overset{m+S-1}{\mathrm{\Σ}}}\underset{j=n}{\overset{n+T-1}{\text{\Σ}}}|\{f(i,j)-M_{\mathrm{cur}}\}-\{r(i+x,j+y)-M_{\mathrm{ref}}(m+x,n+y)\}|$

在这种情况下，“Mcurr”指示当前块的平均像素值，而“Mref”指示参考块的平均像素值。“f(i，j)”指示当前块的像素值，而“r(i+x，j+y)”指示参考块的像素值。通过基于根据公式2的新的SAD执行运动估计，能够获得在当前块和参考块之间的平均像素差值。并且，所获得的平均像素差值可以被称为亮度差值(IC_offset)。

在执行对其应用亮度补偿的运动估计的情形中，产生亮度差值和运动矢量。并且，使用亮度差值和运动矢量根据公式3执行亮度补偿。

[公式3]

NewR(i，j)＝{f(i，j)-M_cur}-{r(i+x＇，j+y＇)-M_ruf(m+x＇，n+y＇)}

          ＝{f(i，j)-r(i+x＇，j+y＇)}-{M_cur-M_ref(m+x＇，n+y＇)}

          ＝{f(i，j)-r(i+x＇，j+y＇)}-IC_offsei

在这种情况下，NewR(i，j)指示亮度补偿误差值(残值)，而(x′，y′)指示运动矢量。

应该将亮度差值(Mcurr-Mref)传递到解码单元。解码单元以下面的方式执行亮度补偿。

[公式4]

$\left.\begin{array}{c}f\′(i,j)=\{\mathrm{NewR}\′\′(x\′,y\′,i,j)+r(i+x\′,j+y\′)\}+\{M_{\mathrm{cur}}-M_{\mathrm{ref}}(m+x\′,n+y\′)\}\\ =\{\mathrm{NewR}\′\′(x\′,y\′,i,j)+r(i+x\′,j+y\′)\}+\mathrm{IC}\_\mathrm{offset}\end{array}\right|$

在公式4中，NewR＂(i，j)指示重构的亮度补偿误差值(残值)，而f′(i，j)指示重构的当前块的像素值。

为了重构当前块，应该将亮度差值传递到解码单元。并且，可以从相邻块的信息来预测亮度差值。为了进一步降低编码亮度差值的位数，可以仅仅发送在当前块的亮度差值(IC_offset)和相邻块的亮度差值(predIC_offset)之间的差值(RIC_offset)。这被表示成公式5。

[公式5]

RIC_offset＝IC_offset-predIC_offset

图21是根据本发明的实施例的用于执行当前块的亮度补偿的过程的流程图。

参考图21，首先，从视频信号提取相邻块的亮度差值，该亮度差值指示在当前块的相邻块和被相邻块参考的块之间的平均像素差值(S2110)。

随后，使用亮度差值获得用于当前块的亮度补偿的亮度差预测值(S2120)。所以，能够使用所获得的亮度差预测值来重构当前块的亮度差值。

在获得亮度差预测值中，可以使用各种方法。例如，在从相邻块的亮度差值预测当前块的亮度差值之前，检查当前块的参考索引是否等于相邻块的参考索引。然后能够根据检查结果决定使用哪种相邻块或者值。对于另一实例，在获得亮度差预测值中，可以使用指示是否执行当前块的亮度补偿的标志信息(IC_flag)。并且，也可以使用相邻块的信息来预测用于当前块的标志信息。对于另一实例，可以使用参考索引检查方法和标志信息预测方法两者来获得亮度差预测值。如下参考图22到24对此进行详细解释。

图22是根据本发明的一个实施例的用于使用关于相邻块的信息来获得当前块的亮度差预测值的过程的框图。

参考图22，在获得当前块的亮度差预测值期间，可以使用关于相邻块的信息。在本公开中，块可以包括宏块或者子宏块。例如，能够使用相邻块的亮度差值来预测当前块的亮度差值。在这之前，检查当前块的参考索引是否等于相邻块的参考索引。根据检查结果，然后能够决定将使用哪种相邻块或者值。在图22中，“refIdxLX”指示当前块的参考索引，“refIdxLXN”指示块-N的参考索引。在这种情况下，“N”是与当前块相邻的块的标记并且指示A、B或者C。并且，“PredIC_offsetN”指示用于相邻块-N的亮度补偿的亮度差值。如果不能使用位于当前块右上端处的块-C，则能够使用块-D而不是块-C。具体地，关于块-D的信息可用作关于块-C的信息。如果不能使用块-B和块-C两者，则能够替代地使用块-A。即，能够将关于块-A的信息用作关于块-B或者块-C的信息。

对于另一实例，在获得亮度差预测值期间，可以使用指示是否执行当前块的亮度补偿的标志信息(IC_flag)。可替代地，在获得亮度差预测值期间可以使用参考索引检查方法和标志信息预测方法两者。在这种情况下，如果关于相邻块的标志信息指示不执行亮度补偿，即如果IC_falg＝＝0，则将相邻块的亮度差值“PredIC＿offsetN”设置为0。

图23是根据本发明的一个实施例的用于使用关于相邻块的信息来执行亮度补偿的过程的流程图。

参考图23，解码单元从视频信号提取参考块的平均像素值、当前块的参考索引、参考块的参考索引等，并且然后能够使用所提取的信息获得当前块的亮度差预测值。解码单元获得在当前块的亮度差值和亮度差预测值之间的差值(亮度差残值)，并且然后能够使用所获得的亮度差残值和亮度差预测值来重构当前块的亮度差值。在这种情况下，能够使用关于相邻块的信息以获得当前块的亮度差预测值。例如，能够使用相邻块的亮度差值预测当前块的亮度差值。在这之前，检查当前块的参考索引是否等于相邻块的参考索引。根据检查结果，然后能够决定将使用哪种相邻块或者值。

具体地，从视频信号提取相邻块的亮度差值，该亮度差值指示在当前块的相邻块和被相邻块参考的块之间的平均像素差值(S2310)。

随后，检查当前块的参考索引是否等于多个相邻块中的一个的参考索引(S2320)。

作为检查步骤S2320的结果，如果存在至少一个相邻块具有与当前块相同的参考索引，则检查是否存在一个相应的相邻块(S2325)。

作为检查步骤S2325的结果，如果存在仅仅一个相邻块具有与当前块相同的参考索引，则将具有与当前块相同的参考索引的相邻块的亮度差值分配给当前块的亮度差预测值(S2330)。具体地，它是“PredIC_offset＝PredIC_offsetN”。

如果作为检查步骤S2320的结果不存在具有与当前块相同的参考索引的相邻块，或者如果作为检查步骤S2325的结果存在至少两个相邻块具有与当前块相同的参考索引，则将相邻块的亮度差值(PredIC_offsetN，N＝A、B或者C)的中值分配给当前块的亮度差预测值(S650)。具体地，它是“PredIC_offset＝Median(PredIC_offsetA，PredIC_offsetB，PredIC_offsetC)”。

图24是根据本发明的另一个实施例的用于使用关于相邻块的信息来执行亮度补偿的过程的流程图。

参考图24，解码单元必须重构当前块的亮度差值以执行亮度补偿。在这种情况下，可以使用关于相邻块的信息来获得当前块的亮度差预测值。例如，可以使用相邻块的亮度差值来预测当前块的亮度差值。在这之前，检查当前块的参考索引是否等于相邻块的参考索引。根据检查结果，然后能够决定将使用哪种相邻块或者值。

具体地，从视频信号提取相邻块的亮度差值，该亮度差值指示在当前块的相邻块和被相邻块参考的块之间的平均像素差值(S2410)。

随后，检查当前块的参考索引是否等于多个相邻块中的一个的参考索引(S2420)。

作为检查步骤S720的结果，如果存在至少一个相邻块具有与当前块相同的参考索引，则检查是否存在一个相应的相邻块(S2430)。

作为检查步骤S2430的结果，如果存在仅仅一个相邻块具有与当前块相同的参考索引，则将具有与当前块相同的参考索引的相邻块的亮度差值分配给当前块的亮度差预测值(S2440)。具体地，它是“PredIC_offset＝PredIC_offsetN”。

如果作为检查步骤S2420的结果不存在具有与当前块相同的参考索引的相邻块，则将当前块的亮度差预测值设置为0(S2460)。具体地，它是“PredIC_offset＝0”。

如果作为检查步骤S2430的结果存在至少两个相邻块具有与当前块相同的参考索引，则将具有不同于当前块的参考索引的相邻块设置为0，并且将包括被设置为0的值的相邻块的亮度差值的中值分配给当前块的亮度差预测值(S2450)。具体地，它是“PredIC_offset＝Median(PredIC_offsetA，PredIC_offsetB，PredIC_offsetC)”。然而，在存在具有不同于当前块的参考索引的相邻块的情形中，能够在PredIC_offsetA、PredIC_offsetB或者PredIC_offsetC中包括值“0”。

同时，用于识别图片的视图的视图信息和用于视图间预测的参考图片列表可应用于合成虚拟视图中的图片。在用于合成虚拟视图中的图片的过程中，可以参考在不同视图中的图片。所以，如果使用视图信息和用于视图间预测的参考图片列表，则能够更有效率地合成虚拟视图中的图片。在下面的说明中，解释根据本发明的实施例的合成虚拟视图中的图片的方法。

图25是根据本发明的一个实施例的用于使用虚拟视图中的图片来预测当前图片的过程的框图。

参考图25，在多视图视频编码中执行视图间预测期间，能够使用不同于当前视图的视图中的图片作为参考图片来预测当前图片。然而，使用与当前图片的视图相邻的视图中的图片来获得虚拟视图中的图片，并且然后使用所获得的虚拟视图中的图片来预测当前图片。如果这样，则能够更准确地执行预测。在这种情况下，可以使用指示图片的视图的视图标识符来利用相邻视图中的图片或者特定视图中的图片。在产生虚拟视图的情形中，必须存在用于指示是否产生虚拟视图的特定句法。如果该句法指示应产生虚拟视图，则能够使用视图标识符来产生虚拟视图。由视图合成预测单元740获得的虚拟视图中的图片可被用作参考图片。在这种情况下，可以将视图标识符分配给虚拟视图中的图片。在用于执行运动矢量预测来传递运动矢量的过程中，当前块的相邻块可以参考由视图合成预测单元740获得的图片。在这种情况下，为了将虚拟视图中的图片用作参考图片，可以利用指示图片的视图的视图标识符。

图26是根据本发明的实施例的用于在MVC中执行视图间预测期间合成虚拟视图的图片的过程的流程图。

参考图26，使用与当前图片的视图相邻的视图中的图片合成虚拟视图中的图片。然后使用所合成的虚拟视图中的图片预测当前图片。如果这样，则能够实现更加准确的预测。在合成虚拟视图中的图片的情形中，存在指示是否通过合成虚拟视图中的图片来执行当前图片的预测的特定句法。如果决定是否执行当前图片的预测，则可以更加有效地编码。该特定句法被定义为如下解释的视图间合成预测标识符。例如，通过片段层合成虚拟视图中的图片，以定义指示是否执行当前图片的预测的“view_synthesize_pred_flag”。并且，通过宏块层合成虚拟视图中的图片，以定义指示是否执行当前图片的预测的“view_syn_pred_flag”。如果“view_synthesize_pred_flag＝1”，则当前片段使用与当前片段的视图相邻的视图中的片段来合成虚拟视图中的片段。然后能够使用所合成的片段来预测当前片段。如果“viewsynthesize_pred_flag＝0”，则不合成虚拟视图中的片段。同样地，如果“view_syn_pred_flag＝1”，则当前宏块使用与当前宏块的视图相邻的视图中的宏块来合成虚拟视图中的宏块。然后能够使用所合成的宏块来预测当前宏块。如果“view_syn_pred_flag＝0”，则不合成虚拟视图中的宏块。因此，在本发明中，从视频信号提取指示是否获得虚拟视图中的图片的视图间合成预测标识符。然后能够使用视图间合成预测标识符获得虚拟视图中的图片。

如在前面的说明中所述，帧间预测单元700能够使用用于识别图片的视图的视图信息和用于视图间预测的参考图片列表。并且，它们也能够被用于执行加权预测。加权预测可应用于用于执行运动补偿的过程。这样，如果当前图片使用不同视图中的参考图片，则能够使用视图信息和用于视图间预测的参考图片列表更加有效率地执行加权预测。如下解释根据本发明的实施例的加权预测方法。

图27是根据本发明的在视频信号编码中根据片段类型执行加权预测的方法的流程图。

参考图27，加权预测是在P-片段或者B-片段宏块中分级运动补偿预测数据样本的方法。加权预测方法包括用于使用从关于参考图片的信息获得的加权系数信息对当前图片执行加权预测的显式模式，和用于使用从关于在当前图片和参考图片中的一个之间的距离的信息获得的加权系数信息对当前图片执行加权预测的隐式模式。可以根据当前宏块的片段类型不同地应用加权预测方法。例如，在显式模式中，可以根据对其执行加权预测的当前宏块是P-片段的宏块还是B-片段的宏块来改变加权系数信息。并且，显式模式的加权系数可以由编码器决定并且可以通过被包括于片段报头中而被传递。另一方面，在隐式模式中，可以基于列表0和列表1的相对时间位置获得加权系数。例如，如果参考图片时间上靠近当前图片，则可以应用大的加权系数。如果参考图片时间上远离当前图片，则可以应用小的加权系数。

首先，从视频信号提取出将向其应用加权预测的宏块的片段类型(S2710)。

随后，可以根据所提取的片段类型对宏块执行加权预测(S2720)。

在这种情况下，片段类型可以包括对其应用视图间预测的宏块。视图间预测是指使用关于与当前图片的视图不同的视图中的图片的信息来预测当前图片。例如，片段类型可以包括对其应用时间预测以用于使用关于与当前图片的视图相同的视图中的图片的信息执行预测的宏块、对其应用视图间预测的宏块以及对其应用时间预测和视图间预测两者的宏块。并且，片段类型可以包括对其仅仅应用时间预测的宏块、对其仅仅应用视图间预测的宏块或者对其应用时间预测和视图间预测两者的宏块。此外，片段类型可以包括两种宏块类型或者所有的三种宏块类型。这将在随后参考图28详细解释。因此，在从视频信号提取包括应用视图间预测的宏块的片段类型的情形中，使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测。这样，能够利用用于识别图片的视图的视图标识符来使用关于在不同视图中的图片的信息。

图28是根据本发明的一个实施例的在视频信号编码中在片段类型中可容许的宏块类型的图表。

参考图28，如果将视图间预测的P-片段类型定义为VP(ViewP)，则对于视图间预测的P-片段类型，可容许帧内宏块I、从当前视图中的一个图片预测的宏块P或者从不同视图中的一个图片预测的宏块VP(2810)。

在将视图间预测的B-片段类型定义为VB(View_B)的情形中，可容许从当前视图中的至少一个图片预测的宏块P或者B或者从不同视图中的至少一个图片预测的宏块VP或者VB(2820)。

在将对其使用时间预测、视图间预测或者时间预测与视图间预测两者执行预测的片段类型定义为“Mixed(混合)”的情形中，对于混合片段类型，可容许帧内宏块I、从当前视图中的至少一个图片预测的宏块P或者B、从不同视图中的至少一个图片预测的宏块VP或者VB、或者使用当前视图中的图片与不同视图中的图片两者预测的宏块“Mixed(混合)”(2830)。在这种情况下，为了使用不同视图中的图片，可以使用用于识别图片的视图的视图标识符。

图29和图30是根据本发明的一个实施例的用于根据新定义的片段类型来执行加权预测的句法的图表。

如在前面图28的说明中所述，如果将片段类型决定为VP、VB或者混合，则可以将用于执行传统的加权预测(例如，H.264)的句法修改成图29或者图30。

例如，如果片段类型是时间预测的P-片段，则添加部分“if(slice_type！＝VP‖slice_type！＝VB)”(2910)。

如果片段类型是时间预测的B-片段，则if-语句可以被修改成“if(slice_type＝＝B‖slice_type＝＝Mixed)”(2920)。

通过新定义VP片段类型和VB片段类型，可以新添加类似于图29的格式(2930，2940)。在这种情况下，因为添加了关于视图的信息，所以句法元素分别包括“view(视图)”部分。例如，有“luma_log2_view_weight_denom，chroma_log2_view_weight_denom”。

图31是根据本发明的在视频信号编码中使用指示是否执行视图间加权预测的标志信息执行加权预测的方法的流程图。

参考图31，在对其应用本发明的视频信号编码中，在使用指示是否将执行加权预测的标志信息的情形中，能够进行更加有效率的编码。

可以基于片段类型来定义标志信息。例如，可以存在指示加权预测将被应用于P-片段还是SP-片段的标志信息或者指示加权预测是否将被应用于B-片段的标志信息。

具体地，标志信息可以被定义为“weighted_pred_flag”或者“weighted_bipred_idc”。如果“weighted_pred_flag＝0”，则它指示不向P-片段和SP-片段应用加权预测。如果“weighted_pred_flag＝1”，则它指示向P-片段和SP-片段应用加权预测。如果“weighted_bipred_idc＝0”，则它指示向B-片段应用默认加权预测。如果“weighted_bipred_idc＝1”，则它指示向B-片段应用显式加权预测。如果“weighted_bipred_idc＝2”，则它指示向B-片段应用隐式加权预测。

在多视图视频编码中，可以基于片段类型定义指示是否将使用关于视图间图片的信息执行加权预测的标志信息。

首先，从视频信号提取片段类型和指示是否将执行视图间加权预测的标志信息(S3110，S3120)。在这种情况下，片段类型可以包括对其应用时间预测以用于使用关于与当前图片的视图相同的视图中的图片的信息执行预测的宏块以及对其应用视图间预测以用于使用关于与当前图片的视图不同的视图中的图片的信息执行预测的宏块。

然后可以基于所提取的片段类型和所提取的标志信息决定加权预测模式(S3130)。

随后，可以根据所决定的加权预测模式执行加权预测(S3140)。在这种情况下，标志信息可以包括指示是否将使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测的标志信息以及前述的“weighted_pred_flag”和“weighted_bipred_flag”。这将在随后参考图32详细解释。

因此，在当前宏块的片段类型是包括对其应用视图间预测的宏块的片段类型的情形中，与使用指示是否将使用关于不同视图中的图片的信息执行加权预测的标志信息的情形相比，能够进行更加有效率的编码。

图32是根据本发明的一个实施例的用于解释根据指示是否使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测的标志信息的加权预测方法的图表。

参考图32，例如，可以将指示是否将使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测的标志信息定义为“view_weighted_pred_flag”或者“view_weighted_bipred_flag”。

如果“view_weighted_pred_flag＝0”，则它指示不向VP-片段应用加权预测。如果“view_weighted_pred_flag＝1”，则向VP-片段应用显式加权预测。如果“view_weighted_bipred_flag＝0”，则它指示向VB-片段应用默认加权预测。如果“view_weighted_bipred_flag＝1”，则它指示向VB-片段应用显式加权预测。如果“view_weighted_bipred_flag＝2”，则它指示向VB-片段应用隐式默认加权预测。

在向VB-片段应用隐式加权预测的情形中，可以从在当前视图和不同视图之间的相对距离获得加权系数。在向VB-片段应用隐式加权预测的情形中，可以使用识别图片的视图的视图标识符或者通过考虑每一个视图的区别而提供的图片次序号(POC)执行加权预测。

以上标志信息可以被包括在图片参数集(PPS)中。在这种情况下，图片参数集(PPS)是指指示所有图片的编码模式(例如，熵编码模式、按图片单元的量化参数初始值等)的报头信息。然而，图片参数集不被附到所有的图片。如果不存在图片参数集，则将正好在这之前存在的图片参数集用作报头信息。

图33是根据本发明的一个实施例的用于根据新定义的标志信息执行加权预测的句法的图表。

参考图33，在对其应用本发明的多视图视频编码中，在定义包括应用于视图间预测的宏块的片段类型和指示是否将使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测的标志信息的情形中，有必要根据片段类型决定将执行哪种加权预测。

例如，如果从视频信号提取的片段类型(如图33所示)是P-片段或者SP-片段，则如果“weighted_pred_flag＝1”可以执行加权预测。在片段类型是B-片段的情形中，如果“weighted_bipred_flag＝1”，则可以执行加权预测。在片段类型是VP-片段的情形中，如果“view_weighted_pred_flag＝1”，则可以执行加权预测。在片段类型是VB-片段的情形中，如果“view_weighted_bipred_flag＝1”，则可以执行加权预测。

图34是根据本发明的实施例的根据NAL(网络抽象层)单元执行加权预测的方法的流程图。

参考图34，首先，从视频信号提取NAL单元类型(nal_unit_type)(S910)。在这种情况下，NAL单元类型是指指示NAL单元的类型的标识符。例如，如果“nal_unit_type＝5”，则NAL单元是IDR图片的片段。并且，IDR(即时解码刷新)图片是指视频序列的报头图片。

随后，检查所提取的NAL单元类型是否是用于多视图视频编码的NAL单元类型(S3420)。

如果NAL单元类型是用于多视图视频编码的NAL单元类型，则使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测(S3430)。NAL单元类型可以是可应用于可分级视频编码和多视图视频编码两者的NAL单元类型或者仅仅用于多视图视频编码的NAL单元类型。因此，如果NAL单元类型是用于多视图视频编码，则应使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测。所以，有必要定义新的句法。这将如下参考图35和图36详细解释。

图35和图36是根据本发明的一个实施例的在NAL单元类型是用于多视图视频编码的情形中用于执行加权预测的句法的图表。

首先，如果NAL单元类型是用于多视图视频编码的NAL单元类型，则可以将用于执行传统的加权预测(例如，H.264)的句法修改成图35或者图36所示的句法。例如，引用数字3510指示用于执行传统的加权预测的句法部分，而引用数字3520指示用于在多视图视频编码中执行加权预测的句法部分。所以，如果NAL单元类型是用于多视图视频编码的NAL单元类型，则仅通过句法部分3520执行加权预测。在这种情况下，因为添加了关于视图的信息，所以每一个句法元素包括“view(视图)”部分。例如，有“Iuma_view_log2_weight_denom，chroma_view_log2_weight_denom”等。并且，图36中的引用数字3530指示用于执行传统的加权预测的句法部分，并且图36中的引用数字3540指示用于在多视图视频编码中执行加权预测的句法部分。所以，如果NAL单元类型是用于多视图视频编码的NAL单元类型，则仅通过句法部分3540执行加权预测。同样地，因为添加了关于视图的信息，所以每一个句法元素包括“view(视图)”部分。例如，有“luma_view_weight_ll_flag，chroma_view_weight_ll_flag”等。因此，如果定义用于多视图视频编码的NAL单元类型，则能够以使用关于与当前图片的视图不同的视图中的图片的信息执行加权预测的方式进行更加有效率的编码。

图37是根据本发明的实施例的用于解码视频信号的装置的框图。

参考图37，根据本发明的用于解码视频信号的装置包括片段类型提取单元3710、预测模式提取单元3720和解码单元3730。

图38是根据本发明的一个实施例的在图37中所示的解码装置中解码视频信号的方法的流程图。

参考图38，根据本发明的一个实施例的解码视频信号的方法包括提取片段类型和宏块预测模式的步骤S3810，以及根据片段类型和/或宏块预测模式解码当前宏块的步骤S3820。

首先，解释本发明的实施例使用的预测方案，以帮助理解本发明。预测方案可以被分类成视图内预测(例如，在相同视图中的图片之间的预测)和视图间预测(例如，在不同视图中的图片之间的预测)。并且，视图内预测可以是与普通时间预测相同的预测方案。

根据本发明，片段类型提取单元3710提取包括当前宏块的片段的片段类型(S3810)。

在这种情况下，可以将指示用于视图内预测的片段类型的片段类型字段(slice_type)和/或指示用于视图间预测的片段类型的片段类型字段(view_slice_type)提供为视频信号句法的一个部分以提供片段类型。这将在下面关于图6(a)和6(b)更加详细地描述。并且，用于视图内预测的片段类型(slice_type)和用于视图间预测的片段类型(view_slice_type)中的每一个可以指示例如I-片段类型(I_SLICE)、P-片段类型(P_SLICE)或者B-片段类型(B_SLICE)。

例如，如果特定片段的“slice_type”是B-片段并且“view_slice_type”是P-片段，则以视图内方向(即，时间方向)通过B-片段(B_SLICE)编码方案和/或以视图方向通过P-片段(P_SLICE)编码方案来解码在该特定片段中的宏块。

同时，片段类型可以包括用于视图间预测的P-片段类型(VP)、用于视图间预测的B-片段类型(VB)和利用混合两种预测类型得到的预测的混合片段类型(Mixed)。即，混合片段类型提供使用视图内和视图间预测的组合的预测。

在这种情况下，用于视图间预测的P-片段类型是指从当前视图中的一个图片或者不同视图中的一个图片预测包括在片段中的每一个宏块或者宏块划分的情形。用于视图间预测的B-片段类型是指从“当前视图中的一个或者两个图片”或者“分别地在不同视图中的一个图片或者不同视图中的两个图片”预测包括在片段中的每一个宏块或者宏块划分的情形。并且，用于从混合两种预测而得到的预测的混合片段类型是指从“当前视图中的一个或者两个图片”、“分别地在不同视图中的一个图片或者不同视图中的两个图片”或者“分别地在当前视图中的一个或者两个图片和不同视图中的一个图片或者不同视图中的两个图片”预测包括在片段中的每一个宏块或者宏块划分的情形。

换言之，被参考的图片和被允许的宏块类型在每一种片段类型中不同，这将在随后参考图43和图44详细解释。

并且，将在随后参考图40和图41详细解释在片段类型的前述实施例中的句法。

预测模式提取单元3720可以提取宏块预测模式标识符，其指示当前宏块是否是视图内预测的宏块、视图间预测的宏块或者混合两种类型的预测所得到的预测的宏块(S3820)。为此，本发明定义宏块预测模式(mb_pred_mode)。将在随后参考图39、图40和图41详细解释宏块预测模式的一个实施例。

解码单元3730根据接收/产生当前宏块的片段类型和/或宏块预测模式解码当前宏块(S3820)。在这种情况下，可以根据从宏块类型信息决定的当前宏块的宏块类型解码当前宏块。并且，可以根据宏块预测模式和片段类型决定宏块类型。

在宏块预测模式是用于视图内预测的模式的情形中，根据用于视图内预测的片段类型决定宏块类型，并且然后根据所决定的宏块类型通过视图内预测解码当前宏块。

在宏块预测模式是用于视图间预测的模式的情形中，根据用于视图间预测的片段类型决定宏块类型，并且然后根据所决定的宏块类型通过视图间预测解码当前宏块。

在宏块预测模式是用于从混合两种预测得到的预测的模式的情形中，根据用于视图内预测的片段类型和用于视图间预测的片段类型决定宏块类型，并且然后根据所决定的宏块类型的每一个通过从混合两种预测得到的预测来解码当前宏块。

在这种情况下，宏块类型依赖于宏块预测模式和片段类型。具体地，可以从宏块预测模式确定要用于宏块类型的预测方案，并且然后根据预测方案通过片段类型从宏块类型信息决定宏块类型。即，基于宏块预测模式选择所提取的slice_type和view_slice_type中的一个或者两个。

例如，如果宏块预测模式是用于视图间预测的模式，则可以从与用于视图间预测的片段类型(view_slice_type)相对应的片段类型(I，P，B)的宏块表格决定宏块类型。将在随后参考图39、图40和图41详细解释在宏块预测模式和宏块类型之间的关系。

图39是根据本发明的示例实施例的宏块预测模式的图表。

在图39(a)中，示出了与根据本发明的宏块预测模式(mb_pred_mode)的一个实施例相对应的表格。

在仅将视图内预测(即，时间预测)用于宏块的情形中，将“0”分配给“mb_pred_mode”的值。在仅将视图间预测用于宏块的情形中，将“1”分配给“mb_pred_mode”的值。在将时间和视图间预测两者用于宏块的情形中，将“2”分配给“mb_pred_mode”的值。

在这种情况下，如果“mb_pred_mode”的值是“1”，即，如果“mb_pred_mode”指示视图间预测，则视图方向List0(ViewList0)或者视图方向List1(ViewList1)被定义为用于视图间预测的参考图片列表。

在图39(b)中，示出了根据另一实施例的在宏块预测模式和宏块类型之间的关系。

如果“mb_pred_mode”的值是“0”，则仅使用时间预测。并且，根据用于视图内预测的片段类型(slice_type)决定宏块类型。

如果“mb_pred_mode”的值是“1”，则仅使用视图间预测。并且，根据用于视图间预测的片段类型(view_slice_type)决定宏块类型。

如果“mb_pred_mode”的值是“2”，则使用时间和视图内预测的混合预测。并且，根据用于视图内预测的片段类型(slice_type)和用于视图间预测的片段类型(view_slice_type)决定两种宏块类型。

基于宏块预测模式，基于如在下面的表格1-3所示的片段类型给出宏块类型。[请在这里***N6540中的表格7-12-7-14作为表格1-3]

换言之，在该实施例中，通过宏块预测模式决定用于宏块的预测方案和要参考的片段类型。并且，根据片段类型决定宏块类型。

图40和图41是由用于解码视频信号的装置接收的一部分视频信号的句法的示例实施例的图表。如所示，根据本发明的实施例，该句法具有片段类型和宏块预测模式信息。

在图40中，示出了一个示例句法。在该句法中，字段“slice_type”和字段“view_slice_type”提供片段类型，并且字段“mb_pred_mode”提供宏块预测模式。

根据本发明，“slice_type”字段提供用于视图内预测的片段类型并且“view_slice_type”字段提供用于视图间预测的片段类型。每一种片段类型可以成为I-片段类型、P-片段类型或者B-片段类型。如果“mb_pred_mode”的值是“0”或者“1”，则决定一种宏块类型。然而，在“mb_pred_mode”的值是“2”的情形中，可以看出进一步决定另一种宏块类型(或者两种类型)。换言之，在图40的(a)中所示的句法指示添加“view_slice_type”，以进一步将传统的片段类型(I，P，B)应用于多视图视频编码。

在图41中，示出了另一个示例句法。在该句法中，使用“slice_type”字段来提供片段类型并且使用“mb_pred_mode”字段来提供宏块预测模式。

根据本发明，“slice_type”字段可以包括其他中的用于视图间预测的片段类型(VP)、用于视图间预测的片段类型-B(VB)和用于从混合视图内和视图间预测得到的预测的混合片段类型(Mixed)。

如果“mb_pred_mode”字段的值是“0”或者“1”，则决定一种宏块类型。然而，在“mb_pred_mode”字段的值是“2”的情形中，可以看出决定另外的(即，总共两种)宏块类型。在该实施例中，片段类型信息存在于片段报头中，这将关于图42详细解释。换言之，在图41中所示的句法指示将VP、VB和混合片段类型添加到传统的片段类型(slice_type)。

图42是用于应用图41中所示的片段类型的示例的图表。

图42(a)中的图表示出，在片段报头中，除了其它片段类型，可以存在用于视图间预测的P-片段类型(VP)、用于视图间预测的B-片段类型(VB)和用于从混合两种预测得到的预测的混合片段类型(Mixed)作为片段类型。具体地，将根据一个示例实施例的片段类型VP、VB和Mixed添加到可以在普通片段报头中存在的片段类型。

图42(b)中的图表示出，在用于多视图视频编码(MVC)的片段报头中，可以存在用于视图间预测的P-片段类型(VP)、用于视图间预测的B-片段类型(VB)和用于从混合两种预测得到的预测的混合片段类型(Mixed)作为片段类型。具体地，在用于多视图视频编码的片段报头中定义根据示例实施例的片段类型。

图42(c)中的图表示出，在用于可分级视频编码(SVC)的片段报头中，除了用于可分级视频编码的现有片段类型，可以存在用于视图间预测的片段类型(VP)、用于视图间预测的B-片段类型(VB)以及用于从混合两种预测得到的预测的混合片段类型(Mixed)作为片段类型。具体地，将根据示例实施例的片段类型VP、VB和Mixed添加到可以在可分级视频编码(SVC)标准的片段报头中存在的片段类型。

图43是在图41中所示的片段类型中包括的各种片段类型示例的图表。

在图43(a)中，示出了从不同视图中的一个图片预测片段类型的情形。所以，片段类型变为用于视图间预测的片段类型(VP)。

在图43(b)中，示出了分别从不同视图中的两个图片预测片段类型的情形。所以，片段类型变为用于视图间预测的B-片段类型(VB)。

在图43(c)和43(f)中，示出了从当前视图中的一个或者两个图片和不同视图中的一个图片预测片段类型的情形。所以，片段类型变为用于从混合两种预测得到的预测的混合片段类型(Mixed)。而且，在图43(d)和43(e)中，示出了从当前视图中的一个或者两个图片和不同视图中的两个图片预测片段类型的情形。所以，片段类型也变为混合片段类型(Mixed)。

图44是图41中所示的片段类型容许的宏块的图表。

参考图44，视图间预测的P-片段类型(VP)容许帧内宏块(I)、从当前视图中的一个图片预测的宏块(P)或者从不同视图中的一个图片预测的宏块(VP)。

视图间预测的B-片段类型(VB)容许帧内宏块(I)、从当前视图中的一个或者两个图片预测的宏块(P或者B)或者分别从不同视图中的一个图片或者不同视图中的两个图片预测的宏块VP或者VB。

并且，混合片段类型(Mixed)容许帧内宏块(I)；从当前视图中的一个或者两个图片预测的宏块(P或者B)；分别从不同视图中的一个图片或者不同视图中的两个图片预测的宏块(VP或者VB)，或者分别从从当前视图中的一个或者两个图片、不同视图中的一个图片或者不同视图中的两个图片预测的宏块(Mixed)。

图45-47是根据本发明的实施例的在混合片段类型(Mixed)中存在的宏块的宏块类型的图表。

在图45(a)和45(b)中，分别地示出了用于在混合片段中存在的宏块的宏块类型(mb_type)和子宏块类型(sub_mb_type)的配置方案。

在图46和47中，分别地示出了在混合片段中存在的宏块的预测方向和混合片段的实际预测方向的二进制表示。

根据本发明的实施例，通过考虑宏块划分的尺寸(Partition_Size)和宏块划分的预测方向(Direction)两者来准备宏块类型(mb_type)。

并且，通过考虑子宏块划分的尺寸(Sub_Partition_Size)和每一个子宏块划分的预测方向(Sub_Direction)两者来准备子宏块类型(sub_mb_type)。

参考图45(a)，“Direction0”和“Direction1”分别指示第一宏块划分的预测方向和第二宏块划分的预测方向。具体地，在8x16宏块的情形中，“Direction0”指示用于左8x16宏块划分的预测方向，而“Direction1”指示用于右8x16宏块划分的预测方向。如下详细解释宏块类型(mb_type)的配置原理。首先，前两个位指示相应宏块的划分尺寸(Partition_Size)并且值0～3可用于前两个位。并且，在宏块被划分成划分的情形中，在前两个位后面的四个位指示预测方向(Direction)。

例如，在16x16宏块的情形中，指示宏块的预测方向的四个位被附到前两个位的后面。在16x8宏块的情形中，在前两个位后面的四个位指示第一划分的预测方向(Direction0)并且另四个位被附到前四个位以指示第二划分的预测方向(Direction1)。同样地，在8x16宏块的情形中，八个位附到前两个位的后面。在这种情况下，附到前两个位的该八个位中的前四个位指示第一划分的预测方向并且后面的四个位指示第二划分的预测方向。

参考图45(b)，以与图45(a)所示的宏块划分的预测方向(Direction)相同的方式使用子宏块的预测方向(Sub_Direction)。如下详细解释子宏块类型(sub_mb_type)的配置原理。

首先，前两个位指示相应宏块的划分尺寸(Partition_Size)并且在该前两个位后面的后两个位指示相应宏块的子宏块的划分尺寸(Sub_Partition_Size)。值0-3可用于所述的前和后两个位中的每一个。随后，在宏块被划分成子宏块划分的情形中，附在所述后两个位后面的四个位指示预测方向(Sub_Direction)。例如，如果宏块的划分的尺寸(Partition_Size)是8x8并且如果子宏块的划分的尺寸(Sub_Partition_Size)是4x8，则前两个位具有值3，后两个位具有值2，在该后两个位后面的前四个位指示用于两个4x8块的左4x8块的预测方向，并且在该前四个位后面的后四个位指示用于右4x8块的预测方向。

参考图46，利用四个位构造宏块的预测方向。并且，可以看出，根据参考当前图片的左(L)、上(T)、右(R)或者下(B)位置处的图片的情形，每一个二进制表示均变为“1”。

参考图47，例如，在预测方向是上(T)的情形中，参考位于当前图片的视图方向的上部处的图片。在预测方向对应于所有的方向(LTRB)的情形中，可以看出，参考当前图片的所有方向(LTRB)中的图片。

图48是根据本发明的实施例的用于编码视频信号的装置的框图。

参考图48，描述根据本发明的实施例的用于编码视频信号的装置。该装置包括宏块类型决定单元4810、宏块产生单元4820和编码单元4830。

图49是根据本发明的实施例的在图48中所示的编码装置中编码视频信号的方法的流程图。

参考图49，根据本发明的实施例的编码视频信号的方法包括决定用于视图内预测的第一宏块类型和用于视图间预测的第二宏块类型的步骤S4910、产生具有第一宏块类型的第一宏块和具有第二宏块类型的第二宏块的步骤S4920、使用第一和第二宏块产生第三宏块的步骤S4930以及编码当前宏块的宏块类型和宏块预测模式的步骤S4940。

根据本发明，宏块类型决定单元4810如在上面详细描述地决定用于视图内预测的第一宏块类型和用于视图间预测的第二宏块类型(S4910)。

随后，宏块产生单元4820使用已知的预测技术产生具有第一宏块类型的第一宏块和具有第二宏块类型的第二宏块(S4920)，并且然后使用第一和第二宏块产生第三宏块(S4930)。在这种情况下，根据在第一和第二宏块之间的平均值产生第三宏块。

最终，编码单元4830通过比较第一到第三宏块的编码效率来编码当前宏块的宏块类型(mb_type)和当前宏块的宏块预测模式(mb_pred_mode)(S4940)。

在这种情况下，有各种方法用于测量编码效率。具体地，在本发明的这个实施例中使用用RD(率失真)成本的方法。如所已知的那样，在RD成本方法中，利用两个组成部分计算相应的成本：从编码相应的块产生的编码位数以及指示与实际序列的误差的失真值。

可以以选择具有在上面解释的RD成本的最小值的宏块类型的方式决定第一和第二宏块类型。例如，将在视图内预测的宏块类型中具有RD成本的最小值的宏块类型决定为第一宏块类型。并且，将在视图间预测的宏块类型中具有RD成本的最小值的宏块类型决定为第二宏块类型。

在编码宏块类型和宏块预测模式的步骤中，可以选择与具有较小RD成本的第一和第二宏块中的一个相关联的宏块类型和预测模式。随后，确定第三宏块的RD成本。最终，通过相互比较所选择的第一或者第二宏块的RD成本和第三宏块的RD成本而编码当前宏块的宏块类型和宏块预测模式。

如果所选择的第一或者第二宏块的RD成本等于或者大于第三宏块的RD成本，则宏块类型变为与所选择的第一或者第二宏块相应的宏块类型。

例如，如果第一宏块的RD成本小于第二和第三宏块的RD成本，则将当前宏块设置为第一宏块类型。并且，宏块预测模式(即，视图内)变为与该RD成本相应的宏块的预测方案。

例如，如果第二宏块的RD成本小于第一和第三宏块的RD成本，则作为第二宏块的预测方案的视图间预测方案变为当前宏块的宏块预测模式。

同时，如果第三宏块的RD成本小于第一和第二宏块的RD成本，则宏块类型对应于第一和第二宏块类型。具体地，视图内预测和视图间预测宏块类型成为当前宏块的宏块类型。并且，宏块预测模式成为从混合视图内和视图间预测得到的混合预测方案。

因此，本发明提供至少下面的效果或者优点。

由于在视图之间的各种预测方案以及诸如片段类型、宏块类型和宏块预测模式的信息，本发明能够排除在视图之间的冗余信息；由此提高编码/解码效率性能。

工业适用性

虽然在此已经参考其优选实施例描述并且说明了本发明，但是对于本领域技术人员明显地，能够在不背离本发明的精神和范围的情况下对其作出各种修改和变化。因此，本发明旨在涵盖本发明的落入所附权利要求及其等价物的范围中的修改和变化。

Claims (8)

1.一种解码视频信号的方法，包括步骤：

检查所述视频信号的编码方案；

根据所述编码方案获得用于所述视频信号的配置信息；

使用所述配置信息识别视图的总数目；

基于所述视图的所述总数目识别视图间参考信息；以及

基于所述视图间参考信息解码所述视频信号，

其中所述配置信息至少包括用于识别所述视频信号的视图的视图信息。

2.根据权利要求1的方法，进一步包括步骤：检查所述视频信号的用于视图可分级性的级别，其中所述视频信号基于所述级别来解码。

3.根据权利要求1的方法，其中所述配置信息进一步包括时间级别、视图间图片组标志以及IDR标志。

4.根据权利要求2的方法，其中在所述解码步骤中，如果所述视频信号根据所述级别对应于基础视图，则解码所述基础视图的所述视频信号。

5.根据权利要求1的方法，进一步包括步骤：使用所述视图信息获得用于与当前图片的视图不同的视图中的图片的信息，其中在解码所述视频信号中使用用于所述不同视图中的所述图片的所述信息。

6.根据权利要求5的方法，所述视频信号解码步骤进一步包括步骤：使用用于所述不同视图中的所述图片的所述信息执行运动补偿，其中用于所述不同视图中的所述图片的所述信息包括运动矢量信息和参考图片信息。

7.根据权利要求5的方法，所述视频信号解码步骤进一步包括下列步骤：

从所述视频信号提取指示是否使用与当前图片的视图相邻的视图中的图片来获得虚拟视图中的图片的视图间合成预测标识符；以及

根据所述视图间合成预测标识符获得所述虚拟视图中的所述图片，

其中在获得所述虚拟视图中的所述图片中使用用于所述不同视图中的所述图片的所述信息。

8.根据权利要求5的方法，所述视频信号解码步骤进一步包括步骤：使用用于所述不同视图中的所述图片的所述信息获得在不同视图之间的深度信息。

Images