CN101529911B - 用于对多层比特流数据进行信号指示的方法和*** - Google Patents

Abstract

本发明的实施例涉及用于对多层视频序列的层特性进行信号指示，并用于在编码、解码和转换操作中利用这些信号的***和方法。

Description

用于对多层比特流数据进行信号指示的方法和***

技术领域

本发明的实施例涉及用于对多层比特流数据进行信号指示的方法和***。 

背景技术

为了减小编码器输出的比特率，可缩放比特流可以包括层间预测的形式。示例性***包括：针对AVC|H.264视频编码标准的可缩放视频扩展中的层间预测。这些扩展通常被称为SVC和SVC***，在T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz和M.Wien的“Joint Draft 9of SVC amendment(revision 2)”，JVT-V201，Marrakech，Morocco，January 13-19，2007中对此进行了描述，并该文献全部合并于此作为参考。在SVC***中，通过将运动和模式信息从所列举的较低层投影到所列举的较高层来实现层间预测。此外，将预测残差从所列举的较低层投影到所列举的较高层。如此一来，较高层的比特流可以包含附加的残差，以改进解码输出的质量。 

发明内容

根据本发明的第一方面，提供了一种用于创建增强型多层比特流的方法，所述方法包括：a)接收视频序列的可缩放的多层表示；b)确定所述序列的层的第一比特率特性，其中，所述比特率特性与所述层的不可缩放的单层表示相关；c)将比特率特性数据附着至所述可缩放的多层表示，以形成增强型可缩放表示。 

根据本发明的第一方面，还提供了一种用于创建增强型多层比特流的***，所述***包括：接收机；用于接收视频序列的可缩放的多层表示；确定器，确定所述序列的层的第一比特率特性，其中，所述 比特率特性与所述层的不可缩放的单层表示相关；以及附着器，将比特率特性数据附着至所述可缩放的多层表示，以形成增强型可缩放表示。 

可缩放的多层表示可以是SVC表示，不可缩放的单层表示可以是AVC表示。 

附着比特率特性数据可以包括：在SVC比特流中添加SEI消息。 

第一比特率特性可以是最大比特率。第一比特率特性可以是平均比特率。 

第一比特率特性可以是专用于第一熵编码器的，所述方法还可以包括：针对所述层的不可缩放的单层表示，确定专用于第二熵编码器的第二比特率特性，其中，附着的比特率特性数据可以包括：与第一比特率特性和第二比特率特性相关的数据。 

所述方法还可以包括：确定所述可缩放的多层表示中的另一层是否能够在不对所述层中的系数进行反变换的情况下与所述层进行组合，并且在所述层能够进行这样的组合的情况下，将组合数据附着至所述可缩放的多层表示。 

根据本发明的第二方面，提供了一种用于创建增强型多层比特流的方法，所述方法包括：a)接收视频序列的SVC表示；b)确定所述序列的层的第一平均AVC比特率特性和第一最大AVC比特率特性，其中，所述第一比特率特性与所述层的AVC表示相关；c)将第一比特率特性数据附着至所述可缩放的多层表示，以形成增强型SVC表示。 

附着比特率特性数据可以包括：在SVC表示中添加SEI消息。 

所述层的第一特性可以是专用于第一熵编码器的，所述方法还可以包括：针对所述层的AVC表示，确定专用于第二熵编码器的第二平均AVC比特率特性和第二最大AVC比特率特性，所述方法还包括：将第二比特率特性数据附着至增强型SVC比特流。 

所述方法还可以包括：确定所述SVC表示中的另一层是否能够在不对所述层中的系数进行反变换的情况下与所述层进行组合，并且在所述层能够进行这样的组合的情况下，将组合数据附着至所述SVC表 示。 

根据本发明的第三方面，提供了一种用于创建增强型多层比特流的方法，所述方法包括：a)接收视频序列的SVC表示；b)确定所述序列的层的平均AVC/VLC比特率特性和最大AVC/VLC比特率特性，其中，所述比特率特性与使用上下文自适应可变长度码编解码器进行编码的所述层的AVC表示相关；c)确定所述序列的所述层的平均AVC/AC比特率特性和最大AVC/AC比特率特性，其中，所述比特率特性与使用上下文自适应算术码编解码器进行编码的所述层的AVC表示相关；d)将包括所述AVC/VLC特性和所述AVC/AC特性在内的SEI消息与所述SVC表示相关联，以形成增强型SVC表示。 

所述方法还可以包括：确定所述SVC表示中的另一层是否能够在不对所述层中的系数进行反变换的情况下与所述层进行组合，并且在所述层能够进行这样的组合的情况下，将层组合SEI消息与所述SVC表示相关联。 

根据本发明的第四方面，提供了一种用于将可缩放的多层比特流表示转换为单层比特流表示的方法，所述方法包括：a)接收包括比特率特性数据在内的视频序列的可缩放的多层表示，其中，所述比特率特性数据包括：在所述多层表示中的层被表示为单层比特流表示时，针对所述多层的层专用、熵编码器专用的比特率特性；b)确定目标比特率参数；c)基于所述目标比特率参数与所述层专用、熵编码器专用的比特率特性之间的关系，来选择所述层中的一层或多层以进行转换；以及d)将所选择的一层或多层转换为所述单层比特流表示。 

根据本发明的第四方面，还提供了一种用于将可缩放的多层比特流表示转换为单层比特流表示的***，所述***包括：接收机，用于接收包括比特率特性数据在内的视频序列的可缩放的多层表示，其中，所述比特率特性数据包括：在所述多层表示中的层被表示为单层比特流表示时，针对所述多层的层专用、熵编码器专用的比特率特性；确定器，用于确定目标比特率参数；选择器，用于基于所述目标比特率参数与所述层专用、熵编码器专用的比特率特性之间的关系，来选择所述层中的一层或多层以进行转换；以及转换器，用于将所选择的一 层或多层转换为所述单层比特流表示。 

所述可缩放的多层表示还可以包括层组合数据；所述选择所述层中的一层或多层以进行转换还可以包括：对所述层组合数据进行分析。 

所述方法还可以包括：在所述层组合数据指示，能够在不对系数进行反变换的情况下对所选择的层中的两层或更多层进行组合时，在不对系数进行反变换的情况下对所选择的层中的两层或更多层进行组合。 

根据本发明的第五方面，提供了一种用于将SVC比特流表示转换为AVC比特流表示的方法，所述方法包括：a)接收包括第一层和第二层的SVC视频序列；b)所述SVC视频序列还包括比特率特性数据，其中，所述比特率特性数据包括i)当将所述第一层表示为AVC比特流并使用VLC编码器来对所述第一层进行编码时，所述第一层的最大比特率特性和平均比特率特性；ii)当将所述第一层表示为AVC比特流并使用算术编码器来对所述第一层进行编码时，所述第一层的最大比特率特性和平均比特率特性；iii)当将所述第二层表示为AVC比特流并使用VLC编码器来对所述第二层进行编码时，所述第二层的最大比特率特性和平均比特率特性；iv)当将所述第二层表示为AVC比特流并使用算术编码器来对所述第二层进行编码时，所述第二层的最大比特率特性和平均比特率特性；c)确定目标比特率参数；d)基于所述目标比特率参数与所述层的最大或平均比特率特性之一之间的关系，来选择所述层中的一层或多层以进行转换；以及e)将所选择的一层或多层转换为AVC比特流表示。 

所述方法还可以包括：基于所述比特率特性，来选择VLC编码器和算术编码器之一。 

所述SVC视频序列还可以包括层组合数据；所述选择所述层中的一层或多层以进行转换还可以包括：对所述层组合数据进行分析。 

当所述层组合数据指示，能够在不对系数进行反变换的情况下进行组合时，可以在不对系数进行反变换的情况下执行所述转换。 

本发明的一些实施例包括：用于对多层比特流数据进行信号指示的方法和***。在一些实施例中，可以在编码器处测量与多层比特流 中的各层相关联的比特率，并在比特流中将所述比特率通过信号指示给解码器。在一些实施例中，所述比特率可以是专用于特定熵编码器的。在一些实施例中，在解码器、转换器、代码转换器或其他设备处接收图像比特流和相关的比特率数据，其中，所述比特率数据可以用于选择图像层、熵编解码器，并用于做出其他判定。 

通过考虑以下结合附图的、对本发明的详细描述，将更容易理解本发明的上述和其他目的、特征和优点。 

附图说明

图1A是示出了包括对变换域系数进行缩放在内的本发明的实施例的图。 

图1B是示出了包括对经量化的变换系数进行累加以及对变换域系数进行缩放在内的本发明的实施例的图。 

图2A是示出了包括对变换域系数进行缩放以及无需重构的比特流重写在内的本发明的实施例的图。 

图2B是示出了包括对经量化的变换系数或索引进行累加以及无需重构的比特流重写在内的本发明的实施例的图。 

图3是示出了包括变换尺寸选择在内的本发明的实施例的图。 

图4是示出了包括条件变换尺寸指示和选择在内的本发明的实施例的图。 

图5是示出了包括基于量化参数的系数缩放在内的本发明的实施例的图。 

图6是示出了包括基于相邻宏块数据对熵编码器控制值进行计算在内的本发明的实施例的图。 

图7是示出了包括基于相邻宏块条件的组合对熵编码器控制值进行确定在内的本发明的实施例的图。 

图8是示出了包括基于相邻宏块数据对估计预测模式进行确定和预测模式信号指示在内的本发明的实施例的图。 

图9是示出了包括对组合的层编码块样式进行计算在内的本发明的实施例的图。 

图10是示出了包括基于层空间分辨率的选择性变换累加在内的本发明的实施例的图。 

图11是示出了将替代表示比特率数据附着至原始表示的图。 

图12是示出了将图像转换为替代表示以测量比特率特性的图。 

图13是示出了对多个熵编码器进行比特率特性确定的图。 

图14是示出了对多层进行比特率特性确定的图。 

图15是示出了对VLC和AC编码器进行比特率数据确定和附着的图。 

图16是示出了对目标比特率参数进行确定的图。 

图17是示出了基于目标比特率约束对熵编码器进行选择的图。 

图18是示出了确定是否能够在不进行反变换的情况下将层组合的图。 

图19是示出了包括变换尺寸选择在内的本发明的实施例的框图； 

图20是示出了包括基于量化参数的系数缩放在内的本发明的实施例的框图； 

图21是示出了包括基于相邻宏块数据对熵编码器控制值进行计算在内的本发明的实施例的图； 

图22是示出了包括对组合的层编码块样式进行计算在内的本发明的实施例的图；以及 

图23是示出了包括基于层空间分辨率的选择性变换累加在内的本发明的实施例的框图。 

图24是示出了将替代表示比特率数据附着至原始表示的框图。 

图25是示出了对多个熵编码器进行比特率特性确定的框图。 

图26是示出了对VLC和AC编码器进行比特率数据确定和附着的框图。 

图27是示出了对目标比特率参数进行确定的框图。 

具体实施方式

参照附图，将可以最好地理解本发明的实施例，其中在全部附图中，使用相似的参考标记来表示相似的部分。以上所列附图被明确地 结合为本详细描述的一部分。 

容易理解，如在此处的附图中总体所示出和描述的那样，可以使用多种不同配置来布置并设计本发明的组件。因此，以下对本发明的方法和***的实施例的更详细的描述并非意在限制本发明的范围，而仅代表本发明的当前优选的实施例。 

可以以硬件、固件和/或软件来实现本发明的实施例的元件。尽管这里所公开的示例性实施例仅可以描述这些形式中的一种，但是应当理解，本领域技术人员能够在本发明的范围内以这些形式中的任一种来实现这些元件。 

本发明的一些实施例包括：用于对可缩放视频编码进行残差累加的方法和***。一些实施例包括：用于对可缩放比特流进行解码的方法和***。比特流可以通过编码器来产生，并随后被存储和/或发送至解码器。解码器可以解析比特流，并将解析后的符号转换成解码图像的序列。 

可缩放比特流可以包含原始图像序列的不同表示。在一个具体示例中，比特流中的第一层包含图像序列的低质量版本，比特流中的第二层包含图像序列的较高质量的版本或用于创建较高质量版本的附加数据。在第二具体示例中，比特流中的第一层包含图像序列的低分辨率版本，比特流中的第二层包含图像序列的较高分辨率的版本或用于创建较高质量版本的附加数据。对于本领域技术人员而言，更复杂的示例是显而易见的，这些更复杂的示例可以包括图像序列和/或比特流的多种表示，这些表示包含不同质量和分辨率的组合。 

为了减小编码器输出的比特率，可缩放比特流可以包括层间预测的形式。示例性实施例可以包括：针对AVC|H.264视频编码标准的可缩放视频扩展中的层间预测。这些扩展通常被称作SVC和SVC***，在T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz和M.Wien的“JointDraft 9 of SVC amendment(revision 2)”，JVT-V201，Marrakech，Morocco，January 13-19，2007中对此进行了描述，并将该文献全部合并于此作为参考。在SVC***中，通过将运动和模式信息从所列举的较低层投影到所列举的较高层来实现层间预测。此外，将预测残差从 所列举的较低层投影到所列举的较高层。如此一来，较高层的比特流可以包含附加的残差，以改进解码输出的质量。 

还将ISO/IEC JTC1/SC29/WG11 Information Technology-Codingof Audio-Visual Objects-Part 10：Advanced Video Coding，ISO/IEC14496-10，2005合并于此作为参考。 

还将ITU-T Recommendation H.264：“Advanced video coding forgeneric audio visual services”，March 2003合并于此作为参考。 

SVC至AVC的比特流重写 

当前SVC***需要代码转换来支持处于除基础层以外的任何一层的AVC设备。这限制了SVC的应用范围。本发明的实施例包括：对粗粒度可缩放层的语法和语义的改变，以实现SVC比特流到AVC兼容(AVC compliant)的比特流的快速重写。在一些实施例中，网络设备可以在无偏移和无需重建序列的情况下，将SVC数据重写至AVC比特流中。在一些实施例中，这可以通过合并多个粗粒度可缩放层来实现。 

本发明的一些实施例包括SVC至AVC比特流的重写。这个过程可以包括：将SVC比特流作为输入，以及产生AVC比特流作为输出。这一点在概念上与代码转换相似。但是，一些实施例利用SVC的单环结构，并实现了SVC比特流到AVC语法元素的直接映射。一些实施例可以在不引入偏移和不重建视频序列的情况下实现该功能。 

实现SVC至AVC比特流的快速重写的实施例避免了需要承载由SVC端到端引入的额外开销。因此，当不再需要可缩放功能时，可以将其丢弃。这些实施例能够极大扩展SVC的应用范围。作为示例性实施例的非限制示例，考虑最终传输链路是速率受限的情形。最终传输链路可能是到便携式设备的无线链路，或者可选地，到高分辨率显示器的无线链路。在任一情况下，能够利用SVC的可缩放性特征来智能地适配发射机处的速率。但是，由于接收设备不需要SVC功能，因此将SVC分量从比特流中移除是有利的。由于更少的比特专门用于开销而更多的比特可用于视觉数据，因此这提高了所传送的视频的视觉质量。 

作为比特流重写的第二非限制示例，考虑支持大量异质设备的***。经由较慢传输链路连接的设备接收作为SVC比特流的一部分的AVC基本层。经由较快传输链路连接的设备接收AVC基本层外加附加的SVC增强。为了查看该增强数据，这些接收机必须能够对SVC序列进行解码和重建。对于具有大量上述设备的应用而言，这引入了用于部署SVC的巨大花销。必须在每一个接收机中部署机顶盒(或其他解码硬件)。作为更经济有效的解决方案，可以采用在网络内从SVC到AVC的比特流重写过程，以将AVC数据传送至所有设备。这减少了SVC的部署成本。 

作为比特流重写的第三个非限制示例，考虑利用SVC将内容存储到媒体服务器上以最终传送到客户端设备的应用。SVC格式是非常吸引人的，因为与在服务器处将多个AVC比特流归档相比，它需要较少的存储空间。但是，SVC格式也需要在服务器上进行代码转换操作，以支持AVC客户端或客户端处的SVC能力。SVC至AVC的比特流重写的实现允许媒体服务器利用SVC来改进编码效率，而无需计算复杂度苛刻的代码转换和/或遍及整个网络的SVC能力。 

作为比特流重写的第四个非限制示例，SVC至AVC比特流重写的过程简化了SVC解码器硬件的设计。目前，SVC解码器需要对整个AVC解码和重建逻辑修改。实现SVC至AVC比特流重写，将AVC和SVC之间的差别局限于熵解码器和系数缩放操作。由于最终重建环路和AVC重建过程相同，因此这简化了SVC解码过程的设计。此外，保证SVC重建步骤对每块仅包含一次预测操作和一次反变换操作。这与目前的SVC操作不同，目前的AVC操作需要多次反变换操作和针对层内预测的可变参考数据。 

本发明的一些实施例包括：对SVC粗粒度可缩放性层的改变，以实现SVC比特流至AVC比特流的直接映射。这些改变包括：经修改的IntraBL模式、和对层间编码增强层中的BLSkip块进行变换的限制。在一些实施例中，这些改变可以通过基于序列和可选地基于像条(slice)而发送的标记来实现。 

层间编码块 

一些实施例包括对层间编码块的改变。这些改变包括： 

由基本层块推断出的块必须利用与基本层块相同的变换。例如，如果位于粗粒度可缩放层中的块的base_mode_flag等于1，而且位于相同位置的基本层块利用4x4变换，则增强层块必须也利用4x4变换。 

由基本层块推断出的、并利用残差预测的块的重建应当在变换域中进行。目前，在空间域内重建基本层块，然后在增强层中传送残差。在这些实施例中，在解码器处对基本层块的变换系数进行缩放，由增强层中的信息对其进行细化，然后对其进行反变换。 

当avc_rewrite标记为1时，smoothed_reference_flag应当为零。 

层内编码块 

层内编码块为SVC至AVC重写问题设置了额外的障碍。在CGS***中，可以以IntraBL模式来对增强层中的块进行编码。该模式以信号指示：应对基本层中的层内编码块进行解码并将其用于预测。然后，可以在增强层中以信号指示附加残差。在SVC至AVC重写***中，由于重建后的层内编码块不能被描述为其相邻块的空间预测加上以信号指示的残差，因此这种方式产生了困难。因此，必须将层内编码块从SVC代码转换为AVC。这需要增加的计算复杂度；还引入了可能通过运动补偿传播的编码误差。 

可以参考图1A来描述本发明的一些实施例。根据这些实施列的解码器或者重写器(***)包括：第一逆量化器5、缩放器6、第二逆量化器11、第一加法器(系数组合器)7、反变换器10、以及第二加法器(第二组合器)9。在这些实施例中，在解码器或重写器处接收基本层残差(基本层量化变换系数)1、预测模式数据2和增强层残差(增强层量化变换系数)3。在解码器/重写器处还已知相邻块数据4。第一逆量化器5可以对基本层残差数据3进行逆量化，从而创建基本层变换系数，缩放器6可以对所述变换系数进行缩放以匹配增强层的特性，从而创建缩放后的基本层变换系数。在一些实施例中，所匹配的特性可以包括量化参数特性。第二逆量化器11也可以对增强层残差3进行逆量 化，并由第一加法器7将其加至缩放后的基本层残差系数(缩放后的基本层变换系数)，从而形成组合系数。然后，反变换器10对组合系数进行反变换来产生空间域强度值。在一些实施例中，当不需要增强层信息时可以将其忽略。层内预测8使用预测模式数据2和相邻块数据4来确定预测块。然后，第二加法器9将预测块加至来自基本层和增强层的空间域强度值，从而产生解码块12。 

可以参照图1B来描述本发明的一些实施例。在这些实施例中，在解码器或重写器处接收基本层残差1、预测模式2和增强层残差3。在解码器/重写器处相邻块数据135也是已知的，并可以用于预测134。在这些实施例中，可以对基本层量化变换系数1进行缩放130以匹配增强层的特性，从而创建缩放后的基本层变换系数。在一些实施例中，所匹配的特性可以包括量化参数特性。增强层量化变换系数3可以被加131至缩放后的基本层量化变换系数，以创建组合量化系数。然后，可以对组合量化系数进行逆量化132来产生解量化后的组合系数，然后可以对解量化后的组合系数进行反变换133来产生组合空间域值。然后，这些空间域值可以与预测数据进行组合136，以形成重建图像137。 

可以参照图2A来描述本发明的一些实施例。在这些实施例中，对比特流进行重新编码而无需完整的图像重建。在这些实施例中，可以在解码器、代码转换器、编码器的解码部分或其他设备或模块处接收基本层(BL)残差数据1。也可以在该设备或模块处接收增强层(EL)残差数据3。在这些实施例中，第一逆量化器5可以对BL残差1进行逆量化来产生BL变换系数。然后，缩放器6可以对这些BL变换系数进行缩放以匹配增强层的特性，从而创建缩放后的BL变换系数。在一些实施例中，该增强层特性可以是量化参数、分辨率参数或者其他一些将基本层和增强层相关联的参数。第二逆量化器11也可以对增强层数据3进行逆量化，以产生增强层系数18。然后，系数组合器19可以将缩放后的BL系数16与缩放后的BL系数进行组合，以产生组合系数17。然后，可以使用比特流编码器(比特流发生器)13将这些组合系数重写至缩减的层(reduced-layer)或单层比特流。比特流编码器13也可以将预测数据2写入比特流中。比特流编码器13的功能还可以包括：量化、 熵编码和其他功能。 

可以参照图2B来描述本发明的一些实施例。在这些实施例中，对比特流进行重新编码而无需完整的重建图像而且无需逆量化。在这些实施例中，可以在解码器、代码转换器、编码器的解码部分或其它设备或模块处接收基本层(BL)残差数据36。也可以在该设备或模块处接收增强层(EL)数据37。在这些实施例中，可以对BL信号36和增强层信号37进行熵解码来产生量化系数或者索引21和23。然后，可以对BL量化索引进行缩放20以匹配增强层的特性，从而创建缩放后的BL索引。在一些实施例中，该增强层特性可以是量化参数、分辨率参数或者其他一些将基本层和增强层相关联的参数。然后，可以将缩放后的BL索引26与EL索引23进行组合24以产生组合索引27。然后，可以使用比特流编码器25将这些组合系数重写至缩减的层或者单层比特流28。比特流编码器25也可以将预测数据35写入比特流中。比特流编码器25的功能也可以包括：量化、熵编码和其他功能。 

在这些实施例中，不需要完整重建基本层块。相反，将层内预测模式和残差数据均映射到增强层。然后，从增强层加上附加残差数据。最终重建了块。该方法的优点在于，可以在无损并且无需对基本层进行完整解码的情况下将增强块写入单层比特流。 

本发明的一些实施例包括：在CGS***中的层间传播运动数据而不使用残差预测标记。这些实施例包括经修改的IntraBL方法，该方法将层内预测模式从基本层传播到增强层。然后，在增强层执行层内预测。 

在这些实施例中，IntraBL块的变换类型必须与位于相同位置的基本层块相同。例如，如果基本层块采用8x8变换，则增强层块必须也采用8x8变换。 

在一些实施例中，为了实现比特流的独立处理，仍然可以在增强层中传送8x8变换标记。 

在一些示例性实施例中，由基本层中的16x16变换进行编码的块也可以由增强层中的16x16变换进行编码。但是，增强层块是采用4x4扫描样式和方法来发送的。也就是说，在这些实施例中，16x16块的 DC和AC系数不是分开发送的。 

可以参考图3和图19来描述本发明的一些实施例。根据这些实施例的***包括：尺寸确定器301、确定器302、第一选择器303以及第二选择器304。在这些包括多层图像的实施例中，可以从一层到另一层推断得到层内预测模式和变换数据。在一些实施例中，第一层变换尺寸可以由尺寸确定器301来确定(30)。第一层可以是基本层或由其预测出另一层的层。在这些实施例中，建立了预定变换尺寸。然后，将第一层变换尺寸和预定(预定义)变换尺寸进行比较。也就是说，确定器302确定较低层变换尺寸是否与预定变换尺寸相同(基本相似)。如果第一层变换尺寸和预定变换尺寸相同(31)，则第一选择器303选择(33)预定变换尺寸用于反变换操作。如果第一层变换尺寸和预定变换尺寸不相同(31)，则第二选择器304选择(32)缺省变换尺寸用于反变换操作。在一些实施例中，预定变换尺寸可以是8x8，缺省变换尺寸可以是4x4。 

在一些实施例中，预定变换尺寸也可以与特定扫描样式和方法相关。在这些实施例中，第一层变换尺寸和预定变换尺寸之间的关系也可以触发特定编码方法和样式。例如，在一些实施例中，预定变换尺寸可以是16x16，预定的16x16尺寸和实际较低层尺寸间的匹配可能指示要使用16x16，但是要使用4x4扫描样式和方法对数据进行编码，其中将AC和DC系数一起发送。 

可以参照图4来描述本发明的一些实施例。在这些实施例中，对多层比特流进行解析40和处理，以确定基本层变换尺寸并产生BL系数值。还对比特流的增强层进行解析41，以确定是否存在变换指示符。如果比特流中存在增强层变换指示符42，则利用所指示的变换尺寸对EL系数进行反变换。如果比特流中不存在增强层变换指示符42，则确定基本层变换尺寸是否为8x844。如果基本层变换尺寸是8x8，则利用8x8变换尺寸对增强层进行反变换46。如果基本层变换尺寸不是8x8，则可以利用缺省变换尺寸(如4x4)对增强层进行反变换45。 

在本发明的一些实施例中，可以通过从IntraBL块中的基本层推断层内预测模式，从基本层直接拷贝层内预测模式。在一些可选实施例 中，可以相对于基本层模式来进行差分编码。在一些实施例中，可以使用现有的用于在AVC中以信号指示层内预测模式的方法。但是，在这些实施例中，将预测模式(或最可能的模式)设置为等于基本层模式。 

在一些实施例中，可以从增强层比特流中省去8x8变换标记，可以根据基本层模式来推断出变换。 

在一些实施例中，可以在基本层和增加层中，均以相同方式以信号指示16x16变换系数。可以用增强层中的或从基本层比特流推断出的附加标记来以信号指示16x16变换的存在。 

本发明的一些实施例包括：IntraBL块的残差预测标记。这些实施例实现了，自适应地使用基本层残差以细化增强层层内预测块。 

在本发明的一些实施例中，编码器可以禁用SVC比特流中不能被直接映射至AVC比特流的所有模式。这些实施例的信号指示可以在SVC比特流中完成。在一些示例性实施例中，这样的信号指示可以发生在序列首部、序列参数集、画面参数集，像条首部或者其他位置。在一些实施例中，该信号指示可以发生在SEI消息中。在示例性实施例中，该信号指示可以发生在空间可缩放性SEI消息中。在一些实施例中，可以使用其他带外方法来实现该信号指示，在一些情况下，不需要规范性地改变SVC解码操作。 

在一些实施例中，当编码器以信号指示该操作模式时，解码器可以假定编码器正在产生能够被转换成AVC的比特流。在一些示例性实施例中，当在这种模式下操作时，编码器可以不利用IntraBL块模式或平滑的参考工具。此外，在这些实施例中，编码器可以确保，可以通过对基本层变换系数进行缩放然后加上所发送的残差来结合残差数据。这些实施例可能需要编码器在基本层和增强层中采用相同的变换方法。 

针对CGS的SVC至AVC比特流重写：语法 

F.7.3.2序列参数集SVC扩展语法 

seq_parameter_set_svc_extension(){	C	描述符
			nal_unit_extension_flag	0	u(1)

if(nal_unit_extension_flag＝＝0){
			number_of_simple_priority_id_values_minus1	0	ue(v)
for(i＝0；          i＜＝number_of_simple_priority_id_values_minus1；          i++){
			priority_id	0	u(6)
temporal_level_list[priority_id]	0	u(3)
			dependency_id_list[priority_id ]	0	u(3)
quality_level_list[priority_id]	0	u(2)
			}
}
			extended_spatial_scalability	0	u(2)
if(chroma_format_idc＞0){
			chroma_phase_x_plus1	0	u(2)
chroma_phase_y_plus1	0	u(2)
			}
if(extended_spatial_scalability＝＝1){
			scaled_base_left_offset	0	se(v)
scaled_base_top_offset	0	se(v)
			scaled_base_right_offset	0	se(v)
scaled_base_bottom_offset	0	se(v)
			}
if(extended_spatial_scalability＝＝0){
			avc_rewrite_flag	0	u(1)
if(avc_rewrite_flag){
			avc_adaptive_rewrite_flag	0	u(1)
}
			}
}

F.7.3.4可缩放扩展中的像条首部 

slice_header_in_scalable_extension(){	C	描述符
			first_mb_in_slice	2	ue(v)
slice_type	2	ue(v)
			if(slice_type＝＝PR){
fragmented_flag	2	u(1)
			if(fragmented_flag＝＝1){
fragment_order	2	ue(v)
			if(fragment_order！＝0)
last_fragment_flag	2	u(1)

}
			if(fragment_order＝＝0){
num_mbs_in_slice_minus1	2	ue(v)
			luma_chroma_sep_flag	2	u(1)
}
			}
if(slice_type！＝PR||fragment_order＝＝0){
			pic_parameter_set_id	2	ue(v)
frame_num	2	u(v)
			if(！frame_mbs_only_flag){
field_pic_flag	2	u(1)
			if(field_pic_flag)
bottom_field_flag	2	u(1)
			}
if(nal_unit_type＝＝21)
			idr_pic_id	2	ue(v)
if(pic_order_cnt_type＝＝0){
			pic_order_cnt_lsb	2	u(v)
if(pic_order_present_flag&&！field_pic_flag)
			delta_pic_order_cnt_bottom	2	se(v)
}
			if(pic_order_cnt_type＝＝1&&           ！delta_pic_order_always_zero_flag){
delta_pic_order_cnt[0]	2	se(v)
			if(pic_order_present_flag&&  ！field_pic_flag)
delta_pic_order_cnt[1]	2	se(v)
			}
}
			if(slice_type！＝PR){
if(redundant_pic_cnt_present_flag)
			redundant_pic_cnt	2	ue(v)
if(slice_type＝＝EB)
			direct_spatial_mv_pred_flag	2	u(1)
base_id_plus1	2	ue(v)
			if(base_id_plus1 ！＝0){
adaptive_prediction_flag	2	u(1)
			if(avc_adaptive_rewrite_flag＝＝1){
avc_rewrite_flag	2	u(1)
			}
}
			if(slice_type＝＝EP||slice_type＝＝EB){

num_ref_idx_active_override_flag	2	u(1)
			if(num_ref_idx_active_override_flag){
num_ref_idx_l0_active_minus1	2	ue(v)
			if(slice_type＝＝EB)
num_ref_idx_l1_active_minus1	2	ue(v)
			}
}
			ref_pic_list_reordering()	2
if((weighted_pred_flag&&slice_type＝＝EP)||            (weighted_bipred_idc＝＝1&&            slice_type＝＝EB)){
			pred_weight_table()
}
			if(nal_ref_idc！＝0)
dec_ref_pic_marking()	2
			if(entropy_coding_mode_flag&&slice_type！＝EI)
cabac_init_idc	2	ue(v)
			}
if(slice_type！＝PR||fragment_order＝＝0){
			slice_qp_delta	2	se(v)
if(deblocking_fiter_control_present_flag){
			disable_deblocking_filter_idc	2	ue(v)
if(disable_deblocking_filter_idc！＝1){
			slice_alpha_c0_offset_div2	2	se(v)
slice_beta_offset_div2	2	se(v)
			}
}
			}
if(slice_type！＝PR)
			if(num_slice_groups_minus1＞0&&             slice_group_map_type＞＝3&&             slice_group_map_type＜＝5)
slice_group_change_eycle	2	u(v)
			if(slice_type！＝PR&&extended_spatial_scalability＞0){
if(chroma_format_idc＞0){
			base_ehroma_phase_x_plus1	2	u(2)
base_chroma_phase_y_plus1	2	u(2)
			}
if(extended_spatial_scalability＝＝2){

scaled_base_left_offset	2	se(v)
			scaled_base_top_offset	2	se(v)
scaled_base_right_offset	2	se(v)
			scaled_base_bottom_offset	2	se(v)
}
			}
if(slice_type＝＝PR&&fragment_order＝＝0){
			adaptive_ref_fgs_flag	2	u(1)
if(adaptive_ref_fgs_flag){
			max_diff_ref_scale_for_zero_base_block	2	u(5)
max_diff_ref_scale_for_zero_base_coeff	2	u(5)
			fgs_entropy_order_flag	2	u(1)
}
			motion_refinement_flag	2	u(1)
}
			SpatialScalabilityType＝spatial_scalability_type()
}

F.7.3.6.3可缩放扩展语法中的残差 

residual_in_scalable_extension(){	C	描述符
			if(adaptive_prediction_flag  &&□    MbPartPredType(mb_type，0)！＝Intra_16x16&&□      MbPartPredType(mb_type，0)！＝Intra_8x8  &&□     MbPartPredType(mb_type，0)   ！＝Intra_4x4  &&□    MbPartPredType(mb_type，0)！＝Intra_Base){
residual_prediction_flag	3|4	u(1)|ae(v)
			if(residual_prediction_flag&&base_mode_flag&&□           constrained_inter_layer_pred()&&！avc_rewrite_flag)
smoothed_reference_flag	3|4	u(1)|ae(v)
			}
if(！entropy_coding_mode_flag)
			residual_block＝residual_block_cavlc
else
			residual_block＝residual_block_cabac
if(MbPartPredMode(mb_type，0)＝＝Intra_16x16)
			residual_block_cabac(Intra 16x16DCLevel，16)	3
for(i8x8＝0；i8x8＜4；i8x8++)      /*each luma 8x8 block*/

if(！transform_size_8x8_flag)
			for(i4x4＝0；i4x4＜4；i4x4++){             /*each 4x4 sub-block of block*/
if(CodedBlockPatternLuma&(1＜＜i8x8))
			if(MbPartPredMode(mb_type，0)＝＝                   Intra_16x16)
residual_block(                       Intra16x16ACLevel[i8x8*4+i4x4]，                       15)	3
			else
residual_block(                       LumaLevel[i8x8*4+i4x4]，16)	3|4
			else if(MbPartPredMode(mb_type，0)＝＝                Intra_16x16)
for(i＝0；i＜15；i++)
			Intra16x16ACLevel[i8x8*4+i4x4][i]                        ＝0
else
			for(i＝0；i＜16；i++)
LumaLevel[i8x8*4+i4x4][i]＝0
			}
else if(CodedBlockPatternLuma&(1＜＜i8x8))
			residual_block(LumaLevel8x8[i8x8]，64)	3|4
else
			for(i＝0；i＜64；i++)
LumaLevel8x8[i8x8][i]＝0
			if(chroma_format_idc！＝0){
NumC8x8＝4/(SubWidthC*SubHeightC)
			for(iCbCr＝0；iCbCr＜2；iCbCr++)
if(CodedBlockPatternChroma&3)               /*chroma DC residual present*/
			residual_block(                   ChromaDCLevel[iCbCr]，4*NumC8x8)	3|4
else

for(i＝0；i＜4*NumC8x8；i++)
			ChromaDCLevel[iCbCr][i]＝0
for(iCbCr＝0；iCbCr＜2；iCbCr++)
			for(i8x8＝0；i8x8＜NumC8x8；i8x8++)
for(i4x4＝0；i4x4＜4；i4x4++)
			if(CodedBlockPatternChroma&2)                /*chroma AC residual present*/
residual_block(ChromaACLevel[iCbCr][i8x8*4+                  i4x4]，15)	3|4
			else
for(i＝0；i＜15；i++)
			ChromaACLevel[iCbCr][i8x8*4+                     i4x4][i]＝0
}

F.7.3.2序列参数集SVC扩展语义 

nal_unit_extension_flag等于0指定了：在序列参数集中，下一个是指定simple_priority_id至(dependency_id，temporal_level，quality_level)的映射的参数。nal_unit_extension_flag等于1指定了：指定simple_priority_id至(dependency_id，temporal_level，quality_level)的映射的参数不存在。当nal_unit_extension_flag不存在时，应推断其等于1。参考当前序列参数集，nal_unit_type等于20和21的所有NAL单元的NAL单元扩展语法元素extension_flag应等于nal_unit_extension_flag。 

注释-当profile_idc不等于83时，参考当前序列参数集，nal_unit_type等于20和21的所有NAL单元的语法元素extension_flag应等于1。 

number_of_simple_priority_id_values_minus1加1指定了：用于simple_priority_id的值的数目，在序列参数集中下一个参数指定了该simple_priority_id至(dependency_id，temporal_level，quality_level)的映射。number_of_simple_priority_id_values_minus1的值应在0至63的范围内(含0和63)。 

priority_id、dependency_id_list[priority_id]、temporal_level_list[priority_id]、quality_level_list[priority_id]如分条款F.7.4.1所规定的，指定了语法元素dependency_id、temporal_level和quality_level的推断过程。对于不存在dependency_list[priority_id]、temporal_level_list[priority_id]和quality_level_list[priority_id]的所有priority_id值，应推断dependency_list[priority_id]、temporal_level_list[priority_id]和quality_level_list[priority_id]等于0。 

extended_spatial_scalability指定了与用于基本层上采样的几何参数相关的语法元素的存在与否。当extended_spatial_scalability等于0时，比特流中不存在几何参数。当extended_spatial_scalability等于1时，序列参数集中存在几何参数。当extended_spatial_scalability等于2时，slice_data_in_scalable_extension中存在几何参数。为extended_spatial_scalability保留值3。当extended_spatial_scalability不存在时，应推断其等于0。 

scaled_baseleft_offset以两个亮度采样为单位，指定经上采样的基本层画面的左上角像素与当前层画面的左上角像素之间的水平偏移。当scaled_base_left_offset不存在时，应推断其等于0。 

变量ScaledBaseLeftOffset定义如下： 

ScaledBaseLeftOffset＝2*scaled_base_left_offset(F-40) 

变量ScaledBaseLeftOffsetC定义如下： 

ScaledBaseLeftOffsetC＝ 

ScaledBaseLeftOffset/SubWidthC(F-41) 

scaled_base_top_offset以两个亮度采样为单位，指定经上采样的基本层画面的左上角像素与当前层画面的左上角像素之间的垂直偏移。当scaled_base_top_offset不存在时，应推断其等于0。 

变量ScaledBaseTopOffset定义如下： 

ScaledBaseTopOffset＝2*scaled_base_top_offset(F-42) 

变量ScaledBaseTopOffsetC定义如下： 

ScaledBaseTopOffsetC＝ 

ScaledBaseTopOffset/SubHeightC(F-43) 

scaled_base_right_offset以两个亮度采样为单位，指定经上采样的基本层画面的右下角像素与当前层画面的右下角像素之间的水平偏移。当scaled_base_right_offset不存在时，应推断其等于0。 

变量ScaledBaseRightOffset定义如下： 

ScaledBaseRightOffset＝2*scaled_base_right_offset(F-44) 

变量ScaledBaseWidth定义如下： 

ScaledBaseWidth＝PicWidthInMbs*16- 

ScaledBaseLeftOffset-ScaledBaseRightOffset(F-45) 

变量ScaledBaseWidthC定义如下： 

ScaledBaseWidthC＝ScaledBaseWidth/SubWidthC(F-46) 

scaled_base_bottom_offset以两个亮度采样为单位，指定经上采样的基本层画面的右下角像素与当前层画面的右下角像素之间的垂直偏移。当scaled_base_bottom_offset不存在时，应推断其等于0。 

变量ScaledBaseBottomOffset定义如下 

ScaledBaseBottomOffset＝2*scaled_base_bottom_offset(F-47) 

变量ScaledBaseHeight定义如下： 

ScaledBaseHeight＝PicHeightInMbs*16- 

ScaledBaseTopOffset-ScaledBaseBottomOffset(F-48) 

变量ScaledBaseHeightC定义如下： 

ScaledBaseHeightC＝ScaledBaseHeight/SubHeightC(F-49) 

chroma_phase_x_plus1以当前层画面的水平方向上的四分之一采样空间(sampling space)为单位，指定色度分量的水平相移。当chroma_phase_x_plus1不存在时，应推断其等于0。chroma_phase_x_plus1在0..1的范围内，保留值2和3。 

chroma_phase_y_plus1以当前层画面的垂直方向上的四分之一采样空间为单位，指定色度分量的垂直相移。当chroma_phase_y_plus1 不存在时，应推断其等于1。chroma_phase_y_plus1在0..2的范围内，值3保留。注意：在相同的sequence_parameter_set中，vui_parameters中指定的色度类型应与色度相位参数chroma_phase_x_plus1和chroma_phase_y_plus1一致。 

avc_rewrite_flag指定了：仅通过对熵编码进行解码和编码并对变换系数进行缩放，就可以无退化地将所发送的序列重写为AVC比特流。编码器采用了一种用于IntraBL块的可选方法，并对变换尺寸选择加以限制。 

avc_adaptive_rewrite_flag指定：将在像条首部中发送avc_rewrite_flag。 

本发明的一些实施例包括将经量化的变换系数映射至“解量化”版本或可选量化域的缩放过程。在一些实施例中，当上述avc_rewrite_flag以信号指示禁用这些过程时，则根据当前H.264/AVC视频编码标准中定义的过程对所有层中的经解码的变换系数进行“解量化”。但是，当avc_rewrite_flag以信号指示使用这些实施例时，则不在期望的增强层之前的层中对经解码的量化后的变换系数或索引进行“解量化”。取而代之地，将量化系数或者索引从较低层(具体地，期望的增强层所依赖的层)映射到下一个较高层(具体地，与按照依赖性顺序显式依赖于上述较低层的增强层较接近的层)。 

可以参考图5和图20来描述本发明的一些实施例。根据这些实施例的***包括：第一参数确定器311、第二参数确定器312和缩放器313。在这些实施例中，映射过程可以按以下方式执行。首先，第一参数确定器311确定(50)较低层比特流中的量化参数(或Qp)值。然后，第二参数确定器312确定(51)较高层中的量化参数(或Qp)值。然后，在缩放器313处，使用基于量化参数的因子来对较低层系数(第一层变换系数)进行缩放(52)。 

在一些实施例中，可以计算较低层和较高层Qp值之间的差。在一些实施例中，可以按照如下过程对变换系数进行缩放： 

$T_{\mathrm{HigherLayer}}\left[n\right]=T_{\mathrm{LowerLayer}}\left[n\right]\·2^{\frac{\mathrm{Qp}\_\mathrm{LowerLayer}-\mathrm{Qp}\_\mathrm{HigherLayer}}{6}}$

其中，T_HigherLayer和T_LowerLayer分别表示较低层和较高层处的变换系数；n是整数，Qp_LowerLayer和Qp_HigherLayer分别是较高层和较低层的量化参数。 

可以采用许多方式来实现映射过程的计算以简化计算。例如，如下***是等同的： 

Qp_Diff＝Qp_LowerLayer-Qp_HigherLayer 

T_HigherLayer[n]＝ 

(T_LowerLayer[n]＜＜QP_Diff//6)*ScaleMatrix[QP_Diff％6]+M/2)＞＞M 

其中，//表示整数除法，％表示模运算，M和ScaleMatrix是预定义常量。 

这些预定义值的一个具体示例为： 

ScaleMatrix＝[512 573 642 719 806 902] 

M＝512 

但是，显而易见的是，M和ScaleMatrix也可以使用其他值。 

上述简化示例假定Qp_Diff的值总是大于0。相应地，在一些实施例中，可以在执行缩放操作之前检查Qp_Diff的值。当Qp_Diff的值小于0时，可以在执行更多处理之前将其重新赋值为0。在一些实施例中，可以假定Qp_LowerLayer将大于或等于Qp_HigherLayer。 

在一些可选实施例中，可以实现如下***： 

Qp_Diff＝Qp_LowerLayer-Qp_HigherLayer 

T_HigherLayer[n]＝ 

((T_LowerLayer[n]＜＜QP_Diff//6)*ScaleMatrix[QP_Diff％6+5]+M/2)＞＞M 

在示例性实施例中，可以将预定义值选择为： 

ScaleMatrix＝ 

[291 325 364 408 457 512 573 642 719 806 902] 

M＝512 

在一些实施例中，在将变换系数从较低层映射至较高层之后，在 利用上述过程的情况下，可以对系数进行细化。在细化之后，可以采用第二缩放操作。该缩放操作可以对变换系数进行“解量化”。 

虽然上述一些实施例仅描述了一个较低层和一个较高层，但是一些实施例可以包括多于2层。例如，示例性的三层情况可以按照如下方式工作：首先，可以对最低层进行解码。然后，可以通过上述方法将变换系数映射到第二层。然后对映射后的变换系数进行细化。接下来，利用上述方法将这些变换系数映射到第三层。然后，可以对这些变换系数进行细化，并且通过如AVC/H.264视频编码标准定义的缩放操作来对所产生的系数进行“解量化”。 

可以参照图6和图21来描述本发明的一些实施例。根据这些实施例的***包括：第一标识器321、第二标识器322、第一指示符确定器323、第二指示符确定器324、以及值确定器325。在这些实施例中，可以利用与相邻宏块相关的信息来通知目标块或宏块的编码或解码操作。在一些实施例中，第一标识器321标识第一相邻宏块(60)，第二标识器322标识第二相邻宏块(61)。然后，第一指示符确定器323确定第一相邻宏块指示符(62)，第二指示符确定器324确定第二相邻宏块指示符(63)。然后，值确定器325可以基于相邻宏块指示符，确定熵编码控制值(64)。 

可以参照图7来描述本发明的一些实施例。在这些实施例中，标识第一相邻宏块71，并标识第二相邻宏块72。然后，可以检查第一相邻宏块的属性来确定第一宏块是否满足预定义的条件73。也可以检查第二相邻宏块来确定是否满足条件74。在一些实施例中，这些条件可以包括：宏块是否可用、宏块是否是以层间预测模式进行编码的、宏块是否是在空间域内编码的、宏块是否是使用DC预测来进行层内预测的、以及宏块是否是参考另一时间一致的层进行编码的。如果第一宏块满足任一条件75，则设置第一宏块标记以指示相符80。如果不满足任何条件，则设置该标记以指示不相符76。在一些实施例中，如果满足任一条件，则可以将该标记设置为“0”80，如果不满足任何条件，则可以将该标记设置为“1”76。对于第二相邻宏块，可以继续执行相同过程74、79，其中，如果满足条件，则将标记设置为一值81，如果 不满足条件则将标记设置为另一值78。当检查完两个相邻宏块并设置了相关标记时，可以将标记相加83。然后，可以将所产生的值用作熵编码器控制值。 

可以参照图8来描述本发明的一些实施例。在这些实施例中，标识第一相邻宏块90，并标识第二相邻宏块92。然后，可以检查第一相邻宏块和第二相邻宏块的属性，以确定该宏块是否满足预定义条件92。在一些实施例中，这些条件可以包括：宏块是否可用、宏块是否是以层间预测模式进行编码的、以及宏块是否是参考另一层来编码的。如果任一宏块满足任一条件94，则将估计预测模式设置为预定模式。在一些实施例中，该预定模式可以是DC预测模式。 

在这些实施例中，也可以确定实际预测模式。实际预测模式可以基于图像内容。可以利用一些方法来确定产生最少误差或者减少的误差的预测模式。如果实际预测模式和估计预测模式相同94，则可以对比特流进行编码，来指示估计预测模式的使用。在解码器侧，在对比特流进行解码时，可以继续执行同样的过程以选择估计模式。当实际预测模式和估计预测模式不相同时94，可以发送消息以指示实际模式及其选择95。估计预测模式和实际预测模式的信号指示的细节可以在JVT AVC规范中找到，所述细节被结合于此作为参考。 

本发明的一些实施例可以包括：在层内编码块中，对亮度和色度信息的层内预测模式进行编码。传统上，使用上下文自适应法来以信号指示这些模式，并以依赖于空间相邻块的预测模式的方式来对这些模式进行编码。在本发明的一些实施例中，可以使用条件过程。在这些实施例中，如果相邻块没有采用层间预测，则可以根据这些相邻块来预测预测模式。可以按照如下方式之一来处理采用层间预测的块。在一些示例性实施例中，可以将该块视为如同具有最可能的预测模式。在H.264/AVC相关的实施例中，对于亮度预测的情况，这可以是DC预测模式(模式2)。 

在一些可选实施例中，可以将该块视为层间编码块和预测区域外部(OUTSIDE)。在一些实施例中，所述外部对于用于JVT SVC项目组中的测试的软件，具有特定上下文。该软件通常被称作JSVM。 

在一些环境中，预测模式的编码和用于以信号指示编码模式的上下文的选择可以是分离的过程。对于上述两个过程，可以使用不同的预测方法。例如，可以利用用于所有层内编码块(包括采用层间预测的块)的实际预测模式来对预测模式进行编码。但是，这些相同的块可以利用其他规则(如上述任一规则)，以推导出用于对已编码值进行编码的上下文。例如，该上下文可以假定，利用层间预测的层内块具有最可能的预测模式。这些实施例中的一些实现了与不同层相对应的比特流的独立处理。 

本发明的一些实施例包括：对“编码块样式”信息(或Cbp)的维护，在JVT SVC标准中对此作出了定义，并将其合并于此作为参考。所述信息定义了图像(或宏块)内包含残差信息的子区域。在一些情况下，对比特流进行解码是必要的，这是因为比特流解码器首先对Cbp进行解码，然后利用该信息对比特流的其余部分进行解析。(例如，Cbp可以定义可能存在的变换系数的数目。)在很多解码器中，还可以利用Cbp来重建解码帧。例如，如果Cbp表示残差信息，则解码器仅需要计算反变换。在一些实施例中，解析过程可以利用在比特流中发送的Cbp来提取变换系数。但是，由于子区域可以包含来自先前层的残差信息，因此Cbp可能对重建过程不再有用。 

相应地，本发明的实施例的解码器可以：(1)在重建过程中不利用Cbp信息，或者(2)在解析比特流后重新计算Cbp。重新计算过程的示例包括：对所有系数列表进行扫描，以标识具有残差信息的子区域，或者可选地，通过计算所发送的Cbp和用于重建较低层数据的Cbp之间的二进制或运算来产生新的Cbp。在这种情况下，“较低层数据”表示在层间预测过程中所利用的层。 

可以参照图9和图22来描述本发明的一些实施例。根据这些实施例的***包括：接收机331、解码器332、解析器333、缩放器334、加法器335、计算器336。在这些实施例中，接收机331接收(100)包括Cbp信息和编码图像信息在内的比特流。解码器332可以对Cbp信息进行解码(101)并利用Cbp信息来确定比特流的哪些部分包括变换系数数据。然后，解析器333可以利用Cbp信息来对比特流进行解析(102)， 以标识基本层和任何增强层中的量化索引或解量化后的变换系数。然后，缩放器334可以对基本层或较低层的索引或系数进行缩放(103)，以匹配增强层。然后，缩放后的索引或系数可以通过加法器与增强层相加或组合，从而形成组合层(104)。然后，计算器336可以重新计算或者更新(105)Cbp信息，以反映原始基本层或较低层与新组合层之间的系数位置的变化。然后，新的组合Cbp信息可以用于组合层或所产生的重建图像的后续处理。在一些实施例中，组合Cbp信息可以用于AVC规范中定义的环路滤波器操作。 

本发明的一些实施例包括：用于处理实现8x8变换的标记的方法和***。这些实施例可以与JVT SVC标准相关。在这些实施例中，当块是使用层间预测进行层内编码而不包含残差数据时，不需要发送该标记。在一些实施例中，当帧间预测利用小于指定尺寸(如8x8)的块时，不需要发送该标记。这些实施例可以拷贝在较低层中发送的变换标记，并在重建过程中采用该标记。 

本发明的一些实施例包括：用于处理实现8x8变换的标记的可选方法。在这些实施例中，当块不包含残差数据时，不需要发送该标记。如果这种情况发生在用于层间预测的较低层，则较高层在发送残差数据时能够选择实现8x8变换。这可以是标记的缺省值，该缺省值并不发送，但禁用8x8变换。在一些实施例中，在特定情况下，解码器能够允许较低层和较高层采用不同变换。 

一些本发明的实施例包括：用于处理量化矩阵的方法和***，本领域专业人员也称其为加权矩阵或缩放矩阵。这些矩阵可以改变“解量化”过程，并允许编码器和解码器应用依赖于频率(或依赖于变换系数)的量化。在这些实施例中，这些缩放矩阵的存在改变了上述映射过程中描述的缩放处理。在一些实施例中，映射过程可以被描述为： 

$T_{\mathrm{HigherLayer}}\left[n\right]=T_{\mathrm{LowerLayer}}\left[n\right]\·2^{\frac{S\_L\left[n\right]*\mathrm{Qp}\_\mathrm{LowerLayer}-S\_H\left[n\right]*\mathrm{Qp}\_\mathrm{HigherLayer}}{6}}$

其中，T_HigherLayer和T_LowerLayer分别表示较高层和较低层处的变换系数；n是整数，Qp_LowerLayer和Qp_HigherLayer分别是较高层和较低层的量化参数，S_L和S_H分别是较高层和较低层的缩放因子。 

为了使用加权矩阵，一些实施例可以利用上述映射过程中介绍的算法的修改版本。参照上述讨论，可以定义： 

Qp_Diff[n]＝S_L[n]*Qp_LowerLayer-S_H[n]*QP_HigherLayer 

T_HigherLayer[n]＝ 

((T_LowerLayer[n]＜＜QP_Diff[n]//6)*ScaleMatrix[QP_Diff[n]％6]+M/2)＞＞M 

其中，S_L[n]和S_H[n]可以是显式存在的，或可选地可以从比特流中导出。 

在使用加权矩阵的可选实施例中，可以在比特流中发送附加的加权矩阵。所述附加的加权矩阵可以显式定义根据较低层预测层所需的频率加权。例如，可以按以下方式利用加权矩阵： 

Qp_Diff[n]＝W1[n]*(Qp_LowerLayer-Qp_HigherLayer)+W2[n] 

T_HigherLayer[n]＝ 

((T_LowerLaoyer[n]＜＜QP_Diff[n]//6)*ScaleMatrix[QP_Diff[n]％6]+M/2)＞＞M 

其中，W1和W2是比特流中包括的加权矩阵。在一些实施例中，可以不发送W1或W2。在这些实施例中，未发送的矩阵可以被假定为具有等于零的元素。 

本发明的实施例包括：用于修改、创建和/或应用可缩放视频编解码器的方法和***。一些实施例允许多层比特流至具有较少层的比特流的快速转换。一些实施例包括：多层比特流至单层比特流的转换。一些示例性实施例包括：SVC比特流至AVC比特流的转换。 

本发明的实施例涉及残差预测。这些实施例可以包括：在变换域和空间域操作的残差预测过程。在示例性实施例中，当比特流中的较高层参考比特流中的较低层，并且这两层都包含相同的空间分辨率时，残差预测过程可以包括：将残差变换系数从较低层映射到较高层。该映射过程可以作用于缩放后的变换系数或(未缩放的)变换系数级(transform coefficient levels)。在一些实施例中，缩放后变换系数的残差预测过程可以按以下方式规定： 

A.8.11.4.1缩放后的变换系数的残差累加过程 

该过程的输入是： 

变量fieldMb，指定宏块是场宏块还是帧宏块， 

变量lumaTrafo，指定亮度变换类型， 

缩放后的变换系数值sTCoeff的列表，具有256+2*MbWidthC*MbHeightC个元素； 

该过程的输出包括： 

缩放后的变换系数值sTCoeff的修改版本。 

可以使用fieldMb、lumaTrafo和sTCoeff作为输入，而以sTCoeff的修改后的版本作为输出，来调用如分条款G.8.11.3中规定的、缩放后的变换系数的逐步细化(progressive refinement)过程，其中在合并SVC标准中对G.8.11.3进行了定义。 

相反，在一些实施例中，当增强层利用较低层来进行包含另一空间分辨率的层间预测时，残差预测过程可以发生在空间域。在这些实施例中，在强度域中对来自所参考的层的残差进行重建，并将其插值到增强层分辨率中。在一种可选情形下，将来自所参考的层的残差添加到从空间域中的所参考的层导出的预测中。然后，将该加法的结果插值到增强层中。 

可以参照图10和图23来描述本发明的一些实施例。根据这些实施例的***包括：分辨率确定器341、比较器342、控制器343、系数缩放器344、系数组合器345、反变换器346、以及空间域组合器347。在这些实施例中，可以检查当前层，以确定其是否采用了残差预测(110)。如果没有采用残差预测，则不需要累加(111)。如果采用了残差预测(110)，则分辨率确定器341确定当前层和参考层的空间分辨率(112，113)。然后，比较器342将当前层的空间分辨率和参考层的空间分辨率进行比较(114)。当这些空间分辨率相同时，控制器343选择性地允许系数缩放器344和系数组合器345执行步骤116和117。也就是说，如果这些空间分辨率相同(114)，则系数缩放器344可以对参考层(从该参考层预测当前层)的系数或索引进行缩放(116)，系数组合器345将其与当前层的索引或系数进行组合(117)。当这些空间分辨率不相同时，控制器343选择性地允许反变换器346和空间域组合器347执行步骤115、118和120。也就是说，如果空间分辨率不相同(114)，则可以对 当前层和参考层索引进行解量化，并对所产生的系数进行反变换(115，118)。然后，空间域组合器347将所产生的当前层和参考层中的空间域值进行组合(120)，以形成重建图像。 

通过以上描述容易看到，残差预测的方法取决于所列举的较高层和所列举的被参考用于预测的较低层的分辨率。不幸的是，由于空间域中的残差信息的累加可能不等于变换域中的残差信息的累加(随后再转换至空间域)，因此这是存在问题的。对于标准化解码过程而言，这可能导致编码器和解码器之间的偏移和编码效率的损失。 

当前的SVC***通过仅在空间域执行残差预测来解决该问题。然而，本发明的一些实施例包括：在两个域中均执行残差预测的解码过程。具体地，当启用残差预测而且增强层和被参考用于层间预测的层具有相同分辨率时，在变换域中累加残差。然而，当启用残差预测而且增强层和被参考用于层间预测的层具有不同分辨率时，在空间域中累加残差。 

以下描述了一种示例性解码过程： 

//Initialize list of scaled transform coefficients to zero 

for(i＝0；i＜NumberTransform Coefficients；i++) 

  sTCoeff[i]＝0； 

//Initialize spatial residual to zero 

for(i＝0；i＜WidthResidual；i++) 

    for(j＝0；j＜HeightResidual；j++) 

       rYCC[i][j]＝0； 

//Process layer 

for(layerID＝0；layerID＜NumLayers；layerID++) 

{ 

    if(UtilizeAnotherLayerForInterLayerPrediction(layerID)＝＝false) 

    { 

     //For layers that do not employ residual prediction，decode and store 

transform coefficients 

     //Noet that this will discard any data previously stored in sTCoeff 

       sTCoeff＝ 

DecodeAndScaleTransmittedTransformCoefficients(layerID)； 

   } 

   else 

   { 

     //For layers that utilize residual prediction，determine the spatial 

resolution of the current and reference layers 

      if(ResolutionOfLayer(layerID)＝＝ 

ResolutionOfLayerReferencedForInterLayerPrediction(layerID))； 

     { 

         //If the resolutions are the same，accumulate the residual information 

in the transform domain 

         sTCoeff＝ 

sTCoeff+DecodeAndScaleTransmittedTransformCoefficients(layerID)； 

    } 

    else 

    { 

         //If the resolutiohs are not the same，convert the contents of sTCoeff 

to the spatial domain 

         //and add it to any residual stored in rYCC.Then，upsample(or 

interpolate the residual). 

         //Finally，discard the data in sTCoeff and store transform 

coefficients for the current layer 

          rYCC＝rYCC+ 

CalculateInverseTransformOfScaledTransformCoefficients(sTCoeff)； 

          rYCC＝UpsampleOrInterpolate(rYCC；) 

          for(i＝0；i＜NumberTransformCoefficients；i++) 

       sTCoeff[i]＝0； 

     sTCoeff＝ 

DecodeAndScaleTransmittedTransformCoefficients(layerID)； 

    } 

  } 

  //Determine if the layer is identified for output.If so convert residual to 

the pixel domain. 

  //Then，add to any intra-layer prediction. 

    if(LayerShouldBeReconstructedForDisplay(layerID)＝＝true) 

  { 

     rYCC＝rYCC 

+CalculateInverseTransformOfScaledTransformCoefficients(sTCoeff)； 

     outYCC＝GenerateIntraLayerPrediction(layerID)+rYCC； 

  } 

} 

尽管未在上述伪代码中显式描述，但是其他示例性实施例包括对所定义的解码过程的其他扩展。在一些实施例中，可以在可缩放比特流中的多个层处执行层内预测。当视频编码标准允许这样做时，可以在任何残差处理之前，调用函数GenerateIntraLayerPrediction。该函数的输出可以被添加至数组rYCC。此外，在一些实施例中，在上述伪代码中不调用GenerateIntraLayerPrediction。取而代之地，使用outYCC＝rYCC来代替代码行outYCC＝GeneateIntraLayerPrediction(layerID)+rYCC。 

在本发明的一些实施例中，可以对未缩放的变换系数应用残差累加过程。在这种情况下，可以在构建缩放后的变换系数之前执行层间预测过程。在由C.Andrew Segall发明的、2006年7月10日提交的题为“Methods and Systems for Image Scalability”的美国临时专利申请No.60/806,930中描述了一些实施例的若干方面，将该文献全部合并于此 作为参考。在由C.Andrew Segall发明的、2006年10月6日提交的题为“Systems and Methods for Bit-Stream Rewriting for Coarse GrainScalability”的美国临时专利申请No.60/828,618中描述了一些实施例的若干方面，将该文献全全部合并于此作为参考。 

以下给出了一种示例性过程的伪代码： 

//Initialize list of scaled transform coefficients to zero 

for(i＝0；i＜NumberTransformCoefficients；i++) 

  sTCoeff[i]＝0； 

//Initialize spatial residual to zero 

for(i＝0；i＜WidthResidual；i++) 

    for(j＝0；j＜HeightResidual；j++) 

       rYCC[i][j]＝0； 

//Process layer 

for(layerID＝0；layerID＜NumLayers；layerID++) 

{ 

    if(UtilizeAnotherLayerForInterLayerPrediction(layerID)＝＝false) 

    { 

       //For layers that do not employ residual prediction，decode and store 

transform coefficients 

      //Note that this will discard any data previously stored in sTCoeff 

        sTCoeff＝DecodeAndScaleTransmittedTransformCoefficients(layerID)； 

     } 

    else 

    { 

      //For layers that utilize residual prediction，determine the spatial 

resolution of the current and reference layers 

       if(ResolutionOfLayer(layerID)＝＝ 

ResolutionOfLayerReferencedForInterLayerPrediction(layerID))； 

     { 

        //If the resolutions are the same，accumulate the residual information 

in the transform domain 

       if(InterLayerPredictionWithUnScaledTransformCoefficients(layerID) 

＝＝false) 

           sTCoeff＝ 

sTCoeff+DecodeAndScaleTransmittedTransformCoefficients(layerID)； 

     else 

          sTCoeff＝ 

DecodeAndScaleTransmittedTransformCoefficients(layerID)； 

   } 

   else 

   { 

         //If the resolutions are not the same，convert the contents of s TCoeff 

to the spatial domain 

         //and add it to any residual stored in rYCC.Then，upsample(or 

interpolate)the residual. 

         //Finally，discard the data in s TCoeff and store transform 

coefficients for the current layer 

          rYCC＝rYCC+ 

CalculateInverseTransformOfScaledTransformCoefficients(sTCoeff)； 

          rYCC＝UpsampleOrInterpolate(rYCC；) 

          for(i＝0；i＜NumberTransformCoefficients；i++) 

             sTCoeff[i]＝0； 

          sTCoeff＝ 

DecodeAndScaleTransmittedTransformCoefficients(layerID)； 

      } 

} 

  //Determine if the layer is identified for output.If so convert residual to 

the pixel domain. 

  //Then，add to any intra-layer prediction. 

    if(LayerShouldBeReconstructedForDisplay(layerID)＝＝true) 

    { 

       rYCC＝rYCC 

+CalculateInverseTransformOfScaledTransformCoefficients(sTCoeff)， 

     outYCC＝GenerateIntraLayerPrediction(layerID)+rYCC； 

  } 

} 

本发明的一些实施例包括：一种解码器，将可缩放比特流作为输入，并产生重建的图像序列。该可缩放比特流采用层间预测过程，来将信息从比特流的所列举的较低层投影到比特流的所列举的较高层。 

本发明的一些实施例包括：一种解码过程，在变换域和空间域中对残差信息进行累加。当所列举的层描述的图像序列具有相同分辨率时，在比特流中所列举的层之间，在变换域中执行累加。 

本发明的一些实施例包括：一种解码过程，仅当处理的当前层具有与用于层间预测的层不同的空间分辨率时，将所累加的变换系数转换至空间域。将该变换系数转换至空间域，并随后对其进行上采样(或插值)。然后将变换系数列表设置为等于0。 

本发明的一些实施例包括：一种解码过程，直到当前解码层与用于层间预测的层之间的分辨率有所不同之前，在变换域中累加残差。然后，将变换系数列表设置为0，接着，对参考具有相同空间分辨率的层的层执行后续处理，所述后续处理在变换域中执行累加。 

本发明的一些实施例包括：一种解码过程，通过执行层内预测；对缩放后的变换系数计算反变换；将反变换操作的输出添加至可能的非零残差信号；以及对该在先加法的结果与层内预测过程的输出进行求和，来产生输出比特流。 

本发明的一些实施例包括：一种解码过程，也允许对未缩放的变 换系数或变换系数级执行层间预测。 

本发明的一些实施例包括：一种解码过程，也允许，在比特流的未被重建用于输出的层内，执行层内预测。将该层内预测的结果添加至累加的空间残差。 

本发明的一些实施例包括：一种解码过程，其中在残差预测过程中执行限幅(clipping)。 

信号指示实施例 

可以通过许多方法将图像表示转换为替代表示。可以进行这种转换的代码转换操作可以包括：对原始图像表示进行完全解码，并以另一种格式对该图像表示进行重新编码，从而创建替代图像表示。也可以通过上述方法来创建替代图像表示，其中，不对原始图像表示进行完全解码，而是代之以在不进行系数反变换的情况下对原始图像表示进行修改。在这些实施例中，可以对系数进行缩放，并将其与其他层的系数组合，以形成单层表示。在一些情况下，可以无偏移地执行该操作。也可以使用其他方法来将图像表示转换为替代表示。 

在一些实施例中，可以将转换数据附着至图像数据。在一些实施例中，可以将转换数据附加至图像表示，其中，转换数据可以指示：可以在无偏移和无需完全重建的情况下，将当前可缩放层的表示转换为不可缩放的(例如AVC)比特流。当可缩放层是SVC层且替代表示是AVC比特流时，该附加信息可以被称为“avc_layer_conversion标记”。 

本发明的一些实施例可以包括：一种编解码器，确定与特定图像层相关的比特率特性，并将这些特性附加至图像文件或比特流。在一些实施例中，这些特性可以被表示为元数据。在一些实施例中，可以相对于层的替代表示来确定比特率特性。例如，替代表示可以包括SVC层的AVC兼容的转换。在一些实施例中，可以将图像序列或帧的多层SVC表示转换为单层的、AVC兼容表示。可以确定与AVC兼容表示相关的比特率特性，并使用原始SVC层表示来对其进行编码。在一些实施例中，比特率特性可以包括：最大比特率、平均比特率或其他比特率信息。 

在一些实施例中，可以相对于用于对图像表示进行编码的熵编码器来确定比特率特性。在一些实施例中，可以针对使用可变长度码(VLC)进行编码的图像表示，来确定比特率特性。在一些实施例中，可以针对使用算术码(AC)进行编码的图像表示，来确定比特率特性。在一些实施例中，可以针对图像表示来确定比特率特性，使得当将该图像表示转换为另一格式(例如AVC)并使用特定熵编码器对其进行编码时，所述特性与该图像表示相关。在示例性实施例中，SVC层的比特率特性可以包括：与使用VLC编码器进行编码的该层的AVC转换相关的比特率数据。当用AC编码器将该相同的层转换为AVC表示时，可以针对该相同的层确定另一比特率特性。然后，可以将两种比特率特性附加至SVC层，或与SVC层相关联。 

在本发明的一些实施例中，编码器可以确定是否可以在不对表示进行完全解码的情况下将可缩放的多层图像表示的层进行组合。在一些实施例中，可以基于可缩放表示中是否存在avc_rewrite标记来进行这种确定。这也可以基于对以下内容的确定来确定：可缩放表示中是否使用了intraBL宏块、是否使用了平滑的参考预测和/或是否将较低层中的经解码的变换系数映射至增强层中的经解码的变换系数。当可以在不对原始表示进行完全解码的情况下将层组合时，可以将指示该信息的消息附着至原始表示。在一些实施例中，该消息可以是可缩放性SEI消息的一部分。 

可以参照图11和图24来描述本发明的一些实施例。根据这些实施例的编码器包括：确定器(接收机)401和附着器402。在这些实施例中，确定器401和附着器402接收(130)表现为原始表示的图像。该原始表示可以具有特定图像格式，如可缩放图像格式。该原始表示可以是视频序列的可缩放的多层表示。在示例性实施例中，该原始表示可以是具有多层的SVC视频表示。然后，确定器401可以确定(131)当将所接收的图像转换为替代表示时，该图像的一个或多个比特率特性(视频序列的层的一个或多个比特率特性)。在一些实施例中，该替代表示可以是仅具有单层的不可缩放的视频表示。也就是说，该比特率特性可以与不可缩放的单层表示相关。在一些实施例中，该比特率特 性可以是最大比特率和/或平均比特率。在一些实施例中，该替代表示可以是AVC视频表示。一旦确定了比特率特性，附着器402可以将比特率特性数据(所确定的比特率特性的数据)附着、附加或关联至(132)原始图像表示，以形成增强表示。在一些实施例中，该比特率特性数据可以被关联为视频比特流中的元数据。在一些实施例中，该增强型表示可以是可缩放表示，如SVC。在一些实施例中，所述附着可以包括：在SVC比特流中添加SEI消息。附着器402可以在比特流中将视频比特流和相关比特率特性数据以信号指示给下游设备(解码器、转换器、代码转换器或其他设备)。在一些实施例中，下游设备可以接收视频比特流和相关的比特率特性数据，其中，可以使用该比特率特性数据来选择图像层、熵编解码器，并做出其他判定。 

可以参照图12来描述本发明的一些实施例。在这些实施例中，图像被接收为原始图像表示(140)。然后，对该原始表示进行部分解码(141)。在一些实施例中，该部分解码可以包括：不进行反变换的熵解码。然后，可以将图像的原始表示转变或转换(142)为替代表示。在一些实施例中，该转换可以包括：对较低层变换系数进行缩放，以匹配较高层；以及将来自这些层的变换系数进行组合。这种转换也可以包括：对组合系数进行熵编码，其中，形成组合的单层表示。在一些实施例中，原始表示是SVC比特流且替代表示是AVC比特流。针对该替代表示，可以测量(143)或计算一个或多个比特率特性。然后，可以将基于这些特性的比特率数据附着或关联至144图像的原始表示。 

可以参照图13和图25来描述本发明的一些实施例。根据这些实施例的编码器包括：第一确定器(接收机)411、第二确定器(接收机)412和附着器413。在这些实施例中，第一确定器411、第二确定器412以及附着器413作为原始图像表示接收图像(150)。该原始图像表示可以是视频序列的可缩放的多层表示。在示例性实施例中，该原始图像表示可以是具有多层的SVC视频表示。然后，第一确定器411可以针对使用第一熵编码器进行编码的图像的替代表示，来确定(151)一个或多个比特率特性的第一集合。该第一集合可以专用于第一熵编码器。该第一集合可以与不可缩放的单层表示相关。在一些实施例中，该第 一集合可以包括：视频序列的层的第一平均AVC比特率特性和第一最大AVC比特率特性。在一些实施例中，替代表示可以是AVC视频表示。当使用第二熵编码器对图像的替代表示进行编码时，第二确定器412还可以针对图像的替代表示来确定(152)一个或多个比特率特性的第二集合。该第二集合可以专用于层的不可缩放的单层表示所用的第二熵编码器。在一些实施例中，该第二集合可以包括第二平均AVC比特率特性和第二最大AVC比特率特性。然后，附着器413可以将这些比特率特性的集合附着或关联(153)至图像的原始表示。后续过程可以使用这些关联的比特率特性来进行与原始表示至替代表示的转换相关的判定。这些过程可以在接收附着有比特率特性数据的原始表示的下游设备(解码器、转换器、代码转换器或其他设备)中进行。 

可以参照图14来描述本发明的一些实施例。在这些实施例中，接收(160)包括第一层表示和第二层表示在内的图像数据。然后，由于第一层是以不可缩放的替代表示来表示的，因此针对第一层来确定(161)一个或多个比特率特性。由于第二层是以不可缩放的替代表示来表示的，因此也可以针对第二层来确定(162)一个或多个比特率特性。然后，可以将替代表示第一层比特率数据与第一层表示相关联(163)，将替代表示第二层比特率数据与第二层表示相关联(164)。然后，可以将第一和第二层表示与其相关联的替代表示比特率特性数据一起发送，任何接收设备可以使用这些相关联的数据来进行替代表示转换判定。 

可以参照图15和图26来描述本发明的一些实施例。根据这些实施例的编码器包括：第一确定器(接收机)421、第二确定器(接收机)422和关联器423。在这些实施例中，编码器的第一确定器421、第二确定器422和关联器423接收(170)图像的第一层的图像数据。该图像数据可以是未经编码的原图像数据。在这些实施例中，第一确定器421确定(171)第一可变长度码(VLC)比特率特性，其中，当图像的第一层被表示为使用VLC编码器(上下文自适应可变长度码编解码器)进行编码的非可缩放层时，第一VLC特性与图像的第一层的比特率相关。第一VLC比特率特性可以包括：第一层的平均AVC/VLC比特率特 性和最大AVC/VLC比特率特性。第二确定器422还可以确定(172)第二算术码(AC)比特率特性，其中，当图像的第一层被表示为使用AC编码器(上下文自适应算术码编解码器)进行编码的非可缩放层时，第二AC比特率特性与图像的第一层的比特率相关。第二AC比特率特性可以包括：第一层的平均AVC/AC比特率特性和最大AVC/AC比特率特性。然后，关联器423可以将该第一VLC比特率特性数据和第二AC比特率数据关联(173)或附着至图像的第一层的可缩放表示。然后，在转换过程中可以使用相关联的比特率特性数据来将可缩放层转换为非可缩放层。 

本发明的一些实施例包括：用于接收包括相关联的比特率特性数据在内的图像文件或比特流，并使用该比特率特性数据来影响比特流或文件转换过程的方法和***。在一些实施例中，可以使用该比特流特性数据来确定应当将多层可缩放比特流中的哪些层转换为单层比特流。在一些实施例中，可以使用比特流特性数据来影响用于转换过程的熵编码器的选择。在示例性实施例中，可以使用比特流特性数据来影响与将SVC比特流转换为AVC比特流有关的过程，以及影响用于该转换过程的VLC或AC编码器的选择。 

可以参照图16和图27来描述本发明的一些实施例。根据这些实施例的下游设备(解码器、转换器、代码转换器或其他设备)包括：确定器(接收机)431、选择器432和转换器433。在这些实施例中，确定器431、选择器432和转换器433从编码器接收(180)具有替代表示比特率数据的可缩放的多层比特流。确定器431可以接收包括比特率特性数据在内的视频序列的可缩放的多层表示，其中，该比特率特性数据包括：在所述多层表示中的层被表示为单层比特流表示时，针对所述多层的层专用、熵编码器专用的比特率特性。确定器431还确定目标比特率参数(181)。可以基于预期接收设备的处理能力、传输信道特性或其他准则来确定目标比特率参数。选择器432可以使用替代表示比特率数据来从多层比特流中选择层，以满足目标比特率参数(182)。该选择可以基于目标比特率参数与层专用、熵编码器专用的比特率特性之间的关系来执行。在一些实施例中，目标比特率参数可以包括最大 比特率，并且可能需要丢弃多层比特流中的一些层，以创建不超过最大比特率参数的比特流。转换器433可以将所选择的层转换(183)为替代表示并将其发送至目的地。该替代表示可以是单层比特流表示。 

可以参照图17来描述本发明的一些实施例。在这些实施例中，接收(190)具有替代表示比特率数据的可缩放的多层比特流。也确定(191)目标比特率参数。可以基于预期接收设备的处理能力、传输信道特性或其他准则来确定目标比特率参数。在一些实施例中，当可选的熵编码器可用时，可以选择(192)熵编码器。在一些实施例中，可以选择VLC编码器或AC编码器。对SVC比特流进行操作的一些实施例可以在上下文自适应VLC(CAVLC)码与上下文自适应AC码(CABAL)之间进行选择。 

可以使用替代表示比特率数据，从多层比特流中选择层，以满足目标比特率参数(193)。在一些实施例中，目标比特率参数可以包括最大比特率，并且可能需要丢弃多层比特流中的一些层，以创建不超过最大比特率参数的比特流。可以使用所选择的熵编码来将所选择的层转换(193)为替代的不可缩放的表示。 

可以参照图18来描述本发明的一些实施例。在这些实施例中，接收(200)具有替代表示比特率数据和层兼容性数据的可缩放的多层比特流。基于该层兼容性数据，可以判断(201)是否能够在不对比特流进行完整解码的情况下对可缩放层进行组合。在一些实施例中，判定是否能够在不对系数进行反变换的情况下对层进行组合。 

如果可以在不进行解码和重新编码的情况下对层进行组合，则还可以确定目标比特率参数(202)。可以基于预期接收设备的处理能力、传输信道特性或其他准则来确定目标比特率参数。可以使用替代表示比特率数据来从多层比特流中选择层，以满足目标比特率参数(203)。在一些实施例中，目标比特率参数可以包括最大比特率，并且可能需要丢弃多层比特流中的一些层，以创建不超过最大比特率参数的比特流。通过对系数进行缩放或产生替代表示，可以在不完全解码的情况下对所选择的层进行组合(204)。 

如果不能在不进行解码和重新编码的情况下对层进行组合，则还可以确定目标比特率参数(205)。然而，由于不能在不完全解码的情况下对层进行组合，因此此时将层解码并重新编码为替代表示。在这个过程中，此时可以确定重新编码后的层的比特率特性，并可以将这些比特率特性与目标比特率进行比较，以确定应选择哪些层来进行解码、重新编码和/或重传。可以使用替代表示比特率数据，从重新编码后的比特流中选择层，以满足目标比特率参数(206)。可以通过重新编码为替代表示(207)来对所选择的层进行组合(204)。

在本发明的一些实施例中，可以使用以下可缩放性SEI消息语法。语法 

F.10.1.1可缩放性信息SEI消息语法 

scalability_info(payloadSize){	C	描述符
			num_layers_minusl	5	ue(v)
for(i＝0；i＜＝num_layers_minusl；i++){
			layer_id[i]	5	u(8)
fgs_layer_flag[i]	5	u(1)
			sub_pic_layer_flag[i]	5	u(1)
sub_region_layer_flag[i]	5	u(1)
			proflle_level_info_present_flag[i]	5	u(1)
decoding_dependency_info_prescnt_flag[i]	5	u(1)
			bitrate_info_present_flag[i]	5	u(1)
frm_rate_info_present_flag[i]	5	u(1)
			frm_size_info_present_flag[i]	5	u(1)
layer_dependency_info_present_flag[i]	5	u(1)
			init_parameter_sets_info_present_flag[i]	5	u(1)
avc_layer_conversion_flag[i]	5	u(1)
			if(profile_level_info_present_flag[i]){
layer_profile_idc[i]	5	u(8)
			layer_constraint_set0_flag[i]	5	u(1)
layer_constraint_setl_flag[i]	5	u(1)
			layer_constraint_set2_flag[i]	5	u(1)
layer_constraint_set3_flag[i]	5	u(1)
			reserved_zero_4bits/*equal to 0*/	5	u(4)
layer_level_idc[i]	5	u(8)
			}
if(decoding_dependency_info_present_flag[i]){
			temporal_level[i]	5	u(3)

dependency_id[i]	5	u(3)
			quality_level[i]	5	u(2)
}
			if(bitrate_info_present_flag[i]){
avg_bitrate[i]	5	u(16)
			max_bitrate[i]	5	u(16)
}
			if(frm_rate_info_present_flag[i]){
constant_frm_rate_idc[i]	5	u(2)
			avg_frm_rate[i]	5	u(16)
}	5
			if(frm_size_info_present_flag[i]){	5
frm_width_in_mbs_minus1[i]	5	ue(v)
			frm_height_in_mbs_minus1[i]	5	ue(v)
}
			if(sub_region_layer_flag[i]){
base_region_layer_id[i]	5	u(8)
			dynamic_rect_flag[i]	5	u(1)
if(dynamic_rect_flag[i]){
			horizontal_offset[i]	5	u(16)
vertical_offset[i]	5	u(16)
			region_width[i]	5	u(16)
region_height[i]	5	u(16)
			}
}
			if(sub_pic_layer_flag[i])
roi id[i]	5	u(3)
			if(layer_dependency_info_present_flag[i]){
num_directly_dependent_layers[i]	5	ue(v)
			for(j＝0；j＜num_directly_dependent_layers[i]；j++)
directly_dependent_layer_id_delta[i][j]	5	ue(v)
			}
if(init_parameter_sets_info_present_flag[i]){
			num_init_seq_parameter_set_minus1[i]	5	ue(v)
for(j＝0；j＜＝num_seq_parameter_set_minus1[i]；j++)
			init_seq_parameter_set_id_delta[i][j]	5	ue(v)
num_init_pic_parameter_set_minus1[i]	5	ue(v)
			for(j＝0；j＜＝num_pic_parameter_set_minus1[i]；j++)
init_pic_parameter_set_id_delta[i][j]	5	ue(v)

if(avc_layer_conversion_flag[i]){
			avc_avg_bitrate_cabac[i]	5	u(16)
ave_max_bitrate_cabac[i]	5	u(16)
			avc_avg_bitrate_cavlc[i]	5	u(16)
ave_max_bitrate_cavlc[i]	5	u(16)
			}
}

在一些示例性实施例中，可以使用以下SEI消息语义。 

F.10.2SEI有效载荷语义 

F.10.2.1可缩放性信息SEI消息语义 

当SEI消息存在时，SEI消息应当出现在IDR访问单元中。直到相同类型的下一SEI消息出现之前，该消息的语义一直有效。 

num_layers_minus1加1指示：比特流所支持的可缩放层或呈现点(presentation point)的数目。num_layers_minus1的值在0至255的范围内(含0和255)。 

layer_id[i]指示可缩放层的标识符。 

每个可缩放层与层标识符相关联。层标识符的分配如下。层标识符的较大值指示较高层。值0指示最低层。层的解码和呈现独立于任何较高层，但可能依赖于较低层。因此，可以独立地对最低层进行解码和呈现，层1的解码和呈现可能依赖于层0，层2的解码和呈现可能依赖于层0和层1，以此类推。可缩放层的表示要求存在可缩放层本身以及该可缩放层所直接或间接依赖的所有较低层。以下，将可缩放层以及该可缩放层所直接或间接依赖的所有较低层统称为可缩放层表示。 

fgs_layer_flag[i]等于1指示：层标识符等于i的可缩放层是精细粒度可缩放(fine granularity scalable，FGS)层。值0指示：该可缩放层不是FGS层。可以在任何字节对齐的位置截断FGS层的已编码的像条NAL单元。 

sub_pie_layer_flag[i]等于1指示：层标识符等于i的可缩放层由子画面组成，每个子画面由访问单元中的已编码的像条的子集组成。值0指示：该可缩放层由完整的访问单元组成。 

注意：已编码画面中的每个子画面至可缩放层的映射由子画面可 缩放层信息SEI消息进行信号指示。 

sub_region_layer_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的子区域信息。值0指示：SEI消息中不存在该可缩放层的子区域信息。 

profile_level_info_present_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的简档和等级信息。值0指示：SEI消息中不存在层标识符等于i的可缩放层的简档和等级信息。 

decoding_dependency_info_present_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的解码依赖性信息。值0指示：SEI消息中不存在层标识符等于i的可缩放层的解码依赖性信息。 

bitrate_info_present_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的比特率信息。值0指示：SEI消息中不存在层标识符等于i的可缩放层的比特率信息。 

frm_rate_info_present_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的帧速率信息。值0指示：SEI消息中不存在层标识符等于i的可缩放层的帧速率信息。 

frm_size_info_present_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的帧尺寸信息。值0指示：SEI消息中不存在层标识符等于i的可缩放层的帧尺寸信息。 

layer_dependency_info_present_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的层依赖性信息。值0指示：SEI消息中不存在层标识符等于i的可缩放层的层依赖性信息。 

init_parameter_sets_info_present_flag[i]等于1指示：SEI消息中存在层标识符等于i的可缩放层的初始参数集信息。值0指示：SEI消息中不存在层标识符等于i的可缩放层的初始参数集信息。 

注意：初始参数集是指能够放入比特流起始位置或能够在会话起始处发送的参数集。 

layer_profile_idc[i]、layer_constraint_set0_flag[i]、layer_constraint_set1_flag[i]、layer_constraint_set2_flag[i]、layer_constraint_set3_flag[i]以及layer_level_idc[i]指示：层标识符等于i 的可缩放层的表示的比特流的简档和等级一致性。layer_profile_idc[i]、layer_constraint_set0_flag[i]、layer_constraint_set1_flag[i]、layer_constraint_set2_flag[i]、layer_constraint_set3_flag[i]以及layer_level_idc[i]的语义分别与profile_idc、constraint_set0_flag、constraint_set1_flag、constraint_set2_flag、constraint_set3_flag以及level_idc的语义相同，只不过这里的目标比特流是可缩放层表示的比特流。 

avc_layer_conversion_flag[i]等于1指示：可以在无偏移而且无需完全重建可缩放层的情况下将层标识符等于i的可缩放层的表示转换为AVC比特流。值0指示：不能在无偏移或无需完全重建可缩放层的情况下将层标识符等于i的可缩放层的表示转换为AVC比特流。 

temporal_level[i]、dependency_id[i]和quality_level[i]分别等于层标识符等于i的可缩放层中的NAL单元的temporal_level、dependency_id和quality_level。 

avg_bitrate[i]以1000比特每秒为单位，指示：层标识符等于i的可缩放层的表示的比特流的平均比特率。当accurate_statistics_flag等于1时，avg_bitrate[i]的语义与子序列层特性SEI消息中的average_bit_rate的语义相同，只不过这里的目标比特流是可缩放层表示的比特流。 

max_bitrate[i]以1000比特每秒为单位，指示：在附录C中所指定的访问单元删除时间的任何1秒长的时间窗内，层标识符等于i的可缩放层的表示的比特流的最大比特率。 

avc_avg_bitrate_cabac[i]以1000比特每秒为单位，指示：在使用CABAC熵编码器转换为AVC比特流之后，层标识符等于i的可缩放层的表示的比特流的平均比特率。当accurate_statistics_flag等于1时，avg_bitrate[i]的语义与子序列层特性SEI消息中的average_bit_rate的语义相同，只不过这里的目标比特流是可缩放层表示的比特流。 

avc_max_bitrate_cabac[i]以1000比特每秒为单位，指示：在附录C中所指定的访问单元删除时间的任何1秒长的时间窗内，在使用CABAC熵编码器转换为AVC比特流之后，层标识符等于i的可缩放层的表示的比特流的最大比特率。 

avc_avg_bitrate_cavlc[i]以1000比特每秒为单位，指示：在使用CAVLC熵编码器转换为AVC比特流之后，层标识符等于i的可缩放层的表示的比特流的平均比特率。当accurate_statistics_flag等于1时，avg_bitrate[i]的语义与子序列层特性SEI消息中的average_bit_rate的语义相同，只不过这里的目标比特流是可缩放层表示的比特流。 

avc_max_bitrate_cavlc[i]以1000比特每秒为单位，指示：在附录C中所指定的访问单元删除时间的任何1秒长的时间窗内，在使用CAVLC熵编码器转换为AVC比特流之后，层标识符等于i的可缩放层的表示的比特流的最大比特率。 

constant_frm_rate_idc[i]指示：层标识符等于i的可缩放层的表示的帧速率是否恒定。如果不论使用可缩放层表示的哪个时间段来进行计算，以下规定的avg_frm_rate的值都是恒定的，则帧速率是恒定的，否则帧速率是非恒定的。值0表示非恒定帧速率，值1表示恒定帧速率，值2表示不清楚帧速率是否恒定。constantFrameRate的值在0至2范围内(含0和2)。 

avg_frm_rate[i]以帧每秒为单位，指示：层标识符等于i的可缩放层的表示的比特流的平均帧速率。当accurate_statistics_flag等于1时，avg_frm_rate[i]的语义与子序列层特性SEI消息中的average_frame_rate的语义相同，只不过这里的目标比特流是可缩放层表示的比特流。 

rrm_width_in_mbs_minus1[i]加1以宏块为单位，指示：层标识符等于i的可缩放层的表示中的已编码帧的最大宽度。 

frm_height_in_mbs_minus1[i]加1以宏块为单位，指示：层标识符等于i的可缩放层的表示中的已编码帧的最大高度。 

base_region_layer_id[i]加1指示：可缩放层的层标识符值，其中，所表示的区域被用作用于导出层标识符等于i的可缩放层所表示的区域的基础区域。 

dynamic_rect_flag[i]等于1指示：层标识符等于i的可缩放层所表示的区域是基础区域中动态变化的矩形部分。否则，当前可缩放层所表示的区域是基础区域中的固定矩形部分。 

horizontal_offset[i]和vertical_offset[i]以基础区域的亮度样本为 单位，分别给出了层标识符等于i的可缩放层所表示的矩形区域的左上角像素相对于基础区域中的左上角像素的水平和垂直偏移。 

region_width[i]和region_height[i]以基础区域的亮度样本为单位，分别给出了层标识符等于i的可缩放层表示所表示的矩形区域的宽度和高度。 

roi_id[i]指示：层标识符等于i的可缩放层所表示的区域的所关心区域标识符。 

num_directly_dependent_layers[i]指示：层标识符等于i的可缩放层所直接依赖的可缩放层的数目。层A直接依赖于层B，是指层A中至少一幅已编码画面具有来自层B的层间预测。num_directly_dependent_layers的值在0至255范围内(含0和255)。 

directly_dependent_layer_id_delta[i][j]指示：层标识符等于i的可缩放层所直接依赖的第j个可缩放层的层标识符与i之间的差。所直接依赖的可缩放层的层标识符等于(directly_dependent_layer_id_delta+i)。 

num_init_seq_parameter_set_minus1[i]加1指示：用于对层标识符等于i的可缩放层的表示进行解码的初始序列参数集的数目。 

init_seq_parameter_set_id_delta[i][j]：如果j等于0，则指示用于对层标识符等于i的可缩放层的表示进行解码的第j个初始序列参数集的seq_parameter_set_id的值。如果j大于0，则init_seq_parameter_set_id_delta[i][j]指示第j个初始序列参数集的seq_parameter_set_id的值与第j-1个初始序列参数集的seq_parameter_set_id的值之间的差。初始序列参数集在逻辑上按照seq_parameter_set_id值的升序来排序。 

num_init_pic_parameter_set_minus1[i]加1指示：用于对层标识符等于i的可缩放层的表示进行解码的初始画面参数集的数目。 

init_pic_parameter_set_id_delta[i][j]：如果j等于0，则指示用于对层标识符等于i的可缩放层的表示进行解码的第j个初始画面参数集的pic_parameter_set_id的值。如果j大于0，则init_pic_parameter_set_id_delta[i][j]指示第j个初始画面参数集的 pic_parameter_set_id的值与第j-1个初始画面参数集的pic_parameter_set_id的值之间的差。初始画面参数集在逻辑上按照pic_parameter_set_id值的升序来排序。 

在上述说明书中所采用的术语和表达方式仅在其中用作描述性术语而非限制性术语，在使用这样的术语和表达方式时，无意排除所示和所述特征或其部分的等价物，应当认识到，本发明的范围仅由所附权利要求来限定和限制。 

可以使用软件与以下所述的CPU一起来实现本发明的实施例的***中的元件。 

也就是说，所述***可以包括如下构件：CPU(中央处理单元)，执行实现各种功能的控制程序的指令；ROM(只读存储器)，记录程序；在其上执行程序的RAM(随机存取存储器)；以及存储设备(记录介质)，如存储器，存储程序和各种数据。本发明的目的可以按照以下方式来实现：以计算机可读方式在记录介质上记录***的控制程序的程序代码(例如：可执行的代码程序、中间代码程序和源程序)，所述控制程序是用于实现功能的软件，将该记录介质提供给***，并且计算机(或CPU或MPU)从记录介质读出程序代码并执行程序。 

这样的记录介质的示例包括：带，如磁带和盒式磁带；磁盘，如软盘和硬盘；盘，包括光盘，如CD-ROM/MO/MD/DVD/CD-R；卡，如IC卡(包括存储卡)；以及半导体存储器，如掩模ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)或闪速ROM。 

可选地，所述***能够连接至通信网络，使得能够经由通信网络来提供程序代码。通信网络的非限制示例包括：因特网、内联网、外联网、LAN、ISDN、VAN  CATV网络、虚拟专用网、电话网、移动通信网和卫星通信网络。组成通信网络的传输介质的非限制示例是：有线介质(如IEEE 1394、USB、电力线通信、有线TV线路、电话线路和ADSL线路)、红外光(如IrDA和遥控器)、电波(如蓝牙 

IEEE802.11、HDR、移动电话网、卫星连接和陆地数字广播网络)。还应注意的是，可以使用通过电子传输程序代码予以实现的载波或数据信号 序列来实现本发明。 

Claims (9)

1.一种用于创建增强型多层比特流的方法，包括：

a)接收视频序列的可缩放的多层表示；以及

b)关于所述视频序列的层的不可缩放的单层表示，将以下内容附着至所述可缩放的多层表示，以形成增强型可缩放表示，其中，所述内容为：

表示能够以无偏移和无需完全重建的方式将可缩放的层表示转换为所述不可缩放的单层表示的标记；

表示所述可缩放的层表示的简档和等级一致性的信息；以及

所述视频序列的所述层的比特率特性，所述比特率特性与不可缩放的单层表示相关。

2.如权利要求1所述的方法，其中，所述可缩放的多层表示是SVC表示，所述不可缩放的单层表示是AVC表示。

3.如权利要求2所述的方法，其中，所述将比特率特性附着包括：在SVC比特流中添加SEI消息。

4.如权利要求2所述的方法，其中，所述比特率特性是最大比特率。

5.如权利要求2所述的方法，其中，所述比特率特性是平均比特率。

6.如权利要求1所述的方法，还包括：确定所述可缩放的多层表示中的与所述层不同的另一层是否能够在不对所述层中的系数进行反变换的情况下与所述层进行组合，并且在所述层能够进行这样的组合的情况下，将组合数据附着至所述可缩放的多层表示。

7.一种用于创建增强型多层比特流的方法，包括：

a)接收视频序列的SVC表示；以及

b)关于所述视频序列的层的AVC表示，将以下内容附着至所述SVC表示，以形成增强型SVC表示，其中，所述内容为：

表示能够以无偏移和无需完全重建的方式将可缩放的层表示转换为所述不可缩放的单层表示的标记；

表示所述可缩放的层表示的简档和等级一致性的信息；以及

所述视频序列的所述层的平均AVC比特率特性和最大AVC比特率特性。

8.如权利要求7所述的方法，其中，所述将比特率特性附着包括：在所述SVC表示中添加SEI消息。

9.如权利要求7所述的方法，还包括：确定所述SVC表示中的与所述层不同的另一层是否能够在不对所述层中的系数进行反变换的情况下与所述层进行组合，并且在所述层能够进行这样的组合的情况下，将组合数据附着至所述SVC表示。

Images