CN105657425B

CN105657425B - 编码方法、和编码器、解码方法、和解码器

Info

Publication number: CN105657425B
Application number: CN201610086788.1A
Authority: CN
Inventors: 苏冠铭; 曲晟; S·N·胡亚勒卡; 陈涛; W·C·吉什; H·凯普弗
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2011-11-04
Filing date: 2012-11-01
Publication date: 2020-02-14
Anticipated expiration: 2032-11-01
Also published as: US20140247869A1; CN105744277A; CN105744277B; JP5666756B2; JP6182644B2; KR101912249B1; RU2644065C9; BR112014010311B1; HK1202742A1; CN105657425A; CN104322072B; US20170019670A1; JP5970501B2; JP2014197893A; CN104322072A; JP2015084560A; RU2586572C2; RU2644065C1; EP3468203B1; US9924171B2

Abstract

本公开涉及分层VDR编译码中的层分解。该技术使用多个较低位深编解码器来将较高位深的高动态范围的图像从上游装置提供给下游装置。可以使用基本层以及一个或多个增强层来传载视频信号，其中，基本层不能被独自解码和观看。可以通过高级量化从较高位深的高动态范围的输入图像数据产生用于基本层处理的较低位深的输入图像数据，以使要由增强层视频信号传载的图像数据的量最小化。增强层视频信号中的图像数据可以包括至少部分基于与高级量化中所使用的特定方法相对应的预测方法的映射参数、量化参数和残差值。为了改进编码性能，自适应动态范围适配技术考虑特殊转变效果(诸如淡入和淡出)。

Description

编码方法、***和编码器、解码方法、***和解码器

本申请是申请号为201280053511.9、申请日为2012年11月1日、发明名称为“分层VDR编译码中的层分解”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2011年11月4日提交的美国临时专利申请 No.61/555,978和于2012年2月8日提交的美国临时申请No.61/596,600 的优先权，这两篇申请的全部内容都通过引用并入此。

技术领域

本发明总体上涉及图像处理，并且尤其涉及使用分层VDR编解码器来对可变动态范围图像进行编码、解码和表示。

背景技术

由Dolby Laboratories，In.c和其它公司开发的显示技术能够再现具有高动态范围(HDR)的图像。这样的显示器可以再现比常规显示器更忠实地表示真实世界场景的图像。

为了支持向后兼容以及新的HDR显示技术，可以使用多个层来将视频数据从诸如多层视频编码器的上游装置递送到下游装置。在所述多个层的基本层(BL)中传载的标准动态范围(SDR)视频数据针对在SDR显示器上的观看体验进行优化，而在所述多个层的基本层和增强层(EL)的组合中传载的视觉动态范围(VDR)视频数据支持具有比SDR显示器的动态范围高的动态范围的VDR显示器的观看体验。如本文中所使用的，在对这样的图像数据进行编码和解码中所涉及的编解码器被指示为针对SDR显示器优化的VDR编解码器。

BL图像数据可以包括从来自图像数据输入的较高位深(higher bit depth)(例如，每一颜色分量12位或更多位)的HDR源图像导出的较低位深(lower bit depth)(例如，每一颜色分量8位)的SDR 图像。在BL图像数据中编码的SDR图像典型地包括调色师进行的以使得SDR图像在相对窄的或标准的动态范围内看起来尽可能地逼真的颜色校正。例如，可以在SDR图像中改变或校正与输入HDR图像中的像素中的一些或全部像素相关的色调信息，以便创建在标准动态范围内看起来逼真的图像。这些颜色校正导致各个颜色通道中的非对称剪切(clipping)，并且特别是在HDR源图像的相对欠曝光或过曝光区域中引入人工颜色改变。经过颜色校正的SDR图像可以使得SDR 显示器可以示出HDR源图像的暗区域和高亮区中的图像细节。

剪切是一种类型的颜色改变，其改变/修改颜色通道中的界外像素值，以使得得到的像素值在目标表示范围内(目标表示范围可以是在特定类型的SDR显示器所支持的范围内的一个范围、或者在由SDR 显示器的范围所支持的范围内的一个范围、或者在由VDR显示器的范围所支持的范围内的一个范围、等等)。剪切可以发生在颜色通道中的零个、一个或多个中(例如，可以在经色调映射的图像中剪切HDR 图像的某一部分中的在RGB颜色空间中的R、G和B像素值)。剪切量可以或者可以不随颜色通道而变化(例如，对于绿色，剪切得更多，而对于蓝色，剪切得更少，等等)。

引入到SDR图像中的诸如剪切的颜色校正使得SDR图像包括与它们的对应VDR图像的不同的且来源独立的图像内容，并且难以、甚至不可能在没有复杂处理且没有足够大的位率的情况下被下游装置移除以用于重构高动态范围图像。当使用多个层来将图像数据发送到下游装置时，执行颜色校正的逆操作可能要求例如在增强层中将大量附加图像数据发送到下游装置。

在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应基于本部分而认为在任何现有技术中已被识别。

附图说明

在附图中以作为示例的、而非限制的方式例示本发明，在附图中，相似的标号指示类似的元件，并且在附图中：

图1例示根据示例实施例的基本配置文件(baseline profile)中的视觉动态范围编解码器架构；

图2例示根据示例实施例的主配置文件中的视觉动态范围编解码器架构；

图3例示根据示例实施例的在YCbCr颜色空间中应用的场景自适应(adaptive)动态范围调整量化；

图4A和图4B例示根据本发明的示例实施例的示例处理流程；

图5例示根据本发明的实施例的在其上可以实现本文中所描述的计算机或计算装置的示例硬件平台；以及

图6例示根据本发明的实施例的用于检测两个量化方案之间的选择和转变序列(transition sequence)的示例流程。

具体实施方式

本文中描述与使用分层VDR编解码器对可变动态范围图像进行编码、解码和表示有关的示例实施例。在以下的描述中，出于解释的目的，为了使得能够彻底理解本发明，阐述了大量的特定细节。但应理解，可以在没有这些特定细节的情况下实施本发明。在其它情况下，为了避免不必要地遮蔽、掩盖或混淆本发明，不以详尽的细节描述公知的结构和装置。

这里根据以下的要点描述示例性实施例：

1.总体概述

2.分层视频递送

2.1基本配置文件

2.2主配置文件

3.高级量化

4.线性拉伸

5.示例处理流程

6.自适应动态范围调整

7.实现机构－硬件概述

8.等同、扩展、替代和其它

1.总体概述

本概述给出本发明的示例实施例的一些方面的基本描述。应当注意，本概述不是示例性实施例的各方面的详尽或全面的概括。并且，应当注意，本概述不应被理解为标识示例性实施例的任何特别重要的方面或要素，也不应被理解为特别地将示例性实施例的任何范围划界，也不总体上将本发明划界。本概述仅以简要和简化的格式给出与示例性实施例有关的一些概念，并且应被理解为仅是以下给出的示例性实施例的更详细的描述的概念性序言。

在一些实施例中，可以使用分层VDR编解码器来将压缩的VDR 图像(例如，视频图像)提供给VDR图像处理装置(例如，VDR显示器)。如本文中所使用的，术语“分层VDR编解码器”可以是指其中基本层在SDR显示器上可能不能被独自观看的VDR编解码器。如本文中所使用的，术语“VDR”或“视觉动态范围”可以是指比标准动态范围宽的动态范围，并且可以包括但不限于高达人类视觉可以瞬时感知的瞬时可感知动态范围和色域的宽动态范围。

本文中所描述的支持较高位深(例如，12+位)的VDR图像的分层VDR编解码器可以在多个层中用两个或更多个较低位深(例如，8 位)的编解码器来实现。所述多个层可以包括基本层和以及一个或多个增强层。

与其它技术形成鲜明对比，根据本文中所描述的技术的基本层图像数据不支持SDR显示器上的优化观看，或者使SDR图像看起来尽可能地好，在标准动态范围内与人类感知匹配。相反，根据本文中所描述的技术的基本层图像数据支持VDR显示器上的优化观看。在示例实施例中，根据本文中所描述的技术的基本层图像数据包括VDR 图像数据的较低位深版本的特定组成，并且在增强层中传载基本层与原始VDR图像之间的其余差异。

此外，根据其它技术，与相同的源图像有关的VDR图像数据和 SDR图像数据包括不同的图像内容。例如，输入到编码器的SDR图像数据包括不是已知的或者可从输入到编码器的VDR图像数据确定的特别的独立的改变。通常，可以通过在例如调色师已经改变SDR图像数据之后将SDR图像数据与VDR图像进行比较来辩论地分析调色师进行颜色分级的结果或颜色校正。

与此形成鲜明对比，根据本文中所描述的技术，可以使用VDR 图像数据来通过分层分解(例如，高级量化，其后进行分层编码)导出基本层(BL)图像数据。高级量化中所应用的特定方法是分层VDR 编码器知道的，并且甚至是分层VDR编码器有目的地选择的。执行高级量化的特定高级量化器的选择/确定可以基于例如在VDR解码器侧重构的VDR图像的图像质量可能如何。因此，根据本文中所描述的技术的高级量化是由本文中所描述的分层VDR编解码器事先知道的(例如，在生成输入到基本层处理的未压缩基本层数据之前)、控制和实现的一个或多个操作。因此，根据本文中所描述的技术，可以避免或禁用根据其它技术的确定独立地改变或产生的VDR图像数据与SDR图像数据之间的差异的复杂分析。

实现本文中所描述的技术的编解码器可以被配置为包括充分利用基本层(BL)图像数据与原始输入VDR图像数据之间的统计冗余的层间预测能力。EL图像数据可以(可能仅)传载残差(或差分)图像数据，而不是在不利用不同层的图像数据中的统计冗余的情况下传载大量VDR图像数据。

在一些实施例中，可以使用预测来进一步最小化在增强层中将传载的VDR图像数据的量。作为高级分层VDR编码器的特定应用，分层VDR编码器可以建立高级量化与预测之间的相应关系。基于用于导出输入到基本层处理的未压缩基本层数据的高级量化的特定应用，分层VDR编码器可以在多种可用的预测方法之中选择特定的相应预测方法。在例子中，如果在高级量化中使用线性量化，则可以使用基于一次多项式的预测方法来进行预测。在另一个例子中，如果在高级量化中使用量化曲线(例如，Sigmoid曲线、mu-law、基于人类感知的曲线等)，则可以使用与量化曲线相对应的基于更高次(二次或更高次)多项式的预测方法来进行预测。在另一个例子中，如果在高级量化中使用交叉颜色(矢量)通道量化(例如，在原色分级操作中所使用的斜率/偏移/功率/色调/饱和度)，则可以使用相应的交叉颜色通道预测来进行预测。在又一个例子中，如果在高级量化中使用分段量化，则可以使用与分段量化相应的预测方法来进行预测。相应的预测方法可以由分层VDR编码器预先配置或者动态地选择，这是因为分层VDR编码器预先知道(例如，在不分析高级量化的结果的情况下) 在高级量化中是否使用例如线性量化、曲线量化、交叉颜色通道量化、分段量化、基于查找表(LUT)的量化、不同类型的量化的组合等、以及使用这些类型的量化中的哪种特定类型的量化。

与此形成鲜明对比，根据其它技术，因为基本层中的输入SDR图像数据的颜色校正(诸如由调色师进行的那些颜色校正)是独立执行的，所以在没有对基本层中的输入SDR图像数据和输入VDR图像数据两者的独立的不同的图像内容进行昂贵的比较和分析处理的情况下，难以确定哪种方法应被用于进行预测。

因此，在一些实施例中，根据本文中所描述的技术，可以禁用或避免用于确定VDR和被独立改变的输入基本层内容中的差异的复杂且昂贵的分析(例如，在预测操作中)。分层VDR编解码器可以实现用于将高级量化与预测相关联的高级量化和处理逻辑。

在一些实施例中，即使分层VDR编解码器不被设计为提供针对在SDR显示器中观看进行优化的基本层图像数据，分层VDR编解码器仍然可以通过基本层优化广泛地重用VDR编解码器中的组件。在实施例中，分层VDR编码器可以在针对SDR显示器进行优化的情况下在VDR编解码器基础设施中添加一个或多个模块或者修改一个或多个模块，以从输入VDR图像数据通过高级量化来产生输入到基本层处理的基本层图像。因此，分层VDR编码器可以仅需要来自输入 VDR图像的图像内容的单个输入，而不是用于VDR的图像内容的一个输入以及用于SDR的不同图像内容的另一个输入。例如，分层VDR 编码器中的转换模块可以实现用于将输入16位RGB VDR数据转换为作为输入到基本层处理的基本层图像数据的8位YCbCr的高级量化。

在示例实施例中，分层VDR编解码器可以被配置为广泛地支持例如行业标准、专有规范、来自行业标准的扩展中所定义的VDR参考处理语法、规范和编码架构、或前述的组合。在示例实施例中，分层VDR编解码器(编码器和/或解码器)的输入和输出中的一个或多个与用于针对SDR显示器优化的VDR编解码器的VDR规范或配置文件所指定的输入和输出相同或基本上类似。分层VDR编解码器可以是经由两个(便宜的)8位解码器来处理和呈现12+位VDR图像的工具，而无需使用昂贵的12+位解码器来为VDR图像提供感知上类似的图像质量。如本文中所使用的，术语“N+位图像”可以是指使用每一个颜色分量N个位或更多个位表示的并且具有至少一个颜色分量的图像。在一些实施例中，编解码器中的多于一个的较低位深解码器和/ 或多于一个的较低位深编码器可以至少对于一些操作并行地工作，并且联合地执行装置中的VDR图像数据的编码和解码。

本文中所描述的实施例的实际益处包括但不限于为仅关心最终 VDR质量、而不关心或者甚至不查看可能从基本层图像数据构建的 SDR版本的终端消费者提供高质量的VDR图像数据。

在一些实施例中，可以使用组合编解码器(其可以是VDR编码器或VDR解码器)来在多种模式下操作。组合编解码器的操作模式中的一种操作模式可以使组合编解码器作为分层VDR编解码器操作，而组合编解码器的操作模式中的不同的一种操作模式也可以允许对适合于在SDR显示器上观看的基本层进行编码。结果，在一些示例实施例中，组合VDR解码器可以适当地对遵循任一VDR规范的编码的位流进行解码。结果，在一些示例实施例中，组合VDR编码器可以适当地产生遵循任一VDR规范的编码的位流。

在一些示例实施例中，其它应用程序所需的数据也可以与将从上游装置递送到下游装置的基本层和增强层图像数据包括在一起。在一些示例实施例中，如本文中所描述的基本层和增强层可以支持另外的特征和/或正交特征。

在一些示例实施例中，本文中所描述的机制形成媒体处理***的一部分，该媒体处理***包括但不限于：手持装置、游戏机、电视、膝上型电脑、上网本电脑、平板电脑、蜂窝无线电电话、电子书阅读器、销售点终端、台式电脑、计算机工作站、电脑亭、或各种其它类型的终端和媒体处理单元。

本领域的技术人员将容易想到对于本文中所描述的优选实施例以及总体原理和特征的各种修改。因此，本公开并非意图局限于所示的实施例，而是应被给予与本文中所描述的原理和特征一致的最宽泛的范围。

2.分层视频递送

在一些实施例中，例如上游装置(例如，图1的VDR图像编码器102或图2的图像编码器202)可以使用基本层以及一个或多个增强层来将一个或多个视频信号(或编码的位流)中的图像数据递送到下游装置(例如，图1的VDR图像解码器150)。图像数据可以包括较低位深的基本层图像数据和增强层图像数据，该基本层图像数据是从较高位深(例如，12+位)VDR图像被量化的并且是在基本层图像容器(YCbCr 4:2:0图像容器)中被传载的，增强层图像数据包括VDR 图像与从基本层图像数据产生的预测帧之间的残差值。下游装置可以接收并使用基本层图像数据和增强层图像数据，以重构VDR图像的较高位深(12+位)版本。

在一些实施例中，基本层图像数据不是用于生成为了在SDR显示器上观看而被优化的SDR图像；相反，基本层图像数据与增强层图像数据一起为了重构用于在VDR显示器上观看的高质量VDR图像而被优化。

2.1基本配置文件

图1示出根据示例实施例的基本配置文件中的VDR编解码器架构。如本文中所使用的，术语“基本配置文件”可以是指VDR编译码***中的最简单的编码器配置文件。在一个实施例中，基本配置文件将基本编码层和增强编码层中的所有视频处理都限制在YCbCr 4:2:0颜色空间中。在一个示例实施例中，可以根据4:2:0采样方案用 YCbCr空间进行预测；可以使用例如多项式/1D LUT预测方法来进行预测。在一些实施例中，将VDR图像数据递送到下游装置的上游装置可以包括实现本文中所描述的一种或多种技术的VDR图像编码器 102，而接收来自VDR图像编码器102的视频信号并对这些视频信号进行处理的下游装置可以包括实现本文中所描述的一种或多种技术的 VDR图像解码器150。VDR图像编码器102和VDR图像解码器150 均可以用一个或多个计算装置实现。

在示例实施例中，VDR图像编码器(102)被配置为接收输入VDR 图像(106)。如本文中所使用的，“输入VDR图像”是指可以用于导出源图像(例如，高端图像获取装置所捕捉的原始图像等)的VDR 版本的宽或高动态范围图像数据，其产生输入VDR图像。输入VDR 图像可以在支持高动态范围色域的任何颜色空间中。在一些实施例中，输入VDR图像(106)是与源图像有关的唯一输入，其提供用于供VDR 图像编码器(102)进行编码的图像数据；可以使用高级量化基于输入 VDR图像(106)来产生用于根据本文中所描述的技术的基本层处理的与源图像有关的输入图像数据。

在示例实施例中，如图1中所示，输入VDR图像是RGB颜色空间中的12+位RGB图像。在一个例子中，输入VDR图像中所表示的每个像素包括针对颜色空间(例如，RGB颜色空间)定义的所有通道 (例如，红色、绿色和蓝色通道)的像素值。每个像素可以可选地和/ 或可替代地包括用于颜色空间中的通道中的一个或多个的上采样的或下采样的像素值。应指出，在一些实施例中，除了诸如红色、绿色和蓝色的三原色之外，例如在如本文中所描述的颜色空间中还可以同时使用不同的原色以支持宽色域；在那些实施例中，如本文中所描述的图像数据包括附加的关于那些不同原色的像素值，并且可以用本文中所描述的技术同时进行处理。

在示例实施例中，VDR图像编码器(102)被配置为将输入VDR 图像的像素值从第一颜色空间(例如，RGB颜色空间)变换到第二颜色空间(例如，YCbCr颜色空间)。颜色空间变换可以例如由VDR 图像编码器(102)中的RGB-2-YCbCr单元(108)执行。

在示例实施例中，本文中的VDR图像编码器(102)或下采样器 (例如，444-420下采样器110)被配置为将YCbCr颜色空间中的 VDR图像(例如，为4:4:4采样格式)下采样为12+位下采样VDR图像112(例如，为4:2:0采样格式)。在不考虑压缩效果的情况下，12 位+下采样VDR图像(112)的色度通道中的图像数据的总量可以是 12位+下采样VDR图像(112)的亮度通道中的图像数据的总量的大小的四分之一。

在示例实施例中，VDR图像编码器(102)被配置为对从VDR图像(为4:4:4采样格式)下采样的YCbCr图像数据(在本例子中，为 4:2:0采样格式)执行高级量化，以产生YCbCr颜色空间中的8位BL 图像(114)。如图1中所示，12+位VDR图像(112)和8位BL图像(114)两者都是在相同的色度下采样之后产生的，因此包含相同的图像内容(例如，8位BL图像114比12+位VDR图像112更粗略量化)。

在示例实施例中，VDR图像编码器(102)或其中的第一编码器 (116-1)被配置为将YCbCr颜色空间中的8位BL图像(214)编码 /格式化为4:2:0采样格式的基本层图像容器中的图像数据。在一些实施例中，基本层图像容器中的图像数据不是用于生成针对在SDR显示器上观看而被优化的SDR图像；相反，为了最小化要在多个层中被传载的、要被重构为针对VDR显示器被优化的VDR图像的VDR图像数据的总***要求，将基本层图像容器中的图像数据优化为包含最优数量的较低位深图像容器中的基本层图像数据。如本文中所使用的，术语“较低位深”是指在具有较低位深的编码空间中被量化的图像数据；较低位深的例子包括8位，而术语“较高位深”是指在具有较高位深的编码空间中被量化的图像数据；较高位深的例子是12位或更多位。具体地，术语“较低位深”或“较高位深”不是指像素值的最低有效位或最高有效位。

在示例实施例中，VDR图像编码器(102)基于基本层图像容器中的图像数据来产生可被输出到下游装置中的视频解码器(例如VDR 图像解码器150或其中的第一解码器152-1)的基本层视频信号。

在示例实施例中，在本例子中，VDR图像编码器(102)中的解码器(120)将基本层图像容器中的图像数据解码为4:2:0采样格式的解码基本层图像。解码基本层图像不同于8位BL图像(114)，这是因为解码基本层图像包括在由第一编码器(116-1)和解码器(120) 执行的编码和解码操作中引入的编译码变化、舍入误差和逼近。

除了包含在基本层视频信号中的之外，VDR图像重构数据还可以由VDR图像编码器在与基本层分离的一个或多个增强层中递送到下游装置。在一些实施例中，YCbCr颜色空间中的较高位深VDR图像 (112)可以从同一图像帧中的相邻采样被预测(通过使用帧内预测)，或者可以从属于同一层并且被作为经过运动补偿的预测参考而缓冲在预测图像帧缓冲器内的过去解码的图像帧中的采样被预测(帧间预测)。层间预测还可以至少部分基于来自其它层(例如，基本层)的解码后的信息。

在示例实施例中，VDR图像编码器(102)包括执行与预测有关的一个或多个操作的预测处理单元(122)。由预测处理单元(例如， 122)执行的预测可以减小VDR视频解码器(例如，图1的150)重构VDR图像中的开销。在示例实施例中，VDR图像编码器(102)被配置为通过帧内或帧间预测(或估计或其它方法)、至少部分地基于 12+位VDR图像(112)和解码基本层图像来确定用于预测的一组映射参数(134)。预测处理单元(122)可以基于该组映射参数(134) 和解码基本层图像来产生YCbCr颜色空间中的12+位预测图像。如本文中所使用的，映射参数的例子可以包括但不限于用于预测的多项式参数。

在示例实施例中，VDR图像编码器(102)被配置为产生12+位 VDR图像(112)与由预测处理单元(122)产生的预测图像之间的残差值(130)。颜色通道(例如，亮度通道)中的残差值可以是通过线性或对数域中的减法运算(例如，126)生成的差值。可替代地和/或可选地，颜色通道(例如，亮度通道)中的残差值可以是通过线性或对数域中的除法运算生成的比值。在各种示例实施例中，为了产生12+ 位VDR图像(112)与预测图像之间的残差值(130)，可以使用一个或多个其它的数学表示和相应的操作。

在实施例中，除了通过高级量化(或伪颜色分级处理)引入的差别之外，12+位VDR图像(112)和8位BL图像(114)包括相同的图像内容。在实施例中，除了通过高级量化(或伪颜色分级处理)引入的量化噪声或差别之外，12+位VDR图像(112)包括与8位BL图像相同的色度信息。在实施例中，可以根据高级量化在基本层中对12+ 位图像(112)中的中间色调和暗区域进行编码，而可以根据相同的高级量化在增强层中对12+位图像(112)中的高亮区域进行编码。

附加地和/或可选地，颜色校正/改变/畸变(例如，剪切)没有仅引入到在从8位BL图像(114)到预测图像的处理路径中第一编码单元(116-1)、解码单元(120)或预测处理单元(122)所进行的基本层处理中。在示例实施例中，除了可能固有地存在于处理路径中的可能的畸变(例如，由基本层编解码器造成的基本层畸变)之外，预测图像包括与8位BL图像(114)相同的色度信息。

在示例实施例中，VDR图像编码器(102)中的非线性量化器(NLQ) 128被配置为使用一个或多个NLQ参数来将12+位数字表示的残差值 (130)量化为8位数字表示(或YCbCr颜色空间中的8位残差值)。

在示例实施例中，VDR图像编码器(102)或其中的第二编码器 (116-2)被配置为在增强层图像容器中例如以4:2:0采样格式编码8 位残差值。增强层图像容器在逻辑上与基本层中的基本层图像容器是分离的。

在示例实施例中，VDR图像编码器(102)基于增强层图像容器中的8位残差值来产生可以输出到视频解码器(例如，VDR图像解码器150或其中的第二解码器152-2)的增强层视频信号。

在示例实施例中，可以将该组映射参数(134)和NLQ参数(132) 作为补充增强信息(SEI)或视频位流中(例如，增强层中)可用的其它类似元数据载体的一部分发送到下游装置(例如，VDR图像解码器 150)。

可以使用多个编解码器(诸如H.264/AVC/HEVC、MPEG-2、VP8、 VC-1和/或其它编解码器)中的一个或多个来实现第一编码器(116-1)、第二编码器(116-2)和解码器(120)(以及152-1、152-2)中的一个或多个。

在示例实施例中，VDR图像解码器(150)被配置为接收包括基本层以及一个或多个增强层的多个层(或多个位流)中的输入视频信号。如本文中所使用的，术语“多层”或“多个层”可以是指传载(视频信号的)彼此之间具有一个或多个逻辑依赖关系的视频或图像信号的两个或更多个位流。

在示例实施例中，VDR图像解码器(150)中的第一解码器(152-1) 被配置为基于基本层视频信号来产生解码基本层图像。在一些实施例中，VDR图像解码器(150)中的第一解码器(152-1)可以与VDR 图像解码器(102)中的解码器(120)相同或基本上类似。同样地，VDR图像解码器(150)中的解码基本层图像和该解码基本层图像可以是相同的或基本上类似的，前提条件是解码基本层图像源于同一 VDR图像(例如，106)。

在示例实施例中，VDR视频解码器(150)包括执行与预测有关的一个或多个操作的预测处理单元(158)。可以使用由预测处理单元执行的预测来在VDR视频解码器(例如，图1的150)中高效率地重构VDR图像。预测处理单元(158)被配置为接收该组映射参数(134) 并且至少部分基于该组映射参数(134)和解码基本层图像来产生12+ 位预测图像。

在示例实施例中，VDR图像解码器(150)中的第二解码器(152-2) 被配置为基于一个或多个增强视频信号来检索增强层图像容器中的8 位残差值。

在示例实施例中，VDR图像解码器(150)中的非线性去量化器 (NLdQ)154被配置为通过增强层接收一个或多个NLQ参数，并且使用所述一个或多个NLQ参数来将8位残差值去量化为12+位数字表示(或YCbCr颜色空间中的12+位残差值)。

在示例实施例中，VDR图像解码器(150)被配置为基于12+位残差值(130)和由预测处理单元(158)产生的12+位预测图像来产生重构的VDR图像(160)。颜色通道(例如，亮度通道)中的重构像素值可以是通过线性或对数域中的加法运算(例如，162)生成的总和。可替代地和/或可选地，颜色通道(例如，亮度通道)中的重构值可以是通过线性或对数域中的乘法运算生成的乘积。在各种示例实施例中，出于从残差值和预测图像产生重构像素值(160)的目的，可以使用一个或多个其它的数学表示和相应的运算。

2.2主配置文件

图2例示了根据示例实施例的主配置文件中的VDR编解码器架构。如本文中所使用的，术语“主配置文件”可以是指VDR编译码***中的允许复杂度高于基本配置文件的配置文件。例如，主配置文件可以允许在YCbCr或RGB两个颜色空间中进行操作，并且它还允许以各种子采样格式(包括4:2:0、4:2:2和4:4:4)进行操作。在示例实施例中，可以在RGB颜色空间中根据4:4:4采样方案进行预测；可以使用例如多项式/1D LUT预测方法来进行预测。在一些实施例中，将VDR图像数据递送到下游装置的上游装置可以包括如图2中所示的VDR图像编码器202，而接收并处理VDR图像数据的下游装置可以包括VDR图像解码器250。VDR图像编码器202和VDR解码器 250均可以用一个或多个计算装置来实现。

在示例实施例中，VDR图像编码器(202)被配置为接收输入VDR 图像(206)。输入VDR图像(206)可以在支持高动态范围色域的任何颜色空间中。

在示例实施例中，如图2中所示，输入VDR图像是RGB颜色空间中的12+位RGB图像。在例子中，输入VDR图像中的每个像素包括在RGB颜色空间中定义的红色、绿色和蓝色通道的像素值。每个像素可以可选地和/或可替代地包括颜色空间中的通道中的一个或多个的上采样的或下采样的像素值。

在示例实施例中，VDR图像编码器(202)被配置为对VDR图像 206中的12+位RGB图像数据执行高级量化(在本例子中，以4:4:4 采样格式)以产生8位RGB VDR数据。

在示例实施例中，VDR图像编码器(202)被配置为将8位RGB VDR数据从第一颜色空间(在本例子中，RGB颜色空间)变换到第二颜色空间(例如，YCbCr颜色空间)。颜色空间变换可以例如由 VDR图像编码器(202)中的RGB-2-YCbCr单元(208)执行。

在示例实施例中，VDR图像编码器(202)或其中的下采样器(例如，444-420下采样器210)被配置为将YCbCr颜色中的8位VDR数据下采样为8位下采样BL图像214(例如，以4:2:0采样格式)。

在示例实施例中，VDR图像编码器(202)或其中的第一编码器 (216-1)被配置为将8位下采样BL图像(214)编码为基本层图像容器中的图像数据。在示例实施例中，基本层图像容器中的图像数据不是对于在SDR显示器上观看而被优化的；相反，将基本层图像容器中的图像数据优化为：将最大量的表示较高位深VDR图像数据的可重构信息包含在较低位深图像容器中，并且最小化需要在增强层中传载的VDR图像重构数据(例如，残差值230)的量。

在示例实施例中，VDR图像编码器(202)基于基本层图像容器中的图像数据来产生可以输出到下游装置中的视频解码器(例如， VDR图像解码器250或其中的第一解码器252-1)的基本层视频信号。

在示例实施例中，在本例子中，VDR图像编码器(202)中的解码器(220)将基本层图像容器中的图像数据解码为4:2:0采样格式的解码基本层图像。解码基本层图像不同于8位BL图像(214)，因为解码基本层图像包括在第一编码器(216-1)和解码器(220)执行的编码操作和解码操作中所引入的变化和误差，诸如舍入误差和逼近。

除了基本层视频信号之外，VDR图像重构数据也可由VDR图像编码器在与基本层分离的一个或多个增强层中递送到下游装置。RGB 颜色空间中的VDR图像(206)可以从同一图像帧中的相邻采样被预测(使用帧内预测)，或者可以从属于同一层并且被作为经过运动补偿的预测参考缓冲在预测图像帧缓冲器内的过去解码的图像帧中的采样被预测(帧间预测)。层间预测还可以至少部分基于来自其它层(例如，基本层)的解码的信息。

在示例实施例中，VDR图像编码器(202)或其中的上采样器(例如，420-444上采样器212)被配置为将4:2:0采样格式的解码基本层图像上采样为8位上采样的图像数据(在本例子中，4:4:4采样格式)。

在示例实施例中，VDR图像编码器(202)或其中的YCbCr-2-RGB 单元(例如，236)被配置为将8位上采样图像数据从非预测颜色空间 (在本例子中，YCbCr颜色空间)变换到预测颜色空间(例如，RGB 颜色空间)。

在示例实施例中，VDR图像编码器(202)包括执行与预测有关的一个或多个操作的预测处理单元(222)。由预测处理单元(例如， 222)执行的预测可以减小VDR视频解码器(例如，图2的250)重构VDR图像中的开销。

在示例实施例中，VDR图像编码器(202)被配置为通过帧内或帧间预测(或估计或其它方法)、至少部分基于变换到预测颜色空间的上采样图像数据和12+位VDR图像(206)来确定用于预测的一组映射参数(234)。预测处理单元(222)可以基于变换到预测颜色空间的上采样图像数据和该组映射参数(234)来产生RGB颜色空间中的12+位预测图像。

在示例实施例中，VDR图像编码器(202)被配置为产生12+位 VDR图像(206)与预测图像之间的(RGB)残差值(230)。颜色通道(例如，G通道)中的残差值可以是通过线性或对数域中的减法运算(例如，126)生成的差值。可替代地和/或可选地，颜色通道(例如，G通道)中的残差值可以是通过线性或对数域中的除法运算生成的比值。在各种示例实施例中，出于产生12+位VDR图像(206)与预测图像之间的残差值(230)的目的，可以使用其它的数学表示和相应的运算/映射/函数。

在实施例中，除了通过高级量化(或伪颜色分级处理)引入的量化差值或噪声之外，12+位VDR图像(206)包括与8位RGB VDR 数据相同的色度信息。在实施例中，12+位VDR图像(206)中的中间色调和暗区域可以在基本层中根据高级量化被编码，而12+位VDR 图像(206)中的高亮区域可以在增强层中根据相同的高级量化被编码。

在示例实施例中，在从8位RGB VDR数据到预测图像的处理路径中RGB-2-YCbCr单元(208)、下采样器(210)、第一编码单元 (216-1)、解码单元(220)、上采样器(212)、YCbCr-2-RGB单元(236)或预测处理单元(222)没有引入额外的颜色校正/改变/畸变 (例如，剪切)。在示例实施例中，除了可能固有地存在于该处理路径中的可能的畸变(例如，由基本层编解码器引起的基本层畸变、或来自下采样和上采样中的色度重新格式化的误差)之外，预测图像包括与8位RGB VDR数据相同的色度信息。

在示例实施例中，VDR图像编码器(202)中的444至420下采样和非线性量化单元(444至420和NLQ)228被配置为：进行下采样，并且使用一个或多个NLQ参数将残差值(230)从4:4:4采样格式的12+位数字表示量化为4:2:0采样格式的8位数字表示(或8位 RGB残差值)。

在示例实施例中，VDR图像编码器(202)或其中的第二编码器 (216-2)被配置为在增强层图像容器中对该8位残差值进行编码。增强层图像容器在逻辑上与基本层图像容器分离。

在示例实施例中，VDR图像编码器(202)基于增强层图像容器中的8位残差值来产生可以输出到视频解码器(例如，VDR图像解码器250或其中的第二解码器252-2)的增强层视频信号。

在示例实施例中，可以将所述组映射参数(234)和NLQ参数(232) 作为补充增强信息(SEI)或视频位流中(例如，增强层中)可用的其它类似元数据载体的一部分发送到下游装置(例如，VDR图像解码器 250)。

可使用多个编解码器(诸如H.264/AVC/HEVC、MPEG-2、VP8、 VC-1和/或其它编解码器)中的一个或多个实现第一编码器(216-1)、第二编码器(216-2)和解码器(220)(252-1、252-2)中的一个或多个。

在示例实施例中，VDR图像解码器(250)被配置为接收包括基本层以及一个或多个增强层的多个层(或多个位流)中的输入视频信号。

在示例实施例中，VDR图像解码器(250)中的第一解码器(252-1) 被配置为基于基本层视频信号来产生解码的(YCbCr)基本层图像。在一些实施例中，VDR图像解码器(250)中的第一解码器(252-1) 可以与VDR图像解码器(202)中的解码器(220)相同或基本上类似。同样地，VDR图像解码器(250)中的解码的基本层图像和解码的基本层图像可以是相同的或基本上类似的，前提条件是解码的基本层图像来源于同一VDR图像(例如，206)。

在示例实施例中，在本例子中，VDR图像解码器(250)或其中的上采样器(例如，444-420下采样器266)被配置为将4:2:0采样格式的解码的基本层图像上采样为4:4:4采样格式的8位上采样图像数据。

在示例实施例中，VDR图像解码器(250)或其中的RGB-2-YCbCr 单元(264)被配置为将8位上采样图像数据从非预测颜色空间(在本例子中，YCbCr颜色空间)变换到预测颜色空间(例如，RGB颜色空间)。

在示例实施例中，VDR视频解码器(250)包括执行与预测有关的一个或多个操作的预测处理单元(258)。可以使用由预测处理单元实行的预测来在VDR视频解码器(例如，图2的250)中高效率地重构VDR图像。预测处理单元(258)被配置为：接收所述组映射参数(234)，并且至少部分基于该组映射参数(234)和预测颜色空间中的8位上采样图像数据来产生12+位预测图像。

在示例实施例中，VDR图像解码器(250)中的第二解码器(252-2) 被配置为基于一个或多个增强视频信号来检索增强层图像容器中的8 位(RGB)残差值。

在示例实施例中，VDR图像解码器(250)中的非线性去量化器(NLdQ)254和420至440上采样器(268)被配置为：通过增强层接收一个或多个NLQ参数，并且使用所述一个或多个NLQ参数来将 4:2:0采样格式的8位残差值去量化并上采样为4:4:4采样格式的12+ 位数字表示(或RGB颜色空间中的12+位残差值)。

在示例实施例中，VDR图像解码器(250)被配置为基于12+位残差值(230)和由预测处理单元(258)产生的12+位预测图像来产生重构的VDR图像(260)。颜色通道(例如，G通道)中的重构像素值可以是通过线性或对数域中的加法运算(例如，262)生成的总和。可替代地和/或可选地，颜色通道(例如，G通道)中的重构值可以是通过线性或对数域中的乘法运算生成的乘积。在各种示例实施例中，出于从残差值和预测图像产生重构像素值(260)的目的，可以使用其它的数学表示和相应的运算/函数/映射。

附加地和/或可选地，如本文中所描述的，视频编码器或解码器可以执行以下操作中的一个或多个：变换、量化、熵编译码、图像缓冲、采样滤波、下采样、上采样、插值、复用、解复用、交织、放大、缩小、运动补偿、视差估计、视差补偿、深度估计、深度补偿、编码、解码等。

3.高级量化

在一些实施例中，诸如由VDR图像编码器(图1的102或图2 的202)执行的高级量化被设计和实现为捕捉/保留基本层中的尽可能多的图像细节。这使得需要被编码为增强层视频信号的残差值(例如，图1的130或图2的230)的量最小化。此外，捕捉/保留的基本层中图像细节支持诸如VDR图像解码器(例如，150)的下游装置高效率地重构VDR图像。精确图像细节的存在减轻/减少/去除了否则在有损压缩操作期间将产生/放大的视觉伪像。

如所讨论的，与通过其它技术产生的针对SDR显示器优化的基本层SDR图像不同，根据本文中所描述的技术解码的基本层图像不是用于在SDR显示器上观看。相反，根据本文中所描述的技术解码的基本层图像用作中间图像数据，其用于进一步在VDR图像编码器中产生残差值，并且用于进一步在VDR图像解码器中重构较高位深的VDR 图像。

根据本文中所描述的技术，被设计用于生成SDR显示器上的最佳观看体验的颜色分级处理是不需要的，并且可被禁用或避免。在增强层处理路径和基本层处理路径中引起非对称(或不同)剪切的外部控制的或用户控制的颜色校正被避免或禁用。增强层处理路径和基本层处理路径两者中的剪切水平进一步由根据本文中所描述的技术的 VDR图像编码器控制。还可以在增强层图像数据中对在基本层图像数据中经过颜色剪切的像素进行颜色剪切。

可以使用本文中所描述的技术来降低预测的计算复杂度，预测包括涉及基本层中的SDR图像数据和增强层中的VDR图像数据的层间预测，并且这些技术是友好的片上***(SoC)。例如，本文中所描述的预测处理可以被实现为本文中所描述的高级量化(或伪颜色分级) 的逆操作。因为VDR图像编码器可以如本文中所描述的那样充分地控制高级量化，所以预测处理也可以被充分地控制。在一些实施例中，可以在增强层处理路径和基本层处理路径中充分地控制剪切水平和具有颜色剪切的像素，以使得诸如一次多项式映射的计算效率高的预测方法可以足以产生和重构预测图像。

在示例实施例中，通过线性量化器在(例如，图1和图2中的) 高级量化中将较高位深(例如，16位)VDR数据直接量化为较低位深(8位)基本层图像数据。

在一些示例实施例中，可以使用线性或非线性量化器中的一个或多个来将较高位深(例如，12+位)图像数据量化为较低位深(例如， 8位)图像数据。可以选择不同颜色空间中的和/或不同颜色通道中的不同量化器。例如，为了减轻/减少/去除(例如，平滑区域中的)轮廓伪像和其它伪像，可以在不同颜色空间中和/或通过不同高级量化方法来量化视频信号。在一些实施例中，本文中所描述的高级量化可以包括以下中的一个或多个：线性量化；线性拉伸；基于曲线的/非均匀的量化；基于关于一个帧、多个帧、一个场景、多个场景、或者一个帧内的一个或多个分区等的直方图的概率密度函数(Pdf)优化量化(例如，Lloyd-Max量化)；感知量化；矢量量化；前述量化的任何组合 (例如，在感知空间中进行感知量化后，接着进行Pdf优化量化)。在一些实施例中，特定类型的高级量化可以与一种或多种类型的预测方法具有对应关系。例如，当将均匀量化应用为高级量化时，预测中所使用的对应类型的预测方法可以基于一次多项式。

量化可以在单独通道的基础上执行，或者在两个或更多个通道上被同时执行。在示例实施例中，可以跨两个或更多个颜色通道执行矢量量化。例如，可以通过使用颜色空间中的颜色通道作为轴来设置坐标系(例如，3D Cartesian)。可以在该坐标系中执行诸如旋转的空间变换，以创建被定义为颜色空间中的所述两个或更多个颜色通道的组合(或投影的总和)的新轴。被投影以形成这些新轴中的一个轴的所述两个或更多个颜色通道中的像素值可一起被量化器在这些新轴中的所述一个轴上量化。

在一些实施例中，特定高级量化方法可以基于如下被选择：该特定高级量化方法可以在多大程度上压缩输出多层VDR图像数据、同时仍保持被压缩的输出VDR图像数据在VDR解码器侧的高感知质量。

在一些实施例中，可以选择补偿编解码器的弱点的特定高级量化方法。例如，编解码器可能在压缩暗区域方面表现不好，并且甚至可能在重构的VDR图像中输出轮廓伪像。本文中所描述的高级量化可以使用特定曲线(例如，Sigmoid曲线、mu-law、基于人类感知的曲线等)来产生具有较少的重构VDR图像中可见的轮廓伪像的图像数据。

根据本文中所描述的技术的VDR编码器可以将输入VDR图像数据取作关于将被VDR编码器处理的图像内容的唯一输入。尽管输入 VDR图像数据可以被提供给增强层数据处理，但是如本文中所描述的，可以使用可以飞速(例如，以与输入VDR被输入到VDR编码器的速度相同的线速)执行的高级量化来产生基本层数据处理的输入图像数据。

在一些实施例中，在如本文中所描述的8位量化步骤(例如，图 1的128或图2的228)之前可进行使视频(例如，VDR)信号看起来更像SDR信号的转换，这是因为诸如H.264的现有编码器可能已经适合于处理SDR信号。可以使用移动VDR信号的动态范围以使之看起来更像SDR信号的各种高级量化技术。在示例实施例中，可以使用可逆颜色分级方法(例如，斜率+偏移+功率+色调+饱和度或SOP+HS) 来将稀疏数据变换到目标范围。在另一示例实施例中，可以使用在显示管理中所使用的色调映射曲线来将VDR信号变换为看起来更像 SDR信号。这里，术语“显示管理”是指被执行以使VDR视频信号适合于特定显示器或特定范围的显示器所支持的动态范围的一个或多个操作。

本文中所描述的高级量化可被以一种或多种不同方式执行。高级量化可以执行全局量化，在全局量化中，使用单个设置来量化整个帧或整个场景。高级量化还可以执行基于分区的(局部)量化，在该量化中，每个帧划分为多个不重叠区域，并且每个不重叠区域被使用自身的设置来量化。高级量化可以执行基于分区的(局部)量化，在该量化中，每个帧划分为多个不重叠区域，并且每个不重叠区域被使用自身的设置来量化，但是用于特定不重叠区域的量化器设置是基于从一个或多个重叠区域导出的分析数据而确定的。可以在一个或多个不同颜色空间中的任何一个中应用高级量化。其中可以应用高级量化的颜色空间的例子包括但不限于以下空间中的任何一个：RGB颜色空间、 YCbCr颜色空间、YCoCg颜色空间、ACES颜色空间或其它颜色空间。

在一些实施例中，其中应用量化的颜色空间被保持与其中执行预测的颜色空间相同。在VDR图像编码处理和VDR图像解码处理这两者中都可以如此。如果其中发生图像呈现的颜色空间不同于其中量化发生的颜色空间，则可以视情况执行颜色空间变换。

4.线性拉伸

在示例实施例中，可以在如图1和图2中所示的高级量化中、在如图3中所示的YCbCr颜色空间中或者在RGB颜色空间中应用场景自适应动态范围调整量化方法。所考虑的一个场景中内的颜色通道i 中的最大值可以被表示为v_i,max。所考虑的一个场景中内的颜色通道i 中的最小值可以被表示为v_i,min。由该范围内的数据点的最小值和最大值和/或分布限定的范围可以基于图像内容从帧到帧、从多个帧到多个帧、从场景到场景、从多个场景到多个场景、从节目到节目等等而改变。

颜色通道i中的待处理像素值可以被表示为v_i。在VDR(例如，亮度)编码空间为16位(或图1和图2中的12+位)的情况下，可以适用以下表达式：

0≤v_i，min≤v_i，max≤2¹⁶-1 (1)

场景自适应动态范围调整量化方法如下将整个范围[v_i,min,v_i,max]映射到8位YCbCr 709标准范围[s_i,min,s_i,max]：

其中，s_i表示通过如图1和图2中所示的高级量化而产生的图像数据中的经转换的像素值。在表达式(2)中，round()运算保证输出将为整数。舍入之后还可以接着是剪切函数。例如，可以将负值剪切为零，并且将大于255的正值剪切为255。

如图3中所示，可以使用场景自适应动态范围调整量化来充分地利用整个8位动态范围。图3中的量化范围-帧索引图的水平轴表示帧索引变量。可以将每个帧中用于线性拉伸的最小值(如绘图302所指示的s_i,min)设置为与该帧中的最小值(如绘图304所指示的v_i,min)相同。然而，可以将每个帧中用于线性拉伸的最大值(如绘图306所指示的s_i,max)设置为不小于该帧中的最大值(如绘图308所指示的v_i,max)。如图3中所描绘的，在帧2200中，根据其它编码技术(例如，除了线性拉伸编码技术之外的其它技术)，最大值大约为140。与此相比，通过使用本文中所描述的线性拉伸技术，帧2200的最大值扩展到大约为225。因此，相对于其它编码技术，本文中所描述的线性拉伸提供更多的量化步长，因此，提供更好的分辨率细节。如所示，对于线性拉伸和其它技术两者，剪切从帧2400附近的帧开始发生，并且持续到帧2600。

5.示例处理流程

图4A例示了根据本发明的示例实施例的示例处理流程。在一些示例实施例中，一个或多个计算装置或组件可以执行该处理流程。在方框402中，多层VDR视频编码器(例如，图1的102)接收输入图像序列中的输入视觉动态范围(VDR)图像。

在方框404中，多层VDR视频编码器(102)从一种或多种可用的高级量化方法选择特定的高级量化方法。

在方框406中，多层VDR视频编码器(102)将该特定的高进量化方法应用于输入VDR图像以产生输入基本层图像。在示例实施例中，输入VDR图像包括较高位深的VDR图像数据，而输入基本层图像包括较低位深的VDR图像数据。

在方框408中，多层VDR视频编码器(102)将从输入基本层图像导出的图像数据压缩为基本层(BL)视频信号。

在方框410中，多层VDR视频编码器(102)将从输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号。

在示例实施例中，多层VDR视频编码器(102)从BL视频信号解码基本层图像，所述基本层图像对应于输入基本层图像；从一种或多种预测方法选择预测方法；使用所述预测方法，至少部分基于基本层图像来产生预测图像；基于所述预测图像和所述输入VDR图像来产生残差值；将非线性量化应用于所述残差值以产生输出EL图像数据，所述残差值包括较高位深值，所述输出EL图像数据包括较低位深值；并且将输出EL图像数据压缩为一个或多个EL视频信号。

在示例实施例中，基于高级量化方法与预测方法之间的对应关系来选择预测方法。

在示例实施例中，高级量化方法包括以下量化方法中的一种或多种：全局量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、LLoyd-Max量化、基于分区的量化、感知量化、矢量量化或其它类型的量化。

在示例实施例中，输入图像序列包括不同的第二VDR输入图像；并且多层视频编码器(102)从所述一种或多种可用的高级量化方法选择不同的第二特定高级量化方法；将所述第二特定高级量化方法应用于所述第二输入VDR图像以产生第二输入基本层图像；将从所述第二输入基本层导出的第二图像数据压缩为基本(BL)视频信号；并且将从所述第二输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号。

在示例实施例中，多层视频编码器(102)从基本层视频信号解码不同的第二BL图像，所述第二BL图像对应于所述第二输入BL图像；从所述一种或多种预测方法选择不同的第二预测方法；使用所述第二预测方法，至少部分基于所述第二BL图像来产生第二预测图像；基于所述第二预测图像和所述第二输入VDR图像来计算不同的第二残差值；将非线性量化应用于所述第二残差值以产生第二输出EL图像数据，所述第二残差值包括较高位深值，并且所述第二输出EL图像数据包括较低位深值；并且将所述输出EL图像数据压缩为一个或多个EL视频信号。

在示例实施例中，VDR编码器中的第一8位编码器将输入基本层图像中的图像数据压缩为BL视频信号，而所述VDR编码器中的第二 8位编码器将输入VDR图像中的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号。

在示例实施例中，高级量化方法基于包括但不限于以下因素的一个或多个因素被选择：使相对于输入VDR图像的将被编码为一个或多个EL视频信号的图像数据的量最小化。

在示例实施例中，高级量化方法基于包括但不限于从输入VDR 图像确定的一个或多个特性中的任一个的一个或多个因素被选择。

在示例实施例中，在多层视频编码器(102)接收到所述输入VDR 图像之后，禁止调色师进行颜色分级。

在示例实施例中，使用第一图像容器来保存从所述输入基本层图像导出的图像数据，而使用不同的第二图像容器来保存所述输入VDR 图像中的图像数据的至少一部分。在示例实施例中，所述第一图像容器和所述第二图像容器中的至少一个包括颜色空间中的一个或多个通道中的像素值。在示例实施例中，从与多个采样方案相关联的多个图像容器选择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案包括以下采样方案中的任何一个：4:4:4采样方案、4:2:2采样方案、4:2:0采样方案或其它采样方案。

在示例实施例中，多层视频编码器(102)将通过一个或多个输入视频信号被表示、接收、发送或存储的一个或多个输入VDR图像转换为通过一个或多个输出视频信号被表示、接收、发送或存储的一个或多个输出VDR图像。

在示例实施例中，一个或多个EL视频信号和输入VDR图像中的至少一个包括按以下之一编码的图像数据：高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES) 标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB 颜色空间、或RGB颜色空间或YCbCr颜色空间。

图4B例示了根据本发明的示例实施例的示例处理流程。在一些示例实施例中，一个或多个计算装置或组件可以执行该处理流程。在方框452中，多层视频解码器(例如，图1的150)基于一个或多个增强层(EL)视频信号来产生输入图像序列中的VDR图像的图像数据的至少一部分。

在方框454中，多层视频解码器(150)基于基本层(BL)视频信号来产生基本层图像，所述基本层图像包括通过从一种或多种可用的高级量化方法选择的特定高级量化方法而产生的VDR图像的较低位深VDR图像数据。

在方框456中，多层视频解码器(150)基于所述基本层图像和所述图像数据的所述至少一部分来重构所述VDR图像的较高位深版本。

在示例实施例中，多层视频解码器(150)接收预测元数据，所述预测元数据包括但不限于一组映射参数；基于所述预测元数据来确定预测方法；使用所述预测方法，至少部分基于所述基本层图像来产生预测图像；通过将所述预测图像与从一个或多个EL视频信号导出的图像数据的所述至少一部分组合来重构所述VDR图像的较高位深版本。

在示例实施例中，预测方法对应于高级量化方法。

在示例实施例中，所述高级量化方法包括以下量化方法中的一种或多种：整体量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、LLoyd-Max量化、基于分区的量化、感知量化、矢量量化或其它类型的量化。

在示例实施例中，VDR解码器中的第一8位解码器从BL视频信号导出基本层图像，并且其中，所述VDR解码器中的第二8位解码器从一个或多个增强层(EL)视频信号导出所述VDR图像中的图像数据的至少一部分。

在示例实施例中，高级量化方法基于包括但不限于以下因素的一个或多个因素被选择：使相对于源VDR图像的要从所述一个或多个 EL视频信号导出的图像数据的量最小化。

在示例实施例中，使用第一图像容器来保存基本层图像中的图像数据，而使用不同的第二图像容器来保存VDR图像的图像数据的所述至少一部分。在示例实施例中，所述第一图像容器和所述第二图像容器中的至少一个包括颜色空间中的一个或多个通道中的像素值。在示例实施例中，从与多个采样方案相关联的多个图像容器选择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案包括以下采样方案中的任何一个：4:4:4采样方案、4:2:2采样方案、4:2:0采样方案或其它采样方案。

在示例实施例中，多层视频解码器(150)对通过一个或多个输入视频信号被表示、接收、发送或存储的一个或多个VDR图像进行处理。

在示例实施例中，所述VDR图像的所述较高位深版本的至少一部分包括按以下之一编码的图像数据：高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB 颜色空间、或RGB颜色空间或YCbCr颜色空间。

在各种示例实施例中，编码器、解码器、***、设备或者一个或多个其它计算装置执行前面所描述的方法中的任何一种或一部分。

6.自适应动态范围调整

淡入和淡出是视频制作中常用的特殊场景转变效果。在淡入中，明亮度逐渐增大，直到场景处于满明亮度为止。在淡出期间，场景从满明亮度开始，并且逐渐地消失。因为这些转变期间的亮度变化，运动估计技术可能不能精确地确定最佳运动矢量，导致更大的残差和更加低效率的视频编码。

在应用线性拉伸量化器(例如，式(2))的某些实施例中，可取的是在场景内保持相对恒定的VDR到基本层(BL)量化步长。在本文中被表示为“基于场景的适配(adaption)”的该方法减少需要从编码器发送到解码器的量化相关元数据的量，并且还保持场景中的相对恒定的明亮度，这有助于后续压缩处理。然而，这样的方法可能在淡入或淡出期间是不合适的。如本文中所描述的，“基于逐帧的适配”可能更适合于这样的情况。

假定在淡入或淡出转变期间存在F个帧。对于某一颜色分量(例如，亮度Y)，对于原始VDR序列中的第i帧，分别将v_H,i和v_L,i (i＝0,…,F-1)表示为该颜色分量的最大值和最小值。类似地，分别将 c_H,i和c_L,i(i＝0,…,F-1)表示为第i BL帧中的相应颜色分量的最大值和最小值。通过使用线性拉伸量化方法，根据式(2)，可以将量化后的基本层流的第i帧中的第j像素的值表达为：

其中，v_ji表示第i VDR帧中的第j像素的值，O是舍入偏差(例如，O＝0.5或O＝0)。如本文中所应用的，地板函数

计算小于或等于x的最大整数。

对于淡出场景，第一帧应具有最大动态范围，即，对于0<i<F， v_H,0≥v_H,i。

对于淡入场景，最后一帧应具有最大动态范围，即，对于0≤i<F-1， v_H,F-1≥v_H,i。

给定以上公式，带来的问题是，在式(3)中可以如何自适应地调整 {c_H,i|i＝0,...,F-1}和{c_L，i|i＝0，...，F-1}参数以便优化后续编码性能。

全搜索方法

在一个实施例中，可以尝试{c_H,i|i＝0，...，F-1}和{c_L，i|i＝0，...，F-1}的所有可能的组合，并且选择提供最佳总体压缩的那些变量。然而，即使设置c_L,i＝0，对于8位数据，关于c_H,i也存在255^F个可能的组合，这对于实时编码中的尝试和测试可能是不现实的。

相等最大值方法

在另一实施例中，可以将所有c_H,i值(i＝0,…,F-1)设置为场景相关的最大值c_H,max。在实施例中，c_H,max可以表示在具有恒定明亮度的前一或下一场景(即，不具有淡入或淡出的场景)中所使用的值(例如，对于[0,F-1]中的所有i，c_H,i＝c_H,max＝255)。类似地，可以将c_L,i设置为在不具有淡入/淡出的前一或下一场景中所使用的最小值c_L,min(例如，对于[0,F-1]中的所有i，c_L,i＝c_L,min＝0)。在这样的实施例中，淡入或淡出场景内的所有BL帧将具有相同的动态范围[c_L,min,c_L,max]；然而，每帧的VDR到BL量化步长可不同。根据式(3)，可以将用于淡入和淡出转变的该自适应量化方法(也被称为逐帧适配)表达为：

接着描述检测是应用基于场景的适配(例如，对于整个场景应用具有恒定量化的式(2)或(3))还是应用逐帧适配(例如，应用式(4))的决策算法。

决策算法

在实施例中，考虑两个连续VDR帧(比如，帧v_i-1和v_i)。然后，可以通过将相应的量化后的BL帧s_i-1和s_i的直方图进行比较来导出决策算法。尽管针对单个颜色分量(例如，亮度)描述该算法，但是可以对所有颜色分量重复该操作。

步骤1：采取逐帧(fbf)自适应量化并计算BL像素值。给定帧 v_i-1和v_i，可以如下地应用式(4)来计算相应的BL帧中的像素值：

(a)对于帧i-1

(b)对于帧i

不失一般性，假定BL流中每一颜色分量8位，对于帧s_i-1和s_i，可以使用式(5)和(6)的输出来计算相应的直方图

和

(n＝0,1,…,255)，每个直方图具有256个区间。如本文中所使用的，术语直方图指示对被观察到的落入到可能的不同的像素值中的每个内的像素的数量进行计数的函数。例如，

表示帧i-1中的 10个像素具有值20。

步骤2：计算

与

之间的均方差

给定在步骤1中计算的直方图，可以如下计算它们的均方差：

现在可以基于使用基于场景的自适应(sb)量化的假定来重复所述处理。

步骤3：计算帧i-1与帧i之中的最小像素值和最大像素值。

v_Lmin＝min{v_L，i-1，v_L，i}

并且，

v_Hmax＝max{v_H，i-1，v_H，i}

然后，给定帧v_i-1和v_i，可以应用这些值和式(3)来如下地计算相应的BL像素值：

并且

通过使用式(8)和(9)的输出，可以计算帧直方图

和

其中，n＝0,1,…,255。

步骤4：计算

与

之间的均方差。

步骤5：可以基于这两个均方差之间的差来作出是应用逐帧适配还是应用基于场景的适配的自适应决策：

如果

则使用逐帧调整

否则

使用基于场景的调整。

图6总结了本文中所描述的决策算法的实施例。在步骤610中，处理访问输入VDR图像序列中的两个连续图像(或帧)。通过使用本文中所描述的方法，步骤625和630计算相应BL图像的两个替代表示。步骤625使用逐帧适配(例如，使用式(5)和(6))来计算BL帧。步骤630使用基于场景的适配(例如，使用式(8)和(9))来计算BL图像。基于这些计算的BL图像，步骤625和630可以计算相应的直方图(例如，

和

)。给定这些直方图，对于每组直方图，步骤635和640可以计算第一均方差和第二均方差(例如，式(7)中的

和式(10)中的

)。最后，在步骤650中，可以将这两个均方差进行比较，并选择得到具有最小均方差的直方图的方法作为量化方法。

7.实现机器——硬件概述

根据一个实施例，本文中所描述的技术用一个或多个专用计算装置来实现。专用计算装置可以被硬连线来执行这些技术，或者可以包括被持久地编程为执行这些技术的数字电子装置(诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA))，或者可以包括被编程为按照固件、存储器、其它储存器或组合中的程序指令执行这些技术的一个或多个通用硬件处理器。这样的专用计算装置还可以通过定制编程来组合定制的硬连线逻辑、ASIC或FPGA以实现这些技术。专用计算装置可以是台式电脑***、便携式电脑***、手持装置、联网装置、或结合有实现这些技术的硬连线和/或程序逻辑的任何其它装置。

例如，图5是例示在其上可以实现本发明的示例实施例的计算机***500的框图。计算机***500包括用于传送信息的总线502或其它通信机制、以及与总线502耦合的用于处理信息的硬件处理器504。硬件处理器504可以是例如通用微处理器。

计算机***500还包括耦合到总线502的用于存储将被处理器504 执行的信息和指令的主存储器506(诸如随机存取存储器(RAM)或其它动态存储装置)。主存储器506还可以用于存储要由处理器504 执行的指令的执行期间的临时变量或其它中间信息。这样的指令在被存储在处理器504可访问的非暂时性存储介质上时使计算机***500 变为被定制为执行这些指令中所指定的操作的专用机器。

计算机***500还包括耦合到总线502的用于存储用于处理器504 的静态信息和指令的只读存储器(ROM)508或其它静态存储装置。提供存储装置510(诸如磁盘或光学盘)，并且将存储装置510耦合到总线502以用于存储信息和指令。

计算***500可以通过总线502耦合到用于向计算机用户显示信息的显示器512(诸如液晶显示器)。包括字母数字键和其它键的输入装置514耦合到总线502，以用于将信息和命令选择传送到处理器 504。另一种类型的用户输入装置是用于将方向信息和命令选择传送给处理器504并且用于控制显示器512上的光标移动的光标控件516 (诸如鼠标、轨迹球、或光标方向键)。该输入装置通常具有两个轴 (第一轴(例如，x)和第二轴(例如，y))上的两个自由度，这使得装置可以指定平面中的位置。

计算机***500可以使用定制的硬连线逻辑、一个或多个ASIC 或FPGA、固件和/或程序逻辑(其与计算机***组合以使得计算机***500变为专用机器或者将计算机***500编程为专用机器)来实现本文中所描述的技术。根据一个实施例，本文中的技术由计算机*** 500响应于处理器504执行包含在主存储器506中的一个或多个指令的一个或多个序列来执行。可以将这样的指令从另一存储介质(诸如存储装置510)读取到主存储器506中。包含在主存储器506中的指令序列的执行使处理器504执行本文中所描述的处理步骤。在替代实施例中，可以代替软件指令来使用硬连线电路***，或者可以与软件指令组合地使用硬连线电路***。

这里使用的术语“存储介质”指的是存储导致机器以特定的方式操作的数据和/或指令的任何非暂态介质。这种存储介质可包含非易失性介质和/或易失性介质。非易失性介质包含例如光盘或磁盘，诸如存储装置510。易失性介质包含诸如主存储器506的动态存储器。存储介质的常见形式包含例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它的磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、 FLASH-EPROM、NVRAM、任何其它存储芯片或盒。

存储介质与传输介质明显不同，但可与其组合使用。传输介质参与存储介质之间的信息传送。例如，传输介质包含共轴电缆、铜线和光纤，包括包含总线502的导线。传输介质也可采取声波或光波的形式，诸如在无线电波和红外数据通信期间产生的那些。

各种形式的介质可涉及将一个或更多个指令的一个或更多个序列承载到处理器602以供执行。例如，可初始地在磁盘或远程计算机的固态驱动器上承载指令。远程计算机可将指令加载到其动态存储器中并且通过使用调制解调器在电话线上发送指令。计算机***500本地的调制解调器可接收电话线上的数据，并且使用红外发射器以将数据转换成红外信号。红外检测器可接收在红外信号中承载的数据并且适当的电路可将该数据放置在总线502上。总线502将数据承载到主存储器506，从该主存储器506，处理器504检索和执行指令。由主存储器506接收的指令可以可选地在被处理器504执行之前或之后被存储于存储装置510上。

计算机***500还包含与总线502耦合的通信接口518。通信接口518提供与网络链路520的双向数据通信耦合，该网络链路520连接到局部网络522。例如，通信接口518可以是集成服务数字网络 (ISDN)卡、电缆调制解调器、卫星调制解调器或提供与相应类型的电话线的数据通信连接的调制解调器。作为另一例子，通信接口518 可以是提供与兼容的LAN的数据通信连接的局域网络(LAN)卡。也可实现无线链路。在任何这种实现中，通信接口518发送和接收承载代表各种类型的信息的数字数据流的电、电磁或光学信号。

网络链路520典型地提供通过一个或更多个网络的与其它的数据装置的数据通信。例如，网络链路520可提供通过局域网络522与主机计算机524或由互联网服务提供商(ISP)526操作的数据设备的连接。ISP 526继而通过现在一般称为“因特网”528的全球分组数据通信网络提供数据通信服务。局域网络522和因特网528均使用承载数字数据流的电、电磁或光学信号。承载通向和来自计算机***500的数字数据的通过各种网络的信号以及处于网络链路520上并通过通信接口518的信号是传输介质的示例性形式。

计算机***500可通过网络、网络链路520和通信接口518发送消息并接收包含程序代码的数据。在因特网例子中，服务器530可通过因特网528、ISP 526、局域网络522和通信接口518传送用于应用程序的请求代码。

接收的代码可在其被接收时被处理器504执行，和/或被存储于存储装置510或其它的非易失性存储器中以稍后执行。

8等同、扩展、替代和其它

在以上的说明书中，参照可随实现而改变的大量的具体细节描述了本发明的实施例。因此，什么是本发明以及本发明的申请人意图什么成为本发明的专有和专用的指示是包含任何随后的校正的一组权利要求，这些权利要求以这些权利要求发布的特定的形式从本申请发发布。这里对于包含于这些权利要求中的术语明确阐述的任何定义应掌控在权利要求中使用的这些术语的意思。由此，没有在权利要求中明确详述的限制、要素、性能、特征、优点或属性不应以任何的方式限制这些权利要求的范围。因此，说明书和附图应视为解释性而不是限制性的。

Claims

1.一种编码方法，包括：

接收输入图像序列中的输入视觉动态范围(VDR)图像，其中，所述输入VDR图像包括第一位深；

从用于从包括第一位深的VDR图像生成包括第二位深的基本层图像的一个或多个可用的高级量化方法中选择特定高级量化方法，所述第二位深低于所述第一位深；

将所述特定高级量化方法应用于所述输入VDR图像以产生输入基本层图像，其中，所述输入基本层图像包括第二位深；

将从所述输入基本层图像导出的图像数据压缩为基本层(BL)视频信号；和

将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号，其中BL视频信号总是与EL视频信号中的一个或多个组合地被观看，

其中，所述特定高级量化方法是基于包括最小化相对于输入VDR图像的将被编码为一个或多个EL视频信号的图像数据的量的一个或多个因素被选择的。

2.根据权利要求1所述的方法，还包括：

从所述BL视频信号解码BL图像，所述BL图像对应于所述输入BL图像；

从一种或多种预测方法选择预测方法；

使用所述预测方法，至少部分基于所述BL图像来产生预测图像；

基于所述预测图像和所述输入VDR图像来产生残差值；

将非线性量化应用于所述残差值以产生输出EL图像数据，所述残差值包括较高位深值，并且所述输出EL图像数据包括较低位深值；和

将所述输出EL图像数据压缩为所述一个或多个EL视频信号。

3.根据权利要求2所述的方法，其中，基于高级量化方法与预测方法之间的对应关系来选择所述预测方法。

4.根据权利要求1所述的方法，其中，高级量化方法包括以下中的一种或多种：全局量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、LLoyd-Max量化、基于分区的量化、感知量化或交叉颜色通道/矢量量化。

5.根据权利要求1所述的方法，其中，所述输入图像序列包括不同的第二输入VDR图像；并且所述方法还包括：

从一种或多种可用的高级量化方法选择不同的第二特定高级量化方法；

将所述第二特定高级量化方法应用于所述第二输入VDR图像以产生第二输入BL图像；

将从所述第二输入基本层图像导出的第二图像数据压缩为所述BL视频信号；和

将从所述第二输入VDR图像导出的图像数据的至少一部分压缩为所述一个或多个EL视频信号。

6.根据权利要求5所述的方法，还包括：

从所述BL视频信号解码不同的第二BL图像，所述第二BL图像对应于所述第二输入BL图像；

从一种或多种预测方法选择不同的第二预测方法；

使用所述第二预测方法，至少部分基于所述第二BL图像来产生第二预测图像；

基于所述第二预测图像和所述第二输入VDR图像来产生不同的第二残差值；

将非线性量化应用于所述第二残差值以产生第二输出EL图像数据，所述第二残差值包括较高位深值，并且所述第二输出EL图像数据包括较低位深值；和

将所述输出EL图像数据压缩为所述一个或多个EL视频信号。

7.根据权利要求1所述的方法，其中，VDR编码器中的第一8位编码器将所述输入BL图像中的图像数据压缩为所述BL视频信号，并且其中，所述VDR编码器中的第二8位编码器将所述输入VDR图像中的图像数据的至少一部分压缩为所述一个或多个EL视频信号。

8.根据权利要求7所述的方法，其中，所述第一8位编码器和所述第二8位编码器中的至少一个包括以下之一：高级视频编码(AVC)编码器、运动图像专家组(MPEG)-2编码器、或高效率视频编码(HEVC)编码器。

9.根据权利要求1所述的方法，其中，高级量化方法基于包括从所述输入VDR图像确定的一个或多个特性的一个或多个因素被选择。

10.根据权利要求1所述的方法，其中，在接收到所述输入VDR图像之后不进行人工颜色分级。

11.根据权利要求1所述的方法，其中，使用第一图像容器来保存从所述输入BL图像导出的图像数据，并且其中，使用不同的第二图像容器来保存所述输入VDR图像中的图像数据的所述至少一部分。

12.根据权利要求11所述的方法，其中，所述第一图像容器和所述第二图像容器中的至少一个包括颜色空间中的一个或多个通道中的像素值。

13.根据权利要求11所述的方法，其中，从与多个采样方案相关联的多个图像容器选择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案包括4∶4∶4采样方案、4∶2∶2采样方案或4∶2∶0采样方案中的任何一个。

14.根据权利要求1所述的方法，还包括将通过一个或多个输入视频信号被表示、接收、发送或存储的一个或多个输入VDR图像转换为通过一个或多个输出视频信号被表示、接收、发送或存储的一个或多个输出VDR图像。

15.根据权利要求1所述的方法，其中，所述一个或多个EL视频信号和所述输入VDR图像中的至少一个包括按以下之一被编码的图像数据：高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间、或RGB颜色空间或YCbCr颜色空间。

16.根据权利要求1所述的方法，还包括：

确定用于将所述输入VDR图像处理为BL视频信号和EL视频信号的特定配置文件；和

在将所述输入VDR图像处理为BL视频信号和EL视频信号中执行与所述特定配置文件相关的一个或多个操作。

17.根据权利要求1所述的方法，其中，所选择的高级量化方法包括被如下表达的线性拉伸方法：

其中，v_ji指示所述输入图像序列中的第i输入VDR图像的第j像素，s_ji指示所产生的第i输入基本层图像的第j像素，v_L，i和v_H，i指示第i输入VDR图像中的像素之中的最小像素值和最大像素值，c_L，i和c_H，i指示所产生的第i输入基本层图像中的像素之中的最小像素值和最大像素值，O是舍入常数。

18.根据权利要求1所述的方法，其中，所选择的高级量化方法包括被如下表达的基于场景的适配方法：

其中，v_ji指示所述输入图像序列中的场景中的第i输入VDR图像的第j像素，s_ji指示所述场景中的所产生的第i输入基本层图像的第j像素，v_L，min和v_H，max指示所述场景中的所述输入VDR图像中的像素值之中的最小值和最大值，c_L，min和c_H，max指示所述场景中的所产生的输入基本层图像中的像素之中的最小像素值和最大像素值，O是舍入常数。

19.根据权利要求1所述的方法，其中，所选择的高级量化方法包括被如下表达的基于逐帧的适配方法：

其中，v_ji指示所述输入图像序列中的过渡场景中的第i输入VDR图像的第j像素，s_ji指示所述过渡场景中的所产生的第i输入基本层图像的第j像素，v_L，i和v_H，i指示所述过渡场景中的第i输入VDR图像中的像素值之中的最小值和最大值，c_L，min和c_H，max指示所述过渡场景中的所产生的输入基本层图像中的像素之中的最小像素值和最大像素值，O是舍入常数。

20.根据权利要求19所述的方法，其中，所述过渡场景包括淡入场景或淡出场景。

21.一种解码方法，包括：

基于一个或多个增强层(EL)视频信号来产生输入图像序列中的VDR图像的图像数据的至少一部分；

基于基本层(BL)视频信号来产生BL图像，所述BL图像包括通过从用于从包括第一位深的VDR图像生成包括第二位深的基本层图像的一种或多种可用的高级量化方法中选择的特定高级量化方法产生的所述VDR图像的基本层VDR图像数据，所述第二位深低于所述第一位深；和

基于所述图像数据的所述至少一部分和所述BL图像来重构所述VDR图像的版本，所述VDR图像的所述版本包括第一位深，

其中，所述特定高级量化方法是基于包括最小化相对于源VDR图像的将从一个或多个EL视频信号导出的图像数据的量的一个或多个因素被选择的，其中BL图像总是与EL视频信号中的一个或多个组合地被观看。

22.根据权利要求21所述的方法，还包括：

接收预测元数据，所述预测元数据包括一组映射参数；

基于所述预测元数据来确定预测方法；

通过将所述预测图像与从所述一个或多个EL视频信号导出的图像数据的所述至少一部分进行组合来重构所述VDR图像的较高位深版本。

23.根据权利要求22所述的方法，其中，所述预测方法对应于所述高级量化方法。

24.根据权利要求22所述的方法，其中，高级量化方法包括以下中的一种或多种：全局量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、LLoyd-Max量化、基于分区的量化、感知量化或矢量量化。

25.根据权利要求22所述的方法，其中，通过VDR解码器中的第一8位解码器从所述BL视频信号导出所述BL图像，并且其中，通过所述VDR解码器中的第二8位解码器从所述一个或多个增强层(EL)视频信号导出所述VDR图像中的图像数据的所述至少一部分。

26.根据权利要求25所述的方法，其中，所述第一8位编码器和所述第二8位编码器中的至少一个包括以下之一：高级视频编码(AVC)编码器、运动图像专家组(MPEG)-2编码器、或高效率视频编码(HEVC)编码器。

27.根据权利要求21所述的方法，其中，使用第一图像容器来保存BL图像中的图像数据，并且其中，使用不同的第二图像容器来保存所述VDR图像的图像数据的所述至少一部分。

28.根据权利要求27所述的方法，其中，所述第一图像容器和所述第二图像容器中的至少一个包括颜色空间中的一个或多个通道中的像素值。

29.根据权利要求27所述的方法，其中，从与多个采样方案相关联的多个图像容器选择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案至少包括4∶4∶4采样方案、4∶2∶2采样方案、4∶2∶0采样方案或其它采样方案。

30.根据权利要求21所述的方法，还包括对通过一个或多个输入视频信号被表示、接收、发送或存储的一个或多个VDR图像进行处理。

31.根据权利要求21所述的方法，其中，所述VDR图像的较高位深版本的至少一部分包括按以下之一被编码的图像数据：高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间、或与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB颜色空间。

32.根据权利要求21所述的方法，还包括：

确定与BL视频信号和EL视频信号相关的特定配置文件；和

在从BL视频信号和EL视频信号重构所述VDR图像的较高位深版本中执行与所述特定配置文件相关的一个或多个操作。

33.一种包括被配置为执行根据权利要求1-20中任一项所述的方法的处理器的编码器。

34.一种包括被配置为执行根据权利要求21-32中任一项所述的方法的处理器的解码器。

35.一种图像处理***，包括：

编码器，所述编码器被配置为执行：

接收输入图像序列中的输入视觉动态范围(VDR)图像；

从用于从包括较高位深的VDR图像生成包括较低位深的基本层图像的一个或多个可用的高级量化方法选择特定高级量化方法；

将所述特定高级量化方法应用于所述输入VDR图像以产生输入基本层图像，所述输入VDR图像包括较高位深VDR图像数据，并且所述输入基本层图像包括较低位深VDR图像数据；

将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号；

其中，所述特定高级量化方法是基于包括最小化相对于输入VDR图像的将被编码为一个或多个EL视频信号的图像数据的量的一个或多个因素被选择的，解码器，所述解码器被配置为执行：

基于一个或多个增强层(EL)视频信号来产生输入VDR图像的输入图像数据的至少一部分；

基于BL视频信号来产生BL图像；和

基于所述输入图像数据的所述至少一部分和所述BL图像来重构所述输入VDR图像的较高位深版本。

36.一种编码方法，包括：

从用于从包括第一位深的VDR图像生成包括第二位深的基本层图像的一个或多个可用的高级量化方法选择特定高级量化方法，所述第二位深低于所述第一位深；

将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号，

其中，从所述一个或多个可用的高级量化方法选择特定高级量化方法还包括：

选择所述输入图像序列中的两个连续输入VDR图像；

应用第一适配方法来计算第一组两个相应基本层(BL)图像；

应用第二适配方法来计算第二组两个相应BL图像；

基于所述第一组BL图像来计算第一组直方图；

基于所述第二组BL图像来计算第二组直方图；

基于所述第一组直方图来计算第一均方差；

基于所述第二组直方图来计算第二均方差；

将所述第一均方差与所述第二均方差进行比较；和

如果所述第一均方差小于所述第二均方差，则选择所述第一适配方法。

37.根据权利要求36所述的方法，其中，所述第一适配方法是基于逐帧的适配方法，并且所述第二适配方法是基于场景的适配方法。

38.一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令在由一个或多个处理器执行时使得执行根据权利要求1-32以及36-37中任一项所述的方法。

39.一种编码设备，包括：

处理器；

计算机可读存储介质，具有指令，所述指令在被所述处理器执行时使得执行根据权利要求1-20以及36-37中任一项所述的方法。

40.一种解码设备，包括：

处理器；

计算机可读存储介质，具有指令，所述指令在被所述处理器执行时使得执行根据权利要求21-32中任一项所述的方法。

41.一种编码装置，包括：

用于接收输入图像序列中的输入视觉动态范围(VDR)图像的部件，其中，所述输入VDR图像包括第一位深；

用于从用于从包括第一位深的VDR图像生成包括第二位深的基本层图像的一个或多个可用的高级量化方法中选择特定高级量化方法的部件，所述第二位深低于所述第一位深；

用于将所述特定高级量化方法应用于所述输入VDR图像以产生输入基本层图像的部件，其中，所述输入基本层图像包括第二位深；

用于将从所述输入基本层图像导出的图像数据压缩为基本层(BL)视频信号的部件；和

用于将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号的部件，其中BL视频信号总是与EL视频信号中的一个或多个组合地被观看，

42.根据权利要求41所述的装置，还包括：

用于从所述BL视频信号解码BL图像的部件，所述BL图像对应于所述输入BL图像；

用于从一种或多种预测方法选择预测方法的部件；

用于使用所述预测方法，至少部分基于所述BL图像来产生预测图像的部件；

用于基于所述预测图像和所述输入VDR图像来产生残差值的部件；

用于将非线性量化应用于所述残差值以产生输出EL图像数据的部件，所述残差值包括较高位深值，并且所述输出EL图像数据包括较低位深值；和

用于将所述输出EL图像数据压缩为所述一个或多个EL视频信号的部件。

43.根据权利要求42所述的装置，其中，基于高级量化方法与预测方法之间的对应关系来选择所述预测方法。

44.根据权利要求41所述的装置，其中，高级量化方法包括以下中的一种或多种：全局量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、LLoyd-Max量化、基于分区的量化、感知量化或交叉颜色通道/矢量量化。

45.根据权利要求41所述的装置，其中，所述输入图像序列包括不同的第二输入VDR图像；并且所述装置还包括：

用于从一种或多种可用的高级量化方法选择不同的第二特定高级量化方法的部件；

用于将所述第二特定高级量化方法应用于所述第二输入VDR图像以产生第二输入BL图像的部件；

用于将从所述第二输入基本层图像导出的第二图像数据压缩为所述BL视频信号的部件；和

用于将从所述第二输入VDR图像导出的图像数据的至少一部分压缩为所述一个或多个EL视频信号的部件。

46.根据权利要求45所述的装置，还包括：

用于从所述BL视频信号解码不同的第二BL图像的部件，所述第二BL图像对应于所述第二输入BL图像；

用于从一种或多种预测方法选择不同的第二预测方法的部件；

用于使用所述第二预测方法，至少部分基于所述第二BL图像来产生第二预测图像的部件；

用于基于所述第二预测图像和所述第二输入VDR图像来产生不同的第二残差值的部件；

用于将非线性量化应用于所述第二残差值以产生第二输出EL图像数据的部件，所述第二残差值包括较高位深值，并且所述第二输出EL图像数据包括较低位深值；和

47.根据权利要求41所述的装置，其中，VDR编码器中的第一8位编码器将所述输入BL图像中的图像数据压缩为所述BL视频信号，并且其中，所述VDR编码器中的第二8位编码器将所述输入VDR图像中的图像数据的至少一部分压缩为所述一个或多个EL视频信号。

48.根据权利要求47所述的装置，其中，所述第一8位编码器和所述第二8位编码器中的至少一个包括以下之一：高级视频编码(AVC)编码器、运动图像专家组(MPEG)-2编码器、或高效率视频编码(HEVC)编码器。

49.根据权利要求41所述的装置，其中，高级量化方法基于包括从所述输入VDR图像确定的一个或多个特性的一个或多个因素被选择。

50.根据权利要求41所述的装置，其中，在接收到所述输入VDR图像之后不进行人工颜色分级。

51.根据权利要求41所述的装置，其中，使用第一图像容器来保存从所述输入BL图像导出的图像数据，并且其中，使用不同的第二图像容器来保存所述输入VDR图像中的图像数据的所述至少一部分。

52.根据权利要求51所述的装置，其中，所述第一图像容器和所述第二图像容器中的至少一个包括颜色空间中的一个或多个通道中的像素值。

53.根据权利要求51所述的装置，其中，从与多个采样方案相关联的多个图像容器选择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案包括4∶4∶4采样方案、4∶2∶2采样方案或4∶2∶0采样方案中的任何一个。

54.根据权利要求41所述的装置，还包括用于将通过一个或多个输入视频信号被表示、接收、发送或存储的一个或多个输入VDR图像转换为通过一个或多个输出视频信号被表示、接收、发送或存储的一个或多个输出VDR图像的部件。

55.根据权利要求41所述的装置，其中，所述一个或多个EL视频信号和所述输入VDR图像中的至少一个包括按以下之一被编码的图像数据：高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间、或RGB颜色空间或YCbCr颜色空间。

56.根据权利要求41所述的装置，还包括：

用于确定用于将所述输入VDR图像处理为BL视频信号和EL视频信号的特定配置文件的部件；和

用于在将所述输入VDR图像处理为BL视频信号和EL视频信号中执行与所述特定配置文件相关的一个或多个操作的部件。

57.根据权利要求41所述的装置，其中，所选择的高级量化方法包括被如下表达的线性拉伸方法：

58.根据权利要求41所述的装置，其中，所选择的高级量化方法包括被如下表达的基于场景的适配方法：

59.根据权利要求41所述的装置，其中，所选择的高级量化方法包括被如下表达的基于逐帧的适配方法：

60.根据权利要求59所述的装置，其中，所述过渡场景包括淡入场景或淡出场景。

61.一种解码装置，包括：

用于基于一个或多个增强层(EL)视频信号来产生输入图像序列中的VDR图像的图像数据的至少一部分的部件；

用于基于基本层(BL)视频信号来产生BL图像的部件，所述BL图像包括通过从用于从包括第一位深的VDR图像生成包括第二位深的基本层图像的一种或多种可用的高级量化方法中选择的特定高级量化方法产生的所述VDR图像的基本层VDR图像数据，所述第二位深低于所述第一位深；和

用于基于所述图像数据的所述至少一部分和所述BL图像来重构所述VDR图像的版本的部件，所述VDR图像的所述版本包括第一位深，

62.根据权利要求61所述的装置，还包括：

用于接收预测元数据的部件，所述预测元数据包括一组映射参数；

用于基于所述预测元数据来确定预测方法的部件；

用于通过将所述预测图像与从所述一个或多个EL视频信号导出的图像数据的所述至少一部分进行组合来重构所述VDR图像的较高位深版本的部件。

63.根据权利要求62所述的装置，其中，所述预测方法对应于所述高级量化方法。

64.根据权利要求62所述的装置，其中，高级量化方法包括以下中的一种或多种：全局量化、线性量化、线性拉伸、基于曲线的量化、概率密度函数(Pdf)优化量化、LLoyd-Max量化、基于分区的量化、感知量化或矢量量化。

65.根据权利要求62所述的装置，其中，通过VDR解码器中的第一8位解码器从所述BL视频信号导出所述BL图像，并且其中，通过所述VDR解码器中的第二8位解码器从所述一个或多个增强层(EL)视频信号导出所述VDR图像中的图像数据的所述至少一部分。

66.根据权利要求65所述的装置，其中，所述第一8位编码器和所述第二8位编码器中的至少一个包括以下之一：高级视频编码(AVC)编码器、运动图像专家组(MPEG)-2编码器、或高效率视频编码(HEVC)编码器。

67.根据权利要求61所述的装置，其中，使用第一图像容器来保存BL图像中的图像数据，并且其中，使用不同的第二图像容器来保存所述VDR图像的图像数据的所述至少一部分。

68.根据权利要求67所述的装置，其中，所述第一图像容器和所述第二图像容器中的至少一个包括颜色空间中的一个或多个通道中的像素值。

69.根据权利要求67所述的装置，其中，从与多个采样方案相关联的多个图像容器选择所述第一图像容器和所述第二图像容器中的至少一个，并且其中，所述多个采样方案至少包括4∶4∶4采样方案、4∶2∶2采样方案、4∶2∶0采样方案或其它采样方案。

70.根据权利要求61所述的装置，还包括用于对通过一个或多个输入视频信号被表示、接收、发送或存储的一个或多个VDR图像进行处理的部件。

71.根据权利要求61所述的装置，其中，所述VDR图像的较高位深版本的至少一部分包括按以下之一被编码的图像数据：高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间、或与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB颜色空间。

72.根据权利要求61所述的装置，还包括：

用于确定与BL视频信号和EL视频信号相关的特定配置文件的部件；和

用于在从BL视频信号和EL视频信号重构所述VDR图像的较高位深版本中执行与所述特定配置文件相关的一个或多个操作的部件。

73.一种编码装置，包括：

用于从用于从包括第一位深的VDR图像生成包括第二位深的基本层图像的一个或多个可用的高级量化方法选择特定高级量化方法的部件，所述第二位深低于所述第一位深；

用于将从所述输入VDR图像导出的图像数据的至少一部分压缩为一个或多个增强层(EL)视频信号的部件，

其中，用于从所述一个或多个可用的高级量化方法选择特定高级量化方法的部件还包括：

用于选择所述输入图像序列中的两个连续输入VDR图像的部件；

用于应用第一适配方法来计算第一组两个相应基本层(BL)图像的部件；

用于应用第二适配方法来计算第二组两个相应BL图像的部件；

用于基于所述第一组BL图像来计算第一组直方图的部件；

用于基于所述第二组BL图像来计算第二组直方图的部件；

用于基于所述第一组直方图来计算第一均方差的部件；

用于基于所述第二组直方图来计算第二均方差的部件；

用于将所述第一均方差与所述第二均方差进行比较的部件；和

用于如果所述第一均方差小于所述第二均方差，则选择所述第一适配方法的部件。

74.根据权利要求73所述的装置，其中，所述第一适配方法是基于逐帧的适配方法，并且所述第二适配方法是基于场景的适配方法。