CN105052143B - 对多层vdr译码中的感知量化的视频内容进行编码 - Google Patents

对多层vdr译码中的感知量化的视频内容进行编码 Download PDF

Info

Publication number
CN105052143B
CN105052143B CN201480018105.8A CN201480018105A CN105052143B CN 105052143 B CN105052143 B CN 105052143B CN 201480018105 A CN201480018105 A CN 201480018105A CN 105052143 B CN105052143 B CN 105052143B
Authority
CN
China
Prior art keywords
mapping
image
value
vdr
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480018105.8A
Other languages
English (en)
Other versions
CN105052143A (zh
Inventor
苏冠铭
陈倩
H·凯普弗
曲晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105052143A publication Critical patent/CN105052143A/zh
Application granted granted Critical
Publication of CN105052143B publication Critical patent/CN105052143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

接收输入VDR图像。从多个候选集合选择用于映射函数的候选函数参数值集合。构造至少一个输入VDR图像中的VDR码字中的标准差为非零的图像块的集合。通过将具有候选函数参数值集合的映射函数应用于所述至少一个输入VDR图像中的所述图像块集合中的VDR码字来产生映射码值。基于映射码值，确定映射码字中的标准差低于阈值的图像块的子集，作为所述图像块集合的子集。至少部分基于所述图像块子集，确定候选函数参数值集合对于映射所述至少一个VDR图像的映射函数是否是最佳的。

Description

对多层VDR译码中的感知量化的视频内容进行编码
相关申请的交叉引用
本申请要求2013年3月26日提交的美国临时专利申请No. 61/805,388和2013年8月2日提交的No.61/861,555的优先权，每篇 申请的全部内容通过引用并入此。
技术领域
本发明总体上涉及图像处理，并且尤其涉及对感知量化的视频进 行编码、解码和表示。
背景技术
多个层可以被用于将视频数据从上游设备(诸如多层视频编码器) 递送到下游设备。例如，视觉动态范围(VDR)视频数据被承载在所 述多个层的基本层和增强层(EL)的组合中以供用于VDR显示器的 观看体验。
BL图像数据可被用从VDR图像推导的低或部分动态范围图像数 据进行编码。在低或部分动态范围图像数据中，从VDR图像映射的 出界码字可以被裁剪到目标表示范围。VDR图像中所表示的文本变化 和图像细节在低或部分动态范围图像数据中可能丢失。
在本部分中描述的方法是可从事的方法，但未必是以前已经构想 或从事的方法。因此，除非另外指出，否则，不应仅凭借包含于本部 分中而认为在本部分中描述的方法中的任一种为现有技术。类似地， 除非另外指出，否则，关于一种或更多种方法识别的问题不应基于本 部分而认为在任何现有技术中已被识别。
附图说明
本发明在附图的图中以举例的方式、而非限制的方式被例示说明， 在附图中，相似的标号指代类似的元件，其中：
图1A例示说明根据本发明的实施例的多层视频编码器；
图1B例示说明根据本发明的实施例的多层视频解码器；
图1C和图1D例示说明根据本发明的实施例实现的解码器中的组 成器单元的定点实现；
图2A和图2B例示说明根据本发明的实施例的搜索最佳映射参数 值的示例算法；
图3A和图3B例示说明根据本发明的实施例的示例处理流程；以 及
图4例示说明在其上可以实现本文中所描述的计算机或计算设备 的示例硬件平台。
具体实施方式
本文中描述了与使用多层编解码器对包括感知量化的基本层图像 数据的可变动态范围图像进行编码、解码和表示相关的示例实施例。 在以下描述中，出于解释的目的，阐述了大量具体的细节以便提供本 发明的透彻理解。然而，很明显本发明可在不具有这些具体细节的情 况下被实现。在其它实例中，众所周知的结构和设备未被详尽地描述， 以避免不必要地掩盖、遮盖或混淆本公开。
在本文中根据以下大纲来描述示例实施例：
1.总体概述
2.对视频内容进行编码和解码
3.基于图像内容分配可用码字
4.多层视频编码
5.多层视频解码
6.BL图像数据中的视觉细节的保留
7.幂函数中的指数值的示例确定
8.包括分段线性量化的线性量化中的参数值的示例确定
9.示例处理流程
10.示例机构——硬件概述
11.等同、扩展、替代和其它
1.总体概述
此概述给出了本发明的实施例的一些方面的基本描述。应指出， 此概述不是该实施例的各方面的广泛或详尽总结。此外，应指出，此 概述不预期被理解为标识该实施例的任何尤其重要的方面或元素，也 不会特别限制示例性实施例的任何范围，也不会在整体上限制本发明。 此概述仅仅以扼要和简化的格式表示涉及示例性实施例的一些概念， 并且应被理解为仅仅是以下示例性实施例的更详细描述的概念性前 序。
在一些实施例中，多层编解码器可以被用于针对多种多样的显示 器(例如，VDR显示器等)产生或处理包括压缩图像(例如，视频图 像)的媒体信号。为了在多种多样的宽动态范围显示器和窄动态范围 显示器上提供优良的视觉质量，可以用实现本文中所描述的感知量化 (PQ)技术的多层编解码器来对将被发布到下游设备的视频内容进行 量化和编码。被下游设备渲染的这样的视频内容表现出与通过其它技 术表现的那些视觉特性极大不同的视觉特性。
如本文中所使用的，术语“多层编解码器”可以指在音频视觉信 号(例如，位流、广播信号、媒体文件等)中实现多层结构的多层编 码器或解码器。所述多个层包括基本层和一个或多个增强层。基本层 和增强层包括从相同的(例如，感知编码的、等等)源图像推导的图 像数据。基本层中的图像数据包含具有低动态范围或部分动态范围的 压缩图像数据，该压缩图像数据可能不能针对在相对较窄的动态范围 (诸如标准动态范围或SDR)的显示器上的渲染进行优化。所述多个 层中的图像数据联合包含宽动态范围的压缩图像，这些压缩图像可以 被解码并且在相对较宽的动态范围(诸如视觉动态范围或VDR)的显 示器上被观看。本文中所使用的术语“VDR”或“视觉动态范围”可 以指比标准动态范围宽的动态范围，并且可以包括但不限于直到人类 视觉在一瞬间可以感知到的瞬间可感知动态范围和色域的宽动态范 围。
本文中所描述的多层编解码器可以在多个层中用两个或更多个低 位深(例如，8位等)编解码器(例如，伽玛域编解码器等)来实现， 以便在整体上支持所述多个层中的高位深(例如，12+位等)图像， 并且支持基本层中的低位深(例如，8位等)图像。例如，一个或多 个伽玛域编码器可以被部署在BL信号处理路径中和/或本文中所描述 的多层编码器的一个或多个EL信号处理路径中。在一些实施例中， 至少一个伽玛域解码器可以被部署在下游设备(其是仅基本层的解码 器)的BL信号处理路径中。
本文中所描述的PQ技术可以被用于使得伽玛域编解码器能够保 留原始的感知编码的视频内容的视觉细节。不是需要在视频编码器侧 的PQ至伽玛格式转换器以及在解码器侧的伽玛至PQ格式转换器， 本文中所描述的技术使得多层编码器、多层解码器、基本层解码器等 中的伽玛域编解码器能够在没有这些格式转换器的情况下直接保留感 知编码的视频内容的视觉细节。在宽动态范围和窄动态范围中都保留 这些视觉细节的感知量化的视频信号可以在不利用PQ至伽玛格式转 换的情况下由多层编码器直接提供给下游设备。类似地，下游设备接 收的感知量化的视频信号可以在不利用伽玛至PQ格式转换的情况下 直接被下游设备解码和/或被用保留的视觉细节渲染。因此，根据本文 中所描述的技术，计算复杂度、译码效率和感知质量都可以得到显著 改善。
实现本文中所描述的技术的编解码器可以被进一步配置为包括充 分利用基本层(BL)图像数据和原始输入图像数据之间的统计冗余的 层间预测能力。EL图像数据可以(可能仅可以)承载残余(或差分) 图像数据，而不是在不利用不同层的图像数据中的相关性和统计冗余 性的情况下承载大量宽动态范围图像数据。
在一些示例实施例中，其它应用(包括但不限于与感知编码操作 无关的那些应用等)所需的数据也可以与基本层和增强层图像数据包 括在一起被从上游设备递送到下游设备。在一些示例实施例中，如本 文中所描述的，附加特征和/或正交特征可以被基本层和增强层支持。
在一些示例实施例中，如本文中所描述的机构形成媒体处理*** 的一部分，所述媒体处理***包括但不限于以下中的任何一个：手持 设备、游戏机、电视、膝上型计算机、上网本计算机、平板计算机、 蜂窝无线电电话、电子书阅读器、销售点终端、台式计算机、计算机 工作站、计算机亭、或各种其它种类的终端和媒体处理单元。
对于文中所描述的优选实施例以及总体原理和特征的各种修改将 对于本领域那些技术人员显而易见。因此，本公开并不局限于所示的 实施例，而是要被给予与文中描述的原理和特征一致的最宽的范围。
2.对视频内容进行编码和解码
如果两个亮度水平彼此的差别不足，则人类视觉可能不能感知到 这两个亮度水平之间的差别。反而，人类视觉只有在亮度水平的差别 不小于最小可觉差(JND)时才感知到差别。由于人类视觉的感知非 线性，各JND的量不是均匀地在亮度水平范围上设定大小和比例，而 是随着不同的单独的亮度水平发生变化。
本文中所描述的技术(例如，算法等)可以被多层编码器用于将 源视频内容编码为多层视频信号，该多层视频信号保留BL图像数据 中的以及BL和EL图像数据的组合中的源视频内容的视觉细节。在 一些实施例中，源视频内容最初基于感知编码技术(例如，由Dolby laboratories,Inc.，San Francisco,California开发的VDR编码技术 等)，用(例如，由VDR规范定义的、等等的)源编码格式的源码 字进行编码。在一些实施例中，源编码格式的源码字表示以如下这样 的方式分布的亮度水平，即亮度水平被最佳地间隔或量化以与人类视 觉的感知非线性匹配。
本文中所描述的多层编码器所产生的多层视频信号可以被直接地 或间接地发送到或者被多种多样的下游设备接收，所述下游设备包括 但不限于以下中的任何一个：具有多层解码器的显示***、具有基本 层解码器的显示***等。
支持相对较宽动态范围显示操作的下游设备(例如，多层解码器 等)可以基于接收的多层视频信号来推导和/或渲染源视频内容的宽动 态范围版本。解码的源视频内容的宽动态范围版本表示逼近源视频内 容中的源码字所表示的亮度水平的目标亮度水平(例如，设备特定亮 度水平等)。
支持相对较窄动态范围显示操作的下游设备(例如，BL解码器 等)可以基于接收的多层视频信号的BL图像数据来推导和/或渲染解 码的具有源视频内容的视觉细节的窄动态范围版本。解码的源视频内 容的窄动态范围版本表示从源视频内容中的源码字所表示的亮度水平 映射的、但是在下游设备所支持的相对较窄的动态范围内的目标亮度 水平(例如，设备特定亮度水平等)。
虽然源视频内容的解码的窄动态范围版本和解码的宽动态范围版 本都表示从源视频内容中的源码字所表示的亮度水平映射的目标亮度 水平(例如，设备特定亮度水平等)，但是与源视频内容中的源码字 所表示的亮度水平相比，源视频内容的解码的窄动态范围版本可能比 源视频内容的解码的宽动态范围版本包括更多的误差(例如，由于相 对较低的位深、低或高亮度水平处的裁剪等而导致的量化误差)。
3.基于图像内容分配可用码字
不使用本文中所描述的技术的视频编解码器以不保留最初感知编 码的源视频内容的视觉细节的方式分配特定位深(例如，8位等)的 码字。例如，包括不使用本文中所描述的技术的伽玛域编解码器的媒 体设备可能会对设备特定动态范围中的高亮度子范围(例如，明亮的 部分、高光等)过多地分配码字，而对设备特定动态范围中的低亮度 子范围(例如，黑暗的部分、黑暗区域等)不足地分配码字。结果， 感知编码的源视频内容的视觉细节在这些其它的技术下不必要地丢 失。
与不使用本文中所描述的技术的视频编解码器相比，根据这些技 术的多层编解码器中的视频编解码器以保留感知编码的源视频内容的 视觉细节的方式分配特定位深(例如，8位等)的可用码字。结果， 与不使用这些技术的其它视频编解码器相比，源视频内容中的感知细 节在本文中所描述的多层编解码器中被更好地保留。
根据本文中所描述的技术，多层编解码器基于源视频内容中的(例 如，场景中的、等等的)图像帧所承载的图像内容来选择/确定特定的 参数值(例如，幂函数中的指数值、线性量化中的斜率、分段线性量 化中的枢轴(pivot)等)。如果图像内容包括更多的高光部分或更多 的亮度水平，则参数值可以被选为/被确定为使更多的在高亮度子范围 中被表示的亮度水平可供用于编码或解码操作。如果图像内容包括更 少的高光部分或更少的亮度水平，则参数值可以被选为/被确定为使更 少的在高亮度子范围中被表示的亮度水平可供用于编码或解码操作。 类似地，如果图像内容包括更多的黑暗部分或更多的亮度水平，则参 数可以被选为/被确定为使更多的在低亮度子范围中被表示的亮度水 平可供用于编码或解码操作。如果图像内容包括更少的黑暗部分或更 少的亮度部分，则参数值可以被选为/被确定为使更少的在低亮度子范 围中被表示的亮度水平可供用于编码或解码操作。
4.多层视频编码
如前面所指出的，包括基本层和一个或多个增强层的多层视频信 号(例如，译码的位流等)可以被上游设备(例如，图1的多层编码 器102)用于将编码的视频内容递送到下游设备(其之一可以例如是 图1B的多层解码器152等)。在一些实施例中，通过多个层递送的 视频内容包括相对较低位深的BL图像数据(例如，图1A、图1B的 106等)和作为BL图像数据的补充的EL图像数据(例如，图1A和 图1B的108等)。BL图像数据(106)和EL图像数据(108)两者 都是从相对较高位深(例如，12+位VDR等)源视频内容(104)推 导/量化的。
在一些实施例中，BL图像数据(106)被放置在基本层容器(例 如，8位YCbCr 4:2:0容器等)中。在一些实施例中，EL图像数据 (108)包括(例如，VDR等)源视频内容(104)的相对于从BL图 像数据(106)产生的预测图像数据的残余图像数据。在一些实施例中， EL图像数据(108)被放置在一个或多个增强层容器(例如，一个或 多个8位残余数据容器等)中。BL图像数据(106)和EL图像数据 (108)可以被下游设备(例如，图1B的152等)接收和用于重构(例 如，VDR等)源视频内容(104)的相对较高位深(例如，12+位等) 的解码版本(例如，感知解码的VDR版本等)。
如本文中所使用的，术语“位深”是指在提供对图像数据进行编 码或量化可用的码字的译码空间中所提供的位数；低位深的例子是8 位；高位深的例子是12位或更多。具体地说，术语“低位深”或“高 位深”不是指码字的最低有效位或最高有效位。
在示例实施例中，多层编码器(102)被配置为接收包括输入VDR 图像序列的(例如，VDR等)源视频内容(104)。输入VDR图像序 列表示一个或多个场景，其中每个场景包括VDR图像序列中的多个 输入图像。如本文中所使用的，“输入VDR图像”一般是指可以被 用于推导源图像(例如，高端图像获取设备所捕捉的场景参考图像等) 的VDR版本的宽或高动态范围图像数据。输入VDR图像可以在支持 高动态范围色域的任何颜色空间中。在一些实施例中，输入VDR图 像是相对于源图像而言的将图像数据提供给VDR图像编码器(102) 进行编码的唯一输入；相对于源图像而言的用于根据本文中所描述的 技术的基本层处理的输入图像数据可以使用感知量化技术、基于输入 VDR图像而产生。
在示例实施例中，从(例如，VDR等)源视频内容(104)解码 的输入VDR图像是YCbCr颜色空间中的12+位YCbCr图像。在例 子中，在输入VDR图像中表示的每个像素包括用于针对颜色空间(例 如，YCbCr颜色空间)定义的所有通道(例如，亮度通道Y、色度通 道Cb和Cr等)的码字。每个码字包括用于颜色空间中的通道中的一 个或多个通道的上采样的或下采样的码字。
在示例实施例中，多层编码器(102)被配置为将输入VDR图像 的码字从第一颜色空间(例如，RGB颜色空间等)变换到第二颜色空 间(例如，YCbCr颜色空间等)。
在示例实施例中，多层编码器(102)被配置为将第一采样格式(例 如，4:4:4采样格式等)的输入VDR图像下采样或上采样为不同的第 二采样格式(例如，4:2:0采样格式等)。
在示例实施例中，多层编码器(102)被配置为对源视频内容(104) 执行与感知量化相关的操作以产生(例如，8位等)BL图像数据(196)。 与感知量化相关的操作包括但不限于以下中的一个或多个：映射操作 (114)、裁剪操作(116)、BL编码操作(118)等。
在映射操作(114)中，多层编码器(102)被配置为使用映射函 数来将(例如，VDR等)源视频内容(104)中的一个或多个输入VDR 图像中的(例如，12位+等)输入VDR码字(例如，VDR亮度码字 vY、VDR色度码字vC等)映射到与该一个或多个VDR图像对应的一 个或多个映射图像中的映射码字(例如，映射亮度码字cY、映射色度 码字cC等)。
在裁剪操作(116)中，多层编码器(102)被配置为对低于最小 值或高于最大值的映射码字进行裁剪。BL图像数据(106)的位深的 可用码字的数量(例如，位深为8位时<＝256，等等)可能没有大得 足以容纳未裁剪的映射码字的整个数值范围。因此，一个或多个映射 图像中的最高映射码字和/或最低映射码字中的一些可以在裁剪操作 (116)中被裁剪到最大值和/或最小值。多层编码器(102)被配置为 基于一个或多个映射图像和一个或多个因素确定/选择最佳的最小值 和最大值。所述一个或多个因素包括但不限于：最小化需要被裁剪的 映射码字的数量、最大化在裁剪操作之后的所述一个或多个映射图像 的一个或多个(例如，突出、中央等)部分的表示的/感知的细节等等。
在BL编码操作(118)中，多层编码器(102)被配置为确定多 层编码器(102)中的BL编解码器将源码字(例如，vY等)映射到颜 色空间(例如，YCbCr颜色空间等)的特定通道(例如，亮度通道或 Y通道等)中的对应的映射码字(例如，cY等)所使用的幂函数的最 佳指数值。在一些实施例中，多层编码器(102)被配置为确定BL编 解码器将源码字(例如，vC等)映射到颜色空间(例如，YCbCr颜色 空间等)的特定通道(例如，色度通道或Cb/Cr通道等)中的对应的 映射码字(例如，cC等)所使用的分段线性(PWL)映射函数的参数 值。
在BL编码操作(118)中，多层编码器(102)被配置为基于幂 函数的指数值和/或PWL映射函数的参数值来将从源视频内容(104) 解码的源码字映射/压缩到映射码字并且格式化映射码字。映射码字中 的一些被裁剪。映射码字中的一些或全部包含由将高位深VDR码字 映射到低位深映射码字引起的量化误差。多层编码器(102)被进一步 配置为将(例如，8位等)BL图像数据(106)格式化到(例如，4:2:0 等)采样格式的一个或多个(例如，8位等)BL图像容器中。
在示例实施例中，多层编码器(102)将BL图像容器中的BL图 像数据(106)作为多层视频信号的一部分输出到下游设备(例如，图 1B的多层解码器152等)。
在示例实施例中，多层编码器(102)被配置为执行一个或多个 EL操作。所述一个或多个EL操作包括但不限于以下中的任何一个： BL解码操作(120)、逆映射操作(122)、减法运算(124)、非线 性量化操作(126)、EL编码操作(128)等。
在BL解码操作(120)中，多层编码器(102)被配置为将(例 如，8位等)BL图像容器中的(例如，8位等)BL图像数据(106) 解码回与所述一个或多个输入VDR图像对应的一个或多个映射图像 中的映射码字。
在逆映射操作(122)中，多层编码器(102)被配置为基于一个 或多个查找表(LUT)将映射码字逆映射到VDR码字。用于逆映射 的LUT可以从具有先前确定的指数值的幂函数和/或具有先前确定的 参数值的PWL映射函数被解析地或数值地推导。
在一些实施例中，这些LUT中的一些或全部包括查找关键字(例 如，映射码字等)和与查找关键字对应的查找值(例如，VDR码字等)。 例如，仅仅为了例示说明的目的，可以通过将si＝[0,1,2,…255]代入以 下表达式来构造可以被用于将映射码字逆映射到VDR码字的逆1D LUT：
其中cL和cH分别是在映射操作和/或裁剪操作中确定的、亮度通道中 的映射码字的最小值和最大值；vL和vH分别是在映射操作和/或裁剪 操作中确定的、亮度通道中的VDR码字的最小值和最大值；clip(…) 是确保有损压缩(例如，可能BL编码操作等中发生)之后的任何超 出范围(例如，超出范围[cL,cH]等)的码字仍然可以被逆映射到最接 近的有效的VDR码字的裁剪函数。
其它类型的LUT(例如，基于PWL等)也可被以类似的方式数 值地构造。本文中所描述的每个LUT均可以被用于将从BL图像数据 (106)解码的映射码字逆映射到适用颜色空间的一个或多个特定通道 中的对应的VDR码字。
在一些实施例中，多层编码器(102)被配置为实现BL至EL预 测(例如，帧内和/或帧间预测等)以便减少用于由下游设备(例如， 图1B的多层解码器152等)构造VDR图像的在EL层中承载的EL 图像数据的量。多层编码器(102)可以至少部分基于通过逆映射操作(122)获得的VDR码字来产生预测图像数据。
在减法运算(124)中，多层编码器(102)被配置为产生从源视 频内容(104)解码的VDR码字和预测图像数据中所表示的VDR码 字之间的残差值。特定通道(例如，亮度通道、Y通道等)中的残差 值可以是对数域或线性域中的减法运算(124)所生成的差值。
在非线性量化操作(126)中，多层编码器(102)被配置为使用 一个或多个NLQ参数在颜色空间(例如，YCbCr等)中将第一数字 表示(例如，12+位等)的残差值量化为第二数字表示(例如，8位等)。
在EL编码操作(128)中，多层编码器(102)被配置为将通过 非线性量化操作产生的(例如，8位等)残差值编码为(例如，4:2:0 等)采样格式的(例如，8位等)EL图像容器中的EL图像数据(108)。 增强层中的EL图像容器可以与基本层中的BL图像容器在逻辑上分 离，即使两个图像容器可以同时被包含在单个数字视频信号(例如， 单个译码的位流、单个媒体文件、单个广播等)中仍如此。
在示例实施例中，多层编码器(102)将EL图像容器中的EL图 像数据(108)作为多层视频信号的一部分输出到下游设备(例如，图 1B的多层解码器152等)。
在示例实施例中，多层编码器(102)将包括在多层编码器(102) 的操作中使用的操作参数中的一些或全部的元数据(130)作为多层视 频信号的一部分输出到下游设备(例如，图1B的多层解码器152等)。 发送到下游设备的元数据(130)中的操作参数包括但不限于以下中的 任何一个：映射参数、裁剪参数、在用于伽玛压缩的幂函数中使用的 指数值、逆映射参数、LUT、PWL函数中的枢轴点值、非线性量化参 数等中的一个或多个，例如，映射参数(134)和NLQ参数(132) 等。元数据(130)可以是承载在EL层和/或BL层中的数据的一部分， 或者是承载在整个视频位流的单独的子位流中的数据的一部分，例如， 作为视频位流中可用的补充增强信息(SEI)或其它类似的元数据载 体的一部分。示例子位流可以是由Dolby Laboratories,Inc.开发的参 考处理单元(RPU)流。
例如，在逆映射操作(122)中使用的LUT可以作为元数据(130) 的一部分被发送到下游设备。在一些实施例中，LUT中的查找关键字 和与这些查找关键字对应的值作为元数据(130)的一部分被发送到下 游设备。在一些实施例中，至少一个LUT可以可用解析函数或多段解 析函数表示。不是将LUT中的查找关键字和与这些查找关键字对应的 值发送到下游设备，而是将定义解析函数的参数作为元数据(130)的 一部分发送到下游设备，以便减少发送中的元数据(130)的量。在一 些实施例中，用于数值地推导LUT的映射函数的参数作为元数据 (130)的一部分被发送到下游设备，而不是发送LUT中的查找关键 字和与这些查找关键字对应的值。下游设备可以如用表达式(1)所示的 那样使用参数来推导LUT。管控编码和解码操作的视频编解码器规范 可以包括将本文中描述的参数中的一个或多个从上游设备(例如，多 层编码器102等)传递到下游设备(例如，多层解码器152等)的语 法元素。
EL图像数据(108)、BL图像数据(106)和元数据可以被下游 设备用于产生相对较宽的动态范围(例如，VDR、HDR等)的图像 的解码版本，该解码版本表示源视频内容(104)中的相对较宽的动态 范围的输入图像。
诸如BL编码操作(118)、BL解码操作(120)、EL编码操作 (128)等的操作中的一个或多个可以使用多个编解码器中的一个或多 个来实现，所述多个编解码器包括但不限于以下的任何组合： H.264/AVC/HEVC、MPEG-2、VP8、VC-1和/或其它编解码器。
5.多层视频解码
包括视频内容的多层视频信号(例如，译码的位流等)可以被多 层解码器(例如，图1B的152等)接收。在一些实施例中，多层解 码器(152)接收的视频内容包括相对较低位深的BL图像数据(例如， 图1A、图1B的106等)以及EL图像数据(例如，图1A和图1B的 108等)。在一些实施例中，BL图像数据(106)和EL图像数据(108) 都是从相对较高位深(例如，12+位VDR等)源视频内容(例如，图 1A的104等)推导/量化的。在一些实施例中，多层解码器(152)被 配置为接收作为多层视频信号的一部分的元数据(130)，其包括在产 生BL图像数据(106)和EL图像数据(108)的操作中使用的操作 参数中的一些或全部。
在一些实施例中，BL图像数据(106)被放置在基本层容器(例 如，8位YCbCr 4:2:0容器等)中。在一些实施例中，EL图像数据 (108)包括(例如，VDR等)源视频内容(104)的相对于从BL图 像数据(106)产生的预测图像数据的残差图像数据。在一些实施例中， EL图像数据(108)被放置在一个或多个增强层容器(例如，一个或 多个8位残差数据容器等)中。
在示例实施例中，多层解码器(152)被配置为对BL图像数据 (106)和EL图像数据(108)执行基于PQ的解码操作以产生一个 或多个宽动态范围(例如，VDR等)的图像，这些图像表示用于产生 多层视频信号的源视频内容中的源图像的重构版本(例如，重构的 BL+EL视频内容166等)。基于PQ的解码操作包括但不限于以下中 的一个或多个：BL解码操作(160)、逆映射操作(162)、EL解码 操作(154)、非线性去量化操作(156)、加法运算(158)等。
在BL解码操作(160)中，多层解码器(152)被配置为将(例 如，8位等)BL图像容器中的(例如，8位等)BL图像数据(106) 解码为一个或更多个映射图像(例如，色调映射图像)中的映射码字。
在逆映射操作(162)中，多层解码器(152)被配置为基于从元 数据(130)解码的一个或多个查找表(LUT)将映射码字逆映射到 VDR码字。在一些实施例中，多层解码器(152)被配置为依据查找 关键字和与这些查找关键字对应的值直接接收元数据(130)中的 LUT。在一些实施例中，多层解码器(152)被配置为接收与一个或多 个功能相关的参数值，诸如一个或多个指数值、枢轴点相关值等，并 且使用这些参数值和所述一个或多个功能来(例如，数值地、等等地) 产生应用于逆映射操作(162)中的一个或多个LUT(例如，查找关 键字和与这些查找关键字对应的值等)。
在EL解码操作(154)中，多层编码器(152)被配置为通过对 EL图像数据(108)进行解码来产生(例如，8位等)残差值，EL图 像数据(108)可以在(例如，4:2:0等)采样格式的(例如，8位等) EL图像容器中。
在非线性去量化操作(156)中，多层解码器(152)被配置为使 用从元数据(130)解码的一个或多个NLQ参数来将解码的用相对较 低位深的数字表示(例如，8位等)的残差值去量化为(例如，YCbCr 等)颜色空间中的相对较高位深的数字表示(例如，12+位等)。
在加法运算(158)中，多层解码器(152)被配置为基于在EL 解码操作(154)中产生的残差值以及在逆映射操作(162)中产生的 VDR码字来产生一个或多个宽动态范围图像的重构版本。所述一个或 多个宽动态范围图像的重构版本可以例如通过与多层解码器(152)一 起操作或者包括多层解码器(152)的(例如，HDR、VDR等)显示 ***而被输出到显示面板和/或被渲染在显示面板上。
在一些实施例中，多层解码器(152)被配置为实现BL至EL预 测(例如，帧内和/或帧间预测等)以便减少供多层解码器(152)重 构VDR图像所需的EL层中承载的EL图像数据的量。多层解码器 (152)可以至少部分基于通过逆映射操作(122)获得的VDR码字 来产生包括将用在加法运算(158)中的VDR码字的预测图像数据。
在一些实施例中，多层解码器(152)的逆映射操作(162)或BL 解码操作(160)中所使用的部件或模块可以与多层编码器(102)的 逆映射操作(120)或BL解码操作(118)中所使用的那些部件或模 块相同或基本上相同。
多层解码器(152)执行的操作中的一个或多个可以使用多个编解 码器中的一个或多个来实现，所述多个编解码器包括但不限于以下的 任何组合：H.264/AVC/HEVC、MPEG-2、VP8、VC-1和/或其它编解 码器。
在一些实施例中，非线性去量化器(156)、逆映射(162)和加 法器(158)可以是组合器(composer)单元(163)的一部分。不作 为限制地，在实施例中，组合器单元(163)可以使用在处理器上运行 的处理器可读指令、或者使用专用硬件(诸如FPGA等)、或者使用 通用处理器和专用处理器的组合来实现。
图1C描绘了根据本发明的实施例的使用定点算法实现的“Base Profile(基本概要)”组合器(163)的数据流。给定预测系数ai、bi和ci、逆量化器参数s、m、rmax和t、其它元数据参数(诸如枢轴点值 xi)以及输入数据xBL和xEL，组合器操作可以被表达为：
图1D描绘了根据本发明的另一个实施例的使用定点算法实现的 “Main Profile(主概要)”组合器(163)的数据流程。在图1D中， xBL[0]表示亮度通道采样，而xBL[1]和xBL[2]表示色度通道采样。对于 xBL[0]，如图1C所描绘的，可以使用具有系数ai、bi和ci的二次多项 式来执行预测。对于色度采样，预测可以是基于二次多项式，或者如 在2012年4月13日提交的序号为PCT/US2012/033605的PCT申请 中所描述的，它可以基于多颜色通道多元回归预测器(MMR)，该 申请的全部内容通过引用并入本文。
图1D中所描绘的EL逆量化步骤可以与图1C中更详细地描绘 的使用参数(s、m、t和rmax)的EL逆量化步骤相同。如果对应的标 志(例如，el_spatial_resampling_filter_flag)被设置为1，则固定系 数空间上采样在使用中。在实施例中，2×2上采样滤波器与8抽头水 平滤波器和6抽头垂直滤波器一起使用。还指出，EL空间上采样和 BL空间上采样是互相排斥的。
6.BL图像数据中的视觉细节的保留
为了例示说明的目的，在映射操作(114)、裁剪操作(116)或 BL编码操作(118)等中的一个或多个中，多层编码器(102)被配 置为使用具有指数值(α)的幂函数作为映射函数来将从源视频内容 (104)解码的VDR亮度码字映射到映射亮度码字，这些映射亮度码 字可以被量化并且被编码到BL图像数据(106)中。幂函数可以用以 下表达式表示：
当指数值(α，其可以与表达式(1)中的α相同)是一(1)时， 以上幂函数简化为线性量化映射。当可用位率高时，指数值可能可以 被设置在相对较大的范围内，因为在高位率下块状伪像不太可能发生。 当可用位率低时，指数值可能可以被设置在相对较小的范围内，因为 块状伪像在低位率下发生的可能性更大。高指数值使映射函数对于高 亮度水平分配的码字比对于低亮度水平分配的码字多，并且可以使得 BL图像数据(106)能够在具有更少压缩伪像的情况下包含重构图像 的高光部分中的更多细节。然而，高指数值也趋向于将不同的(例如， VDR等)源码字合并到重构图像的黑暗部分中的相同的或非常接近的 压缩码字中。在最坏的情况下，源视频内容中的非平坦的黑暗部分(例 如，其中亮度变化是可感知的、等等)在重构图像中变得完全平坦(例 如，其中亮度变化接近于0或者低于人类视觉的最小可觉差、等等)， 导致非常突出的块状伪像。
为了帮助防止块状伪像，如本文中所描述的多层编码器(例如， 102)可以被配置有指数值不应超过的上边界MAX_α。在一些实施例 中，该上边界可以根据什么位率可供接收如本文中所描述的多层视频 信号使用来被配置/设置/确定。多层编码器(例如，102)被配置为基 于源视频内容来确定受上边界约束的最佳指数值。
在一些实施例中，总体最佳的指数值可以针对整个场景、针对多 个输入VDR图像等被选择。对于每个输入VDR图像，可以首先基于 该输入VDR图像来确定图像特定的最佳指数值。然后，可以从用于 场景中的一个或多个输入VDR图像的一个或多个图像特定的最佳指 数值选择对于该场景的总体最佳的指数值(例如，最小指数值等)。
在一些实施例中，可以将输入VDR图像划分为多个VDR图像块。 图像块的码字之间的标准差是图像块中的纹理的相应量的指示。如本 文中所描述的非零标准差可替代地可以用以下中的一个表示或确定： 非零最大-最小差(例如，图像块中的最大值和最小值之间的差值等)、 非零方差、平滑度测量值(这些中的每个均对应于非零标准差或非零 方差)等。相反，如本文中所描述的零标准差可替代地可以用以下中 的一个表示或确定：零最大-最小差值、零方差、平滑度测量值(这些 中的每个均对应于零标准差或零方差)等。当具有非零标准差的VDR 图像块被映射到对应的包括零或非常小的标准差(例如，JND的一小 部分等)的映射码字的映射图像块时，映射诱发的块状伪像发生。在 一些实施例中，图像块(例如，VDR图像块、映射图像块等)中的非 零标准差的确定等同于或者简化为该图像块中的最大值和最小值之间 的非零差值的确定。同样地，图像块(例如，VDR图像块、映射图像块等)中的零标准差的确定等同于或者简化为最大值和最小值之间的 零差值的确定。这里，映射图像块捕捉可能没有针对在SDR显示器上 观看被优化的压缩图像数据。
7.幂函数中的指数值的示例确定
在一些实施例中，在映射操作(114)、裁剪操作(116)或BL 解码操作(118)等中的一个或多个中，多层编码器(102)被配置为 使用幂函数来将从源视频内容(104)解码的VDR码字(例如，VDR 亮度码字等)映射到映射码字(例如，映射亮度码字等)，这些映射 码字可以被量化并且被编码为BL图像数据(106)的一部分。在一些 实施例中，如图2A所示，多层编码器(例如，102)实现找出幂映射 函数的最佳指数值α的快速搜索算法或处理流程。
在方框202中，多层编码器(102)如下执行初始化操作。对于场 景中的F个输入VDR图像的集合中的每个输入VDR图像j，多层编 码器(102)将最佳指数值αopt[j]初始化为1.0。多层编码器(102)还 将场景中的F个输入VDR图像的集合中的每个输入VDR图像划分为 N个图像块。多层编码器(102)进一步将j设为起始值，例如，0。
在方框204中，多层编码器(102)确定是否j小于F。如果是真 的，则处理流程进入方框206。如果不是，处理流程进入方框220。
在方框206中，对于输入VDR图像j中的每个图像块n，多层编 码器(102)计算该图像块中的最大和最小亮度值B(j,n)和A(j,n)。基 于以下表达式来构造输入VDR图像j中的具有非零标准差的图像块集 合Фj：
Φj＝{n|B(j，n)-A(j，n)＞0} (3)
此外，多层编码器(102)将局部变量αj初始化为初始值，例如， 0。
在方框208中，多层编码器(102)确定αj是否小于MAX_α。如 果是真的，处理流程进入方框210。如果是假的，处理流程进入方框 218。
在方框210中，对于集合Фj中的每个图像块n，多层编码器(102) 基于具有指数值αj的幂函数来将该块中的VDR码字(例如，VDR亮 度码字等)映射到对应的映射图像块中的映射码字(例如，映射亮度 码字等)，并且如以下表达式中所示的，计算从集合Фj推导的映射图 像块集合中的映射图像块中的最大值b(j,n)和最小值a(j,n)：
随后，多层编码器(102)如以下表达式中所示的那样确定其标准 差大于阈值Tσ的映射图像块的总数：
其中Tσ可以被设置为以下中的一个：零(0)、接近于零的值、JND 的分数、映射操作中的量化误差的上边界等。
在方框212中，多层编码器(102)确定具有非零标准差的映射图 像块的总数是否等于集合Фj中的元素的总数。如果是真的，处理流程 进入方框214。如果是假的，处理进入方框218。
在方框214中，多层编码器(102)将αopt[j]设置为αj。
在方框216中，多层编码器(102)将αj增加一个正增量，例如， 0.1。处理流程进入方框208。
在方框218中，多层编码器(102)将j加1。处理流程进入方框 204。
在方框220中，多层编码器(102)选择αopt[j](其中j从0至(F-1)) 中的一个，作为用于场景中的F个输入VDR图像的集合的总体最佳 的指数值。
在一些实施例中，如以下表达式中所示的，总体最佳的指数值被 选为αopt[j](其中j从0至(F-1))之中的最小值：
α＝min{αopt[j]} (7)
使用具有如表达式(7)所示的总体最佳的指数值的幂映射函数防 止或降低映射诱发的完全平坦的图像块在从F个输入VDR图像的集 合映射的所有图像中出现的可能性。
在一些其它的实施例中，总体最佳的指数值可以是接近于、但不 必是αopt[j](其中j从0至(F-1))之中的最小值的值。使用具有不 是最小值的总体最佳的指数值的幂映射函数仍然可能使得一个或多个 映射诱发的完全平坦的图像块在从F个输入VDR图像的集合映射的 图像中的一个或多个中出现。
以下表中示出了用于图2A中所示的操作的示例算法列表：
8.包括分段线性量化的线性量化中的参数值的示例确定
在一些实施例中，在映射操作(114)、裁剪操作(116)或BL 解码操作(118)等中的一个或多个中，多层编码器(102)被配置为 使用PWL映射函数(或PWL量化器)来将从源视频内容(104)解 码的VDR码字(例如，VDR色度码字等)映射到映射码字(例如， 映射色度码字等)，这些映射码字可以被量化并且可以被编码为BL 图像数据(106)的一部分。PWL映射函数可以包括一个或多个分段， 其中每个分段可以用以下表达式表示(这里忽视四舍五入)，其中参 数m和b具有不同的值：
si＝m(vi-vL)+b (8)
其中m和b是斜率和截距参数，i是与输入变量vi(例如，第i VDR 色度码字等)和映射码字si(例如，对应的第i映射色度码字等)相 关联的索引。
当PWL映射函数中的分段的总数是一(1)时，PWL映射函数 可以简化为线性映射函数(例如，线性量化、线性量化器等)。
表达式(8)中的m越高，在表达式(8)的左手侧的映射码字中 生成的压缩越大，使得块状伪像更有可能发生。为了提高译码效率， 最终选择的m和b在整个场景内可以是相同的。在一些实施例中，单 段或三段PWL映射函数可以被用于将VDR码字(例如，VDR色度 码字等)映射到场景中的映射码字(例如，映射色度码字等)。
多段PWL映射函数(例如，三段PWL映射函数等)的使用使得 不同的线性量化器(例如，不同的m值、等等)可以被应用于输入 VDR数据(例如，输入VDR色度码字等)的不同范围。输入VDR 数据的第一色度范围可被以PWL映射函数的第一分段映射。输入 VDR数据的第二色度范围可被以PWL映射函数的第二分段映射。输 入VDR数据的第三色度范围可被以PWL映射函数的第三分段映射。 对于多个分段中的每个分段，可以搜索并确定最佳的线性量化器。可 以实现对于场景中的输入VDR图像集合中的每个输入VDR图像搜索 图像特定的最佳参数值的算法，然后可以在同一场景内的输入VDR 图像的所有图像特定的最佳参数值之中找到一致的或者总体最佳的参 数值。
如本文中所描述的PWL映射函数可以用枢轴点指定。在一些实 施例中，如图2B所示，多层编码器(例如，102)实现找出最佳的枢 轴点集合的快速搜索算法或处理流程。
在方框252中，多层编码器(102)执行如下的初始化操作。对于 场景中的F个输入VDR图像的集合中的每个输入VDR图像j，多层 编码器(102)将斜率缩放因子wopt[j]初始化为1.0。多层编码器(102) 可以被配置为，将F个输入VDR图像的集合中的每个输入VDR图像划分为N个图像块，或者在已经被用于搜索最佳的α的处理流程中再 次使用在场景中的F个输入VDR图像的集合中的每个输入VDR图像 中划分的N个图像块。多层编码器(102)进一步将j设置为起始值， 例如，0。
在方框254中，多层编码器(102)确定j是否小于F。如果是真 的，处理流程进入方框256。如果是假的，处理流程进入方框270。
在方框256中，对于输入VDR图像j中的每个图像块n，多层编 码器(102)计算该图像块中的最大值D(j,n)、最小值E(j,n)和平均值 μ(j,n)(例如，在VDR色度码字中、等等)。多层编码器(102)还基 于以下表达式(在本文中是针对8位基本层例示说明的。如果它是10位基本层，则示例裁剪函数可以是clip(x,0,1023))来计算与该图像块 中的最大值D(j,n)和最小值E(j,n)对应的映射值djn(wj)、ejn(wj)(例 如，映射色度码字等)：
其中和是最大映射亮度码字值、最小映射 亮度码字值、最大输入VDR亮度码字值、最小输入VDR亮度码字值、 最大输入VDR色度码字值、最小输入VDR色度码字值以及以上表达 式(10)和(11)所表示的线性关系中的参数。多层编码器(102)基 于以下表达式来构造在输入VDR图像j中具有非零标准差、而在对应 的映射色度码字值中具有零标准差的图像块集合Kj：
Kj＝{i|(D(j，n)-E(j，n)＞0)&&(djn(wj)-ejn(wj)＝0)} (12)
在方框258中，多层编码器(102)确定集合Kj是否是空的。如 果是真的，处理流程进入方框276。如果是假的，处理流程进入方框 260。
在方框276中，多层编码器(102)被配置为对于输入VDR图像 j使用单段线性量化器，并且用以下表达式设置参数：
在方框260中，多层编码器(102)在以下表达式中找到集合Kj中的平均值的最小值和最大值：
平均值的最小值和最大值(μmin(j)和μmax(j))可以被用于将和之间的输入VDR色度码字值的整个范围分割为三个分段： [μmin(j),μmax(j)]和
应指出，使用表达式(18)和(19)来对输入VDR色度码字值 产生分区仅仅是为了例示说明的目的。在其它实施例中，可以例如通 过从场景中的输入图像集合的平均、最大或最小输入色度码字值产生 更多的或更少的分区来使用更多的或更少的值(例如，这些值中的任 何两个值之间的中间点和/或小数点、等等)或分段。
应指出，为了本发明的目的，输入图像集合可以包括可变数量的 输入图像，和/或可以或者可以不与场景相关。例如，图2A和图2B 的处理流程可以对属于场景的子集的输入图像集合执行。另外，在其 它实施例中，图2A和图2B的处理流程可以对不属于单个场景的输入 图像集合执行。
在方框260中，多层编码器(102)还可以被配置为基于以下表达 式来构造三个图像块集合和
如所示的，表示PWL映射函数的中间分段中的VDR图像块，这 些VDR图像块在VDR色度值中具有非零标准差，而在映射色度值中 具有零标准差，其中斜率缩放因子wj被设置为1.0。表示PWL映 射函数的低分段中的VDR图像块，这些VDR图像块在VDR色度值中具有非零标准差。表示PWL映射函数的高分段中的VDR图像 块，这些VDR图像块在VDR色度值中具有非零标准差。
在方框262中，多层编码器(102)被配置为如以下表达式所示的 那样设立将用于集合的斜率缩放因子wj的候选值的阵列ΩL：
ΩL＝(1，1-Δw，1-2Δw，...，1-(SL-1)Δw} (23)
其中Δw是可配置的或固定的减量值，SL是ΩL中的阵列元素的可配置 的或固定的数量。
对于0和SL之间的每个整数值中的局部变量s，多层编码器(102) 使用表达式(10)和(11)来计算或重新计算与中的具有n的每个 图像块的最大色度值D(j,n)和最小色度值E(j,n)对应的映射色度值 djn(wj)和ejn(wj)，其中，如以下表达式所示，将用于集合的斜率缩放 因子wj被设置为ΩL中的候选值：
wj＝ΩL[s] (24)
此外，对于0和SL之间的每个整数值中的s，多层编码器(102) 如以下表达式所示的那样计算量πL(s)，其将中的元素的数量(被表 示为)与其在映射色度值中的标准差高于阈值T的图像块的数量 进行比较：
基于πL(s)，可以用以下表达式推导PWL映射函数的低分段的最 佳斜率缩放因子
其中被如下给出：
如以上所讨论的处理可以被用于推导用于PWL映射函数的零个、 一个、两个或更多个其它分段的零个、一个、两个或更多个其它的优 化缩放因子。例如，在方框264中，多层编码器(102)被配置为如以 下表达式所示的那样设立将用于集合的斜率缩放因子wj的候选值 的阵列ΩM：
ΩM＝{1，1+Δw，1+2Δw，...，1+(SM-1)Δw} (28)
其中Δw是可配置的或固定的减量值，SM是ΩM中的阵列元素的可配置 的或固定的数量。
对于0和SM之间的每个整数值中的局部变量s，多层编码器(102) 使用表达式(10)和(11)来计算或重新计算与中的具有n的每个 图像块的最大色度值D(j,n)和最小色度值E(j,n)对应的映射色度值 djn(wj)和ejn(wj)，其中，如以下表达式所示，将用于集合的斜率缩放 因子wj被设置为ΩM中的候选值：
wj＝ΩM[s] (29)
此外，对于0和SM之间的每个整数值中的s，多层编码器(102) 如以下表达式所示的那样计算量πM(s)，其将中的元素的数量(被 表示为)与其在映射色度值中的标准差高于阈值T的图像块的数 量进行比较：
基于πM(s)，可以用以下表达式推导PWL映射函数的中间段的最 佳斜率缩放因子
其中被如下给出：
在方框266中，多层编码器(102)被配置为如以下表达式所示的 那样设立将用于集合的斜率缩放因子wj的候选值的阵列ΩH：
ΩH＝{1，1-Δw，1-2Δw，...，1-(SH-1)Δw} (33)
其中Δw是可配置的或固定的减量值，SH是ΩH中的阵列元素的可配置 的或固定的数量。
对于0和SH之间的每个整数值中的局部变量s，多层编码器(102) 使用表达式(10)和(11)来计算或重新计算与中的具有n的每个 图像块的最大色度值D(j,n)和最小色度值E(j,n)对应的映射色度值 djn(wj)和ejn(wj)，其中，如以下表达式所示，将用于集合的斜率缩放 因子wj被设置为ΩH中的候选值：
wj＝ΩH[s] (34)
此外，对于0和SH之间的每个整数值中的s，多层编码器(102) 如以下表达式所示的那样计算量πH(s)，其将中的元素的数量(被 表示为)与其在映射色度值中的标准差高于阈值T的图像块的数 量进行比较：
基于πH(s)，可以用以下表达式推导PWL映射函数的高分段的最 佳斜率缩放因子
其中被如下给出：
在方框268中，多层编码器(102)将j加1。处理流程进入方 框254。
在方框270中，多层编码器(102)如以下表达式所示的那样产生 将用于限定PWL映射函数的枢轴的坐标的优化参数集合：
在方框272中，基于优化参数集合，多层编码器(102)如以下表 达式所示的那样产生用于PWL映射函数的全部枢轴(例如，四个枢 轴)的坐标：
pivot_x[]＝{vL C，μmin，μmax，vH C} (43)
pivot_y[0]＝0 (44)
其中pivot_x[]和pivot_y[]是分别表示四个枢轴的x坐标和y坐标的两 个阵列。
在方框274中，多层编码器(102)被配置为确定容纳PWL映射 函数的y坐标值所需的码字的总数是否超过用于对BL图像数据进行 编码的代码空间中的可用码字的总数(例如，255等)。例如，多层 编码器(102)可以被配置为确定pivot_y[3]是否大于可用码字的总数 (例如，255等)。如果情况如此，则对于0和3之间的每个值中的 局部变量n，多层编码器(102)可以被配置为用以下表达式压缩PWL 映射函数的y坐标：
pivot_y[n]＝clip3(round(pivot_y[n]*255/(pivot_y[3]-pivot_y[0]))，0，255)
(48)
以下表中示出了用于图2B所示的操作的示例算法列表：
表2
在一些示例实施例中，线性或非线性量化器中的一个或多个可以 被用于将高位深(例如，12+位等)图像数据量化为低位深(例如，8 位等)图像数据。不同颜色空间中的和/或不同颜色通道中的不同量化 器可以被选择。例如，为了缓解/减少/移除轮廓伪像(例如，在平滑 区域中等等)和其它伪像，可以在不同的颜色空间中和/或用不同的量 化方法对视频信号进行量化。在一些实施例中，如本文中所描述的量 化可以包括以下中的一个或多个：线性量化、线性拉伸、基于曲线的/ 非均匀量化概率-密度-函数(Pdf)优化的量化、矢量量化等。总体优 化的参数值可以基于以下中的任何一个被选择：帧、多个帧、场景、 多个场景等。在一些实施例中，特定类型的量化可以与一种或多种类 型的预测方法和/或逆映射具有对应关系。
量化可以基于单个的通道或者同时基于两个或更多个通道执行。 在示例实施例中，矢量量化可以跨两个或更多个颜色通道执行。例如， 可以通过使用颜色空间中的颜色通道作为轴来设立坐标系(例如，3D 笛卡尔等)。可以在该坐标系中执行诸如旋转的空间变换以创建按照 颜色空间中的两个或更多个颜色通道的组合(或投影的和)限定的新 轴。被投影以形成新轴中的一个新轴的两个或更多个颜色通道中的码 字可以被量化器在新轴中的所述一个新轴上一起量化。
在一些实施例中，特定的量化方法可以基于在如下情况的同时它 可以何种程度压缩输出的多层VDR图像数据而被选择，即在VDR解 码器侧通过压缩输出的VDR图像数据保持高感知质量。
在一些实施例中，特定的量化方法和/或最佳参数值可以被选为补 偿编解码器的弱点。例如，编解码器可能在压缩黑色区域方面效果不 是很好，并且可能甚至在重构的VDR图像中输出轮廓伪像。如本文 中所描述的量化可以使用特定曲线(例如，Sigmoid曲线、mu-law、 基于人类感知的曲线等)来产生在重构的VDR图像中可见轮廓伪像 较少的图像数据。
根据如本文中所描述的技术的多层编码器可以采取输入VDR图 像数据作为将被多层编码器处理的图像内容的唯一输入。在输入VDR 图像数据可以被提供给增强层数据处理的同时，感知量化(其可以即 时执行(例如，以与输入VDR被输入到VDR编码器中的线速相同的 线速、等等))可以被用于对于如本文中所描述的基本层数据处理产 生输入图像数据。
如本文中所描述的量化可以以一种或多种不同的方式执行。量化 可以执行全局量化，在全局量化中，使用单个设置对整个帧或整个场 景进行量化。量化还可以执行基于分区的(局部)量化，在该量化中， 将每个帧分割为多个不重叠区域，并且使用每个不重叠区域自己的设 置来对该区域进行量化。量化可以执行基于分区的(局部)量化，在 该量化中，将每个帧分割为多个不重叠区域，并且使用每个不重叠区 域自己的设置来对该区域进行量化，但是对于特定的不重叠区域的量 化器设置基于从一个或多个重叠区域推导的分析数据来确定。高级量 化可以被应用于一个或多个不同的颜色空间中的任何一个中。其中可 以应用高级量化的颜色空间的例子包括但不限于以下中的任何一个： RGB颜色空间、YCbCr颜色空间、YCoCg颜色空间、ACES颜色空 间或其它颜色空间。
在一些实施例中，其中应用量化的颜色空间保持与其中执行预测 的颜色空间相同。在VDR图像编码处理和VDR图像解码处理中，都 可能如此。如果其中发生图像渲染的颜色空间不同于其中发生量化的 颜色空间，则可以视情况执行颜色空间变换。
9.示例处理流程
图3A例示说明根据本发明的示例实施例的示例处理流程。在一 些示例实施例中，一个或多个计算设备或部件可以执行该处理流程。 在方框302中，多层VDR视频编码器(例如，图1A的102)接收输 入视觉动态范围(VDR)图像序列。
在方框304中，多层VDR视频编码器(102)从用于映射函数的 多个候选函数参数值集合选择用于该映射函数的候选函数参数值集 合。
在方框306中，多层VDR视频编码器(102)在输入VDR图像 序列中的至少一个输入VDR图像中构造VDR码字中标准差为非零的 图像块的集合。
在方框308中，多层VDR视频编码器(102)通过将具有该候选 函数参数值集合的映射函数应用于所述至少一个输入VDR图像中的 所述图像块的集合中的VDR码字来产生映射码值。
在方框310中，多层VDR视频编码器(102)基于映射码值来确 定映射码字中的标准差低于阈值的图像块子集。这里，所述图像块子 集是所述图像块的集合中的子集。
在方框312中，多层VDR视频编码器(102)至少部分基于所述 图像块子集来确定该候选函数参数值集合对于映射所述至少一个输入 VDR图像的映射函数是否是最佳的。
在实施例中，响应于确定候选函数参数值集合对于映射所述至少 一个输入VDR图像的映射函数是最佳的，多层VDR视频编码器(102) 被配置为确定所述候选函数参数值集合是否应被用作被映射函数用于 映射包括所述至少一个输入VDR图像的多个输入VDR图像的总体最 佳的函数参数值集合。
在实施例中，响应于确定所述候选函数参数值集合应被用作由映 射函数用于映射包括所述至少一个输入VDR图像的多个输入VDR图 像的总体最佳的函数参数值集合，多层VDR视频编码器(102)被配 置为进一步执行：通过将具有总体最佳的函数参数值集合的映射函数 应用于所述多个输入VDR图像来产生与所述多个VDR图像对应的多 个映射图像；将所述多个映射图像作为基本层(BL)图像数据压缩到 输出的多层视频信号中。
在实施例中，多层VDR视频编码器(102)被配置为进一步执行： 对BL图像数据进行解码；至少部分基于BL图像数据的逆映射来产 生预测图像数据；至少部分基于预测图像数据和所述至少一个输入 VDR图像来产生残差值；将非线性量化应用于残差值以产生EL图像数据，残差值包括高位深值，EL图像数据包括低位深值；并且将EL 图像数据压缩到输出的多层视频信号中。
在实施例中，具有非零标准差的图像块的集合用多个VDR值范 围内的特定的VDR值范围内的VDR码字计算。所述多个VDR值范 围包括高值范围、中间值范围或低值范围中的一个或多个。在实施例 中，多层VDR视频编码器(102)被配置为进一步执行：计算具有非 零标准差的图像块的集合的VDR统计值集合，其中VDR统计值集合 中的单个的VDR统计值表示以下中的一个：具有非零标准差的图像 块的集合中的单个的图像块的VDR码字中的算术平均值、算术中间 值、几何平均值、几何中间值、最大值或最小值；并且基于VDR统 计值集合来产生所述多个VDR值范围。
在实施例中，从输入VDR图像序列推导的BL图像数据被第一8 位编码器压缩到多层视频信号中，从输入VDR图像序列推导的EL图 像数据被多层编码器中的第二8位编码器压缩到多层视频信号中。
图3B例示说明了根据本发明的示例实施例的示例处理流程。在 一些示例实施例中，一个或多个计算设备或部件可以执行该处理流程。 在方框352中，多层VDR视频解码器(例如，图1B的152)从多层 视频信号的至少一部分接收基本层(BL)图像数据。
在方框354中，多层VDR视频解码器(152)或基本层视频解码 器(172)对BL图像数据进行解码以产生多个映射图像。
这里，所述多个映射图像是通过将具有总体最佳的函数参数值集 合的映射函数应用于多个可见动态范围(VDR)图像而推导得到的。 总体最佳的函数参数值集合可以选自用于映射函数的多个单独的最佳 函数参数值集合。每个单独的最佳的函数参数值集合至少部分基于将 具有多个候选函数参数集合的映射函数应用于所述多个VDR图像中 的至少一个VDR图像而被确定。
在实施例中，多层VDR视频解码器(152)或基本层视频解码器 (172)被配置为在显示***中渲染所述多个映射图像。
在实施例中，多层VDR视频解码器(152)被配置为进一步执行： 至少部分基于所述多个映射图像的逆映射来产生预测图像数据；对来 自多层视频信号的EL图像数据进行解码；将非线性去量化应用于EL 图像数据以产生残差值，残差值包括高位深值，EL图像数据包括低 位深值；并且至少部分基于预测图像数据和残差值来产生至少一个 VDR图像。在实施例中，多层VDR视频解码器(152)被配置为在 VDR显示***中渲染所述至少一个VDR图像。
在实施例中，所述多个输入VDR图像或所述多个映射图像形成 场景。
在实施例中，如本文中所描述的逆映射是基于从具有总体最佳的 函数参数值集合的映射函数产生的一个或多个查找表。
在实施例中，如本文中所描述的映射函数表示以下中的至少一个： 幂函数、线性量化函数或分段线性量化函数。
在实施例中，用于如本文中所描述的映射函数的候选函数参数值 集合表示用于幂函数的候选指数值。
在实施例中，用于如本文中所描述的映射函数的候选函数参数值 集合表示用于分段线性量化函数的一个或多个枢轴。
在实施例中，如本文中所描述的具有非零标准差的图像块的集合 通过用于颜色空间的多个通道中的特定通道的VDR码字计算。所述 多个通道可以包括以下中的一个或多个：亮度通道、色度通道、红色 通道、蓝色通道、绿色通道或其它主要通道。在实施例中，不同的映 射函数被用于映射用于多个通道中的不同通道的不同VDR码字。
在实施例中，如本文中所描述的视频编码器中的一个或多个编码 器中的至少一个包括以下中的任何一个：具有不同位深中的一个的编 码器(例如，8位编码器、10位编码器、12位编码器等)、高级视频 译码(AVC)编码器、运动图像专家组(MPEG)-2编码器、高效视频译码(HEVC)编码器等。
在实施例中，如本文中所描述的视频解码器中的一个或多个解码 器中的至少一个包括以下中的任何一个：具有不同位深中的一个的解 码器(例如，8位解码器、10位解码器、12位解码器等)、高级视频 译码(AVC)解码器、运动图像专家组(MPEG)-2解码器、高效视频译码(HEVC)解码器等。
在实施例中，对如本文中所描述的输入VDR图像或映射图像进 行感知编码。
在各种示例实施例中，编码器、解码器、***、装置或者一个或 多个其它的计算设备执行如所描述的前述方法中的任何一个或一部 分。
10.实现机构——硬件概述
根据一个实施例，本文中所描述的技术由一个或多个专用计算设 备实现。专用计算设备可以被硬连线来执行所述技术，或者可以包括 被持久地编程为执行所述技术的数字电子设备，诸如一个或多个专用 集成电路(ASIC)或现场可编程门阵列(FPGA)，或者可以包括被 编程为根据固件、存储器、其它储存器或组合中的程序指令执行所述 技术的一个或多个通用硬件处理器。这样的专用计算设备还可以组合 具有定制编程的定制硬连线逻辑、ASIC或FPGA来实现所述技术。 专用计算设备可以是台式计算机***、便携式计算机***、手持设备、 联网设备、或合并硬连线逻辑和/或程序逻辑来实现所述技术的任何其 它的设备。
例如，图4是例示说明在其上可以实现本发明的示例实施例的计 算机***400的框图。计算机***400包括用于传送信息的总线402 或其它通信机构、以及与总线402耦合的、用于处理信息的硬件处理 器404。硬件处理器404可以例如是通用微处理器。
计算机***400还包括耦合到总线402的、用于存储信息和将被 处理器404执行的指令的主存储器406，诸如随机存取存储器(RAM) 或其它动态存储设备。主存储器406还可以用于存储将被处理器404 执行的指令的执行期间的临时变量或其它中间信息。这样的指令在被 存储在可供处理器404访问的非暂时性存储介质中时将计算机*** 400变为被定制为执行这些指令中所指定的操作的专用机器。
计算机***400还包括用于存储用于处理器404的静态信息和指 令的只读存储器(ROM)408或其它静态存储设备。提供了存储设备 410，诸如磁盘或光学盘，并且存储设备410耦合到总线402，用于存 储信息和指令。
计算机***400可以经由总线402耦合到用于向计算机用户显示 信息的显示器412，诸如液晶显示器。包括字母数字键和其它键的输 入设备414耦合到总线402，用于将信息和命令选择传送给处理器404。 另一种类型的用户输入设备是用于将方向信息和命令选择传送给处理 器404并且用于控制显示器412上的光标移动的光标控件416，诸如 鼠标、轨迹球、或光标方向键。该输入设备通常具有两个轴(第一轴 (例如，x)和第二轴(例如，y))上的两个自由度，这两个自由度 使得该设备可以指定平面中的位置。
计算机***400可以使用与该计算机***组合使计算机***400 成为专用机器或将计算机***400编程为专用机器的定制的硬连线逻 辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实现本文中所 描述的技术。根据一个实施例，本文中的技术由计算机***400响应 于处理器404执行主存储器406中所包含的一个或多个指令的一个或 多个序列来执行。这样的指令可以从另一个存储介质(诸如存储设备 410)被读取到主存储器406中。主存储器406中所包含的指令序列的 执行使处理器404执行本文中所描述的处理步骤。在替代实施例中， 可以使用硬连线的电路***来代替软件指令或者与软件指令组合。
本文中所使用的术语“存储介质”是指存储使机器以特定方式操 作的数据和/或指令的任何非暂时性介质。这样的存储介质可以包括非 易失性介质和/或易失性介质。非易失性介质包括，例如，光学盘或磁 性盘，诸如存储设备410。易失性介质包括动态存储器，诸如主存储 器406。常见形式的存储介质包括，例如，软盘、柔性盘、硬盘、固 态驱动器、磁带、或任何其它磁性数据存储介质、CD-ROM、任何其 它光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM、 以及EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或 盒。
存储介质不同于传输介质，但是可以与传输介质结合使用。传输 介质参与在存储介质之间传送信息。例如，传输介质包括同轴电缆、 铜线和光纤，它们包括包含总线402的导线。传输介质还可以采取声 波或光波的形式，诸如在无线电波和红外数据通信期间产生的那些声 波或光波。
各种形式的介质可涉及将一个或多个指令的一个或多个序列传 载到处理器404以供执行。例如，这些指令可以一开始被承载在远程 计算机的磁盘或固态驱动器上。远程计算机可以将这些指令加载到其 动态存储器中，并且使用调制解调器通过电话线发送这些指令。计算 机***400的本地调制解调器可以接收电话线上的数据，并且使用红 外发射器来将该数据转换为红外信号。红外探测器可以接收红外信号 中所承载的数据，并且适当的电路***可以将该数据放置在总线402 上。总线402将数据传载到主存储器406，处理器404从主存储器406 检索并执行这些指令。主存储器406接收的指令可选地可以在处理器404执行之前或之后被存储在存储设备410上。
计算机***400还包括耦合到总线402的通信接口418。通信接 口418提供耦合到网络链路420的双向数据通信，网络链路420连接 到局域网422。例如，通信接口418可以是综合服务数字网络(ISDN) 卡、电缆调制解调器、卫星调制解调器、或者提供与相应类型的电话 线的数据通信连接的调制解调器。作为另一个例子，通信接口418可 以是提供与可兼容LAN的数据通信连接的局域网(LAN)卡。还可 以实现无线链路。在任何这样的实现中，通信接口418发送并且接收 承载表示各种类型的信息的数字数据流的电信号、电磁信号或光学信 号。
网络链路420通常提供通过一个或多个网络到其它数据设备的数 据通信。例如，网络链路420可以通过局域网422提供与主机424或 由互联网服务提供商(ISP)426运营的数据设备的连接。ISP 426继 而通过全球数据包数据通信网络(现在常被称为“互联网”428)提供 数据通信服务。局域网422和互联网428都使用承载数字数据流的电 信号、电磁信号或光学信号。通过各种网络的信号、以及网络链路420 上的通过通信接口418的信号是示例形式的传输介质，通信接口418 将数字数据传载到计算机***400，并且从计算机***400传载数字 数据。
计算机***400可以通过网络(一个或多个)、网络链路420和 通信接口418发送消息并且接收数据，包括程序代码。在互联网例子 中，服务器430可以通过互联网428、ISP426、局域网422和通信接 口418发送被请求的应用程序代码。
所接收的代码可以在其被接收时被执行、和/或被存储在存储设备 410或其它非易失性储存器中以供以后执行。
11.等同、扩展、替代和其它
在前面的说明书中，参照在不同实现之间可以有所变化的许多特 定细节描述了本发明的实施例。因此，本发明是什么、申请人意图本 发明是什么的唯一的且排他的指示是本申请的特定形式的权利要求 书，这样的权利要求以该特定形式要求保护，包括任何后续修正。在 本文中对于这样的权利要求中所包含的术语明确阐述的任何定义应掌 控在权利要求中所使用的这样的术语的含义。因此，在权利要求中没 有明确记载的限制、元素、性质、特征、优点或属性均不得以任何方 式限制这样的权利要求的范围。说明书和附图因此要从例示性、而不 是限制性的意义上来看待。

Claims (22)

1.一种图像编码方法，包括：
接收输入视觉动态范围图像的序列；
从用于映射函数的多个候选函数参数值集合选择用于所述映射函数的候选函数参数值集合；
将每个输入视觉动态范围图像分割成图像块；
对于每个图像块，确定该图像块中的码字的标准差；
对于所述输入视觉动态范围图像的序列中的至少一个输入视觉动态范围图像，从所述图像块之中构造码字中标准差为非零的图像块集合；
通过将具有所述候选函数参数值集合的映射函数应用于所述至少一个输入视觉动态范围图像中的所述图像块集合中的视觉动态范围码字来产生映射码值；
对于每个映射图像块，确定该块中的码字的标准差；
从映射图像块之中构造映射图像块的子集，所述子集中的每个映射图像块具有大于预定阈值的标准差；以及
基于所述子集中具有非零标准差的映射图像块的数量与所述集合中的图像块的数量之间的比较，确定所述候选函数参数值集合对于映射所述至少一个输入视觉动态范围图像的映射函数是否是最佳的。
2.根据权利要求1所述的方法，其中，输入视觉动态范围图像的位深等于或者大于12位。
3.根据权利要求1所述的方法，其中，确定所述候选函数参数值集合对于映射所述至少一个输入视觉动态范围图像的映射函数是否是最佳的基于所述子集中的映射图像块的数量是否等于所述集合中的图像块的数量。
4.根据权利要求1所述的方法，还包括：
响应于确定所述候选函数参数值集合对于映射所述至少一个输入视觉动态范围图像的映射函数是最佳的，确定所述候选函数参数值集合是否应被用作由映射函数用于映射包括所述至少一个输入视觉动态范围图像的多个输入视觉动态范围图像的总体最佳的函数参数值集合。
5.根据权利要求4所述的方法，还包括：
响应于确定所述候选函数参数值集合应被用作由映射函数用于映射包括所述至少一个输入视觉动态范围图像的多个输入视觉动态范围图像的总体最佳的函数参数值集合，执行以下：
通过将具有所述总体最佳的函数参数值集合的映射函数应用于所述多个输入视觉动态范围图像来产生与所述多个输入视觉动态范围图像对应的多个映射图像；
将所述多个映射图像作为基本层图像数据压缩到输出的多层视频信号中。
6.根据权利要求5所述的方法，还包括：
对所述基本层图像数据进行解码；
至少部分基于所述基本层图像数据的逆映射来产生预测图像数据；
至少部分基于所述预测图像数据和所述至少一个输入视觉动态范围图像来产生残差值；
将非线性量化应用于所述残差值以产生增强层图像数据，所述残差值包括高位深值，所述增强层图像数据包括低位深值；和
将所述增强层图像数据压缩到输出的多层视频信号中。
7.根据权利要求6所述的方法，还包括将包括所确定的总体最佳的函数参数值集合的元数据作为所述输出的多层视频信号的一部分输出到下游设备。
8.根据权利要求6所述的方法，其中，所述基本层图像数据的逆映射是基于从具有所述总体最佳的函数参数值集合的映射函数产生的一个或多个查找表的。
9.根据权利要求1所述的方法，其中，所述映射函数表示以下中的至少一个：幂函数、线性量化函数、或分段线性量化函数。
10.根据权利要求1所述的方法，其中，用于所述映射函数的所述候选函数参数值集合表示用于幂函数的候选指数值。
11.根据权利要求1所述的方法，其中，用于所述映射函数的所述候选函数参数值集合表示用于分段线性量化函数的一个或多个枢轴。
12.根据权利要求1所述的方法，其中，具有非零标准差的图像块的集合用多个值范围中的特定值范围内的码字被计算。
13.根据权利要求12所述的方法，其中，所述多个值范围包括高值范围、中间值范围或低值范围中的一个或多个，其中所述高值范围中的像素值具有比中间值范围和低值范围中的像素值高的值，并且其中，所述中间值范围中的像素值具有比所述低值范围中的像素值高而比所述高值范围中的像素值低的值。
14.根据权利要求13所述的方法，还包括：
计算具有非零标准差的图像块集合的统计值集合，其中，所述统计值集合中的单独的统计值表示以下中的至少一个：具有非零标准差的图像块集合中的单独的图像块的码字中的算术平均值、算术中间值、几何平均值、几何中间值、最大值或最小值；
基于所述统计值集合来产生所述多个视觉动态范围码字范围。
15.根据权利要求1所述的方法，其中，具有非零标准差的图像块的集合是由用于颜色空间的多个通道中的特定通道的视觉动态范围码字计算的。
16.根据权利要求15所述的方法，其中，所述多个通道包括以下中的一个或多个：亮度通道、色度通道、红色通道、蓝色通道、绿色通道或其它主要通道。
17.根据权利要求15所述的方法，其中，不同的映射函数被用于映射用于所述多个通道中的不同通道的不同视觉动态范围码字。
18.根据权利要求1所述的方法，其中，从所述输入视觉动态范围图像的序列推导的基本层图像数据被多层编码器中的第一8位编码器压缩到多层视频信号中，并且其中，从所述输入视觉动态范围图像的序列推导的增强层图像数据被所述多层编码器中的第二8位编码器压缩到多层视频信号中。
19.根据权利要求18所述的方法，其中，所述第一8位编码器和所述第二8位编码器中的至少一个包括以下中的至少一个：高级视频译码(AVC)编码器、运动图像专家组(MPEG)-2编码器、或高效视频译码(HEVC)编码器。
20.根据权利要求1所述的方法，其中，所述输入视觉动态范围图像的序列已被感知编码。
21.根据权利要求1所述的方法，其中，所述非零标准差中的至少一个用以下中的一个表示：非零最大-最小差值、非零方差或平滑度测量值，其中每个均对应于非零标准差。
22.一种通过处理器执行根据权利要求1所述的方法的编码器。
CN201480018105.8A 2013-03-26 2014-03-25 对多层vdr译码中的感知量化的视频内容进行编码 Active CN105052143B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361805388P 2013-03-26 2013-03-26
US61/805,388 2013-03-26
US201361861555P 2013-08-02 2013-08-02
US61/861,555 2013-08-02
PCT/US2014/031716 WO2014160705A1 (en) 2013-03-26 2014-03-25 Encoding perceptually-quantized video content in multi-layer vdr coding

Publications (2)

Publication Number Publication Date
CN105052143A CN105052143A (zh) 2015-11-11
CN105052143B true CN105052143B (zh) 2018-04-20

Family

ID=50680185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018105.8A Active CN105052143B (zh) 2013-03-26 2014-03-25 对多层vdr译码中的感知量化的视频内容进行编码

Country Status (10)

Country Link
US (1) US9628808B2 (zh)
EP (1) EP2936814B1 (zh)
JP (2) JP5989934B2 (zh)
KR (1) KR101641523B1 (zh)
CN (1) CN105052143B (zh)
BR (1) BR112015024172B1 (zh)
ES (1) ES2666899T3 (zh)
PL (1) PL2936814T3 (zh)
RU (1) RU2619886C2 (zh)
WO (1) WO2014160705A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3011741B1 (en) 2013-06-17 2018-03-07 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
US9712834B2 (en) * 2013-10-01 2017-07-18 Dolby Laboratories Licensing Corporation Hardware efficient sparse FIR filtering in video codec
CN110177276B (zh) 2014-02-26 2021-08-24 杜比实验室特许公司 处理视频图像的空间区域的方法、存储介质及计算装置
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
KR101794817B1 (ko) 2014-09-26 2017-11-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 지각적으로 양자화된 비디오 콘텐츠를 인코딩 및 디코딩하는 방법
US10419762B2 (en) 2015-03-02 2019-09-17 Dolby Laboratories Licensing Corporation Content-adaptive perceptual quantizer for high dynamic range images
RU2666234C1 (ru) 2015-03-20 2018-09-06 Долби Лэборетериз Лайсенсинг Корпорейшн Аппроксимация восстановления формы сигнала
CN107439012B (zh) * 2015-04-06 2018-09-25 杜比实验室特许公司 用于环内转换的方法、装置和计算机可读存储介质
US10735755B2 (en) 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
US10484684B2 (en) 2015-04-22 2019-11-19 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the IPT-PQ color space
WO2016199409A1 (en) * 2015-06-07 2016-12-15 Sharp Kabushiki Kaisha Systems and methods for optimizing video coding based on a luminance transfer function or video color component values
EP3300368A4 (en) * 2015-06-09 2018-07-04 Huawei Technologies Co., Ltd. Video encoding and decoding method, and video encoder/decoder
US10863202B2 (en) * 2015-06-12 2020-12-08 Shaoher Pan Encoding data in a source image with watermark image codes
WO2017003525A1 (en) * 2015-06-30 2017-01-05 Dolby Laboratories Licensing Corporation Real-time content-adaptive perceptual quantizer for high dynamic range images
US10575005B2 (en) 2015-07-22 2020-02-25 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
US10834407B2 (en) 2015-07-28 2020-11-10 Dolby Laboratories Licensing Corporation SDR bit depth enhancement via codeword range amplification in a codec with inverse display management
JP6320440B2 (ja) 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
EP3354021B1 (en) * 2015-09-23 2023-09-20 Dolby Laboratories Licensing Corporation Preserving texture/noise consistency in video codecs
EP3151562B1 (en) 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
US10311558B2 (en) 2015-11-16 2019-06-04 Dolby Laboratories Licensing Corporation Efficient image processing on content-adaptive PQ signal domain
US10165275B2 (en) 2016-01-26 2018-12-25 Dolby Laboratories Licensing Corporation Content-adaptive reshaping for high dynamic range images
US10701375B2 (en) 2016-03-23 2020-06-30 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
CN109845262B (zh) * 2016-05-04 2023-10-13 交互数字Vc控股公司 用于将高动态范围画面编码/解码为编码比特流的方法和装置
WO2017196869A1 (en) 2016-05-10 2017-11-16 Dolby Laboratories Licensing Corporation Chroma reshaping of hdr video signals
US10542296B2 (en) * 2016-05-10 2020-01-21 Dolby Laboratories Licensing Corporation Chroma reshaping of HDR video signals
WO2018049335A1 (en) * 2016-09-09 2018-03-15 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
EP3510772B1 (en) 2016-09-09 2020-12-09 Dolby Laboratories Licensing Corporation Coding of high dynamic range video using segment-based reshaping
US10616383B2 (en) 2016-09-26 2020-04-07 Samsung Display Co., Ltd. System and method for electronic data communication
US10075671B2 (en) 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
US10523895B2 (en) 2016-09-26 2019-12-31 Samsung Display Co., Ltd. System and method for electronic data communication
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
PL3523970T3 (pl) * 2016-10-05 2022-11-21 Dolby Laboratories Licensing Corporation Przekazywanie informacji o źródłowym zestawie parametrów barwy
JP7037584B2 (ja) 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
US11252401B2 (en) 2017-08-07 2022-02-15 Dolby Laboratories Licensing Corporation Optically communicating display metadata
KR102618692B1 (ko) 2018-06-15 2024-01-02 삼성전자주식회사 노이즈 또는 디서의 영향을 감소시키기 위한 디스플레이 구동 회로 및 방법
CN111788831B (zh) 2018-02-28 2022-06-14 杜比实验室特许公司 用于图像/视频处理的线性编码器
EP3595308A1 (en) * 2018-07-12 2020-01-15 THOMSON Licensing Method and apparatus for encoding an image
US11924431B2 (en) 2019-03-01 2024-03-05 Lg Electronics Inc. LMCS-based image coding method and device therefor
US11930191B2 (en) * 2019-05-16 2024-03-12 Lg Electronics Inc. Luma mapping—and chroma scaling-based video or image coding
GB2611864B (en) * 2019-08-23 2023-12-06 Imagination Tech Ltd Random accessible image data compression
KR20220046683A (ko) 2019-10-03 2022-04-14 후아웨이 테크놀러지 컴퍼니 리미티드 기하학적 파티션 모드를 위한 코딩 프로세스
US20220405978A1 (en) * 2021-06-18 2022-12-22 Tencent America LLC Non-linear quantization with substitution in neural image compression
CN116456094B (zh) * 2023-06-15 2023-09-05 中南大学 一种分布式视频混合数字模拟传输方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827024A1 (en) * 2006-02-24 2007-08-29 Sharp Kabushiki Kaisha High dynamic range video coding
WO2009127231A1 (en) * 2008-04-16 2009-10-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bit-depth scalability
CN102388612A (zh) * 2009-03-13 2012-03-21 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JP3774954B2 (ja) * 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
IL122361A0 (en) * 1997-11-29 1998-04-05 Algotec Systems Ltd Image compression method
US6396956B1 (en) * 1998-03-31 2002-05-28 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
US6233283B1 (en) * 1998-06-23 2001-05-15 Lucent Technologies Inc. Layered video coding using perceptual coding criteria for error resilience in packet networks
US7010737B2 (en) * 1999-02-12 2006-03-07 Sony Corporation Method and apparatus for error data recovery
EP1673764B1 (en) * 2003-10-10 2008-04-09 Agency for Science, Technology and Research Method for encoding a digital signal into a scalable bitstream, method for decoding a scalable bitstream
JP2006191253A (ja) * 2005-01-05 2006-07-20 Matsushita Electric Ind Co Ltd レート変換方法及びレート変換装置
JP4737711B2 (ja) * 2005-03-23 2011-08-03 富士ゼロックス株式会社 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
WO2007044556A2 (en) * 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
EP2988499B1 (en) * 2006-01-23 2017-03-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
CA2570090C (en) * 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8237865B2 (en) * 2006-12-18 2012-08-07 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
JP4697557B2 (ja) * 2009-01-07 2011-06-08 ソニー株式会社 符号化装置、符号化方法、記録媒体及び画像処理装置
US8867616B2 (en) 2009-02-11 2014-10-21 Thomson Licensing Methods and apparatus for bit depth scalable video encoding and decoding utilizing tone mapping and inverse tone mapping
US10178396B2 (en) * 2009-09-04 2019-01-08 Stmicroelectronics International N.V. Object tracking
WO2012004709A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
TWI559779B (zh) 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
JP5513333B2 (ja) * 2010-09-22 2014-06-04 Ｋｄｄｉ株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
US8538193B2 (en) * 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
CN103141101B (zh) * 2010-09-30 2016-05-11 富士通株式会社 动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法
ES2750234T3 (es) 2011-04-14 2020-03-25 Dolby Laboratories Licensing Corp Predictor de regresión múltiple de múltiples canales de color
JP5988696B2 (ja) * 2011-06-17 2016-09-07 ローム株式会社 画像圧縮回路、画像圧縮方法、半導体装置、およびスマートフォン
US10237565B2 (en) * 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US20160029024A1 (en) * 2011-08-10 2016-01-28 Zoran (France) S.A. Frame buffer compression for video processing devices
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
GB2504068B (en) * 2012-07-11 2015-03-11 Canon Kk Methods and devices for controlling spatial access granularity in compressed video streams
WO2014058110A1 (ko) * 2012-10-09 2014-04-17 광운대학교 산학협력단 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827024A1 (en) * 2006-02-24 2007-08-29 Sharp Kabushiki Kaisha High dynamic range video coding
WO2009127231A1 (en) * 2008-04-16 2009-10-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bit-depth scalability
CN102388612A (zh) * 2009-03-13 2012-03-21 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩

Also Published As

Publication number Publication date
ES2666899T3 (es) 2018-05-08
BR112015024172B1 (pt) 2023-01-31
BR112015024172A2 (pt) 2017-07-18
EP2936814A1 (en) 2015-10-28
JP5989934B2 (ja) 2016-09-07
JP2016519494A (ja) 2016-06-30
JP2016208541A (ja) 2016-12-08
PL2936814T3 (pl) 2018-07-31
KR101641523B1 (ko) 2016-07-21
CN105052143A (zh) 2015-11-11
EP2936814B1 (en) 2018-03-14
US20160014420A1 (en) 2016-01-14
JP6310017B2 (ja) 2018-04-11
KR20150119463A (ko) 2015-10-23
US9628808B2 (en) 2017-04-18
WO2014160705A1 (en) 2014-10-02
RU2619886C2 (ru) 2017-05-19
RU2015140601A (ru) 2017-03-29

Similar Documents

Publication Publication Date Title
CN105052143B (zh) 对多层vdr译码中的感知量化的视频内容进行编码
TWI575933B (zh) 階層式視覺動態範圍編碼中之層分解技術
CN104041036B (zh) 视频编码方法、视频解码方法、编码器、解码器以及***
US20200059646A1 (en) System for reshaping and coding high dynamic range and wide color gamut sequences
CN105580369B (zh) 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及***
US10182235B2 (en) Hardware efficient sparse FIR filtering in layered video coding
US10136147B2 (en) Efficient transcoding for backward-compatible wide dynamic range codec
JP7386977B2 (ja) テンソル積ｂスプライン予測子
WO2016040255A1 (en) Self-adaptive prediction method for multi-layer codec
EP1324618A2 (en) Encoding method and arrangement
US20030223633A1 (en) Method and system for compressing digital images
Richter On the integer coding profile of JPEG XT
Le Pendu et al. Template based inter-layer prediction for high dynamic range scalable compression
Chiang et al. Rate–distortion optimization of multi-exposure image coding for high dynamic range image coding
RU2794137C1 (ru) Предсказатель b-сплайна тензорного произведения
Le Dauphin et al. Prediction-guided quantization for video tone mapping
Singh et al. Minimum average colour space entropy–colour component transform based colour image compression
EP2698996A2 (en) Decoder and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20151111

Assignee: Dongguan de video technology Co. Ltd. Kit

Assignor: Dolby International AB|Dolby Laboratories Licensing Corp.

Contract record no.: 2016990000507

Denomination of invention: Encoding perceptually-quantized video content in multi-layer VDR coding

License type: Common License

Record date: 20161216

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant