CN109792523B - 单层后向兼容编解码器的实时整形 - Google Patents

单层后向兼容编解码器的实时整形 Download PDF

Info

Publication number
CN109792523B
CN109792523B CN201780058437.2A CN201780058437A CN109792523B CN 109792523 B CN109792523 B CN 109792523B CN 201780058437 A CN201780058437 A CN 201780058437A CN 109792523 B CN109792523 B CN 109792523B
Authority
CN
China
Prior art keywords
determining
chroma
polynomial
shaping
sdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780058437.2A
Other languages
English (en)
Other versions
CN109792523A (zh
Inventor
宋青
H·卡杜
陈倩
苏冠铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority claimed from PCT/US2017/048925 external-priority patent/WO2018044803A1/en
Publication of CN109792523A publication Critical patent/CN109792523A/zh
Application granted granted Critical
Publication of CN109792523B publication Critical patent/CN109792523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Footwear And Its Accessory, Manufacturing Method And Apparatuses (AREA)
  • Details Of Garments (AREA)
  • Luminescent Compositions (AREA)
  • Picture Signal Circuits (AREA)

Abstract

实时前向整形，包括：选择以当前帧为索引的统计滑动窗口，所述统计滑动窗口还具有先前帧和后续帧；确定所述先前帧和后续帧是否是当前场景的一部分；确定噪声参数、亮度传递函数，并且基于所述当前场景内的所述亮度传递函数和所述噪声参数来确定亮度前向整形函数；选择具有所述当前场景内的所述当前帧和所述先前帧的集中趋势滑动窗口；以及确定集中趋势亮度前向整形函数。色度整形包括：分析扩展动态范围(EDR)权重和EDR上限的统计值；基于所述集中趋势亮度前向整形函数将扩展动态范围(EDR)权重和EDR上限映射到标准动态范围(SDR)权重和SDR上限；确定色度内容相关的多项式和集中趋势色度前向整形多项式；以及生成色度MMR系数。

Description

单层后向兼容编解码器的实时整形
相关申请的交叉引用
本申请要求2016年8月30日提交的美国临时专利申请第62/381,233号和2016年8月30日提交的欧洲专利申请第16186392.3号的优先权，所有这些公开内容通过引用以其全文并入本文。
技术领域
本发明总体上涉及图像的编码和解码。更特别地，本发明的实施例涉及图像的后向兼容编码和解码的实时单层整形。
背景技术
如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉***(HVS)感知图像中的强度(例如明亮度(luminance)、亮度(luma))范围的能力，所述范围例如从最暗的黑色(深色)到最亮的白色(高光)。从这个意义上说，DR与“涉及场景的”强度有关。DR还可以涉及显示设备充分地或近似地呈现(render)特定宽度的强度范围的能力。从这个意义上说，DR与“涉及显示的”强度有关。除非在本文的描述中的任何一点上明确指定特定的意义具有特定的重要性，否则应该推断所述术语可以在任一意义上例如可互换地使用。
如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉***(HVS)的大约14至15个或更多数量级的DR宽度。在实践中，相对于HDR，人类可以同时感知强度范围的广泛宽度的DR可能会被或多或少地截短。如本文所使用的，术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单个地或可互换地与可在场景或图像内由包括眼运动的人类视觉***(HVS)感知的DR相关，从而允许场景或图像上的一些光适应变化。如本文所使用的，EDR可以涉及跨越5到6个数量级的DR。因此，虽然相对于涉及真实场景的HDR，EDR可能更窄一些，但EDR表示宽DR宽度并且也可以被称为HDR。
在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中颜色分量由每像素n比特(例如，n＝8)的精度表示。使用线性亮度编码，其中n≤8的图像(例如，彩色24比特JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可被视为增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如，16比特)浮点格式来存储和分发，所述高精度浮点格式诸如由工业光魔公司(Industrial Light Magic)开发的OpenEXR文件格式。
给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如，亮度)与由显示器产生的输出屏幕颜色值(例如，屏幕亮度)之间的关系。例如，ITU Rec.ITU-RBT.1886，“HDTV工作室制作中使用的平板显示器的参考电光传递函数(Referenceelectro-optical transfer function for flat panel displays used in HDTV studioproduction)”(2011年3月)基于阴极射线管(CRT)的测量特性定义了平板显示器的参考EOTF，其内容通过引用以其全文并入本文。给定视频流，关于其EOTF的信息通常作为元数据被嵌入比特流中。如本文所使用的，术语“元数据”涉及作为编码比特流的一部分发送的任何辅助信息，并且辅助解码器呈现解码图像。这样的元数据可以包括但不限于颜色空间或色域信息、参考显示参数和辅助信号参数，如本文所描述的那些。
大多数消费类桌面显示器目前支持200到300cd/m2或nit的亮度。大多数消费类HDTV的范围从300到500nit，其中新型号达到1000nit(cd/m2)。这样的显示器因此代表了相对于HDR或EDR来说较低的动态范围(LDR)，也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如，相机)和HDR显示器(例如，杜比实验室的PRM-4200专业参考监视器)的进步而增长，HDR内容可以被颜色分级并被显示在支持更高动态范围(例如，从1000nit到5000nit或更高)的HDR显示器上。这种显示器可以使用支持高亮度能力(例如，0到10000nit)的替代EOTF来定义。这种EOTF的示例在SMPTE ST 2084:2014“主参考显示器的高动态范围EOTF(High Dynamic Range EOTF of Mastering Reference Displays)”中被定义，其内容通过引用以其全文并入本文。如发明人在这里所认识到的那样，需要用于对可用于支持多种显示设备的可逆生产质量单层视频信号进行编码和解码的改进技术。
如本文所使用的，术语“前向整形(forward reshaping)”表示将HDR图像从其原始比特深度映射(或量化)到较低或相同比特深度的图像以允许使用现有编码标准或设备压缩图像的过程。在接收器中，在解压缩整形后的信号之后，接收器可以应用逆整形函数来将信号恢复到其原始高动态范围。如发明人在这里所认识到的那样，需要用于对高动态范围图像进行图像整形的改进技术。
前向整形查找表(LUT)是存储了前向整形的映射或量化的表。
如本文所使用的，术语“后向兼容(backwards compatible)”表示被设计成可互换地与SDR、具有杜比元数据的SDR以及HDR一起工作的硬件和/或软件。如果存在压缩视频比特流，则可以观看SDR。如果SDR和杜比元数据被包含在压缩视频流内，则可以以SDR或以HDR观看视频。底层比特流可以由任何编解码器编码，所述任何编解码器诸如AVC、HEVC、VP9或任何未来的编解码器。
术语“实时”可以指实时体系架构和/或实时实施方式。实时体系架构是这样的体系架构：其中用于处理的数据在处理时是可用的，例如，对在当前时刻不可用的数据几乎没有或没有依赖性，使得数据依赖性延迟被最小化。实时实施方式是这样的实施方式：其中处理可以在固定时间间隔内执行，例如，平均处理时间可以在一定数量的帧内执行，例如能够快速实现结果的优化算法。以这种方式，实时体系架构提供在时间上接近处理时间的数据，并且实时实施方式在算法中利用此时间上接近的数据，所述算法可以在一定数量的帧内执行，即快速处理。本公开涉及两方面，应当理解，通过结合实时体系架构工作的实时实施方式，可以最佳地实现获得优化的实时结果。
术语“单层”表示压缩视频比特流。可以传送两个不同的比特流，第一个流是压缩视频比特流，诸如AVC、HEVC，其包含压缩像素信息，并且是SDR。比特流可以由任何传统设备解码。第二个流具有杜比元数据，其包含后向整形函数。利用第一个流，可以以SDR观看视频。如果第一个流和第二个流都存在，则可以以HDR观看视频。第一个流(压缩视频比特流)不包含杜比元数据。
本文使用的术语“集中趋势(central tendency)”是用于描述平均值(average)、均值(mean)、中值、模式(mode)、分布中心、最小绝对偏差、离散度、范围、方差、峰态标准偏差等中的至少一个的度量，例如，它是数据集的中部位于哪里的度量。术语“线性非线性组合”可以在指代集中趋势度量时使用。
在此部分中描述的方法是可以采用的方法，但不一定是之前已经设想到或采用的方法。因此，除非另有指明，否则不应假定此部分中描述的任何方法仅因其被包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则关于一种或多种方法所确认的问题不应基于此部分而认为在任何现有技术中已被公认。
附图说明
在附图中以举例而非限制的方式来展示本发明的实施例，并且其中类似的附图标记指代相似的要素，并且在附图中：
图1描绘了根据本公开的实施例的示例概述；
图2描绘了根据本公开的实施例的示例实时整形器；
图3A和3B描绘了根据本公开的实施例的示例亮度整形；
图4描绘了根据本公开的实施例的统计滑动窗口和集中趋势滑动窗口的示例；
图5描绘了根据本公开的实施例的示例色度整形；
图6描绘了根据本公开的实施例的第一示例色度整形***；
图7描绘了根据本公开的实施例的第二示例色度整形***；
图8描绘了根据本公开的实施例的示例内容相关的多项式；
图9描绘了根据本公开的实施例的着色器(shader)控制；以及
图10描绘了根据本公开的实施例的第三示例色度整形***。
具体实施方式
本文描述了对可逆生产质量单层视频信号的编码和解码。在以下描述中，为了解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而清楚的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要地遮挡、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
在本公开的第一方面，一种实时前向整形的方法，包括：选择具有当前帧、至少一个先前帧(look-back frame)和至少一个后续帧(look-ahead frame)的统计滑动窗口，其中所述统计滑动窗口以所述当前帧为索引。所述前向整形可以包括从较高动态范围(例如，EDR)到较低动态范围(例如，SDR)或相同动态范围的可逆映射。在所述第一方面内，所述方法进一步包括确定所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的统计值，如果所述至少一个先前帧和所述当前帧的所确定的统计值在预定阈值内，则在当前场景中包括所述至少一个先前帧；如果所述至少一个先前帧和所述当前帧的所确定的统计值大于所述预定阈值或者如果所述至少一个先前帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个先前帧；如果所述至少一个后续帧和所述当前帧的所确定的统计值在所述预定阈值内，则在所述当前场景中包括所述至少一个后续帧；以及如果所述至少一个后续帧和所述当前帧的所确定的统计值大于所述预定阈值或者如果所述至少一个后续帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个后续帧。所述第一方面另外包括：基于所述当前场景内的帧中的所述当前帧、所述至少一个先前帧和所述至少一个后续帧的所确定的统计值来确定至少一个噪声参数；基于所述当前场景内的帧中的所述当前帧、所述至少一个先前帧和所述至少一个后续帧的所确定的统计值来确定至少一个亮度传递函数；基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数；如果所述至少一个先前帧在所述当前场景内，则选择具有所述当前帧和所述至少一个先前帧的集中趋势滑动窗口；以及基于所述至少一个亮度前向整形函数确定集中趋势亮度前向整形函数。所述统计值的所述预定阈值可以是百分比、偏差、或绝对差值等。所确定的统计值可以包括所述统计滑动窗口(的多帧)内的极大值(maximal values)(例如像素值、亮度值)的最大水平(maximum level)、所述统计滑动窗口内的极小值(minimal values)(例如像素值、亮度值)的最小水平(minimumlevel)、以及所述统计滑动窗口内的平均值(average values)(例如像素值、亮度值)的均值水平(mean level)。所述至少一个噪声参数可以是基于所述统计滑动窗口内基于块的标准偏差的平均值来确定的。例如，所述至少一个噪声参数可以基于当前场景内的那些帧中的当前帧、至少一个先前帧和至少一个后续帧的像素值(例如亮度)的多个仓(bin)中的每一个的标准偏差来确定，例如通过对这些帧求平均。基于所确定的统计值，可以使用动态色调映射(DTM)来构建所述至少一个亮度传递函数。所述至少一个亮度传递函数可以是基于DTM的给定斜率、给定偏移和给定次幂来进一步构建的。基于当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定所述至少一个亮度前向整形函数可以包括基于所述至少一个噪声参数在亮度传递函数的输入码字当中重新分配比特深度(在SDR域中)。所述集中趋势亮度整形函数可以是通过对所述集中趋势滑动窗口的所述当前帧和所述至少一个先前帧的亮度前向整形函数求平均来确定的。
在当前帧做索引时，统计滑动窗口做索引。这个统计滑动窗口的基本设置是具有A个后续帧和L个先前帧。如果这个统计滑动窗口内的帧与当前帧不在同一场景中，则它们将被排除。关于后续帧，如果存在未来场景中的帧，例如不在当前场景内，则排除那些帧。关于先前帧，如果存在先前场景中的帧，例如不是当前场景的一部分，则那些帧也被排除。换句话说，在这个统计滑动窗口方法中，如果帧与当前统计滑动窗口内的当前帧在同一场景内，则所述帧被视为在当前场景中。
亮度传递函数可以包括动态色调映射(DTM)、颜色体积变换、感知量化信号到伽马的映射等。
在本公开的第二方面，一种实时前向整形的方法，包括：分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧(如果有的话)、以及可选地所述至少一个后续帧(如果有的话)的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；确定至少一个色度内容相关的多项式(例如，包括至少一个色度内容相关的多项式的色度帧解(chroma frame solution))；基于所述统计滑动窗口的所述至少一个色度内容相关的多项式来确定集中趋势色度前向整形多项式；以及基于所述集中趋势色度前向整形多项式来生成一组色度多元多重回归系数。
在本公开的第三方面，一种实时前向整形的方法，包括：选择具有当前帧和至少一个先前帧的统计滑动窗口，其中所述统计滑动窗口以所述当前帧为索引。在所述第三方面，所述方法进一步包括：确定所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的统计值；如果所述至少一个先前帧和所述当前帧的所确定的统计值在预定阈值内，则在当前场景中包括所述至少一个先前帧；以及如果所述至少一个先前帧和所述当前帧的所确定的统计值大于所述预定阈值或者如果所述至少一个先前帧不在统计滑动窗口内，则从当前场景中排除所述至少一个先前帧。所述第三方面另外包括：基于所述当前场景内的帧中的所述当前帧和所述至少一个先前帧的所确定的统计值来确定至少一个噪声参数；基于所述当前场景内的帧中的所述当前帧和所述至少一个先前帧的所确定的统计值来确定至少一个亮度传递函数；基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数；如果所述至少一个先前帧在所述当前场景内，则选择具有所述当前帧和所述至少一个先前帧的集中趋势滑动窗口；以及基于所述集中趋势滑动窗口的所述至少一个亮度前向整形来确定集中趋势亮度前向整形函数。
在本公开的第四方面，一种实时前向整形的方法，包括：分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧(如果有的话)、以及可选地所述至少一个后续帧(如果有的话)的EDR上限的统计值；基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数将所述EDR上限映射到SDR上限；确定所述统计滑动窗口的色度内容相关的多项式；以及基于所述色度内容相关的多项式生成一组色度多元多重回归系数。
在本公开的第五方面，一种实时前向整形的方法，包括：分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧(如果有的话)、以及可选地至少一个后续帧(如果有的话)的扩展动态范围(EDR)上限的统计值；基于所述集中趋势亮度前向整形函数将所述EDR上限映射到相应的标准动态范围(SDR)上限；基于所述SDR上限来确定至少一个色度内容相关的多项式(例如，包括至少一个色度内容相关的多项式的色度帧解)；基于所述统计滑动窗口的所述至少一个色度内容相关的多项式来确定集中趋势色度前向整形多项式；以及基于所述集中趋势色度前向整形多项式来生成一组色度多元多重回归系数。
在本公开的第六方面，一种实时前向整形的装置，包括：统计滑动窗口生成器，所述统计滑动窗口生成器选择具有当前帧、至少一个先前帧和至少一个后续帧的滑动窗口；统计评估器，所述统计评估器耦接到所述统计滑动窗口生成器，确定所述统计滑动窗口的所述当前帧、所述至少一个先前帧和所述至少一个后续帧的统计值；场景切割检测监视器，所述场景切割检测监视器耦接到所述统计滑动窗口生成器，基于所述当前帧的所述统计评估器的输出来确定当前场景，并且确定所述至少一个先前帧是否是所述当前场景的一部分以及所述至少一个后续帧是否是所述当前场景的一部分。在本公开的第五方面，亮度传递函数映射器，耦接到所述场景切割检测监视器，基于所述至少一个当前帧、所述至少一个先前帧(如果在所述当前场景内的话)和所述至少一个后续帧(如果在所述当前场景内的话)的所确定的统计值来确定亮度传递函数映射曲线；噪声检测器，耦接到所述场景切割检测监视器、基于所述当前帧、所述至少一个先前帧(如果在所述当前场景内的话)、所述至少一个后续帧(如果在所述当前场景内的话)的所确定的统计值来确定噪声参数；亮度前向整形器，耦接到所述亮度传递函数映射器和所述噪声检测器，基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数；集中趋势滑动窗口生成器，选择所述当前帧、所述至少一个先前帧(如果是所述当前场景的一部分的话)、以及所述至少一个先前帧(如果是所述当前场景的一部分的话)的集中趋势滑动窗口；以及集中趋势亮度前向整形器，耦接到所述亮度前向整形器，基于所述集中趋势滑动窗口的所述至少一个亮度前向整形函数来确定集中趋势亮度前向整形函数。这个方面还可以包括对亮度前向整形函数求逆的后向整形器。
在本公开的第七方面，扩展动态范围分析器，分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧(如果有的话)、以及可选地所述至少一个后续帧(如果有的话)的EDR权重和EDR上限中的至少一个的统计值；以及桥映射器，耦接到所述扩展动态范围分析器，基于所述集中趋势亮度前向整形函数将EDR权重和EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限。本公开的第六方面还包括：色度帧求解器，所述色度帧求解器耦接到所述桥映射器，确定至少一个色度内容相关的多项式(例如，包括至少一个色度内容相关的多项式的色度帧解)；色度多项式线性非线性组合器，所述色度多项式线性非线性组合器耦接到所述色度帧求解器、基于所述统计滑动窗口的所述至少一个色度内容相关的多项式来确定集中趋势色度前向整形多项式；以及色度整形器，所述色度整形器耦接到所述色度多项式线性非线性组合器，并且被配置成接收经整形的亮度以确定经整形的色度；以及色度多元多重回归(MMR)确定器，所述色度多元多重回归确定器耦接到所述色度多项式线性非线性组合器、基于所述集中趋势色度前向整形多项式来生成一组色度MMR系数。
在本公开的第八方面，一种实时前向整形的装置，包括：统计滑动窗口生成器，所述统计滑动窗口生成器选择当前帧和至少一个先前帧的滑动窗口；统计评估器，所述统计评估器耦接到所述统计滑动窗口生成器，确定所述统计滑动窗口的所述当前帧和所述至少一个先前帧的统计值；场景切割检测监视器，所述场景切割检测监视器耦接到所述统计滑动窗口生成器，基于所述当前帧的所述统计评估器的输出来确定当前场景，并且确定所述至少一个先前帧是否是所述当前场景的一部分；亮度传递函数映射器，所述亮度传递函数映射器耦接到所述场景切割检测监视器，基于所述至少一个当前帧和所述至少一个先前帧(如果在所述当前场景内的话)的所确定的统计值来确定亮度传递函数映射曲线；噪声检测器，所述噪声检测器耦接到所述场景切割检测监视器，基于所述当前帧和所述至少一个先前帧(如果在所述当前场景内的话)的所确定的统计值来确定噪声参数；亮度前向整形器，所述亮度前向整形器耦接到所述亮度传递函数映射器和所述噪声检测器，基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数；集中趋势滑动窗口生成器，所述集中趋势滑动窗口生成器选择具有所述当前帧、所述至少一个先前帧(如果是所述当前场景的一部分的话)、以及所述至少一个先前帧(如果是所述当前场景的一部分的话)的集中趋势滑动窗口；以及集中趋势亮度前向整形器，所述集中趋势亮度前向整形器耦接到所述亮度前向整形器，基于所述集中趋势滑动窗口的所述至少一个亮度前向整形函数来确定集中趋势亮度前向整形函数。
在本公开的第九方面，扩展动态范围分析器，分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧(如果有的话)和所述至少一个先前帧(如果有的话)的所述统计滑动窗口内的EDR上限的统计值；桥映射器，耦接到所述扩展动态范围分析器，基于所述集中趋势亮度前向整形函数将所述EDR上限映射到SDR上限；色度帧求解器，耦接到所述桥映射器，确定至少一个色度内容相关的多项式(例如，包括至少一个色度内容相关的多项式的色度帧解)；色度整形器，耦接到所述色度帧求解器并且被配置成接收经整形的亮度以确定经整形的色度；以及色度多元多重回归(MMR)确定器耦接到所述桥映射器，生成一组色度MMR系数。
如本文所使用的，术语MMR是指多颜色通道多元回归(multiple regression)预测器，由G-M.Su等人在美国专利8,811,490中首次讨论，所述美国专利通过引用并入本文，其中在具有多个颜色分量的图像中，可以使用来自多个颜色分量的像素值的线性和/或非线性组合来预测一个颜色分量的像素。
引言
实时单层后向兼容(SLBC)编解码器的传统体系架构通常通过现场内容映射单元来生成参考标准动态范围(SDR)并且使用近似来生成SDR，这也使得SDR是可逆的。执行近似以确定扩展动态范围(EDR)数据集。此方法可能是计算密集型的并导致延迟。可逆SDR的直接生成可以通过利用时间上接近当前帧的数据以及利用平均处理时间在特定的帧数量之内的技术来最优地实现。
图1描绘了SLBC 100中的实时整形器，其可以在帧缓冲器110中接收12+比特照相机图像，所述帧缓冲器110可以是环形缓冲存储器等。实时整形器114可利用用户(例如着色器)偏好输入112(诸如提升、增益、伽马(LGG)或斜率、偏移、次幂(SOP))。实时整形器114可以根据相邻帧的统计值将输入信号整形为10比特域、将所述10比特整形的帧存储在缓冲器116中、并且将所述10比特视频输出到编码器118以输出比特流120，所述缓冲器116可以是环形缓冲存储器等。实时整形器114可以输出元数据122。前向和后向整形函数可以被实时确定。
经整形的帧可以存储在10比特整形帧缓冲器中，所述缓冲器可以是环形缓冲存储器等，视频编码器(例如，高效视频编码(HEVC))可以获取并编码所述经整形的帧。元数据参考图片单元(RPU)信号可以从实时整形器输出。如果比特流和元数据要被多路复用，则可以添加多路复用模块。本领域技术人员可以理解，传入和传出比特的数量可以任意设置。
对实时整形器的挑战可能包括高度动态场景和用户调整。最初，单层后向兼容编解码器被构建为基于场景的，以促进视频压缩以及用于运动补偿的时间一致性。为了执行实时整形，在本公开中提出了一种新的体系架构和算法。
图2描绘了总整形流程200。在这个示例流程中，输入亮度视频帧210，并且利用统计和集中趋势滑动窗口来确定亮度的前向整形212，这将在下面详细讨论。与亮度视频帧输入并行地，色度视频帧被输入214。亮度前向整形函数被用来确定色度前向整形函数216。利用亮度整形函数和色度整形函数来实现标准动态范围(SDR)输出218。
亮度后向整形是亮度前向整形函数220的逆函数。色度后向整形利用基于色度前向整形函数的色度多元多重回归(MMR)系数222。经前向整形的SDR亮度、经整形的SDR色度和色度MMR分量被用来确定经后向整形的EDR色度。
各单个帧具有与所述帧相关联的一组统计值。随着时间从先前帧向前移至后续帧，如果帧统计值改变，则检测到场景边界。比较帧的统计值并确定场景转变。具有相似统计特性的帧被分组到一个场景中。在这种情境中，可以通过那些统计特性相差小于预定阈值来评估具有相似统计特性的帧。如果统计特性大于预定阈值，则帧可以被视为是不相似的，并且可以属于不同的场景。
利用基于帧的统计滑动窗口(图3A和3B)，所述统计滑动窗口在当前帧做索引时做索引。这个统计滑动窗口的基本设置是具有A个后续帧和L个先前帧。如果这个统计滑动窗口内的帧与当前帧不在同一场景中，则将排除这些帧。关于后续帧，如果存在未来场景中的帧，例如不在当前场景中，则排除那些帧。关于先前帧，如果存在先前场景中的帧，例如不在当前场景中，则那些帧也被排除。换句话说，在这个统计滑动窗口方法中，如果所述帧与当前统计滑动窗口内的当前帧在同一场景中，则所述帧在当前场景中。
统计滑动窗口通过场景开始和最大先前缓冲器大小而在先前方向上受到约束，统计滑动窗口通过场景结束和最大后续延迟而在后续方向上受到约束。在这个示例中，缓冲器从当前帧j向过去(backward)延伸而回到先前帧j-L，并且从当前帧j向未来(ahead)延伸而到后续帧j+A。统计滑动窗口通过场景边界和最大先前缓冲器大小而在先前方向上被界定，通过场景边界和最大后续延迟而在后续方向上被界定。
集中趋势滑动窗口也将被利用，并且在当前帧做索引时也将做索引。这个统计滑动窗口的基本设置是使j-L个先前帧延伸到当前帧j。关于先前帧，如果存在先前场景中的帧，例如不在当前场景中，则将排除那些帧。集中趋势滑动窗口也通过场景边界和最大先前缓冲器大小在先前方向上界定。
图3A和3B描绘了统计滑动窗口314和集中趋势滑动窗口316。两个窗口相对于当前帧j 320滑动。最大先前缓冲器大小310将L个先前帧扩展到过去，并且最大后续延迟326将A个后续帧扩展到未来。统计滑动窗口314用于亮度传递函数、噪声检测器以及对EDR上限和权重的计算。统计上相似的帧(例如具有在当前帧的预定阈值内的统计差值)被视为在当前帧的当前场景内并且被包括在内。排除具有与当前帧不相似的统计值的那些帧，例如具有大于预定阈值的统计差值的帧。场景开始于318，当前帧是320，传入帧是322，以及场景结束是324。
通常，统计滑动窗口314通过最大先前缓冲器大小310和场景开始318在先前方向上被界定，并且通过场景结束324和最大后续延迟326在后续方向上被界定。
通常，集中趋势滑动窗口316通过最大先前缓冲器大小310和场景开始318在先前方向上被界定，并且通过当前帧320在后续方向上被界定。
图3A描绘了最大先前缓冲器大小310允许缓冲器在先前方向上从前一场景中开始的示例。在这个示例中，集中趋势滑动窗口316和统计滑动窗口314通过场景开始318在先前方向上被界定。集中趋势滑动窗口316通过当前帧320在后续方向上被界定。统计滑动窗口314通过最大后续延迟326在后续方向上被界定。
图3B描绘了场景开始318在先前方向上延伸超过最大先前缓冲器大小310的示例，因此在这个示例中，集中趋势滑动窗口316和统计滑动窗口314通过最大先前缓冲器大小310在先前方向上被界定。在这个示例中，集中趋势滑动窗口将通过当前帧320在后续方向上被界定。统计滑动窗口314将通过场景结束324在后续方向上被界定。
亮度整形的解被用于色度整形。色度整形是部分地基于导出的亮度整形函数和原始扩展动态范围(EDR)数据而被导出的。为了提供时间稳定性，分量经由两级处理(帧统计值级和集中趋势滑动窗口级)而被处理。
关于后向整形，亮度后向整形函数是基于亮度前向整形函数的逆而被导出的。确定一组色度多元多重回归(MMR)分量。色度MMR的操作采取三个通道输入(Y、Cb、Cr)和参考色度通道(例如，Cb)，然后执行优化以找到一组色度MMR系数，所述色度MMR系数最小化预测色度(由MMR预测生成)和参考色度之间的差。经前向整形的SDR亮度、经整形的SDR色度和色度MMR分量被用来确定经后向整形的EDR色度。
亮度整形
图4描绘了示例体系架构，其实施例可以基于帧统计值级和集中趋势滑动窗口级。帧统计值级具有统计滑动窗口(先前+当前帧+后续)，其在场景边界处重置。集中趋势滑动窗口级具有集中趋势滑动窗口(先前+当前帧)。所述实施例可以包括用于存储滑动窗口实施方式的数据的几个模块和缓冲器。在一些实施方式中，统计滑动窗口可以仅包括当前帧和至少一个先前帧，其在场景边界处重置。
视频帧410的输入亮度被接收并被存储在存储器436中，以在所述过程中之后被利用。
在帧统计值级内，基于帧的场景特征模块412接收输入亮度，确定关于场景特征的帧统计值，并将所述统计值的所述部分存储在场景切割缓冲器420C中。由场景切割检测器模块执行的场景切割检测模块416检查当前帧和先前帧之间的帧统计值，并且如果统计值相似，则在当前场景中包括该先前帧；如果统计值不相似，则从当前场景中排除该先前帧。场景切割检测器模块416还检查当前帧和后续帧之间的帧统计值，并且如果统计值相似，则在当前场景中包括该后续帧，如果统计值不相似，则从当前场景中排除该后续帧。
在帧统计值级内，由统计评估器执行的基于帧的亮度传递统计值模块418接收视频帧的输入亮度，并确定与亮度传递函数相关联的统计值。与亮度传递函数相关联的统计值被存储在亮度传递统计值缓冲器420B中。亮度传递函数映射器422从亮度传递统计值缓冲器420B接收统计滑动窗口内的数据，并且利用来自包括在当前场景中的那些帧的数据，排除来自由场景变化检测器416确定的不在当前场景内的那些帧的数据，以确定亮度传递函数。亮度传递函数可以包括动态色调映射(DTM)、颜色体积变换、感知量化信号到伽马的映射等。针对亮度的用户偏好调整参数(诸如提升、增益、伽马(LGG)或斜率、偏移、次幂(SOP))也可以在这个模块中采取以修改亮度传递函数。统计滑动窗口通过场景边界和最大先前缓冲器大小在先前方向上被界定，并且通过场景边界和最大后续延迟在后续方向上被界定。
在帧统计值级内，基于帧的基于块的标准偏差模块424接收视频帧的输入亮度，并确定测量噪声的基于帧的基于块的标准偏差(BLK-STD)424。BLKSTD缓冲器420A用于存储亮度范围的最小比特深度。由噪声检测器执行的基于实时块的标准偏差(RT BLKSTD)模块428接收来自BLKSTD缓冲器420A的在统计滑动窗口内的数据，并且利用来自包括在当前场景中的那些帧的数据，并且排除来自由场景变化检测器416确定的不包括在当前场景内的那些帧的数据，以确定RT BLKSTD。
在帧统计值级内，亮度前向整形查找表(LUT)模块430由亮度前向整形器执行，所述亮度前向整形器被用来基于来自亮度传递函数映射器422的亮度传递函数和来自噪声检测器428的基于实时块的标准偏差(RT BLKSTD)来生成亮度前向整形LUT或函数。
在帧统计值级内，缓冲器包括BLKSTD缓冲器420A、亮度传递统计值缓冲器420B和场景切割缓冲器420C。场景变化检测器416根据由其从场景切割缓冲器420C收集的数据来确定是否检测到场景切割。这个场景切割检测将为亮度传递函数模块422和RT BLKSTD模块428来部分地确定统计滑动窗口的位置。场景检测器部分地确定统计滑动窗口的位置和大小。在亮度传递函数模块422中，存在来自亮度传递统计值缓冲器420B和场景变化检测器416的两个输入。在RT BLKSTD模块428中，输入来自BLKSTD缓冲器420A和场景变化检测器416。
统计滑动窗口由场景切割位置、最大先前缓冲器大小和最大后续延迟确定。在针对亮度传递函数模块422确定统计滑动窗口的位置之后，针对场景确定亮度传递函数。在针对RT BLKSTD模块428确定统计滑动窗口的位置之后，针对场景确定BLK-STD。亮度前向整形模块430接收来自亮度传递函数模块422和RT BLKSTD模块428的输入。
在集中趋势滑动窗口级内，集中趋势滑动窗口432存储来自亮度前向整形查找表430的输出。
由集中趋势亮度前向整形器执行的集中趋势亮度前向整形查找表(LUT)模块434利用来自包括在当前场景中的那些帧的数据并排除来自不包括在当前场景内的那些帧的数据，来测量当前帧和先前帧的亮度前向整形函数的集中趋势。集中趋势亮度前向整形查找表(LUT)模块434从集中趋势滑动窗口432接收数据。
亮度前向整形模块438接收存储在存储器436中的输入亮度视频帧，并从模块434接收集中趋势亮度前向整形LUT，从而产生用于亮度前向整形438的前向查找表。
在集中趋势滑动窗口级内，亮度后向整形模块440确定前向整形函数的逆曲线，以产生亮度后向整形近似，所述近似可以输出到参考图片单元(RPU)446。
基于帧的亮度前向整形LUT
基于帧的统计滑动窗口解利用来自统计滑动窗口的帧统计值。在当前帧做索引时，统计滑动窗口做索引。这个统计滑动窗口的基本设置是具有A个后续帧和L个先前帧。如果统计滑动窗口内的帧在当前帧的当前场景中，则所述帧将被包括在内。如果统计滑动窗口内的帧不在当前帧的当前场景中，则所述帧将被排除。这个包括和排除的过程适用于先前帧和后续帧两者。换句话说，在这个统计滑动窗口方法中，如果帧与当前统计滑动窗口内的当前帧在同一场景内，则所述帧被视为在当前场景中。
基于帧的统计滑动窗口解将提供亮度前向整形LUT，并且利用亮度前向整形LUT解将找到集中趋势滑动窗口解。
基于实时块的标准偏差
如本文所使用的，术语“基于块的标准偏差(BLKSTD)”在2016年5月10日提交的美国临时专利申请第62/334,099号中定义，该美国临时专利申请题为“针对高动态范围图像的基于块的内容自适应整形(Block-Based Content-Adaptive Reshaping for HighDynamic Range Images)”，其也作为美国专利申请公开US 2017/0221189被公布，其公开内容通过引用以其全文并入本文。
将第j个输入图像的第p个像素表示为具有归一化值[0，1](或者可替代地，[0，1))的Ij(p)。这个帧中的极小值、极大值和平均值表示为vL,j、vH,j和vM,j。
vL,j＝min{Ij(p)} (1)
vH,j＝max{Ij(p)} (2)
vM,j＝mean{Ij(p)}。 (3)
输入图像Ij(p)被划分成多个大小为u×u的非重叠块。将第k个块内的像素集表示为θj,k。第k个块中像素的均值给出为：
Figure BDA0002003173660000141
然后确定尺寸为u×u的第k个块的基于块的标准偏差stdj,k；
Figure BDA0002003173660000142
stdj,k可以视为是第j个帧的第k个块内的像素的相关联的标准偏差。也就是说，第j个帧的第k个块内的像素具有相关联的标准偏差stdj,k。在这个阶段，可以确定帧j的像素的标准偏差图Hj(p)。针对帧j中的像素p，Hj(p)将产生所述像素的相关联标准偏差的值。为了构建下限(比特深度下限)，Hj(p)中的一些像素可能会被忽视。以下像素可以不被包括在内：
·对应于信箱的部分可以不被考虑，因为那些像素具有恒定的Ij(p)(例如，所有那些像素都与黑色像素相关)。恒定部分将具有零标准偏差和高比特深度。使用那些像素来确定比特深度下限将会偏移最终比特深度。
·在帧的右下端的像素可以被排除，其对应的块具有小于16×16的尺寸。
将有效像素的像素索引集表示为Ωj。令i为Ωj内的一个索引。因此，所述有效标准偏差测量结果集被表示为：
Hj(i),i∈Ωj。 (6)
针对帧j，第m个仓的噪声测量结果可以表示为bj,m，并且可以通过以下过程获得。
在第一阶段，输入图像像素强度可以被划分为具有相等间隔W(例如，W＝65536/M)的M个仓，以覆盖整个动态范围。然后，可以如以下找到仓中的平均标准偏差。
针对第m个仓(其中，m＝0，1，…，M-1)，帧j的原始图像中的像素被识别Ij(i),i∈Ωj，其像素值在范围
Figure BDA0002003173660000151
中。针对单个仓，找到仓内像素的平均标准偏差bj,m。将这个平均值表示为bj,m，产生：
Figure BDA0002003173660000152
bj,m＝mean{Hj(i)|i∈Ψj,m} (8)
因此，可以找到M个数据仓{bj,m}。
可以以类似于刚刚针对BLK-STD描述的方式，利用在统计滑动窗口内获得的参数，来构建亮度前向整形LUT。
基于L+A+1个帧的统计值，确定亮度仓m的帧j-L(先前帧)到帧j+A(后续帧)的最小噪声水平。如果场景开始处的帧没有完整的L个帧，那么场景内的可用帧将被利用。这个统计滑动窗口的起始帧索引为K＝max(j-L，FS)，其中FS是场景开始的帧号(例如，FS＝0)，并且后续帧索引被表示为
Figure BDA0002003173660000153
其中FE是场景结束的帧号。换句话说，K和
Figure BDA0002003173660000161
由场景切割边界控制。滑动窗口上的平均噪声测量结果(滑动窗口的噪声参数)为：
Figure BDA0002003173660000162
统计滑动窗口内极小值的最小水平、平均值的平均值(均值水平)、以及极大值的最大水平被导出为：
Figure BDA0002003173660000163
其中vL,f是针对帧f的最小值，并且
Figure BDA0002003173660000164
是最小值中的最小值，
Figure BDA0002003173660000165
其中vH,f是帧f的最大值，并且
Figure BDA0002003173660000166
是最大值中的最大值，
Figure BDA0002003173660000167
其中vM,f是针对帧f的均值，并且
Figure BDA0002003173660000168
是平均值的均值。
滑动窗口内的比特深度下限
噪声水平(噪声参数)
Figure BDA0002003173660000169
然后可以被转换为当前帧所需的比特深度
Figure BDA00020031736600001610
例如经由
Figure BDA00020031736600001611
其中f(·)可以是经验函数。
所需的比特深度
Figure BDA00020031736600001612
可以由EDR比特深度BI和SDR比特深度BT归一化，以获得所需码字的归一化量
Figure BDA00020031736600001613
例如经由
Figure BDA00020031736600001614
在获得每个仓所需码字的归一化量之后，这可以从M个仓扩展到EDR域中的所***字，例如经由
Figure BDA00020031736600001615
其中，(m-1)W≤i＜mW
也就是说，针对EDR域中的每个码字(像素值)i，所需码字的归一化量(在SDR域中)可以由EDR域中包含所述码字的仓的所需码字的归一化量给出。
Figure BDA0002003173660000171
是所需码字的数量的下限。任何传递曲线(量化曲线)都应该满足这个下限，以避免生成轮廓伪像。
可以使用具有用户(着色器)偏好输入斜率Sj、偏移Oj和次幂Pj的动态色调映射(DTM)曲线
Figure BDA0002003173660000172
来为M个仓构建亮度传递函数。通常，亮度传递函数可以取决于极小值的最小水平、平均值的均值水平、以及极大值的最大水平。亮度传递函数还可以通过PQ转换为伽马函数(ETF)。针对帧j，亮度传递函数可以基于：
Figure BDA0002003173660000173
为了在SDR域中后向兼容，映射范围可以被约束在SMPTE范围。令
Figure BDA0002003173660000174
和
Figure BDA0002003173660000175
分别为最小值和最大值，即，
Figure BDA0002003173660000176
并且
Figure BDA0002003173660000177
如果帧为纯黑色，则LUT中的最小值和最大值可以是相同的。LUT中的值可以直接剪切到SMPTE范围
Figure BDA0002003173660000178
Figure BDA0002003173660000179
其中，clip3(x，L，H)＝min(max(x，L)，H) (16)
如果
Figure BDA00020031736600001710
不同于
Figure BDA00020031736600001711
则亮度前向整形LUT范围
Figure BDA00020031736600001712
可以线性缩放到SMPTE范围
Figure BDA00020031736600001713
其中
Figure BDA00020031736600001714
并且
Figure BDA00020031736600001715
等式(18)中的常数由SMPTE标准限定。线性缩放应用于亮度前向整形LUT中的元素：
Figure BDA0002003173660000181
输出T(j)值被剪切到SMPTE范围
Figure BDA0002003173660000182
确定目标映射范围
基于
Figure BDA0002003173660000183
和
Figure BDA0002003173660000184
可以在求得亮度传递函数之后求出极端值：
Figure BDA0002003173660000185
Figure BDA0002003173660000186
将归一化的可用亮度传递函数码字范围限定为：
Figure BDA0002003173660000187
其中BT是SDR比特深度。这是可以在前向整形过程中使用的码字预算。
每仓的目标比特深度
T(j)(i)与T(j)(i-1)之间的差分值被求得作为输入码字中的比特深度。
Figure BDA0002003173660000188
设
Figure BDA0002003173660000189
Figure BDA00020031736600001810
选择每仓的最大值
针对单个输入码字，存在两种不同的比特深度：(1)来自噪声测量结果的
Figure BDA00020031736600001811
和(2)来自亮度传递函数的
Figure BDA00020031736600001812
根据哪一个值更大来构建两个集合：
Figure BDA00020031736600001813
Figure BDA00020031736600001814
针对输入码字i，如果亮度传递函数比特深度
Figure BDA00020031736600001815
不大于di (j)，(即i∈Φ(j))，则意味着有机会观察到不被寻求的带状伪像。因此，di (j)用在这个输入码字中：
Figure BDA0002003173660000191
其中i∈Φ(j)。 (25)
确定额外分配的码字
额外分配的码字可以被确定为：
Figure BDA0002003173660000192
额外分配码字的减除
这些额外的码字将从集合Ω(j)中减除。一个简单的方式是等效地减少固定数量的码字，
Figure BDA0002003173660000193
Figure BDA0002003173660000194
其中i∈Ω(j)。 (27)
注意，在此减除之后，可能有
Figure BDA0002003173660000195
通过也为这些像素确定额外分配的码字，这种情况将被避免。
平滑曲线
可以使用简单的移动平均滤波器，其覆盖两个仓宽度，即2W。以下示出一个示例：
Figure BDA0002003173660000196
其中 (28)
Figure BDA0002003173660000197
构建帧级前向整形LUT
令cL，cH表示SDR域中的最小亮度值和最大亮度值。前向整形LUT可以基于平滑过的曲线经由与SDR域中目标较低亮度(即cL)的偏移的累积求和来建立。将帧j处的这个LUT表示为FLUTj。这个FLUTj是单调非递减的。
集中趋势水平亮度整形LUT
如果帧统计值级LUT(FLUTj)被应用于整形EDR帧，则在时域可能会产生闪烁问题。统计滑动窗口中的极大EDR值的最大水平
Figure BDA0002003173660000201
和极小EDR值的最小水平
Figure BDA0002003173660000202
可能不同于
Figure BDA0002003173660000203
和
Figure BDA0002003173660000204
这针对帧j和帧j+1产生不同的帧统计值级LUT，从而导致潜在的闪烁问题。
一个解决方案是取统计滑动窗口中的极大和极小EDR值的平均值：
Figure BDA0002003173660000205
Figure BDA0002003173660000206
然后将它们***亮度传递函数，例如DTM算法。此方法会导致信息被剪切，从而影响可逆性。很有可能是
Figure BDA0002003173660000207
大于vL,j，和/或
Figure BDA0002003173660000208
小于vH,j，则FLUTj会剪切掉vL,j和vH,j的信息。在后向整形中不能恢复所述信息。
为了保存信息，我们坚持如(10)-(12)中限定的统计滑动窗口中的最小值、最大值和平均值：
Figure BDA0002003173660000209
Figure BDA00020031736600002010
Figure BDA00020031736600002011
为了减少闪烁，对当前帧和先前帧的FLUTj应用求平均：
Figure BDA00020031736600002012
对于所有v。 (32)
FLUTf(v)是帧f的帧统计值级LUT，并且FLUT(j)(v)是集中趋势亮度前向整形函数。为了减少延迟，后续帧不被用于整形求平均。
经整形的信号可以经由FLUT生成：
Figure BDA00020031736600002013
其中
Figure BDA00020031736600002014
是帧j中像素i的原始EDR亮度，并且
Figure BDA00020031736600002015
是经前向整形的SDR亮度。
第一***中的亮度调制的色度前向整形
图5描绘色度整形500的概述。在第一示例中，亮度调制的整形函数510结合原始扩展动态范围(EDR)数据512用于确定经整形的标准动态范围(SDR)输出514。
图6描绘了Cb通道的色度前向整形600的第一示例。可以以类似的方式执行Cr通道。在这个示例中，输入亮度视频帧410被输入，如先前所指出的，确定集中趋势亮度前向整形LUT 434，并且亮度经历整形438以产生经整形的亮度610。
在帧统计值级，输入色度视频帧614被输入。将跟随两条轨道，由扩展动态范围分析器执行的确定EDR上限616和EDR权重628，对统计滑动窗口内的当前帧、至少一个后续帧(如果有的话)和至少一个先前帧(如果有的话)执行分析。
在EDR上限轨道中，EDR上限被确定616并被收集在EDR上限缓冲器618B中，并且对上限求平均620；注意，可以利用除求平均之外的其他集中趋势特性。利用集中趋势亮度前向整形LUT 434和平均的EDR上限，执行从EDR到SDR 622的映射，并确定SDR上限624。
在EDR权重轨道中，确定EDR权重628并将其存储在EDR权重缓冲器618A中，对EDR权重求平均632(例如找到集中趋势)，并且利用集中趋势亮度前向整形LUT和平均EDR权重，执行从EDR到SDR的映射634，并且确定SDR权重636。622和634的EDR到SDR映射函数由桥映射器执行。对EDR权重的求平均632仅仅是可以找到的任何数量的集中趋势度量的一个示例。
SDR权重636和SDR上限624被用来确定色度前向整形缩放多项式626，由色度帧求解器来执行。
在集中趋势滑动窗口级，色度前向整形多项式626从帧统计值级输入到集中趋势滑动窗口638中，在所述集中趋势滑动窗口中找到前向整形多项式曲线640的集中趋势，被称为色度多项式线性非线性组合器。集中趋势前向整形多项式曲线被拟合到集中趋势曲线646，根据所述集中趋势曲线，色度MMR系数被确定(由色度MMR确定器执行)648并且被输出到参考图片单元(rpu)224。
集中趋势(例如，线性/非线性组合的)前向整形多项式曲线640与经整形的亮度610和输入色度视频帧614一起被用来确定色度前向整形(称为色度整形器)642，产生经整形的色度644，所述经整形的色度与经整形的亮度612一起产生SDR数据输出218。
图7描绘了Cb通道的色度前向整形700的第二示例。可以以类似的方式执行Cr通道。图7是图6的方法的修改版本，其中仅统计分析EDR上限。在这个示例中，输入亮度视频帧410被输入，如先前所指出的，确定集中趋势亮度前向整形LUT 434，并且亮度经历整形438以产生经整形的亮度610。
在帧统计值级，输入色度视频帧614被输入。在这个示例中，仅EDR上限616由扩展动态范围分析器统计地分析，对在统计滑动窗口内的当前帧、至少一个后续帧(如果有的话)和至少一个先前帧(如果有的话)执行分析。
EDR上限被确定616并被收集在EDR上限缓冲器618B中，并且上限被求平均620；注意，可以利用除求平均之外的其他集中趋势特性。利用集中趋势亮度前向整形LUT 434和平均的EDR上限，执行从EDR到SDR的映射622，并确定SDR上限624。SDR上限624被用来确定色度前向整形缩放多项式626，由色度帧求解器来执行。
在集中趋势滑动窗口级，色度前向整形多项式626从帧统计值级输入到集中趋势滑动窗口638中，在所述集中趋势滑动窗口中找到前向整形多项式曲线640的集中趋势，被称为色度多项式线性非线性组合器。集中趋势前向整形多项式曲线被拟合到集中趋势曲线646，根据所述集中趋势曲线，色度MMR系数被确定(由色度MMR确定器执行)648并且被输出到参考图片单元(rpu)224。
集中趋势(例如，线性/非线性组合的)前向整形多项式曲线640与经整形的亮度610和输入色度视频帧614一起被用来确定色度前向整形(称为色度整形器)642，产生经整形的色度644，所述经整形的色度与经整形的亮度612一起产生SDR数据输出218。
帧j中的像素i的经前向整形的SDR色度(通道Cb)为
Figure BDA0002003173660000221
并且帧j中的像素i的原始EDR色度(通道Cb)为
Figure BDA0002003173660000222
经亮度调制的色度前向整形可以基于经整形的SDR亮度
Figure BDA0002003173660000223
来执行：
Figure BDA0002003173660000224
其中
Figure BDA0002003173660000225
是帧j中的像素i的经前向整形的SDR色度(通道Cb)，并且
Figure BDA0002003173660000226
是帧j中的像素i的原始EDR色度(通道Cb)。在下文中，通道Cb可以用作解释色度前向和后向整形的示例。通道Cr可以以相同的方式处理。
帧j的经亮度调制的缩放函数
Figure BDA0002003173660000227
可以采取
Figure BDA0002003173660000228
的KF次多项式函数的形式：
Figure BDA0002003173660000229
其中
Figure BDA0002003173660000231
是多项式系数并且KF＝2(二次多项式)。还可以确定参考多项式系数{αr,k}。参考多项式可以是亮度相关的色度缩放因子，其是从训练数据集训练的二次多项式。
内容自适应可逆整形函数
经整形的SDR可以被用来导出极大(maximal)缩放因子以维持EDR可逆性。为了确定经整形的SDR，可以利用亮度前向整形函数。极大缩放因子可以被滤波并沿时域平滑化以用于实时确定。
图8描绘了内容相关的多项式800。在色度溢出或下溢的情况下，它可能会被剪切到经整形的域。在这个情况下，为亮度范围812定位极大缩放因子(上限)。新多项式将通过最小化参考814与新多项式816之间的加权距离而被确定，使得新多项式由零和上限界定。加权因子将是仓810中的像素数。
EDR域中的极大缩放因子
亮度可以被划分为ME个范围，并收集EDR亮度直方图：
Figure BDA0002003173660000232
其中m＝0,1,…,ME-1。 (36)
其中Ψj,m是值在
Figure BDA0002003173660000233
之间的一组像素，并且帧j中的像素i的原始EDR色度为
Figure BDA0002003173660000234
可以确定仓中的极大色度值：
Figure BDA0002003173660000235
其中η的经验值针对全范围输出为0.85，并且η针对SMPTE范围输出为0.95。
仓的色度缩放因子的上限(EDR上限)可以针对全范围被确定为
Figure BDA0002003173660000236
并且针对SMPTE范围被确定为
Figure BDA0002003173660000237
其中qmax的经验值为10。可以收集统计滑动窗口中帧的EDR上限，并对导出的EDR上限求平均：
Figure BDA0002003173660000238
其中，m＝0，1，…，ME-1。 (38)
其中
Figure BDA0002003173660000239
为统计滑动窗口内的帧的EDR上限。
SDR域中的最大缩放因子
可以通过使用帧j(当前帧)的亮度FLUT来将EDR上限映射到SDR。来自EDR亮度的x轴可以被改变为经整形的SDR亮度。ME在[0 1]之间的EDR域中被均匀采样：
Figure BDA0002003173660000241
其中m＝0,1,...,ME-1。采样的点
Figure BDA0002003173660000242
可以从EDR域映射到具有MS个仓的SDR域：
Figure BDA0002003173660000243
注意，ME大于MS，即较高精度的仓被映射到较低精度的仓。
那么对于n＝0，1，…，MS-1，第n个仓中的索引
Figure BDA0002003173660000244
可以是：
Figure BDA0002003173660000245
其中，n＝0，1，…，MS-1。 (40)
注意，几个
Figure BDA0002003173660000246
可以在相同的仓中，并且一些仓可以是空的。可以通过取EDR上限的最小值来找到SDR上限：
Figure BDA0002003173660000247
其中，n＝0，1，…，MS-1。 (41)
可以根据相邻条件来对串联的空仓
Figure BDA0002003173660000248
进行内插：如果左邻居和右邻居可用于一个空仓，则可以基于最近的左邻居和右邻居来应用双线性插值；如果只有左邻居或只有右邻居可用于空仓(诸如在
Figure BDA0002003173660000249
序列的端部)，则可以复制最近的非空仓的值并且
Figure BDA00020031736600002410
可以是帧j的SDR上限。
前向整形多项式的帧统计值级生成
类似于亮度确定，色度整形函数可以在两个不同的级中被生成。
可以从参考多项式曲线获得MS个样本：
Figure BDA00020031736600002411
Figure BDA00020031736600002412
其中，n＝0，1，…，MS-1。 (43)
可以确定三个点；
点A：(x0,r0) (44)
点B：
Figure BDA0002003173660000251
其中
Figure BDA0002003173660000252
以及
点C：
Figure BDA0002003173660000253
其中
Figure BDA0002003173660000254
可以确定基于帧的多项式系数。如果点B在参考多项式曲线上方或在参考多项式曲线上，即，
Figure BDA0002003173660000255
其中
Figure BDA0002003173660000256
是这个帧的SDR上限和参考多项式：则
Figure BDA0002003173660000257
被利用。
否则，前向整形二次多项式可以通过求解距离优化问题而求出。多项式可以与点A和点B相交，并且具有与参考曲线的最短加权距离。权重可以通过仓中的像素数量来确定。可以确定统计滑动窗口中的帧的平均权重，并且获得EDR域中的权重并将其映射到SDR域。
对于统计滑动窗口中的帧，可以针对直方图Ψj,m确定EDR图像中的仓中的像素的数量：
Figure BDA0002003173660000258
其中m＝0,1,…,ME-1。 (45)
其中Ψj,m如(36)被定义。EDR权重可以在统计滑动窗口上被求平均：
Figure BDA0002003173660000259
其中，m＝0，1，…，ME-1。 (46)
EDR域可以映射到SDR域：
Figure BDA00020031736600002510
其中，n＝0，1，…，MS-1。 (47)
EDR权重可以映射到SDR域：
Figure BDA00020031736600002511
其中，n＝0，1，…，MS-1。 (48)
空仓可以被内插(排除端部仓)，如果两个端部都有空仓，则它们不被内插。可以在非空仓与优化所采取的权重
Figure BDA00020031736600002512
之间对空仓进行内插。内插后，可以基于下式导出非空仓：
Figure BDA00020031736600002513
这将排除两个端部的空仓。
在获得权重之后，可以通过下式优化多项式系数：
Figure BDA0002003173660000261
其中
Figure BDA0002003173660000262
Figure BDA0002003173660000263
Figure BDA0002003173660000264
Figure BDA0002003173660000265
其中，n∈Ωj (52)
Figure BDA0002003173660000266
对于所有n，其中ε≥0。
如果搜索失败，则可以利用一次多项式。系数可以通过求解优化问题(多项式通过点C，并且具有距参考曲线的最短加权距离)而求出：
Figure BDA0002003173660000267
其中 (53)
Figure BDA0002003173660000268
Figure BDA0002003173660000269
Figure BDA00020031736600002610
Figure BDA00020031736600002611
其中，n∈Ωj (56)
Figure BDA00020031736600002612
对于所有n，其中ε≥0。
新的多项式也可以通过距参考曲线的未加权距离获得。在这种情况下，我们可以不收集EDR权重。多项式系数可通过下式获得：
Figure BDA00020031736600002613
其中
Figure BDA00020031736600002614
Figure BDA00020031736600002615
Figure BDA00020031736600002616
Figure BDA0002003173660000271
对于所有n，其中ε≥0。 (60)
如果搜索失败，则可以利用一次多项式。系数可以通过求解优化问题(多项式通过点C，并且具有距参考曲线的最短未加权距离)而求出：
Figure BDA0002003173660000272
其中 (61)
Figure BDA0002003173660000273
Figure BDA0002003173660000274
Figure BDA0002003173660000275
Figure BDA0002003173660000276
对于所有n，其中ε≥0。 (64)
前向整形多项式的集中趋势滑动窗口级生成
当前帧和先前帧的多项式曲线可以被求平均，并将新的多项式拟合到平均的曲线。
如果集中趋势滑动窗口中的当前帧和先前帧的帧系数与参考系数{αr,k}相同，则最终系数可以是{αr,k}。否则，对于当前帧和先前帧，可以获得关于多项式的MS个样本：
Figure BDA0002003173660000277
其中，n＝0，1，…，MS-1。 (65)
针对所述多项式可以对样本求平均：
Figure BDA0002003173660000278
可以对
Figure BDA0002003173660000279
拟合具有系数
Figure BDA00020031736600002710
的二次多项式。拟合将色度前向整形缩放因子平滑化。
注意，只要对所有帧的{xn}相同，就可以通过直接对集中趋势滑动窗口中的系数求平均来减少该确定。{yj,n}可以以形式
Figure BDA00020031736600002711
重写，其中
Figure BDA00020031736600002712
Figure BDA0002003173660000289
可以重写为
Figure BDA0002003173660000281
多项式被拟合到
Figure BDA0002003173660000282
使得
Figure BDA0002003173660000283
其中
Figure BDA0002003173660000284
优化问题可以用公式表示为
Figure BDA0002003173660000285
Figure BDA0002003173660000286
的最小二乘解是：
Figure BDA0002003173660000287
这表明对多项式系数求平均相当于对多项式曲线求平均并将新的多项式拟合到该平均。所述过程可以通过以下求平均过程来简化：
Figure BDA0002003173660000288
可以直接应用导出的多项式作为色度缩放因子。由于亮度值的有限可能性，可能的亮度值可以从多项式中用来建立1D查找表(LUT)。该LUT可以如下确定：
Figure BDA0002003173660000291
其中，l＝0，1，…，L-1 (72)
其中
Figure BDA0002003173660000292
和L可以是1024或2048等，这取决于精度。注意，L是(2*MS)的倍数。
缩放因子可以应用于前向整形：
Figure BDA0002003173660000293
其中
Figure BDA0002003173660000294
即，
Figure BDA0002003173660000295
或者简单地通过取
Figure BDA0002003173660000296
的MSB，这是帧j中的像素i的原始EDR亮度。
图9描绘了着色器控制900，所述着色器控制允许多项式向上或向下移动，只要它满足上限和下限。上限示出为914，多项式910与所述上限相交，可以输入减小的饱和度912以将多项式拉得略低于上限914。除了原始多项式916的降低的饱和度918之外，上限920还可以允许多项式922的增大的饱和度。
后向整形函数
具有2个输入的三阶色度MMR被用于后向整形：
Figure BDA0002003173660000297
其中
Figure BDA0002003173660000298
是帧j中的像素i的后向整形的EDR色度(通道Cb)。色度MMR系数mj＝[mj,0mj,1 … mj,9]T被查找并将被存储和发送到rpu。
关于后向整形函数，在***启动时，可以对于参考前向整形多项式推导色度MMR系数。如果没有上限违反(即，如果参考前向整形多项式没有违反SDR上限)，则参考多项式系数可以用于前向整形，并且色度参考MMR系数用于后向整形。
系数{αr,k}产生缩放因子：
Figure BDA0002003173660000299
其中，n＝0，1，…，MS-1且
Figure BDA00020031736600002910
可以确定亮度仓的逆缩放因子
zn＝1/fr(xn)其中，n＝0，1，…，MS-1。 (77)
可以执行对样本{zn}的曲线拟合，以获得KB次多项式：
Figure BDA0002003173660000301
可以设置如下：KB＝6。 (78)
色度MMR系数mr可以通过mr＝Aβr被确定，其中
Figure BDA0002003173660000302
并且A是由Q.Song等人于2016年5月19日提交的美国临时申请序列号62/338,638(被称为‘638号申请)“针对高动态范围图像的色度整形(Chroma Reshaping for High Dynamic RangeImages)”中规定的转换矩阵，所述申请也作为PCT申请序列号PCT/US2017/033056于2017年5月17日提交，所述申请通过引用以其全文并入本文。
关于帧，如果产生的前向整形多项式与参考多项式相同，则mr可以被用作色度MMR系数。
否则，如果前向整形多项式可以不同于参考多项式，则可以利用内容相关的色度MMR系数。
如果我们已经获得了EDR权重和SDR权重，则可以找到最右边的非空仓：
Figure BDA0002003173660000303
仓索引可以通过dmax剪切：
Figure BDA0002003173660000304
其中dmax是常数。当MS＝64时，dmax的经验值为50。
因为D对应于MS个仓中最右边的非空仓，所以可以执行前向整形1D LUT
Figure BDA0002003173660000305
到MS个样本的下采样：
Figure BDA0002003173660000306
其中
Figure BDA0002003173660000307
是下采样的1D LUT，
并且其中
Figure BDA0002003173660000308
且d＝0，1，…，D， (79)
并且L可以是2*Ms的倍数
因此，样本可以类似于原始样本，即对于d＝n，
Figure BDA0002003173660000311
其中
Figure BDA0002003173660000312
可以确定逆缩放因子：
Figure BDA0002003173660000313
其中d＝0,1,…,D，且
Figure BDA0002003173660000314
是下采样的1D LUT。 (80)
可以对样本
Figure BDA0002003173660000315
执行曲线拟合，以获得KB次多项式：
Figure BDA0002003173660000316
优化问题可以用公式表示为
Figure BDA0002003173660000317
其中
Figure BDA0002003173660000318
最小二乘解是
Figure BDA0002003173660000319
其中
Figure BDA00020031736600003110
注意，
Figure BDA00020031736600003111
和
Figure BDA00020031736600003112
取决于D(j)。可以在***初始化时预先确定
Figure BDA00020031736600003113
其中，D(j)＝50，…，64(即具有(KB+1)*64维的15个表)。然后对于帧，
Figure BDA00020031736600003114
乘以z(j)以获得
Figure BDA00020031736600003115
色度MMR系数m(j)可以通过m(j)＝Aβ(j)导出，其中：
Figure BDA00020031736600003116
其中A是转换矩阵。 (84)
使得逆缩放因子z(j)到最终色度MMR系数m(j)的转换可以表达为矩阵转换。等式(77)的第一部分指出，MMR系数m(j)可以通过将集中趋势整形函数乘以固定的转换矩阵
Figure BDA0002003173660000321
来获得，其中
Figure BDA0002003173660000322
是多项式系数。等式(77)的第二部分指出，在确定MMR系数m(j)时可以进行简化，其中，逆缩放因子样本值z(j)可以乘以两个转换矩阵
Figure BDA0002003173660000323
Figure BDA0002003173660000324
在EDR权重或SDR权重未被确定的情况下，D可以被设置为Ms,，并且MMR系数可以利用与上述类似的过程来确定。
第二设备中的亮度调制色度前向整形
图10描绘了诸如移动设备等第二设备的Cb通道的色度前向整形1000的第二示例。可以以类似的方式执行Cr通道。在这个示例中，输入亮度视频帧410被输入，如先前所指出的，确定集中趋势亮度前向整形LUT 434，并且亮度经历整形438以产生经整形的亮度610。
输入色度视频帧614被输入。由扩展动态范围分析器对统计滑动窗口内的当前帧、至少一个后续帧(如果有的话)和至少一个先前帧(如果有的话)执行EDR上限。EDR上限被确定616并被收集在EDR上限缓冲器618B中，在这个示例中，上限被求平均620，可以利用任何确定集中趋势的过程。利用集中趋势亮度前向整形LUT 434和来自模块620的平均的上限，由桥映射器执行从EDR到SDR的映射622，并且确定SDR上限624。
利用SDR上限输出，根据前向整形缩放多项式LUT，由色度帧求解器来执行确定色度前向整形多项式1010。利用色度Cb前向整形多项式输出，色度经历由色度整形器执行的前向整形1012，从而产生经整形的色度1014。经整形的色度输出1014与经整形的亮度输出612组合，以产生SDR域218中的数据。另外，来自SDR上限624的数据可以用于获得色度MMR系数(由色度MMR确定器执行)1016，后向LUT可以从该色度MMR确定器被发送到RPU 224。
多项式系数可以从预定的前向整形系数LUT获得，以降低复杂度。前向整形系数LUT可以包括点B位置处的系数。可在‘638号申请中找到规定的前向系数LUT的构建的示例。可以找到对应于获得的点B的索引(n*,T)。多项式系数可以是：
Figure BDA0002003173660000325
其中α(·,·,·)是LUT。 (86)
可以使用帧j的多项式系数来建立1D缩放因子LUT：
Figure BDA0002003173660000326
其中l＝0,1,…,L-1 (72)
其中
Figure BDA0002003173660000331
缩放因子可以应用于前向整形：
Figure BDA0002003173660000332
其中
Figure BDA0002003173660000333
即，
Figure BDA0002003173660000334
或者简单地通过取
Figure BDA0002003173660000335
的MSB，其是帧j中像素i的原始EDR亮度。
后向整形
关于后向整形，可以从后向LUT中找到色度MMR系数。后向LUT包括点B位置的色度MMR系数。所述索引可以对应于获得的点B：(n*,T)。色度MMR系数可以是针对k的τ(n*,T,k)，其中τ(·,·,·)是后向整形LUT。后向整形系数LUT的构建的示例可以在‘638号申请中找到。
饱和度控制
在通过上述过程获得前向整形的多项式系数之后，着色器可以手动调整饱和度。着色器可以修改常数系数
Figure BDA0002003173660000336
直到多项式曲线触及上限或下限。上限
Figure BDA0002003173660000337
在以上部分中限定。下限设置为δ，其中δ≥0。
所述过程可以在下面解释：
Figure BDA0002003173660000338
δ可以是任何值(正或负或零)。 (87)
可以获得缩放因子：
Figure BDA0002003173660000339
其中多项式系数是
Figure BDA00020031736600003310
并且其中α(·,·,·)是LUT。
如果
Figure BDA00020031736600003311
其中n∈Ωj且
Figure BDA00020031736600003312
其中n＝0,1,…,D，则
Figure BDA00020031736600003313
被χ替换。
色度MMR系数可以使用新的多项式系数来求解。在一个示例中，δ被设定为0.2以确保足够的经后向整形的EDR。
如果
Figure BDA00020031736600003314
不满足上述条件，则
Figure BDA00020031736600003315
保持不变。着色器可以具有用于控制饱和度的滑块。
等效、扩展、替代和杂项
在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些具体细节可以根据不同实施方式而变化。因此，本发明是什么、以及申请人意图本发明是什么，其唯一且排他的指示是根据本申请的、以授权时的具体形式为准(包括任何后续修改)的一套授权权利要求。针对这样的权利要求中包含的术语的、在本文中明确阐述的任何定义应当支配权利要求中使用的这些术语的含义。因此，权利要求中未明确记载的限制、要素、特性、特征、优点或属性不应以任何方式限制这些权利要求的范围。相应地，说明书和附图应被视为说明性的而非具有限制性意义。
可以从以下枚举的示例性实施例(EEE)中理解本发明的各个方面。
EEE 1.一种实时前向整形的方法，包括：
选择具有当前帧、至少一个先前帧和至少一个后续帧的统计滑动窗口，其中所述统计滑动窗口以所述当前帧为索引；
确定所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的统计值；
如果所述至少一个先前帧和所述当前帧的所确定的统计值在预定阈值内，则在当前场景中包括所述至少一个先前帧；
如果所述至少一个先前帧和所述当前帧的所确定的统计值大于所述预定阈值，或者如果所述至少一个先前帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个先前帧；
如果所述至少一个后续帧和所述当前帧的所确定的统计值在所述预定阈值内，则在所述当前场景中包括所述至少一个后续帧；
如果所述至少一个后续帧和所述当前帧的所确定的统计值大于所述预定阈值，或者如果所述至少一个后续帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个后续帧；
基于所述当前场景内的帧中的所述当前帧、所述至少一个先前帧和所述至少一个后续帧的所确定的统计值，确定至少一个噪声参数；
基于所述当前场景内的帧中的所述当前帧、所述至少一个先前帧和所述至少一个后续帧的所确定的统计值，确定至少一个亮度传递函数；
基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数；
如果所述至少一个先前帧在所述当前场景内，则选择具有所述当前帧和所述至少一个先前帧的集中趋势滑动窗口；以及
基于所述集中趋势滑动窗口的所述至少一个亮度前向整形函数来确定集中趋势亮度前向整形函数。
EEE 2.如EEE 1所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；
确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 3.如EEE 2所述的方法，其中所述一组色度多元多重回归(MMR)系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形查找表(LUT)；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
EEE 4.如EEE 1所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定包括所述统计滑动窗口的至少一个色度内容相关的多项式的色度帧解；以及
基于所述SDR上限生成一组色度多元多重回归系数。
EEE 5.如EEE 4所述的方法，其中所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及
基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
EEE 6.如EEE 1所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限来确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 7.如EEE 6所述的方法，其中所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
EEE 8.如EEE 1所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；
确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 9.如EEE 8所述的方法，其中所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
EEE 10.如EEE 1所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定包括所述统计滑动窗口的至少一个色度内容相关的多项式的色度帧解；以及
基于所述SDR上限生成一组色度多元多重回归系数。
EEE 11.如EEE 10所述的方法，其中所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
EEE 12.如EEE 1所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限来确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 13.如EEE 12所述的方法，其中所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
EEE 14.一种实时前向整形的方法，包括：
选择具有当前帧和至少一个先前帧的统计滑动窗口，其中所述统计滑动窗口以所述当前帧为索引；
确定所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的统计值；
如果所述至少一个先前帧和所述当前帧的所确定的统计值在预定阈值内，则在当前场景中包括所述至少一个先前帧；
如果所述至少一个先前帧和所述当前帧的所确定的统计值大于所述预定阈值，或者如果所述至少一个先前帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个先前帧；
基于所述当前场景内的帧中的所述当前帧和所述至少一个先前帧的所确定的统计值，确定至少一个噪声参数；
基于所述当前场景内的帧中的所述当前帧和所述至少一个先前帧的所确定的统计值，确定至少一个亮度传递函数；
基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数；
如果所述至少一个先前帧在所述当前场景内，则选择具有所述当前帧和所述至少一个先前帧的集中趋势滑动窗口；以及
基于所述场景内的所述至少一个亮度前向整形函数的集中趋势来确定集中趋势亮度前向整形函数。
EEE 15.如EEE 14所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；
确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 16.如EEE 15所述的方法，其中所述一组色度多元多重回归系数的生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
EEE 17.如EEE 14所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定包括所述统计滑动窗口的至少一个色度内容相关的多项式的色度帧解；以及
基于所述SDR上限生成一组色度多元多重回归系数。
EEE 18.如EEE 17所述的方法，其中所述一组色度多元多重回归系数的生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及
基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
EEE 19.如EEE 14所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限来确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 20.如EEE 19所述的方法，其中所述一组色度多元多重回归系数的生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
EEE 21.如EEE 14所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；
确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 22.如EEE 21所述的方法，其中所述一组色度多元多重回归系数的生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
EEE 23.如EEE 14所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定包括所述统计滑动窗口的至少一个色度内容相关的多项式的色度帧解；以及
基于所述SDR上限生成一组色度多元多重回归系数。
EEE 24.如EEE 23所述的方法，其中所述一组色度多元多重回归系数的生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及
基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
EEE 25.如EEE 14所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限来确定包括至少一个色度内容相关的多项式的色度帧解；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
EEE 26.如EEE 25所述的方法，其中所述一组色度多元多重回归系数的生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。

Claims (32)

1.一种实时的前向整形的方法，其中，所述前向整形包括从扩展动态范围EDR向标准动态范围SDR的映射，所述方法包括：
选择具有当前帧、至少一个先前帧和至少一个后续帧的统计滑动窗口，其中所述统计滑动窗口以所述当前帧为索引；
确定所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的统计值；
如果所述至少一个先前帧和所述当前帧的所确定的统计值在预定阈值内，则在当前场景中包括所述至少一个先前帧；
如果所述至少一个先前帧和所述当前帧的所确定的统计值大于所述预定阈值，或者如果所述至少一个先前帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个先前帧；
如果所述至少一个后续帧和所述当前帧的所确定的统计值在所述预定阈值内，则在所述当前场景中包括所述至少一个后续帧；
如果所述至少一个后续帧和所述当前帧的所确定的统计值大于所述预定阈值，或者如果所述至少一个后续帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个后续帧；
基于所述当前场景内的帧中的所述当前帧、所述至少一个先前帧和所述至少一个后续帧的所确定的统计值，确定至少一个噪声参数，其中，所述至少一个噪声参数是基于所述统计滑动窗口内的基于块的标准偏差的平均值来确定的；
基于所述当前场景内的帧中的所述当前帧、所述至少一个先前帧和所述至少一个后续帧的所确定的统计值，确定至少一个亮度传递函数，其中，所述至少一个亮度传递函数基于所确定的统计值使用动态色调映射DTM而被构建；
基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数，其中，所述确定至少一个亮度前向整形函数包括基于所述至少一个噪声参数在所述至少一个亮度传递函数的输入码字当中重新分配比特深度；
如果所述至少一个先前帧在所述当前场景内，则选择具有所述当前帧和所述至少一个先前帧的集中趋势滑动窗口；以及
基于所述集中趋势滑动窗口的所述至少一个亮度前向整形函数来确定集中趋势亮度前向整形函数。
2.如权利要求1所述的方法，其中，所确定的统计值包括所述统计滑动窗口内的极大值的最大水平、所述统计滑动窗口内的极小值的最小水平、以及所述统计滑动窗口内的平均值的均值水平。
3.如权利要求1所述的方法，其中，所述至少一个亮度传递函数进一步基于给定斜率、给定偏移和给定功率而被构建。
4.如权利要求1所述的方法，其中，所述集中趋势亮度整形函数是通过对所述集中趋势滑动窗口的所述当前帧和所述至少一个先前帧的亮度前向整形函数求平均来确定的。
5.如权利要求1至4中任一项所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围EDR权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将EDR权重和所述EDR上限中的所述至少一个映射到相应的标准动态范围SDR权重和SDR上限；
基于所述相应的SDR权重和SDR上限来确定至少一个色度内容相关的多项式；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
6.如权利要求5所述的方法，其中，所述一组色度多元多重回归(MMR)系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形查找表LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
7.如权利要求6所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定所述统计滑动窗口的至少一个色度内容相关的多项式；以及
基于所述SDR上限生成一组色度多元多重回归系数。
8.如权利要求7所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及
基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
9.如权利要求8所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限确定至少一个色度内容相关的多项式；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
10.如权利要求9所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
11.如权利要求1至4中任一项所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和所述EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；
基于所述相应的SDR权重和SDR上限来确定至少一个色度内容相关的多项式；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
12.如权利要求11所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
13.如权利要求1至4中任一项所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定所述统计滑动窗口的至少一个色度内容相关的多项式；以及
基于所述SDR上限生成一组色度多元多重回归系数。
14.如权利要求13所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及
基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
15.如权利要求1至4中任一项所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限确定至少一个色度内容相关的多项式；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
16.如权利要求15所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
17.一种实时的前向整形的方法，其中，所述前向整形包括从扩展动态范围EDR到标准动态范围SDR的映射，所述方法包括：
选择具有当前帧和至少一个先前帧的统计滑动窗口，其中所述统计滑动窗口以所述当前帧为索引；
确定所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的统计值；
如果所述至少一个先前帧和所述当前帧的所确定的统计值在预定阈值内，则在当前场景中包括所述至少一个先前帧；
如果所述至少一个先前帧和所述当前帧的所确定的统计值大于所述预定阈值，或者如果所述至少一个先前帧不在所述统计滑动窗口内，则从所述当前场景中排除所述至少一个先前帧；
基于所述当前场景内的帧中的所述当前帧和所述至少一个先前帧的所确定的统计值，确定至少一个噪声参数，其中，所述至少一个噪声参数是基于所述统计滑动窗口内的基于块的标准偏差的平均值来确定的；
基于所述当前场景内的帧中的所述当前帧和所述至少一个先前帧的所确定的统计值，确定至少一个亮度传递函数，其中，所述至少一个亮度传递函数基于所确定的统计值使用动态色调映射DTM而被构建；
基于所述当前场景内的所述至少一个亮度传递函数和所述至少一个噪声参数来确定至少一个亮度前向整形函数，其中，所述确定所述至少一个亮度前向整形函数包括基于所述至少一个噪声参数在所述至少一个亮度传递函数的输入码字当中重新分配比特深度；
如果所述至少一个先前帧在所述当前场景内，则选择具有所述当前帧和所述至少一个先前帧的集中趋势滑动窗口；以及
基于所述场景内的所述至少一个亮度前向整形函数的集中趋势来确定集中趋势亮度前向整形函数。
18.如权利要求17所述的方法，其中，所确定的统计值包括所述统计滑动窗口内的极大值的最大水平、所述统计滑动窗口内的极小值的最小水平、以及所述统计滑动窗口内的平均值的均值水平。
19.如权利要求17所述的方法，其中，所述至少一个亮度传递函数进一步基于给定斜率、给定偏移和给定功率而被构建。
20.如权利要求17所述的方法，其中，所述集中趋势亮度整形函数是通过对所述集中趋势滑动窗口的所述当前帧和所述至少一个先前帧的亮度前向整形函数求平均来确定的。
21.如权利要求17所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；
基于所述相应的SDR权重和SDR上限来确定至少一个色度内容相关的多项式；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
22.如权利要求21所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
23.如权利要求22所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定所述统计滑动窗口的至少一个色度内容相关的多项式；以及
基于所述至少一个色度内容相关的多项式和所述SDR上限，生成一组色度多元多重回归系数。
24.如权利要求23所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及
基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
25.如权利要求24所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧和所述至少一个先前帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限确定至少一个色度内容相关的多项式；
基于所述相应的SDR上限、基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
26.如权利要求25所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
27.如权利要求17所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围(EDR)权重和EDR上限中的至少一个的统计值；
基于所述集中趋势亮度前向整形函数，将扩展动态范围(EDR)权重和所述EDR上限中的所述至少一个映射到相应的标准动态范围(SDR)权重和SDR上限；
基于所述相应的SDR权重和SDR上限来确定至少一个色度内容相关的多项式；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
28.如权利要求27所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和SDR权重来确定所述前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
29.如权利要求17所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的EDR上限的统计值；
基于所述EDR上限的集中趋势和所述集中趋势亮度前向整形函数，将所述EDR上限映射到SDR上限；
确定所述统计滑动窗口的至少一个色度内容相关的多项式；以及
基于所述SDR上限生成一组色度多元多重回归系数。
30.如权利要求29所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限和预定义的前向系数LUT来确定所述前向整形函数；以及
基于所述SDR上限和预定义的后向系数LUT来确定所述MMR系数。
31.如权利要求17所述的方法，进一步包括：
分析所述统计滑动窗口内的所述当前帧、所述至少一个先前帧和至少一个后续帧的扩展动态范围(EDR)上限的统计值；
基于所述集中趋势亮度前向整形函数，将所述EDR上限映射到相应的标准动态范围(SDR)上限；
基于所述SDR上限确定至少一个色度内容相关的多项式；
基于所述统计滑动窗口的所述至少一个色度内容相关的多项式，确定集中趋势色度前向整形多项式；以及
基于所述集中趋势色度前向整形多项式生成一组色度多元多重回归系数。
32.如权利要求31所述的方法，其中，所述一组色度多元多重回归系数的所述生成包括：
如果不存在上限违反，则
利用默认参考多项式确定前向整形函数；以及
确定对应于所述前向整形函数的、用于后向整形的一组默认MMR系数；
如果存在上限违反，则
基于所述SDR上限来确定前向整形函数；
获得集中趋势色度整形函数；
基于所述集中趋势色度整形函数确定前向整形LUT；
从所述前向整形LUT确定逆缩放因子；
基于所述逆缩放因子来确定逆多项式；
将所述逆多项式的系数与固定转换矩阵相乘；以及
基于所述相乘来确定用于后向整形的所述MMR系数。
CN201780058437.2A 2016-08-30 2017-08-28 单层后向兼容编解码器的实时整形 Active CN109792523B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662381233P 2016-08-30 2016-08-30
EP16186392 2016-08-30
US62/381,233 2016-08-30
EP16186392.3 2016-08-30
PCT/US2017/048925 WO2018044803A1 (en) 2016-08-30 2017-08-28 Real-time reshaping of single-layer backwards-compatible codec

Publications (2)

Publication Number Publication Date
CN109792523A CN109792523A (zh) 2019-05-21
CN109792523B true CN109792523B (zh) 2022-11-04

Family

ID=59791206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780058437.2A Active CN109792523B (zh) 2016-08-30 2017-08-28 单层后向兼容编解码器的实时整形

Country Status (5)

Country Link
US (1) US10701404B2 (zh)
EP (1) EP3507981B1 (zh)
JP (1) JP6771656B2 (zh)
CN (1) CN109792523B (zh)
ES (1) ES2967322T3 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020016821B1 (pt) * 2018-02-28 2022-08-09 Dolby Laboratories Licensing Corporation Método de geração de metadados de remodelagem de luma e croma com um sistema de processamento, meio legível por máquina e sistema de gerenciamento de exibição
US11361410B2 (en) * 2018-09-24 2022-06-14 Dolby Laboratories Licensing Corporation Image denoising in SDR to HDR image conversion
US11277646B2 (en) * 2018-10-03 2022-03-15 Dolby Laboratories Licensing Corporation Reducing banding artifacts in backward-compatible HDR imaging
WO2020262921A1 (ko) 2019-06-24 2020-12-30 엘지전자 주식회사 루마 맵핑 기반 비디오 또는 영상 코딩
JP7391214B2 (ja) * 2019-11-27 2023-12-04 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｒ画像化におけるレート制御認識リシェーピング
US12003746B2 (en) 2020-02-19 2024-06-04 Dolby Laboratories Licensing Corporation Joint forward and backward neural network optimization in image processing
KR20210142398A (ko) * 2020-05-18 2021-11-25 에스케이하이닉스 주식회사 로컬 톤 맵핑 회로, 이미지 센싱 장치 및 그 동작방법
US20240037720A1 (en) * 2021-02-15 2024-02-01 Sony Interactive Entertainment Inc. Learning apparatus, moving image generating apparatus, method of generating learned model, moving image generating method, and program
US20240171775A1 (en) 2021-05-21 2024-05-23 Dolby Laboratories Licensing Corporation Patch-based reshaping and metadata for volumetric video
US20230300470A1 (en) * 2022-02-03 2023-09-21 Facebook Technologies, Llc Techniques for producing glints and iris illumination for eye tracking

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009538560A (ja) * 2006-05-25 2009-11-05 トムソン ライセンシング 重み付け符号化する方法及びシステム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546461A (en) * 1993-04-09 1996-08-13 Matsushita Electric Industrial Co., Ltd. Scramble system for use in digital video signal recording and reproducing system or transmission and receiving system, comprising scramble apparatus and descramble apparatus
US5829007A (en) * 1993-06-24 1998-10-27 Discovision Associates Technique for implementing a swing buffer in a memory array
US6119213A (en) * 1995-06-07 2000-09-12 Discovision Associates Method for addressing data having variable data width using a fixed number of bits for address and width defining fields
US6765962B1 (en) * 1999-12-02 2004-07-20 Sarnoff Corporation Adaptive selection of quantization scales for video encoding
US7016550B2 (en) * 2002-04-19 2006-03-21 Lockheed Martin Corporation Scene-based non-uniformity offset correction for staring arrays
US7251275B2 (en) * 2002-06-25 2007-07-31 General Instrument Corporation Methods and apparatus for statistical multiplexing during dual pass encoding
JP2004032551A (ja) * 2002-06-27 2004-01-29 Seiko Epson Corp 画像処理方法、画像処理装置及びプロジェクタ
US6778183B1 (en) * 2002-07-10 2004-08-17 Genesis Microchip Inc. Method and system for adaptive color and contrast for display devices
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
EP2093698A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Crowd congestion analysis
EP2093699A1 (en) * 2008-02-19 2009-08-26 British Telecommunications Public Limited Company Movable object status determination
JP5726914B2 (ja) * 2010-02-19 2015-06-03 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 高ダイナミックレンジのビデオ・トーン・マッピングのためのパラメータ補間
CN107105229B9 (zh) 2011-04-14 2020-03-31 杜比实验室特许公司 图像解码方法、视频解码器和非暂态计算机可读存储介质
WO2014204865A1 (en) * 2013-06-17 2014-12-24 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
US9648351B2 (en) * 2013-10-24 2017-05-09 Dolby Laboratories Licensing Corporation Error control in multi-stream EDR video codec
JP6546599B2 (ja) * 2014-02-26 2019-07-17 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ Ｈｄｒ画像を符号化及び復号する方法及び装置
US9613407B2 (en) 2014-07-03 2017-04-04 Dolby Laboratories Licensing Corporation Display management for high dynamic range video
US9659349B2 (en) * 2015-06-12 2017-05-23 Gopro, Inc. Color filter array scaler
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
US10032262B2 (en) 2016-02-02 2018-07-24 Dolby Laboratories Licensing Corporation Block-based content-adaptive reshaping for high dynamic range images
WO2017165494A2 (en) 2016-03-23 2017-09-28 Dolby Laboratories Licensing Corporation Encoding and decoding reversible production-quality single-layer video signals
US10645403B2 (en) * 2016-05-19 2020-05-05 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
WO2017201139A1 (en) 2016-05-19 2017-11-23 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009538560A (ja) * 2006-05-25 2009-11-05 トムソン ライセンシング 重み付け符号化する方法及びシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Description of the reshaper parameters derivation process in ETM reference software;MINOO,K. et al.;《Joint Collaborative Team on Video Coding (JCT-VC)》;20160226;全文 *
Implication of high dynamic range;LU,Taoran et al.;《PROCEEDINGS OF SPIE》;20150922;全文 *

Also Published As

Publication number Publication date
JP2019530309A (ja) 2019-10-17
JP6771656B2 (ja) 2020-10-21
EP3507981A1 (en) 2019-07-10
ES2967322T3 (es) 2024-04-29
US10701404B2 (en) 2020-06-30
CN109792523A (zh) 2019-05-21
US20190222866A1 (en) 2019-07-18
EP3507981B1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
CN109792523B (zh) 单层后向兼容编解码器的实时整形
CN112106357B (zh) 用于对图像数据进行编码和解码的方法及装置
US10575028B2 (en) Coding of high dynamic range video using segment-based reshaping
US10397576B2 (en) Reshaping curve optimization in HDR coding
CN109155853B (zh) 用于高动态范围图像的色度整形
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
US20130107956A1 (en) Generation of high dynamic range images from low dynamic range images
WO2018044803A1 (en) Real-time reshaping of single-layer backwards-compatible codec
EP3571843A1 (en) Segment-based reshaping for coding high dynamic range video
US11341624B2 (en) Reducing banding artifacts in HDR imaging via adaptive SDR-to-HDR reshaping functions
WO2018231968A1 (en) Efficient end-to-end single layer inverse display management coding
CN113170205B (zh) 整形函数生成方法及装置以及图像解码方法及装置
WO2013112532A2 (en) Piecewise cross color channel predictor
WO2018049335A1 (en) Coding of high dynamic range video using segment-based reshaping
CN110770787B (zh) 高效端到端单层逆向显示管理编码
US11895416B2 (en) Electro-optical transfer function conversion and signal legalization
WO2018136432A1 (en) Segment-based reshaping for coding high dynamic range video
JP6912978B2 (ja) 符号化装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant