CN108352059A - 用于将高动态范围(hdr)内容转换成标准动态范围(sdr)内容的视频色调映射 - Google Patents
用于将高动态范围(hdr)内容转换成标准动态范围(sdr)内容的视频色调映射 Download PDFInfo
- Publication number
- CN108352059A CN108352059A CN201680069324.8A CN201680069324A CN108352059A CN 108352059 A CN108352059 A CN 108352059A CN 201680069324 A CN201680069324 A CN 201680069324A CN 108352059 A CN108352059 A CN 108352059A
- Authority
- CN
- China
- Prior art keywords
- stretching
- conversion function
- function unit
- video
- partially
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims description 101
- 230000009466 transformation Effects 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 92
- 238000012937 correction Methods 0.000 claims abstract description 83
- 239000011159 matrix material Substances 0.000 claims abstract description 76
- 230000006870 function Effects 0.000 claims description 118
- 238000006243 chemical reaction Methods 0.000 claims description 101
- 230000005693 optoelectronics Effects 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 55
- 238000012886 linear function Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 45
- 238000005457 optimization Methods 0.000 claims description 26
- 230000005055 memory storage Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 21
- 230000003068 static effect Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000005622 photoelectricity Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 241001290864 Schoenoplectus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005662 electromechanics Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
描述了用于从高动态范围视频生成标准动态范围视频的方法、装置、***和至少一种机器可读介质的技术,方法包括以下步骤:应用反向伽马校正;应用对颜色空间进行转换的矩阵乘法;至少部分地基于一个或多个拉伸因子来拉伸发光度范围;以及应用正向伽马校正。
Description
背景技术
高动态范围(HDR)是由多个标准组织(例如,蓝光盘联盟、ISO/IEC HEVC、ITU-R、SMPTE、CEA和HDMI)和私人公司(例如,Dolby、Philips)引入的新技术。预期诸如UHD蓝光盘播放器和UHD TV之类的新设备在不久的将来于2015年开始支持HDR技术。蓝光盘联盟(BDA)已经在2015年4月完成了关于包括HDR和WCG(广色域)的新UHD(超高清)Blu-rayTM盘标准的其版本3.0草案规范文档。视频流式传输服务提供商,诸如Netflix、Amazon和Vudu,到目前为止正致力于HDR视频流式传输服务规范并且被预期今年开始UHD HDR视频流式传输服务。其它国际标准组织,诸如ITU-T、ITU-R、ISO/IEC、SMPTE和HDMI,正在致力于支持HDR视频的下一代标准和解决方案。
HDR已经是数字摄影中相对熟知的主题,但是其概念和方法论与本文中所提及的不同。数字摄影中的HDR是指将在不同曝光水平下捕获的同一场景的多个低动态范围(或标准动态范围)图像组合成单个高动态范围图像。如本文中所提及的,HDR替代地是指新的视频处理流水线,其捕获、压缩、预处理和后处理并且显示在比现有设备之前所允许的高得多的动态范围下的图片。
回放高动态范围(HDR)视频的要求包括两个主要用例场景。
1)HDR视频在HDR显示监视器或TV上的回放
2)HDR视频在传统标准动态范围(SDR)显示监视器或TV上的回放。
第二用例要求将高动态范围(HDR)视频转换成标准动态范围(SDR)视频。这是新的BDA UHD蓝光规范的强制部分。从HDR到SDR的该转换还被预期作为接下来的几年中的关键技术,同时新的有HDR能力的显示监视器和TV连同来自蓝光盘、流式传输服务和最终用户的个人记录的HDR视频内容开始渗透美国和世界的其余部分中的主流消费者市场。
基于到今天为止可获得的信息,HDR视频格式由HEVC Main10高层级5.1、BT2020颜色空间、SMPTE ST2084 EOTF和SMPTE ST2086静态元数据来限定。
考虑到现有SDR视频格式由Rec709颜色空间、Rec709 OETF和Rec1886 EOTF限定,HDR到SDR色调映射要求BT2020/Rec709颜色空间之间的转换和使用ST2084/Rec709 EOTF/OETF的伽马校正。
新的SMPTE ST2084 EOTF覆盖高达10,000 cd/m2(或尼特)的动态范围,而现有标准动态范围(SDR)Rec709 OETF覆盖在[0,100]尼特中的小得多的动态范围。
相应地,在没有被应用以将高动态范围(HDR)转换成标准动态范围(SDR)的恰当方法的情况下,直接显示在SDR监视器/TV上的HDR内容将是不正确的明亮度/对比度/颜色并且不适于观看。
附图说明
在随附各图中,本文中描述的材料被图示作为示例而非作为限制。为了说明的简洁和清楚,在图中图示的元件不一定按比例绘制。例如,为了清楚,可以相对于其它元件扩大一些元件的尺寸。另外,在认为适当的地方,在各图之中重复参考标签以指示对应或类似的元件。在图中:
图1是示例视频处理***的说明性图;
图2是示例颜色校正***的说明性图;
图3是示例通用色调映射图表的说明性图;
图4是示例控制点间隔图表的说明性图;
图5是示例线性光拉伸(stretching)图表的说明性图;
图6是示例动态范围扩展图表的说明性图;
图7是示例颜色校正***的说明性图;
图8是示例颜色校正***的说明性图;
图9是示例颜色校正***的说明性图;
图10是用于色调映射的示例拉伸因子图表的说明性图;
图11是用于色调映射的示例拉伸因子图表的说明性图;
图12是用于色调映射的分段线性函数(PWLF)图表的示例调制的说明性图;
图13是用于色调映射的分段线性函数(PWLF)图表的示例调制的说明性图;
图14是图示了示例色调映射过程的流程图;
图15提供了操作中的示例颜色校正***和色调映射过程的说明性图;
图16是示例视频处理***的说明性图;
图17是示例***的说明性图;以及
图18是全部依照本公开的至少一些实现来布置的示例***的说明性图。
具体实施方式
虽然以下描述阐述了可以在诸如例如片上***(SoC)架构之类的架构中显现的各种实现,但是本文中描述的技术和/或布置的实现不限于特定架构和/或计算***,并且出于类似的目的可以由任何架构和/或计算***实现。例如,采用例如多个集成电路(IC)芯片和/或封装的各种架构,和/或各种计算设备和/或消费者电子(CE)设备,诸如机顶盒、智能电话等,可以实现本文中描述的技术和/或布置。另外,虽然以下描述可能阐述了众多具体细节,诸如逻辑实现、***组件的类型和相互关系、逻辑分区/集成选择等,但是所要求保护的主题可以在没有这些具体细节的情况下实践。在其它实例中,可能没有详细地示出某一材料,诸如例如控制结构和完整的软件指令序列,以不使本文中公开的材料模糊。
本文中公开的材料可以以硬件、固件、软件或者其任何组合来实现。本文中公开的材料还可以实现为存储在机器可读介质上的指令,所述指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于存储或传输以由机器(例如,计算设备)可读的形式的信息的任何介质和/或机构。例如,机器可读介质可以包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;电、光、声或其它形式的传播信号(例如,载波、红外信号、数字信号等)以及其它。
在说明书中对“一个实现”、“实现”、“示例实现”等的引用指示所描述的实现可以包括特定特征、结构或特性,但是每一个实现可能不一定包括所述特定特征、结构或特性。此外,这样的短语不一定是指相同的实现。另外,当结合实现来描述特定特征、结构或特性时,主张:结合不管是否在本文中明确描述的其它实现影响这样的特征、结构或特性在本领域技术人员的知识范围内。
下面描述***、装置、物品和方法,包括用于将高动态范围(HDR)内容转换成标准动态范围(SDR)内容的视频色调映射的操作。
如上面所描述的,在没有被应用以将高动态范围(HDR)转换成标准动态范围(SDR)的恰当方法的情况下,直接显示在SDR监视器/TV上的HDR内容将是不正确的明亮度/对比度/颜色并且不适于观看。
如下面将更加详细地描述的,本文中描述的技术可以描述一种新的方案,其使用图形处理器中的现有媒体固定功能(FF)硬件将高动态范围(HDR)视频转换成标准动态范围(SDR)视频。使用媒体固定功能(FF)硬件的方案可以允许从HDR到SDR的实时、低功率且高效(简单且有效)的色调映射。附加地或者替代地,本文中描述的相同或类似方法还可以以图形处理器中的执行单元(EU)上运行的内核软件来实现。
在一些实现中,本文中描述的技术可以描述简单的非迭代重新采样方法,其用来生成高动态范围(HDR)电光转换函数单元和/或光电转换函数单元的不均匀地隔开的分段线性函数(PWLF)。
在其它实现中,本文中描述的技术可以描述在光电转换函数单元之前对线性光RGB视频信号的修改,其用来改进所得标准动态范围(SDR)视频的动态范围和视觉质量。
替代地,本文中描述的技术可以描述对光电转换函数单元分段线性函数(PWLF)的输入阵列的重新编程,其用来改进所得标准动态范围(SDR)视频的动态范围和视觉质量。
在另外的实现中,本文中描述的技术可以描述馈送来自现有硬件的每帧统计,用来对光电转换函数单元输入阵列进行重新编程以用于自适应色调映射。
图1是依照本公开的至少一些实现来布置的示例视频处理***100的说明性图。在各种实现中,视频处理***100可以被配置成着手进行色调映射操作。在所图示的示例中,视频处理***100可以包括在图形处理器102上的媒体固定功能硬件104中实现的视频解码逻辑模块106和视频增强逻辑模块108。
如所图示的,视频处理***100可以至少部分地基于视频增强逻辑模块108的颜色校正***110部分的操作来实现色调映射操作。
在一些示例中,视频处理***100可以包括出于清楚起见而没有在图1中示出的附加物项。例如,视频处理***100可以包括处理器、射频类型(RF)收发机、显示器和/或天线。另外,视频处理***100可以包括出于清楚起见而没有在图1中示出的附加物项,诸如扬声器、麦克风、加速度计、存储器、路由器、网络接口逻辑等。
如下面将更加详细地讨论的,在一些实现中,视频处理***100可以被包括在图形处理单元(GPU)102和/或(此处未示出的)中央处理单元(CPU)中。相应地,颜色校正***110可以使固定功能硬件部分与视频增强流水线108的可编程部分的组合平衡。
如下面将更加详细地讨论的,视频处理***100可以用于执行下面结合图14和/或15讨论的各种功能中的一些或全部。
下面关于图2来说明关于视频处理***100的运转的附加细节。
图2是依照本公开的至少一些实现来布置的示例颜色校正***200的说明性图。在各种实现中,颜色校正***200可以被配置成着手进行色调映射操作。在所图示的示例中,颜色校正***110可以包括电光转换函数单元(EOTF)202、颜色校正矩阵(CCM)204和/或光电转换函数单元(OETF)206等,和/或其组合。在一些示例中,颜色校正***200可以包括出于清楚起见而没有在图2中示出的附加物项。
如所图示的,EOTF 202在第一步骤中可以经由反向伽马校正曲线(例如,参见图3)将输入RGB数据带至线性颜色空间。第二步骤经由CCM 204向RGB数据的三个通道应用3x3矩阵乘法。类似地,OETF 206在最后步骤中经由正向伽马校正曲线(例如,参见图3)将RGB数据带回至非线性颜色空间。
例如,可以使用媒体固定功能(FF)硬件、通过以下三个视频处理步骤来实现色调映射:
1. 反向伽马校正(或EOTF)
2. 颜色校正矩阵乘法
3. 正向伽马校正(或OETF)。
第一步骤将输入RGB数据带至线性颜色空间。第二步骤向RGB数据的三个通道应用3x3矩阵乘法。然后,最后步骤将RGB数据带回至非线性颜色空间。
在没有某一修改的情况下,向高动态范围(HDR)视频应用以上步骤以将它们转换成标准动态范围(SDR)视频不会导致在视觉上令人愉悦的输出图片。在大多数情况下,取决于HDR输入内容,所得经色调映射的SDR图片可能变得总体上过暗,并且作为结果,查看暗区中的任何细节和纹理可能变得很具挑战性。总体图片质量和用户体验在该情况下重重受损。
如下面将更加详细地讨论的,实现高动态范围(HDR)到标准动态范围(SDR)色调映射的基本处理步骤包括:
1. 色度上采样(CUS),用来将HDR 10位YUV420转换成BT2020颜色空间中的YUV444;
2. 颜色空间转换(CSC),用来将HDR 10位YUV444转换成BT2020颜色空间中的RGB444;
3. EOTF(SMPTE ST2084),用来将HDR非线性RGB转换成BT2020颜色空间中的线性RGB;
4. CCM,用来将BT2020颜色空间中的线性RGB转换到Rec709颜色空间;以及
5. OETF(Rec 709),用来将HDR线性RGB转换成Rec709颜色空间中的非线性SDR 8位RGB444。
要指出,可以使用不同的广色域(诸如DCI P3)、位深度(例如,每一通道12位)和EOTF/OETF对来类似地限定高动态范围(HDR)视频。还要指出,可以使用BT2020颜色空间和更高的位深度(例如,每一通道10位)来限定标准动态范围(SDR)视频。利用本文中描述的可编程硬件引擎容易地适应这些多样性。
如下面将更加详细地讨论的,颜色校正***200可以用于执行下面结合图14和/或15讨论的各种功能中的一些或全部。
图3是依照本公开的至少一些实现来布置的示例通用色调映射图表300的说明性图。如所图示的,EOTF在第一步骤中可以经由反向伽马校正曲线302将输入RGB数据带至线性颜色空间。类似地,OETF在最后步骤中经由正向伽马校正曲线304将RGB数据带回至非线性颜色空间。
图4是依照本公开的至少一些实现来布置的示例控制点间隔图表402和404的说明性图。如所图示的,可以将使用SMPTE ST2084 EOTF的PWLF中实现的均匀地隔开的控制点402与实现SMPTE ST.2084 EOTF的PWLF中实现的不均匀地隔开的控制点404形成对照。与具有均匀地隔开的控制点402的全部PWLF相比,不均匀地隔开的控制点404 PWLF具有更低的最大误差和误差总和值。
在所图示的示例中,所示出的最大误差/误差总和数(例如,在左边针对均匀地隔开的控制点402的(12,813)和在右边针对不均匀地隔开的控制点404的(3,288))仅是示例。相应地,可能使用本文中描述的技术实现各种最大误差/误差总和数。
EOTF和OETF被频繁地实现为PWLF。控制点的数目是PWLF的设计中的重要变量,并且其可编程性对通过这些PWLF转换的图片的质量具有可见影响。
例如,由SMPTE ST.2084针对HDR视频限定的新的EOTF覆盖宽范围的发光度,从0.001 cd/m2到10,000 cd/m2。对于10位HDR视频,实现该EOTF的PWLF要求1024个控制点(或枢轴点)。当可获得的固定功能硬件不支持完整的1024个控制点时,优化是必要的。给定N个控制点,其中N<1024,一种方案是将均匀地隔开的N个控制点放置在全范围[0,1023]内,对N个控制点的任何对之间的值进行线性插值。另一种方案是应用迭代且昂贵的优化算法以将N个控制点不均匀地放置在全范围内,使实现EOTF的1024点PWLF与N点PWLF之间的误差最小化。
本文中描述的(多个)实现可以限定简单的非迭代方案,其用来不均匀地放置N个控制点,同时提供胜过利用均匀地隔开的控制点所实现的PWLF的清楚可见改进。
该方法由于其简单的非迭代性质而适于已知OETF/EOTF曲线的离线预处理和未知OETF/EOTF的实时处理二者。对于未知OETF/EOTF情况,可以假定:提供M点PWLF作为输入并且生成N点PWLF作为输出,其中对于两个正整数M和N,M>N。
在一些实现中,给定N个控制点,基本想法是首先将EOTF或OETF曲线分成K个非重叠段。然后,将nk个控制点分配给K段中的每一个,其中k=1……K,并且所有nk个点的总和等于N。在每一段内,控制点均匀地隔开,极大地减少优化复杂性。可以基于在给定***中可获得的控制点的总数目N而预确定段的数目K。
例如,可以将更多控制点分配给具有更低发光度值的段。也就是说,可以将SMPTEST2084 OETF/EOTF分成3段:[0, 100尼特]、[100尼特, 1000尼特]和[1000尼特, 10000尼特],其中针对PWLF中的总共256个控制点,分别将128个、64个和64个控制点分配给3段中的每一个。
在一些实现中,可以为了更好的实现效率而限制PWLF的编程。例如,可以允许K段中的每一个的尺寸为单位尺寸S的整数倍。例如,所有K段可以具有相等的尺寸S。或者,在另一个示例中,从4段(K=4)之中,一段尺寸可以是2S,另一段可以是3S,并且其它2段可以是S。
图5是依照本公开的至少一些实现来布置的示例线性光拉伸图表500的说明性图。如所图示的,在EOTF和CCM步骤之后,HDR视频信号处在线性光RGB颜色空间中。在大多数情况下,由于预期在接下来的几年中商业上可获得的HDR监视器和TV中的大部分支持小于4,000尼特的最大发光度的事实,HDR内容占据0到4,000尼特之间的动态范围。
如所图示的,这意味着,线性光RGB视频信号处在如图5中所示的[alpha, beta]502中的窄动态范围中。该HDR动态范围在应用Rec709 OETF之后映射到小得多的动态范围,因为ST2084 EOTF是绝对曲线而Rec709 OETF是相对曲线。例如,非常明亮的1,000尼特的发光度仅是ST2084 EOTF的全动态范围的10%,并且当它直接映射到Rec709 OETF的10%时,所得发光度为大约10尼特,针对SDR假设100尼特最大发光度,这在所得SDR图片中非常暗。
相应地,在没有某一修改的情况下,向高动态范围(HDR)视频应用以上步骤以将它们转换成标准动态范围(SDR)视频不会导致在视觉上令人愉悦的输出图片。
图6是依照本公开的至少一些实现来布置的示例动态范围扩展图表600的说明性图。如所图示的,线性光RGB颜色空间中的动态范围扩展可能涉及单个拉伸因子602、两个拉伸因子604、三个或更多个拉伸因子606和/或自定义分段线性函数(PWLF)608。
为了改进SDR输出图片的动态范围,对线性光RGB信号进行拉伸或扩展以覆盖Rec709 OETF输入范围的100%。线性光RGB信号通过称作stretching_factor的乘法因子来拉伸,如下面所描述的:
Linear_RGB_output = stretching_factor x Linear_RGB_input (1)
例如,可能存在使用stretching_factor σ来拉伸动态范围的若干方案,如下面所描述的:
1. 利用单个拉伸因子σ
2. 利用两个拉伸因子σ1和σ2
3. 利用三个拉伸因子σ1、σ2和σ3
4. 利用多个拉伸因子[σ1、σN]。
于是,成功的色调映射中的一个因素是要使用的拉伸因子的数目及其值的正确确定。
如下面将关于图7和9更加详细地讨论的,可能存在确定所述一个或多个拉伸因子的值的若干技术。例如,本文中描述的(多个)实现可以呈现确定拉伸因子的若干方案,如下面所描述的:
1. 利用静态元数据的每序列方案;
2. 在没有静态元数据的情况下(即,盲)的每序列方案;以及
3. 每帧方案。
下面针对单个拉伸因子讨论这三个方案的示例,但是可以针对两个或更多个拉伸因子使用相同或类似的方法。
方案#1)静态元数据可用,利用静态元数据执行每序列方案。
可以从静态元数据计算出拉伸因子,所述静态元数据被嵌入在输入视频流中并且对于整个视频序列而言是恒定的。这确保不存在由于色调映射操作所致的时间上的伪像。也就是说,视频序列的不同位置中的任何输入像素值将在色调映射之后被映射成相同输出像素值。静态元数据的示例由以下参数组成:
● 主要的(mastering)显示最大发光度水平 = max_display_mastering_luminance
● 主要的显示最小发光度水平 = min_display_mastering_luminance
● 序列最大内容光水平 = maxCLL
● 序列最大帧平均发光度水平 = maxFALL
从静态元数据确定单个拉伸因子的示例可以看起来像这样:
● beta = MIN(maxCLL, max_display_mastering_luminance)
● alpha = min_display_mastering_luminance
● stretching_factor = 10,000 / |beta – alpha| (2)
●Linear_RGB_output = stretching_factor x (Linear_RGB_input – alpha) (3)
在拉伸之后,将所得线性光RGB值剪裁至有效归一化范围[0, 1]或用p位表示的[0, 2p-1]。
方案#2)没有元数据可获得,在没有静态元数据的情况下执行每序列方案。
当静态元数据不可获得时,可以通过假定输入HDR视频的最大发光度水平来应用拉伸操作。所假定的最大发光度水平L可以是可编程的以反映当时的行业惯例。在2015年,将可接受的是例如把L设置成1,000 cd/m2。
在没有静态元数据的情况下确定单个拉伸因子的示例可以看起来像这样:
● 假定最大发光度水平为L尼特(其中L=1,000/2,000/4,000)
● 基于以上假定来计算拉伸因子
○ stretching_factor_blind = 10,000/L (4)
方案#3)每帧统计:
当静态元数据不可获得时,可能的是逐帧地分析输入HDR视频以确定要使用的拉伸因子的值。可以在YUV或RGB颜色空间中执行输入视频的该每帧分析。
每帧分析的示例是生成每一个图像帧中的亮度(或RGB)数据的直方图并且计算各种每帧统计,诸如来自直方图的平均值/中值/最大值/最小值。为了使用现有视频增强硬件的示例ACE,参见图9。在一个实施例中,该方案遵循以下步骤:
● 计算每一个输入图像帧的亮度直方图;
● 计算亮度值的帧平均数(或其它统计);
● 向帧平均数应用2抽头IIR滤波器以使其相对时间上的波动稳定;
● 从每帧统计计算出场景改变以重置IIR滤波器的效果;
● 使用帧平均数来调整用于当前图像帧的拉伸因子;以及
● 应用拉伸因子以使线性RGB信号的动态范围扩展。
图7是依照本公开的至少一些实现来布置的示例颜色校正***700的说明性图。如所图示的,颜色校正***700可以包括电光转换函数单元(EOTF)702、颜色校正矩阵(CCM)704、色调映射逻辑模块708和/或光电转换函数单元(OETF)706。
在一些实现中,发光度范围的经由色调映射逻辑模块708的拉伸可以被执行为在光电转换函数单元706之前在软件中执行的乘法运算。
在操作中,在应用OETF 706之前,可以通过色调映射逻辑模块708扩展(或拉伸)线性RGB空间中的输入发光度范围来适配输入线性光RGB视频的不同发光度范围,以改进SDR输出视频的动态范围和图片质量。
如所图示的,色调映射逻辑模块708可以包括枢轴点(拉伸因子)计算器逻辑模块710和/或线性RGB操作逻辑模块712。例如,计算器逻辑模块710可以至少部分地基于以下来计算所述一个或多个拉伸因子和/或枢轴点:利用静态元数据来执行每序列方案或者在没有静态元数据的情况下执行每序列方案,如上面关于图6所描述的那样。然后,线性RGB操作逻辑模块712可以应用计算出的一个或多个拉伸因子来拉伸线性RGB空间中的输入发光度范围。
在所图示的示例中,向每一个线性RGB值应用拉伸因子要求每一个颜色分量与拉伸因子的每像素乘积。现有媒体固定功能(FF)硬件可能不支持CCM和OETF步骤之间的该附加乘法运算。在一些示例中,乘法运算可以被并在OETF的输入阵列的重新编程中。以该方式,现有硬件可以在没有任何修改的情况下支持本文中提出的色调映射操作。
可以利用单个拉伸因子的示例来说明OETF的输入阵列的重新编程。OETF可以实现为一对输入和输出阵列,每一个为一维的。OETF的输入阵列包含归一化在[0, 1]中或者作为[0, 2^N-1]中的N位固定点值的线性光RGB值。OETF的输出阵列包含归一化在[0, 1]中或者作为[0, 2^K-1]中的K位固定点值的数字代码值。输入阵列中的每一个条目与输出阵列中的对应条目匹配。参见以下示例,其中输入值x1和x2映射到输出值y1和y2。
表格1:
其中
相应地,色调映射操作708可以是输入值与拉伸因子σ的乘积。如果输入是x1,它被色调映射成σx1,并且在应用OETF之后输出现在变成oetf(σx1)。
表格2:
图8是依照本公开的至少一些实现来布置的示例颜色校正***800的说明性图。如所图示的,颜色校正***800可以包括电光转换函数单元(EOTF)802、颜色校正矩阵(CCM)804、色调映射逻辑模块808和/或光电转换函数单元(OETF)806。
在一些实现中,发光度范围的经由色调映射逻辑模块808的拉伸可以被执行为由光电转换函数单元806的硬件执行的除法运算。
在所图示的示例中,应用拉伸因子可以利用用拉伸因子对每一个颜色分量的每像素除法。相应地,与在图7处描述的相同或类似的映射可以在图8中通过在没有色调映射操作的情况下重新编程OETF而实现,其中经重新编程的OETF被写为oetf'()。
表格3:
相应地,经重新编程的OETF可以通过取得OETF的输入阵列条目并且除以σ而获得。
附加地,OETF的输入和输出阵列可以不均匀地隔开。重新编程方法也容易地扩展到不均匀地隔开的输入/输出阵列。
图9是依照本公开的至少一些实现来布置的示例颜色校正***900的说明性图。如所图示的,颜色校正***900可以包括电光转换函数单元(EOTF)(未示出)、颜色校正矩阵(CCM)904、色调映射逻辑模块908和/或光电转换函数单元(OETF)906。
如所图示的,色调映射逻辑模块908可以包括:直方图分析逻辑模块912、场景改变检测逻辑模块914、时间平滑模块(例如,2抽头IIR滤波器)916、利用边界框的枢轴点计算器逻辑模块920和/或线性RGB操作逻辑模块922。
在操作中,亮度直方图计算逻辑模块910(例如,经由ACE亮度直方图硬件)可以计算每一个输入图像帧的亮度直方图(例如,在每一帧的基础上提供的ACE亮度直方图)。直方图分析逻辑模块912可以分析来自亮度直方图计算逻辑模块910的直方图数据以向场景改变检测逻辑模块914和时间平滑模块(例如,2抽头IIR滤波器)916输出亮度值(例如,Ymean、Ymin、Ymax等,和/或其组合)的帧平均数。场景改变检测逻辑模块914可以计算场景改变以基于来自直方图分析逻辑模块912的Ymean、Ymin和Ymax每帧统计来重置时间平滑模块(例如,2抽头IIR滤波器)916的效果。时间平滑模块(例如,2抽头IIR滤波器)916可以向帧平均数应用2抽头IIR滤波器以使其相对时间上的波动稳定。
利用边界框的枢轴点计算器逻辑模块720可以至少部分地基于执行每帧方案来计算一个或多个拉伸因子和/或枢轴点,如上面关于图6所描述的那样。例如,利用边界框的枢轴点计算器逻辑模块720可以使用帧平均数来调整用于当前图像帧的拉伸因子。然后,线性RGB操作逻辑模块722可以应用计算出的一个或多个拉伸因子和/或枢轴点来拉伸线性RGB空间中的输入发光度范围。
图10是依照本公开的至少一些实现来布置的用于色调映射的示例拉伸因子图表1000的说明性图。如所图示的,可以确定多个拉伸因子。例如,发光度范围的拉伸可以至少部分地基于在一个或多个枢轴点1004处结合(join)的两个或更多个拉伸因子1002来执行。
使用单个拉伸因子具有对一起调整暗像素和亮像素的明亮度的有限控制。利用多个拉伸因子,可以根据明亮度将输入像素值分成多段并且对其单独地调整以得到更好的总体色调映射结果。
图10中示出了使用三个拉伸因子(σ1, σ2, σ3)的示例。存在两个枢轴点1104,p1(x1, y1)和p2(x2, y2),其中拉伸因子改变。枢轴点由(x, y)坐标(x1, y1)和(x2, y2)限定。枢轴点继而可以基于以下等式来确定拉伸因子。
y = σ1 x 如果x≤x1 (5)
y = σ2 (x - x1) + y1 如果x1<x≤x2
以此类推。
拉伸因子具有以下限制:σ2≤σ1且σ3≤σ2,以此类推。
更多个拉伸因子改进了色调映射的质量和操作的可控制性,但是增加的代价为实现和编程复杂性。现有硬件可以能够支持多个拉伸因子,但是在一些实现中可能推荐使用两个或三个拉伸因子以在质量和成本之间取得平衡。
图11是依照本公开的至少一些实现来布置的用于色调映射的示例拉伸因子图表1100的说明性图。如所图示的,可以对拉伸因子和枢轴点加以限制。
例如,(多个)拉伸因子枢轴点可能被定界。可以至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子而执行发光度范围的拉伸。在这样的示例中,(多个)单独的枢轴点可能与边界框1102相关联,所述边界框1102被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度。
由于调整枢轴点的位置会改变拉伸因子,在每一个枢轴点周围存在隐式边界框1102,并且每一个枢轴点可以仅在边界框1102内安全地移动。
图12是依照本公开的至少一些实现来布置的用于色调映射的分段线性函数(PWLF)图表1200的示例调制的说明性图。如所图示的,可以调制PWLF(例如,S形)1204以至少部分地基于用户输入来调谐单个拉伸因子1202。
所图示的示例可以在迄今描述的基本方法上扩展,以允许对应用于线性光RGB信号的色调映射操作的更复杂控制。为了比较,在图12的左侧中示出了单个拉伸因子1202情况。输入线性光RGB信号可以通过单个拉伸因子1202而拉伸并且在最大值处剪裁。
在图12的右侧中,可以应用曲线1204来控制经拉伸区中的RGB信号的对比度。在该图中示出了进一步增加该区中的对比度的S形曲线1204的示例,然而可以使用其它调谐函数。
图13是依照本公开的至少一些实现来布置的用于色调映射的分段线性函数(PWLF)图表1300的示例调制的说明性图。如所图示的,可以添加附加拉伸因子1302以避免如在图8中所示的线性光RGB值的较高值中的剪裁。这些修改可以实现为如之前那样的OETFPWLF的重新编程。
在图13的右侧中,可以应用曲线1304来控制经拉伸区中的RGB信号的对比度。在该图中示出了进一步增加该区中的对比度的S形曲线1304的示例,然而可以使用其它调谐函数。
所图示的示例可以在迄今描述的基本方法上扩展,以允许对应用于线性光RGB信号的色调映射操作的更复杂控制,来避免(多个)拉伸因子在一些区中的剪裁。例如,本文中描述的(多个)实现还可以通过允许调整或精细调谐拉伸因子而提供色调映射操作的灵活用户控制。beta的值可以编程为:
beta = MAX(maxCLL, max_display_mastering_luminance);或
beta = MIN(maxCLL, max_display_mastering_luminance);或
beta = AVG(maxCLL, max_display_mastering_luminance);或
beta = 100 cd/m2 (尼特)。
将beta值设置成100尼特导致拉伸因子的上限在100处。
stretching_factor_max = 10,000 / beta = 100 (6)
线性光RGB信号可以通过以下范围中的拉伸因子而拉伸
stretching_factor = [1, stretching_factor_max] (7)
在拉伸因子的该有效范围内,人们可以限定与不同拉伸因子值对应的控制旋钮的离散集合,诸如[低,中,高]或者[0,1,2……10],以满足各种用户偏好。或者,人们可以基于每帧统计而应用拉伸因子的加权平均。
相应地,在一些实现中,所述两个或更多个拉伸因子和/或一个或多个枢轴点的调谐可以在调整以上讨论的拉伸因子的性质方面支持色调映射强度的灵活控制和用户偏好。
图14是图示了依照本公开的至少一些实现来布置的示例过程1400的流程图。过程1400可以包括一个或多个操作、功能或动作,如由操作1402等中的一个或多个所图示的。
过程1400可以在操作1402 “向高动态范围视频应用反向伽马校正”处开始,其中可以应用反向伽马校正。例如,可以应用反向伽马校正以经由电光转换函数单元将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间(例如,参见图15)。
过程1400可以在操作1404 “应用颜色校正矩阵乘法”处继续,其中可以应用矩阵乘法。例如,可以应用经由颜色校正矩阵(CCM)单元(例如,参见图15)将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG)的矩阵乘法。
过程1400可以在操作1406 “至少部分地基于一个或多个拉伸因子来拉伸发光度范围”处继续,其中可以至少部分地基于一个或多个拉伸因子来拉伸发光度范围。例如,与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围可以至少部分地基于一个或多个拉伸因子而拉伸(例如,参见图15)。
过程1400可以在操作1408 “应用正向伽马校正以输出减小的标准动态范围视频”处继续,其中可以应用正向伽马校正。例如,可以应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频(例如,参见图15)。
过程1400可以提供视频色调映射,其可以由如本文中讨论的图形处理单元中的视频增强后处理管道所采用。
可以在本文中讨论的实现的一个或多个示例中并且特别地在下面关于图15来说明与本文中讨论的过程1400和其它过程相关的一些附加和/或替代的细节。
图15提供了依照本公开的至少一些实现来布置的操作中的示例视频处理***1600(为了更多细节,参见例如图16)和视频过程1500的说明性图。在所图示的实现中,过程1500可以包括一个或多个操作、功能或动作,如由动作1520等中的一个或多个所图示的。
作为非限制性示例,在本文中将参照示例视频处理***1600来描述过程1500,如在本文下面关于图16进一步所讨论的。
如所图示的,视频处理***1600(为了更多细节,参见例如图16)可以包括逻辑模块1650。例如,逻辑模块1650可以包括如关于本文中描述的***或子***中的任何所讨论的任何模块。例如,逻辑模块1650可以包括颜色校正***1660,所述颜色校正***1660可以包括电光转换函数单元(EOTF)1502、颜色校正矩阵(CCM)1504、色调映射逻辑模块1506、光电转换函数单元(OETF)1508和/或类似物。
过程1500可以在操作1520 “使控制点不均匀地隔开”处开始,其中可以使可编程的分段线性函数(PWLF)类型反向伽马校正的控制点不均匀地隔开。例如,可以经由电光转换函数单元1502使可编程的分段线性函数(PWLF)类型反向伽马校正的控制点不均匀地隔开。
在一些实现中,可以使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元1502的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。例如,EOTF PWLF的可编程控制点的实时最佳放置可以包括控制点在所预期的全范围内的不均匀地隔开,以得到朝向输出图片中的最好图片质量的可用硬件资产的最有效使用,而不要求在硬件或软件中实现昂贵的、常常迭代的优化过程。
过程1500可以在操作1522 “向高动态范围视频应用反向伽马校正”处继续,其中可以应用反向伽马校正。例如,可以应用反向伽马校正以经由电光转换函数单元1502将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间。
过程1500可以在操作1530 “修改3x3矩阵”处继续,其中可以修改三乘三矩阵。例如,可以使用可编程三乘三矩阵经由颜色校正矩阵(CCM)单元1504来修改三乘三矩阵。
在一些示例中,可以使用可编程三乘三矩阵来修改三乘三矩阵以对矩阵系数进行编程。
过程1500可以在操作1532 “应用颜色校正矩阵乘法”处继续,其中可以应用矩阵乘法。例如,可以应用经由颜色校正矩阵(CCM)单元1504将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG)的矩阵乘法。
在一些示例中,广色域(WCG)是BT2020类型色域、DCI-P3类型色域等;并且窄色域(NCG)是Rec709类型色域、sRGB类型色域等。
过程1500可以在操作1540 “确定(多个)拉伸因子”处继续,其中可以确定一个或多个拉伸因子。例如,可以以若干不同方式经由色调映射逻辑模块1506来确定一个或多个拉伸因子。
在一个示例中,所述一个或多个拉伸因子可以在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定。例如,所使用的元数据可以包括最大显示主要发光度、最小显示主要发光度、最大帧平均光水平、最大内容光水平、类似物和/或其组合,其可以被例如作为HEVC SEI消息而嵌入在输入HDR视频流中。
在另一个示例中,所述一个或多个拉伸因子可以在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定。例如,所述一个或多个拉伸因子可以基于某些启发式方法在没有关于嵌入在输入HDR视频流中的输入HDR视频的任何静态元数据的情况下来确定。
在另外的示例中,所述一个或多个拉伸因子可以在逐帧的基础上至少部分地基于实时测量到的每帧亮度范围统计来确定。例如,所述一个或多个拉伸因子可以至少部分地基于内部每帧统计来确定,所述内部每帧统计诸如帧平均、中间、最大和最小像素值、类似物和/或其组合。
过程1500可以在操作1542 “基于用户输入对(多个)拉伸因子枢轴点定界”处继续,其中可以对(多个)拉伸因子枢轴点定界。例如,发光度范围的拉伸可以至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行。在这样的示例中,(多个)单独的枢轴点可以与边界框相关联,所述边界框被适配成经由色调映射逻辑模块1506而与彼此有关地限制所述两个或更多个拉伸因子的幅度。
过程1500可以在操作1544 “基于用户输入来调谐(多个)拉伸因子”处继续,其中可以调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点。例如,所述两个或更多个拉伸因子和/或一个或多个枢轴点可以至少部分地基于用户输入经由色调映射逻辑模块1506来调谐。
在一些实现中,所述两个或更多个拉伸因子和/或一个或多个枢轴点的调谐可以在调整以上讨论的拉伸因子的性质方面支持色调映射强度的灵活控制和用户偏好。
过程1500可以在操作1546 “至少部分地基于一个或多个拉伸因子来拉伸发光度范围”处继续,其中可以至少部分地基于所述一个或多个拉伸因子来拉伸发光度范围。例如,与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围可以至少部分地基于所述一个或多个拉伸因子经由色调映射逻辑模块1506来拉伸。
在一些实现中,经由色调映射逻辑模块1506的发光度范围的拉伸可以被执行为在光电转换函数单元1508之前在软件中执行的乘法运算。
例如,输入线性光RGB视频的不同发光度范围可以通过在应用OETF之前使线性RGB空间中的输入发光度范围扩展(或拉伸)来适配,以改进SDR输出视频的动态范围和图片质量。
在一些实现中,经由色调映射逻辑模块1506的发光度范围的拉伸可以被执行为由光电转换函数单元1508的硬件执行的除法运算。
过程1500可以在操作1550 “使控制点不均匀地隔开”处继续,其中可以使可编程的分段线性函数(PWLF)类型正向伽马校正的控制点不均匀地隔开。例如,可以经由光电转换函数单元1508将可编程的分段线性函数(PWLF)类型正向伽马校正的控制点不均匀地隔开。
在一些实现中,经由光电转换函数单元1508的正向伽马校正的应用可以使用可编程的分段线性函数(PWLF)来执行,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。例如,OETF PWLF的可编程控制点的实时最佳放置可以包括控制点在所预期的全范围内的不均匀地隔开,以得到朝向输出图片中的最好图片质量的可用硬件资产的最有效使用,而不要求在硬件或软件中实现昂贵的、常常迭代的优化过程。
过程1500可以在操作1552 “应用正向伽马校正”处继续,其中可以应用正向伽马校正。例如,可以应用正向伽马校正以经由光电转换函数单元1508将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
过程1500可以在操作1560 “显示经色调映射转换的视频”处继续,其中可以显示经色调映射的视频。例如,可以经由显示器1510显示经色调映射的视频。
本文中描述的(多个)实现可以用于个人计算设备(台式PC、膝上型PC、平板PC和智能电话)以及传统视频回放硬件和软件(TV、STB、监视器和视频播放器应用软件)的视频/图像/图形处理器制造商,诸如AMD、nVidia、Qualcomm、Broadcom、Apple、Marvell、MediaTek、Samsung、LG、Sony、Toshiba、ArcSoft、CyberLink等。
可以在本文中讨论的实现的一个或多个示例中并且特别地在下面关于图16来说明与本文中讨论的与过程1500和本文中讨论的其它过程相关的一些附加和/或替代的细节。
本文中描述的***和/或过程的各种组件可以以软件、固件和/或硬件和/或其任何组合来实现。例如,本文中描述的***和/或过程的各种组件可以至少部分地由计算片上***(SoC)的硬件来提供,诸如可以在诸如例如智能电话之类的计算***中找到。本领域技术人员可以认识到,本文中描述的***可以包括没有在对应各图中描绘的附加组件。
如在本文中描述的任何实现中所使用的,术语“模块”可以是指“组件”或“逻辑单元”,如下面描述这些术语。相应地,术语“模块”可以是指被配置成提供本文中描述的功能性的软件逻辑、固件逻辑和/或硬件逻辑的任何组合。例如,本领域普通技术人员将领会到,由硬件和/或固件执行的操作可以替代地经由软件组件来实现,所述软件组件可以体现为软件封装、代码和/或指令集,并且还领会到,逻辑单元还可以利用软件的一部分来实现其功能性。
如在本文中描述的任何实现中所使用的,术语“组件”是指被配置成提供本文中描述的功能性的软件逻辑和/或固件逻辑的任何组合。软件逻辑可以体现为软件封装、代码和/或指令集、和/或存储由可编程电路执行的指令的固件。组件可以共同地或者单独地体现以用于作为更大***的部分的实现,所述更大***例如集成电路(IC)、片上***(SoC)等。
如在本文中描述的任何实现中所使用的,术语“逻辑单元”是指被配置成提供本文中描述的功能性的固件逻辑和/或硬件逻辑的任何组合。如在本文中描述的任何实现中所使用的,“硬件”可以例如单独地或者以任何组合地包括硬接线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。逻辑单元可以共同地或者单独地体现为形成更大***的部分的电路,所述更大***例如集成电路(IC)、片上***(SoC)等。例如,逻辑单元可以体现在用于实现本文中讨论的***的固件或硬件的逻辑电路中。另外,本领域普通技术人员将领会到,由硬件和/或固件执行的操作还可以利用软件的一部分来实现逻辑单元的功能性。
此外,可以响应于由一个或多个计算机程序产品提供的指令而着手进行本文中描述的过程的框中的任何一个或多个。这样的程序产品可以包括提供指令的信号承载介质,所述指令在由例如处理器执行时可以提供本文中描述的功能性。计算机程序产品可以以任何形式的计算机可读介质来提供。因而例如,包括一个或多个处理器核的处理器可以响应于通过计算机可读介质传达给处理器的而着手进行一个或多个操作。
图16是依照本公开的至少一些实现来布置的示例视频处理***1600的说明性图。在所图示的实现中,视频处理***1600虽然被图示具有视频编码器1602和视频解码器1604二者,但是视频处理***1600在各种示例中可以仅包括视频编码器1602或者仅包括视频解码器1604。视频处理***1600(其在各种示例中可以仅包括视频编码器1602或者仅包括视频解码器1604)可以包括(多个)成像设备1601、天线1602、一个或多个处理器1606、一个或多个存储器贮存器1608和/或显示设备1610。如所图示的,(多个)成像设备1601、天线1602、视频编码器1602、视频解码器1604、(多个)处理器1606、(多个)存储器贮存器1608和/或显示设备1610可以能够与彼此通信。
在一些实现中,视频处理***1600可以包括天线1603。例如,天线1603可以被配置成例如传输或接收视频数据的经编码的位流。(多个)处理器1606可以是任何类型的处理器和/或处理单元。例如,(多个)处理器1606可以包括有区别的中央处理单元、有区别的图形处理单元、集成的片上***(SoC)架构、类似物和/或其组合。此外,(多个)存储器贮存器1608可以是任何类型的存储器。例如,(多个)存储器贮存器1608可以是易失性存储器(例如,静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或者非易失性存储器(例如,闪速存储器等)等。在非限制性示例中,(多个)存储器贮存器1608可以由高速缓冲存储器实现。另外,在一些实现中,视频处理***1600可以包括显示设备1610。显示设备1610可以被配置成呈现视频数据。
如所示的,在一些示例中,视频处理***1600可以包括逻辑模块1650。在一些实现中,逻辑模块1650可以体现如关于本文中描述的任何***或子***所讨论的各种模块。在各种实施例中,逻辑模块1650中的一些可以以硬件来实现,而软件可以实现其它逻辑模块。例如,在一些实施例中,逻辑模块1650中的一些可以通过专用集成电路(ASIC)逻辑来实现,而其它逻辑模块可以通过由诸如处理器1606之类的逻辑执行的软件指令来提供。然而,本公开在该点上不受限制,并且逻辑模块1650中的一些可以由硬件、固件和/或软件的任何组合来实现。
例如,逻辑模块1650可以包括被配置成实现本文中描述的实现中的一个或多个的操作的自适应控制模块1660和/或类似物。
附加地或者替代地,在一些示例中,视频处理***1600可以包括视频管道1640。视频管道1640可以包括逻辑模块1650的全部或者部分,其包括被配置成实现本文中描述的实现中的一个或多个的操作的颜色校正***1660和/或类似物。
图17是依照本公开的至少一些实现来布置的示例***1700的说明性图。在各种实现中,***1700可以是媒体***,但是***1700不限于该上下文。例如,***1700可以被结合到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如,智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备、相机(例如,傻瓜相机、超级变焦相机、数字单镜头反光(DSLR)相机)等中。
在各种实现中,***1700包括耦合到显示器1720的平台1702。平台1702可以从内容设备接收内容,所述内容设备诸如(多个)内容服务设备1730或者(多个)内容递送设备1740或者其它类似的内容源。包括一个或多个导航特征的导航控制器1750可以用于与例如平台1702和/或显示器1720交互。下面更加详细地描述这些组件中的每一个。
在各种实现中,平台1702可以包括芯片组1705、处理器1710、存储器1712、天线1713、存储装置1714、图形子***1715、应用1716和/或无线电装置1718的任何组合。芯片组1705可以提供处理器1710、存储器1712、存储装置1714、图形子***1715、应用1716和/或无线电装置1718之间的相互通信。例如,芯片组1705可以包括能够提供与存储装置1714的相互通信的存储适配器(未描绘)。
处理器1710可以实现为复杂指令集计算机(CISC)或者简约指令集计算机(RISC)处理器、x86指令集兼容处理器、多核,或者任何其它微处理器或中央处理单元(CPU)。在各种实现中,处理器1710可以是(多个)双核处理器、(多个)双核移动处理器等。
存储器1712可以实现为易失性存储器设备,诸如但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)或者静态RAM(SRAM)。
存储装置1714可以实现为非易失性存储设备,诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附连的存储设备、闪速存储器、电池支持的SDRAM(同步DRAM)和/或网络可访问的存储设备。在各种实现中,存储装置1714可以包括在例如多个硬盘驱动器被包括时增加用于有价值的数字媒介的存储性能增强的保护的技术。
图形子***1715可以执行对用于显示的图像(诸如静止图像或视频)的处理。图形子***1715可以例如是图形处理单元(GPU)或者视觉处理单元(VPU)。可以使用模拟或数字接口来通信地耦合图形子***1715和显示器1720。例如,接口可以是高清多媒体接口、显示端口、无线HDMI和/或无线HD依从技术中的任何。图形子***1715可以集成到处理器1710或芯片组1705中。在一些实现中,图形子***1715可以是通信地耦合到芯片组1705的独立设备。
本文中描述的图形和/或视频处理技术可以在各种硬件架构中实现。例如,图形和/或视频功能性可以集成在芯片组内。替代地,可以使用分立的图形和/或视频处理器。作为又一个实现,图形和/或视频功能可以由通用处理器(包括多核处理器)提供。在另外的实施例中,功能可以在消费者电子设备中实现。
无线电装置1718可以包括能够使用各种适合的无线通信技术来传输和接收信号的一个或多个无线电装置。这样的技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这样的网络的通信中,无线电装置1718可以依照任何版本的一个或多个可应用的标准来操作。
在各种实现中,显示器1720可以包括任何电视类型的监视器或显示器。显示器1720可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类似电视的设备和/或电视。显示器1720可以是数字和/或模拟的。在各种实现中,显示器1720可以是全息显示器。而且,显示器1720可以是可以接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像和/或对象。例如,这样的投影可以是用于移动增强现实(MAR)应用的视觉叠加。在一个或多个软件应用1716的控制之下,平台1702可以在显示器1720上显示用户界面1722。
在各种实现中,(多个)内容服务设备1730可以由任何国内、国际和/或独立的服务托管,并且因而经由例如因特网而对平台1702可访问。(多个)内容服务设备1730可以耦合到平台1702和/或显示器1720。平台1702和/或(多个)内容服务设备1730可以耦合到网络1760以向网络1760以及从网络1760传送(例如,发送和/或接收)媒体信息。(多个)内容递送设备1740也可以耦合到平台1702和/或显示器1720。
在各种实现中,(多个)内容服务设备1730可以包括有线电视盒子、个人计算机、网络、电话、支持因特网的设备或能够递送数字信息和/或内容的器具、以及能够经由网络1760或者直接地在内容提供商和平台1702和/或显示器1720之间单向地或双向地传送内容的任何其它类似的设备。将领会到,可以经由网络1760单向地和/或双向地向***1700中的任何一个组件和内容提供商以及从***1700中的任何一个组件和内容提供商传送内容。内容的示例可以包括任何媒体信息,包括例如视频、音乐、医疗和游戏信息等。
(多个)内容服务设备1730可以接收诸如有线电视节目编排之类的内容,包括媒体信息、数字信息和/或其它内容。内容提供商的示例可以包括任何有线或***或者无线电或因特网内容提供商。所提供的示例不意图以任何方式限制依照本公开的实现。
在各种实现中,平台1702可以从具有一个或多个导航特征的导航控制器1750接收控制信号。控制器1750的导航特征可以用于例如与用户界面1722交互。在各种实施例中,导航控制器1750可以是定点设备,所述定点设备可以是允许用户将空间(例如,连续且多维的)数据输入到计算机中的计算机硬件组件(具体地,人类接口设备)。许多***,诸如图形用户界面(GUI),以及电视和监视器,允许用户使用身体姿态来控制计算机或电视并且向计算机或电视提供数据。
控制器1750的导航特征的移动可以通过在显示器上显示的指针、光标、聚焦环或其它视觉指示符的移动而复制在显示器(例如,显示器1720)上。例如,在软件应用1716的控制之下,可以将位于导航控制器1750上的导航特征映射成用户界面1722上显示的虚拟导航特征。在各种实施例中,控制器1750可以不是分离的组件,但是可以集成到平台1702和/或显示器1720中。然而,本公开不限于所述元件或者不被限制在本文中示出或描述的上下文中。
在各种实现中,驱动(未示出)可以包括例如在被启用时使得用户能够在初始启动之后利用对按钮的触碰而立即打开和关闭平台1702(比如电视)的技术。程序逻辑可以甚至在平台1702被“关闭”时允许平台1702将内容流式传输至媒体适配器或者(多个)其它内容服务设备1730或者(多个)内容递送设备1740。此外,芯片组1705可以包括例如对于(5.1)环绕立体声音频和/或高清(7.1)环绕立体声音频的硬件和/或软件支持。驱动可以包括用于集成图形平台的图形驱动。在各种实施例中,图形驱动可以包括***组件互连(PCI)Express图形卡。
在各种实现中,***1700中示出的组件中的任何一个或多个可以被集成。例如,平台1702和(多个)内容服务设备1730可以被集成,或者平台1702和(多个)内容递送设备1740可以被集成,或者平台1702、(多个)内容服务设备1730和(多个)内容递送设备1740可以例如被集成。在各种实施例中,平台1702和显示器1720可以是集成单元。例如,显示器1720和(多个)内容服务设备1730可以被集成,或者显示器1720和(多个)内容递送设备1740可以被集成。这些示例不意图限制本公开。
在各种实施例中,***1700可以实现为无线***、有线***或二者的组合。当实现为无线***时,***1700可以包括适于通过无线共享介质进行通信的组件和接口,诸如一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包括无线频谱的部分,诸如RF频谱等。当实现为有线***时,***1700可以包括适于通过有线通信介质进行通信的组件和接口,诸如输入/输出(I/O)适配器、连接I/O适配器与对应有线通信介质的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括电线、线缆、金属引线、印刷电路板(PCB)、底板、交换结构、半导体材料、双绞线、同轴线缆、光纤等。
平台1702可以建立一个或多个逻辑或物理通道以传送信息。信息可以包括媒体信息和控制信息。媒体信息可以是指表示意图给用户的内容的任何数据。内容的示例可以包括例如来自语音会话、视频会议、流式传输视频、电子邮件(“电邮”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音会话的数据可以是例如话语信息、沉默时段、背景噪声、舒适噪声、音调等。控制信息可以是指表示意图用于自动化***的命令、指令或控制字的任何数据。例如,控制信息可以用于通过***路由媒体信息,或者指示节点以预确定的方式处理媒体信息。然而,实施例不限于所述元件或者不被限制在图17中示出或描述的上下文中。
如上面所描述的,***1700可以以变化的物理样式或形状因子来体现。图18图示了可以在其中体现***1700的小形状因子设备1800的实现。在各种实施例中,例如,设备1800可以实现为具有无线能力的移动计算设备。移动计算设备可以是指具有处理***和移动电源或电力供应(诸如例如一个或多个电池)的任何设备。
如上面所描述的,移动计算设备的示例可以包括个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板、触摸板、便携式计算机、手持式计算机、掌上计算机、个人数字助理 (PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如,智能电话、智能平板或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备、相机(例如,傻瓜相机、超级变焦相机、数字单镜头反光(DSLR)相机)等。
移动计算设备的示例还可以包括被布置成由人穿戴的计算机,诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、带夹计算机、臂带计算机、鞋子计算机、衣物计算机以及其它可穿戴计算机。在各种实施例中,例如,移动计算设备可以实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然可能通过示例的方式利用实现为智能电话的移动计算设备描述了一些实施例,但是可以领会到,也可以使用其它无线移动计算设备来实现其它实施例。实施例不被限制在该上下文中。
如图18中所示,设备1800可以包括外壳1802、显示器1804、输入/输出(I/O)设备1806和天线1808,所述显示器1804可以包括用户界面1810。设备1800还可以包括导航特征1812。显示器1804可以包括用于显示适于移动计算设备的信息的任何适合的显示单元。I/O设备1806可以包括用于将信息输入到移动计算设备中的任何适合的I/O设备。I/O设备1806的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件、图像传感器等。还可以经由麦克风(未示出)将信息输入到设备1800中。这样的信息可以由语音识别设备(未示出)数字化。实施例不被限制在该上下文中。
各种实施例可以使用硬件元件、软件元件或二者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如,晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体设备、芯片、微芯片、芯片组等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子例程、函数、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定是使用硬件元件和/或软件元件实现实施例可以依照任何数目的因素而变化,诸如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度以及其它设计或性能约束。
此外,可以响应于由一个或多个计算机程序产品提供的指令而着手进行本文中讨论的操作中的任何一个或多个。这样的程序产品可以包括提供指令的信号承载介质,所述指令在由例如处理器执行时可以提供本文中描述的功能性。计算机程序产品可以以任何形式的一个或多个机器可读介质来提供。因而例如,包括一个或多个处理器核的处理器可以响应一个或多个机器可读介质向处理器传达的程序代码和/或指令或者指令集而着手进行本文中的示例过程的操作中的一个或多个。一般地,机器可读介质可以以程序代码和/或指令或者指令集的形式传达软件,其可以使得本文中描述的设备和/或***中的任何来实现如本文中讨论的***的至少部分。
虽然已经参照各种实现描述了本文中阐述的某些特征,但是该描述不意图以限制性意义来解释。因而,本文中描述的实现的各种修改,以及对于本公开所属领域中的技术人员显而易见的其它实现,被认为位于本公开的精神和范围内。
以下示例关于另外的实施例。
在一个示例中,一种计算机实现方法可以通过以下而从高动态范围视频生成标准动态范围视频:经由电光转换函数单元来应用反向伽马校正以将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间。颜色校正矩阵(CCM)单元可以应用矩阵乘法,所述矩阵乘法将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG)。色调映射逻辑模块可以至少部分地基于一个或多个拉伸因子来拉伸与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围。光电转换函数单元可以应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
在另一个示例中,计算机实现方法可以包括通过使用可编程的分段线性函数(PWLF)的对经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用,其中广色域(WCG)是BT2020类型色域或者DCI-P3类型色域,其中窄色域(NCG)是Rec709类型色域或者sRGB类型色域。至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度。至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸。经由色调映射逻辑模块确定所述一个或多个拉伸因子至少部分地基于以下确定中的一个或多个:1)在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;2)在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及3)在逐帧的基础上至少部分地基于实时测量到的每帧亮度范围统计来确定所述一个或多个拉伸因子。经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算,或者被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算。使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
在另外的示例中,一种用来从高动态范围视频生成标准动态范围视频的装置可以包括图形处理单元(GPU)。图形处理单元可以包括电光转换函数单元,所述电光转换函数单元被配置成应用反向伽马校正以将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间。颜色校正矩阵(CCM)单元可以被配置成应用矩阵乘法,所述矩阵乘法将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG)。色调映射逻辑模块可以被配置成至少部分地基于一个或多个拉伸因子来拉伸与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围。光电转换函数单元可以被配置成应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
在仍另外的示例中,装置可以包括通过使用可编程的分段线性函数(PWLF)的对经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用,其中广色域(WCG)是BT2020类型色域或DCI-P3类型色域,其中窄色域(NCG)是Rec709类型色域或sRGB类型色域。至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度。至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸。经由色调映射逻辑模块确定所述一个或多个拉伸因子至少部分地基于以下确定中的一个或多个:1)在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;2)在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及3)在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子。经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算,或者被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算。使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
在其它示例中,一种用来从高动态范围视频生成标准动态范围视频的计算机实现***可以包括一个或多个存储器贮存器;以及通信地耦合到所述一个或多个存储器贮存器的图形处理单元(GPU)。图形处理单元可以包括电光转换函数单元,所述电光转换函数单元被配置成应用反向伽马校正以将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间。颜色校正矩阵(CCM)单元可以被配置成应用矩阵乘法,所述矩阵乘法将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG)。色调映射逻辑模块可以被配置成至少部分地基于一个或多个拉伸因子来拉伸与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围。光电转换函数单元可以被配置成应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
在另一个示例中,计算机实现***可以包括通过使用可编程的分段线性函数(PWLF)的对经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用,其中广色域(WCG)是BT2020类型色域或DCI-P3类型色域,其中窄色域(NCG)是Rec709类型色域或sRGB类型色域。至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度。至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸。经由色调映射逻辑模块确定所述一个或多个拉伸因子至少部分地基于以下确定中的一个或多个:1)在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;2)在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及3)在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子。经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算,或者被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算。使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
在另外的示例中,至少一种机器可读介质可以包括多个指令,所述多个指令响应于被在计算设备上执行而使得计算设备实行根据以上示例中的任一个的方法。
在仍另外的示例中,一种装置可以包括用于执行根据以上示例中任一个的方法的部件。
以上示例可以包括特征的具体组合。然而,这样的以上示例在该点上不受限制,并且在各种实现中,以上示例可以包括保证这样的特征的仅子集、保证这样的特征的不同次序、保证这样的特征的不同组合和/或保证除明确列出的那些特征之外的附加特征。例如,可以关于示例装置、示例***和/或示例物品来实现关于示例方法所描述的所有特征,并且反之亦然。
Claims (22)
1.一种用来从高动态范围视频生成标准动态范围视频的计算机实现方法,包括:
经由电光转换函数单元来应用反向伽马校正以将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间;
经由颜色校正矩阵(CCM)单元来应用矩阵乘法,所述矩阵乘法将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG);
经由色调映射逻辑模块,至少部分地基于一个或多个拉伸因子来拉伸与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围;以及
经由光电转换函数单元来应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
2.根据权利要求1所述的方法,
其中使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元的反向伽马校正的应用;
其中使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用;并且
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用。
3.根据权利要求1所述的方法,
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
4.根据权利要求1所述的方法,
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
5.根据权利要求1所述的方法,
其中经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算。
6.根据权利要求1所述的方法,
其中经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算。
7.根据权利要求1所述的方法,进一步包括:
经由色调映射逻辑模块,至少部分地基于以下确定中的一个或多个来确定所述一个或多个拉伸因子:
在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;
在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及
在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子。
8.根据权利要求1所述的方法,
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度。
9.根据权利要求1所述的方法,
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度;并且
其中至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸。
10.根据权利要求1所述的方法,进一步包括:
其中使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程;
其中使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用,其中广色域(WCG)是BT2020类型色域或DCI-P3类型色域,其中窄色域(NCG)是Rec709类型色域或sRGB类型色域;
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度;
其中至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸;
经由色调映射逻辑模块,至少部分地基于以下确定中的一个或多个来确定所述一个或多个拉伸因子:
在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;
在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及
在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子;
其中经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算,或者被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算;并且
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
11.一种用来从高动态范围视频生成标准动态范围视频的装置,包括:
图形处理单元(GPU),所述图形处理单元包括:
电光转换函数单元,其被配置成应用反向伽马校正以将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间;
颜色校正矩阵(CCM)单元,其被配置成应用矩阵乘法,所述矩阵乘法将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG);
色调映射逻辑模块,其被配置成至少部分地基于一个或多个拉伸因子来拉伸与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围;以及
光电转换函数单元,其被配置成应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
12.根据权利要求11所述的装置,
其中使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程;并且
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
13.根据权利要求11所述的装置,进一步包括:
色调映射逻辑模块,其被配置成至少部分地基于以下确定中的一个或多个来确定所述一个或多个拉伸因子:
在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;
在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及
在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子。
14.根据权利要求11所述的装置,
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度;并且
其中至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸。
15.根据权利要求11所述的装置,进一步包括:
其中使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程;
其中使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用,其中广色域(WCG)是BT2020类型色域或DCI-P3类型色域,其中窄色域(NCG)是Rec709类型色域或sRGB类型色域;
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度;
其中至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸;
色调映射逻辑模块被配置成至少部分地基于以下确定中的一个或多个来确定所述一个或多个拉伸因子:
在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;
在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及
在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子;
其中经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算,或者被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算;并且
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
16.一种用来从高动态范围视频生成标准动态范围视频的***,包括:
一个或多个存储器贮存器;
通信地耦合到所述一个或多个存储器贮存器的图形处理单元(GPU),所述图形处理单元包括:
电光转换函数单元,其被配置成应用反向伽马校正以将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间;
颜色校正矩阵(CCM)单元,其被配置成应用矩阵乘法,所述矩阵乘法将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG);
色调映射逻辑模块,其被配置成至少部分地基于一个或多个拉伸因子来拉伸与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围;以及
光电转换函数单元,其被配置成应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
17.根据权利要求16所述的***,
其中使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程;并且
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
18.根据权利要求16所述的***,进一步包括:
色调映射逻辑模块,其被配置成至少部分地基于以下确定中的一个或多个来确定所述一个或多个拉伸因子:
在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;
在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及
在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子。
19.根据权利要求16所述的***,
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度;并且
其中至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸。
20.根据权利要求16所述的***,进一步包括:
其中使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程;
其中使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用,其中广色域(WCG)是BT2020类型色域或DCI-P3类型色域,其中窄色域(NCG)是Rec709类型色域或sRGB类型色域;
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度;
其中至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸;
色调映射逻辑模块被配置成至少部分地基于以下确定中的一个或多个来确定所述一个或多个拉伸因子:
在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;
在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及
在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子;
其中经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算,或者被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算;并且
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
21.至少一种机器可读介质,包括:多个指令,所述多个指令响应于被在计算设备上执行而使得计算设备实行:
经由电光转换函数单元来应用反向伽马校正以将非线性红绿蓝(RGB)空间中的高动态范围输入视频转换到线性RGB空间;
经由颜色校正矩阵(CCM)单元来应用矩阵乘法,所述矩阵乘法将高动态范围输入视频的颜色空间从广色域(WCG)转换到窄色域(NCG);
经由色调映射逻辑模块,至少部分地基于一个或多个拉伸因子来拉伸与在窄色域线性光RGB颜色空间中的从颜色校正矩阵输出的高动态范围输入视频相关联的发光度范围;以及
经由光电转换函数单元来应用正向伽马校正以将线性光RGB空间中的经拉伸的高动态范围视频转换回到非线性RGB空间,以输出标准动态范围视频。
22.根据权利要求21所述的至少一种机器可读介质方法,进一步包括:
其中使用可编程的分段线性函数(PWLF)来执行经由电光转换函数单元的反向伽马校正的应用,以将电光转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程;
其中使用可编程的三乘三矩阵来执行经由颜色校正矩阵(CCM)单元的矩阵乘法的应用,其中广色域(WCG)是BT2020类型色域或DCI-P3类型色域,其中窄色域(NCG)是Rec709类型色域或sRGB类型色域;
其中至少部分地基于在一个或多个枢轴点处结合的两个或更多个拉伸因子来执行经由色调映射逻辑模块的发光度范围的拉伸,其中枢轴点与边界框相关联,所述边界框被适配成与彼此有关地限制所述两个或更多个拉伸因子的幅度;
其中至少部分地基于用来调谐所述两个或更多个拉伸因子和/或一个或多个枢轴点的用户输入来执行经由色调映射逻辑模块的发光度范围的拉伸;
经由色调映射逻辑模块,至少部分地基于以下确定中的一个或多个来确定所述一个或多个拉伸因子:
在逐视频序列的基础上至少部分地基于与视频序列相关联的元数据来确定所述一个或多个拉伸因子;
在逐视频序列的基础上在没有元数据的情况下并且至少部分地基于与视频序列相关联的所假定的最大发光度水平来确定所述一个或多个拉伸因子;以及
在逐帧的基础上至少部分地基于实时测量到的每帧亮度统计来确定所述一个或多个拉伸因子;
其中经由色调映射逻辑模块的发光度范围的拉伸被执行为至少部分地基于所述一个或多个拉伸因子的在光电转换函数单元之前执行的乘法运算,或者被执行为至少部分地基于所述一个或多个拉伸因子的由光电转换函数单元执行的除法运算;并且
其中使用可编程的分段线性函数(PWLF)来执行经由光电转换函数单元的正向伽马校正的应用,以将光电转换函数单元分段线性函数的控制点在所预期的全范围内不均匀地隔开,而不利用迭代的优化过程。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/998189 | 2015-12-26 | ||
US14/998,189 US9984446B2 (en) | 2015-12-26 | 2015-12-26 | Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content |
PCT/US2016/063889 WO2017112360A1 (en) | 2015-12-26 | 2016-11-28 | Video tone mapping for converting high dynamic range (hdr) content to standard dynamic range (sdr) content |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108352059A true CN108352059A (zh) | 2018-07-31 |
CN108352059B CN108352059B (zh) | 2022-11-04 |
Family
ID=59086446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680069324.8A Active CN108352059B (zh) | 2015-12-26 | 2016-11-28 | 从高动态范围视频生成标准动态范围视频的方法和装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9984446B2 (zh) |
CN (1) | CN108352059B (zh) |
WO (1) | WO2017112360A1 (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109146822A (zh) * | 2018-09-05 | 2019-01-04 | 成都索贝数码科技股份有限公司 | 一种利用sdr显示设备模拟hdr监视器的方法 |
CN109274985A (zh) * | 2018-10-12 | 2019-01-25 | 腾讯科技(深圳)有限公司 | 视频转码方法、装置、计算机设备和存储介质 |
CN109829860A (zh) * | 2018-12-26 | 2019-05-31 | 武汉高德智感科技有限公司 | 全图与局部相结合的图像线性动态范围压缩方法及*** |
CN110691194A (zh) * | 2019-09-19 | 2020-01-14 | 锐迪科微电子(上海)有限公司 | 广色域图像确定方法及装置 |
CN110807735A (zh) * | 2018-08-06 | 2020-02-18 | Tcl集团股份有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
CN111757078A (zh) * | 2019-03-26 | 2020-10-09 | Lg 电子株式会社 | 信号处理设备和包括信号处理设备的图像显示装置 |
CN112565588A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像处理设备、图像处理方法和存储介质 |
US10986320B2 (en) | 2019-01-31 | 2021-04-20 | Coretronic Corporation | Projector and method for projecting image light beam |
CN112887686A (zh) * | 2019-11-29 | 2021-06-01 | 联阳半导体股份有限公司 | 图像获取装置及方法 |
US11095861B2 (en) | 2019-01-31 | 2021-08-17 | Coretronic Corporation | Projector and method for projecting image light beam |
CN113455013A (zh) * | 2019-02-19 | 2021-09-28 | 三星电子株式会社 | 用于处理图像的电子设备及其图像处理方法 |
CN113676773A (zh) * | 2021-08-16 | 2021-11-19 | 广州虎牙信息科技有限公司 | 一种视频播放方法、***、装置、计算机设备和存储介质 |
CN114026847A (zh) * | 2019-06-28 | 2022-02-08 | 脸谱公司 | 使用混合查找表方案对高动态范围视频的预处理 |
CN114245027A (zh) * | 2021-11-29 | 2022-03-25 | 北京新奥特图腾科技有限公司 | 一种视频数据混合处理方法、***、电子设备和存储介质 |
CN114501023A (zh) * | 2022-03-31 | 2022-05-13 | 深圳思谋信息科技有限公司 | 视频处理方法、装置、计算机设备、存储介质 |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2917212C (en) * | 2013-07-12 | 2023-03-07 | Sony Corporation | Reproduction device, reproduction method, and recording medium |
CN105981391B (zh) * | 2014-02-07 | 2020-04-10 | 索尼公司 | 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法 |
JP6233424B2 (ja) * | 2016-01-05 | 2017-11-22 | ソニー株式会社 | 撮像システムおよび撮像方法 |
US10536665B2 (en) * | 2016-02-01 | 2020-01-14 | Lg Electronics Inc. | Device for transmitting broadcast signal, device for receiving broadcast signal, method for transmitting broadcast signal, and method for receiving broadcast signal |
US10257393B2 (en) | 2016-02-12 | 2019-04-09 | Contrast, Inc. | Devices and methods for high dynamic range video |
US10264196B2 (en) | 2016-02-12 | 2019-04-16 | Contrast, Inc. | Systems and methods for HDR video capture with a mobile device |
EP3220645A1 (en) * | 2016-03-18 | 2017-09-20 | Thomson Licensing | A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device |
US11636348B1 (en) | 2016-05-30 | 2023-04-25 | Apple Inc. | Adaptive training of neural network models at model deployment destinations |
US11223778B2 (en) * | 2016-06-27 | 2022-01-11 | Sony Corporation | Signal processing device, signal processing method, camera system, video system, and server |
CA3033242A1 (en) | 2016-08-09 | 2018-02-15 | Contrast, Inc. | Real-time hdr video for vehicle control |
CN109792523B (zh) * | 2016-08-30 | 2022-11-04 | 杜比实验室特许公司 | 单层后向兼容编解码器的实时整形 |
CN109691119B (zh) | 2017-06-21 | 2022-04-19 | 松下知识产权经营株式会社 | 影像显示***及影像显示方法 |
WO2019000097A1 (en) | 2017-06-28 | 2019-01-03 | The University Of British Columbia | METHODS AND APPARATUS FOR MAPPING TONE AND MAPPING INVERSE TONE |
US10755392B2 (en) * | 2017-07-13 | 2020-08-25 | Mediatek Inc. | High-dynamic-range video tone mapping |
CN109691118B (zh) | 2017-07-14 | 2021-12-17 | 松下知识产权经营株式会社 | 影像显示***及影像显示方法 |
KR102452484B1 (ko) | 2017-08-11 | 2022-10-11 | 삼성전자주식회사 | 발광소자 패키지 및 발광소자 패키지 모듈 |
EP3684061B1 (en) * | 2017-09-13 | 2021-07-07 | Panasonic Intellectual Property Management Co., Ltd. | Video display device and video display method |
US10992877B2 (en) | 2017-10-06 | 2021-04-27 | Panasonic Intellectual Property Management Co., Ltd. | Video display apparatus and video display method |
EP3477946A1 (en) | 2017-10-31 | 2019-05-01 | Thomson Licensing | Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image |
US11423522B2 (en) | 2017-11-24 | 2022-08-23 | Interdigital Vc Holdings, Inc. | Method and apparatus for colour correction during HDR to SDR conversion |
JP6602414B2 (ja) * | 2018-03-16 | 2019-11-06 | キヤノン株式会社 | 装置、方法、及びプログラム |
US20190356891A1 (en) * | 2018-05-16 | 2019-11-21 | Synaptics Incorporated | High dynamic range (hdr) data conversion and color space mapping |
US10951888B2 (en) | 2018-06-04 | 2021-03-16 | Contrast, Inc. | Compressed high dynamic range video |
CN108882028B (zh) * | 2018-07-05 | 2019-06-14 | 华为技术有限公司 | 视频信号的处理方法及装置 |
US11503310B2 (en) * | 2018-10-31 | 2022-11-15 | Ati Technologies Ulc | Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder |
EP3672267A1 (en) | 2018-12-20 | 2020-06-24 | InterDigital VC Holdings, Inc. | Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media |
KR20200095651A (ko) * | 2019-02-01 | 2020-08-11 | 삼성전자주식회사 | 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법 |
US11425379B2 (en) | 2019-05-31 | 2022-08-23 | Hfi Innovation Inc. | Method and apparatus of latency reduction for chroma residue scaling |
US11488349B2 (en) * | 2019-06-28 | 2022-11-01 | Ati Technologies Ulc | Method and apparatus for alpha blending images from different color formats |
US11182884B2 (en) * | 2019-07-30 | 2021-11-23 | Nvidia Corporation | Enhanced high-dynamic-range imaging and tone mapping |
US11508296B2 (en) * | 2020-06-24 | 2022-11-22 | Canon Kabushiki Kaisha | Image display system for displaying high dynamic range image |
US11615622B2 (en) | 2020-07-15 | 2023-03-28 | Comcast Cable Communications, Llc | Systems, methods, and devices for determining an introduction portion in a video program |
JP2023537939A (ja) | 2020-08-17 | 2023-09-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジビデオ用のピクチャメタデータ |
US11412174B2 (en) | 2020-09-22 | 2022-08-09 | Microsoft Technology Licensing, Llc | Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content |
US11617010B1 (en) * | 2020-09-30 | 2023-03-28 | Amazon Technologies, Inc. | High dynamic range video content stitching |
WO2022225596A1 (en) * | 2021-04-23 | 2022-10-27 | Arris Enterprises Llc | Uhd hdr ip client device |
EP4086844A1 (en) * | 2021-05-07 | 2022-11-09 | Koninklijke Philips N.V. | Display-optimized hdr video contrast adaptation |
WO2022250696A1 (en) * | 2021-05-28 | 2022-12-01 | Hewlett-Packard Development Company, L.P. | Static display metadata modifications |
US11734806B2 (en) * | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
CN114466147B (zh) * | 2021-12-23 | 2024-03-15 | 阿里巴巴(中国)有限公司 | 一种视频亮度的调整方法、装置、电子设备以及存储介质 |
CN114866752B (zh) * | 2022-06-01 | 2023-10-27 | 青岛海信激光显示股份有限公司 | 激光投影显示方法、三色激光投影设备及可读性存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
US20130328907A1 (en) * | 2011-03-15 | 2013-12-12 | Dolby Laboratories Licensing Corporation | Method and Apparatus for Image Data Transformation |
US20150248747A1 (en) * | 2012-09-12 | 2015-09-03 | Dolby Laboratories Licensing Corporation | Display management for images with enhanced dynamic range |
CN104995903A (zh) * | 2013-02-21 | 2015-10-21 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法及设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7684639B2 (en) * | 2005-10-20 | 2010-03-23 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic digital image enhancement |
KR101007101B1 (ko) | 2009-01-07 | 2011-01-10 | 한양대학교 산학협력단 | 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템 |
US9451292B2 (en) * | 2011-09-15 | 2016-09-20 | Dolby Laboratories Licensing Corporation | Method and system for backward compatible, extended dynamic range encoding of video |
JP6407717B2 (ja) | 2011-09-27 | 2018-10-17 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像のダイナミックレンジ変換のための装置及び方法 |
US9129445B2 (en) | 2012-03-14 | 2015-09-08 | Dolby Laboratories Licensing Corporation | Efficient tone-mapping of high-bit-depth video to low-bit-depth display |
US9179042B2 (en) * | 2013-10-09 | 2015-11-03 | Dolby Laboratories Licensing Corporation | Systems and methods to optimize conversions for wide gamut opponent color spaces |
US9230338B2 (en) * | 2014-03-05 | 2016-01-05 | Dolby Laboratories Licensing Corporation | Graphics blending for high dynamic range video |
US9613407B2 (en) * | 2014-07-03 | 2017-04-04 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
US9558538B2 (en) * | 2015-01-09 | 2017-01-31 | Vixs Systems, Inc. | Dynamic range converter with frame by frame adaptation and methods for use therewith |
US9860504B2 (en) * | 2015-01-09 | 2018-01-02 | Vixs Systems, Inc. | Color gamut mapper for dynamic range conversion and methods for use therewith |
US10880557B2 (en) * | 2015-06-05 | 2020-12-29 | Fastvdo Llc | High dynamic range image/video coding |
EP3136736A1 (en) * | 2015-08-25 | 2017-03-01 | Thomson Licensing | Method for inverse tone mapping of a sequence of images |
-
2015
- 2015-12-26 US US14/998,189 patent/US9984446B2/en active Active
-
2016
- 2016-11-28 CN CN201680069324.8A patent/CN108352059B/zh active Active
- 2016-11-28 WO PCT/US2016/063889 patent/WO2017112360A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130328907A1 (en) * | 2011-03-15 | 2013-12-12 | Dolby Laboratories Licensing Corporation | Method and Apparatus for Image Data Transformation |
CN103002225A (zh) * | 2011-04-20 | 2013-03-27 | Csr技术公司 | 多曝光高动态范围图像捕捉 |
US20150248747A1 (en) * | 2012-09-12 | 2015-09-03 | Dolby Laboratories Licensing Corporation | Display management for images with enhanced dynamic range |
CN104995903A (zh) * | 2013-02-21 | 2015-10-21 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法及设备 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807735A (zh) * | 2018-08-06 | 2020-02-18 | Tcl集团股份有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
CN109146822A (zh) * | 2018-09-05 | 2019-01-04 | 成都索贝数码科技股份有限公司 | 一种利用sdr显示设备模拟hdr监视器的方法 |
CN109274985A (zh) * | 2018-10-12 | 2019-01-25 | 腾讯科技(深圳)有限公司 | 视频转码方法、装置、计算机设备和存储介质 |
CN109829860A (zh) * | 2018-12-26 | 2019-05-31 | 武汉高德智感科技有限公司 | 全图与局部相结合的图像线性动态范围压缩方法及*** |
US11095861B2 (en) | 2019-01-31 | 2021-08-17 | Coretronic Corporation | Projector and method for projecting image light beam |
US10986320B2 (en) | 2019-01-31 | 2021-04-20 | Coretronic Corporation | Projector and method for projecting image light beam |
US11922607B2 (en) | 2019-02-19 | 2024-03-05 | Samsung Electronics Co., Ltd. | Electronic device for processing image and image processing method thereof |
CN113455013B (zh) * | 2019-02-19 | 2024-01-16 | 三星电子株式会社 | 用于处理图像的电子设备及其图像处理方法 |
CN113455013A (zh) * | 2019-02-19 | 2021-09-28 | 三星电子株式会社 | 用于处理图像的电子设备及其图像处理方法 |
CN111757078A (zh) * | 2019-03-26 | 2020-10-09 | Lg 电子株式会社 | 信号处理设备和包括信号处理设备的图像显示装置 |
CN114026847A (zh) * | 2019-06-28 | 2022-02-08 | 脸谱公司 | 使用混合查找表方案对高动态范围视频的预处理 |
CN110691194B (zh) * | 2019-09-19 | 2021-04-20 | 锐迪科微电子(上海)有限公司 | 广色域图像确定方法及装置 |
CN110691194A (zh) * | 2019-09-19 | 2020-01-14 | 锐迪科微电子(上海)有限公司 | 广色域图像确定方法及装置 |
CN112565588B (zh) * | 2019-09-26 | 2024-01-05 | 佳能株式会社 | 图像处理设备、图像处理方法和存储介质 |
CN112565588A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像处理设备、图像处理方法和存储介质 |
CN112887686A (zh) * | 2019-11-29 | 2021-06-01 | 联阳半导体股份有限公司 | 图像获取装置及方法 |
CN113676773A (zh) * | 2021-08-16 | 2021-11-19 | 广州虎牙信息科技有限公司 | 一种视频播放方法、***、装置、计算机设备和存储介质 |
CN113676773B (zh) * | 2021-08-16 | 2023-11-14 | 广州虎牙信息科技有限公司 | 一种视频播放方法、***、装置、计算机设备和存储介质 |
CN114245027A (zh) * | 2021-11-29 | 2022-03-25 | 北京新奥特图腾科技有限公司 | 一种视频数据混合处理方法、***、电子设备和存储介质 |
CN114245027B (zh) * | 2021-11-29 | 2024-03-22 | 图腾视界(广州)数字科技有限公司 | 一种视频数据混合处理方法、***、电子设备和存储介质 |
CN114501023A (zh) * | 2022-03-31 | 2022-05-13 | 深圳思谋信息科技有限公司 | 视频处理方法、装置、计算机设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20170186141A1 (en) | 2017-06-29 |
CN108352059B (zh) | 2022-11-04 |
US9984446B2 (en) | 2018-05-29 |
WO2017112360A1 (en) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108352059A (zh) | 用于将高动态范围(hdr)内容转换成标准动态范围(sdr)内容的视频色调映射 | |
US20230306603A1 (en) | Deep learning for dense semantic segmentation in video with automated interactivity and improved temporal coherence | |
US10885384B2 (en) | Local tone mapping to reduce bit depth of input images to high-level computer vision tasks | |
CN106170979B (zh) | 一种用于视频编码的计算机实现的方法、***、机器可读介质及设备 | |
CN107810505B (zh) | 实时图像捕获参数的机器学习 | |
JP6354101B2 (ja) | 自己相似性によって推進するブレンドを用いた詳細部保存性を有する非局所平均画像ノイズ除去 | |
CN102404582B (zh) | 用于自动白平衡处理的灵活的颜色空间选择 | |
CN109618090A (zh) | 对通过使用广角透镜捕获的图像的图像失真校正的方法和*** | |
CN105991982B (zh) | 用于成像***的颜色匹配 | |
CN102640489B (zh) | 用于检测和校正图像传感器中的缺陷像素的***和方法 | |
CN102640184B (zh) | 用于图像信号处理的时域滤波技术 | |
CN104782124B (zh) | 利用编码器硬件对视频内容进行预处理 | |
CN104915916B (zh) | 使用选择性色彩变换的色彩压缩 | |
CN108885785B (zh) | 用于时间噪声减少的运动自适应流处理 | |
CN107431770A (zh) | 自适应线性亮度域视频流水线架构 | |
US9704083B2 (en) | Optical communication using differential images | |
CN109660782A (zh) | 减少立体深度传感器成像中的纹理化ir图案 | |
CN102523456A (zh) | 双图像传感器图像处理***和方法 | |
CN109076246A (zh) | 使用图像数据校正掩码的视频编码方法和*** | |
CN104094312B (zh) | 对基于测得的知觉质量特性的视频处理算法的控制 | |
CN103501439B (zh) | 使用运动估计失真的帧级率控制 | |
CN105164994A (zh) | 半固定色调色域压缩 | |
EP3251085A1 (en) | A method and apparatus for inverse-tone mapping a picture | |
CN106664412A (zh) | 包括目标比特率的视频编码速率控制和质量控制 | |
CN103533286A (zh) | 用于带静态区域排除的时间帧内插的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |