CN115176469A - 用于饱和颜色的改进的hdr颜色处理 - Google Patents
用于饱和颜色的改进的hdr颜色处理 Download PDFInfo
- Publication number
- CN115176469A CN115176469A CN202180016828.4A CN202180016828A CN115176469A CN 115176469 A CN115176469 A CN 115176469A CN 202180016828 A CN202180016828 A CN 202180016828A CN 115176469 A CN115176469 A CN 115176469A
- Authority
- CN
- China
- Prior art keywords
- luminance
- dynamic range
- pixel
- image
- high dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003086 colorant Substances 0.000 title description 48
- 238000012545 processing Methods 0.000 title description 44
- 229920006395 saturated elastomer Polymers 0.000 title description 17
- 235000019557 luminance Nutrition 0.000 claims abstract description 436
- 238000013507 mapping Methods 0.000 claims abstract description 105
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims abstract description 64
- 241000023320 Luma <angiosperm> Species 0.000 claims abstract description 63
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 description 83
- 230000000875 corresponding effect Effects 0.000 description 47
- 238000005286 illumination Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000000265 homogenisation Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004737 colorimetric analysis Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
为了减轻在SLHDR类型的HDR视频解码中使用的像素颜色映射的一些问题,教导了一种高动态范围视频编码电路(300),其被配置为将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)与具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR)一起编码,所述第二图像在功能上被编码为用于解码器的亮度映射函数(400)以应用于所述高动态范围图像的像素亮度(Y_PQ)以获得所述第二图像的对应像素亮度(PO),所述编码器包括数据格式化器(304),所述数据格式化器被配置为向视频通信介质(399)输出所述高动态范围图像和对所述亮度映射函数(400)进行编码的元数据(MET),所述第二图像的功能编码还基于颜色查找表(CL(Y_PQ)),所述颜色查找表)对针对所述高动态范围图像的像素亮度的所有可能值的乘数常数(B)进行编码,并且所述格式化器被配置为在所述元数据中输出该颜色查找表,其特征在于,所述高动态范围视频编码电路包括:增益确定电路(302),其被配置为确定亮度增益值(G_PQ),所述亮度增益值量化等于正确归一化照度位置的亮度位置的输出图像亮度除以高动态范围图像的像素的亮度的输出亮度的比率,其中,所述高动态范围视频编码电路包括颜色查找表确定电路(303),所述颜色查找表确定电路被配置为基于所述高动态范围图像中存在的像素的各种亮度的亮度增益值的值来确定所述颜色查找表(CL(Y_PQ))。类似地,我们教导了如何在SLHDR类型的视频解码器中体现相同的原理。
Description
技术领域
本发明涉及用于进行动态范围转换的方法和装置,所述动态范围转换涉及从输入图像到输出图像的像素的照度的改变,特别是当所述图像包含高度饱和的像素颜色时。
背景技术
高动态范围视频处理(编码、显示自适应等)是最近的技术领域,其仍然伴随着若干未解决的问题和难题。尽管HDR电视现在销售了几年(通常具有1000nit或Cd/m^2或更小的最大可显示照度,也称为峰值照度),但是在纯显示(内容制作、编码、颜色处理)之前出现的技术仍然具有许多要发明/改进和部署的技术方案。已经创建和传播了许多电影以及一些早期的广播,并且尽管通常结果很好,但是仍然存在进一步改进某些方面的可能性,因此,该技术目前没有处于正被大量解决的阶段。
高动态范围图像被定义为与传统的低动态范围图像(也称为低动态范围图像)相比较的图像。标准动态范围图像(其在20世纪下半叶生成和显示,并且仍然是大多数视频技术的主流,例如,通过任何技术的电视或电影发布,从地面广播到经由互联网的youtube视频供应等)通常具有更令人印象深刻的颜色,这意味着通常它们可以具有更亮的像素(编码并显示)。
正式地,人们可以将照度动态范围定义为从最小黑色(MB)到峰值白色或峰值照度(PB)的所有照度的跨度,因此,原则上人们可以具有带有非常深的黑色的HDR电影。实际上,人们可以主要基于唯一的值来定义和处理(例如颜色处理)HDR图像,即更高的峰值亮度或更正式的照度(通常这是用户最感兴趣的,无论是明亮的***还是仅仅是金属和珠宝等上的更真实的镜面反射斑点,并且可以实际上将最小黑色声明为对于SDR图像和HDR图像是相同的)。
在实践中,以前,人们可以声明,SDR图像的1000:1照度动态范围将降至100nit之下(并且高于0.1nit),并且HDR图像通常将具有至少5倍更亮的PB,因此500nit或更高。更确切地说,即使传统SDR图像不具有清晰的最大照度,人们也将在大约100nit显示峰值照度(PB_D)的终端用户显示器上显示它。并且人们可以在新颖的HDR框架中将SDR图像重新解读为使其最亮像素亮度恰好对应于100nit。
注意,在不深入到这里可能不必要的许多细节的情况下,人们可以通过将峰值照度数作为元数据与HDR图像相关联来指示具有哪种HDR。这可以被视为图像中存在的最亮像素的照度,或更精确地,图像视频中最亮的可编码图像像素的照度,并且通常通过将参考显示器与图像相关联来正式地定义(即,人们将虚拟显示器与图像相关联,其峰值照度对应于图像或视频中存在的最亮像素,即需要显示的最亮像素,并且然后人们将该PB_C-C编码以用于该虚拟显示器的编码,作为图像像素颜色矩阵之外的元数据)。本领域技术人员可以理解,无论HDR图像的编码峰值照度PB_C是什么,都可以通过将每个像素照度除以PB_C来创建归一化像素照度。归一化的亮度也可以通过除以最高可能的代码(例如,10比特中的1023等)来进行。
以这种方式,人们不需要“不优雅地”编码具有过量比特(例如,每个颜色分量16比特)的HDR图像,并且可以简单地重新使用具有用于颜色分量的10比特字长的现有技术(由于各种原因,至少在不久的将来,并且通常仅考虑用于专业非消费者使用,若干技术供应商已经将12比特或更多比特视为在整个视频处理链中相当重;并且PB_C元数据允许容易地升级HDR框架以用于将来的场景)。
从经典视频工程中作为该像素颜色重新使用的一个方面是像素颜色通常总是作为YCbCr颜色传送,其中,Y是所谓的亮度分量(其是用于照度的技术编码),并且Cb和Cr是蓝色和红色色度分量,完成三色加色定义。
亮度由非线性R’G’B’颜色分量(上标’指示与颜色的线性RGB分量的差异,可以说从任何特定颜色的显示像素出来的红色、绿色和蓝色光子的量),并经由以下公式定义:Y=a1*R’+a2*G’+a3*B’。[公式1]
这三个常数取决于定义RGB颜色的特定原色(显然,如果人们通过将50%非常饱和的强红色混合为红色原色来定义颜色,则将得到比在红色是弱粉红色的原色集合中的相同的R=0.5;G=X;B=X颜色定义更红的颜色)。
实际上,对于定义原色的每个三元组颜色,这些常数a1、a2、a3是唯一确定的,作为在填充公式1中的线性RGB分量的情况下产生精确(绝对或通常相对于峰值白色具有1.0)照度的这些常数。
通过应用光电传递函数从线性分量导出非线性(原)分量。对于HDR,这是对于最暗的线性输入分量具有比大约平方根(SDR的Rec.709OETF)更陡的斜率的函数,例如在SMPTE2084中标准化的感知量化器函数。
在LDR时代,没有太多争论,因为对于高端视频,人们仅使用Rec.709原色,但现在也具有例如Rec.2020,宽色域原色。
然后,Cb从Cb=b1*(B’-Y)和Cr=c1*(R’-Y)得出,其中,b1和c1再次是从所选择的主***固定的常数(以便在归一化到1.0表示中没有溢出)。
人们需要问的第二个问题是非线性R’G’B’如何与线性RGB分量相关(实际上是为线性RGB分量定义)。对于每个要相加创建的颜色(至少在可再现颜色的色域内,例如在所选原色的三个色度位置的三角形内,在例如标准CIE1976u’v’颜色平面中;注意原则上可以随意选择原色,但是在这样的原色中定义图像是有意义的,这些图像也可以由市场上的实际显示器显示,即不是例如单波长激光原色),即这来自基本色度学(对于任何颜色——例如单波长激光原色)。CIE XYZ或色调、饱和度、照度——可以计算具有这种原色的特定显示器应当显示的对应的同色异谱RGB三元组,以向平均观察者显示相同的颜色)。
编码***的定义,即所谓的电光传递函数,或从对应的线性分量计算非线性分量的其逆光电传递函数,例如:
R’=OETF_PQ(R)[公式2],
是个技术问题。
注意,人们还可以在数学上证明,即使将OETF应用于红色、绿色和蓝色像素颜色分量,亮度和照度经由相同的OETF相关(无色灰色具有R=G=B和R’=G’=B’,因此照度L=(a1+a2+a3=1.0])*0.x并且照度Y=1.0*OETF[0.x]=OETF[L])。
例如,虽然在LDR时代中仅存在Rec.709OETF,该OETF(简化了本专利申请的一些不相关细节)是EOTF的逆,并且这是简单的平方根的相当好的近似。
然后,当出现仅在10比特中编码大范围的HDR照度(例如1/10,000nit-10,000nit)的技术问题(这对于平方根函数是不可能的)时,发明了新的EOTF,所谓的感知量化器EOTF(US9077994)。
因此,该不同的EOTF定义以及由其定义的任何输入YCbCr颜色将清楚地具有不同的数值归一化分量,这取决于它是YCbCr_Rec709还是YCbCr_PQ(实际上,可以通过在其黑色顶端上转动R’G’B’立方体来看到这一点,其中,不同亮度的消色差灰色的y轴现在形成垂直:各种图像像素颜色然后将沿着该垂直具有不同的扩展,这取决于这些相同的图像对象像素颜色是在基于709的颜色立方体中还是在基于PQ的颜色立方体中表示)。
当与本申请人已经与Technicolor一起创建的HDR编解码器组合时,YCbCr_PQ编码的该给定技术事实将导致新的有趣的实验事实(参见WO2017157977和ETSI标准TS 103433-2V1.1.1“High performace Single Layer High Dynamic Range[SLHDR],Part 2”;并且这里在本专利申请中用图1重新概述)。
图1示出了我们的解码器,其可以获取YCbCr_PQ定义的像素颜色输入图像(IM_1),其中,像素在扫描线中一个像素接一个像素地被处理。因此,该图像可以例如来自蓝光碟,其中,PQ归一化亮度对应于10000nit的PQ峰值照度。降级到例如SDR图像所需的函数的形状可以来自分级器、人类或自动机,例如(非限制性地)在盘上的电影被转码时计算的。
处理电路的上轨道(其通常是集成电路上的硬件块,并且可以具有各种配置,例如整个亮度处理子电路101实际上可以体现为LUT、所谓的P_LUT(在感知上均匀化的亮度中工作),而且子块可以体现为集成电路的单独的晶体管计算引擎等,但是我们需要在技术上将其解释为块中的什么产生对图像外观的技术益处以及任何可能的技术问题,并且特别是下面处理的)涉及像素颜色的照度处理部分。这当然是动态范围调整的最有趣的部分:当例如从输入(例如1000nit PB_C HDR图像)计算600nit输出图像时,需要沿着YCbCr颜色空间的Y轴重新分布各种图像对象的归一化像素亮度,即通常图像的较暗像素亮度将朝向Y轴的较亮(归一化)灰度向上移位,从而将较亮像素亮度压缩到Y轴的较小子范围中。图1的电路的底部包含彩色处理,特别是像素的颜色饱和度的彩色处理,因为我们想要在输入和输出图像中保持相同的色调,这对于良好质量的动态范围转换也应当注意。
在该特定阐明实施例中,输出像素颜色也利用PQ OETF(或逆EOTF在技术上是准确的)非线性地定义,产生可直接传输到例如期望这样的输入的HD RTV的非线性R”、G”和B”分量(但是具有根据申请人的方法的正确的颜色映射的,也称为重新分级的颜色)。
一些集成电路单元在它们应用固定曲线、矩阵乘法等的意义上是静态的,并且一些块在可以调整它们的行为的意义上是动态的。特别地,它们可以潜在地针对视频的每个连续图像来适配它们的函数的形状——例如,映射函数对于最暗的输入上升的程度以及映射函数压缩最亮的输入的程度。实际上,图像处理的问题是内容总是几乎无限的可变性(输入视频可以是夜间发生的盗窃的深色好莱坞电影,或是youtube电影,其中,遵循玩在线游戏的某人的明亮颜色的计算机图形等;即输入,尽管全部编码为YCbCr可能在任何图像中关于其像素颜色和照度变化很大,无论内容是由任何相机从自然场景生成的,专业的还是低质量的,还是作为图形生成的等)。因此,夜间场景可能需要与例如晴朗的海滩场景图像不同的针对输入图像Im_in的最暗照度或实际上亮度的映射。
因此,一些电路(粗略动态范围转换器112、可定制转换器113和颜色查找表102)可以应用可变形状的函数,其形状由来自图像相关信息源199的参数控制。通常,该源被馈送图像(Im_in)和元数据(MET),后者包括确定那些动态电路应用的各种亮度映射函数的形状的参数。该重新分级功能元数据可以从内容创建(编码器)侧传送,通过任何视频通信网络(电缆、互联网等)传送,并且临时存储在解码器中或连接到解码器的存储器中。然后,解码器可以应用视频创建者规定的那些映射。
图像中的像素颜色以YCbCr_PQ的形式出现,即非线性R’、G’和B’分量全部三个都用感知量化器函数编码。亮度分量通过PQ EOTF发送,照度计算电路129被配置为计算PQEOTF(在消色差灰色上,这可以毫无问题地完成,因为那些亮度代码唯一地表示各种归一化照度)。
随后,该归一化照度L由感知器111在生理视觉上感知均匀化,产生感知均匀照度PY作为输出。这由以下公式执行:
RHO(PB_C_HDR)=1+32*power[PB_C_HDR/10,000;1/(2.4)]
PY=log10[1+(RHO(PB_C_HDR)-1)*power[L;1/(2.4)]]/log10[RHO(PB_C_HDR)][公式3]
我们在该感知中看到对HDR输入图像中可编码的最大值的依赖性,即在图像(即要显示的)中可能发生的最大(绝对)像素照度PB_C_HDR,其通常也可以作为元数据(MET)的一部分被传送。事实上,这已经给出了图像像素亮度的相当合理的分布,并且最终在显示时给出了从特定输入峰值照度到输出峰值照度的照度,但是为了具有更好质量的分级图像,内容创建者(编码侧)可以继续在另外的可配置电路(即112和113)中重新映射亮度。
随后,粗略动态范围转换器112应用粗略良好的动态范围减小函数,其形状象征性地示出为平方根(申请人发现有用的实际函数由两个线性段组成,其斜率可通过元数据配置,其间具有抛物线段,并且感兴趣的读者可以找到SLHDR ETSI标准中的那些细节,因为它们与本讨论无关),并且该函数从沿着图像扫描的当前处理的像素集的输入感知均匀照度PY计算对应的粗略亮度CY。想法是,并且这对于许多情况这已经是足够的,即,与较亮的像素相比,相对地使HDR的较暗像素变亮,使得总体适合于较小的动态范围。
随后,可定制转换器113将另一可选择(例如,在颜色分级器或着色器的控制下确定,该颜色分级器或着色器在内容创建侧对原始捕获的视频或电影进行编码,然后将其选择的函数作为元数据传达给该特定图像的重新分级或来自视频的连续图像的运行)照度映射函数到先前获得的粗略亮度CY,以获得感知输出亮度PO。可以随意确定该映射函数的形状(例如,可以通过将函数的该部分提升到函数的其余部分的趋势之上,来提升对应于图像中的某个重要对象或区域的照度子集中的对比度)。
如图所示,我们将假设(非限制性地)该函数是S形函数,即在上输入照度子范围和下输入照度子范围处具有相对弱的斜率,并且在中间具有陡峭的斜率。本发明不限于由可定制转换器113应用的S形函数,并且特别适用于其中存在变化的斜率行为的任何场景,特别是在输入亮度的最低子范围中(例如,开始于0.0输入值并且结束于某个值0.x,通常低于0.5),例如与输入亮度的最低子范围的较亮像素的斜率相比,对于非常暗的像素具有相对低的斜率或平均斜率的类型。可以考虑从起始点(0.0,0.0)公式化的斜率。
最后,感知输出亮度PO(即其已经如当前图像内容将需要的那样被完全照度重新分级,即,给出与输入主HDR图像相对应的最佳重新分级图像(例如,被输出为具有PB_C=100nit的输出SDR图像)(例如,只要减小的动态范围允许,使得照度和对比度看起来尽可能接近它们在主HDR图像中具有的视觉影响,或替代地至少产生外观良好或可良好观看的图像等)被再次线性化成归一化的输出照度L_out,线性化器114使用公式1的逆公式,但是现在具有PB_C_OUT值。为了解释的目的,我们将假设解码器将输入HDR图像降级为SDR图像,即PB_C_OUT=100nit(如标准化所认可的),但是它也可以降级为例如650nit HDR输出图像等(然后函数将具有稍微不同的形状,但是显示适配细节对于理解本申请的新技术原理也是无用的,并且可以在所述ETSI标准中找到)。
下部轨道涉及色度处理,或换句话说,涉及属于照度处理的3D颜色处理的完成(因为事实上,彩色图像上的任何照度处理实际上是3D颜色处理,无论是否仔细处理色度分量)。这是在技术上比针对灰度轴上的非彩色颜色的动态范围改变行为更有趣的地方。
在亮度通常量化颜色的照度的情况下,Cr和Cb量化其色调(Cb/Cr的比例)及其饱和度(Cb和Cr的量值)。形式上,Cb和Cr是色度。
此外,我们的编解码器处理电路具有颜色查找表102,颜色查找表102指定Y_PQ的函数,该函数具有所选择的形状并且再次可由元数据配置。因此,色度的处理由两个色度乘以相同的常数B来定义,并且该常数是任何处理的像素的亮度Y_PQ的函数,并且该函数的形状,即任何可能的Y_PQ的B(Y_PQ)的每个相应值也是可配置的。
该LUT的主要目的将是至少针对改变的(动态范围调整的)归一化亮度Y校正过高或过低量的Cb和Cr分量,因为实际上Cb和Cr与该颜色空间表示YCbCr中的亮度共同演变(颜色的饱和度实际上与Cb/Y和Cr/Y相关),但是图像的其他色度方面可以与其一起改变,例如可以调整亮蓝天的饱和度。在任何情况下,考虑到颜色LU TCL(Y_PQ)正被加载用于动态范围处理至少当前视频图像,颜色查找表102将产生用于每个正在运行/正在被颜色处理的像素的Y_PQ值的乘数B。像素的输入色度分量Cb_PQ和Cr_PQ将由乘法器121乘以该值B以产生经校正的色度分量CbCr_COR。然后由矩阵器122应用矩阵化操作,其细节可以在ETSI标准中找到,以获得归一化的R’G’B’_norm分量。这些分量不是在它们位于0.0和1.0之间的非线性颜色立方体内的常规意义上归一化的,而是在它们是无动态范围的意义上归一化的(全部聚集在一起,仅是“色度”,作为三元组而不是通常的二元组,即还没有任何照度或亮度)。因此,为了获得实际正确的3D颜色,它们必须乘以亮度,并且精确地乘以我们在上部亮度处理子电路中最佳确定的亮度。为此,归一化输出照度L_out需要由PQ OETF电路115执行的PQOETF映射。乘法器123对色度子电路输出的三个归一化R’G’B_norm分量进行校正乘法缩放。
最后,感知量化器定义的红色、绿色和蓝色分量R”G”B”_PQ可以例如直接发送到HDR显示器,HDR显示器被配置为理解这样的输入,并且它可以直接显示该输入(例如,650nit PB_C输出图像可能已经通过我们的技术被优化以驱动650nit实际显示峰值照度PB_D显示器,使得该显示器不需要自己弄清楚如何处理在所提供的图像中编码的照度范围与其显示能力之间的差异)。注意,我们在这里阐明了基本的核心技术要素行为,以解释当前的技术创新。在由ETSI标准化的实际SLHDR解码器中,还存在黑色限幅器电路子单元,但是这对于本方法不是必需的,因此对于其解释不是必需的(黑色限幅器可以存在或可以不存在于各种实施例中,因此在介绍中讨论它将产生比基本教导更多的消息扩散,但是对于感兴趣的读者,我们在图5中示出了该变型)。还要注意,在一些实施例中,粗略动态范围转换器112的粗略动态范围转换可以是任选的:可以设置其形状控制参数,使得其进行恒等变换,并且仅应用可定制转换器113的可定制映射。可以存在进一步的修改,例如用于连接的显示器的输出或存储图像不一定需要在PQYCbCr中,但是复杂性也妨碍了我们的阐明教导的核心。
各种图像的这种色度优化虽然稍微复杂,因为我们的各种单元多年来被设计为给出所有情况和应用的最佳方法(例如,离线分级电影内容与实时广播等),但是现在可以理解,并且在许多不同的输入图像情况中的大多数情况下也非常令人满意地工作。
然而,如借助于图2所解释的,存在颜色解码仍然可以改进的一些有点奇特的情况。这个问题将用所教导的新技术元素来处理。
图2a示出了理想的YCbCr颜色空间,在使用归一化照度L而不是亮度Y作为垂直轴的情况下,可以形成该理想的YCbCr颜色空间。某种色调的蓝色位于通过该菱形的三角形垂直截面中。更饱和的颜色与垂直方向具有更大的角度,因此颜色201是相同色调的蓝色,但不太饱和的浅蓝色,并且颜色202是更饱和的蓝色。这两种颜色可以具有相同的照度,并且这可以容易地读取中心的垂直轴照度标度(例如,照度水平L1对L2)。我们可以验证两个不同颜色的像素确实具有相同的照度,因为(像素)颜色201和(像素)颜色202的照度相同,即L1。
然而,与在色度上独特的照度相比,亮度从未被设计为用于人类视觉的完美(易于使用、均匀等)颜色表示,而是被设计为使得易于将颜色的三元组编码为例如3×8位的***,或现在对于HDR通常为3×10位(读者被通知该3×10位可以编码不仅比SDR亮几倍,而且亮至100倍并且另外还暗得多的HDR!)。因此,亮度并且特别是YCbCr颜色表示主要被设计用于(可反转)编码,而不是用于颜色处理。
该编码原则上容易在数学上可逆,因此总是可以——因为编码***应当具有其主要属性——从接收到的YCbCr像素颜色编码中重新导出原始预期的(线性)RGB分量,并且然后显示这些分量。并且人们还可以导出照度。
然而,如果人们开始对当前HDR时代的视频进行(所需的)更高级的解码,则可能发生一些不方便的问题。事实上,如图2B所示,对于彩色(即,其不是纯灰色,其纯灰色落在垂直轴上,具有Cb=Cr=0分量值),亮度Y不再正确地或唯一地编码像素照度(即,在原始线性RGB分量上应用公式1后紧接着的照度),即它不能通过计算L=EOTF(Y)转换为照度。事实上,对于颜色的任何选定的固定照度值L,颜色的饱和度S越高,对应的亮度Y越低。事实上,如图2D所示的典型情况是,如果我们具有或多或少相同的均匀照明并且因此对于花的所有像素或多或少相同的照度,但是对于像素具有不同的饱和度的对象(比如紫色花),则当映射在亮度的归一化水平轴(对应于垂直轴计数N(L_in))上时,像素照度205的紧密的几乎单个值直方图得到对应的亮度直方图206(计数N(PY)),其不仅位于较低的归一化(输入)值处,而且更分散。我们可以将归一化(或绝对)照度映射到由给定OETF定义的亮度轴上的位置,因为我们知道对于消色差像素,亮度Y唯一地对应于归一化照度(通过用OETF形状重新映射:Y=“L_in”=OETF(像素照度))。
这产生了几个问题。首先,我们不确切地知道我们仅通过查看亮度值Y(即,通过将EOTF应用于Y)而具有哪种照度,并且这可能已经在不以自然3D方式处理3D比色的框架中给出问题,而是出于实用原因以1D+2D方式处理3D比色,如图1的解码器。实际上,理论上,如果引入Cb和Cr的像素的特定值的校正依赖性,则可以正确地做一切,但是这在一些预先设计的颜色处理拓扑中可能是不可能的。此外,可以看出,我们实际上将照度或照度重分级函数应用于(感知均匀化的)亮度,因为输入图像已经由像素亮度而不是照度编码。所以我们可能会做错事情,至少在理论上。
然而,这通常不是一个(真实的)问题,如在过去几年中用许多不同种类的图像内容测试的那样,在实践上看技术没有看到足够的误差幅度是合理的关注点。因此,可以通过简单地进行图1的处理来争论大多数时间都很好,并且如果偶尔输出图像不完美,则将解决该问题。
但是在非常特定的情况下,人们可以看到图像伪影,其非常大以保证改进解决方案,这在下面给出。这可能发生在一方面具有非常饱和的颜色时(例如,在Rec.2020中,可以制作高度饱和的颜色;通常这不会发生,因为这些颜色在现实生活中几乎不会出现,因为大多数正常图像颜色将在这种色彩原色的饱和基础中将具有更多的去饱和CbCr值,但是至少理论上是可能的),并且另一方面,选择不仅应用粗略动态范围转换器112的平滑粗略照度映射函数,而且还应用其中,具有不方便弯曲的一些更高级的函数,类似于例如随后在可定制转换器113中的S曲线,其具有对应于低输入亮度CY的输出PO值的低值(其与如图2D所示的它们的照度相比将不正确地太低,并且此外对于对象上的各个点潜在地差异不同)。即,尤其是由于该总处理引起的沿着对象的输出颜色(特别是照度)的变化可以被视为有问题的。遗憾的是,专利***不允许将实际的彩色图像包括在专利申请说明书中,但是图2C象征了将看到的内容,例如在饱和的紫色花朵中:在花朵中的某些位置可能存在暗斑点203,或微结构204的过度可见性,这通常在花朵中是不可见的;不在输入图像中并且不在现实世界中。外观良好的花将看起来相当平滑,或至少具有逐渐变化的照度,而不是具有这样的尖锐和显著的变化,这是由于应当被颜色处理的一些颜色均等地跳到不同的PY值,这些PY值跨越这样的总照度重新分级充分显著变化的点。
在图2d中,像素的归一化(色度相关的)亮度(PY)(如它们将被接收)与归一化照度(或更确切地说,照度-亮度,即,将在消色差轴上得到的亮度,即亮度PY的像素的正确照度)之间的差异L_in,由其相应的亮度直方图206和照度直方图205(N指示每个值的计数)示出。对于单个像素,当然将存在一个亮度PY和一个对应的正确照度L_in,但是我们示出了具有特定平均照度和饱和度的对象(例如花)的多个像素的扩展。我们看到,如果例如饱和的紫色花被均匀地照亮,则可能仅存在几个照度值,但是因为在花像素中可能存在不同的颜色饱和度,所以亮度直方图可能更分散。在任何情况下,它们都是“不正确的”-关于照度的一维表示。如下面将示出的,这可能导致我们的SLHDR解码方法中的处理错误,这将需要被反向校正,并且具体地如所教导和要求保护的那样被反向校正。
人们在理论上可以考虑仅构建更好的、不同的基于3D的解码***,其可以容易地解决问题,但是在实际技术上有限的已经部署的视频生态***(具有单独的照度处理和色度处理)中,这在实践中不容易完成。在任何情况下,考虑到我们具有这样的编码器和相应的解码器,为了改进它也针对最后的微小不便,特别是饱和色度对象中的一些不正确的照度,没有那么多事情可以改变,因此试图寻求实用的解决方案可能涉及相当多的思考和实验。
已经发现了以下现有技术文献,并简要讨论了它们的切向不足的重要性。
本申请人感兴趣的一些背景教导如下。
EP3496028教导了申请人的基本亮度处理和并行色度处理编码或解码像素流水线的另一改进,即,在某些亮度映射下,一些输出颜色或特别是它们的亮度可能落在可编码色域的上限之上。因此,需要一种策略来将它们保持在色域内,而不优选地太多地影响较暗的颜色。此外,教导了亮度向内到3D色域内的最高区域的特定映射。一些亮度下映射可以互换以降低饱和度,使得需要过度下映射,但是对于所需亮度下映射的一定百分比,也可以朝向中性灰色轴映射,从而稍微使最亮的颜色不饱和。在任何情况下,这不会通过如本发明中的G_PQ计算发生,并且也不会在色域的另一范围中的不同颜色问题上发生。
WO2017/157977涉及图像中最暗亮度的特定亮度处理。例如,视频内容创建者可能希望使可从主要主HDR图像确定的次要图像的颜色对于一些暗像素过深,这可能影响用于解码的逆亮度映射的质量。此外,教导了两个替代亮度映射的并行策略,其中,可以针对内容创建者的有问题的期望亮度映射曲线启动第二个更安全的亮度映射。除了仅提及色度映射的标准手段之外,本发明不涉及如本申请中的色度映射的具体细节。
US2018/0005356是借助于HDR像素亮度的最暗和最亮子范围的可配置线性斜率的特定大致良好的亮度映射,其间具有抛物线平滑映射。该亮度映射可以或可以不应用于我们的方法的亮度处理轨道中,但不是关于利用颜色LUT的色度处理的教导。
发明内容
SLHDR***对于不频繁出现的图像像素颜色的剩余问题可以通过高动态范围视频编码电路(300)来减轻,所述高动态范围视频编码电路被配置为将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)与具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR)一起编码,
其中,所述第二图像在功能上被编码为用于解码器的亮度映射函数(400)以应用于所述高动态范围图像的像素亮度(Y_PQ)以获得所述第二图像的对应像素亮度(PO),
所述编码器包括数据格式化器(304),所述数据格式化器被配置为向视频通信介质(399)输出所述高动态范围图像和对所述亮度映射函数(400)进行编码的元数据(MET),
所述第二图像的功能编码还基于颜色查找表(CL(Y_PQ)),所述颜色查找表对针对所述高动态范围图像的像素亮度的所有可能值的乘数常数(B)进行编码,所述乘数常数(B)用于与所述像素的色度(Cb,Cr)相乘,并且所述格式化器被配置为在所述元数据中输出该颜色查找表,
其特征在于,所述高动态范围视频编码电路包括:
增益确定电路(302),所述增益确定电路接收所述高动态范围图像(IM_HDR)的像素,每个像素具有亮度和两个色度,所述增益确定电路被配置为针对每个像素确定亮度增益值(G_PQ),所述亮度增益值量化针对等于每个像素的亮度的归一化照度的亮度的第一输出亮度除以针对所述像素的亮度的第二输出亮度的比率,其中,通过将所述亮度映射函数应用于所述归一化照度来获得所述第一输出亮度,并且通过将亮度映射函数应用于像素的亮度来获得第二输出亮度;
其中,所述高动态范围视频编码电路包括颜色查找表确定电路(303),所述颜色查找表确定电路被配置为基于所述高动态范围图像中存在的像素的各种亮度的所述亮度增益值的值来确定所述颜色查找表(CL(Y_PQ)),其中,针对来自所述亮度(Y_PQ)的可能值的至少一个子集的亮度的所述乘数常数(B)的值与那些亮度的所确定的亮度增益(G_PQ)的值相关。
为了清楚,该编码电路不仅传送HDR图像,而且至少传送通常具有较低动态范围的对应的二次分级图像,并且通常传送PB_C_SDR=100nit的标准动态范围图像。这确保了接收器在接收具有远高于接收侧的显示器的峰值照度能力(PB_D)的峰值照度PB_C的高质量HDR图像(IM_HDR)时不必在照度映射方面猜测要做什么。事实上,利用亮度映射函数,内容创建者(例如他的颜色分级者)可以根据他的期望具体地确定接收器应当如何将输入HDR图像中的所有照度映射到对应的SDR照度(例如,黑暗洞穴中的阴影区域也应当在SDR图像中保持足够明亮,使得具有隐藏在那里的刀的人仍然可以被充分看到,不太明显,而且也不是几乎看不到等)。通过为每个图像(或多个时间上连续的图像)传送至少一个亮度映射函数(400),读者理解,利用该函数,可以为每个输入像素亮度计算一个对应的输出亮度(或来自由对应的EOTF指定亮度映射的任何亮度编码***的线性化之后的照度)。即例如,输入像素来自2000nit PB_C分级和编码图像(编码通常涉及至少到YCbCr的映射),并且输出像素是SDR图像像素(注意,通常将存在指定函数涉及哪种图像的元数据,根据SLHDR,其通常将至少是HDR图像的PB_C_HDR,即例如2000nit)。事实上,通过传送这两个参考分级,接收侧还将理解通过被称为显示适配或显示调谐的过程来制作具有在100nit与PB_C_HDR之间的PB_C的图像,该过程涉及从如从内容创建者接收的亮度映射函数指定另一亮度映射函数(参见ETSI标准),但是那些细节与本讨论不是高度相关的,因为下面阐述的原理将加以必要的变更而起作用。即元数据是功能上共同编码次要的不同动态范围(通常为SDR)图像所需的唯一信息,因为接收器可以通过将元数据中共同传送的所述函数应用于实际接收的YCbCr像素颜色矩阵图像IM_HDR的像素颜色来计算其像素颜色。
发明人认识到,作为第一步骤,可以在PQ域中计算亮度增益值(G_PQ),其量化与消色差轴上的值相比,亮度值对于特定色度已经下降了多少(即,其中,可以通过将PQ EOTF应用于该消色差亮度值来唯一地确定当前颜色的照度),因为彩色应当具有相同的照度,并且照度-亮度在消色差轴上是可读的,因此对应的灰色具有设置为零的色度,参见图2b。
发明人进一步在实验上认识到,通过将该相同的亮度增益值应用于像素的色度,可以实现相当令人满意的结果。这可能给出颜色的一些饱和度误差,但是这远不如原始照度误差明显,并且实际上对于具有这种高颜色饱和度对象问题的图像是可接受的。
相关意味着,如果对于Y_PQ的可能值(其通常被归一化,落在0和1之间,具有某个精度步长,对应于颜色LUT条目的数量或亮度条目的数量)中的任何特定值看到亮度增益值(G_PQ)的分散值,则颜色LUT中的该位置的B的值将与G_PQ值所在的位置大致相同。各种算法可以确定颜色LUT的形状(即作为Y_PQ的函数的B的变量值的函数(B[Y_PQ]))将在空间上与G_PQ值的分散云大致如何并列放置。例如,一方面,仅图像的像素的(几何)子集、以及其对应的Y_PQ和G_PQ值(例如,可以存在特别地在图像中发生如利用图2c阐述的类型的显著伪像的检测器)可以对散点图贡献,并且仅那些像素可以贡献,并且另一个可以被丢弃,或在编码侧,贡献像素的选择也可以由人类内容创建者确定。另一方面,不必通过这种方式来确定整个颜色LUT形状,例如,只能针对亮度子集确定整个颜色LUT形状,该亮度子集是下半部[0,0.5],或发生大量散射的地方,并且另一半可以通过其他算法来确定,例如是固定的。在不是所有像素都被使用的情况下,被改变的亮度子集可以与贡献的像素的几何子集相关。在解码侧,由于颜色LUT的确定可以对应于原始共同传送的颜色LUT的偏差,因此相关性还可以考虑该原始颜色LUT,即,要应用于所有输入HDR图像像素以获得输出图像的最终确定的LUT可以偏离例如(Y,PQ,G_PQ)点的云中的平均位置。该确定还可以限于色度的一些子集,在这种情况下,可以得到另一个工作良好的校正颜色LUT。
色度有时也称为色彩纯度。对应于任何亮度的(正确)照度不仅可以被计算,而且可以被定位在亮度范围上,因为两者都被归一化为1.0。
在编码器的情况下,通常将传送良好工作的颜色LUT,以供接收侧解码器简单地应用它。内容创建者可以例如针对他侧的一个或多个显示器检查校正是否充分起作用。
所述高动态范围视频编码电路(300)的有用实施例具有所述颜色查找表确定电路(303),所述颜色查找表确定电路基于最佳拟合函数来确定颜色查找表的值(B),所述最佳拟合函数概括亮度增益值(G_PQ)的值与高动态范围图像像素亮度(Y_PQ)的对应值的散点图。可以同样地应用多个拟合,例如,大致经过(Y_PQ,G_PQ)点的点云的中间的函数将令人满意地进行。可以根据相同的创新原理设计其他功能,例如,在解码器具有这样的色调分类机制的情况下,用于不同色调区域的不同功能等。
有利地,所述高动态范围视频编码电路(300)还包括感知斜率增益确定电路(301),所述感知斜率增益确定电路(301)被配置为计算感知斜率增益(SG_PU),所述感知斜率增益在水平高动态范围图像亮度(PY)和垂直输出图像亮度(PO)的感知均匀化亮度的坐标系中对应于当将亮度映射函数(400)应用于高动态范围图像像素(Y1)的亮度时获得的输出亮度(Y_o1)的百分比增加,以达到所述高动态范围图像像素(Y1)的经校正的输出亮度(Y_corr1),所述经校正的输出亮度(Y_corr1)对应于通过将所述亮度映射函数(400)应用于输入亮度(L_e1)而获得的输出亮度(L_o1)的除法,除以所述输入亮度(L_e1)并乘以所述高动态范围图像像素(Y1),所述输入亮度(L_e1)等于与所述高动态范围图像像素(Y1)相对应的归一化照度的位置。这是一种线性化非线性亮度映射函数的校正行为的方式,通过给予过暗的亮度颜色至少与通过绘制从对应的正确照度输入和输出点到(0,0)点的线将具有的斜率相同的斜率。
校正原理还可以体现在高动态范围视频解码电路(700)中,
所述高动态范围视频解码电路被配置为将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)颜色映射到具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR),包括:亮度映射电路(101),所述亮度映射电路被布置为利用亮度映射函数(400)映射所述高动态范围图像(IM_HDR)的像素的亮度(Y_PQ),
以及颜色映射电路,所述颜色映射电路包括查找表(102),所述查找表被布置为将每个像素亮度(Y_PQ)的乘数值(B)输出到乘法器(121),所述乘法器将所述高动态范围图像(IM_HDR)的所述像素的色度分量(CbCr_PQ)乘以所述乘数值(B),其特征在于,所述视频解码电路包括:
增益确定电路(302),其被配置为针对所述高动态范围图像的像素集合中的每个像素确定亮度增益值(G_PQ),所述亮度增益值量化针对等于相应像素的亮度(Y_PQ)的归一化照度的亮度的输出亮度除以针对相应像素的亮度(Y_PQ)的输出亮度的比率;以及
颜色查找表确定电路(303),其被配置为确定所述查找表(102)的颜色查找表,所述颜色查找表指定乘数常数(B)作为各种输入亮度值的输出,其中,所述亮度(Y_PQ)的可能值的至少一个子集的所述乘数常数(B)的至少一个子集的值是基于那些亮度的亮度增益(G_PQ)的值来确定的。
在编码器出于任何原因尚未在其共同传送的CL(Y_PQ)LUT中执行错误减轻的情况下,可以在解码器中应用相同的原理。此外,解码器将从接收到的YCrCb_PQ颜色计算对应的照度和照度-亮度。然后,它可以将接收到的HDR图像解码为不同动态范围的任何功能上共同编码的次要图像,例如SDR100 nit PB_C_SDR图像。解码器将使用相同的新技术元件来填充SLHDR解码器的颜色处理电路的对应LUT102中的适当亮度误差减轻CL(Y_PQ)查找表。
对高动态范围视频进行编码的方法也是有用的,所述方法被配置为将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)与具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR)一起编码,
其中,所述第二图像在功能上被编码为用于解码器亮度映射函数(400)以应用于所述高动态范围图像的像素亮度(Y_PQ)以获得所述第二图像的对应像素亮度(PO),
向视频通信介质(399)输出所述高动态范围图像和对所述亮度映射函数(400)进行编码的元数据(MET),
所述第二图像的功能编码还基于颜色查找表(CL(Y_PQ)),所述颜色查找表对所述高动态范围图像的像素亮度的所有可能值的乘数常数(B)进行编码,所述乘数常数(B)用于与所述像素的色度(Cb,Cr)相乘,并且所述颜色查找表也在所述元数据中输出,
其特征在于,所述高动态范围视频编码包括:
接收所述高动态范围图像(IM_HDR)的像素,每个像素具有亮度和两个色度,并且针对每个像素确定亮度增益值(G_PQ),所述亮度增益值(G_PQ)量化针对等于每个像素的亮度的归一化照度的亮度的第一输出亮度除以针对所述像素的亮度的第二输出亮度的比率,其中,通过将所述亮度映射函数应用于所述归一化照度来获得所述第一输出亮度,并且通过将亮度映射函数应用于像素的亮度来获得第二输出亮度;
其中,所述高动态范围视频编码包括基于所述高动态范围图像中存在的像素的各种亮度的亮度增益值的值来确定所述颜色查找表(CL(Y_PQ)),其中,针对来自所述亮度(Y_PQ)的可能值的至少一个子集的亮度的所述乘数常数(B)的值与那些亮度的所确定的亮度增益(G_PQ)的值相关。
高动态范围视频解码的方法也是有用的,所述方法用于将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)颜色映射到具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR),包括:通过利用亮度映射函数(400)映射所述高动态范围图像(IM_HDR)的像素的亮度(Y_PQ)来形成所述第二图像,以获得所述第二图像的亮度作为所述函数的输出,
其中,所述颜色映射还包括通过将所述高动态范围图像(IM_HDR)的像素的色度分量(CbCr_PQ)乘以乘数值(B)来获得所述第二图像的色度,
该乘数值(B)在查找表(102)中针对所述高动态范围图像(IM_HDR)的像素的亮度(Y_PQ)的各种值进行指定,
其特征在于,所述视频解码包括:
针对高动态范围图像的像素集合中的每个像素确定亮度增益值(G_PQ),所述亮度增益值(G_PQ)量化等于相应像素的亮度(Y_PQ)的归一化照度的亮度的输出亮度除以相应像素的亮度(Y_PQ)的输出亮度的比率;以及
通过基于那些亮度的亮度增益(G_PQ)的值计算亮度(Y_PQ)的可能值的至少一个子集的乘数常数(B)的至少一个子集的值来确定颜色查找表。
在视频内容创建者做出一些有问题的亮度映射的情况下,本新颖技术允许改进的重新分级(即,特别是针对较低峰值视亮度的向下映射)图像,同时不对其他情况产生问题。所计算的G_PQ值可以在很大程度上实现为色彩路径中的附加饱和处理,这是通过将B常数的值与从G_PQ计算获得的值相关联来实现的,所述B常数被定义为颜色LUT的依赖于Y_PQ的输出。即每个Y_PQ的单个B值大致遵循G_PQ值的分散的位置,通过编码器或解码器中的共同定位的一些预先设计的度量。
附图说明
根据本发明的方法和装置的这些和其他方面将从下文描述的实施方式和实施例中变得显而易见,并且参考附图进行阐述,附图仅用作举例说明更一般概念的非限制性具体说明,并且其中,虚线或点用于指示部件是任选的,非虚线组件不一定是必需的。破折号或点也可以用于指示被解释为必要但隐藏在对象内部的元素,或用于无形事物,例如对象/区域的选择(以及它们可以如何在显示器上显示)。
在附图中:
图1示意性地图示了根据如在ETSI TS 103 433-2 V1.1.1中标准化的所谓的单层HDR图像解码器(SLHDR)的申请人的HDR图像解码器;注意,编码器通常可以具有与对应的解码器相同的图像处理电路拓扑,可能具有调整的映射函数形状(因为解码在与编码器如何确定要由解码器应用的这种降级函数相同的降级方向上进行,所以像凸度的形状方面对于编码和解码可以是相同的,但是取决于想要将亮度映射到哪个输出峰值亮度,例如1/7幂的共同传送的亮度映射函数可以在解码中应用为1/4幂)。
图2示意性地图示了在该SLHDR解码器(或相应的编码器)中使用亮度的情况下对于具有高度颜色饱和对象的奇特图像可能发生的一些问题;
图3示意性地图示了根据本创新原理进行SLHDR编码的新方式以及对应的HDR视频编码器300;特别地,其示出了类似于例如图1的用于确定颜色LUT以便确定用于与色度相乘的常数B的编码器拓扑的一部分。
图4示意性地图示了可以根据其来体现如发明人所设想的本方法的一些原理,并且具体地图示了根据本发明原理的感知斜率增益确定电路301的实施例的内部功能;
图5示意性地图示了增益确定电路302的实施例如何工作,即通过所有示出的亮度处理电路中的至少一些亮度处理电路发送像素颜色两次,其中,乘法器401具有不同的乘法器常数;
图6示意性地图示了颜色查找表确定电路303可以如何根据由电路302针对输入HDR图像中的像素计算的各种(Y_PQ,G_PQ)值来确定对要加载在LUT102中的每个Y_PQ值的B乘数进行编码的函数(存在确定LUT的其他方式);
图7示意性地图示了HDR视频解码器700,HDR视频解码器700被配置为在SLHDR编码的HDR视频数据的接收侧应用与编码器300相同的创新处理;并且
图8示出了本技术的典型部署(即实时电视广播和接收)中的装置(相同的原理也可以用于其他视频通信技术,例如非实时数字电影制作和分级、以及稍后与电影院的通信等)。
具体实施方式
图3阐明了符合我们的SLHDRHDR视频编码方法的经修改的编码器如何工作。在编码侧,具有可用的原始主HDR图像(例如,如由人类颜色分级器分级的5000nit PB_C图像,使得各种视频图像中的所有对象(例如,明亮***和洞穴中的暗阴影区域)看起来是最佳的)作为输入,因此具有可用的像素照度(L)和对应的亮度(Y)两者。包括(或连接)亮度映射函数确定电路350,其可以确定如图4所示和讨论的最佳例如S形亮度映射曲线(即,图1中的电路113)。注意,尽管我们用该S形映射函数阐明了原理,但是无论函数如何,处理都是通用的(它甚至可以在它没有改善但也没有恶化的情况下工作)。我们不需要详细说明可以通过申请人开发的各种实施例来完成这一点的许多方式,但是例如,这可以通过自动机来完成,该自动机分析主HDR输入图像中存在的亮度(其最终将作为IM_HDR传送到接收器),并且确定用于这种亮度分布的最优函数(例如,S曲线),或在编码装置的其他物理实施例中,它可以由人类颜色分级者经由用户接口(如着色控制台)来配置。亮度映射函数确定电路350中的三个箭头将所确定的亮度映射函数400传递到相应的其他电路,例如,它将由感知斜率增益确定电路301使用,感知斜率增益确定电路301的典型工作实施例由图4教导。注意,虽然典型地实施例可以在由公式3定义的Philips感知域中工作,但这不是我们创新的必要元素,在一些实施例中,这可以直接用PQ增益表示,因此电路301被绘制为虚线,指示任选性。最终,数据格式化器304将基于主HDR图像向接收器传送对至少两个不同分级的图像进行编码的所有数据(它们中的一个作为像素颜色的实际图像IM_HDR,例如在MPEG或类似的视频编码标准(例如AV1)中的DCT压缩)。即,它将向任何视频通信介质399(其可以是例如有线连接,诸如例如串行数字接口(SDI)电缆或HDMI电缆,或互联网电缆,无线数据连接,诸如例如地面广播信道,用于传输视频数据的物理介质,诸如蓝光盘等)输出主HDR图像的编码且通常压缩的版本,即高动态范围图像IM_HDR、用于接收器应用的至少一个亮度映射函数(当重新分级到不同的通常较低的峰值亮度时)、以及颜色查找表(CL_(Y_PQ)),后两者作为元数据(MET),这取决于所使用的视频通信协议是例如SEI消息。颜色查找表用于为(像素的)每个查找位置Y_PQ提供值B,用于乘以任何像素的两个色度值Cb和Cr。
图4示出了应用于HDR输入亮度的映射(如在感知均匀化域中表示的,其中,SLHDR亮度映射被指定),以在这种情况下获得SDR输出亮度。感知均匀化的亮度被归一化,即值1.0,在垂直轴上,对应于SDR峰值亮度PB_C2=100nit,并且在水平轴上,在该示例中,1.0对应于高动态范围图像(IM_HDR)的1000nit的主HDR图像峰值亮度PB_C1。这是描述亮度映射的有用方式,例如,它给予人类颜色分级者比在亮度域中本机指定映射时更好的控制(本领域技术人员理解,如果不同地量化轴,则只有任何亮度映射函数的形状将以可预测的方式改变)。在该说明示例中,我们跳过了粗略动态范围转换器112的粗略亮度映射(以及我们的编解码器允许的其他处理,如图5中所示的黑/白拉伸和增益限制),并且亮度映射完全由该S曲线组成(例如,如果存在相当明亮的场景,则可能发生这种曲线,其中,想要在较暗部分中进行对比度拉伸,这使得输出SDR图像看起来更好)。
让我们看看特定像素的颜色,例如饱和品红色,其具有亮度Y1。如果通过亮度映射曲线400映射此亮度,那么产生输出亮度Y_o1(类似于具有输入亮度Y2的另一像素)。这可能是相对较暗的输出结果(因为应当记住,感知均匀化的轴本质上有些对数)。如果要映射“照度”而不是亮度,或在技术上更精确地映射唯一地对应于编码器侧的照度L_e1(其可以是精确的照度-亮度[其是经由OETF唯一地对应于照度的亮度],因为编码器具有所有可用的信息)的亮度(或水平轴上的位置),则实际上应当更好的是将获得L_o1的输出亮度,即比Y_o1更亮。即如果在(例如PQ或Philips感知均匀化亮度的)亮度表示中不存在强照度泄漏,则该L_e1是该图像对象的该彩色全像素应当具有的亮度轴值,以代替其实际亮度Y1。
实际上,对于消色差灰色,由于在该轴上不存在依赖于色度的亮度损失,并且EOTF(亮度)等于照度,因此唯一且精确地,将确实根据该照度-亮度L_e1进行映射(即,将遵循图像中的中性/消色差和接近中性的颜色,这样的优选的重新分级,例如以制作一些良好的深黑色)。此外,如图2D所示,对于最初相似的颜色,亮度值(Y1对Y2)可能存在相当大的扩展,因为它们最初具有几乎相同的照度,并且然后另外对于这种高度非线性的S曲线,亮度之一可以跳到函数的高度不同的映射部分,例如,映射最暗输入亮度的小倾斜线性部分对高斜率中间部分。
因此,一方面,可以看出在高度饱和的物体中存在输出颜色太暗的问题,因此应当应用一些增亮(至少对某些图像颜色)。此外,发明人通过实验发现,对于线性曲线,没有显著的视觉干扰(即使存在一些误差,也不是视觉上重要的一个)。
但是不能简单地改变该亮度映射函数400,因为这是确定辅图像需要如何从接收到的图像(IM_HDR)重新分级(根据内容创建者)的关键元数据;到例如100nit PB_C_SDRSDR图像。如所述,该亮度映射函数对于消色差和近中性色是完全正确的,因此如果要改变它,则那些颜色将突然不正确地亮度重新分级,并且那些通常是更关键的颜色,例如面部颜色。另一方面,在许多情况下,该函数也根据需要在非消色差颜色上充分工作。
返回到图3,感知斜率增益确定电路301简单地确定“情况表征器值”,即感知斜率增益SG_PU,其被确定为:
SG_PU=(L_o1/L_e1)/(Y_o1/Y1) [公式4]
即,它是两个斜率的比率:首先,如通过将亮度映射曲线应用于表示亮度值L_e1的(基本上或精确地)正确照度而获得的输出亮度除以该照度-亮度L_e1;并且其次除以(输入图像的)该特定颜色像素Y1的输入亮度的输出亮度除以该输入亮度Y1的比率。基本上或精确地,正确照度位置是指以下事实:在一些实施例中,可以精确地确定照度,并且在其他实施例中,可能想要估计它(这可以以各种方式完成),但是我们将继续“归一化照度”(并且在特定的Philips感知均匀化范围中表示),并且读者可以假设它是精确正确的照度值(例如,视频创建者分级的一个,并且可以例如通过在计算机中将公式1应用于图像像素的线性RGB系数来计算)。
在图5中,我们示出了增益确定电路302的实施例,其中,使用了该感知斜率增益SG_PU。最终需要的是(US9077994的并且标准化为SMPTE ST.2084的)PQ域中的校正,如在图1中可以看到的,而至少SLHDR解码器的所有亮度映射发生在(上述公式3的)感知均匀(PU)域中。发明人认识到,他可以通过调整色度(以及在编码器中确定要传送到接收侧解码器的颜色查找表CL(Y_PQ))来相当适当地解决该问题。即当分级者已经定义了初始颜色查找表时,这可以是改变的颜色查找表。即亮度映射子电路101中的一切发生在PU域中,但输入Y_PQ和CbCr_PQ在PQ域中。
因此,实际上必须根据本方法确定对PQ域中的饱和图像对象的斑点和其他太暗部分的误差的校正,这是电路302执行的。在示例性实施例中,它运行两遍(对于图像的每个像素颜色),由具有切换的乘法值的乘法器控制。注意,本领域技术人员可以自己理解实现细节,例如缓冲、提供图像延迟等。
首先,将该值设置为1,并且然后将输入照度L(其可以通过将PQ EOTF应用于输入亮度Y_PQ来从输入亮度Y_PQ计算)再次转换为感知均匀的亮度域,即转换为等效的、代表性的感知亮度值PY。因此,总映射行为将应用于该过程的(一个或多个)像素,其在图2d中被示出为PY值。
实际上,该单元的块对应于关于ETSI TS 103 433-2V1.1.1标准的图1并且还有图4所解释的。新绘制的块是黑白电平偏移器402,其可以将输入HDR亮度的某个恒定值分别移位到感知均匀化表示的0值和1值。例如如果HDR不暗于0.1nit(或与其等效的任何亮度表示值),则通常有利的是在应用进一步的亮度映射之前已经将该值预映射到最低SDR值零,并且与最高值相同。增益限制器403是在某些情况下启动的电路,并且确定在上部轨道(即,电路402、112、113等)中应用各种处理步骤和替代的亮度映射策略所产生的最大值之间的最大值,使得通过将该亮度映射应用于输入图像的所有像素而产生的图像中的输出亮度不会变得太低(对于细节,参见ETSI标准;本发明需要知道的只是应用在没有本发明的经典SLHDR亮度映射的正常情况下将应用的所有处理,即,如果应用了例如粗略映射,则电路302也将应用粗略映射,如果不应用粗略映射,则电路302也完全类似地不应用粗略映射)。
因此,在第一遍中,当将乘数设置为1时,对于像素亮度输入Y1(或类似地,对于诸如Y2的任何其他输入亮度的对应输出亮度),正常输出亮度Y_o1出现。注意,该Y_o1值仍然在感知均匀化亮度域(PO)中,因此它必须仍然通过公式3的逆而被线性化(通过线性化电路114),并且然后(通过电路115)进行PQ域转换。
在第二遍中,乘法器将感知亮度PY乘以感知斜率增益值SG_PU(如由电路301确定的),并且然后得出校正值,如图4中的Y_corr1所示。这对应于应用我们的(真实)归一化照度的计算,查找该位置(L_e1,L_o1)的总映射曲线中存在什么斜率,并使用它来局部增加斜率,并输出Y1。
实际上,增益确定电路(302)将PQ域亮度增益值(G_PQ)计算为:
G_PQ=OETF_PQ[Inv_PU(Y_corr1)]/OETF_PQ[Inv_PU(Y_o1)][公式5]
其中,Inv_PU标准用于公式3的感知均匀化的逆,即对应的(线性)归一化照度的计算。
即G_PQ是当通过我们的整个SLHDR亮度处理链发送未校正的(即,如所接收的)亮度值时获得的输出亮度(在PQ域中)与通过亮度处理链的校正的PQ域亮度的比率,所述校正的PQ域亮度是照度-亮度,即EOTF(Y1)。注意,在编码侧,可以存在构建编码器的几个替代方案,例如,可以直接从实际的色度相关亮度(即,色度相关亮度)计算G_PQ值。因为它将在编码器的输出图像IM_HDR中被编码,并且正确(消色差)照度表示照度-亮度,即电路301不是我们的创新的必要核心技术元件,并且在一些编码器实施例中可以不存在(参见图3中的虚线,其示出了在这种情况下,电路302将分别以亮度Y和照度-亮度L作为输入来进行其两个计算,并且在两种情况下都没有乘法器或它被设置为1x)。
该G_PQ值现在将由查找表确定电路(303)在其对对应颜色LU TCL(Y_PQ)的确定中使用。可以有几种方式来做到这一点(取决于想要实现的内容:仅存在可以针对情况确定的LUT函数的一种形状,但是不是聚焦于例如总体行为,而是可以特别聚焦于某些方面,如图像中的特定颜色等),这可以通过图6中的一个原型示例来说明。事实上,理想地希望具体地对每个像素进行校正,但是这不是SLHDR方法如何工作(由于通过1D-2D处理分割的简化)。想法是想要提高(至少)发生亮度处理伪影的像素的饱和度。然后,对应于这种较高色度的较低亮度将被重新转换为输出R”G”B”颜色中的较高照度。缺点是在输入和输出颜色之间存在一些饱和度变化,但是这是可接受的,这也是因为眼睛对照度比饱和度变化更关键,并且还因为照度重新调整是动态范围调整中更重要的视觉特性。在任何情况下,正则化(尽管它可以在某种程度上“全局地”微调颜色)去除或减轻了令人讨厌的局部伪像,如图2c的花中的斑点,并且这就是为什么执行本计算布置的原因。
图6示出了我们如何(平均而言)通过确定对由电路302计算的数据点的拟合函数(即,对于视频的至少一个特定图像中的任何像素,具有Y_PQ,但也具有Cb和Cr值,该G_PQ值出现)来确定校正策略。即,电路302获得例如图像的所有(或一些;例如在仅检测到某些受影响的像素的情况下,并且有助于算法,即颜色LUT确定)像素,并通过上述技术过程计算G_PQ值。当在2D绘图结构中组织那些时,可以看出,对于任何单个值,可以产生若干需要的(对于相应像素)G_PQ值(特别是对于较低的Y_PQ值)。图6的曲线图示出了从电路302出来的各种(Y_PQ、G_PQ)值。人们通常看到对于高亮度Y_PQ没有扩展(存在等于没有校正的乘数常数1)。在通常对应于饱和颜色(或暗不饱和颜色)的下部区域中,由于具有特定Y_PQ的像素可以具有各种Cb、Cr值,因此存在每个Y_PQ位置的G_PQ值的扩展。来自图1的颜色LUT,CL(Y_PQ)也具有可以在该图中示出的行为:它确定每个Y_PQ值的提升值,因此如果将B与如上针对亮度处理轨道计算的G_PQ相等(但是同时在亮度轨道中可计算不可改变),则可以绘制与填充在1D颜色LU TCL(Y_PQ)中的值相对应的函数。本领域技术人员知晓存在关于如何将函数拟合到点簇的各种方式。例如可以使用均方误差的最小化。
如果在编码器侧应用该功能,则基本上仅必须确定颜色LUT(如图3所示),然后该颜色LUT被传送到接收侧,并且然后解码器可以简单地应用它。这是体现本原理的一种优雅方式。
然而,相同的过程也可以应用于解码侧(当尚未在编码侧应用时),但是它将具有一些小的差异。然而,将保持相同的是,每当需要发生照度重新分级时,乘法器121将通过计算下式来针对亮度问题对色度分量进行反校正:
Cb_COR=CL(Y_PQ)*Cb_PQ并且Cr_COR=CL(Y_PQ)*Cr_PQ [公式6]
图7示出了根据本发明的解码器700。基本上,几乎所有块都与图1的编码器100中的块相同。特别地,增益确定电路302必须再次为至少伪像损坏的像素确定亮度增益值(G_pq)的集合,其再次量化等于(正确的)归一化照度位置(即,如图2b所示,将在消色差灰色的垂直轴上找到的非减小亮度位置)的亮度位置的输出图像亮度除以高动态范围图像的像素的色度相关亮度的输出亮度的比率。并且现在高动态范围视频解码电路包括类似的颜色查找表确定电路(303),其使用这些G_PQ值来确定要加载在解码器的像素颜色处理器流水线中(即LUT 102中)的颜色LU TCL(Y_PQ),但是现在全部在解码器侧确定。仍然可以存在详细的实施例,其不是确定和加载颜色LUT,而是改变所传送的颜色LUT,其中,它们平衡原始饱和度处理LUT的行为(在电路303或等效的单独电路中)和根据本发明的所需校正,但是那些是细节。例如可以对两个LUT进行插值,并且权重因子可以取决于伪影的严重性的度量(例如,伪影的严重性)。平均像素与其周围相比较暗多大,或基于累积边缘强度或纹理测量等的测量),并且然后例如对于较大的误差,电路303可以指示根据本方法确定的LUT获得例如80%的权重,即另一个LUT可以在图6的图的顶部示出,但是只能以20%的强度拉向它,等等。对于技术来说非常典型的是,解决方案然后不是100%完美的,但是问题被清楚地缓解。
在该解码器中新的是,解码器原则上不具有照度L(其通常在编码侧容易获得),而是仅具有Y_PQ。
可以存在可以确定L的几种方式,这由照度计算器701执行,但是最简单的一种方式是仅进行从YCbCr到非线性R’G’B’_PQ的矩阵化,然后经由EOTF_PQ线性化,并且然后经由R、G和B分量的加权来计算照度,如利用公式1所解释的。注意,照度计算器701通常计算照度-亮度,其在通过整个亮度映射链的第二次计算中进入电路302,如关于图5所解释的。
注意,解码器还可以包括元数据检查器,该元数据检查器被配置为检查元数据中的指示符,该指示符指示编码器是否已经在其通信的颜色查找表中应用了必要的校正。通常,解码器然后将不对所述查找表应用任何校正,但是一些实施例仍然可以进行它们自己的计算以验证和/或微调所接收的颜色查找表。还可以采用用于创建/编码侧和消费侧之间的协议的另一机制,例如,用于某个HDR视频供应路径的前缀情况,或经由软件更新或用户控制配置的东西等。
图8示出了视频通信生态***的典型(非限制性)示例。在视频创建方面,我们看到生活广播室,其中,演示者803例如正在演示科学节目。他可以走过工作室的各个部分,这些部分可以非常创造性地(自由地)照明。例如,可以存在演示区域的明亮区域801,其由许多工作室灯802照亮。还可以存在较暗区域804。视频图像由一个或通常多个相机(805、806)捕获。理想地,这些相机是相同类型的,并且是颜色协调的,但是例如相机之一可以是无人机等。存在最终负责人820,其决定最终的产品,并且特别是其色度(本领域技术人员知道,取决于生产的种类,可以涉及几个***甚至人,但是对于该说明,我们将称这个人820为颜色分级器)。他可以具有如用于切换、引导、着色等的面板的装置。他可以在HDR参考监视器和/或SDR监视器等上观看一个或多个生活产品。例如,该显示还可以包括用于教导的辅助视频810,比如水下场景。这可以例如是与(多个)生活相机馈送不同的照度动态范围特性的SDR视频或HDR视频。查看最高级别的讨论,可以有两种情况:次要视频810实际上可以以特定的光水平显示,让我们假设相当明亮,或它可以是绿色屏幕,并且视频仅存在于最终负责人820的制作间中。
本讨论感兴趣的是,在制作间中可以确定亮度映射。例如,可以在生活动作开始之前优化映射函数,该映射函数在将HDR相机设置为良好的虹膜水平之后针对所有照明区域很好地或相当好地工作。但是还可以确定用于各个区域的几个函数,例如,在暗区域上的相机放大,以及当在视频编码器822中计算最终HDR图像输出时切换函数,或在有或没有手动干预的情况下将这些函数用于函数的每图像自动机优化版本等。最后,在该示例中,我们具有经由卫星碟形天线830到消费者或专业中间站的卫星链路,但是编码的HDR视频也可以作为视频通信技术通过互联网输出。在接收侧,我们通常具有消费者的家,例如他的起居室850。我们阐明了该消费者经由他的本地卫星天线851和***机顶盒852获得广播的HDR视频,并且图像最终在HDR电视853或其他显示器上观看。HDR视频解码器可以被包括在机顶盒或显示器中。可以存在如所接收的HDR图像(具有其编码峰值亮度PB_C)到消费者电视的最大照度PB_D的进一步的图像照度优化。这可以在机顶盒中发生,其中,优化的图像经过例如HDMI电缆或无线视频链路等到达TV,或机顶盒可以简单地是数据传递器,并且电视可以包括如上所述的任何解码器实施例。
提供上文教导的创新的任何整体或部分的技术部件可以(完全或部分地)在实践中被实现为硬件(例如专用IC的部分)、或在特殊数字信号处理器或通用处理器上运行的软件、FPGA等。任何处理器、处理器的一部分或连接的处理器的复合体可以具有内部或外部数据总线、板载或板载存储器,诸如高速缓存、RAM、ROM等。包括处理器的装置可以具有用于到硬件的特殊连接的特殊协议,诸如图像通信电缆协议,例如用于连接到显示器等的HDMI、或用于在设备是显示器的情况下连接到显示面板的内部连接。在电路执行其技术动作之前,可以通过动态指令来配置电路。任何元件或装置可以形成更大的技术***的一部分,诸如任何内容创建或分发站点处的视频创建***等。
技术人员应当理解哪些技术部件可用于或可用于传送(或存储)图像,无论是到世界的另一部分,还是在两个相邻装置之间,例如HDR合适的视频电缆等。技术人员将理解在哪些情况下可以使用哪种形式的视频或图像压缩。本领域技术人员可以理解,可以混合信号,并且在对图像应用一些计算(例如,最佳S曲线的确定)之前首先混合不是绝对必要的,但是可以是有利的,尽管即使在预混合图像上应用该确定时,该确定仍然可以以各种特定方式对例如相机馈送图像和次级图像的各种图像方面进行加权。本领域技术人员理解,各种实现方式可以并行工作,例如通过使用若干视频编码器来输出若干HDR视频或视频流。
根据我们的介绍,技术人员应当可以理解哪些部件可以是任选的改进并且可以与其他部件组合实现,以及方法的(任选的)步骤如何对应于装置的对应单元,并且反之亦然。本申请中的“装置”一词以其最广泛的含义使用,即,允许实现特定目标的一组技术元件,并且因此,例如能够是IC(的小电路部分),或专用家电(例如,带显示器的家电),或网络***的部分等。“布置”或“***”也意图以最广泛的意义使用,因此,其尤其可以包括单个装置、装置的部分、(部分)协作装置的集合等。
操作该方法所需的一些步骤可能已经存在于处理器的功能中而不是在计算机程序中描述。类似地,本发明与之协作的一些方面可以存在于众所周知的技术电路或元件或单独的装置中,例如,当由一些颜色编码数字值驱动时将在屏幕前面显示相应的显示颜色的显示面板的功能,并且将不会详尽地讨论这些现有细节,以通过关注对技术领域做出的确切贡献来使教导更清楚。
应当注意,上述实施例说明而非限制本发明。在技术人员可以容易地实现所绘制的示例到权利要求的其他区域的映射的情况下,我们为了简明而未提及所有这些选项。除了在示例或权利要求中组合的本发明的元件的组合之外,元件的其他组合也是可能的。可以在单个专用元件中实现元件的任何组合。本领域技术人员可以理解,可以交换一些处理顺序。
权利要求中括号内的任何参考标记不用于限制权利要求。“包括”一词不排除权利要求中未列出的要素或方面的存在。元件前面的词语“一”或“一个”不排除存在多个这样的元件。
Claims (6)
1.一种高动态范围视频编码电路(300),其被配置为将具第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)与具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR)一起编码,
其中,所述第二图像在功能上被编码为用于解码器的亮度映射函数(400)以应用于所述高动态范围图像的像素亮度(Y_PQ)以获得所述第二图像的对应像素亮度(PO),
所述编码器包括数据格式化器(304),所述数据格式化器被配置为向视频通信介质(399)输出所述高动态范围图像和对所述亮度映射函数(400)进行编码的元数据(MET),
所述第二图像的功能编码还基于颜色查找表(CL(Y_PQ)),所述颜色查找表对针对所述高动态范围图像的像素亮度的所有可能值的乘数常数(B)进行编码,所述乘数常数用于与所述像素的色度(Cb,Cr)相乘,并且所述格式化器被配置为在所述元数据中输出该颜色查找表,
其特征在于,所述高动态范围视频编码电路包括:
增益确定电路(302),其接收所述高动态范围图像(IM_HDR)的像素,每个像素具有亮度和两个色度,所述增益确定电路被配置为针对每个像素确定亮度增益值(G_PQ),所述亮度增益值等于针对等于每个像素的亮度的归一化照度的亮度的第一输出亮度除以针对所述像素的亮度的第二输出亮度的比率,其中,通过将所述亮度映射函数应用于所述归一化照度来获得所述第一输出亮度,并且通过将所述亮度映射函数应用于所述像素的亮度来获得第二输出亮度;
其中,所述高动态范围视频编码电路包括颜色查找表确定电路(303),所述颜色查找表确定电路被配置为基于所述高动态范围图像中存在的像素的各种亮度的所述亮度增益值的值来确定所述颜色查找表(CL(Y_PQ)),其中,针对来自所述亮度(Y_PQ)的可能值的至少一个子集的亮度的所述乘数常数(B)的值与针对那些亮度的所确定的亮度增益(G_PQ)的值相关。
2.根据权利要求1所述的高动态范围视频编码电路(300),其中,所述颜色查找表确定电路(303)被布置为基于最佳拟合函数来确定颜色查找表的值(B),所述最佳拟合函数概括所述亮度增益值(G_PQ)的值相对于所述高动态范围图像像素亮度(Y_PQ)的对应值的散点图。
3.根据权利要求1或2所述的高动态范围视频编码电路(300),还包括感知斜率增益确定电路(301),所述感知斜率增益确定电路被配置为计算感知斜率增益(SG_PU),所述感知斜率增益,在水平高动态范围图像亮度(PY)和垂直输出图像亮度(PO)的感知均匀化亮度的坐标系中,对应于当将所述亮度映射函数(400)应用于高动态范围图像像素(Y1)的亮度以达到所述高动态范围图像像素(Y1)的经校正的输出亮度(Y_corr1)时获得的输出亮度(Y_o1)的百分比增加,所述经校正的输出亮度对应于通过将所述亮度映射函数(400)应用于输入亮度(L_e1)而获得的输出亮度(L_o1)的除法,除以所述输入亮度(L_e1)并且乘以所述高动态范围图像像素(Y1),所述输入亮度等于与所述高动态范围图像像素(Y1)相对应的归一化照度的位置。
4.一种高动态范围视频解码电路(700),其被配置为将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)颜色映射到具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR),包括:亮度映射电路(101),其被布置为利用亮度映射函数(400)来映射所述高动态范围图像(IM_HDR)的像素的亮度(Y_PQ),
以及颜色映射电路,所述颜色映射电路包括查找表(102),所述查找表被布置为将针对每个像素亮度(Y_PQ)的乘数值(B)输出到乘法器(121),所述乘法器将所述高动态范围图像(IM_HDR)的所述像素的色度分量(CbCr_PQ)乘以所述乘数值(B),其特征在于,所述视频解码电路包括:
增益确定电路(302),其被配置为针对所述高动态范围图像的像素集合中的每个像素确定亮度增益值(G_PQ),所述亮度增益值量化针对等于相应像素的亮度(Y_PQ)的归一化照度的亮度的输出亮度除以针对相应像素的亮度(Y_PQ)的输出亮度的比率;以及
颜色查找表确定电路(303),其被配置为确定所述查找表(102)的颜色查找表,所述颜色查找表指定乘数常数(B)作为各种输入亮度值的输出,其中,所述亮度(Y_PQ)的可能值的至少一个子集的所述乘数常数(B)的至少一个子集的值是基于针对那些亮度的亮度增益(G_PQ)的值来确定的。
5.一种对高动态范围视频进行编码的方法,
被配置为将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)与具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR)一起编码,
其中,所述第二图像在功能上被编码为用于解码器的亮度映射函数(400)以应用于所述高动态范围图像的像素亮度(Y_PQ)以获得所述第二图像的对应像素亮度(PO),
向视频通信介质(399)输出所述高动态范围图像和对所述亮度映射函数(400)进行编码的元数据(MET),
所述第二图像的功能编码还基于颜色查找表(CL(Y_PQ)),所述颜色查找表对所述高动态范围图像的像素亮度的所有可能值的乘数常数(B)进行编码,所述乘数常数用于与所述像素的色度(Cb,Cr)相乘,并且所述颜色查找表也在所述元数据中输出,
其特征在于,所述高动态范围视频编码包括:
接收所述高动态范围图像(IM_HDR)的像素,每个像素具有亮度和两个色度,并且针对每个像素确定亮度增益值(G_PQ),所述亮度增益值量化针对等于每个像素的亮度的归一化照度的亮度的第一输出亮度除以针对所述像素的亮度的第二输出亮度的比率,其中,通过将所述亮度映射函数应用于所述归一化照度来获得所述第一输出亮度,并且通过将所述亮度映射函数应用于所述像素的亮度来获得第二输出亮度;
其中,所述高动态范围视频编码包括基于所述高动态范围图像中存在的像素的各种亮度的亮度增益值的值来确定颜色查找表(CL(Y_PQ)),其中,针对来自所述亮度(Y_PQ)的可能值的至少一个子集的亮度的乘数常数(B)的值与那些亮度的所确定的亮度增益(G_PQ)的值相关。
6.一种高动态范围视频解码的方法,其将具有第一最大像素照度(PB_C1)的高动态范围图像(IM_HDR)颜色映射到具有较低动态范围和对应的较低第二最大像素照度(PB_C2)的第二图像(Im_LWRDR),包括:通过利用亮度映射函数(400)映射所述高动态范围图像(IM_HDR)的像素的亮度(Y_PQ)来形成所述第二图像,以获得所述第二图像的亮度作为所述函数的输出,
其中,所述颜色映射还包括通过将所述高动态范围图像(IM_HDR)的像素的色度分量(CbCr_PQ)乘以乘数值(B)来获得所述第二图像的色度,
所述乘数值(B)在查找表(102)中针对所述高动态范围图像(IM_HDR)的像素的亮度(Y_PQ)的各种值进行指定,
其特征在于,所述视频解码包括:
针对所述高动态范围图像的像素集合中的每个像素确定亮度增益值(G_PQ),所述亮度增益值量化针对等于相应像素的亮度(Y_PQ)的归一化照度的亮度的输出亮度除以针对相应像素的亮度(Y_PQ)的输出亮度的比率;并且
通过基于那些亮度的亮度增益(G_PQ)的值计算亮度(Y_PQ)的可能值的至少一个子集的乘数常数(B)的至少一个子集的值来确定所述颜色查找表。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20159237.5 | 2020-02-25 | ||
EP20159237.5A EP3873096A1 (en) | 2020-02-25 | 2020-02-25 | Improved hdr color processing for saturated colors |
PCT/EP2021/053470 WO2021170425A1 (en) | 2020-02-25 | 2021-02-12 | Improved hdr color processing for saturated colors |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115176469A true CN115176469A (zh) | 2022-10-11 |
Family
ID=69742658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180016828.4A Pending CN115176469A (zh) | 2020-02-25 | 2021-02-12 | 用于饱和颜色的改进的hdr颜色处理 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11582434B2 (zh) |
EP (2) | EP3873096A1 (zh) |
JP (1) | JP7300070B2 (zh) |
KR (1) | KR20220143932A (zh) |
CN (1) | CN115176469A (zh) |
DE (1) | DE102021104214A1 (zh) |
WO (1) | WO2021170425A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230274464A1 (en) * | 2022-02-28 | 2023-08-31 | Avid Technology, Inc. | Low-Bitrate Encoding of High Dynamic Range Content |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101812469B1 (ko) | 2011-12-06 | 2017-12-27 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 상이한 디스플레이 능력들을 통한 지각적 휘도 비선형성―기반 이미지 데이터 교환을 향상시키는 방법 |
US9225988B2 (en) * | 2013-05-30 | 2015-12-29 | Apple Inc. | Adaptive color space transform coding |
CN107258078B (zh) * | 2015-01-30 | 2019-09-24 | 皇家飞利浦有限公司 | 简单但通用的动态范围编码 |
US20180146190A1 (en) * | 2015-06-08 | 2018-05-24 | Thomson Licensing | Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection |
US10687080B2 (en) * | 2015-08-28 | 2020-06-16 | Arris Enterprises Llc | Color volume transforms in coding of high dynamic range and wide color gamut sequences |
KR20230160412A (ko) * | 2015-09-23 | 2023-11-23 | 애리스 인터내셔널 아이피 리미티드 | 전송 스트림들 내의 하이 다이내믹 레인지 및 와이드 컬러 가무트 콘텐츠의 시그널링 |
ES2684432T3 (es) | 2015-12-17 | 2018-10-02 | Koninklijke Philips N.V. | Codificación de rango dinámico para imágenes y vídeo |
RU2721762C2 (ru) * | 2015-12-21 | 2020-05-22 | Конинклейке Филипс Н.В. | Оптимизация изображений высокого динамического диапазона для конкретных дисплеев |
BR112018068603A2 (pt) | 2016-03-18 | 2019-02-05 | Koninklijke Philips Nv | decodificador e codificador de vídeo e método de decodificação e de codificação vídeo |
WO2017201139A1 (en) | 2016-05-19 | 2017-11-23 | Dolby Laboratories Licensing Corporation | Chroma reshaping for high dynamic range images |
EP3396936A1 (en) * | 2017-04-27 | 2018-10-31 | Thomson Licensing | Method and device for color gamut mapping |
EP3399735A1 (en) * | 2017-05-02 | 2018-11-07 | Thomson Licensing | Method and device for color gamut mapping |
EP3416363A1 (en) * | 2017-06-13 | 2018-12-19 | Koninklijke Philips N.V. | Gamut mapping for hdr (de)coding |
US20200236381A1 (en) * | 2017-09-28 | 2020-07-23 | Sharp Kabushiki Kaisha | Value limiting filter apparatus, video coding apparatus, and video decoding apparatus |
EP3496028A1 (en) * | 2017-12-08 | 2019-06-12 | Koninklijke Philips N.V. | Improved high dynamic range video color remapping |
US10652537B1 (en) * | 2018-11-21 | 2020-05-12 | Alibaba Group Holding Limited | Coding unit size adaptive palette mode for video compression system |
US11240507B2 (en) * | 2019-09-24 | 2022-02-01 | Qualcomm Incorporated | Simplified palette predictor update for video coding |
US11076151B2 (en) * | 2019-09-30 | 2021-07-27 | Ati Technologies Ulc | Hierarchical histogram calculation with application to palette table derivation |
US11776508B2 (en) * | 2019-12-30 | 2023-10-03 | Ati Technologies Ulc | Pre-display adaptive codeword mapping for display monitor with non-ideal electro-optical transfer function |
-
2020
- 2020-02-25 EP EP20159237.5A patent/EP3873096A1/en not_active Withdrawn
-
2021
- 2021-02-12 WO PCT/EP2021/053470 patent/WO2021170425A1/en unknown
- 2021-02-12 EP EP21703945.2A patent/EP4111689A1/en active Pending
- 2021-02-12 KR KR1020227032902A patent/KR20220143932A/ko unknown
- 2021-02-12 CN CN202180016828.4A patent/CN115176469A/zh active Pending
- 2021-02-12 JP JP2022550798A patent/JP7300070B2/ja active Active
- 2021-02-23 DE DE102021104214.3A patent/DE102021104214A1/de active Pending
- 2021-02-24 US US17/184,221 patent/US11582434B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11582434B2 (en) | 2023-02-14 |
WO2021170425A1 (en) | 2021-09-02 |
EP4111689A1 (en) | 2023-01-04 |
KR20220143932A (ko) | 2022-10-25 |
EP3873096A1 (en) | 2021-09-01 |
DE102021104214A1 (de) | 2021-08-26 |
US20210266509A1 (en) | 2021-08-26 |
JP7300070B2 (ja) | 2023-06-28 |
JP2023504311A (ja) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220343477A1 (en) | Apparatus and method for dynamic range transforming of images | |
JP6596125B2 (ja) | Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置 | |
US11521537B2 (en) | Optimized decoded high dynamic range image saturation | |
CN109219961B (zh) | 对hdr视频进行编码和解码的方法和装置 | |
US10504216B2 (en) | Luminance changing image processing with color constancy | |
US10937135B2 (en) | Saturation processing specification for dynamic range mappings | |
JP2017512405A (ja) | ビデオのための新たな色空間及びデコーダ | |
AU2017235369A1 (en) | Encoding and decoding HDR videos | |
JP7381463B2 (ja) | 改良された高ダイナミックレンジビデオ色再マッピング | |
CN115176469A (zh) | 用于饱和颜色的改进的hdr颜色处理 | |
JP2022541884A (ja) | Hdr画像のための表示最適化挙動の調節 | |
RU2782432C2 (ru) | Улучшенное повторное отображение цвета видео с высоким динамическим диапазоном | |
EP4277281A1 (en) | Hdr video reconstruction by converted tone mapping | |
JP2024516300A (ja) | コンテンツに最適化された周囲光hdrビデオ適応 | |
CN117321625A (zh) | 显示优化的hdr视频对比度适配 | |
JP2024517241A (ja) | ディスプレイに最適化されたhdrビデオコントラスト適応 | |
CN118318243A (zh) | 优化hdr图像的显示 | |
JP2024517242A (ja) | ディスプレイに最適化された環境光hdrビデオ適応 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |