CN106464892A - 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 - Google Patents

用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 Download PDF

Info

Publication number
CN106464892A
CN106464892A CN201580028123.9A CN201580028123A CN106464892A CN 106464892 A CN106464892 A CN 106464892A CN 201580028123 A CN201580028123 A CN 201580028123A CN 106464892 A CN106464892 A CN 106464892A
Authority
CN
China
Prior art keywords
ldr
image
dynamic range
hdr
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580028123.9A
Other languages
English (en)
Other versions
CN106464892B (zh
Inventor
R.J.范德维勒尤坦
M.J.W.梅坦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority to CN201810111157.XA priority Critical patent/CN108182672A/zh
Publication of CN106464892A publication Critical patent/CN106464892A/zh
Application granted granted Critical
Publication of CN106464892B publication Critical patent/CN106464892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

为了使得能够实现能够产生高动态范围图像以及低动态范围图像的良好的HDR图像或视频编码技术,我们发明了一种对高动态范围图像(M_HDR)进行编码的方法,包括步骤:通过应用:a)将高动态范围图像缩放到诸如[0,1]的亮度轴的预定尺度,b)应用改变落入至少一个子范围内的像素颜色的明亮度的灵敏度色调映射,所述至少一个子范围包括高动态范围图像中的较暗颜色,c)应用伽马函数,以及d)应用将由执行步骤b和c产生的亮度映射到较低动态范围图像(LDR_o)的输出亮度的任意单调递增函数,来将高动态范围图像转换成较低光亮度动态范围的图像(LDR_o);以及在图像信号(S_im)中输出较低光亮度动态范围图像(LDR_o)的像素颜色的编码,并且在图像信号(S_im)中输出将以上颜色转换的函数行为编码为元数据的值或用于逆函数的值,所述元数据允许从较低光亮度动态范围图像(LDR_o)重建高动态范围图像(Rec_HDR)。

Description

用于对HDR图像进行编码的方法和装置以及用于使用这样的 编码图像的方法和装置
技术领域
本发明涉及对一个(即静止)但优选地更多(即视频)(多个)高动态范围图像的编码、和用以将必要的编码图像信息传达到接收侧的对应技术***和方法、以及用以对编码图像进行解码并最终使它们可用于显示的解码器。
HDR图像是利用用于对场景中的各种捕获对象的颜色纹理进行高质量编码的充足信息以可以在具有比如例如5000nit的高峰值明亮度(brightness)的HDR显示器上进行HDR场景的视觉上良好质量的呈现这样的方式对HDR场景(其可以典型地包含非常亮的区和非常暗的区两者)的纹理进行编码的图像。在过去几年内开发的我们的HDR编码框架中,我们同时也想要将该场景上的各种包含的动态范围子视图(其可充当用于依次降低的动态范围的各种显示器的良好驱动图像)编码为适合于驱动例如100nit峰值明亮度显示器的至少一个LDR图像外观。
此外,HDR编码优选地在技术上被设计使得其不仅与现有视频编码技术相对好地匹配,而且甚至可适应现有技术的当前图像或视频编码框架,比如例如蓝光盘存储(及其限制,比如存储存储器量,而且还有基本上所有其他标准化方面)或HDMI电缆连接或其他图像传输或存储***,等等。特别地,每个时刻使用两个编码图像(例如,一个LDR图像和一个具有用于将每个像素提升到HDR图像像素的局部变亮强度的图像)的HDR编码***尤其被装置制造商视为不必要地复杂。
HDR视频(或者甚至静止图像)编码最近才被试验性地研究并且至今一直是令人气馁的任务,而且典型的信念是需要朝向显著更多的比特前进,以用于对场景对象的LDR范围以上的明亮度进行编码(例如,直接对场景光亮度(luminance)进行编码的编码),或者需要其中例如除了对象反射率图像之外还存在光照提升图像的某种两层方案,或类似的分解策略。可替换方案(比如例如Dolby的HDR编码***)典型地总是使用这样的两层HDR编码技术(参见US8248486B1)。WO2010/105036是来自Dolby的这样的每时刻2图像编码***的另一示例。一些简单的固定色调映射TM(例如,模仿经典的模拟赛璐珞摄影术的行为)可用来将LDR图像映射到与其对应的HDR分级,或者反之亦然。这可以是任何不是非常正确的映射函数(因为分级者可能在比方说其LDR分级中使用了复杂的优化决策),所以在原始的比方说HDR图像的预测与原始HDR图像自身之间可能存在相当的差异,但是那并不是问题,因为***可以将差异作为第二校正图像(残差比特流742)发送。
这样的两图像编码***的另一示例是彩色印片法(technicolor)HDR编码***(联合合作小组的关于ITU-T SG 16 WP3的视频编码的第16次会议的文档JCTVC-P0159r1,圣何塞,2014年1月9-17日),该编码***将作为局部光照的低分辨率信号编码为第一图像,因为其将典型地被生成在经调制的2D LED背光中,并且第二图像是在该低频信号上的典型地较低动态范围调制的纹理图像,其将典型地在显示时由适当的LCD阀驱动信号生成。
飞利浦最近发明了简单得多的单图像方案(大部分仍未公布,但是一些方面可在WO2012/147022和WO2012/153224中找到),其是图像和视频编码的新方向,并且不仅先验地不易想象,而且当实际做时其导致许多要解决的新的技术问题,然而其在实践中工作得很好。
“高动态范围”(HDR)是指从捕获侧捕获的(多个)图像与老式LDR编码相比具有高光亮度对比度(即,10000:1或更多的对象光亮度对比度可由编码和图像处理链的直到呈现的所有组件处理;并且所捕获的对象光亮度可以在1000nit以上,或者更具体地,给定重放环境的情况下,可以典型地在1000nit以上重放/呈现以生成比方说点亮的灯或阳光明媚的外部的某个期望的外貌)。而且典型地,这样的(多个)图像的呈现是HDR(即,图像必须是合适的:它们包含足以用于高质量HDR呈现且优选地以技术上易于使用的方式的信息),意指(多个)图像被呈现或意图被呈现在具有至少1000nit的峰值明亮度的显示器上(并不意味着它们不能和不必可替换地被呈现在例如100nit峰值明亮度的LDR显示器上(典型地在合适的颜色映射之后))。
背景技术
最近提出了数个HDR编码技术,比如例如Dolby的双层方法(WO2005/1040035)。然而,业界当前仍在寻找符合所有要求(的平衡)的实用HDR视频(/图像)编码技术,所述要求诸如非常重要的因素,比如数据量,而且还有计算复杂度(IC价格)、易于引入、用于艺术家创建其喜欢的无论什么东西的多功能性,等等。特别地,双层方案被视为不必要地复杂。理想地,希望能够设计符合老式编码(诸如例如基于DCT的MPEG HEVC编码)的编码技术。问题在于这多少有点违反直觉:如何能够以针对包含LDR图像而优化的技术对HDR图像(其按照定义应当是不同于LDR图像的某种东西,典型地具有较大量的感兴趣明亮度/光亮度范围)进行编码。这些老式LDR图像处理/编码***被设计和优化以与典型的LDR成像情景一起工作,所述典型的LDR成像情景通常以例如4:1工作室内光照比(或例如10:1)被充分照明,给予视图中的大多数对象(其在反射率方面可在比方说对于白色而言85%与对于黑色而言5%之间变化)大约68:1(或170:1)的总对比度。如果看着对象光亮度的从峰值白色开始的相对呈现(即,将图像白色映射到可用的显示器白色),则没有局部调光的典型早期LCD监视器将具有将与图像对比度匹配的差不多100nit白色和1nit黑色,并且典型地认为可能也在白天期间被观看的CRT***平均将具有差不多40:1的能力。在具有标准老式光亮度代码分配的情况下,在这些***中2.2的伽马函数似乎对于甚至更高场景对比度的大多数情景而言令人满意。尽管产生了在当时被认为是可接受的一些误差,但是被不适当地编码的高光亮度场景区域(例如,窗户后面的明亮外部的硬剪切)的呈现的这样的误差也是可接受的,因为不管怎样LDR显示器不能物理上精确地呈现那些对象光亮度。
然而,存在这样的情景,对于其而言现在存在对呈现进行改进的期望,比如例如其中可同时看到阳光明媚的室外的室内场景,在该情况下可能存在100:1或者甚至更大的光照比。在线性相对呈现(即,最先聚焦于最亮的编码区域,或等同地最亮场景区域的中间灰色,并且将图像白色映射到显示器白色)的情况下,室内白色将映射到对于观看者而言心理视觉的黑色!所以在LDR中那些阳光明媚的区域将典型地被显示为(软)剪切的(典型地在编码图像中难以区分用于那些像素的最大值255附近的代码)。然而,在HDR显示器上我们希望既明亮又色彩丰富地显示它们。那将给出这样的场景的自然且壮观得多的呈现(就像你真的在意大利度假一样),但是即使其中较高明亮度内容仅由一些镜面反射组成的场景也已显示出大的视觉质量改进。如果不是比如剪切或量化误差的伪像在例如5000或10000nit显示器上看起来令人恼火的话,我们至少想要能够用正确种类的图像驱动这样的HDR显示器,以使得所呈现的图像将如HDR显示器允许的那样漂亮。
然而,经典的想法是为了对附加的过明亮度范围进行编码,将需要具有更多(得多)的比特,它们是对LDR范围以上的对象光亮度进行编码的更高的比特。那可以通过在单个较大代码字(诸如具有16比特的OpenEXR,其中一个符号比特、5比特指数和10比特尾数,或者Ward的LogLuv编码,其在数学上严格地设法以高精度捕获整个世界的可能对象光亮度)中进行本地编码或者通过使用具有标准LDR范围代码的第一层(例如,HDR图像的经典JPEG近似)和用以将这样的像素光亮度改进到更高明亮度的第二层(例如,如果需要的话用以将每个像素提升到更高光亮度的提升图像,即两个这样的8比特图像的相乘等同于单个线性16比特代码)而发生。
除了当然必须能够处理庞大范围的不同HDR图像的事实之外,在设计实际HDR编码技术时要解决的主要实际问题在于,然而硬件制造商期望每代码字(通道,即亮度和两个彩色通道)较低的比特量,并且尽管我们下面提出的技术也可以以较大的比特字工作,但是我们提出了这样的解决方案,其在对于至少一个光亮度(或者更精确地亮度)通道10比特的限制之下工作得很好(注意尽管我们利用光亮度通道来阐述实施例,但是我们的概念加以必要的修改可以被体现为在(线性或非线性)RGB颜色表示等等上工作)。此外,我们开发了可以针对若干呈现情景(即,用于在具有不同峰值明亮度(例如PB=800nit)的若干显示器上呈现场景所需的最优外观)以函数方式在双理念中进行(经由LDR图像的HDR外观的)颜色像素编码和颜色外貌转换两者的框架,这意味着在对至少一个另外的分级的外观、并且具体地除LDR外观之外的HDR外观进行编码时,只有函数需要被共同编码,而不是对于每个图片共同编码至少一个第二图片。
我们当前具有两种类别的HDR编码***,因为给定各种玩家及其不同的需求,市场希望编码***的这种多功能性。在模式-i(或HDR外观被编码为例如在BD盘上的单独的定义图像或者在网络连接上的AVC或HEVC图像的流)***中,我们将HDR外观图像用作单独的像素图像,其被用来对对象颜色纹理和形状进行编码(在申请人的WO2015007505中参见这样的单独HDR图像如何可以被发送到接收机以定义至少HDR外观的像素颜色,以及接收机如何能够利用适当的重新分级函数通过处理该图像中的颜色来计算其他外观图像)。这是指我们取得原始的HDR主分级图像,即被最优地颜色分级以在比如例如典型地5000nit峰值明亮度显示器的参考HDR显示器上看起来最佳的图像,并且仅仅最小程度地变换它:基本上仅仅应用代码分配函数或者通过最优地使用光电传递函数OETF将针对亮度Y'通道可用的例如10比特代码分配至需要能够在参考[0-5000]nit显示器上实现的所有明亮度值上而应用该OETF(注意,尽管该OETF定义了例如由相机捕获的场景光亮度如何被转换成亮度代码,但是电视工程师替代地喜欢指定作为电光传递函数EOTF的逆函数以从亮度代码转到参考显示器呈现的光亮度)。用于不同峰值明亮度的显示器的其他期望的分级然后可以通过变换该HDR外观图像而实现。在我们的框架中,我们通过典型地制作仅仅一个位于要被服务的可能显示器的范围的另一极端的第二分级、即根据用于100nit峰值明亮度显示器(其典型地为用于该类别LDR显示器的参考显示器)的内容创作者/颜色分级者是最优或合理的外观,而允许该显示器外观可调节性。注意,这是另一外观的共同编码而不是单纯的创作侧重新着色步骤。所要求的该颜色变换通过应用映射函数(诸如实现全局明亮度重新调整(例如使图像中较暗的颜色变亮)的伽马函数、用以调整局部对比度的任意S形或反S形曲线、用以将例如饱和度调整到图像中一些对象或区域的对应明亮度的颜色饱和度处理函数,等等)而被确定。我们可以自由地将那些函数(无论哪些我们需要的函数,只要它们属于接收机可以以标准化方式理解的有限的一组基础函数)共同编码为与像素化HDR外观图像相关联的元数据,在该情况下我们根据HDR外观图像在参数上定义第二LDR外观分级图像(即我们不再需要将该LDR外观图像编码为像素图像)。应仔细注意与两层编码***的差异:在我们的***中,颜色变换函数全部在那里关于第二外观被编码为能够在接收机处对第二外观重新分级,所以我们的函数不是2图像技术的粗略近似函数,而是包含关于各种对象的光照应当如何根据内容创作者在各种呈现外观中表现的完整智能知识!给定这种关于创作艺术家如何想要外观从用于具有第一水平的颜色呈现能力的显示器的第一外观变换到用于具有第二水平的颜色呈现能力(特别是显示器峰值明亮度)的第二外观的知识,具有中间能力(例如1200nit峰值明亮度)的显示器然后可以通过在两个分级中使用该知识和通过内插而自动地实现更优化的驱动图像(例如,显示器可以根据HDR外观图像和函数变换进行HDR外观的两个像素化图像与导出的LDR外观图像的非对称混合,其中相乘性的混合百分比由实际显示器在心理视觉非线性尺度上有多接近HDR或LDR显示器来确定),这比起利用原始HDR外观图像或LDR外观图像来驱动显示器而言将更好。
这是不仅场景(例如5000nit呈现)上的单个(HDR)图像外观,而且是针对在比如在消费者的家中的场地中的各种可能的显示器用于导出场景的合理呈现的完整框架(并且甚至潜在地对观看环境的适配,例如通过应用后伽马(post-gamma)对各种环境照度下人类视觉的改变的对比度灵敏度进行建模)的强大而简单的定义。它非常地有用,例如用于其中创作者制作了其内容的很好的HDR版本并且想要使实际编码中的该HDR外观最先发送到接收机(例如,在HDR BD盘上,或者通过在因特网上在线定购HDR电影或HDR电视广播,等等)的应用/情景。不必要的是购买该内容版本的消费者实际拥有HDR显示器,因为他可以在他确实拥有HDR显示器时稍后再购买它并且现在可以使用HDR-2-LDR转换,但是当消费者想要用于其HDR显示器的内容时它将是优选的选项。
鉴于以上对HDR场景进行编码的HDR外观方式(如所解释的,模式i即至少HDR外观图像被编码为像素图像,但是事实上还有该同一场景上的另外的外观被编码,只不过那时是以参数方式利用颜色变换函数,诸如例如剪切实施例,其中LDR外观隔离HDR图像的子范围并且剪切剩下的范围)已经对实现用于未来图像编码但大多数情况下还有视频编码的实用的新技术***造成了明显的技术挑战(考虑到诸如对于硬件制造商而言IC设计的简单性之类的因素,还允许内容制作者创建它们想要制作的、具有诸如看起来真的点亮的灯之类的许多有创意的HDR效果的无论什么漂亮HDR内容,比如科幻电影、壮观的电视秀或自然记录片等),市场期望再另一层复杂度,我们将在本专利描述中教导这一点。
即,对于一些应用(我们称其为模式-ii)而言,可能想要具有LDR外观图像作为对场景对象进行编码的单独像素化图像,其例如作为单独图像被写在蓝光盘上。尽管内容创作者也非常关心HDR外观的质量,但是他非常关注LDR外观与在老式技术的情况下它的样子类似。于是将典型地存在被共同编码在可关联元数据中的函数参数以便通过对在图像信号 S_im中传送的LDR外观图像进行升级来导出HDR外观图像。可能存在选择该模式-ii变体(或LDR外观)的各种理由,其可以例如为针对不能进行任何处理的老式***(例如,如果偏好在将颜色编码为Y'uv颜色而非YCrCb编码的特定实施例中对单独图像进行编码,则可以通过假装Y'uv图像为被异常着色的YCrCb图像且进一步使用老式的基于DCT的编码方案(比如在MPEG编解码族的成员之一中标准化的)而仍然在老式HEVC框架中对它进行编码),而且还有针对需要LDR外观(例如,在低明亮度便携式显示器上观看电影)且可能不想进行太多处理的应用。或者可能创作者不想在创建完美的HDR外观方面耗费太多时间(而是例如通过进行LDR-2-HDR自动转换的较少的精细调节而快速地制作一个HDR外观,所述LDR-2-HDR自动转换例如隔离亮区域并非线性地提升它们,例如用于老的劳莱与哈代电影重新灌录),并且认为他的LDR外观是LDR和HDR外观的最重要主分级,其应当直接进行编码而无需具有潜在颜色误差的任何颜色变换。例如,电视广播商可以选择该选项,尤其是对于真实生活广播(例如,新闻可能不需要处于最壮观的HDR)。
然而,该LDR外观(模式ii)编码具有由于一方面是问题的数学本质和编码数学运算对比另一方面是自由艺术分级期望而引起的附加复杂度,这使得提出良好的技术框架是令人气馁的任务。更精确地说,一方面我们需要首先从期望的主HDR图像分级下来的函数,并且在接收机处利用这些接收的函数(或实际上降级的逆函数)接收机可以再次升级到原始HDR图像的至少接近的近似,即在元数据函数参数数据中,将存在用于可以将单独的LDR图像映射到足够接近的HDR预测Rec_HDR的函数(由编码器从分级者在从主HDR进行降级时所使用的函数导出)的参数。但是另一方面,LDR图像在直接在+-100nit显示器上呈现(即没有进一步颜色变换)时应当对于颜色分级者也看起来足够好。所以在函数选择与它们将如何影响LDR和Rec_HDR外观之间将存在平衡,并且那也将其他问题考虑在内,比如IC或装置制造商希望看到有限的一组对于外观的重新分级而言有用的标准函数,并且内容创作者希望那些函数快速指定他们所期望的无论什么外观,因为分级时间是宝贵的并且电影发行时间可能是关键的。在下面的描述中,我们将描述用于处理HDR场景编码的该模式ii变体的实际***。
发明内容
我们需要具有HDR图像的改进编码,并且特别地,我们从这样的理念开始:尤其是在业内仍然存在许多老式LDR***的当前时刻,需要一些水平的兼容性。这意味着一方面我们希望继续使用实现比如(I)DCT[=与图像通信技术的第一水平兼容性]的功能的现有编(解)码器IC。但是此外,需要有与显示器的第二水平兼容性,所述显示器由于其低的峰值明亮度而需要LDR图像(即LDR外观,不是在图像的较暗部分具有例如太暗颜色的HDR外观,而是针对在LDR显示器上更好的可见度而具有已经被变亮起来的较暗颜色),因为它们仅能呈现LDR图像(即,在这样的显示器动态范围能力下正确的LDR外观)。这是因为除目前部署的老式TV之外,在进一步的将来将存在一系列显示器,从低明亮度能力小型便携式显示器(比如膝上型或平板计算机或者甚至消费者也期望在其上看到HDR电影的某种呈现的移动电话)直到最先进的HDR显示器(其在将来可以具有例如10000nit的峰值明亮度)不等,以及介于或大约那些显示器的所有显示器。于是,尽管显示器可能仍然是老式和简单的,但是其可以由例如经由例如HDMI或其他连接供应HDR内容的未来机顶盒或计算机中的高复杂度新型解码和颜色映射IC来服务,该机顶盒供应我们发明和描述的选项的任何组合。注意,老式LDR图像将需要在对象内和对象间对比度之间进行某种优化。我们希望清楚地看到对象的内部纹理,但仍然还想要在LDR图像中具有原始场景的也许巨大的HDR对比强烈的外观的印象。即,高低明亮度区域之间的差异用LDR图像可能不能完美地呈现,但是仍然应当存在这一点的残余,使得场景的光照变化在LDR中可被人类分级者尽可能最优地传达。
我们将这些要求转换成了其中在理想情景中将需要用于来自内容提供商的相同电影或图片的(至少)两个分级的方案,我们将简单地称其为LDR图像(将用于LDR显示器情景,例如利用具有峰值明亮度100nit附近的显示器)和HDR图像(用于更亮的显示器,例如5000nit峰值明亮度的参考显示器)。
所以对于若干实际示例情景,作为新颖HDR编码实施例的开始点,我们具有主HDR分级图像(比方说它是根据无论创作者的品味如何利用无论什么颜色处理软件而被任意分级的,并且例如被编码在比如OpenEXR的开始颜色编码中,并且它可以甚至是例如通过增加计算机图形效果而到被最初作为LDR捕获的图像的HDR外观的升级)作为输入。然后,我们需要以实际可用于当前视频或图像编码技术(即,从使用这样的编码技术的正常方式而仅被较少地修改,这可能涉及对编码含义(即,由各种亮度代码编码的各光亮度)的重新定义,但并不是例如所有的总线需要改变到12比特,即我们的方法应当用12比特硬件工作,但是如果每部件只有10比特可用,或者如果接受甚至在8比特***上的某种较低质量的话,同样也工作)的方式对该主HDR(M_HDR)进行编码,以用于例如新的BD盘播放器、或接收因特网流式视频的电视IC、或连接到大体上遵从当前图像/视频编码技术的变体的无论什么图像源的任何接收机。
我们实现了重要的理解:HDR图像可以被编码为LDR外观图像(即,具有很少或没有比色处理(可能是到另一颜色空间的转换,但不是用以将图像对象的明亮度转换为更适合于具有另一光亮度动态范围的显示器的任何或数个色调映射)的图像可以直接用于在LDR显示器上的良好质量显示),只要增加可以将该LDR外观转换成HDR外观图像(我们的模式ii)的颜色映射函数的参数即可。读者应当思考,这做起来并不是小事一桩,即使在理论上,当然也不是先验地,而是甚至在设定了技术任务之后(因为在没有正确的进一步发展的情况下经由本应不同的另一外观来对一个外观进行编码将似乎有点自相矛盾)。特别地,由于我们许多实施例从现有的M_HDR开始,所以函数可以将编码的LDR外观像素化图像映射成M_HDR的接近重建Rec_HDR。但是当然这通常并不能仅以任何特定的ad hoc方式完成,即需要特定的技术编码链。
我们的发明可以例如以至少以下方式来实现:一种对高动态范围图像(M_HDR)进行编码的方法,包括步骤:
– 通过应用:a)高动态范围图像到作为[0,1]的亮度轴的尺度的归一化,产生具有拥有归一化光亮度(Yn_HDR)的归一化颜色的归一化高动态范围图像,b)对归一化光亮度计算伽马函数,产生经伽马转换的光亮度(xg),c)应用第一色调映射,该第一色调映射将归一化高动态范围图像的像素的、位于0.1以下的那些经伽马转换的光亮度提升一位于1.5与5.0之间的预定量,从而产生亮度(v),以及d)应用任意单调递增色调映射函数,该映射函数将由执行步骤b和c产生的亮度映射到较低动态范围图像(LDR_o)的输出亮度(Yn_LDR),来将高动态范围图像转换为较低光亮度动态范围的图像(LDR_o);以及
– 在图像信号(S_im)中输出较低光亮度动态范围图像(LDR_o)的像素颜色的编码,以及
– 在图像信号(S_im)中输出将以上颜色转换b到d的函数形状编码为元数据的值,或者用于其逆函数的值,所述元数据允许接收机从较低光亮度动态范围图像(LDR_o)重建重建的高动态范围图像(Rec_HDR)。
亮度转换函数的该特殊组合已经被证明是以模式ii思维模式(mindset)处理编码HDR图像的非常好的方式,即特别是以将HDR图像编码为由这些转换函数从主HDR导出的LDR外观图像的双重方式,所述LDR图像服务于对HDR外观进行忠实地编码以及作为非常合用的LDR外观图像的双重目的。
注意,可以使用像素颜色的任何编码,即在某个颜色空间编码***中表示像素的颜色,并且一些编码将比其他编码更实用。例如,LDR_o可以被输出为(R',G',B')图像[其中短划线指示线性RGB分量的某种非线性映射]。我们用这样的示例进行阐述,该示例能够对LDR图像进行编码以便以Yu'v'方式传送到接收机,并且然后也可以在具有比如例如u'v'的xy色度坐标的Yxy表示中执行比如色调映射的处理,但是下面相同的发明原理也可以体现在其他颜色表示中,例如线性RGB表示(即,然后直接用RGB分量,而不是Y分量来进行计算),等等。而且,技术人员将理解,可以使用若干方式中的哪个来对表征函数映射(其可以是例如由其分段变化点定义的多线性函数)的参数进行共同编码,其将典型地被共同编码为图像信号S_im中的或者与图像信号S_im可关联的元数据(例如SEI消息结构或类似的),这意味着在接收机需要所述参数来使得编码的像素颜色数据有意义以用于将它们变换成例如线性RGB输出图像以供在连接的显示器上呈现的时刻,其必须借助于某种数据通信技术(例如,经由某种通信链路可连接的存储器位置)获得了那些外观定义参数。
使图像中至少最暗的对象颜色(在最暗像素颜色的子范围中,在实践中可以将其定义为归一化线性图像的10%最低光亮度,其可以为例如Y通道,或者对应的最低线性RGB值)变亮的“灵敏度”映射与伽马/幂函数的该特定组合工作良好以便处理HDR图像的比色特性,并且特别是其与LDR呈现的典型的不匹配。当然可以设想许多LDR呈现,例如通过剪切而仅忽略被认为太亮或太暗的所有颜色的琐碎的LDR呈现,但是那并不一定是最好的LDR外观,而且当然不可用于良好质量的HDR外观重建。
由于HDR图像(直接地在模式i中)和LDR图像(特别地实际上对HDR图像进行编码的LDR图像)两者实际上都可以被编码在类似的例如3x10比特HEVC容器中,人们可能会问那么HDR和LDR图像之间的区别是什么。该区别是比色区别,其在牵涉显示器、观看环境和观看者时非常重要。数学上可以从归一化图像(即,归一化LDR或HDR图像)、并且特别是直方图中的典型像素值来测量它。如果它是规则的LDR图像,则典型地在最暗和最亮像素颜色之间将不存在这样的高对比度。当然,同样在LDR图像中可以存在白色的值以及黑色(零)的值,但是这些值将对应于实际要呈现的不同光亮度,因为存在定义它们的不同代码分配函数。我们新颖的接收机/解码器将认识到该情形并在每种情况下应用适当的解码。当我们说LDR图像应当在老式显示器上可直接使用时,我们是指向接收机供应解码图像的接收机将利用老式代码分配函数、即典型地Rec. 709的伽马2.2来理解/解码亮度值。现在主_HDR(模式i)图像可以由完全不同的代码分配函数来编码,这意味着比方说0.05的黑色亮度对应于比起对于LDR图像而言暗得多的黑色,并且0.96对应于亮得多的颜色。除此之外,模式ii引入了另一新的概念:亮度代码现在可以通过再另一代码分配而与HDR要呈现的亮度有关,并且可以取决于分级者的选择(特别是定制曲线)而甚至是可变的!特别地,模式i图像将典型地没有如老式LDR编码中那样的相对均匀(照明充分)的直方图,但是典型地具有双模态直方图,其中存在数个较暗的对象和数个亮得多的像素(例如外部像素,其在线性光亮度表示中将为100倍亮,但是当使用特定的代码分配函数、即在最终使用的亮度表示中可以为例如3倍亮)。在一些HDR图像中,较亮的像素在数目上也可以很少,例如夜晚场景中的几盏灯。在模式ii图像中,该关系将再次地不同。在亮区域与暗区域(假定此处简单的阐述中,HDR图像是如此形成的)之间将仍然存在某种很大的差异,不仅因为到那时相对简单的函数可以映射到Rec_HDR,而且因为即使是LDR直接呈现,也可能期望保留稍许对比度外观。但是在另一方面,两个光亮度范围可能由于LDR色域的限制而在一定程度上朝向彼此缩小或者缩小到彼此之中了。但是所有这些当中重要的是仍然可以看出图像是否为LDR或HDR场景的某种识别标志(signature)。不仅数学图像分析算法可以分析编码在图像中的动态范围外观(例如,针对其中外观的最终质量比起例如制作成本来说不那么重要的实时电视制作),图像分析单元177可以用于分析,而且一般地我们的编码技术以其最高质量格式在人类颜色分级者处于创作端的情况下将被使用,该人类颜色分级者可以在典型地HDR和LDR显示器上看到***如何表现(即,LDR和HDR外观实际上看起来像什么),转动他的分级键盘的转盘,并且最终对LDR图像和他乐意的HDR重建函数进行编码。注意,典型地接收机不需要对情形做完整分析。它们本身不需要关心它们接收的归一化图像是HDR图像还是LDR图像,以及是哪一种LDR图像变体。它们只需“盲目地”应用它们接收到的函数。典型地它们需要知道的唯一一件事是这些函数定义什么和/或该单独的图像定义什么。所以典型地信号将包含关于它是什么类型的信号的指示符(IND)。当然可以传送关于该信号的许多事情,例如对于想要进行其自己的进一步的智能图像改进的电视而言,但是典型地接收机最少需要知道的是该HDR编码信号S_im是包含可直接用于LDR呈现的图像的类型(不管其外观是否可以被接收机精细调节成更好的LDR图像,所述接收机可以利用[以Ff1、Ff2等等进行参数化的]另外的色调映射函数来对接收的LDR图像LDR_t进行色调映射)。利用该信息,接收机知道,如果所连接的LDR显示器要被供应适当的图像,则LDR外观图像可以被直接发送给它,并且如果它是HDR显示器,则首先将应用颜色变换以便获得正确的HDR图像以供呈现。技术熟练的读者将理解,这可以以若干方式来指示,例如利用比如“DIRECTLDR”的关键字或者利用一组数字“100/5000”,其指示该单独图像是意图用于100nit显示器(实际的或参考显示器)的图像并且是从5000nitHDR图像导出的且可映射到该5000nit HDR图像(并不意味着没有用于其他峰值明亮度的显示器的其他图像可以利用定义颜色变换函数的参数中的信息从LDR图像导出),等等。
如果我们现在更详细一点查看HDR图像可以典型地是什么(在被归一化时并且要被分级成最优模式ii LDR图像),就应当理解各种场景在具有例如5000或10000nit的峰值明亮度的HDR参考显示器定义的环境中将典型地如何被主分级。
再次以具有明亮的阳光明媚的室外的室内场景为阐述示例,可能想要将M_HDR中的室外颜色分级成近似HDR中间灰色,如大约5000nit的20%,即+-1000nit。室内颜色不应当以实际的典型室内光亮度来呈现,因为我们正在另一环境中观看电影,例如典型的电视观看的昏暗环境。所以室内颜色肯定不应当在阳光明媚的室外像素光亮度的1/100下呈现,因为那些颜色也不被精确地呈现,而只是在任意接收侧处参考主分级在参考显示器上的模样的精确拷贝。我们需要考虑对于适配的普通观看者而言的外貌,特别是在HDR外观中室内不应当看起来不切实际地暗。我们可以将那些颜色分级到处于“阳光明媚的外部”图像区域颜色的平均光亮度的例如1/10,如+-100nit附近。然而,现在天真地(naively)将那些亮度映射到100nit LDR参考显示器上(利用比方说至少概念上接近线性拉伸的颜色映射),LDR中阳光明媚的外部颜色将看起来完美,在大约20nit附近并且朝上到白色,但是内部颜色将在2nit附近被呈现,这将被视为心理视觉的黑色。这就是为什么需要进行“某种”优化,其取决于特定HDR场景的复杂度而可能非常复杂,这是为什么对于我们的编码框架的方面在内容创作侧优选地包括人类颜色分级者。为了使那些室内颜色也合理地可观看,我们可以使它们比起中间灰色来稍许更暗(18%),而在优化方面不做太多。所以我们可能想要利用典型地在5和7之间(当然取决于什么在暗或亮子区域中,对于其中应当几乎看不见墙上的工具的地下室而言,优化可以不同并且可以剪切照亮它的灯的光)的因数来提升那些较暗颜色,使得较亮的颜色保持在那以上。图5示出了我们的HDR/LDR编码链的两个示例情景。曲线501和502仅示出了典型的第一(“灵敏度”)色调映射曲线,即在伽马之前。它们由定义,对于输入xg而言可能的归一化值在零和1.0之间,并且在主HDR对于曲线501而言用1000nit的参考显示器峰值明亮度定义(意味着无论什么内容在捕获的场景中,M_HDR中的对象光亮度被定义在零和最大1000nit之间,1000nit是例如焊接火花或太阳可以被分级到的值)并且对于曲线502而言是5000nit的参考显示器峰值明亮度的情况下具有最优的RHO值。如技术熟练的读者将理解的,最优RHO值可以以许多方式来确定。例如,分级者可以选择它,以在给定具体M_HDR图像的情况下适合于他认为是良好的LDR外观。或者,在创作侧处的装置可以例如根据以下等式自动地计算它:
在该等式中,PBHDR为与M_HDR分级相关联的参考显示器的峰值明亮度(即,其定义可能的值的范围,并且典型地对应于分级者在其上研究和创建其主HDR外观的真实显示器的PB),例如如图5中的1000或5000nit,并且GAM为伽马值,其可以典型地为例如2.4。当然,装置(或分级者)可以借助于任何其他算法或启发法偏离这些值,例如在需要稍许更亮或较不鲜明的外观的情况下,等等。
现在可以在图5中看到如果确定用于第一/灵敏度色调映射部分的提升因数(与对角线相比,归一化HDR亮度在x轴上,并且归一化LDR亮度在y轴上)仅仅为+-1.5和4.0之间的值,则在应用具有2.4的伽马的伽马映射之后还得到对于最暗的10%颜色而言6-7附近的提升因数(曲线503或504是对数和伽马的组合映射),这粗略地是所需要的(分级者稍后可以利用其任意色调映射曲线按照期望进行精细调节,但是这对于例如仅仅在需要或期望精细调节的情况下最少地涉及分级者的自动转换装置而言是良好的策略)。一般地希望对于组合对数/伽马色调映射操作(即单元602和603)而言通常具有+-4-8的提升,这将意味着介于1.5和5.0之间的提升值将仅仅对于基于RHO的灵敏度部分(单元603)而言是适当的。对于针对较暗颜色具有这样的行为的单元603而言任何色调映射函数将满足我们对于我们的发明所需,但是以上基于对数的等式是实现这一点的简单的实用方式。用于以上的较浅颜色的行为将典型地为温和的压缩,即具有典型地对在由提升的较暗颜色所占据的范围以上的较浅光亮度进行非线性映射的函数形状。现在可以拥有非常复杂的HDR图像,其可能期望其他值,但是这样的极端情形可以由分级者(或自动分级算法)通过适当的任意曲线定义来处理。注意,在解码侧,处理链需要实质上不可逆,以便能够从(多个)单独的所传送的LDR图像计算Rec_HDR。实质上不可逆意味着我们不一定必须在Rec_HDR中精确地获得与原始M_HDR中相同的颜色分量值,但是颜色差异应当在容差限度以内。因此接收机最终应当能够获得所需的颜色变换函数以用于升级到HDR外观Rec_HDR,不管他是通过对在从M_HDR得出LDR_o(或LDR_i)时最初在接收机侧使用的降级函数进行求逆并且接收那些函数的形状信息,还是通过直接接收进行到Rec_HDR的升级所需的逆函数来计算它们。这将尤其典型地意味着对于分级者可以定义用来按其严格的偏好对LDR外观进行精细调节的任意色调映射函数而言,他将需要定义与归一化LDR和HDR亮度有关的单调递增函数,如技术人员将理解的。
基本的模式ii技术链可以以简单的方式工作。例如,对于一些不太关键的场景,分级者可以利用作为恒等式(indentity)变换的默认值来填充任意函数。还应注意,尽管我们描述了链中必要的基本技术组件,但是在实际实现中这些块中的一个或多个可以被分组到执行功能的实际单元中。例如,在一些应用中,可能合期望的是一起发送所有颜色映射函数的总LUT,而在其他应用中可能有利的是发送单独的函数,因为电视(自动地,例如在分析场景之后,或者在由观看者进行的用户接口控制之下)可能例如想要进一步调节例如第一函数,该第一函数使图像与经由图像/视频通信技术接收的灵敏度或RHO值相比稍许变亮。更先进的版本可以使用一些另外的处理步骤,例如编码方法可以确定增益值(gai)以用于将较低动态范围图像(LDR_o)的最大亮度映射到重建的高动态范围图像(Rec_HDR)中的可能值中的特定值,并且将该增益值编码在图像信号(S_im)中,其不应当与从归一化颜色到所连接显示器的峰值明亮度(例如Lm=5000nit)的最终缩放相混淆。该增益允许更加多功能的分级和/或编码。
一种非常有用的改进的对高动态范围图像(M_HDR)进行编码的方法,包括:在应用以上颜色映射中的任一个以确定较低动态范围图像(LDR_o)之后,应用另一技术色调映射(301)以确定第二较低动态范围图像(LDR_i),该第二较低动态范围图像可以用来作为替换较低光亮度动态范围图像(LDR_o)的替换驱动图像来驱动LDR显示器,所述技术色调映射通过以下而被确定:a)确定较低光亮度动态范围图像(LDR_o)的对于其而言对应的重建高动态范围图像(Rec_HDR)中的条带的可见度在可接受水平以上的第一几何区域,b)确定用于该区域的亮度范围(L_u),c)确定在亮度轴上与该亮度范围(L_u)相邻的第二像素亮度范围(L_uu),其中第二范围被标识以满足条件:它具有在最小数目(MIN)以上的数个亮度,并且对应于包含可以使用少于LDR图像(LDR_i)中的最小数目的代码来表示的纹理的第二几何图像区域,对所述LDR图像应用所述函数产生对于该第二区域而言具有足够视觉质量的重建高动态范围图像(Rec_HDR),以及d)确定对第一和第二亮度范围的亮度进行重新分布的重新分布映射函数,使得附加代码可用于第一范围,并且在图像信号(S_im)中输出对重新分布映射函数或优选地其逆函数的函数形状进行编码的值。
多少受限于Rec_HDR的完全或充分精确的重建与LDR图像LDR_o的外观之间的权衡,特别是如果硬件(以及分级成本)规定应当使用相对有限量的分级函数的话。一些HDR场景可能不会如此困难(例如,普通观看者可能不会对阳光照亮的街道的阴影侧的阴影更暗一点或更浅灰一点太过挑剔,只要从最优外观的偏离不太过分),但是一些HDR场景可能更加关键(例如,在HDR光亮度范围上某处,可能存在部分隐藏在发光雾霭中的家伙,并且如果那里局部对比度太高,则他可能仅仅稍许过于可见,但是如果对比度太低,则他可能不可见,从而改变故事)。将有利的是至少对于不是老式(并且不知道如何进行任何HDR处理)的接收机而言使另一维度的分级成为可能,并且可以进行某种另外的色调映射。老式显示器于是可以得到“尽最大努力的”LDR图像,其将是所发送的单独图像,但是智能未来接收机可以做出一些智能技术技巧以进一步优化LDR外观,使得它更接近分级者所期望的(可能甚至剪切最终LDR外观中的一些值,如果那在单独的发送LDR图像中发生的话这将与HDR重建不一致)。有了这样的可能性,一些编码方法或编码器可以满足这样的需要。将非常复杂非常高对比度的HDR图像压缩在LDR单独图像中(例如,HDR图像,其具有拥有许多灰色值的若干重要区域,例如暗的未被照明的房间、相对充分照明的第二房间以及同时色彩丰富的被太阳照射的外部,并且这3个区域还包含覆盖(例如充分照明的房间中的灯下方的白色桌子的)许多灰色值的重要梯度),可能发生的是一个或多个区域变得不可接受,因为由于用于颜色分量的有限的字长(例如10比特),某处(取决于颜色映射函数的形状)存在被判断为过于严重的条带。该区域可以例如通过分级者找出它(并且他可以通过被分级装置中的HDR图像分析软件指向潜在关键的区而被帮助)而被标识。条带检测器可以计算例如对于扩展区域(潜在地也考虑该区域具有哪些光亮度,以及估计的JND)而言,存在每次数个依次相等的颜色的跳变,并且它们可以基于来自这样的计算的值(并且典型地在工厂实验中)定义可接受的水平。分级装置在找到这样的区域(例如通过对分级者所粗略选择的进行更精细的分段)之后,然后可以粗略地确定对应于它的光亮度范围L_u。例如,在蓝色天空中可能存在条带,其颜色具有介于L_sky_low和L_sky_high之间的光亮度。该问题将得以缓解,如果LDR编码具有更多值来将图像编码在内的话,其中我们应当理解,在编码侧M_HDR和任何变换可以仍然具有非常高的精度。但是这些代码并不存在:我们仅具有10比特可用于所有需要的光亮度,并且我们还需要对不同光照的所有其他图像区域进行充分地编码。但是可以使用技巧,如果可以从具有与L_u相邻的光亮度的图像区域借一些代码的话,尤其是如果那些区域的视觉质量通过从其代码范围取走几个代码而降级一点的话(典型地分级者将通过接受结果或者不同意(在该情况下将尝试另一努力)的简单操作而判断这一点,该另一努力在条带对于原始条带区而言仍然太高并且相邻区域仍然可以被进一步恶化的情况下更为激进,或者在分级者指示相邻区域开始过于恶化的情况下不那么激进)。重新分布代码的简单方式是例如线性或非线性修改局部函数部分。现在单独的发送图像LDR_o的问题在于天空可能例如变得有点太暗,并且可能由于该操作而太对比强烈(并且相邻区域也可能稍许太暗,并且其纹理外观可能已被改变,等等)。这在小的改变和不太关键的场景的情况下可能不太有问题,而对于困难场景而言更不方便一点。它是老式***可能必须付出的代价,因为它们绝对不能对任何接收数据做任何处理,除了直接呈现LDR_o,但是新的接收机可以应用被用来重新分布亮度的变换的反变换,来创建与最初意图的LDR外观非常接近的LDR外观(即,具有适当的天空光亮度,等等),但是现在具有较少的条带。接收机无需进行太多智能分析,它仅需要查看这样的技术色调映射函数可用,并将它应用于重建单独的发送LDR图像LDR_t以获得更好的LDR外观图像LDR_ul。在分级装置中也可以应用数个方法来实现用于相邻区域的好的建议,例如可以确定具有足够量亮度(例如等于天空中的量)并具有某种复杂纹理的区域。简单的实施例可以例如使用条带区域范围以下直到最黑的黑色的所有代码。
用于第一范围的附加代码的量是基于用于第一几何区域的条带可见度准则而确定的。自动算法可能带来例如20%附加代码的问题,并且典型地人类分级者将确认这一点。算法也可以高亮其必须恶化的区域,例如通过使那些区域的着色闪烁,以使得分级者可以快速检查那些区域是否在重建的HDR Rec_HDR中也具有足够的视觉质量。
在大多数实际的实施例中,显示出过多条带的第一几何区域的标识典型地最终由人类分级者经由用户接口单元(105)执行,例如通过沿着条带区域涂写一条波浪线,并且重建的高动态范围图像(Rec_HDR)中第一几何区域的条带量以及重建的高动态范围图像(Rec_HDR)中第二几何区域的重建的视觉质量由人类分级者判断为可接受或不可接受,其中在可接受的判断的情况下,对重新分布映射函数或其逆函数的函数形状进行编码的值被编码在图像信号中,或者在不可接受的判断的情况下,所述步骤再次利用不同的参数来进行以便实现替换的重新分布映射函数。例如,可以向条带区域分配10%更多的代码,也许以扩大的相邻亮度范围L_uu为代价。
所述对高动态范围图像(M_HDR)进行编码的方法的一个有趣的实施例是较低光亮度动态范围图像(LDR_o)的像素颜色被编码为亮度通道以及u'和v'颜色坐标,其被计算为,其中X,Y和Z为设备无关的1931 CIE颜色坐标,其可导出用于任何RGB表示(即,CIE 1976(u',v')色度表示)。通常根据老式理念,图像(尤其是LDR图像)将被编码为YCrCb图像。但是如果改变任何编解码器(例如,针对因特网传输),也可能将颜色分量编码为Yuv分量平面,这在发送图像的图像质量和应用我们的***的各种颜色变换(当然老式电视到时将不能由此得出好看的图片)的便利两方面都具有一些优点。
我们发现了一般地选择的亮度定义(由所选的以上步骤的完整色调映射策略定义,最终获得LDR_o或LDR_i中的亮度),其与两个亮度无关的色度坐标、特别是由CIE标准化的u',v'坐标一起将是要在标准图像或视频压缩技术中使用的良好编码。类似于例如HEVC的压缩技术将典型地通过对样本的块进行DCT而应用至少空间压缩,但是对于视频而言它们也可以进行基于运动估计的压缩,等等。
在简单的实施例中,颜色转换的函数颜色变换行为的编码可以通过在与(多个)单独的图像相关联或可与之相关联的元数据中存储:a)灵敏度值(例如RHO,或被称为SENS并在下面定义的、定义RHO的等同参数,或者允许确定RHO值的RHO的任何函数或互相关),b)伽马值(GAM),以及c)表征映射亮度的任意函数的函数形状的数个值,而用仅仅几个简单的参数来传送。
一种对高动态范围图像(M_HDR)进行编码的方法包括:确定增益值以用于将较低动态范围图像(LDR_o)的最大亮度映射到重建高动态范围图像(Rec_HDR)中的可能值的具体值;以及将该增益值编码在图像信号(S_im)中。这对于可从LDR图像获得的Rec_HDR图像的进一步缩放而言是有用的,例如如果相对暗的镜头的LDR图像被相对亮地表示(即直到可能的LDR亮度范围中相对高的值的那些亮度),而HDR图像应当被不太亮地呈现(这通过用不太高的最大亮度对其解码而最好地得以处理)的话。
一种对高动态范围图像(M_HDR)进行编码的方法,包括:确定高动态范围图像(M_HDR)的颜色到较低动态范围图像(LDR_o)中的颜色或者相反的饱和度修改策略;以及将该饱和度修改策略编码为信号(S_im)中的元数据中的参数值。典型地分级者将也想要影响图像的饱和度,例如他们可以利用某种饱和度映射策略改变从M_HDR获得的 LDR_o的饱和度,和/或从LDR_o获得的Rec_HDR的饱和度(例如,第一色调映射使获得的Rec_HDR颜色的u,v色度处于它们在LDR_o中所具有的值,并且然后改变那些Rec_HDR颜色的饱和度)。
所述对高动态范围图像(M_HDR)进行编码的方法的一些实施例包括:在应用以上颜色映射中的任一个以确定较低动态范围图像(LDR_o)之后,应用另一技术色调映射(301)以确定具有重新分布的亮度(即用于至少一个几何区域的典型地稍微改变的值的亮度)的第二较低动态范围图像和该图像(即,重新分布的亮度低动态范围图像LDR_i)的亮度子范围,这保证了至少在第二较低动态范围图像(LDR_i)的对于分级者而言更重要的区域(例如,其被典型的所意图的观看者仔细地观看,因为它们例如大而且亮,并且易于产生条带)中,可以分配足够的亮度代码以利用足够的精度对那些区域中的纹理进行编码以便使得能够以预定误差准则以下的误差(最小条带量)来重建重建的高动态范围图像(Rec_HDR)。
对于一些实施例而言重要的是不选择任何奇怪的色调映射策略。特别地,如果想要能够获得良好质量的Rec_HDR,即在数学像素颜色值上接近M_HDR,那么需要确保在LDR_i中不存在欠采样的纹理,这在确保在均匀量化之前的最终映射在任何地方都不太平坦的情况下发生。
典型地这可以通过LDR图片上的亮度计数策略和/或HDR图像上的诸如例如条带检测器之类的亮度计数策略,或者任何这样的预定HDR重建误差准则来完成。在一些实施例中,该准则可以由人类分级者执行。它的存在可以通过使技术重新映射策略被共同编码在S_im中以便由更智能的未来一代接收机应用而被看见。
所述方法可以体现在被布置成对高动态范围图像(M_HDR)进行编码的图像编码器(100)中,所述图像编码器包括:
– 动态范围转换单元(104),被布置成将高动态范围图像转换成较低光亮度动态范围的图像(LDR_o),所述动态范围转换单元(104)包括以处理顺序连接的:a)归一化器(601),被布置成将高动态范围图像归一化到范围在[0,1]上的亮度轴并且输出归一化光亮度(Yn_HDR),b)伽马转换单元(602),被布置成向归一化光亮度应用伽马函数并且输出经伽马转换的光亮度(xg),c)第一色调映射单元(603),被布置成应用第一色调映射,该第一色调映射将位于0.1以下的那些经伽马转换的光亮度提升一位于1.5与5.0之间的预定量,从而产生亮度(v),d)任意色调映射单元(604),被布置成应用任意函数,该任意函数将亮度(v)映射成较低动态范围图像(LDR_o)的输出亮度(Yn_LDR);并且图像编码器(100)进一步包括:
– 图像压缩器(108),被布置成向较低动态范围图像(LDR_o)的颜色应用数据减少变换,所述颜色被组织在分量图像中,并且所述减少变换至少包括向相邻颜色分量值的块应用DCT变换,从而产生较低光亮度动态范围图像的像素颜色的经压缩的编码(LDR_c);以及
– 格式化器(110),被布置成在图像信号(s_im)中输出经压缩的编码(LDR_c),并且被布置成另外在图像信号(S_im)中输出将颜色转换的函数形状编码为元数据的值,或者用于其逆函数的值,所述元数据允许接收机基于较低光亮度动态范围图像(LDR_o)重建高动态范围图像(Rec_HDR)。
这样的编码器的实用实施例是这样的编码器,其中伽马转换单元(602)使用等于1/(2.4)的伽马值,和/或第一色调映射单元(603)使用由等式定义的色调映射,其中RHO具有预定值,该值典型地是所意图服务的显示器和/或与主HDR编码M_HDR相关联的参考显示器的峰值明亮度的函数。
一种图像编码器(100),被布置成指定增益,该增益允许将较低动态范围图像(LDR_o)中的亮度代码的最大值映射成重建的高动态范围图像(Rec_HDR)的选定亮度值,并且所述图像编码器具有格式化器(110),被布置成输出该增益作为图像信号(S_im)中的元数据中的值。
如以上编码器权利要求中的任一项所要求保护的图像编码器(100),包括技术色调映射单元(106),被布置成自动地或在人类引导下确定较低动态范围图像(LDR_o)的纹理和统计信息,以及特别地在Rec_HDR中易于产生重建误差、特别是条带的至少一个关键几何区域,并且在此基础上计算第二色调映射(Ff1,Ff2,…)以用于被应用作为到较低动态范围图像(LDR_o)的变换来产生具有表征第二较低动态范围图像(LDR_i)的至少一些重要、易于产生误差的区域的纹理的最小数目的亮度代码(例如,1.3*L_u)的第二较低动态范围图像(LDR_i),从而允许重建具有在预定误差准则以下的误差的重建的高动态范围图像(Rec_HDR)。为了使得能够传送允许在编码之后接收机以镜像方式实现我们的模式ii***的必要信息,发送(或存储以供稍后发送)高动态范围图像信号(S_im)是有用的,所述信号包括:
– 具有已编码像素颜色的像素化较低动态范围图像(LDR_o);以及进一步的:
– 灵敏度值(RHO);以及
– 伽马值(GAM);以及
– 增益值(GAI);以及
– 指定任意色调映射函数形状(P_CC)的一组值。
接收机然后可以从这些值确定将应用于单独传送LDR图像(LDR_o或LDR_i)的所有函数的函数形状,如果需要和计算具有比100nit LDR图像更高的动态范围的任何图像的话。
特别地,S_im也可以包括对用于在内容的人类创作者/分级者所期望的艺术LDR分级与其在被采样时具有用于良好的Rec_HDR重建的图像的所有区域的,或者至少那些被自动图像分析单元和或人类确定为更关键的区域的足够亮度的技术LDR之间进行映射的技术重新映射策略(Ff1,Ff2,…)进行编码的值207。
特别地,它是有用的,因为对于接收机而言非常实用的是快速确定使用现在若干(非常)不同的可能HDR图像编码机制中的哪一个,特别是通过在图像信号S_im中包括指示符(IND),该指示符指定高动态范围的图像已经被编码在它之中,并且是利用将该高动态范围的图像编码为低动态范围的图像的方法,该低动态范围的图像直接可用,而无需进一步的色调映射,以用于在LDR显示器上呈现。可以设计和同意各种这样的编码方式,只要任何接收机理解它。
一种存储我们的高动态范围图像信号(S_im)的任一实施例的诸如蓝光盘之类的存储器产品。
为了具有图像通信链,在接收端可以具有作为或包括图像解码器(150)的装置的各种实现,所述图像解码器被布置成接收高动态范围图像信号(S_im)并且包括:
–去格式化器(151),被布置成从图像信号(S_im)获得经压缩的像素化较低动态范围图像(LDR_c)和参数数据(P);以及
–解压缩器(152),被布置成向经压缩的像素化较低动态范围图像(LDR_c)至少应用逆DCT变换以获得像素化较低动态范围图像(LDR_t);以及动态范围转换单元(153),被布置成将较低动态范围图像(LDR_t)变换成重建的高动态范围图像(Rec_HDR),其中动态范围转换单元(153)以处理顺序包括:a)任意色调映射单元(402),被布置成应用任意色调映射,定义它的参数(P_CC)在参数数据(P)中接收,b)第一色调映射单元(403),被布置成应用由至少一个接收的参数(RHO)定义的映射,所述至少一个接收的参数定义之前由我们的编码器或编码方法实施例中的任一个确定的第一色调映射,以及c)伽马转换单元(404),被布置成利用接收的伽马值(GAM)应用伽马映射。
该解码器将首先取消所有典型的老式(例如HEVC或类似的)压缩编码,并且然后以相反顺序应用各种映射(注意,不是所有东西在所有实施例中都需要精确地以相反顺序;例如,在Yu'v'中可以选择以相反顺序进行正交亮度和饱和度处理,不管它是否可能利用稍微不同的数学函数,只要最终结果精确地或近似地是所意图的颜色)。还应注意,可能存在附加的处理步骤,其可能仅存在于接收端处(例如,图像可以被编码在比如Rec. 2020的某种RGB表示中,但是可能需要被转换成电视所理解的另一格式,例如DCI-P3,并且进一步转换成TV的实际原色)。
所以图像解码器(150)将包括动态范围转换单元(153),其被布置成将较低动态范围图像(LDR_t)变换成重建的高动态范围图像(Rec_HDR),并且典型地可以存在逻辑单元和至少定义什么时候做什么(例如,取决于哪一个或哪些显示器当前被连接和服务)的另外的颜色处理函数。
图像解码器的一个实用实施例具有第一色调映射单元(403),其被布置成应用以下形式的函数:,其中v为像素亮度,并且RHO为在参数数据(P)中接收的实数值或整数参数。
图像解码器(150)的一个有用实施例包括被布置成向较低动态范围图像(LDR_t)应用在图像信号(S_im)中接收的另一色调映射(Ff1,Ff2,…)以获得第二较低动态范围图像(LDR_ul)的色调重新映射单元(159),其颠倒由产生具有重新分布的亮度的第二低动态范围图像(LDR_i)的编码器方法5到7中任一个所应用的代码重新分布动作以便在重建的高动态范围图像(Rec_HDR)的至少一个区域中获得减少的条带。事实上,编码器不一定需要精确地知道任意编码器如何实现对亮度进行重新分布的特定变换函数,它只需要应用逆函数来实现基本上所意图的LDR外观(LDR_ul)。
解码器的另一有用实施例可以理解LDR图像的Yu'v'编码,并且另外包括颜色变换单元(155),其被布置成将Yu'v'颜色表示转换为RGB颜色表示。可以在转换完成之前完成色调映射,因此将到RGB的转换留给处理链的最后部分,或者可替换地,可以首先完成转换,并且可以在RGB信号上完成等同的颜色处理。
对应于所述解码器中任一个,对应的解码高动态范围图像信号(S_im)的方法包括通过向较低动态范围图像(LDR_t)应用编码在参数数据(P)中的颜色转换而获得重建的高动态范围图像(Rec_HDR),特别地一种解码高动态范围图像信号(S_im)的方法包括:
- 从图像信号(S_im)获得经压缩的像素化较低动态范围图像(LDR_c)和参数数据(P);通过向经压缩的像素化较低动态范围图像(LDR_c)至少应用逆DCT变换以获得像素化较低动态范围图像(LDR_t)来对经压缩的像素化较低动态范围图像(LDR_c)进行解压缩;以及通过:a)应用任意色调映射,定义它的参数(P_CC)在参数数据(P)中接收,b)应用由至少一个接收的参数(RHO)定义的映射,所述至少一个接收的参数定义之前由我们的编码器或编码方法实施例中的任一个确定的第一色调映射,以及c)利用优选地等于2.4的、接收的伽马值(GAM)应用伽马映射,来将较低动态范围图像(LDR_t)变换成重建的高动态范围图像(Rec_HDR)。我们描述了允许分级者在HDR场景的HDR图像上简单而强大地优化LDR外观的外观的***。优选地做出尽可能小的视觉质量牺牲,但是因为LDR由于其动态范围限制而可能需要某种优化,所以***允许分级者对其特别感兴趣的场景对象、即典型地该场景中重要的特性对象的微对比度进行精细调节,并且由此如果需要做出一些明亮度-质量牺牲,则牺牲比如背景中的墙壁之类的一些不太重要的对象的精确外观,而不是场景中的主要对象。本发明可以以许多其他(部分)方式来实现,比如利用包含各种实施例的核心技术要求(比如体现在信号中的定义参数)的媒介,并且其许多应用可以导致比如对各种可能的信号进行传送、使用、颜色变换等的各种方式,以及在消费者或专业***中并入各种硬件组件或使用各种方法的各种方式。任何组件当然可以被实现在小型组件中或者被实现为小型组件,或者反之亦然,被实现为由于该组件的原因而起主导作用的大型装置或***的关键核心。
附图说明
根据下文描述的实现方式和实施例并且参照附图,根据本发明的方法和装置的这些和其他方面将是清楚明白的,并且将参照所述实现方式和实施例以及参照附图而被阐述,所述附图仅仅充当例示更一般概念的非限制性特定图示。
图1示意性地示出了在图像通信技术中根据我们的发明的编码器和解码器的实施例的一个示例;
图2示意性地示出了根据我们的发明的HDR图像信号S_im可能看起来什么样的实施例;
图3示意性地通过一个类阐述如何可以一般地获得技术LDR分级,所述分级在一些实施例中甚至可以自动地在幕后发生而不劳烦分级者或内容创作者,这允许对象亮度的更好的采样,并且因此允许Rec_HDR的更好质量的重建;
图4是根据我们的发明的可能的解码器的简单示意性阐释;
图5示出了用于进行使颜色显著变亮的灵敏度映射,或者另外利用伽马行为进行组合式初始LDR分级的2x2可能的实施例曲线;并且
图6是编码器的可能的动态范围转换单元的简单示意性阐释。
具体实施方式
图1描述了体现我们的发明的示例性典型***,具有在创作侧处的图像(或视频)编码器100,以及图像解码器150。我们假定在包含主分级HDR外观图像(M_HDR)的分级***中存在存储器101,所述主分级HDR外观图像已经由内容创作者根据比如例如达芬奇的颜色分级软件中的用于比方说电影的当前已知的颜色分级技术按照期望进行了分级(类似的其他***可以从我们的本申请中的教导受益,例如,在相机的拨盘上对例如相机外观曲线的调节之后,M_HDR可以直接来自于相机,等等)。在该M_HDR中,例如穿过窗户照射的光的明亮度可以被选择来通过给予那些像素意图要呈现的光亮度L_out和对应的亮度代码v_HDR而在[0,5000]nit参考显示器上给出最令人愉悦的外观,并且可以设计许多另外的光效果以及其他颜色优化。M_HDR经由图像输入端115输入到我们的编码器100中,并且也可以在HDR参考显示器102(其精确地具有我们针对HDR编码提出的理论的例如[0-5000]nit参考显示器的特性)上被观看。这意味着当分级者想要实现LDR外观(其不仅应当对对象纹理进行足够精确地编码以使得可以在接收侧获得M_HDR的合理地准确的重建Rec_HDR,而且该LDR外观应当适合于在LDR显示器上最优地呈现经编码的HDR场景)时,分级者可以同时比较在给定技术限制的情况下LDR外观在LDR显示器103上多大程度与M_HDR类似,并且通过根据其喜好按照期望改变用于从M_HDR获得它的颜色映射函数而进行优化。这两个显示器可以处于其不同的最优观看环境中,并且分级者可以观看由例如墙壁分隔的两者(例如,在两个封闭的参考环境中,其各自的窗户打开以用于同时向它们里面看,并且具有窗帘,所述窗帘在分级者在某个时间间隔期间想要看它们中的仅仅一个的情况下被关上)。分级者也可以在HDR显示器102上检查HDR外观的重建分级(例如,交替地切换Rec_HDR和M_HDR)。
借助于向分级者提供经典控件(比如例如调节轮或类似的滑条以用于设定比如伽马或灵敏度值之类的值)的用户接口单元105,分级者可以实现定义M_HDR应当如何被映射成LDR外观图像的比色变换,变换参数将经由编码器的输出端116输出到图像信号S_im中,所述编码器可以可连接到任何图像传输介质140,例如通信网络,或比如BD或固态存储器等的物理载体存储器。
LDR外观经由动态范围转换单元104而被生成,所述动态范围转换单元104被布置成对像素颜色的至少亮度而且典型地还对色度坐标应用比色变换。亮度是指最终可转换成物理光亮度,或者甚至经由心理视觉模型而转换成明亮度(其是当图像被呈现在显示器上时观看者将看到的最终外貌)的任何编码。注意,通过等同的数学运算,亮度变换可以被直接应用作为在RGB分量上的对应变换。尽管最终目标是外观中的正确对象明亮度(外貌),但是我们可以将我们的技术讨论限制为确定参考(例如[0-5000])范围或设备无关的颜色空间(比如由该范围定义的XYZ)中的光亮度。此外,我们将假定颜色的任何彩色变换是在1976CIE Luv空间的UCS平面中完成的,然而技术人员可以理解类似地可以如何使用其他第二和第三颜色分量,其中我们的发明的基本组件一般地可适用。
CIELuv根据XYZ(类似地可以根据某个RGB进行变换)定义u和v为:
我们假定为了简单起见HDR和LDR色域(即,与这两个图像的编码数学运算相关联的理论显示器的色域)具有相同的三个(或更多)R,G,B原色,并且因此可以通过将比方说5000和100nit的各自的最大值缩放到1.0而被并列为精确地重叠。所以从HDR到LDR的色调映射于是变成沿着该单个设备有关的RGB色域内的归一化亮度方向的相对变换。例如,如果想要使HDR外观中的较暗颜色在LDR和HDR显示器上看起来相同,则这作为相同色域中的相对变换变成以下:因为在5000nit定义的颜色定义中,HDR图像中这样的颜色将具有小的代码(例如,0.1以下),所以我们需要使它们变亮以在100nit LDR显示器上变得足够可见,例如具有0.3附近的值。精确的映射将取决于对于LDR和HDR图像两者而言亮度的定义,因为作为老式LDR图像和视频编码的“伽马2.2”定义的一般化,我们现在可以定义从物理光亮度映射到亮度代码(或者相反,因为典型地电视工程师从定义参考显示器开始,所述参考显示器除参考[0-5000]nit范围之外还具有某种参考显示器EOTF行为,该行为指示例如1024的亮度如何沿着该参考范围映射到可呈现的光亮度)的任意代码分配函数。我们不仅可以使用幂1/(7.0)伽马作为OETF,而且如果在图像镜头中在较低范围的光亮度与较高范围的光亮度之间不存在光亮度的话我们可以甚至使用不连续的代码分配函数。还应注意,在具有亮度无关的色度(u,v)的Y'uv表示中工作允许我们在颜色空间的非彩色和彩色方向上完全独立和自由地工作。
针对技术熟练的读者,将我们的阐述限制到仅仅HDR-2-LDR的非彩色映射,这些映射一般地可以被表述为原则上从HDR外观图像的[0,1]亮度到LDR外观图像的[0,1]亮度的任意色调映射函数,如可以利用图2a中的示例可见的。
指定这样的函数,我们将假定完成了在所有颜色(Y_M_HDR,u,v)上的映射以使得对于其中(u_wp,v_wp)为选定白色点(诸如D65)的色度坐标的非非彩色颜色(u<>u_wp,v<>v_wp)而言,确定的色调映射函数210被线性缩放到对于该颜色而言可实现的最大光亮度L_max(u,v),如WO2014056679中更详细地教导的。技术熟练的读者可以理解这样的处理如何类似地也可以在RGB颜色编码中完成而不是被应用于Y'uv颜色编码中。
一旦分级者指定了这样的色调映射行为,编码器就具有用于在M_HDR中任何可能的颜色上应用明亮度动态范围变换的足够信息,从而产生原始(未压缩的、可能仍然未量化的以浮点表示的)LDR外观LDR_o。由此,任何精确或近似的数学变换可以由编码器确定,这允许接收机以相反方式、从LDR_o到Rec_HDR进行预测。分级者可以经由图像输出端111检查这样的图像(在被充分地格式成图像信号之后,该图像信号可以在诸如例如HDMI的图像通信链路上传送)在参考(比方说100nit,或者在将来可能是500nit)LDR显示器103上将看起来如何。
然而,我们将在本发明中教导,当色调映射不是仅以任何一般方式构建而是以特定方式构建时它是有用的,并且(很少)对应的参数被有用地编码为图像信号S_im中的单独的元数据,因为它们然后可以被有利地用在接收侧,例如在针对特定X nit显示器导出最优驱动图像的可调节性期间。
作为第一参数,分级者将直接选择例如灵敏度参数SENS或RHO。这将是这样的值,其直观上类似于从摄影术中已知的ASA或ISO,并且典型地确定LDR图像将看起来有多亮(尤其是M_HDR的暗对象颜色被提高多少)。
作为优选实施例,编码器可以使用已经提供良好的初始LDR外观的EOTF/OETF函数,该EOTF函数定义如下:
该等式基于可用于像素颜色的亮度代码字的比特量而将与在[0,1]中等距分散的的亮度代码v对应的要呈现的HDR光亮度L定义为比方说1024个可能的值。Lm是可选择的变量,其指示M_HDR或Rec_HDR线性颜色/光亮度表示的参考显示器的峰值明亮度,其可以例如被固定为5000。例如,分级者将具有拨盘来选择灵敏度,该灵敏度可以典型地与rho有关,为:
连同SENS(RHO)值确定暗颜色行为和某种整体明亮度外观,分级者可以将伽马(GAM)共同调节为沿着可能的LDR亮度的范围重新分配对象/区域明亮度的某种弯曲参数。当然,当从M_HDR分级的参考XYZ空间表示(其可以是有用的中间表示)中的光亮度L映射到LDR外观的v亮度值时,分级者将定义逆函数。
在RHO除法上进行基本的数学计算,可以看到逆函数(OETF)为:首先应用1/(GAM),得到 ,并且然后计算:
典型地在编码器处可以存在图像分析单元177的各种可能实施例之一。该单元可以被布置有人工智能来分析图像中的区域,以及这些区域中的哪一个可能在(特别是模式ii类型的)HDR编码中产生特定问题。特别地,它可以标识可能易于产生条带的区域和被充分纹理化的区域,以使得它们可以利用较少量的亮度和/或颜色分量代码进行编码。在一些应用中,该单元可以自动地实现最终编码问题(例如转码器)而无需任何人类分级者参与,但是在其他应用中,它可以例如使区域处于分级者的注意之下,以使得他可以详细检查它们。当然,可以存在与用户接口的交互,例如分级者可以指示他想要缓解特定区域或特定纹理的条带,并且然后单元177可以提取这样的区域以及其亮度范围,等等。
如我们在图2中可见的,尽管可以决定将最终色调映射函数编码在元数据205中典型地保留LUT空间中,但是典型地将把灵敏度参数(例如200 ISO)或RHO值和伽马值(例如2.8)分别编码在灵敏度元数据字段202和伽马元数据字段203中。图2示意性地示出了图像或视频信号S_im(200)看起来如何,并且技术人员当然将知道在给定现有图像数据容器等等的情况下那在实践中可以被定义在许多数字变体中。我们的编码器实施例使用像素颜色图像(201)的经典的3分量编码,该图像将是我们的分级者优化的LDR外观图像。该LDR图像LDR_o将典型地根据比如JPEG的图像编码标准化格式或比如MPEG-HEVC、VPI等等的标准化视频编码格式进行经典地DCT编码、游程长度编码、格式化等等。技术熟练的读者将理解,在比色上重新格式化以便能够重新使用老式(或类似的将来)编码技术作为一般概念是我们的发明的一部分,但是实际使用这样的编码中的哪一个并不那么重要。并且,我们的发明的另一部分是例如至少在恢复场景的Rec_HDR外观时使数据有意义所需的元数据(因为LDR外观在理论上可以直接用于驱动LDR显示器,不需要另外的动态范围处理而只需从Y'uv映射到某种设备有关的RGB空间编码的比色重新定义)。
此外,分级者可以使用GAIN值(被共同编码在增益元数据字段204中)以使得函数本身不需要从1.0到1.0进行映射。例如,增益可以指示定义在完整范围[0,1]上的LDR图像将如何被映射到HDR显示器的[0,5000]范围的仅仅比方说[0,1500]子范围。以相反方式限制所使用的LDR范围原则上也是可能的,尽管不太可能被使用。该增益可以用来使一些图像不太亮,因为可以想象如果场景例如为有雾的场景,或者是在LDR中被合理变亮但是在HDR中需要保持暗的暗图像。
这三个参数(RHO,GAM,GAI)已经给出了M_HDR图像到对应到 LDR外观图像的非常有用的第一映射,具有粗略地全局明亮度或光照调整。这可以例如足够用于广播真实生活秀,其中最优参数就在广播开始前被确定。更多的关键用户(比如电影制作者)可能想要对于外观的更精细调节控制。他们可能想要指定比以上“loggamma”函数更一般的色调映射函数,在曲线中具有精细定位的弯曲,其可以将例如特定对象(例如,面部)的平均局部明亮度或对比度提高到所有可呈现LDR光亮度(或更精确地它们的对应亮度)的期望子范围。或者,局部斜率的指定可以以LDR外观图像中其他区域/对象的明亮度位置和对比度为代价而指定图像中重要区域的某个感兴趣子范围BL中的期望对比度。
现在要理解的重要事情是,利用我们的模式-i(HDR外观)***,分级者可以任意定义这样的映射,因为我们仅仅需要导出LDR外观图像(这不是重建,但是可以以破坏数据的方式进行,如果分级者期望如此的话),因为在该编码方案中我们已经使HDR外观图像编码为图像信号S_im中的单独图像。然而,在模式iii***中,我们需要执行双重准则:一方面,我们需要能够以良好的质量重建Rec_HDR图像,但是另一方面,我们想要足够的自由度来创建分级者可能期望的(并且然后经常可以是非常有创意的,如可以例如在电影罪恶之城2中看到的)大部分(如果不是全部的话)LDR外观。
但是应当理解,分级者利用其偏好的色调映射210实现了无论什么分级LDR_o,在老式编码中这些输出LDR亮度将经历经典的均匀量化(和甚至DCT)。所以我们应当小心不要创建在其范围的一些部分上过于平坦的映射(即,局部导出的delta_LDR_out/delta_HDR_in不应当太小,以使得要求的最小量的LDR亮度代码被分配到该范围delta_HDR_in或者对应的delta_LDR_out),因为否则在LDR-2-HDR色调映射中提升该范围时,我们将看到比如条带或过分对比强烈之类的伪像和可见的DCT伪像。
我们可以具有控制机制,其具有用户用来改变任意色调映射的形状的局部控制点的抗扰性(stiffness),但是这对于用户而言不是令人愉快的,尤其是在被太粗糙地实现(当然如果分级者正在想要做出真正奇怪的映射曲线(例如不应当做出的反转,比如N曲线)的话,***可以发出警告)的情况下。
图3中示出了一个有用的实施例,其阐述了技术色调映射单元106的行为,其可以用于确定第二LDR外观,可替换地可由需要服务LDR显示器的更智能的接收机用于确定LDR_o。我们假定分级者选择了其期望的、给出适当LDR外观的曲线,其是图3中的实线曲线。如果色调映射曲线不好,这将意味着存在至少一个太平坦的范围,在此我们假定其为最亮的HDR和LDR像素的部分R-u,比方说场景的天空。我们需要能够在LDR中拉伸该范围L_u,以使得可以分配稍许更多的亮度代码,并且是以对于分级者而言尽可能非破坏性(很少改变其外观)的方式。
这可以在存在包含更多纹理对象的相邻范围L_uu时完成。
这是走出以下难题的方式:我们的外观曲线为了得到期望的LDR外观而同时确定可用于忠实地对各种HDR区域纹理进行编码的亮度代码的量化或数目(场景中所有纹理的足够忠实的表征是HDR编码中编码质量的首要目标)。如果做的好的话,具有1024个不同的亮度/灰度水平(以及上百万代码)应当足以非常好地针对人类视觉对所有纹理进行编码。复杂的对象可以用相对较少的代码进行编码,因为眼睛首先看到粗糙的纹理图案,并且然后不太会看到像素颜色的精确值。如果我们具有对其使用了太少代码的亮度梯度,则只有在特别不利的情形下我们才会有问题。
所以在适配曲线时存在两件事情:技术色调映射单元106典型地使适配在需要时在亮度轴上保持足够局部,以使得我们不干扰太多对象颜色的亮度(例如避免使关键暗区域再次变暗太多)。用于该示例场景的质量准则可以是:我们需要使暗颜色变亮以得到良好的LDR外观,所以亮颜色的局部改变不会以任何方式干扰该LDR外观。所以色调映射单元106将典型地在问题区附近的某个局部亮度子范围中重新分布代码,并且确定用于此的对应的适配曲线,其为虚线(该曲线可以在其两个图像区域编码部分中大致遵循原始曲线的形状,即,如果对于天空亮度存在抛物线弯曲的局部形状,则其可以典型地针对天空使用缩放的、较大的类似地弯曲的抛物线分段,但是那并不是绝对需要的,因为只有编码精度是准则)。
所以我们需要稍许拉伸天空区域明亮度范围,以便具有足够的代码用于忠实地对Rec_HDR蓝色天空梯度进行编码。但是多大程度上我们需要那样做,并且我们应当扩展调整范围R_Adj多远。
这取决于许多事情。当然,R_adj应当覆盖其中存在问题的区域,其典型地将是视觉上相对简单的区域,诸如相对均匀的区域,诸如天空中的梯度(该蓝色梯度将存在于沿着LDR亮度范围的某处)。另一方面,我们必须需要被足够纹理化的相邻区域。在该相邻区域是另一个平滑梯度这种不可能的情形(其可能发生在比如人工梯度测试图像的合成图像中,在该情况下我们将必须满足于我们能够得到的无论什么样的最优亮度分配,但是这典型地并不发生在自然图像中)下,R_adj可以变得相对大。在其中我们很快遇到纹理化范围的正常情形下,我们可以用范围L_uu来扩展L_u,该范围具有取决于我们必须增加多少代码以及纹理图案的复杂度的尺寸。如果我们需要增加仅仅3个代码到天空,则我们需要在L_uu中保存3个亮度代码,并且如果被充分纹理化,则取决于分级者或观看者认为/可能认为可接受的范围,我们可以在比方说10-15个亮度的范围上那样做。
装置可以包含用于此的表格。
所以外观曲线有关的亮度编码的讨厌问题现在大部分得以解决。一方面,我们并不使相邻的较暗对象过于严重地变暗,因为我们通过扩展我们的天空范围L_u而仅仅使L_uu的颜色在较高范围上偏移一点点,但是主要地我们保持L_uu的较低部分相同,仅仅被采样少一点,不管怎样这并不是视觉上明显的问题,因为不管怎样纹理并不需要这么多的代码。天空的拉伸的范围可能有点次优,但是通常并不真的是问题,并且作为回报我们得到了改进质量的Rec_HDR。但是所有这些仍然只有在我们在接收端不采取任何对策(例如,通过不能进行任何处理的接收机)的情况下才如此。因为在解码器中我们可以在色调重新映射单元159中进行预补偿策略。然后这将使得亮度分配成为分级者的艺术意图的关切之外纯粹的技术问题。因为色调重新映射单元159将在使用得到的所意图的LDR外观(LDR_ul)用于例如驱动LDR显示器之前,把用于局部拉伸的校正再次应用于压缩。所以在其中我们将L_u的天空下限向下拉伸到相邻范围L_uu中的对象的明亮度(从而使那些对象变暗)的天空示例中,解码器150的色调重新映射单元159将应用301的逆映射作为校正。这意味着视觉上天空范围将再次具有其原始的亮度范围L_u以及当在LDR显示器上呈现时正确的光亮度范围,但它具有更大的精确度,因为被分配更多的纹理编码亮度代码。类似地在LDR_ul外观中,具有L_uu中的相邻明亮度的对象也将具有正确的非暗淡的明亮度,并且由于减少的代码量而仅仅在精度上不同。而且,技术人员可以理解该技术在各种其他可能的情形下如何总是可以改进图像中需要的那些区域中的编码精度,同时保持分级者所意图的LDR外观LDR_ul。色调重新映射单元159需要能够做的唯一事情就是例如借助于LUT向解码的技术LDR_t应用色调映射策略,该LUT可以被共同编码在信号S_im中(或者被部分地编码,如果可以从例如有限的一组控制点(例如定界线性分段)导出色调映射的话),并且因此应当清楚的是为什么将该技术调整函数单独地(Ff1,Ff2,…)编码在S_im中是有利的,因为一旦它已经在创作侧被确定并被分级者接受且被传送给接收侧,它就可以由解码器用来甚至实现更合期望的LDR外观LDR_ul。
主要地存在将能够实现以上内容的两类编码器实施例。第一类主要地自动进行所有处理,并且不需要使用户参与。平滑性和纹理检测器将自动地对各种区域分类,并且所以识别天空中的梯度图案和相邻定位的(即,在位于L_u以下和/或以上的亮度范围上)其他纹理化对象。各种纹理表征器可以被内建以确定纹理的复杂度(例如,精细颗粒度,错综复杂的灰度值的量,等等),并且从其确定导致较少编码亮度的干扰将在视觉上有多明显,以及从其得到的所需的L_uu范围。如所述的,这些偏好可以预先建立在以函数方式或者用LUT确定L_uu的公式中。同样在一些实施例中,可以存在DCT或其他压缩仿真器,例如其在针对R_adj和函数色调映射干扰形状301的各种选择下计算得到的解压LDR图像LDR_d,并且计算用于条带和/或其他压缩伪像的典型可见度(处于正常观看范围、显示器尺寸、周围明亮度等等)的严重性度量。纹理分析单元117可以针对此而存在,其典型地被布置成分析原始(LDR_o)和经编码的LDR_c两者或者事实上将最终在接收端呈现的其解码的LDR_d中的纹理以及特别地它们的视觉影响。特别地,可以使用由LDR-2-HDR颜色映射单元118进行的到HDR的重新映射来允许分级者在需要的情况下检查视觉影响。如果分级者想要检查该M_HDR作为Rec_HDR的可重建性,则他可以例如经由HDR图像输出端119而在其HDR显示器102上在时间上切换它们。事实上,解码器可以具有若干输出端(我们示出它们为单独的,但是当然它们可以内部走线成仅仅一个输出端)111,112,113,114以便能够检查LDR的各种版本。
具有技术重新分级的第二类编码器可以直接使人类分级者参与。如果他已经正在检查自动算法的质量,则他可以具有影响结果(即,典型地半自动地)的选项。这对于分级者应当是简单的,因为他可能想要更参与外观的艺术确定,即对象亮度的布局,而不是比如压缩伪像之类的技术问题(如果已经想要查看这一点,并且尽管他将检查一个或多个典型和批准的情景,沿图像通信线路往下当然可能存在可能具有更多严重伪像的另外的压缩)。
在这些编码器实施例中,用户接口单元105将典型地允许分级者指定对他来说尤其是问题区的几何图像区。例如,他可以涂写穿过天空,并且直方图分析和纹理分析单元然后将在进行其分析和技术更新部分色调映射曲线确定时聚焦于图像的该部分。例如,它们可以依次提出向天空一次增加一些更多亮度代码的策略,直到分级者满意。例如,色调映射单元106的实施例算法可以将梯度(条带敏感的)对象的该范围乘以k=例如1.5,并且选择纹理化图像区域的邻近范围并将其压缩成L_uu-1.5*L_u。即,可以使用两个区域中的代码的任何线性或曲线重新分布。L_uu可以选择为至少例如3*L_u,这些值典型地由装置设计者基于一组代表性图像进行优化。如果装置的提议好的话,分级者就接受它,使得编码器将对应的参数存储在S_im中,或者否则例如用k=1.1*1.5开始新的迭代。
干扰301将导致最终色调映射,最终技术分级LDR_i与其对应,所述最终技术分级LDR_i将是在根据我们的模式-ii HDR编码***进一步格式化之后被发送到通信***中的LDR外观,并且主要地对应于分级者期望作为LDR外观的东西。分级者参与的优点在于他可以指示(至少用最少的参与)哪些区域在语义上更相关。统计纹理分析器可以确定在介于例如房间室内的暗亮度与阳光明媚的室外的亮亮度之间的区域中实际上存在很少亮度(即,很少像素),并且因此决定应用在那里应用很少代码的重新映射策略(在解码器重新映射器159可以任意重建期望的LDR外观的情况下,我们可能甚至使用强的技术变形曲线,其几乎将整个很少使用的子范围切出LDR_i编码从而得出在LDR_i亮度值方面紧邻的室内和室外子范围)。然而,如果在该小区域中碰巧存在重要对象(比如某人的面部)或者被稍许强调为比如出现对象的对象,则分级者可以抵消(counteract)它。若干实际实施例是可能的,例如他可以在我们的绘图中在该区域附近涂写一个矩形,并且然后拨动增加要用于该区域的亮度代码量的拨盘。技术熟练的读者将理解,存在各种其他用户接口方式来选择图像或镜头中的关键区域或对象,以及指示其应当如何用亮度来编码,甚至直至分级者绘制或影响修改曲线301自身的形状。
我们的模式-ii***的其余部分如下:
可选地,动态范围转换单元可以进行某种颜色饱和度处理(例如,由于颜色丰富性随着变暗而降低并且反之亦然,所以分级者可能想要补偿由于亮度色调映射而变得稍许不适当的饱和度)。一个良好的实际示例性实施例利用非信息破坏性类型的一般饱和度函数而起作用。这是指该饱和度函数也在任何地方不过于平坦,所以其也可以被颠倒。但是在一些实施例中,饱和度函数可以仅需要被应用于LDR-2-HDR升级中,并且然后它可以更加自由。在图3中我们示出了从s_in到s_out的平滑的饱和度,其可以用LUT中的数个值S1,S2,S3而编码在信号S_im中。这些可以是用于等距的s_in值的s_out值(足够的量以使得在解码器处可以合理地平滑地恢复期望的曲线),但是这也可以是例如函数形状控制点。去饱和度函数可以例如被编码为具有小于45度的斜率的线(在s_in对s_out的图上)。在这样的去饱和度情况下,图像信号可以仅具有用于元数据中的乘数的整数或浮点值。我们假定在阐述性示例中,s_out将是HDR图像的饱和度,并且我们需要提升场景的现在被变暗的较暗颜色的饱和度以提高颜色丰富性,但是技术人员可以理解,在相同的结构编码理念中可以存在不同的处理变体。为了阐述的简单性起见,我们将假定饱和度是在uv空间中执行的,例如无论亮度如何,我们可以执行运算s_out=s_in+MS(s_in)*s_in。然后,MS(s_in)是可从如图2b中所见的函数取回并且被编码在LUT 206中的乘法值,其在与某个白色点相比的色彩(hue)方向上拉伸饱和度矢量。为了简单起见我们假定我们在圆柱形空间中定义了我们的uv空间,其中最大饱和度在***(并且被编码为1.0)。当然,技术人员将理解,我们可以在另一比色定义中对我们的饱和度策略进行编码,或者给定该定义是例如在圆柱形Y'uv空间中的情况下,解码器硬件或软件的设计者可以选择等同地在另一颜色空间(诸如基于RGB的YCrCb空间,等等)中实际执行它。分级者也可以确定亮度有关饱和度策略(即,改变饱和度的函数、哪一个乘数随所处理的颜色的光亮度而变化)并将其编码在S_im中。基本上,S_im的一个更先进的实施例将具有饱和度编码结构。这可以是例如基于web的定义,其对于数个关键色彩(例如6:RGBCYM)具有在亮度:MS(Y')上定义的乘法函数。由此其可以被编码为类似于206的6个LUT的值,在接收端解码器可以通过内插确定用于色域中的所有颜色的饱和度策略。更复杂的策略可以甚至在径向方向上引入饱和度的可变性。这可以通过简单地以参数方式确定这些函数(类似于在图2b中所见的,但是现在在色域中的亮度高度上可变)例如为偏置、伽马、增益函数而容易地被编码。在这种情况下,对于关键色彩,可以有:s_out=s_in+F(s_in,Y'),并且在例如三参数函数形状控制的情况下,可以在S_im中将其编码为指定例如饱和度_伽马参数的亮度行为在Y'上变化的3x6个LUT,或者用于色彩的6个LUT,但是其中不是单个乘法值被编码在每个位置,而是在数个位置i上连续地采样色域中的可能亮度的三元组[sat_offset(Y'_i),sat_gain(Y'_i),sat_gamma(Y'_i)]_LUT_of_yellow。
现在在编码器(和对应的解码器)的一些实施例中,对于像素的颜色特性,存在可选的到u'v'的变换,我们现在将阐述它(但是其他实施例可以可替换地或附加地在例如R'G'B'或YCrCb等等中直接编码,并且甚至内部没有可选的单元107;还应注意,某个Yu'v'处理在数学上可以被重写为等同的线性RGB处理)。
对动态范围应用了变换以创建正确的LDR外观(例如在RGB空间或XYZ等等中),假定我们还没有在Y'uv空间中进行映射,示例性阐述实施例的颜色变换单元107将进行到我们的u'v'表示的转换,其中该颜色表示中的亮度Y'由我们的总色调映射函数确定(即,中间LDR图像LDR_i的亮度),并且u、v根据上述等式确定。我们也可以在单元107中进行比色变换,其在设想不同的设备有关RGB或多原色空间时对颜色进行调理。例如,如果我们的M_HDR是用较小的RGB三角形编码的,但是LDR是用于宽色域显示器,则分级者可以已经预定义饱和度提升策略,尽管情况将经常是相反的,在该情况下单元107可以实现彩色色域映射。
最终得到的LDR_uv是用经典LDR图像或视频压缩器108编码的,即,典型地DCT或小波变换的,等等。
该经压缩的图像LDR_c被发送到格式化器116,其根据标准化格式在所应用的映射函数上增加元数据,以便它在接收侧合适地可用。即,该格式化器增加灵敏度值(RHO或可替换地SENS),另外的色调映射用于精细调节典型地由人类分级者(尽管在进一步的将来,一些编码器可以足够智能而自己进行某种精细调节)利用将参数205典型地定义为LUT的值(F1,F2,…) 的函数、饱和度编码206(例如也是一组定义多线性函数的参数)等等所确定的LDR外观。
该另外的色调映射出于技术原因典型地被单独存储在图像或视频信号S_im中,优选地作为一组整数或实数值207,其可以用来存储例如256点或1024点LUT。
经编码的LDR_c可以被再次解码为LDR_d,并且然后由颜色映射单元118升级以使得分级者可以经由图像输出端119看到重建的HDR Rec_HDR在接收端将看起来什么样。如果他期望如此的话,他可以甚至测试直到例如强压缩的一些典型压缩设置的影响。本文中描述的解码器也可以用在重新编码策略中,其中可以之前已经准备好分级外观,但是现在例如低质量高压缩LDR版本被重新确定用于某个特定的图像/视频通信应用。次级分级者可以甚至重新调节参数。取决于他是否具有可用的原始M_HDR,他可以例如重新确定降级函数以实现新的更适当调整的LDR外观(例如服务移动电话观看者),并且事实上他可以甚至在仅具有良好的Rec_HDR可用而不是M_HDR时那样做。分割技术分级部分以更适当地分配亮度代码对于这样的情景而言非常有用。由于映射到LDR_o(和对应的其接近重建LDR_ul)的函数确定实际的艺术LDR外观,并且它们可以已经由初级分级者在最初产生内容的时刻或该时刻附近一劳永逸地确定。但是编码器仍然可以自动地或在次级分级者参与的情况下半自动地确定具有比如301的小的修改的技术映射、以及对应的LDR_i(或LDR_t)、以及S_im中的实数或整数值207组中的编码元数据Ff1,Ff2,其对于不同的技术限制(诸如比特量(例如,对于亮度通道仅8比特))而言当然可以不同。
解码器150可以是(在例如在本阐述中)可连接到显示器160或电视的机顶盒或计算机中的IC(所以当我们说解码器时我们意图覆盖这个的任何小型实现(诸如“USB棒上的机顶盒” )或实现并受益于我们的发明的任何大型装置(诸如具有硬盘和光谱读取设施的机顶盒),并且编码器可以是从小型设备到大型分级***等等的任何东西),但是当然电视可以不是哑(dumb)监视器而是在其自己的IC中包括所有这个解码技术。显示器160可以是LDR显示器或HDR显示器,或者经由任何图像通信技术经由图像输出端157连接(诸如例如无线流送到便携式多媒体设备或专业影院投影仪)的基本上任何显示器。
解码器经由图像输入端158得到我们的格式化S_im,并且去格式化器151然后将在图像LDR_c(图2中的IMG)中分割它以用于由经典的JPEG类或MPEG类解压缩器152进行解压缩,并且从元数据解压缩参数P(例如,灵敏度设置1000,以及可以用来重建色调映射或饱和度映射函数形状的一些值)。可选地在解码器中的是色调重新映射单元159,因为由于该技术重新映射通常不是分级者意图的LDR外观LDR_ul的严重变形,所以一些解码器可以承受忽略它。然而,完全HDR兼容的解码器应当使用该单元159来应用被编码在207的Ff值中的技术重新校正策略,以便得到正确的LDR外观LDR_ul(其是LDR_o的接近近似)。该经校正的LDR图像(LDR_ul)转到另一个显示器颜色调节单元154。该单元154可以应用所需的优化用于特定的比方说1300nit宽色域显示器(可调节性)。尽管变体是可能的,但是我们已经针对我们的HDR编码理念描绘了典型的解码器,其具有用于恢复LDR_ul(或者如果159不存在,则其近似LDR_t)的图像处理路径,而且也具有用以确定Rec_HDR的第二图像处理路径。这是在动态范围转换单元153中完成的,其典型地应用在编码器处应用的逆映射(实际上在信号中将典型地对该逆映射(即,升级)的参数进行编码)。显示器颜色调节单元154将典型地被布置成组合两个分级中的信息,这可以基于使用仅仅一个图像以及所述颜色映射参数P而完成,但是我们假定在该阐述实施例中其得到Rec_HDR和LDR_ul图像作为输入并且然后根据具有哪个峰值明亮度的哪个显示器被连接且被供应适当分级的图像而内插那些图像。
除了用以获得正确明亮度外观的色调映射之外,可以典型地包括颜色变换单元155,其被布置成进行彩色适配以针对不同于编码色域的颜色色域(例如Rec. 2020到DCI-P3或Rec. 709等等)进行优化。
将经由图像输出端157输出并且因此由单元154计算的东西将当然取决于所连接的显示器。如果它是LDR显示器,则单元154可以当然在例如从Y'uv到特定的设备有关R'G'B'编码的正确颜色重新映射(由单元155进行)之后发送例如LDR_ul。如果所连接的显示器160接近于5000nit峰值明亮度显示器(在WO 2013/046096中还参见关于解码装置如何可以向电视询问其能力;控制器161可以与显示器进行这样的通信并且甚至与观看者进行这样的通信以获得其偏好,并且可以被布置成配置显示器调节单元154应当如何表现以及其应当计算和输出哪种图像外观),则再次地在根据电视想要接收什么而进行合适的格式化之后可以输出Rec_HDR外观图像(即,这可以仍然是Y'uv编码,例如现在具有存储在201/IMG中的HDR外观图像的我们的S_im格式,并且也可以发送一些函数元数据以使得电视可以基于关于分级如何在被编码在该元数据中的一系列呈现可能性上变化的信息而进行某种最后外观比色精细调节,或者它可以已经是R'G'B' HDR显示器驱动图像)。对于中间峰值明亮度显示器而言,单元154可以输出合适的驱动图像,再次地为我们的Y'uv格式或者另一格式。
最后,内容创建者可以在信号中规定他是否期望不应跳过单元159的补偿映射,例如因为内容创建者认为LDR_t严重地偏离LDR_ul。这可以通过将布尔值209编码在元数据的IGNORE_TECHNICAL_MAPPING字段中而完成。
读者应当清楚的是,在我们仅仅阐述了最小的一组参数的情况下,当然沿着相同的基本原理可以将若干组颜色映射函数元数据编码在S_im中,例如一组用于从单独图像IMG(为LDR图像)转到例如[0-5000]nit的参考HDR外观图像,并且可以增加第二组以用于转到例如1500nit MDR外观。并且尽管进行灵敏度、伽马、增益和另外的精细调节函数形状的特定分解是有利的,并且至少对于技术阐述有好处,但是映射中的任何一个(例如映射LDR-2-MDR)可以以浓缩形式编码在S_im中,例如通过仅仅填充色调映射LUT或值205的组,其编码最终映射函数(即,灵敏度、精细调节和技术映射一起的所有东西)。
图4示意性地示出了我们的解码器核心单元400(在该示例中模式ii的最小部分,没有技术分级或Yu'v'转换等)的一个典型实施例。在解压缩器401进行游程或算术解码以及逆DCT等等之后,我们得到图像LDR_t,我们假定其为伽马2.2表示(即,具有根据Rec. 709定义的亮度或R'G'B'分量)并且被归一化。可以存在第一控制单元420,其可以将该图像直接发送到所连接的LDR TV 410(直接意味着当然可以涉及某种老式格式化;原则上LDR_t也可以是例如线性图像,在该情况下在将其发送到LDR显示器之前将需要对其进行重新伽马2.2映射,但是如果不需要如此的话可以是有利的;另外的色调映射函数将典型地取决于LDR_t是什么类型而不同,其也可以在S_im中用指示符IND_2来指示)。然后,第一色调映射单元402进行任意色调映射的逆映射,该函数形状P_CC的定义参数在元数据MET(F)中被接收。然后,第二色调映射单元403通过例如利用接收的RHO值应用上面的rho等式而进行使较暗颜色相对于较亮颜色变暗的色调映射。该单元也可以根据从所连接的HDR显示器411接收的接收显示器峰值明亮度PB_HDR计算RHO值。然后,第三色调映射单元404利用优选地为例如2.4的接收的GAM值执行伽马幂函数。然后,乘法器405可以利用默认可以为1.0的GAI进行乘法。可选地,颜色饱和度处理器406可以进行某种饱和度处理。最后,控制单元421可以将图像发送到HDR显示器411,并且它可以进行某种另外的处理,例如以便根据显示器理解的标准(例如在HDMI连接上)正确地对图像格式化。
图6示出了简单的编码器动态范围转换单元实施例。它包括用于将所有颜色分量归一化到1(即,如果例如R、G和B被归一化到1.0,则最大光亮度也将被归一化到1.0,并且反之亦然)的归一化单元601。HDR图像像素的归一化光亮度Yn_HDR(或者在等同的实施例中例如归一化线性RGB分量)转到利用如分级者(或自动分级单元)期望的、但通常固定到1/(2.4)的伽马进行伽马运算的第一色调映射器602。然后,第二色调映射器603进行变换,该变换例如利用具有适当的RHO因数的使HDR暗颜色适当地变亮,该适当的RHO因数由分级***取决于M_HDR与典型地100nit LDR(的峰值明亮度)之间的动态范围差异而提出,并且典型地最终被分级者(他可以或可以不改变该最初提出的RHO值)接受。然后,通过使用第三色调映射器604,分级者看着图像中的各个对象开始精细调节,并且通过改变那些各个根据分级者认为重要的图像对象的各个亮度而最终定义定制色调映射曲线CC。在所有数据准备好被编码的情况下,这产生LDR_o图像的亮度Yn_LDR。
本文中公开的算法组件在实践中可以(全部或部分地)被实现为硬件(例如专用IC的部件)或者在特殊数字信号处理器或通用处理器等等上运行的软件。
技术人员从我们的陈述中应当可理解哪些组件可以是可选的改进并且可以与其他组件相组合地实现,以及方法的(可选)步骤如何对应于装置的各个构件,并且反之亦然。字词“装置”在本申请中在其最宽泛的意义上被使用,即允许实现特定目的的一组构件,并且因此例如是IC(的一小部分)或者专用器具(诸如具有显示器的器具),或者联网***的部分,等等。“布置”也意图在最宽泛意义上被使用,所以它可以包括尤其是单个装置、装置的一部分、合作的装置的集合(或部分),等等。
如指出的本实施例的计算机程序产品版本应当理解为涵盖命令集合的任何物理实现,所述命令使得通用或专用处理器在将命令输入到处理器中的一系列装载步骤(其可以包括中间转换步骤,诸如转化成中间语言,以及最终处理器语言)之后能够执行发明的特性功能中的任一个。特别地,计算机程序产品可以被实现为诸如例如盘或磁带之类的载体上的数据、存在于存储器中的数据、经由网络连接(有线或无线)传播的数据或者纸上的程序代码。除了程序代码之外,程序所要求的特性数据也可以被体现为计算机程序产品。应当清楚的是,计算机是指能够进行数据计算的任何设备,即其也可以是例如移动电话。而且,装置权利要求可以覆盖实施例的计算机实现版本。
方法的操作所要求的步骤中的一些可以已经存在于处理器的功能中而不是被描述在计算机程序产品中,诸如数据输入和输出步骤。
应当注意的是,上述实施例说明而不是限制本发明。在技术人员可以容易地实现所提出的示例到权利要求书的其他区域的映射的情况下,我们为了简洁起见没有深入地提到所有这些选项。除了如权利要求书中组合的本发明的元件组合之外,其他元件组合是可能的。元件的任何组合都可以被实现在单个专用元件中。
权利要求中括号之间的任何参考符号不意图用于限制权利要求。字词“包括”不排除未在权利要求中列出的元件或方面的存在。元件之前的字词“一”或“一个”不排除多个这样的元件的存在。

Claims (18)

1. 一种对高动态范围图像(M_HDR)进行编码的方法,包括步骤:
– 通过应用:a)高动态范围图像到作为[0,1]的亮度轴的尺度的归一化,产生具有拥有归一化光亮度(Yn_HDR)的归一化颜色的归一化高动态范围图像,b)对归一化光亮度计算伽马函数,产生经伽马转换的光亮度(xg),c)应用第一色调映射,该第一色调映射将归一化高动态范围图像的像素的、位于0.1以下的那些经伽马转换的光亮度提升一位于1.5与5.0之间的预定量,从而产生亮度(v),以及d)应用任意单调递增色调映射函数,该映射函数将所述亮度映射到较低动态范围图像(LDR_o)的输出亮度(Yn_LDR),来将高动态范围图像转换为较低光亮度动态范围的图像(LDR_o);以及
– 在图像信号(S_im)中输出较低光亮度动态范围图像(LDR_o)的像素颜色的编码,以及
– 在图像信号(S_im)中输出将以上颜色转换b到d的函数形状编码为元数据的值,或者用于其逆函数的值,所述元数据允许接收机从较低光亮度动态范围图像(LDR_o)重建重建的高动态范围图像(Rec_HDR)。
2. 如权利要求1中所述的对高动态范围图像(M_HDR)进行编码的方法,其中第一色调映射被定义为,其中RHO具有预定值,并且其中RHO或者作为RHO的函数的值被输出在元数据中。
3.如权利要求1或2中所述的对高动态范围图像(M_HDR)进行编码的方法,其中伽马函数计算使用等于1/(2.4)的伽马值。
4.如以上权利要求中任一项所述的对高动态范围图像(M_HDR)进行编码的方法,包括:确定增益值(gai)以用于将较低动态范围图像(LDR_o)的最大亮度映射到重建的高动态范围图像(Rec_HDR)中的可能值中的特定值,并且将该增益值编码在图像信号(S_im)中。
5.如以上权利要求中任一项所述的对高动态范围图像(M_HDR)进行编码的方法,包括:在应用以上颜色映射中的任一个以确定较低动态范围图像(LDR_o)之后,应用另一技术色调映射(301)以确定第二较低动态范围图像(LDR_i),该第二较低动态范围图像可以用来作为替换较低光亮度动态范围图像(LDR_o)的替换驱动图像来驱动LDR显示器,所述技术色调映射通过以下而被确定:a)确定较低光亮度动态范围图像(LDR_o)的对于其而言对应的重建高动态范围图像(Rec_HDR)中的条带的可见度在可接受水平以上的第一几何区域,b)确定用于该区域的亮度范围(L_u),c)确定在亮度轴上与该亮度范围(L_u)相邻的第二像素亮度范围(L_uu),其中第二范围被标识以满足条件:它具有在最小数目(MIN)以上的数个亮度,并且对应于包含可以使用少于LDR图像(LDR_i)中的最小数目的代码来表示的纹理的第二几何图像区域,对所述LDR图像应用所述函数产生对于该第二区域而言具有足够视觉质量的重建高动态范围图像(Rec_HDR),以及d)确定对第一和第二亮度范围的亮度进行重新分布的重新分布映射函数,使得附加代码可用于第一范围,并且在图像信号(S_im)中输出对重新分布映射函数或优选地其逆函数的函数形状进行编码的值。
6.如权利要求5中所述的对高动态范围图像(M_HDR)进行编码的方法,其中用于第一范围的附加代码的量是基于用于第一几何区域的条带可见度准则而确定的。
7.如权利要求5或6中所述的对高动态范围图像(M_HDR)进行编码的方法,其中第一几何区域的标识由人类分级者经由用户接口单元(105)执行,并且重建高动态范围图像(Rec_HDR)中第一几何区域的条带量以及重建高动态范围图像(Rec_HDR)中第二几何区域的重建视觉质量由人类分级者判断为可接受或不可接受,其中在可接受的判断的情况下,对重新分布映射函数或其逆函数的函数形状进行编码的值被编码在图像信号中,或者在不可接受的判断的情况下,所述步骤再次利用不同的参数来进行以便实现替换的重新分布映射函数。
8. 如以上权利要求中任一项所述的对高动态范围图像(M_HDR)进行编码的方法,其中较低光亮度动态范围图像(LDR_o)的像素颜色被编码为亮度通道以及u'和v'颜色坐标,其被计算为,其中X,Y和Z为设备无关的1931 CIE颜色坐标,其可导出用于任何RGB表示。
9.一种被布置成对高动态范围图像(M_HDR)进行编码的图像编码器(100),包括:
– 动态范围转换单元(104),被布置成将高动态范围图像转换成较低光亮度动态范围的图像(LDR_o),所述动态范围转换单元(104)包括以处理顺序连接的:a)归一化器(601),被布置成将高动态范围图像归一化到范围在[0,1]上的亮度轴并且输出归一化光亮度(Yn_HDR),b)伽马转换单元(602),被布置成向归一化光亮度应用伽马函数并且输出经伽马转换的光亮度(xg),c)第一色调映射单元(603),被布置成应用第一色调映射,该第一色调映射将位于0.1以下的那些经伽马转换的光亮度提升一位于1.5与5.0之间的预定量,从而产生亮度(v),d)任意色调映射单元(604),被布置成应用任意单调递增函数,该任意单调递增函数将亮度(v)映射成较低动态范围图像(LDR_o)的输出亮度(Yn_LDR);并且图像编码器(100)进一步包括:
– 图像压缩器(108),被布置成向较低动态范围图像(LDR_o)的颜色应用数据减少变换,所述颜色被组织在分量图像中,并且所述减少变换至少包括向相邻颜色分量值的块应用DCT变换,从而产生较低光亮度动态范围图像的像素颜色的经压缩的编码(LDR_c);以及
– 格式化器(110),被布置成在图像信号(s_im)中输出经压缩的编码(LDR_c),并且被布置成另外在图像信号(S_im)中输出将颜色转换的函数形状编码为元数据的值,或者用于其逆函数的值,所述元数据允许接收机基于较低光亮度动态范围图像(LDR_o)重建高动态范围图像(Rec_HDR)。
10.如权利要求9中所述的图像编码器(100),其中伽马转换单元(602)使用等于1/(2.4)的伽马值,并且第一色调映射单元(603)使用由等式定义的色调映射,其中RHO具有预定值。
11.一种高动态范围图像信号(S_im),包括:
– 具有已编码像素颜色的像素化较低动态范围图像(LDR_o);以及进一步的:
– 灵敏度值(RHO);以及
– 伽马值(GAM);以及
– 增益值(GAI);以及
– 指定任意单调递增色调映射函数形状(P_CC)的一组值。
12.如权利要求11中所述的高动态范围图像信号(S_im),包括指示符(IND),该指示符指定高动态范围的图像已经被编码在它之中,但是是利用将该高动态范围的图像编码为低动态范围的图像的方法,该低动态范围的图像直接可用,而无需进一步的色调映射,以用于在LDR显示器上呈现。
13.一种存储如权利要求11或12中所述的高动态范围图像信号(S_im)的诸如蓝光盘之类的存储器产品。
14. 一种图像解码器(150),被布置成接收高动态范围图像信号(S_im)并且包括:
–去格式化器(151),被布置成从图像信号(S_im)获得经压缩的像素化较低动态范围图像(LDR_c)和参数数据(P);以及
–解压缩器(152),被布置成向经压缩的像素化较低动态范围图像(LDR_c)至少应用逆DCT变换以获得像素化较低动态范围图像(LDR_t);以及动态范围转换单元(153),被布置成将较低动态范围图像(LDR_t)变换成重建的高动态范围图像(Rec_HDR),其中动态范围转换单元(153)以处理顺序包括:a)任意色调映射单元(402),被布置成应用任意单调递增色调映射,定义它的参数(P_CC)在参数数据(P)中接收,b)第一色调映射单元(403),被布置成应用由至少一个接收的参数(RHO)定义的映射,所述至少一个接收的参数定义之前由我们的编码器或编码方法实施例中的任一个确定的第一色调映射,以及c)伽马转换单元(404),被布置成利用接收的伽马值(GAM)应用伽马映射。
15.如权利要求14中所述的图像解码器(150),其中第一色调映射单元(403)应用以下形式的函数:,其中v为像素亮度,并且RHO为在参数数据(P)中接收的实数值或整数参数。
16.如所述解码器权利要求中任一项所述的图像解码器(150),包括被布置成向较低动态范围图像(LDR_t)应用在图像信号(S_im)中接收的另一色调映射(Ff1,Ff2,…)以获得第二较低动态范围图像(LDR_ul)的色调重新映射单元(159),其颠倒由产生具有重新分布的亮度的第二低动态范围图像(LDR_i)的编码器方法5到7中任一个所应用的代码重新分布动作以便在重建的高动态范围图像(Rec_HDR)的至少一个区域中获得减少的条带。
17.如所述解码器权利要求中任一项所述的图像解码器(150),包括颜色变换单元(155),其被布置成将Yu'v'颜色表示转换为RGB颜色表示。
18.一种解码高动态范围图像信号(S_im)的方法,包括:
- 从图像信号(S_im)获得经压缩的像素化较低动态范围图像(LDR_c)和参数数据(P);通过向经压缩的像素化较低动态范围图像(LDR_c)至少应用逆DCT变换以获得像素化较低动态范围图像(LDR_t)来对经压缩的像素化较低动态范围图像(LDR_c)进行解压缩;以及通过:a)应用任意单调递增色调映射,定义它的参数(P_CC)在参数数据(P)中接收,b)应用由至少一个接收的参数(RHO)定义的映射,所述至少一个接收的参数定义之前由我们的编码器或编码方法实施例中的任一个确定的第一色调映射,以及c)利用优选地等于2.4的、接收的伽马值(GAM)应用伽马映射,来将较低动态范围图像(LDR_t)变换成重建的高动态范围图像(Rec_HDR)。
CN201580028123.9A 2014-05-28 2015-03-19 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 Active CN106464892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810111157.XA CN108182672A (zh) 2014-05-28 2015-03-19 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14170157 2014-05-28
EP14170157.3 2014-05-28
PCT/EP2015/055831 WO2015180854A1 (en) 2014-05-28 2015-03-19 Methods and apparatuses for encoding an hdr images, and methods and apparatuses for use of such encoded images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810111157.XA Division CN108182672A (zh) 2014-05-28 2015-03-19 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置

Publications (2)

Publication Number Publication Date
CN106464892A true CN106464892A (zh) 2017-02-22
CN106464892B CN106464892B (zh) 2019-07-02

Family

ID=50897371

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580028123.9A Active CN106464892B (zh) 2014-05-28 2015-03-19 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
CN201810111157.XA Pending CN108182672A (zh) 2014-05-28 2015-03-19 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810111157.XA Pending CN108182672A (zh) 2014-05-28 2015-03-19 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置

Country Status (9)

Country Link
US (5) US10075738B2 (zh)
EP (2) EP3324629B1 (zh)
JP (2) JP6358718B2 (zh)
CN (2) CN106464892B (zh)
ES (2) ES2744795T3 (zh)
PL (1) PL3324629T3 (zh)
PT (1) PT3324629T (zh)
RU (2) RU2667034C2 (zh)
WO (1) WO2015180854A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997744A (zh) * 2017-03-15 2017-08-01 广东欧珀移动通信有限公司 屏幕亮度的控制方法及控制装置
CN107277399A (zh) * 2017-06-09 2017-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
CN107343203A (zh) * 2017-05-22 2017-11-10 上海大学 基于open‑exr图像的jpeg无损压缩方法
CN108986174A (zh) * 2018-06-06 2018-12-11 链家网(北京)科技有限公司 一种针对高动态范围跨图片的全局色调映射方法及***
CN109427316A (zh) * 2017-08-21 2019-03-05 群创光电股份有限公司 显示器以及其操作方法
CN109691119A (zh) * 2017-06-21 2019-04-26 松下知识产权经营株式会社 影像显示***及影像显示方法
CN110415634A (zh) * 2018-04-27 2019-11-05 苹果公司 用于高动态范围显示器的标准和高动态范围显示***和方法
CN110612550A (zh) * 2017-05-05 2019-12-24 皇家飞利浦有限公司 优化经解码的高动态范围图像饱和度
CN110691277A (zh) * 2018-07-05 2020-01-14 华为技术有限公司 视频信号的处理方法及装置
CN111354049A (zh) * 2018-12-20 2020-06-30 畅想科技有限公司 Astc内插
CN111480177A (zh) * 2017-12-21 2020-07-31 交互数字Vc控股公司 改进的逆色调映射方法和对应装置
CN111882498A (zh) * 2020-07-10 2020-11-03 网易(杭州)网络有限公司 图像处理方法、装置、电子设备及存储介质
CN112352437A (zh) * 2018-06-26 2021-02-09 交互数字Vc控股公司 Hdr分发中的元数据转换
CN112585969A (zh) * 2018-08-10 2021-03-30 杜比实验室特许公司 经由自适应的sdr-hdr整形函数减少hdr成像中的条带伪影
CN113170157A (zh) * 2018-10-09 2021-07-23 V-诺瓦国际有限公司 分层编码方案中的颜色转换
CN113632462A (zh) * 2019-03-23 2021-11-09 北京字节跳动网络技术有限公司 默认的环内整形参数
CN114026847A (zh) * 2019-06-28 2022-02-08 脸谱公司 使用混合查找表方案对高动态范围视频的预处理
US11295485B2 (en) 2018-12-20 2022-04-05 Imagination Technologies Limited ASTC interpolation
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
CN114820373A (zh) * 2022-04-28 2022-07-29 电子科技大学 基于知识启发的单张图像重构hdr方法
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
US11558636B2 (en) 2019-02-01 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464892B (zh) * 2014-05-28 2019-07-02 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
CN111901599B (zh) 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
JP6478499B2 (ja) * 2014-07-07 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
CN105578016B (zh) * 2014-10-09 2021-01-12 中兴通讯股份有限公司 一种调整图像动态范围的方法及终端
WO2016091534A1 (en) 2014-12-09 2016-06-16 Asml Netherlands B.V. Method and apparatus for image analysis
US10607334B2 (en) * 2014-12-09 2020-03-31 Asml Netherlands B.V. Method and apparatus for image analysis
WO2016184532A1 (en) * 2015-05-18 2016-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
US10880557B2 (en) * 2015-06-05 2020-12-29 Fastvdo Llc High dynamic range image/video coding
US10244245B2 (en) * 2015-06-08 2019-03-26 Qualcomm Incorporated Content-adaptive application of fixed transfer function to high dynamic range (HDR) and/or wide color gamut (WCG) video data
EP3142002A1 (en) * 2015-09-09 2017-03-15 Red.Com, Inc. Motion video output for multiple displays
EP3169071B1 (en) * 2015-11-16 2020-01-29 InterDigital VC Holdings, Inc. Backward-compatible encoding of a hdr picture
EP3409015B1 (en) * 2016-01-28 2019-09-25 Koninklijke Philips N.V. Encoding and decoding hdr videos
RU2614576C1 (ru) * 2016-03-11 2017-03-28 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ кодирования изображений на основе нелинейной формирующей системы
WO2017158463A1 (en) 2016-03-14 2017-09-21 Koninklijke Philips N.V. Saturation processing specification for dynamic range mappings
GB2549696A (en) 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
EP3242482A1 (en) * 2016-05-04 2017-11-08 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
EP3242481A1 (en) * 2016-05-04 2017-11-08 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
KR102385726B1 (ko) * 2016-05-04 2022-04-12 인터디지털 브이씨 홀딩스 인코포레이티드 하이 다이내믹 레인지 화상을 코딩된 비트스트림으로 인코딩/디코딩하기 위한 방법 및 장치
EP3244616A1 (en) * 2016-05-13 2017-11-15 Thomson Licensing A method for encoding an input video comprising a luma component and two chroma components, the method comprising reshaping of said input video based on reshaping functions
GB201611253D0 (en) 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10834400B1 (en) 2016-08-19 2020-11-10 Fastvdo Llc Enhancements of the AV1 video codec
CN109417616B (zh) * 2016-08-22 2020-05-08 华为技术有限公司 用于图像处理的方法和装置
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
KR102554379B1 (ko) * 2016-10-31 2023-07-11 엘지디스플레이 주식회사 하이 다이나믹 레인지 영상 처리 방법 및 영상 처리 모듈과 그를 이용한 표시 장치
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
JP7086587B2 (ja) * 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス, インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
EP3367684A1 (en) * 2017-02-24 2018-08-29 Thomson Licensing Method and device for decoding a high-dynamic range image
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
CN107103886B (zh) * 2017-06-08 2019-07-12 武汉华星光电技术有限公司 一种动态背光控制显示方法及装置
JP7037584B2 (ja) * 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
CN111095931B (zh) * 2017-09-06 2022-05-27 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
EP3493542A1 (en) * 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
EP3496028A1 (en) * 2017-12-08 2019-06-12 Koninklijke Philips N.V. Improved high dynamic range video color remapping
EP3776474A1 (en) 2018-04-09 2021-02-17 Dolby Laboratories Licensing Corporation Hdr image representations using neural network mappings
JP7145719B2 (ja) * 2018-07-28 2022-10-03 日本放送協会 映像信号変換装置及びプログラム
US11354789B2 (en) 2018-09-03 2022-06-07 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
CN109274985B (zh) * 2018-10-12 2020-04-28 腾讯科技(深圳)有限公司 视频转码方法、装置、计算机设备和存储介质
JP7138935B2 (ja) * 2018-10-19 2022-09-20 株式会社朋栄 Hdr映像をsdr映像に変換するhdr広色域映像変換装置及びhdr広色域映像変換方法
US10893296B2 (en) * 2018-10-26 2021-01-12 EMC IP Holding Company LLC Sensor data compression in a multi-sensor internet of things environment
EP3672267A1 (en) 2018-12-20 2020-06-24 InterDigital VC Holdings, Inc. Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media
US10777167B2 (en) * 2019-02-05 2020-09-15 Sergey N. Bezryadin Color image display adaptation to ambient light
CN110012332A (zh) * 2019-04-17 2019-07-12 深圳蓝普视讯科技有限公司 一种基于宽色域高动态范围HDR技术的物理10Bit信息采集播放***
KR20220002977A (ko) * 2019-04-23 2022-01-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 하이 다이내믹 레인지 이미지들에 대한 디스플레이 관리
US11037329B2 (en) * 2019-06-03 2021-06-15 Google Llc Encoding positional coordinates based on multiple channel color values
EP3764346A1 (en) * 2019-07-09 2021-01-13 Koninklijke Philips N.V. Adjustment of display optimization behaviour for hdr images
CN110570484B (zh) * 2019-08-12 2021-09-24 浙江大学 一种图像解耦表征下的文本指导图像上色方法
US11473971B2 (en) * 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
CN112686809A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 处理高动态范围图像的方法和装置
KR20220088420A (ko) * 2019-11-01 2022-06-27 엘지전자 주식회사 신호처리장치 및 이를 구비하는 영상표시장치
CN111476848B (zh) * 2020-03-31 2023-04-18 北京经纬恒润科技股份有限公司 一种视频流仿真方法及装置
CN112133249B (zh) * 2020-09-09 2021-11-30 深圳创维-Rgb电子有限公司 Oled显示校正方法、***及存储介质
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
WO2023094880A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
CN113850743B (zh) * 2021-11-30 2022-03-01 江苏游隼微电子有限公司 一种基于自适应参数的视频全局色调映射方法
CN114820350A (zh) * 2022-04-02 2022-07-29 北京广播电视台 逆色调映射***、方法及其神经网络***
EP4277281A1 (en) 2022-05-12 2023-11-15 Koninklijke Philips N.V. Hdr video reconstruction by converted tone mapping
EP4283459A1 (en) 2022-05-24 2023-11-29 Koninklijke Philips N.V. Mixing secondary graphics elements in hdr images
CN115601267B (zh) * 2022-10-31 2023-04-07 哈尔滨理工大学 一种具有局部细节补偿能力的全局色阶映射方法
CN117474816B (zh) * 2023-12-26 2024-03-12 中国科学院宁波材料技术与工程研究所 高动态范围图像色调映射方法、***及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2406959A1 (en) * 2009-03-13 2012-01-18 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4802222A (en) * 1983-12-12 1989-01-31 Sri International Data compression system and method for audio signals
US5146324A (en) * 1990-07-31 1992-09-08 Ampex Corporation Data compression using a feedforward quantization estimator
US5550541A (en) * 1994-04-01 1996-08-27 Dolby Laboratories Licensing Corporation Compact source coding tables for encoder/decoder system
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
GB0324905D0 (en) 2003-10-24 2003-11-26 Interbrew Sa Alcohol beverage appliance with gas connection
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US7924731B2 (en) * 2004-11-15 2011-04-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for handling out-of-sequence packets in header decompression
US8804765B2 (en) * 2005-06-21 2014-08-12 Optis Wireless Technology, Llc Dynamic robust header compression
US7433514B2 (en) * 2005-07-13 2008-10-07 Canon Kabushiki Kaisha Tone mapping of high dynamic range images
WO2007082562A2 (en) * 2006-01-23 2007-07-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
US7873212B2 (en) * 2006-01-24 2011-01-18 Nokia Corporation Compression of images for computer graphics
US8854512B2 (en) * 2006-11-24 2014-10-07 Robert Bosch Gmbh Process, apparatus and computer program for enhancing detail visibility in an input
US7920749B1 (en) * 2006-12-20 2011-04-05 Nvidia Corporation Modified high dynamic range color decompression
US7742646B1 (en) * 2006-12-20 2010-06-22 Nvidia Corporation Modified high dynamic range color decompression
US9830691B2 (en) * 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
JP2009159359A (ja) * 2007-12-27 2009-07-16 Samsung Techwin Co Ltd 動画像データ符号化装置、動画像データ復号化装置、動画像データ符号化方法、動画像データ復号化方法及びプログラム
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
US8781248B2 (en) * 2010-01-28 2014-07-15 Stmicroelectronics Asia Pacific Pte. Ltd. Image details preservation and enhancement
JP2012058850A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法、並びにプログラム
US8699801B2 (en) * 2010-11-26 2014-04-15 Agfa Healthcare Inc. Systems and methods for transmitting high dynamic range images
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
TWI521973B (zh) 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
EP2702766B1 (en) * 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
EP2707868B1 (en) 2011-05-10 2024-04-03 Koninklijke Philips N.V. High dynamic range image signal generation and processing
US9769430B1 (en) * 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
US8576445B2 (en) * 2011-06-28 2013-11-05 Konica Minolta Laboratory U.S.A., Inc. Method for processing high dynamic range images using tone mapping to extended RGB space
WO2013106190A1 (en) * 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
JP6092690B2 (ja) * 2012-04-11 2017-03-08 キヤノン株式会社 撮像装置およびその制御方法
JP5873380B2 (ja) * 2012-04-11 2016-03-01 キヤノン株式会社 画像処理装置およびその制御方法
US9516351B2 (en) * 2012-07-13 2016-12-06 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
RU2580093C2 (ru) * 2012-08-08 2016-04-10 Долби Лабораторис Лайсэнзин Корпорейшн Обработка изображений для изображений с расширенным динамическим диапазоном (hdr)
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
CN109064433B (zh) 2013-02-21 2022-09-13 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
US10194162B2 (en) 2013-07-18 2019-01-29 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images
CN103413285A (zh) * 2013-08-02 2013-11-27 北京工业大学 基于样本预测的hdr和hr图像重建方法
KR20230062888A (ko) * 2014-02-26 2023-05-09 인터디지털 브이씨 홀딩스 인코포레이티드 Hdr 이미지들을 인코딩 및 디코딩하기 위한 방법 및 장치
CN106464892B (zh) * 2014-05-28 2019-07-02 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
US9479695B2 (en) * 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
EP3178231A1 (en) * 2014-08-08 2017-06-14 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
WO2016056787A1 (en) * 2014-10-06 2016-04-14 Samsung Electronics Co., Ltd. Display device and method of controlling the same
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
JP6619813B2 (ja) * 2014-12-11 2019-12-11 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特定のディスプレイに対する高ダイナミックレンジ画像の最適化
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2406959A1 (en) * 2009-03-13 2012-01-18 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
CN102986214A (zh) * 2010-07-06 2013-03-20 皇家飞利浦电子股份有限公司 从低动态范围图像生成高动态范围图像
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106997744A (zh) * 2017-03-15 2017-08-01 广东欧珀移动通信有限公司 屏幕亮度的控制方法及控制装置
CN106997744B (zh) * 2017-03-15 2020-06-05 Oppo广东移动通信有限公司 屏幕亮度的控制方法及控制装置
CN110612550B (zh) * 2017-05-05 2023-11-14 皇家飞利浦有限公司 优化经解码的高动态范围图像饱和度
CN110612550A (zh) * 2017-05-05 2019-12-24 皇家飞利浦有限公司 优化经解码的高动态范围图像饱和度
CN107343203A (zh) * 2017-05-22 2017-11-10 上海大学 基于open‑exr图像的jpeg无损压缩方法
CN107343203B (zh) * 2017-05-22 2020-01-17 上海大学 基于open-exr图像的jpeg无损压缩方法
US10791299B2 (en) 2017-06-09 2020-09-29 Shenzhen Tcl New Technology Co., Ltd. Television terminal, method for converting HDR image into SDR image, and computer readable storage medium
CN107277399A (zh) * 2017-06-09 2017-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
CN107277399B (zh) * 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
CN109691116B (zh) * 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示装置及影像显示方法
CN109691119A (zh) * 2017-06-21 2019-04-26 松下知识产权经营株式会社 影像显示***及影像显示方法
CN109691116A (zh) * 2017-06-21 2019-04-26 松下知识产权经营株式会社 影像显示装置及影像显示方法
CN109691119B (zh) * 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示***及影像显示方法
CN109427316B (zh) * 2017-08-21 2021-10-29 群创光电股份有限公司 显示器以及其操作方法
CN109427316A (zh) * 2017-08-21 2019-03-05 群创光电股份有限公司 显示器以及其操作方法
CN111480177B (zh) * 2017-12-21 2023-10-20 交互数字Vc控股公司 改进的逆色调映射方法和对应装置
CN111480177A (zh) * 2017-12-21 2020-07-31 交互数字Vc控股公司 改进的逆色调映射方法和对应装置
CN110415634A (zh) * 2018-04-27 2019-11-05 苹果公司 用于高动态范围显示器的标准和高动态范围显示***和方法
CN110415634B (zh) * 2018-04-27 2023-01-17 苹果公司 用于高动态范围显示器的标准和高动态范围显示***和方法
CN108986174A (zh) * 2018-06-06 2018-12-11 链家网(北京)科技有限公司 一种针对高动态范围跨图片的全局色调映射方法及***
CN112352437B (zh) * 2018-06-26 2023-12-01 交互数字Vc控股公司 Hdr分发中的元数据转换
CN112352437A (zh) * 2018-06-26 2021-02-09 交互数字Vc控股公司 Hdr分发中的元数据转换
CN110691277B (zh) * 2018-07-05 2024-03-05 华为技术有限公司 视频信号的处理方法及装置
US11750785B2 (en) 2018-07-05 2023-09-05 Huawei Technologies Co., Ltd. Video signal processing method and apparatus
CN110691277A (zh) * 2018-07-05 2020-01-14 华为技术有限公司 视频信号的处理方法及装置
CN112585969A (zh) * 2018-08-10 2021-03-30 杜比实验室特许公司 经由自适应的sdr-hdr整形函数减少hdr成像中的条带伪影
CN113170157A (zh) * 2018-10-09 2021-07-23 V-诺瓦国际有限公司 分层编码方案中的颜色转换
US11295485B2 (en) 2018-12-20 2022-04-05 Imagination Technologies Limited ASTC interpolation
CN111354049A (zh) * 2018-12-20 2020-06-30 畅想科技有限公司 Astc内插
US11734794B2 (en) 2018-12-20 2023-08-22 Imagination Technologies Limited ASTC interpolation
US11553203B2 (en) 2019-02-01 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Signaling of in-loop reshaping information using parameter sets
US11558636B2 (en) 2019-02-01 2023-01-17 Beijing Bytedance Network Technology Co., Ltd. Configuring luma-dependent chroma residue scaling for video coding
US11627333B2 (en) 2019-02-01 2023-04-11 Beijing Bytedance Network Technology Co., Ltd. Interactions between in-loop reshaping and palette mode
US20220239932A1 (en) 2019-03-14 2022-07-28 Beijing Bytedance Network Technology Co., Ltd. Signaling and syntax for in-loop reshaping information
CN113632462B (zh) * 2019-03-23 2023-08-22 北京字节跳动网络技术有限公司 默认的环内整形参数
CN113632462A (zh) * 2019-03-23 2021-11-09 北京字节跳动网络技术有限公司 默认的环内整形参数
CN114026847A (zh) * 2019-06-28 2022-02-08 脸谱公司 使用混合查找表方案对高动态范围视频的预处理
CN111882498A (zh) * 2020-07-10 2020-11-03 网易(杭州)网络有限公司 图像处理方法、装置、电子设备及存储介质
CN114820373B (zh) * 2022-04-28 2023-04-25 电子科技大学 基于知识启发的单张图像重构hdr方法
CN114820373A (zh) * 2022-04-28 2022-07-29 电子科技大学 基于知识启发的单张图像重构hdr方法

Also Published As

Publication number Publication date
US11368724B2 (en) 2022-06-21
US11533516B2 (en) 2022-12-20
RU2018108828A3 (zh) 2019-03-06
RU2018108828A (ru) 2019-02-26
WO2015180854A1 (en) 2015-12-03
RU2667034C2 (ru) 2018-09-13
EP3324629A1 (en) 2018-05-23
ES2744795T3 (es) 2020-02-26
JP6358718B2 (ja) 2018-07-18
PT3324629T (pt) 2019-10-08
US11949921B2 (en) 2024-04-02
US20200404343A1 (en) 2020-12-24
RU2688249C2 (ru) 2019-05-21
US20230188761A1 (en) 2023-06-15
CN108182672A (zh) 2018-06-19
EP3324629B1 (en) 2019-06-19
US20170078706A1 (en) 2017-03-16
US20180367819A1 (en) 2018-12-20
US20200366943A1 (en) 2020-11-19
RU2016150818A3 (zh) 2018-07-04
EP3149944B1 (en) 2018-08-22
ES2694858T3 (es) 2018-12-27
EP3149944A1 (en) 2017-04-05
JP2017523621A (ja) 2017-08-17
US10075738B2 (en) 2018-09-11
PL3324629T3 (pl) 2019-11-29
CN106464892B (zh) 2019-07-02
JP6615251B2 (ja) 2019-12-04
JP2018093530A (ja) 2018-06-14
RU2016150818A (ru) 2018-07-03
US10779013B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
CN106464892B (zh) 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
RU2721762C2 (ru) Оптимизация изображений высокого динамического диапазона для конкретных дисплеев
US10182247B2 (en) HDR image encoding and decoding methods and devices
JP7313285B2 (ja) 復号された高ダイナミックレンジ画像の彩度を最適化すること
RU2670782C9 (ru) Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений
RU2589871C2 (ru) Устройства и способы кодирования и декодирования изображения hdr
RU2642335C2 (ru) Обработка изображений с изменением яркости при цветовых ограничениях
CN107005720A (zh) 用于编码hdr图像的方法和装置
US11741873B2 (en) Adjustment of display optimization behaviour for HDR images
KR102279842B1 (ko) Hdr 이미지 인코딩 방법 및 장치
BR112016027461B1 (pt) Método de codificação de uma imagem de alta faixa dinâmica, codificador de imagem disposto para codificar uma imagem de alta faixa dinâmica, decodificador de imagem disposto para receber um sinal de imagem de alta faixa dinâmica, e, método de decodificação de um sinal de imagem de alta faixa dinâmica

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant