CN107005720A - 用于编码hdr图像的方法和装置 - Google Patents

用于编码hdr图像的方法和装置 Download PDF

Info

Publication number
CN107005720A
CN107005720A CN201580054851.7A CN201580054851A CN107005720A CN 107005720 A CN107005720 A CN 107005720A CN 201580054851 A CN201580054851 A CN 201580054851A CN 107005720 A CN107005720 A CN 107005720A
Authority
CN
China
Prior art keywords
brightness
dynamic range
coding
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580054851.7A
Other languages
English (en)
Other versions
CN107005720B (zh
Inventor
M·J·W·梅坦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN107005720A publication Critical patent/CN107005720A/zh
Application granted granted Critical
Publication of CN107005720B publication Critical patent/CN107005720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

为了能够实现大范围的HDR视频的未来视频传输并在可变动态范围或者峰值明度能力的显示器上渲染这些HDR视频,我们描述一种编码器(301),用于将具有像素颜色的输入高动态范围视频集合的图像(Im_5000)编码为编码的高动态范围视频(Im_2000),其中像素颜色具有的亮度低于第一最大亮度(L_max_M),编码的高动态范围视频(Im_2000)为高动态范围图像,即具有最大亮度用于显示在具有至少900尼特的对应峰值明度的显示器上,其特征在于,编码定义允许编码像素颜色亮度高达第二最大亮度(L_max_C),其等于或者小于第一最大亮度的50%,该编码器包括:重新分级单元(320),其被安排为允许内容创建器至少指定音调映射函数(F_2Tu,601),用于将较低的第二最大亮度(L_max_C)的编码的高动态范围视频(Im_2000)颜色映射到高动态范围视频(Im_5000)的HDR视频重建(Im_5000*);以及格式化器,其被安排为在视频信号(S_im)中写入编码的高动态范围视频(Im_2000)并且作为元数据写入至少音调映射函数(F_2Tu,601),以及相关的编码器与解码器实施例与方法,以及传输技术组成部分和技术。

Description

用于编码HDR图像的方法和装置
技术领域
本发明涉及一个(即静止)但是优选更多(即视频)(多个)高动态范围(HighDynamic Range)图像的编码和用于将必要的编码图像信息传递至接收侧的对应的技术***与方法以及用于解码编码的图像并最终使之可用于显示器的解码器。
背景技术
在使用经典的图像/视频编码技术(从NTSC开始并利用MPEG2直至MPEG-HEVC继续)的许多年之后,我们现在将经典的图像/视频编码技术称为低动态范围(LDR)编码,最近的研究和发展已开始确定下一代的视频编解码器,其能够处理所谓的HDR场景(scene)的高动态范围(HDR)图像。
这将在一方面要求这样的照相机(camera),其能够捕获增加的动态范围,至少超过11档(stop)(例如,获得大约14档的ARRI的当前照相机)或者优选地甚至超过16档。一些照相机使用例如慢速和快速曝光并且混合那些,或者其他的照相机能够使用朝向不同灵敏度的两个或者多个传感器***的光束。
而在经典的成像中,许多信息被扔掉(被硬剪切(clip)),例如在房间或者汽车外面,目前成像***能够捕获所有那个信息,并且问题是随后尤其当在显示器上渲染它时怎么处理它。16档应该已足以捕获许多(虽然不是所有的)HDR场景,但是在显示器上不一定需要如同在真实场景中一样将例如焊接电弧渲染得与平均明度(brightness)相比而言明亮,也不能在典型显示器上这样做。较高动态范围显示器当前正在兴起,其具有比LDR显示器的当前典型的500尼特(或者用于100尼特的分级参考监视器)峰值明度(PB)更高的峰值明度,例如如同800-1000尼特电视正在兴起,并且SIM2已制作5000尼特监视器。
但是LDR编解码器规范不能够充分地编码HDR图像中的细节至接收器,尤其是在也需要考虑当前典型限制如同尤其以表示例如亮度(luminance)(如被称为卢马(luma)的代码)的码字的比特的数量为单位的字长时,这些限制不得不利用各种IC来处理(例如每个颜色分量10比特至少在一些视频通信应用中可能是所希望的)。尤其是如果短期想要运行***,其不应偏离本领域中的现有技术太多,但是仍允许图像的编码、处理和最后显示,具有比LDR图像漂亮得多的HDR外观(look)(例如,更明亮的灯或者真实的火、更精细比例(scale)的阳光下的蜥蜴等等)。
HDR图像是编码HDR场景的纹理的图像(其典型地可以同时包括非常明亮和黑暗的区域二者以及甚至可能包含中间明度区域,也具有大量的需要理想地被精确渲染的灰度值),具有足够的信息用于场景中各种捕获的对象的颜色纹理的高质量编码,以致能够在具有高峰值明度如同例如5000尼特的高质量HDR显示器上完成HDR场景的视觉上良好质量渲染。图1显示典型的HDR图像,即夜晚的玩具商店,具有与平均照度(illumination)相比而言强烈照明的明亮着色的玩具或者盒子,由于那些玩具中的一些玩具靠近本地灯,而其他玩具在遥远的阴影区域中。与其中太阳和天空同样类似地照明每一个点的白天场景相对比,在夜晚可能只有很少的光源,其以二次递减的方式照亮该场景。这在光源自身的周围创建明亮区域104,而在遥远的角落创建黑暗区域。例如,下水道入口几乎没有从任何地方获得光,因此在下水道里非常黑暗。即,在夜晚场景中我们可能同时具有超过10000尼特的图像区域亮度(或者当利用线性照相机捕获时:在那些区域中的像素亮度)用于这些灯自身以及分数(fraction)的尼特例如0.001尼特用于黑暗区域,这导致总的动态范围1千万到1。这是用于最明亮像素相对(versus)最黑暗像素的理论范围,有用的动态范围当然可以是较低的,这是由于可能不需要为观看者精确地表示一对小灯或者在下水道入口后面小的暗斑,但是在典型的HDR场景中甚至感兴趣的普通对象的有用动态范围也可能超过10000∶1(或者14档)。将这些亮度盲目地映射到2000尼特峰值明度的显示器而没有将要渲染的对象像素亮度的智能重新确定,这意味着其应该“理论上”(假设:相对于-峰值-白色(relative-to-peak-white)渲染对于这个示例性场景的良好视觉质量渲染而言是足够的)具有至少0.2尼特的最小(可视)黑色。
HDR视频(或者甚至静止图像)编码仅仅最近已被研究并且到现在为止已是令人畏惧的任务,并且研究群体(community)的典型信念是:或者需要走向显著更多的比特用于编码超过场景对象的LDR范围的明度(例如直接编码场景亮度的编码),或者需要某两层(two-layer)方案,其中例如除了对象反射率图像之外,还具有照度提升图像或者类似的分解策略。这样的每时刻两个图像(two-image-per-time-instant)HDR视频编码***的示例能够在US8248486B1或者WO2005/1040035中找到。
申请人最近已提议更简单的每时刻单个图像(single-image-per-time-instant)方案(参见WO2011/107905和WO2012/153224),其是编码HDR和LDR外观图像二者的参数函数方式,因为除了简单编码单个HDR图像(也称为外观或者分级)之外,典型地适合于具有在预选择参考值例如1500尼特周围的峰值明度的显示器(或者事实上,动态范围),我们也想在我们的框架中迎合(cater for)市场中具有其他动态范围的其他显示器。即,由于也将具有例如500或100尼特的便携式显示器而不是将如何通过自动-转换将编码的高动态范围图像变为某合理外观LDR图像盲目留给接收侧,我们在颜色处理函数(以及表征其函数形状的参数)中共同编码(co-encode)如何从编码的HDR图像开始到达适当的LDR图像,即内容创建器(creator)能够同意的LDR图像。
利用“高动态范围”(HDR),我们典型地意指:或者如从捕获侧捕获的(多个)图像具有1)与传统LDR编码相比而言高的亮度对比率(即,10.000∶1或者更多的对比率通过编码可以是可实现的,并且图像处理的所有组成部分链住(chain up)直至渲染);以及2)捕获的至少超过1000尼特的对象亮度应该是可编码的,或者更具体地,可能需要是超过1000尼特而可再生的,以便在给定再生环境的情况下生成比方说点亮灯或者阳光明媚的外部的某希望外貌。或者,这样的(多个)图像的渲染是HDR(即,这些图像必须是合适的,这在于:它们包含对于高质量HDR渲染而言足够的信息,并且优选地以技术上容易使用的方式),这意味着:(多个)图像被渲染或者旨在被渲染在具有至少1000尼特的峰值明度的显示器上(并不暗示:它们不能在例如100尼特峰值明度的LDR显示器上被渲染,典型地在合适的颜色映射重新确定各个图像对象的亮度之后,以致作为结果的对象亮度更加适合于不同的显示动态范围和可能观看环境)。
当设计新的HDR编码***时,不得不研究并连续地针对许多事情找到解决方案,甚至在能够填满(fill in)任何实用编码***的细节之前,对此没有好的统一视图(view)。首先:应该使用将场景对象亮度映射至例如10比特(或者对于较低质量***而言甚至8,或者对于专业质量而言例如12)卢马的实际上编码那些将要渲染的像素的亮度的什么代码分配函数?我们将编码像素的可感知明度或者渲染亮度的代码称为卢马,因为这是也在LDR编码中给出的名称,但是现在代码分配函数可以是可能的可供选择函数之一,但是至少非常不同于LDR视频编码的伽马2.2代码分配函数。本领域技术人员将明白:当我们利用亮度或者等效卢马的行为来阐明技术时,在实际的实施例中处理可以针对卢马自身来完成,如同当使用Y’u’v’颜色表示时,其中Y’是利用预固定的代码分配函数确定的卢马,并且u’和v’是色度坐标,或者等效地在线性或者非线性RGB表示上。代码分配函数的选择能够等效地被公式表示为定义主要EOTF(电-光传递函数),其定义如何将HDR图像的卢马代码或者卢马转换为在参考显示器上渲染的亮度的理论参考显示模型。根据CRT电子枪的物理行为,LDR变量相当意外地被固定至2.2幂律或者所谓的伽马函数,并且碰巧在那些类型的具有大约100尼特的峰值明度的显示器上在心理视觉上很好地工作,并且具有根据对应LDR捕获哲学捕获的图像,具有场景的特别合理的均匀照度、正确的曝光和不太感兴趣图像区域的剪切。
但是第二,甚至在能够定义沿着代码范围(例如0-1013)分配亮度给代码的代码分配函数之前,必须定义什么可以称为主要亮度范围,其是用于编码典型HDR的最佳范围。这个步骤不应被忽视。在LDR中,只是碰巧具有区域,由于相对于中间灰色和白色来曝光,并且无论传感器具有什么动态范围(以及忽略可能例如赛璐珞胶片的软斜率可以产生相当无对比度图像,而数字照相机图像可能具有在编码的白色端上的剪切和/或在黑色端上在噪声中的沉溺(drowning))。早期研究者致力于静止图像,尽管其对于仅仅制作场景中的典型亮度的线性范围(即,从非常小分数的尼特直至数十亿的尼特)将是有意义的,但是对于视频编码而言,在给定将要考虑的所有实践方面的情况下,使得这个主要亮度范围上升至十亿尼特的太阳从务实角度而言没有多大意义。
然而,甚至在明白需要定义新的主要亮度范围用于处理所有典型HDR图像(典型,在针对对象亮度的合适艺术分级之后,其将适合于显示、甚至高质量HDR显示)时,预想是:只需要定义一个单个足够大的HDR主要亮度范围,这随后对于所有情形而言将足够了。期望场景的HDR外观的那些应用随后将致力于接收的图像,其被沿着这个主要亮度范围例如利用高达为10000或者5000尼特的最大亮度的亮度来编码。
WO2014/009844描述这样的基于主要亮度范围的HDR视频编码***的示例,其类似于下面的实施例,因为它也遵循申请人的每时刻单个图像编码哲学,籍此针对视频的每一个时刻来编码单独图像,其在这个教导中将是第一LDR(即100尼特)外观,并且除了在与单独图像相关联的元数据中编码颜色处理函数之外,还将其转换为第二外观,这是HDR外观(其能够是5000尼特主要分级重建)。然而,在这个专利申请中的教导遵循单个固定的主要亮度范围技术设计哲学的基本原理。典型地,只有单个LDR和HDR外观被编码(从这个信息中,可能具有在接收侧上计算的其他中间外观,例如LDR图像可以被上分级至1200尼特连接的显示器所需的外观,但是没有其他的中间的较低的HDR质量图像编码其自身教导,即,只有100尼特LDR图像被发射)。并且这个HDR外观是在5000尼特主要亮度范围上创建的主要外观,并且LDR图像是用于100尼特参考显示器的图像,如同发生在LDR时代,而且HDR图像实际上经由根据单独传送的LDR图像的函数变换来编码。即,除了LDR外观之外,只有主要HDR例如5000尼特图像(HDR_ORIG,HDR_FIN)被教导,其对于与传统显示器的向后兼容性等等而言典型地是所需的。
申请人的US2014/097113也教导如何能够传送HDR图像,其可以是所接收的单独HDR图像,并由此能够计算其他分级,但是这个文献对于那个方面保持沉默。这个现有技术所教导的是:在相同的现有LDR编码容器技术中能够可供选择地编码若干动态范围外观。随后不得不指示使用哪个版本,以致接收器不能被迷惑。例如,图像像素能够具有根据标准LDR编码定义、利用316比特R、G和B颜色分量(即利用Rec.709代码分配函数)定义的颜色。在那种情况下,接收器将知道这是用于100尼特显示器的分级,并因此将利用确切地或者近似等于100尼特的最大亮度来显示它,甚至当显示器具有2500尼特的峰值明度时,并因此能够将图像渲染得如此明亮。可供选择地,相同的R、G和B颜色分量能够包含例如5000尼特HDR图像的颜色,这意味着:对象像素颜色的相对值将是不同的(例如黑暗对象在LDR中可以具有0.05的红色分量,但是在HDR中具有0.0005的红色分量)。倘若接收的LDR容器编码的图像实际上包含HDR图像,那个事实将通过声明编码实际上是什么的元数据被指示给接收器。因此,接收器能够知道如何通过其自己的优化处理在特别显示器上最佳渲染。例如,如果5000尼特图像被接收并且4500尼特显示器被连接,那个图像可能被直接渲染而没有先前比色(colorimetric)变换。然而,如果100尼特显示器被连接,这样的接收5000尼特图像将首先不得不被下分级(down-grade),但是如果已经接收了适当的100尼特图像,那就不需要了。因此,在现有技术中所教导的是:接收器可能需要在其一侧上进行某颜色变换,以使得例如1000尼特接收的HDR图像对于例如500尼特显示器而言是更优的,但是在这个教导中没有教导应该如何来完成那个,更不用说如果以及如何应该通过从发射侧传送更多信息来促进那个。即,除了教导如何编码和指定各种可能的HDR或者LDR分级之外,这个文献然而没有教导有关在发射器侧上实际上具有至少两个HDR编码的***配置的任何事情,也没有教导其在接收侧上的可恢复性(在这个现有技术中,将只有一个HDR图像,能够将其等同于我们的主要5000尼特分级)。
当用公式表示通用HDR编码***时,可能表面看来背离在单个主要亮度范围上的最终HDR图像编码似乎是相当不合逻辑的(特别是为什么除了HDR场景的这个最佳可能分级之外还将需要别的东西,直至什么将是最合理可渲染对象亮度,或者为什么由于具有更多可能的方式来定义HDR而将使得事情复杂?),然而发明人认为:这对于一类申请将仍具有对于有关卢马代码的定义的甚至更多通用性以及那些卢马将对应于什么HDR亮度或者更精确地将在一个或者多个显示器上渲染的亮度的需要。
发明内容
具有将是更多未来证明的更多样化HDR视频编码技术的目的利用用于将包括图像(Im_5000)的集合的输入高动态范围视频编码为编码的高动态范围视频(Im_2000)的编码器(301)来实现,其中图像具有像素颜色,而像素颜色具有的亮度低于或者等于第一最大亮度(L_max_M),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,该编码器包括:
-重新分级单元(320),其被安排为允许内容创建器至少指定音调(tone)映射函数(F_2Tu),用于将较低第二最大亮度(L_max_C)的编码的高动态范围视频(Im_2000)颜色映射到高动态范围视频(Im_5000)的高动态范围视频重建(Im_5000*);以及
-格式化器,其被安排为在视频信号(S_im)中写入编码的高动态范围视频(Im_2000)以及作为元数据写入至少音调映射函数(F_2Tu,601)。
因为这允许分级器指定非常精确需要的颜色映射规范(F_2Tu)来映射由于技术原因而可用的不同的2000尼特参考范围/色域(gamut)上可用的房间中例如5000尼特主要分级。因此,实际上具有两个HDR分级,这与任何现有技术教导或者表面推理将决定(dictate)的相反。一个是分级器能够随意制作,而一个是他需要优化以便传送至至少一个接收器。第一、主要分级的亮度上升到例如5000尼特。实际上所传送的HDR编码的像素的亮度将潜在地上升到较低的最大值(L_max_C),即貌似使之为较低质量HDR分级。这些最大值与分级的图像相关联,并且例如典型地编码的高动态范围图像像素颜色数据将被补充元数据指示符,其声明:这是具有的亮度高达2000尼特的可能最大值的分级(例如,CODE_MAX=2000)。典型地,使用代码分配函数也将是实用的,其函数形式也可能在进一步元数据中被共同传送至接收器。分级器能够如此平衡编码的质量,这在5000尼特显示器需要主要分级的近似值Im_5000*时是特别相关的,但是除了那个之外,接收器也需要Im_2000的外观用于在大约2000尼特峰值明度的显示器上渲染。无论分级器选择什么,我们的重新分级单元的工具集的可逆性约束将保证合理的重建Im_5000*。即,典型地将作为指定从接收的2000尼特图像至5000尼特图像的升级颜色映射函数的确切数学的数据而被共同传送的将产生5000尼特图像,其对于给定应用而言足够靠近5000尼特图像(即,典型地,这些函数在工厂中针对应用被如此设计,以致例如条带(banding)或者噪声在任何情况下对于这个发明而言是合理的,这将是一组颜色变换函数,其包括分级器能够调谐的至少一个音调映射函数,即典型地,他选择至少一个函数来导出Im_5000*并随后利用例如滑块来指定其参数如同例如线性分段(segment)的斜率,并且任何接收器能够一旦接收到这些函数则简单地计算所需的Im_5000*)。进一步实施例可以使用罩下(under the hood)技术计算来进一步帮助分级器实现在同一单个编码图像中共同编码2000尼特和5000尼特分级/外观的最佳平衡,无论他知道这个并且参与这个微调还是只是单独聚焦于单独基于其艺术判断来作出其最佳Im_2000分级。
编码器(301)的各种实施例可以使用第二最大亮度(L_max_C)的预先商定值,其对于预期应用是有用的(例如,来自因特网的免费视频可能具有较低质量要求)。L_max_C的值可能典型地在900尼特到3500尼特之间,优选地例如1000或2000尼特。这些被视为用于务实视频编码的合适的最大亮度,其重新使用MPEG技术如同MPEG_HEVC/265,特别是因为与在不久的将来在市场中最频繁部署的显示器的平均设想的峰值明度的匹配。
作为实施例有利的是一种编码器(301),用于编码输入高动态范围视频,其中重新分级单元(320)被安排为允许包括应用任何形状单调递增音调映射的颜色映射规范的映射函数(F_2Tu)的规范以及亮度相关的饱和乘法函数,这些函数将被用于颜色处理中,其中颜色处理应用对应的亮度和饱和度变化,同时对于在高动态范围视频重建(Im_5000*)的输出图像中的像素颜色保持与在编码的高动态范围视频(Im_2000)的输入图像中相同的色调(hue)。这能够被看作为符合上述技术***的颜色映射的最简单却通用的方式并且在编码器或者解码器IC构造方面是简单的。这使得使用保持色调恒定的处理是有意义的,并且随后通过最佳变换像素亮度和饱和度,能够获得用于新的渲染情形的希望的重新分级外观,尤其正在被供应最佳重新分级的图像的连接显示器的峰值明度(注意:等效地,可以指定亮度处理为卢马处理,但是没有针对这个发明及其实施例的主要概念应该精心制作的细节)。本领域(skilled)阅读者将明白:由于场景及其HDR效果的语意复杂度,分级器可能想要设计在较低质量(2000尼特)HDR分级和较高质量分级(主要5000尼特分级)之间的复杂映射,但是典型地那些函数形状将在单调递增,因为并不想要明度倒置(inversion)。
同样有利的是如在上述权利要求之一中所述的用于编码输入高动态范围视频的编码器(301),包括进一步分级单元(325),其被安排为指定至少一个进一步颜色映射函数(F_2T1,F_d2d),其指定如何将编码的高动态范围视频(Im_2000)颜色映射到第三视频,其中第三视频为了在具有不同于第一最大亮度(L_max_M)和第二最大亮度(L_max_C)的峰值亮度(PL_1,PL_2)的显示器上渲染而被优化。对于除此之外的在市场中的每一种类别的流行显示器,分级器能够利用这个技术机制精确地指定所需的颜色处理来获得最适当的外观作为渲染的显示输出。或者,分级器能够仅仅指定一对分级,例如2000尼特分级Im_2000、5000尼特分级Im_5000*以及Im_100尼特分级,并且让显示器从这个信息中找出当去往高于或者低于2000尼特的显示峰值明度时将应用哪一个最后处理。这是有用的,如果分级器能够至少指定应该如何重新分级至一个进一步参考情形,并且更具体地,一个LDR分级,因为在各种HDR分级之间的变换可能在艺术上和在技术上二者是非常不同于在HDR和LDR分级之间的分级。那分级器可以指定与他期望的一样多的颜色映射情景用于具有其对应函数的各个显示峰值明度,但是典型地鉴于努力和预算,他可以仅仅针对编码的视频被假设迎合的显示峰值明度的范围的末端(extremity)指定一对关键主要变换,并且让接收器针对特别显示器执行所需分级的最后优化(然而,在本文描述的编码技术允许指定至少最少量的所需颜色映射函数信息)。
有利的是:编码器实施例具有进一步分级单元(325),其被安排为指定至少一个进一步颜色映射函数,其是用于从编码的高动态范围视频(Im_2000)获得100尼特视频的颜色映射函数。由于典型地用户将仍然具有一些传统设备(例如他可能有时想在步行穿过房屋并且走向其汽车的同时将视频分享至其移动电话),这在解码器也能够生成传统HDR流时是有用的,这意味着:编码器应该允许分级器指定这样的LDR分级应该如何看,尤其它应该如何与HDR外观相关,即它应该如何利用至少改变来自2000尼特接收图像的各种对象亮度的颜色处理来导出。同样,为了调谐到用于其它峰值明度的显示器的其他分级,至相当较低峰值明度的一个参考显示器(典型地,传统100尼特LDR显示器)的这个颜色映射即其函数及其参数将包含非常有用的信息,用于接收器决定如何修改这样的函数来执行它自己的优化的至任何所需的显示峰值明度分级的颜色映射,然而任何接收器期望重新计算这些映射函数。
也有用的是编码器(301)实施例,其包括限制规范单元(389),其被安排为允许内容创建器指定显示峰值明度(LH_100,LL_100)的至少一个限制,其标识在峰值亮度的范围中的显示器,对其而言,编码的高动态范围视频(Im_2000)或者通过应用进一步颜色映射(F_d2d)而从中导出的任何视频根据内容建立器而具有足够的视觉质量。这允许指定对于哪一个范围的显示器而言函数重新映射定义是最合适/最佳的,并且在下面描述中给出示例的确切编码化(codification)。
有利的也是一种将包括图像(Im_5000)的集合的输入高动态范围视频编码为编码的高动态范围视频(Im_2000)的方法,其中图像具有像素颜色,而像素颜色具有的亮度低于或者等于第一最大亮度(L_max_M),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,该方法包括:
-指定至少包括音调映射函数(F_2Tu)的颜色映射,其中音调映射函数用于将较低的第二最大亮度(L_max_C)的编码的高动态范围视频(Im_2000)映射到高动态范围视频(Im_5000)的高动态范围视频重建(Im_5000*);
-在视频信号(S_im)中写入编码的高动态范围视频(Im_2000)像素颜色数据和作为元数据写入至少音调映射函数(F_2Tu,601)。
在接收侧上,镜像(mirror out)我们的各种编码器实施例,可能具有视频解码器(401),用于解码包括具有像素的图像(Im_5000)的集合的高动态范围视频,其中像素具有亮度,而亮度具有的值高达第一最大亮度(L_max_M),高动态范围视频被编码为编码的高动态范围视频(Im_2000),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,该解码器包括:
-视频解压缩器(403),其被安排为从视频信号(S_im)和压缩的图像数据中读取并且将其解压缩来获得编码的高动态范围视频(Im_2000);
-元数据读取单元(477),其被安排为从视频信号(S_im)中提取至少一个颜色映射规范(F_2Tu);以及
-颜色处理单元(410),被安排为将颜色映射规范应用于编码的高动态范围视频(Im_2000),以获得具有第三最大亮度的重建的高动态范围视频(Im_5000*),其中第三最大亮度至少比第二最大亮度(L_max_C)高两倍。
因此,这个视频解码器能够近似地重建在颜色分级器的计算机中的原始Im_5000,即使它接收较低亮度范围(Im_2000)的非常不同的分级图像或者图像的集合。本领域中的各种应用可能或多或少热衷于(ambitious as to)主要分级的最大亮度相对于编码的最大亮度之比率,但是典型地,可以说:主要分级应该至少具有是编码的最大值(L_max_C)的两倍的最大值,但是它也可以是例如10倍大或者甚至更多(典型地,在两个HDR分级之间映射的函数和/或其参数可能是稍微不同的,但是相同的技术框架仍然适用)。典型地在传输侧上可选择的将是:分级器将使用哪一个L_max_C,并且他将随后确保他制作其主要分级,以致它能够忠实地被编码在编码的高动态范围视频中(或者反之亦然,在已利用特别最大值制作其主要分级之后,他可以从一组编解码器中选择用于至能够利用足够的精度处理这样的主要分级的接收器的通信)。一个(一旦)被选择,编码器将在元数据中编码一切,因此任何接收器确切地知道其正得到哪些像素颜色,并且尤其它应该利用哪些颜色映射从接收的Im_2000图像中重建Im_5000*图像。
有利的是用于解码高动态范围视频集合的图像的视频解码器(401),其中第三最大亮度等于第一最大亮度(L_max_M)。这是确切的亮度重建而非例如6000尼特重建。当然,解码器也可以重新分级到其他峰值明度分级而非主要分级,例如中间3000尼特分级。它们能够或通过确切地应用所接收的一个集合的颜色映射函数来完成那个,或者从所接收的所有颜色映射函数中的至少一些中导出最后集合的颜色映射函数(例如,当在两个HDR分级之间重新分级时,接收器应该检查分级器已如何指定应在他选择的两个HDR分级之间重新分级)。
有用的也是用于解码高动态范围视频集合的图像的视频解码器(401),其包括逻辑处理器(405),其被安排为确定具有哪一个峰值明度的哪一个至少一个显示器(452)被连接并且需要被供应视频,并且基于那个至少一个显示器(452)的峰值明度来确定哪一个颜色处理(F_2Tu,F_d2d)将被应用于编码的高动态范围视频(Im_2000),以获得输出图像(Im_x00,Im_5000*)以便传输至该显示器。
这个逻辑处理器允许接收器优化驱动图像以便迎合非常通用范围的可能连接的显示器。它将读取和确定适当的函数来应用,总是从在Im_2000中定义的对象像素颜色纹理信息开始。
视频解码器(401)的实施例可以被连接到有线视频传输连接器(432)或者无线视频传输连接器(433)并且具有传输格式化器(415),其被安排为根据针对可用于经由那个有线视频传输连接器(432)或者无线视频传输连接器(433)的视频传输的视频传输协议而言所需的来至少格式化输出图像(Im_x00,Im_5000*)。因此,例如,如果Wifi标准要求采用特定方式的HDR图像通信,例如利用参考范围/色域的又另一最大亮度比方说1500尼特,格式化器能够根据那个格式来重新编码。重要的是:即,如在Im_2000及其处理方法中编码的创建器具有的原始图像信息(Im_5000)和艺术颜色视觉即至少F_2Tu在接收侧上是可确定的,并且随后能够最佳地被转换为对于特定本地渲染情形而言所需的。
视频解码器(401)的实施例的特征可以在于,逻辑处理器(405)进一步被安排为从视频信号(S_im)中读取显示峰值明度(LH_100,LL_100)的至少一个限制,并且基于显示峰值明度(LH_100,LL_100)的至少限制来确定哪一个颜色处理(F_2Tu,F_d2d)将被应用。以这种方式,解码器能够迅速看到是否它需要给其提供图像的显示器落入能够通过例如通过应用例如被共同供应视频信号S_im的第三集合的颜色映射函数来创建例如重新分级的图像来服务的特别范围内(注意,技术人员明白:任何机制能够等同于这样的共同供应,如果接收器及时具有所有的信息),或者是否它需要例如通过从接收的Im_2000(多个)图像中计算它自己的最佳颜色映射函数来计算它自己的最佳颜色映射函数以导出所需的重新分级图像以便被传送至该显示器。
有利的也是一种高动态范围视频集合的图像的视频解码的方法,其中图像具有像素,而像素具有可解码的高达第一最大亮度(L_max_M)的亮度,高动态范围视频被编码为编码的高动态范围视频(Im_2000),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,该方法包括:
-从视频信号(S_im)中读取并且解压缩编码的高动态范围视频(Im_2000);
-从视频信号(S_im)中提取至少一个颜色映射规范(F_2Tu);以及
-将颜色映射规范应用于编码的高动态范围视频(Im_2000),以获得具有至少比第二最大亮度(L_max_C)高两倍的第三最大亮度的重建的高动态范围视频(Im_5000*)。
附图说明
根据本发明的方法和装置的这些和其他方面从下文描述的实现方式和实施例中将是显然的并将参考这些实现方式和实施例且参考附图来阐明,其中附图纯粹用作举例说明更一般概念的非限制性特定插图。
图1示意性地显示分级器如何能够将任何HDR场景转换为具有例如从0尼特到5000尼特的大亮度参考范围的高质量主要编码;
图2示意性地显示在参考亮度范围GRAD_MSTR上指定的这个主要分级随后如何能够利用显著较小的最大亮度被重新定义到将被传送至接收侧的HDR编码(但仍然捕获成像场景的所有或者大多数的HDR方面),其代码最大亮度M_COD_REF典型地等于或者小于原始范围(5000)的80%,例如2000尼特,或者时常至少小2倍;
图3示意性地利用根据下面新颖教导的编码器实施例来显示可能的创建侧编码技术,其允许分级器指定他需要的,尤其例如2000尼特分级,以及采用参数函数方式与之一起在技术上共同编码的5000尼特分级,利用颜色处理函数来从所专送的2000尼特分级中重建5000尼特分级;
图4示意性地显示可能的接收侧解码以及HDR图像使用***,从而允许至少基于显示峰值明度以及可能的其他因素如同观看环绕(surround)、观看者偏好等等使用最佳分级的视频至每一个连接的显示器;
图5示意性地显示利用我们的颜色映射规范(F_d2d)的可能的颜色重新映射,在这个示例中用于比编码的和接收的图像(Im_2000)的最大亮度低的峰值明度的两个显示器,其中编码的和接收的图像充当开始图像,颜色映射被应用于该图像以到达对于相应显示器(具有400或者100尼特峰值明度PB)而言视频图像集合中适当分级的显示驱动图像,并且利用来自场景拍摄的图像的一些选择颜色的相对增亮(brighten)来显示示例性处理,例如教堂内部或者黑暗的地下室;其中图5a显示在明度和彩度中都是临界的(critical)朝向对象的HDR的典型映射,并且图5b显示处理异常颜色的可能方式;
图6示意性地显示用于从2000尼特分级(被编码在所编码的视频信号S_im中)至具有最大亮度5000尼特的分级视频的可能的颜色重新映射,即实质上在外观上与在创建器侧和时间上的主要分级的最大值相同;
图7示意性地显示用于从2000尼特参考视频到5000尼特参考视频的另一颜色重新映射示例,例如用于供应给大约5000尼特的峰值明度的显示器,或者存储这个较高质量视频以便稍后使用;
图8示意性地显示下面描述的技术如何能够用于编码任何原始质量(即,GRAD_MSTR的任何最大亮度,例如5000尼特或者15000尼特)的HDR图像,以便通过利用显著降低的动态范围能力即例如2000尼特或1200尼特等等的最大亮度L_MAX_C的HDR编解码器来编码以便传输而被用在任何峰值明度或者动态范围能力的显示器上,但是当然对于(多个)编码图像而言仍然足够高的最大亮度以致仍是HDR编码,即最低限度地超过900尼特相关联的参考显示峰值明度;
图9示意性地显示如何能够从接收的2000尼特分级中导出较高峰值明度HDR分级和LDR分级二者以及那两个分级如何能够具有技术上根本不同的性质;和
图10示意性地显示HDR图像的一对典型的卢马直方图。
具体实施方式
图1显示在夜晚具有内部照亮的玩具商店的典型HDR成像情景的示例。它包含高度照明的玩具(与夜晚黑暗的外部相比而言),其当然作为任何反射对象而将具有比这些灯自身显著更低的像素亮度,但是它们可能仍然具有相对高的亮度。并且,孩子们的玩具通常也是非常丰富多彩的。而且,与灯101形成对比,其中灯能够容易地被剪切渲染而观看者没有质量异议(尽管在这些灯之间的结构、照明设备102以及在灯104周围的区域之中的一些应该理想地被忠实地编码并且如果可能的话优选地利用各种灰度值来渲染),剪切玩具106的相关信息将导致较低质量渲染的图像。在查看代码分配的问题即哪一个卢马值Y’应该对应于哪一个照相机捕获的或者将要渲染的亮度Y(假设其直接被渲染而不是进一步被显示器优化)之前,我们必须首先查看哪些亮度将需要在任何这样的编码中被捕获的问题,其能够通过指定参考亮度范围而在技术上来完成。这个参考亮度范围将具有足够高的可编码最大亮度来现实地渲染不只是这个示例图像而是所有HDR图像的所有所需的对象亮度。假设商店的一般照度是比如说200勒克斯(lux)。10倍靠近TL灯的天花板上的玩具将接收100倍大的照度,即20000勒克斯。如同反射对象颜色的白色的亮度因此将是大约0.8*20000/pi=5000尼特。这将导致这样的相对明亮照亮的对象的亮度靠近灯的亮度,如果最大值是5000尼特,或者至少明亮对象的颜色可以落入利用例如5000尼特参考亮度范围或者甚至2000尼特参考亮度范围(COD_REF)定义的可能颜色的色域的上部区域中。注意:当然另一方面用于最佳渲染的颜色不需要确切地利用真实场景中的值来分级(因为这将只是渲染,这由于其性质而是有些近似,即使渲染的任何特别观看环境的平均明度与成像场景的平均明度完全相同),并且另一方面,如我们下面将显示的,能够具有数学技术来利用另一亮度来编码亮度,或者更精确地,被假设来编码另一亮度的卢马代码。然而,该计算对于针对HDR编码***而言所希望的技术约束给出快速浏览。高度饱和颜色将例如对于红色玩具产生这个的大约30%的亮度,但是它们随后也将驻留(然而被映射,无论被硬剪切还是被软剪切)在其红色角落中较小色域的最上部亮度区域中。这给出场景的希望HDR(原生或者派生)编码的属性,但是没有为同一场景指定关于任何较低动态范围外观图像的任何事,这由于其技术限制的非常性质、具体地预期中间动态范围(MDR)渲染显示器的峰值明度而可能是非常不同的。
任何HDR图像编码链中的第一问题是如何将真实场景亮度映射到我们的参考亮度范围GRAD_MSTR的亮度,为了简明起见,我们假设其将典型地是内容创建器想要利用其来工作的亮度,即完成他的产生期望的艺术外观的最后颜色分级。理想地,能够至少渲染必要的被忠实渲染的亮度(由于该分级器将会想要在高质量参考显示器上检查他的高质量主要分级,因为无论将在什么最后显示器上显示他的内容给各个观看者,理想地一些渲染将发生在非常高的峰值明度HDR显示器上,并且该内容仍然需要看起来壮观)即具有至少5000尼特的峰值明度的高质量显示器应该渲染参考范围的亮度,并且为了解释的简明,我们能够假设:如果实际观看环境与定义的参考观看环境相同,我们能够假定这个参考显示器只是一对一渲染GRAD_MSTR中的参考亮度。即,如果指定的亮度是例如3200尼特,参考显示器将渲染3200尼特。
在固定了可探测的参考亮度范围GRAD_MSTR之后,随后仍将决定如何将场景参考映射到参考范围,一旦已选择合适的参考范围GRAD_MSTR。如果将已期望在非常明亮的20000尼特TL管中的所有细节被精确地表示编码,无疑对于实用的视频编码而言,不需要具有太阳表面的十亿尼特的精确编码。这个第一步骤将在很大程度上是场景相关的艺术优化,其中这样的高亮度将被“错误表示(misrepresent)”,即它们将被表示为针对GRAD_MSTR的合理替代。例如,主要分级器可以选择哪一个极其明亮的对象在他的主要HDR分级中剪切,并且例如分级和从而对于任何稍后步骤利用白色或者单个高明度黄色来表示太阳,例如最大黄色(R=G=100%,B=0%)。记住在HDR图像以及尤其视频编码中的所有相关因素,典型的参考范围GRAD_MSTR可以是例如20000尼特或者10000尼特或者5000尼特,并且在我们的实施例的剩余阐明中,我们将假设GRAD_MSTR覆盖亮度[0,5000],其在技术上是好的务实选择。注意:值零可以实际上是非常小的亮度,该值可以取决于将要使用的标准化代码分配函数而变化,但是为了实用目的将是如此低的,以致它可以等于零。
第二问题是如何映射捕获的场景亮度。这个问题不一定与如何在任何显示器上渲染亮度相同,由于仍然可能具有对参考亮度起作用的任何渲染颜色变换(并且实际上颜色,但是为了解释的简明,我们将一般假设颜色的色调和饱和度遍及成像管道(pipeline)保持相同,只有颜色的亮度改变),以便针对特别显示器和典型地也针对某观看环境而获得最适当的渲染。但是那些有点联系,将显示器的属性馈送至参考范围自身,如果将参考范围与某典型的近中期显示器相关联的话。今后几年并且可能永远,显示器将典型地不具有远高于20000尼特的峰值明度或者可能甚至不高于2000尼特,这使得从显示器可渲染的观点而非精确场景编码的观点来看编码任何场景亮度是更有意义的。即,能够“错误表示”场景亮度。有帮助的是两个因素:1)能够从任何编码中导出不同表示的事实和见解,只要足够的用于像素纹理的可辨别信息被编码(即,最坏的情况是能够例如捕获红色短裙的纹理,并且在软件中逐个像素将它重新着色为绿色短裙,并且对于灰度值或者亮度同样能够这样做,但是随后没有模式确定不同的亮度或者颜色值被一起组合成单个值);以及2)人类视觉是可适应的,并且尤其大脑能够利用想象力来校正畸形颜色,尤其是如果观看者没有出现在场景上并且不知道实际的颜色。任何HDR技术、尤其编码***的任务是:它能够制作可信图像而非在光度上(photometrically)校正它们。
因此,一般而言,分级器能够根据其偏好相对忠实地将HDR场景如同我们的玩具商店或者从较暗的房间内部看出去的阳光照射的风景映射在高达5000尼特的足够大的参考范围GRAD_MSTR上。而那个初始主要分级具有它自己的技术和艺术规则,不应该混淆什么进一步向下沿着(down)图像处理管道而发生在技术组成部分中。尤其,如何将这样的环境映射到较小范围如同例如具有2000尼特的最大值的COD_REF并不是微不足道的,尽管由于各种原因而在管道中(典型地从那个点向前,或者至少在管道的部分中)能够具有使用这样的较小范围作为其HDR参考范围的各种技术。
本申请将阐明一些实施例以便转至这样的具有较小参考范围COD_REF的中间表示,同时从较大的、较好的参考范围GRAD_MSTR开始,并且典型地最佳质量图像被分级在那个参考范围上。
图1利用示例来详尽阐述分级器如何可以典型地想要表示(分配)其场景亮度至各种可用子范围的GRAD_MSTR。分级器可能想要映射至最大值L_max_M或者至少非常靠近它的TL管或者其他灯101自身例如超过L1=4995。典型地具有反射金属的照明设备102自身确实包含一些令人感兴趣的模式,可能至少想要针对其建议一些辨别值,以便比仅仅“白色孔”更现实地渲染它(统一细节丢失白色区域将是典型的LDR渲染),即,想在非常明亮光的范围R_BL中编码它。这些可能可以是非常欠饱和的近中性,如果还没有消色差的话,因此那些像素颜色能够适合于(fit in)RGB可编码色域的典型狭窄的帐篷顶(tent top)。在那个范围下方,非常明亮光的R_BL将是明亮对象R_BO的范围,如同我们的非常靠近灯的玩具106。由于明亮对象的这些像素(在我们的示例中,玩具,但是也例如房屋的彩绘墙或者外面阳光下的草地)可能时常被(强烈)着色,即使在与原始场景颜色相比而言我们至少可以稍微欠饱和其编码值的情况下,我们需要分配能够表示明亮色彩颜色的RGB色域帐篷的范围。与实际场景具有相对关系,使之合理明亮且合理着色可能是足够的。我们在图1A中看到:在可编码色域中的三维(更精确地,从中切开的二维Red-Cyan-Luminance(红蓝亮度))子集选择而非较少举例说明的1D亮度视图(注意:在我们的方法的实际实现方式中,也可以使用亮度相关如同例如Value=max(R,G,B)来确定这些选择,或者执行任何颜色处理)。如所看到的,明亮灯可以时常利用降低饱和度的非常明亮值来表示,除非其确实是彩色的,例如红色TL管,并且观看者将接受那个。然而,不应该利用例如阳光照射的草地来执行这样的柔和色彩化(pastellization),因为那完全是在LDR编码中发生的错误的类型。如果需要丰富多彩的颜色,其能够在明亮的合理彩度子范围R_BO中被分级。即使我们利用一半的原始饱和度来编码颜色,对于能够渲染较高饱和度的显示器(例如,具有专用原色的多原色显示器)而言,总是能够使得饱和度加倍而没有太多的图像假象(artefact)。
一旦定义了例如5000尼特的好的HDR参考显示器,仍然需要定义如何编码场景颜色或者更具体地其亮度的问题。
经典的LDR成像并没有太多考虑那个方面。无论场景亮度是什么,照相机的自动曝光只是将成像场景中的某明亮颜色与代码白色相关联(实际上经由某平均颜色计算映射至中灰色)。如果现在利用来自HDR研究的后见之明来思考这个,这是有关场景的非常特别的外观,其总是在数学上工作,但是在技术上或者艺术上最适合于具有不太多对比率的良好照亮的环境,例如典型地,1%-100%反射对象被均匀照亮,并且向下记录无论什么黑暗对象颜色偶尔仍被忠实地表示在传感器中或者噪声上编码数学(针对任何LDR图像应该与之相对应的什么渲染亮度所给出的通常数量是0.1尼特到100尼特像素亮度)。一些或者甚至许多颜色可能已被剪切,并且最白的忠实编码的白色可能在阳光明媚场景中已是20000尼特或者在长时间曝光的夜晚场景中是50尼特。并且也在渲染侧上,在LDR图像处理哲学中,不关心理论上对于100尼特而言最佳的分级实际上被特别观看者在200尼特或者400尼特还是500尼特显示器上看到,也不关心其在昏暗房间中还是在火车站的站台上被看到。对于大多数图像以及通常非关键的观看者,这样的可能一或两档的差别将不是那么关键的,但是在某一时刻,对于高度关键的HDR图像和/或在峰值明度中由于档的数量而相差100尼特的显示器而言,差别必将变得令人反感的。应该清楚的是:如果观看条件与理论的参考条件没有相差太多的话,如果曾经那个甚至被明确定义在LDR编码时间中,仅保证最终渲染的外观和创建艺术家的预期外观之间的相似性。
但是,在面向未来的HDR图像或者视频编码技术中,其中无论图像内容的复杂度是什么,图像都必须是正确可解释的,以便合理渲染在本领域中各种各样的不同渲染条件(显示器+环境)、参考范围和色域上,但是也应该充分考虑如何利用被捕获并被表示的场景颜色来使用/填充它。
优选地,将不完全相对如同在LDR中一样执行分配(即,无论什么场景在LDR图像中,代码的白色总是被映射到显示器的白色,无论那个显示器具有什么峰值明度,并且如果例如需要渲染黑暗场景,更好地使用编码低于峰值明度的亮度的代码)。在也针对HDR编码***的最后渲染中将具有一些相对关系,由于眼睛/大脑是相对颜色检测器并且渲染条件能够显著变化,但是那个可变性能够在接收端上进行处理,但是开始于在其之间、在某颜色表示(其随后本身不再被链接到一种特别显示技术,如同NTSC和MPEG2被链接至具有伽马2.2和EBU原色的CRT,其曾经是市场中唯一的显示器)中颜色的更加数学上确切的规范。
另一方面,要求一方面场景亮度到例如5000尼特参考范围中的参考亮度的以及另一方面参考亮度到显示器渲染亮度的精确的一对一映射也将为了务实的简单和通用使用而限制约束。
因此,将希望典型地使得参考范围GRAD_MSTR被如此构造和填充(即,场景亮度到参考亮度的分配),以致这些亮度的大部分近似地被一对一映射,借此我们意指:特别的场景亮度将最终对应于在所有类型的接收显示器上将要渲染的亮度(借此没有必要渲染的亮度与用于一类场景例如明亮的阳光或者夜景的场景亮度相同,由于在该场景中物理可察觉到的亮度和在显示器上的亮度之间可能具有某调光因素(dimming factor),这个调光因素在某种程度上甚至能够是显示器相关的,并且能够初始地针对典型的显示器类别来确定)。在各种显示器上较暗渲染的像素亮度的这个近似相同性将典型地对于场景中的较低亮度而言是真实的,其能够被渲染在许多(尽管可能不是所有的)显示器上。然而,由于在高端上亮度在理论上能够是任何东西(潜在地,高达对应于例如照射在传感器上的图像激光束的亮度),在可能场景亮度的明亮端上,我们可以使用更自由的场景亮度到参考亮度的分配,由于例如50000尼特将是太明亮的以致于对于观看者而言不是舒适的(尤其在黑暗观看环境中),如果曾经已可渲染在市场上足够数量的显示器上,因此需要被转换为总之更适合被渲染的亮度值(无论渲染显示器的峰值明度可能是什么)。根据申请人,5000尼特将是对于参考范围的上限而言合理的值,尽管10000尼特也将是很好使用的值。
稍微较暗的、不太强烈照明的玩具/对象108随后能够被分配至正常范围R_N中的某亮度,其也可以合理地被忠实渲染在LDR显示器上,并且进一步远离的对象110远离灯,即从场景中线性可测量的其像素亮度变得越黑暗,其被分配的参考范围就越低(在此假设我们在线性分配策略中,在GRAD_MASTER L_ref=k*L_场景,其中k等于1或者根据情况(由颜色分级器)最佳选择的某缩放因子,其将典型地不是太低,例如0.5,以保持所有的像素颜色,以及尤其较黑暗的那些,足够明亮)。在玩具商店外面,在夜晚利用很少灯照亮的街道上,将具有非常暗的对象,其将被映射到参考范围的黑暗子范围R_D。尽管可能典型地在那使用某非线性代码分配来稍微增亮其,如果具有足够的代码(例如10比特)用于这些亮度,可以继续线性分配,其中k具有其选择的值。例如黑暗的几乎没有照亮的门112的这些值随后至少利用非剪切的足够唯一的代码来编码,而不考虑是否这些黑暗颜色将(能够)被渲染在具有坏的即相对于明亮而言黑暗的低对比度LDR显示器上。相同的将应用于黑暗排水沟像素,尽管下水道114中的一些下水道通过下水道网格看起来可能是如此黑暗的并且令人不感兴趣的,以致分级器只是能够将它们全部映射到是最小可编码值的代码(最小值)黑暗,例如卢马1或者0,并因此其对应亮度(如果其已经是足够清晰的并且首先利用照相机来无噪声捕获)。
至5000尼特范围的这个映射可以相当简单来执行,并且我们能够假设:例如分级器将做这个,然而,直接将那些值映射到较小[0,2000]尼特范围可能至少针对一些临界场景给分级器提出问题,即那些问题应该没有全部纯粹地通过分级器为不同的场景对象选择适当的参考亮度的艺术技能来解决,但是分级器应该具有技术解决方案来帮助他。例如,如果商店的灯光和灯光部分被调光以便将其映射到COD_REF的1500-2000子范围中,随后利用这个调光对较暗部分发生什么?如果调光使用简单的非线性代码(重新)分配,随后使得那些较暗颜色变得太暗,至少为了简单直接使用,利用渲染器,其利用固定EOTF例如显示这些代码?在特别方面诸如多少代码预留用于能够一方面沿着亮度范围可能存在(或者在实际场景中确实存在)的每一个对象纹理与至少在对应于一个最典型渲染情景(其将仅需要对于比色外观具有较少影响的辅助顺序颜色变换以便此后在特别显示器上调谐到特别渲染情景)的一个参考亮度范围上图像的合理外观即用于每一个对象的合理亮度之间存在紧张关系。若干权衡(trade-off)能够被特别考虑,但是指导框架总是所希望的,以便做好事情。
在图2中,我们看到如何处理沿着主要参考亮度范围GRAD_MSTR将像素亮度(并且与之相关联的卢马,其将是我们将用于实际代码的字例如作为10比特字)重新编码为显著较小(典型地,至少1/2,也可描述为1档更少的)编码参考范围COD_REF的一般问题的图解,例如分级器主要分级在[0,5000]尼特和技术编码,其实际上被用于例如存储在存储器如同例如蓝光(blu-ray)上,或者借助于视频传输编码技术通过联网技术来发射,具有[0,2000]尼特标准化的参考亮度范围。
重新分配问题是在技术上非常不同于场景亮度到定义在主要亮度范围[0,5000]上的合理分级图像中的初始主要分级的问题,尽管当然与原始参考表示(在GRAD_MSTR中)具有某链接,并且最终原始场景及其所包含的具有其比色属性的对象,或者同样,其足够忠实显示渲染。
这个包含两个方面:一方面,如果认为两个范围具有无限的编码精度(并且随后为了简单起见能够将沿着两个范围的亮度描述为在归一化亮度的重新归一化[0,1]范围内的真实数量,借此当然根据其在[0,5000]中的定义重新归一化的亮度将不具有与其被定义在[0,2000]中的相同对象的对应亮度相同的值),原则上能够并且根据目前教导使用任何非线性映射函数来映射这些亮度,当然利用给定情形,一些映射比其他映射是更希望的。例如,虽然可能由于各种原因不是最佳的,但是概念上原则上能够使用线性延伸(stretch)。另一方面,在亮度的这个重新分配中,现在能够处理编码精度的问题,其需要发生在不得不利用实际的例如10比特卢马表示COD_REF的亮度的情况下。因为可用于定义像素卢马的这个数量的比特将取决于哪一个特别选择的代码分配函数如何将子范围及其代码数量沿着亮度范围分配给各个对象而总是确定对象(例如,不比峰值亮度的10%更亮的对象)的编码的精度,并且尤其是否具有足够的代码用于忠实渲染(例如,在峰值明度的20%和30%之间的蓝色平滑变化分级相对在背景中的玩具商店的复杂纹理化的部分,其可能不需要最终编码和亮度/颜色重建精度)。
实际上,10比特卢马能够编码(现在忽略色度分量)仅仅1024个不同的亮度(/灰度值),因此如果具有到处需要针对其的最终精度的非常高动态范围场景(在明亮颜色子范围中,上-中-灰色,较低-中-灰色,黑暗和超黑暗),可能需要多于1024的不同值来忠实编码所有图像结构。正是这使得HDR图像编码不同于简单LDR成像范例。在那种情形中,能够说:在5000或2000尼特范围中都没有能够忠实编码场景的任何可能的解决方案。然而,在所有实际图像中,能够放松对于足够质量编码所需的代码数量。可能在空间纹理化区域中需要较少代码,从而允许更多的代码用于平滑梯度(gradient),而如果越变越差的话,甚至可能考虑偶尔允许一些条带,但是仍然能够渲染所有的漂亮HDR效果,至少在HDR显示器上(通过具有主要范围和针对其的分级,分级器能够至少具有有关各种稍后、接收侧渲染情景的质量的好的初始视图)。
现在,读者应该暂停一分钟来反思(reflect on)新概念,尤其HDR编码,即具有两个竞争的相互耦合的事情发生,特别是如果想要使用2000尼特重新映射既作为图片来实质上直接渲染(即,可以具有某进一步重新映射来获得用于最终显示器比方说2800尼特显示器或者1500尼特显示器的最佳外观,但是从在2000尼特编码中分级的外观开始,那个原始外观仍然以某种方式在那被深染(engrain),这是两步骤方案:图像和外观创建,相对最终图像渲染,并且可能发生在HDR图像处理链的那个部分中所有的进一步考虑和动作),并且在相同的时间上也作为在原始HDR场景中令人感兴趣的一切事情的最终(即,设备无关的,以及使用无关的,用于任何未来使用)全编码,即原始场景的全部对象的比色属性的充分忠实表示,或者至少那个场景的充分的HDR质量表示。以前的考虑是艺术分级器典型所牵涉的某事,但是以后的要求可能部分或者很大程度上是技术问题。
举个简单示例,例如,从5000到2000尼特的线性压缩,以及在例如2000尼特峰值明度实际显示器(监视器或TV、或者投影仪等等)上2000尼特范围的直接一对一渲染,或者例如5000尼特显示器的0-2000尼特子范围(其将不同于(重新)延伸0-2000尼特重新定义的场景亮度到5000尼特峰值明度显示器的全范围)。
假定我们能够优化以便可利用的显示器硬件更好考虑人类视觉的心理物理学,由于这个不适当的“偶尔选择的”映射而可能具有一些HDR渲染质量问题。例如,明亮区域HDR效果可能是次优的:因为不具有实际的5000尼特分级图像可利用,所以可能想要执行一些颜色处理技巧以仍然使得明亮区域甚至在2000尼特显示器上在心理视觉上看起来更像HDR似的。但是如果具有5000尼特显示器可利用的呢?是在缺乏有关映射的任何更智能的引导时将执行的简单延伸(自动地在图像处理软件或者硬件中)这些亮度、即随后要执行的最佳事情是最佳地将它们渲染在5000尼特显示器上吗?至少对于更多临界HDR场景而言,最有可能不是的。
另一方面,分级器可以在直接渲染的2000尼特范围到黑暗或者太低对比度等等的较低子范围中发现一些对象。如果他试图例如通过增亮那个子范围来调整那个的话,他甚至可能例如由于在他的重新分级/重新映射中软压缩它而进一步恶化明亮HDR范围。
另一方面,一旦已针对2000尼特范围例如在为情景定义的特别视频标准中固定定义最佳代码分配函数或者EOTF(该定义可以典型地开始于假定:特定亮度档仍然是可视或者不可视的,非均匀分布在2000尼特范围上,产生某对数-伽玛-相似函数或类似函数作为最佳函数),也必须注意多少卢马代码可用于每一个子范围的问题,例如在Lc3和L_max_C之间的范围的第10部分。如果以某种方式太少的代码是可利用的,则HDR场景不被最佳表示,因为可能在例如10000尼特显示器上漂亮渲染的具有重要的非常明亮内容的场景的子范围可能没有在2000尼特编码中被充分编码。那个当在2000尼特显示器上一对一渲染2000尼特分级时可能不是如此明显的问题,但是例如当映射到20000尼特显示器上时出现。
因此需要用于仔细处理这个平衡的机制,并且我们在用于编码HDR场景图像的我们的技术中并且尤其为了能够正确服务于不是一个单个参考显示器(例如5000尼特)而是在未来在市场上出现的所有显示器(经由在场景编码上可调谐的可重新确定的外观)而介绍的基本概念是非常适于这个问题,如我们下面将看到的。为了确保读者明白这一点,我们能够使用两个新的命名。一方面,可以具有最终分级,其可能典型地利用接收器中的优化单元来自动确定,其将它接收的无论什么编码表示调谐到特别显示器。我们将这个分级称为中间动态范围(MDR)分级,其中这个分级将被渲染在例如1250尼特显示器上,其在有关用于具有大约100尼特的峰值明度的传统LDR显示器的比方说100尼特分级的显示器调谐的范围和比方说5000尼特的高端HDR显示器的末端上的两个标准分级之间。在下面教导中,我们也在谈论中间编码,即其具有与比方说1000尼特(其也在100和5000的范围末端之间)的它们相关联的参考显示器,我们将称其为中间动态范围(IDR)。读者应该明白:如果特定技术由于某原因而规定在IDR编码中利用比方说1000尼特的参考显示峰值明度来编码场景的无论什么动态范围图像(即,无论原始场景是什么,并且然而,其将被渲染),这个可能仍然被渲染,即可能仍然需要利用进一步颜色转换而被调谐到各种MDR分级,例如用于实际连接的850尼特显示器,或者可供选择地或者附加地,1550尼特显示器等等。
利用图3来阐明第一实施例,其显示编码器301,分级器利用其可以不受限制地制作2000尼特艺术分级而不必考虑过多关于什么发生以及技术上必须发生,因为编码器可能需要使用2000尼特图像作为所有外观的代表性图像。即,分级器能够聚焦于2000尼特图像的外观,以致当直接应用于大约2000尼特的峰值明度的显示器时,这些图像将看起来最佳的(例如,足够的明度,以致藏匿在黑暗中的人将既不是清楚可见的也不是不可见的,足够的局部对比度,以致一半隐藏在薄雾中的人将看起来可怕,或者瓶子将看起来闪亮等等)。我们假设:具有原始RAW HDR视频(例如,直接来自HDR照相机,并且比方说在线性颜色表示中),其例如来自存储内存300,其在分级装置303中进行。本领域读者当然能够明白:能够具有我们的发明或者实施例的不同的实际实现方式,其例如使得编码器直接与照相机进行集成或直接集成在照相机中或者在计算机的计算机图形配套装置中等等。
分级器通过使用初始分级单元310和可以例如是分级控制台的用户输入控制器311制作在许多实施例中将是主要分级的初始分级。初始分级单元310可能例如是运行分级软件如同Da Vinci’s的处理器,其能够执行例如全局音调和颜色映射功能、选择在图像的拍摄中的活动遮片(travelling matte)局部区域并因此指定处理等等。作为示例,我们可以假设:RAW视频是具有来自比方说ARRI照相机的错误的对象间和对象内对比度的对数视频。分级器制作其主要分级(多个)图像Im_5000,其中他指定所有的尤其具有其在对应5000尼特GRAD_MSTR参考范围上的适当亮度的对象和像素颜色。那个将是HDR视频的良好表示,其随后能够通过尤其DCT编码等来视频压缩,如果只有任何视频传输标准将定义方式来根据其标准来编码这个5000尼特参考视频(利用传输标准,我们尤其意指经由内存载体如同例如光学标准如同在BD上的视频以及例如联网标准如同通过DVB的航空广播或者基于因特网的传递的传输或者通过装置间通信***如同HDMI电缆通行的传输二者等等)。
但是,标准可能想要更多自由度并且规定它接受例如仅仅2000尼特峰值亮度定义的编码视频。分级器随后能够不直接使用其5000尼特参考内部编码并且需要重新编码,其可能牵涉非平凡的重新映射(因为原则上能够使用任何的重新定义,但是不一定,如果2000尼特分级的比色外观当在2000尼特显示器上渲染时不得不是最佳的,以及5000尼特外观也被编码在这个2000尼特外观中)。可能的情景能够是:分级器将其大多数时间聚焦在创建2000尼特分级的所希望外观上,并且作为辅助任务聚焦于如何能够从这个中制作5000尼特分级。另一方式也是可能的(基本上在技术上在两个情景中将具有所传送的较低动态范围HDR图像以及函数来利用接收器将这个重新分级到较高动态范围HDR图像),并且在下面的阐明中,我们将解释这个第二情景,其中分级器将其大部分时间聚焦于所希望的5000尼特HDR分级,并且随后辅助(其也能够部分地自动来完成,他只得接受或校正,以节省昂贵的分级时间)他将定义好的2000尼特外观(并且也典型地,100尼特LDR外观,其能够从5000尼特外观中进行定义并且从2000尼特外观被转换到重新定义,但是我们阐明其中LDR外观不仅被定义也通过分级来创建的示例,开始于2000尼特分级(多个)图像)。
分级器将利用重新分级单元320来执行高范围HDR图像(例如5000尼特)到低范围HDR图像(例如2000或者1200尼特)的重新映射。这个单元320能够仅仅如同初始分级单元310一样执行颜色分级,但是具有两个基本差异:1)只有有限集合的重新分级函数能够被使用(因为这是HDR外观编码***,它们应该形成所有接收器可明白的语言),以及2)它们应该实质上是视觉上可逆的(更一般而言,至2000尼特图像的颜色变换应该实质上保留所有的高质量、较高范围HDR信息,以致它能够被最佳地使用在无论什么HDR***上,在某最佳显示器相关的映射之后,并且只有图像-语意上不太感兴趣信息可以显著地利用从编码的角度来看不适当的值来替代,例如粗量化)。利用实质上可逆的,我们意指:a)我们能够计算所应用的函数或者从5000尼特HDR到2000尼特HDR的重新映身程序的某数学逆(例如,如果我们对例如在[0,1]中归一化的亮度应用平方根,逆将是方幂函数),以及b)因为平方根图像的量化,重新平方的图像可以看起来有点不同于原始图像,但是我们不应该在视觉上有太严重差异(分级器和/或自动图像分析算法能够决定严重性的量)。例如,在纹理中,你可能由于一些量化假象而离开,因为空间模式是大脑中的主导信息而不是像素的非常确切的颜色值。数学上这典型地意味着:颜色映射接收的2000尼特HDR分级到最终质量例如5000尼特分级(多个)图像的函数应该在亮度上单调递增(或者某等效表示如同卢马或者线性R、G和B分量中的最大分量等等),但是否则,上分级音调映射函数对于一些复杂HDR场景而言可能是相当复杂的。
为了针对读者增加清晰度,我们现在对两个其他情景做出清楚区分,不应该将在此提出的新颖HDR图像/视频编码技术与之混淆。虽然制作艺术分级,其表示好看的图像用于具有在最佳预期的具有例如2000或者例如1000尼特峰值明度的明度周围的峰值明度的显示器,并且虽然这个获得的Im_2000尼特分级的观看者的最终外观可能实质上与分级器在他因此不需要考虑任何其他显示器或者分级时将获得的一致(即仅仅在艺术上制作单独2000尼特分级,并且不需要烦恼是否任何进一步分级能够从这(多个)图像中导出),我们描述的技术需要处理这样的情形,其中NOT(不)纯粹具有从Im_5000图像中仅产生新的Im_2000图像的简单(重新)分级,而是需要考虑进一步要求。因为实际上并不要存储或者发射原始(对于较高质量HDR渲染所需的)Im_5000图像,其对于在具有实质上比2000尼特更亮的峰值明度的显示器上获得好的HDR外观而言是最佳的(即,利用具有大约5000尼特峰值明度的对应显示器,其可以是参考显示器360,分级器使之在内容创建侧上可用于检查他正在做什么以及他能够在5000尼特最大值和2000尼特最大值仿真模式之间切换哪一个的实际HDR视觉影响),而是因为该标准规定编码2000尼特图像,编码器仅存储或者发射HDR场景的2000尼特图像。这个Im_2000需要包含对于所有的对象纹理而言充分精确的信息,无论其将最终被渲染(即,被颜色变换)在场景上的什么外观中。
除了这个Im_2000图像之外,编码器然而将共同存储一些函数F_2Tu,其参数化地将这个附加信息共同编码到编码5000尼特外观的Im_5000图像(这个信息大多数是这些对象应该具有的最终的平均颜色而不是其精确的几何纹理),即,例如,日光明媚的户外风景或者灯(或者其他高明度HDR外观效果)如何能够通过亮度轴或者全范围颜色空间针对对应于不同的显示峰值明度的不同外观而最佳演变,即如果我们具有较亮显示器而被渲染,相比于如果我们仅仅具有不太明亮显示器如同最佳2000尼特显示器或者甚至1000尼特显示器。这个至少一个集合的附加函数F_2Tu将不仅允许重新分级(我们将其称为显示器调谐)到5000尼特外观自身,而且还允许重新分级到在例如2000到5000尼特之间中间的其他外观,即用于将利用这样的峰值明度最佳观看图像来提供服务的显示器。因此,我们在谈论编码一组外观的新方式,而不只是仅在发射器侧上重新分级许多外观的技术。
我们的目前技术也应该清楚地与还另一情景区分开并且不与之相混淆,其中5000尼特显示器被直接用于其利用2000尼特图像Im_2000的渲染。2000尼特图像是某HDR图像,具有相当大的对象间对比度,因此例如这个图像能够被直接渲染在例如5000尼特显示器上,在所谓的相对编码和渲染框架中使用它,即通过将假设为2000尼特白色渲染为5000尼特白色(是否那个视觉上看起来更壮观,或者不太希望的,因为其例如对于例如薄雾风景的给定场景而言太明亮)。甚至能够设想技巧来模仿这样的最终期望的5000尼特外观,如果其是在消耗侧上所需的唯一(多个)图像,假装其是2000尼特外观,但是具有错误比色法(即,颜色代码将是不正确的,其将显示是否想要在2000尼特显示器上直接渲染那些模仿图像)。或者,某智能自动转换函数能够分析该图像,可能明白它对于最佳的较高质量HDR渲染而言太模糊,并且应用显示器优化映射函数F_2000_do,其在[0,1]上输入和输出亮度曲线图将看起来如同在例如0.75上结束对于输入1的输出、即使之低于最大限度明亮的函数。在这个情景中,在接收端上的显示器仅具有Im_2000图像,然而出于无论什么选择艺术原因,那个被获得,即被分级,但是没有关于原始Im_5000图像是什么的无论什么信息。因此,接收器不得不在针对接收端上比方说5000或者6000尼特显示器导出其“最佳”驱动图像中作出所有类型的盲目假设。尤其对于复杂HDR场景而言,这似乎不是最佳的。不太可能的是:虽然这个技术成像链确实最佳地满足市场上在那具有2000尼特显示器的用户的比率,将更多钱花在较高质量5000尼特HDR显示器上的用户没有获得对于其钱而言最佳的质量,并且当然没有总是自动地获得原始分级器所预期的(其优化的Im_5000图像)。因此,我们需要附加技术,其能够经由一些技术手段来传送,其对于整个潜在地将被服务的市场即特别用户具有的任何一个***而言是令人满意的。这将对于例如其中观看者经由某些HDRx类型版本的BD盘或者可供选择地例如经由因特网购买一些特别信息的情景起作用,他利用具有BD读取器的某装置来读取BD盘并且获得那个盘上的一些进一步颜色映射元数据信息,并且用户想同时在两个不同的显示器如同例如在他的避暑别墅或者他正呆在其中的昂贵酒店的其高端6000尼特TV以及他儿子正在家使用的500尼特移动电话451上显示视频。
编码***不仅必须能够迎合各种可能的比与实际发射的图像相关联的参考显示器更高的实际显示峰值明度,而且还必须能够迎合较低明度,例如200尼特。因此,典型地在内容创建侧上,将具有进一步分级单元325,其尽管不是我们的目前发明的核心,但是我们将简短描述。在我们的编码范例中,虽然它也可以与单个(只有HDR外观)编码一起工作,但是我们优选地想要分级器能够说关于LDR外观的某事(即,HDR如何应该被下分级以便对于具有较低亮度动态范围能力的显示器而言是最佳的)。此外,分级器能够指定至少一个函数F_2T1(或者典型地,在像素的亮度和色度颜色分量二者上起作用的函数集合,例如颜色饱和度变化,全局地和/或部分局部地),其能够用于将在图像通信技术中编码的Im_2000外观映射到例如100尼特参考LDR。
读者应该明白:2000尼特HDR仍是HDR图像,因此在2000和5000尼特以及2000和100尼特(场景上的LDR外观)之间的变换可能在技术上以及在艺术上是非常不同的。并且此外,相关的是:实际发射的(多个)图像的参考范围的峰值亮度是例如1000或者2000或可能4000。前者(仅仅)比100尼特显示器亮10倍(即大约3档),而后者已是印象深刻的40倍更亮(其尤其对于将在暗淡甚至黑暗观看环境中观看的图像而言是主要因素)。取决于将要编码的HDR场景的类型,与LDR相比,我们可以为3个附加档越过那些附加可利用档分配一些额外明亮图像区域。对于40倍(5个档,即另外2个附加档),可以创建一些壮观HDR效果,如同例如超明亮的激光剑或者***等等。当然在2000尼特中,激光剑也可以被渲染,但是则不太壮观明亮。
我们将针对各种阐明示例假设颜色映射发生在相对亮度色域中:因为图像典型地当具有10比特颜色分量表示时被量化为例如0-1023,其中最大代码1023对于特别编解码器而言对应于某参考最大亮度,我们能够在相对色域或者曲线图上为100尼特参考LDR显示器指定例如输入Im_2000图像和输出Im_100二者,使得其在Lmax=1.0上物理上可编码/可实现的归一化的峰值亮度对应于1023,并因此我们在此能够指定任何颜色映射。
图9显示如何向上分级(及其如在F_2Tu中发射的信息)可能显著地不同于向下分级即至低于2000的峰值明度(在至少一个或者集合的一组(多个)函数F_2T1中被编码,以便例如从2000到100尼特的重新分级,但是重新分级例如到800尼特的进一步集合的函数可以附加地也被传送到接收器,或者其可以是基于一般指定下分级应该如何发生的仅仅一个集合的颜色变换来重新分级的机制)的示例。注意:可能具有难或易HDR场景,但是***当然应该能够以合理方式处理其全部。与经典视频编码形成的大对比(其主要处理技术问题,如同图像必须被分割成DCT块,其除了一些块假象之外总是能够被执行而无论成像的场景实际上是什么,可能流动水是最差场景)是:在这个HDR外观频谱编码哲学中,各种外观也需要看起来现实或者如艺术上期望的,并且那是场景/图像的类型以及适合于特别渲染环境的人类视觉的非线性行为两者的复杂函数。因此,能够问该问题:什么类型的对象渲染可以作为在10倍LDR范围(即高达1000尼特)以及15倍范围(因此同样,在1000到1500尼特之间的部分)中的HDR效果等等。这部分是相对问题,因为视觉大脑能够高度适应情况,并且图像的解释被看到。也在例如van Schendel的古老绘画中,尽管在物理上在帆布或者油漆白色和黑色油漆之间当然没有高动态范围,但是画家能够使用技巧来模仿较高动态范围效果,其中大脑估计例如明亮光线。因此,例如,如果仅仅在晴朗的日子里走一条街,其中街道的部分在阴影中,一些人可能不满意阴影相对于阳光照亮部分应该或者不应该是这么黑暗,而其他人可能接受若干可能的渲染。至于阳光部分确切地应该多明亮,可能具有更多分歧,或者否则在最佳渲染中放置较大方差(variance)。并且当然1000尼特峰值明度监视器可能没有“正确”渲染阳光照射的街道,如果假设其在2000尼特上在观看者的起居室中被最佳渲染,但是大约1000尼特渲染是1000尼特显示器能够产生图像之中最佳的,并且这可能不是完全坏的(其仅仅是稍微较少影响图像,其中观看者必须自己在其大脑中填满更多的阳光充足的经验(即来自光度感知),而不是真正地完全体验它(也来自正确的明度外貌))。图9利用好的示例阐明用于沿着预期显示器的峰值明度范围的各个点的分级能够如何变化,即关于其主导的分级引导原理。我们假设:我们具有比自然的自然主义更形象的图像,具有一对白色,其可以显现为例如汽车的前灯、路灯以及透过建筑物的窗户的灯光等等。注意:在HDR中如在真实生活中,并且与LDR相对比,可以具有若干白色。LDR仅仅具有其白色并且可能小房间用于高亮,但是在真实世界中,并且在感兴趣的主要区域的分散白色的左上方具有足够亮度范围的任何编码中,可能具有例如被外部的太阳强烈照明的白色或者TL管的白色表面等等,其全部能够具有显著不同的平均亮度。在图形渲染中,想想例如电影Sin City 2,甚至可以具有在艺术上(非自然地)制作白色的对象。例如,具有带着白色眼镜的个人。在LDR中,可以利用100尼特或者比方说500尼特的峰值明度来渲染那些而没有任何问题,但是如果在例如5000尼特显示器上利用峰值明度白色来渲染它们,他个人可能看起来使得灯塔光束源自他的眼睛,这可能远非本意。因此,可能想要利用明显比例如汽车前灯更低的亮度在HDR中渲染这些白色,但是在LDR中,具有色域空间用于仅仅一个且相同的白色。
假设我们现在在图9中从接收侧看。曲线图902在发射器侧上可能已具有6000尼特主要分级-是否直接来自照相机,其中可能照相机操作者利用某调谐按钮改变某明度和对比度值或者离线高度艺术分级来快速调谐外观,但是现在其将是能够从传送的分级901中导出的分级。若干HDR白色(或者明亮区域)的真实世界示例是例如透过窗户照射到室内地毯上的阳光和更明亮的外面天空以及照射在例如外面金属屋顶上甚至更明亮的阳光。
因此,接收器将得到在归一化亮度轴上定义的图像,其对应于2000尼特的峰值明度。曲线图(我们在此将其显示为恒等变换或者对角线,倘若在x轴上的2000尼特输入不得不被重新分级到其自身作为输出)由4部分构成。对于正常场景,即例如房间或者街道上的反射对象等等,最黑暗部分达到大约45%(即,将渲染的亮度高达900尼特,其可以例如仿效在昏暗观看环境中渲染的晴朗户外)。在这个范围之上,具有三个明亮范围,为了简明起见我们将其假设是白色范围(即因为对象结构而在其中可能具有一些不同的亮度,但是假设没有颜色)。三个之中的最低可能例如是个人的艺术超白眼镜。中间的一个可能是从外面看到的舒适照亮的房间内部,并且最高的一个例如可能是路灯或者汽车的头灯光束等等。
读者能够看到:重新分级即通过朝向比传送的Im_2000更高的峰值明度的F_2Tu中编码的音调映射所完成的主要涉及光线的重新分布。我们假设(底部部分)对象颜色将被渲染为相同的,而不管是否观看者具有2000尼特或者6000尼特或者甚至10000尼特显示器。即,在相对(线性)轴上,曲线902的底部部分将是曲线901的第1/3。然而,在5000尼特分级(902)中的明亮区域然而被放置在那现实的绝对位置中,即成像场景的所有高质量渲染应该如何看。分级器发现:平均而言,第二明亮区域应该理想地是第一的两倍明亮,以给出好的附加明度印象(avL_2_6000=2*avL_1_6000)。然而,在2000尼特分级中,那不能简单地来实现。不仅第二明亮区域的一些随后将不得不剪切,但是更重要地,在2000尼特参考亮度轴上将绝对没有更多的空间来编码第三明亮区域。即,由于技术必要性,它们必须被一起放置得更靠近。然而,分级器可以选择以某种方式来执行那个,以致在avL_2_2000和avL_1_2000之间仍具有某合理差异,即仍具有这是不同类型光线的某合理印象。并且此外,如果接收器已接收到正确函数,他能够基于2000尼特接收图像的像素亮度为5000尼特分级重新计算所需的相对亮度。当然,尤其事情对于观看者来说如何在艺术上最佳地观看将是高度场景相关的问题,因此为了具有好的HDR处理和编码技术,需要能够充分处理所有这些特殊性的***。注意:对于向下分级,这远非颜色处理函数的箭头的纯粹逆转。在这个示例中,分级器首先选择不利用因子20来提升曲线901的较低部分,而是将那些亮度扩展而高过100尼特分级的可用的相对亮度范围的大部分(曲线903),并且第二,他决定使得三个明亮区域全部为峰值明度白色。因此,与至和自(-to and fro-)的向上重新分级相对比,这在这个示例中绝对不一定是可逆操作。
图5a阐明到LDR的可能映射的一些更多细节,其中必须表示具有彩色玻璃窗户的教堂的HDR范围图像。教堂的内部是视觉上(即其外貌)正常光线,但是相对于白色当然相当黑暗。那是因为在色域中需要空间用于明亮彩色玻璃窗颜色。即,在教堂内部的像素(CD_HDR2000,或者CD_LDR100)相对彩色玻璃像素(CR_HDR2000,或者CR_LDR100)的像素之间的对象间对比度CR_io必须是大的(即,编解码器色域的亮度范围的显著百分比,以致在渲染时,这些对象的平均亮度也是充分不同的),甚至在LDR分级中(在那个LDR分级中,对比度当然将至多是与物理上可实现的一样大并且仍然是合理的,这意味着时常剪切可能被牵涉为分级器的优选解决方案,或者至少颜色去饱和)。在我们再次从中制作红-青色截面来沿着亮度轴显示染色动作和增亮二者的这个色域表示中,我们显示在(作为开始(最佳编码)图像)HDR Im_2000、第二例如用于400尼特峰值明度显示器的中间表示MDR和具有100尼特的峰值明度的典型参考LDR之间映射的映射函数的结果(我们不需要在此强调有关能够使用通用分段音调映射函数和饱和度控制函数以及局部区域选择函数等等的细节,如本领域技术人员一般能够想象的,并且本发明反而是关于分级框架以及与其相关联的编码框架,以允许所有这个分级信息正确地到达接收侧,并且随后最终对应的正确渲染)。朝着较黑暗峰值明度显示器时常典型地牵涉包括在相对色域中的增亮。因此,除了编码信号典型地具有解释它们是什么的元数据,如同该图像用于参考显示器的哪个峰值明度以及当生成卢马代码时使用哪个代码分配函数(以及如果具有用于转换至其他峰值明度的函数,那些峰值明度的值),这也将典型地是如何能够看到HDR和LDR图像之间的区别:LDR图像由于场景对象的均匀照明而时常将具有更均匀扩展直方图(有时简单地称为单模(monomodal)或者“高斯”),并且HDR可能在相对黑暗子范围(强瓣)中具有相当丰富的内容以及在明亮子范围中的内容,如同例如强照亮区域,以及时常在其之间稀疏分配的亮度的缝隙(gap)。在图10中,我们看到一对HDR场景的示例卢马直方图,其中1001是向外看的仓(bunker),1002是从阳光照射的外部看的内部具有较黑暗部分的建筑物,1003是教堂中的彩色玻璃窗,1004是日落时的建筑物和灌木,而1005是建筑物的相对黑暗内部以及通过相对大的窗户看到的外部世界。例如,天空典型地将是一对比场景的其余部分更明亮的档,并且当然灯、至少灯自身将典型地比场景的其余部分明亮得多。如果直接利用如此多的像素在黑暗瓣中渲染图像(即,在LDR显示器上渲染HDR图像,HDR图像不适于LDR显示器),典型地得到看起来太黑暗的图像,因为这些像素的大区域或者百分比看起来难以辨别黑色似的。即,无论分级器对于每个场景可能期望什么精确的颜色转换,LDR重新分级可能时常至少牵涉较暗像素的增亮,例如通过那个亮度直方图子瓣的乘法对比度延伸。对于读者来说,注意到动态范围一般意味着什么也是有用的。专家在过去已以非常简单的方式回答了那个,即动态范围将是最亮渲染颜色相对最暗渲染颜色的亮度。那也可以是用于渲染的合理测量,但是其很少提及编码。如上所述,图像可以被编码为比方说0.01到2000尼特(参考显示峰值明度),即似乎是200000:1动态范围场景的编码。然而,如果能够上分级(升级)至5000尼特表示,它将显现:在相同的图像中具有500000:1动态范围的编码。从编码角度来看,动态范围并且更重要地图像的明度-复杂度反而通过具有多少(并且哪一个,即其典型可渲染的平均亮度应该是什么)不同的灰度值(或者典型地,不同照亮的)子范围来确定,并且那些利用编码质量的哪些对象内纹理/几何对象属性复杂度来编码。例如,部分隐藏在薄雾中的人或者怪物在心理视觉上或者艺术上不仅是其平均亮度将被放置在可渲染亮度轴上的哪里的问题,而且也需要精确的对象内对比度以使得那个怪物正确地使人毛骨悚然。这个明度分布属性显示为什么相对渲染(即在显示峰值明度和LDR显示器的可感知黑色之间的色域上的压缩)时常不是好的处理HDR渲染的方式(这种渲染的方式忽视这个特别图像和场景的正确的动态范围或者亮度分布方面,并因此进行非常不正确的动态范围渲染)。或者技术组件的框架将能够处理所有那些方面,即不仅在比方说5000尼特显示器上所有必要的像素明度(亮度)的高质量渲染,而且当需要在较低能力即较低峰值明度的显示器上渲染时的忠实近似。那将牵涉复杂的权衡,场景的图像的哪些较高质量的方面尤其哪些HDR效果(例如灯相对从薄雾中走出来的人的对比度的明度外貌)将需要被牺牲到给出较少显示峰值明度的特定程度,其在一些情况下可以部分地利用智能图像分析软件来执行,但是其时常将通过人类颜色分级器来艺术地优化。
返回到图5a的教堂的重新分级,如果想要尽可能教堂内部(CD)的黑暗拐角的颜色在各种显示器上看起来相同(即,利用相同的显示输出亮度来渲染),如果2000尼特显示器用于比100尼特显示器亮20倍的所有颜色(当相对相等地被驱动时,即例如用于峰值白色),对于相同的输出渲染,将不得不将用于LDR显示器(或者其颜色CD_LDR100)的驱动亮度(或者事实上当然对应亮度R’、G’、B’)提升20倍。当然,甚至当有必要能够看到足够的教堂内部时,这只能发生在给定LDR显示器的色域限制情况下可能的时候。如果例如CD_HDR2000将具有0.05的亮度,这样的LDR转换将不是现实的,因为我们将结束于LDR的1.0的亮度即白色,但是典型地当然在能够下降到非常暗的亮度的HDR编码中,相对亮度可能例如是峰值白色的第1/10000或者更少。仍然,当然当将CD_HDR2000映射到CD_LDR100时,分级器不需要使用精确输出亮度等式作为其标准,但是他可以使用他发现视觉上讨人喜欢的无论什么映射。注意:这些至较低动态范围外观的映射不需要是可逆的,由于仅需要从Im_2000导出LDR图像而不需要再次向上重新分级。为了简明起见,MDR的映射可能是至LDR的映射的某内插,例如在心理视觉等距离缩放上的中间点,但是当然其能够是任何东西,并且分级器甚至可能想要指定另一专用函数来从Im_2000映射到MDR。在将要表示的场景的彩色玻璃窗中的红色可能是高度饱和的,但是仍然非常明亮。这将发生在Im_2000HDR图像中,如果编码那些在红色基色R的最大亮度或者驱动值附近(255或者1023)的像素颜色。继续向下例如至MDR,分级器将受困于***的物理限制,并且可能想要均衡彩度以便针对窗户仍然得到尽可能多的明度印象,即保持足够的对象间对比度,大脑随后将其解释为非常好的明亮的彩色窗户。这将典型地牵涉至CD_MDR400的映射,其将色域帐篷顶上的颜色保持在足够的饱和度上,即仍然距离无色亮度轴充分距离,即在色域的收敛顶部中仍然足够低,并且尽可能靠近色域边界(即,没有色调分离,由于在纹理中的相邻颜色变为相等)。对于LDR,分级器选择继续映射(例如,由于2000到400是大约两个档,并且400到100也是如此,分级器可以考虑在相同方向执行映射,并且跨越相等距离,但是一般其可以是考虑两个显示器的心理视觉方面的任何映射均衡光度和饱和度,即特别灯光效果从用于较高峰值明度显示器的哪个峰值明度开始发生在视觉外表中,相对于分级器必须一起在较低峰值明度显示器如同100尼特显示器上过度填满(cram)一些HDR效果)。在这个示例中,我们看到分级器的仅仅剪切到(接近)CR_LDR100的白色的选择,仅在LDR外观中留下幽雅地透过的很少的彩色玻璃窗上的图片纹理。至于如何技术上编码这些下映射函数F_2T1,可以具有各种方式。例如,分级器可以使用指定盘上的函数的技术,以致其保持在其(有效)限制范围[0,1]内,即至MDR的映射被共同编码为元数据至Im_2000,并且LDR外观随后在接收侧上数学上由此外推。或者可以在技术上允许至在超过典型[0,1]色域范围的扩展色域中定义的伪颜色PC的颜色映射。在那种情况下,可以精确指定LDR颜色PC以便通过内插获得适当的MDR颜色CD_MDR400,并且实际可渲染的LDR颜色CR_LDR100将在接收端上通过解码器应用剪切机制(其能够被固定或者也可以被指定,例如通过编码许多可选择剪切策略中的选择数量)来确定。图5b显示离群值(outlier)如何能够被编码用于LDR分级图像规范的实施例之一。至在0.0到1.0之间的全色域555的映射,但是这些代码之中的一些被保留用于在LDR中不可渲染的颜色(但是当调谐到MDR颜色时可渲染的)。LDR可渲染颜色的实际色域是556(即,这些颜色应该如何被渲染在LDR显示器上,可能牵涉期望的剪切),其可能通过例如在0.85上定义最大或者白色点CW来指定。利用某固定或者传送的剪切策略,色域556之外的颜色在渲染LDR图像之前将被剪切到那个色域。一些内容创建器可以从在盘上编码较安全实施例的MDR中发现LDR外观的外推,因为没有更少的颜色用于LDR对象区域。仍然,其总计类似的策略,由于将通过紧贴在当前(多个)图像所需的大多数LDR色域外颜色定义周围实际封装较大色域555来相对定义CW。即,利用具有最大占有的图像来定义纹理数据,即在最低编码图像中没有剪切。因此,这随后对应于将一些MDR图像放置在盘上,并且应用进一步映射来产生要渲染的最终LDR,其偶尔具有一些剪切分量。
总之,一般可以说:典型地在HDR表示之间的映射牵涉较明亮对象沿着相对亮度轴的重新定位(例如,以使得其超亮,均衡显示器能力具有实际在图像中的对象的意义,并且除了广度外表之外还在心理视觉上播放在明度外表上),而至LDR图像的映射牵涉所有对象灰度值范围在给定可利用的可渲染颜色的小色域的情况下一起采用某最佳方式的困扰(puzzle),这是两个技术上不同的任务。
在这背后是编码不只一个单个HDR图像、但是实际上具有各种显示峰值明度的各种渲染情形的外观的频谱的有用性的原理,这不是一件小事,因为对于每一个外观图像,在给定所有因素如同技术限制如同商定的颜色代码的字长度,不断需要优化动作(事实上,计算IC的复杂度或者可用于通信的比特预算以及时常在传统技术中的合并性,如同例如卫星视频广播***等等),但是当然也有艺术考虑,但是事实上所有这些要求一起被优化(因此需要好的技术框架,以致例如人类颜色分级器不能制作艺术上奇妙的某事,但是并没有利用可利用的技术来映射,因此最后看起来令人失望)。
例如,考虑具有动态范围方面(dynamic-range-wise)复杂的场景,其中例如内部房间被平均照亮但是也有相当暗的区域,但是通过一些开口,也具有临界颜色和/或明度的若干区域的晴朗外部世界的视图,其可能已是在5000尼特参考亮度范围或者颜色色域上优化的复杂场景。随后观看者仍将正确地看到各种区域,其在房间的内部稍微有点暗,精确地具有正确的平均明度,以致可视性是正确的,但是也具有场景的情绪(mood)等等,但是也具有模拟真实世界外部区域的各种明亮区域。然而,现在问题是如何对于有关场景的所有的较少动态范围视图保持给出以均衡方式分布的所有这些不同照亮的区域(即,具有较低的最大亮度,并且用于在较低峰值明度的显示器上渲染)。2000尼特渲染可能仍具有显著高质量HDR外观,但是仍然不得不决定如何来重新分配亮度,其在比方说3000和5000尼特之间、直至稍微低于2000尼特的亮度。例如,分级器可以考虑那个被最佳执行,保持所有的内部亮度等于5000尼特分级的亮度,并且保持外部足够明亮和晴朗的,即将其平均亮度保持为靠近2000尼特的最大值(或者更好地,对于无论什么对象在外面而言在足够彩度的约束下可实现的最大值),并且稍微牺牲例如那个区域的高光(specular highlight)。
对于1000尼特,他可能需要更苛求地重新分级明亮区域,因此他可以考虑现在也增黑内部颜色,保持在内部和外部的平均亮度之间的对比度是足够高的。对于例如700尼特,分级器可以考虑他需要显著改变室内对象的所有亮度,以便在较小可用亮度子范围中一起困扰所有这些不同照亮的内部区域,但是仍然考虑例如局部和半全局对比度等等。当然,他可能也需要再次看看室外对象亮度。
用于HDR编码的好的技术框架需要给予内容创建器以足够的自由度,当然也给定在图像消费侧上所需的各种情景,尤其其允许各种方式来重新着色所有那些对象,至少沿着亮度轴方面。
最后,格式化器330将根据选择的用于编码HDR图像的视频传输编码标准以任何规定的格式来编码单个例如2000尼特参考图像Im_2000。我们已开发一种方法,其中我们能够在很大程度上重新使用现有LDR图像编码和通信技术。最后,我们只是甚至对于HDR图像而言例如归一化了RGB值,因此我们能够以编码格式存储其,而不用关心像素实际上是什么(当然接收器需要解释亮度或者非线性R’G’B’值实际上对应于什么亮度的元数据,或者其将例如假设其接收传统LDR图像,在具有较低峰值明度的显示器上将大多数的像素渲染得太黑暗)。典型地,可能具有为获得编码的Im_2000C而牵涉到的DCT编码,由于在我们的研究中我们已经显示我们能够在标准MPEG编码结构(例如YCrCb 10比特)中编码HDR图像,假定正确的EOTF被用于定义可用的1024个代码如何被用于编码特别亮度为卢马。与这个图像共同传送的,应该具有规定(或者至少引导)应该如何从Im_2000中获得导出图像(即分级或者外观)的所有要求的元数据,诸如例如F_2T1函数,以计算至少一个较低动态范围图像(例如典型地,100尼特),以便获得最终驱动图像用于较低动态范围显示器(例如高达300尼特)。图像和元数据能够例如被放置在BD盘上或被编码为视频传输编码信号并且例如在网络连接上被发送或者被存储以便稍后传输等等。根据这个发明除了那个之外,还将具有附加集合的元数据MET(F_2Tu),我们将在这个说明书中将其阐明为函数F_2Tu来从存储在BD盘上的Im_2000尼特图像中重建例如Im_5000尼特分级的非常接近的近似值。因此,总的来说,利用单元310发生的分级是基本艺术分级,然而其定义艺术家想要真实生活场景被映射在高质量(较大峰值亮度)HDR图像上。第二分级单元320随后典型地被用于在分级器的方向之下将这个最佳HDR表示映射到较低峰值明度HDR图像(仍然具有区域的足够编码质量以允许最佳重新变换用于较高峰值明度的显示器的权衡,但是心理视觉上具有较低HDR影响,因为对象亮度已被映射到较低峰值明度范围)。一些编码器实施例可以仅仅执行那个并且随后服务于接收器应用,其仅需要服务于具有比针对图像通信所商定的更高的峰值明度的显示器和渲染情景。然而,其典型地对于具有有关如何下分级到较低峰值亮度而言也是有用的,因此典型地还将具有第三单元325,允许自动算法或者典型地还允许分级器指定2000尼特图像应该如何典型地被下分级至100尼特图像。最后,所有的数据根据商定的存储或者通信***需要的无论什么来格式化。
我们现在将阐明有关分级器能够针对在5000尼特和2000尼特HDR编码之间的映射做什么以及各种技术实施例应该为此而迎合哪些技术方面的进一步一些实施例方面。如前所述,当不只是分级时,独自地,其自身不得不使用的Im_2000尼特编码,而且利用我们的参数函数编码技术编码5000最佳分级Im_5000,到2000尼特的分级事实上总是变成在场景颜色表示(即,所有HDR对象纹理的足够精确量化的特征)和另一方面艺术外观之间的平衡动作,无论分级器实现和关心那个与否。因此,好的分级在优化时必须考虑那两个约束的方面。我们仍然理论上利用图6中一种可能的分级方法来开始。假设:我们具有HDR图像,其由两个具有非常不同的亮度的子区域构成(如同例如内部,我们比方说咖啡色酒馆,以及透过窗户的明亮外部,或者其他方式在夜间:黑暗外面,以及明亮照亮的例如商店橱窗内部等等)。我们将至少在概念上利用亮度分界符(demarcator)Lt来区分这两个区域。尤其,一个能够技术上以各种等效方式来实现和编码映射,例如仅仅指定复杂的映射用于超过Lt的Im_2000的亮度以及简单乘法缩放因子用于于面的亮度,或者指定将要重建的输入Im_2000的整个亮度范围上的单个映射至5000尼特分级等等。分级器在这个示例中通过在其5000尼特参考外观(Im_5000)中制作好的外观用于酒馆的内部开始了其内容创建。他现在想要将那个外观拷贝到Im_2000尼特分级来编码和发射它,即利用相同的将要渲染的亮度,即在其参考亮度范围上相同的亮度。即,在低于Lt的那个区域中,两个分级将由于利用2.5的缩放因子的线性映射而相关。当然,本领域读者能够明白:分级器可以使用所有类型的其他映射,例如增黑较低子范围的某部分,因为随后一些棕色椅子在2000尼特渲染上与将在5000尼特渲染/分级上进行的相比而言看起来更好些,其将例如在线性映射曲线601上给出小的肿块(bump)。
随后分级器能够聚焦于如何处理具有较明亮亮度的颜色(我们将为了简明起见而假设这些颜色的色度对于两个HDR编码而言保持相同,这意味着我们能够基于亮度行为来阐明本发明,但是本领域读者将明白其应该如何与更通用颜色映射一起工作,其也可以改变例如颜色饱和度或者甚至色调,例如移向黄色来模拟太阳光等等)。如果这只是各种明亮HDR纹理的编码,即现在忽略用于这些区域的理想亮度的外观要求,例如因为其无论如何不能在2000尼特中完美地制作,或者能够被后处理等等,能够使用部分映射曲线602用于图像的其余部分,即在这个示例中归一化LN_2000亮度高于Lt一对一映射到相同的相对/归一化LN_5000亮度(其将随后当然对于比色计或者光度计而言当被渲染在5000尼特期望显示器上时看起来更明亮,但是该外观对于人类视觉***而言将特别取决于视觉适应以及利用人类大脑的图像的认知解释)。即,可能外部晴朗地区的上部在5000尼特显示器上看起来更明亮,但是它能够并且应该如此。并且,虽然既不知道也不关心确切地外面将有多晴朗,大脑将期待“相当更明亮”区域,至少到具有特别峰值明度的任何显示器允许的程度。因此,对于一些类型的场景而言,这将不是坏的分级策略而具有合理的结果,尽管其可能看起来有点反直觉,因为我们现在具有不连续映射,尽管仍是可逆的。注意:可逆性标准(即如果分级器通过应用一些函数从其较高质量5000尼特分级中进行“较低质量”2000尼特编码,在接收侧上那些函数应该被反向应用来从接收的2000尼特分级中重建5000尼特分级)仅要求在发射侧上能够定义某(些)F_2Tu函数来将Im_2000映射到重建Im_5000*,具有至Im_5000的足够视觉接近的属性,并因此在我们的实施例的阐明上简单假设编码器作为元数据编码的不是下映射函数自身而是其逆F_2Tu(在这种情况下,F_2T5来重建5000尼特分级),其被需要来重建Im_5000*,并且其将典型地是单调递增。
可能分级器可能想要使用其他函数,例如因为在限制的分级工具集中具有连续函数(如同具有可调节分段位置的多线性)。在那种情况下,他能够选择使用部分映射603用于上部亮度(上部亮度区域R_U),并且他可能例如分级Im_2000,以致没有正好高于Lt的亮度值出现,但是仅在例如输入亮度范围的最后四分之一中。但是他必须连续平衡各种要求,所以如果他想要好的5000尼特分级是可导出的,并且尤其如果他想要为那个的质量负责,他将典型地不仅检查他正在针对2000尼特分级所做的,也同样检查针对重建的5000尼特分级所做的。他可以例如并排(side by side)检查那些,或者在他的单个显示器上切换(toggle)它们。切换将立即显示显著改变的区域,尽管并排能够用于其他类型的检查(例如,已经故意不同地被分级的子区域,由于某附加原因或者效果)。此外,自动算法能够根据某视频方面例如条带来执行可能是关键的区域的预先分析,这些区域随后可以在红色中闪烁以便分级器在那看起来更关键。两个图像应该是HDR,但是它们当然是略微不同的HDR外观。尤其因为Im_5000*图像将被显示在明亮5000尼特显示器上,曲线603的拉伸可能导致一些区域因为与Im_2000中局部可利用代码N的数量相比而言太高的导数D而具有例如条带。分级器随后可以重新调谐其曲线来考虑那个。例如他可以至少将在那个区域中的曲线的斜率降低一点,以便针对在较高斜率的部分之间具有较低斜率的部分的603得到N形状曲线,至少如果那在视觉上是可接受的话。或者他可以移位该曲线一些使之平均具有较小斜率,尽管不像602一样多(他可能视觉上想要通过为外部区域确定与内部相比而言讨人喜欢的对象间对比度以便例如限制从窗户边界周围射入到酒馆内部的光线而来协调档高度)等等。或者,自动算法可以为他做那个。在那种情况下,某技术上分级的图像Im_2000T可以被存储在盘上,并且随后典型地将具有进一步映射参数,例如F_2T2T,其从Im_2000T中导出艺术分级Im_2000,如分级器所期望的。
图7示意性地显示分级器可以做什么来利用函数变换相关两个较明亮和较昏暗的HDR分级的某普通示例。代替较低亮度内部区域的确切再现,他可以将某附加分级效果放置在两个外观之一中,因为他认为那个在5000尼特中看起来更好或者在2000尼特的较小范围中是最佳化等等。例如,他可能将701映射部分朝向黑暗稍微弯曲一点,如果他认为例如典型5000尼特显示器能够将黑暗部分渲染(或者至少相对黑暗部分,但是也可能绝对黑暗部分,其中超HDR显示器渲染例如下至0.005或者甚至理论上0.0001而非0.01尼特)得更好,即他可以带来某额外黑暗外观,其可以例如帮助在黑暗地下室或者洞穴的恐怖电影或者夜晚森林等中的图像。类似地,他可以弯曲其上部分映射曲线703以带来一些更多对比度并且强调其某些亮度子区域,或者反之亦然不强调等等。我们也已显示局部分级的示例。即虽然正常地对于在图像Im_2000中的所有像素而言,曲线701将被使用,纯粹基于像素的亮度并且不在空间位置上,在该示例中曲线710用于一些局部区域/对象(例如穿过被内部的相对黑暗部分围绕的较小窗户的明亮外部世界的第二视图)。这意味着:除了指定数据的颜色处理函数形状之外,一些定位信息将被传送以使得接收器能够确定图像710中的哪些像素应该被应用。可以做这个,例如,因为某特别对象被给予附加的非平均提升以使之看起来更好,例如在Im_2000中,其需要被减轻以便不变成太过度。或者还因为人类视觉的局部自适应性,可以看到通过黑暗内部墙中的小开口看到的少部分天空可能被感知具有与该图像中的另一位置上天空的较大剩余部分不同的颜色,而不管两者是比色上完全相同的,并且这个可以利用局部处理规范来校正。或者其可以只是被使用,因为分级器发现镜头(shot)的某部分指定局部处理而不是保持修补(tinker with)全局曲线等等是有利的。所有这些所需的映射函数正是我们示意性地为了简明起见而利用F_2Tu所标记的,并且所有这个所需的参数和其他数据将采用预标准化的方式被合适编码为元数据,以致其能够被接收器明白。注意:分级器甚至原则上可以期望共同编码如何从5000尼特Im_5000*映射到甚至更高的峰值明度显示器,其中函数F_5TE可以例如规定平整(level off)来使得某些大区域如同带白色云彩的天空甚至在被阳光照射时也从不太明亮,但是使得小的光线极其明亮等等。这些函数可以被重新计算并被存储在盘上以便直接从Im_2000计算至例如20000尼特分级。当然分级器也可以考虑Im_5000尼特图像是他关心的最亮的并且留待针对电视制作者或者STB制作者或者任何接收端图像转换设备的品味的进一步提升,如果有过的话。
所需的颜色处理函数元数据在图像信号S_im中的编码例如用于在比方说光盘上的存储或者用于某电视标准可以例如发生在HDR图像分级处理定义分段中,具有特别指示符代码值指示这是这样类型的信息,以及参数,编码处理情况,尤其所需的颜色映射函数的形状。描述符可以一方面编码所需的处理并且另一方面编码2000尼特视频的定义。例如分级的图像最佳适合于什么显示峰值明度的定义可以是:
Video_Type_definition_descriptor()(视频_类型_定义_描述符())
{Peak Luminance of codec reference range(编解码器参考范围的峰值亮度)
EOTF
}
写至BD的峰值亮度在我们的阐明示例中将是2000尼特,并且EOTF将在蓝光规范中被定义(为数学函数或者LUT)为其规定的无论什么(多个)单变量或者多变量(多个),多案例,例如使用整数来标记哪一个被使用。
当然也能够填充例如3000尼特,并且强制执行在指定的2000尼特定义中的某3000尼特编码(即,使用EOTF用于2000尼特编码),但是通常将遵循该规范。
重建Im_5000*的处理能够例如被定义为:
Video_processing_descriptor(视频_处理_描述符()){
Characterizing type(特征类型)#2000_to_5000
K 用于卢马映射的线性分段的数量
For(i=0;i<K;i++){(LN_2000_i,LN_5000_i)}部分分段端点的坐标,其中LN_2000_i是例如分段的起始点的x坐标而LN_5000_i是y坐标,最后起始点是端点,如果LN_2000_i具有其最大值(典型地,1)
L 用于卢马相关的饱和乘法器的线性分段的数量
For(j=0;j<L;j++){(LN_2000_j,MULT_SAT_j}沿着轴开始或者结束目前线性分段的亮度(或者卢马)点的坐标,并且在y方向中,饱和度提升值乘法器,例如0.3或者3.5[注意:我们能够通过缩放标准范围例如0.25-3.0编码这个曲线图,沿着它线性或非线性例如8比特=255可能值被分布为MULT_SAT=f(mult_sat_code)=例如A*multi_sat_code+B,具有例如2.0的SAT_SCAL_FACTOR,以致我们能够编码饱和度高达2.0*3.0]
}
从这个元数据(在更简单的HDR编码情景中),接收侧现在具有它需要的信息。即,它得到如何指定Im_2000的确认,即其在比色上意味着什么,作为设备无关的(又部分针对渲染情景的类别进行优化,通过已最佳分级HDR效果到特定HDR显示能力)编码,其能够进一步被调谐,如果要求满足设备特定的需要。解码器也能够读取处理函数并将其加载到其颜色处理单元中。
图4示意性地阐明在接收端上在示例性的消费者家庭渲染配置中的HDR图像(或者视频)解码器401(其可以例如是IC或者处理板或者在这样的设备如同TV、具有BD读取器的STB、计算机、媒体图像接收站等等中的处理器上运行的软件)(当然,阅读者明白:加上必要的变更我们的实施例也能够被实施在专业***中,例如,如同用于电影院的数字电影)。
图像信号S_im例如从蓝光盘340中读取,从而产生压缩的图像Im_2000C作为开始图像,其中图像解压缩器403通过执行例如运行长度解码、逆DCT等等将(多个)图像解压缩为未压缩的(多个)图像,以获得例如线性亮度CIE(X,Y,Z)编码的Im_2000。除那之外,各种元数据处理函数例如被从相同的盘中和/或元数据的辅助源中读取,例如函数F_d2d,以便从Im_2000中获得100尼特外观图像,并且尤其对于阐明本发明的各种实施例而言令人感兴趣的,(多个)F_2Tu函数,以重建Im_5000*。逻辑处理器405确定比方说具有其内部解码器的机顶盒(STB)的特别配置是什么,尤其哪(多)个显示器当前被连接(并且其可以进一步分析渲染环境的进一步方面,例如如同平均观看周围亮度、(多个)观看者已经由其遥控器存储在***中的观看偏好等等)。倘若(只有)2000尼特显示器450目前被连接,逻辑处理器可以直接将未处理(因为对于这样的显示器而言已经艺术上最佳的)Im_2000视频中继至它。这将典型地经由传输格式化器415进行,其可以进一步(尽管其本身不需要进行任何比色处理)格式化图像以便遵守任何特别视频传输(或者存储,如果存储器被连接并被馈送视频)标准。例如,显示器450可以经由电缆连接输出432例如符合HDMI的足够HDR能力版本的HDMI连接器来连接。倘若元数据被发射例如作为有用信息以允许显示器执行它自己的最终比色微调处理,这个元数据可以采用在HDMI规范中商定的格式来发射。然而,同时,STB可以服务于比方说移动电话或者平板计算机的例如便携式显示器451。这可以例如经由无线连接、经由无线输出433发送x*100尼特优化图像(例如通过在802.11Wifi协议等等上流式传送视频)发生。当然,这个具有显著较低动态范围能力的便携式显示器比方说峰值明度500尼特不得不被馈送具有不同的颜色/阴度外观的处理信号,即不同分级的图像。另外,例如典型地通过将这些函数应用于Im_2000(并且逻辑处理器405将发射所需的数据,即Im_2000和F_d2d),颜色处理器单元410将采取来自正确处理函数F_d2d的信息来获得适当的分级。因此,颜色处理单元410被安排成为每一个情景(即,接收的编码的图像的无论什么峰值明度,以及在其上面显示重新分级的图像的显示器的无论什么峰值明度)计算适当的比色变换,或者通过直接应用接收的函数,或者通过基于如在接收的函数中编码的重新分级的信息确定合适的颜色映射函数,以获得正确分级的输出图像,并且随后将发射正确分级的例如100尼特图像到传输格式化器415(或者直接地或者经由逻辑处理器),或者3200尼特图像等等。传输格式化器415因此将执行对于可通信至连接的显示器的所需信息而言所需要的任何重新格式化,即至少根据某预商定的图像编码协议发送图像(例如在LDR编码容器中存储850尼特图像),并且其也可以在元数据中传送全部或者一些颜色映射函数。
逻辑处理器405能够确定是否以及什么颜色处理被需要,例如以便将图像的1000尼特参考解码视频转换为用于1500尼特显示器的图像。
另外,创建器可以编码颜色映射函数F_d2d用于什么渲染情形,其可以被执行为:
Mapping_function_meaning(映射函数意义){
Starting_max_luminance(开始最大亮度)2000尼特
Optimal_max_luminance(最佳最大亮度)100尼特[即,映射意味着为100尼特显示器创建适当分级的驱动图像,“平均”]
Upper_limit_max_luminance(上限最大亮度)500尼特
Lower_limit_max_luminance(下限最大亮度)40尼特
}
最后两个参数不是在所有的实施例中都被需要(其典型地将仅仅编码至少该函数重新分级至显示器的哪个期望峰值明度,假设传送图像的峰值明度被预固定,并且典型地其可能对于填充那个编码峰值明度也是有用的,在此称为Starting_max_luminance),但是其对于传递外观的合适性的限制可能是有用的,以致接收器能够快速地决定是否其需要为其连接的显示器重新分级这些图像。
即,如果内容创建器不仅填充最佳输出最大亮度而且还填充限制,他定义根据其而言什么在这一示例中是从Im_2000开始的颜色映射可用于其的LDR显示器,更精确地,他保证:当在大约100尼特直至例如500尼特的显示器上使用图像[即,即使显示器本身不进行它自己的改善处理而是直接渲染这个LDR分级Im_100]时,该图像将仍然看起来是合理的并且例如不是太明亮。他可能已看到:例如,该图像不是太暗并且仍然能够利用足够的视觉质量被渲染在50尼特显示器上,但是低于40尼特的话,至少根据分级器的判断,例如暗区变得太暗,以致对于平均观看者而言不容易观看。这可以有助于显示器或者逻辑处理器来估计各种可能函数之中的哪一个将用于针对750尼特显示器的例如Im_750的预测。这可能是例如F_2000T400函数并且不是F_2000T1000函数,或者显示器可以使用两个预测并且适当地内插。这些限制指定分级器的艺术渲染选择对于HDR场景上的哪些动态范围外观是有效的,相对的在哪些情况下沿着该范围的各个平均对象亮度的其他优化是更好的。
第三示例是当STB的拥有者或者用户具有可利用的高端HDR显示器例如具有6000尼特的峰值明度的时候。这足够靠近5000尼特,其能够被馈送Im_5000*分级的图像,并且随后直接稍许次优地渲染它们,或者可供选择地执行它自己的5000-到-6000颜色处理。在这个示例中,该信号经由输出431馈送到因特网420(或者这能够是本地网络等等)。本领域技术人员将明白:各个第三方或者附加技术组件可以经由因特网而被牵涉,例如用户可以在因特网上经由第三方得到所需的F_2Tu函数至显示器,万一显示器452执行2000-到-5000转换,如果其被馈送Im_2000信号(替代已显示器优化的图像)等等的话。
因为在我们的编码框架中具有如此多的变量(因为我们现在想要能够采用具有用于编解码器色域的不同参考亮度范围的各种编解码器定义来处理各种类型的LDR或者HDR视频捕获,并且能够为各种类型的显示器供应最佳图像),图8再次示意性地总结本发明的一些方面。
因此,分级器在创建侧上在其分级设备中例如在某线性亮度编码例如一组OpenEXR图像或者还没有为了视频传输而优化的某事中内部具有的在左轴上:L_orig。如所说的,在这个主要分级图像中的像素亮度本身不是实际场景中的亮度,但是这个图像根据其已如何利用比方说两个不同曝光的ARRI照相机的钻机(rug)来捕获并随后已被适合分级以便在不太遥远的将来服务于大多数的HDR显示器来编码化(codify)最终结果(当然那个分级在一些示例中能够是简单的,就如同相机人在其照相机上配置什么一样)。我们作为阐明示例给出其中分级器选择5000尼特的参考亮度范围最大亮度,例如因为那是他能够得到手的最佳参考显示器,并且他无论如何不能看到更明亮的亮度。因此,如果具有足够钱的消费者购买相同的显示器,他应该能够看到原始分级(“导演的版本”)。最终渲染的(不是说仍有关编码选择之间的任何事)被显示在L_DISP轴上,其显示显示器如何将这些亮度渲染为输出亮度,尤其利用其峰值白色的渲染来简化(例如,R’=G’=B’’=1023)。
然而,这个链现在经由显著较低的编解码器最大亮度值(在编码的色域的可能标准化的亮度最大值的L_COD轴上看到,其如所说的不应该与各自图像/照相机以及任一侧上的显示器的色域/范围相混淆),即编解码器被如此定义为具有例如2500尼特的峰值亮度(L_MAX_C),并且我们不得不执行所有的编码以得到考虑那个的正确管道通信。如所说的,当通过例如DVB或者ATSC通信发射这个Im_2500集合的视频图像时,我们能够共同供应各种颜色映射函数集合,例如F_2T10,接收侧颜色处理单元能够应用其来导出从Im_2500开始的例如10000尼特最佳分级的图像。这些函数也可能被间接指定,例如F_D1T05映射到50尼特视频,用于具有大约50尼特的峰值明度的显示器,但是从在接收侧上可计算的颜色映射的100尼特开始而不是直接从Im_2500开始。
视频信号能够以若干方式例如在存储器产品诸如例如蓝光盘(340)或者固态存储器产品上被传送,其中存储器产品包括视频信号(S_im),其包括具有在900尼特和3500尼特并且优选地2000尼特或者1000尼特之间的最大亮度(L_MAX_C)的编码的高动态范围视频(Im_2000)以及至少包括用于通过在编码的高动态范围视频(Im_2000)上应用颜色映射导出第二视频的亮度映射函数的颜色映射规范(F_2Tu),其中第二视频具有像素,这些像素具有高于最大亮度(L_MAX_C)并且优选地至少高1.25倍的最大亮度。存储器产品任选地包括至少一个进一步颜色映射规范(F_d2d)并且任选地包括可用于指示编码的高动态范围视频(Im_2000)或者通过颜色处理从中计算的任何视频对于哪一个范围的显示器是视觉上最佳的显示峰值明度(LH_100,LL_100)的至少一个限制。视觉上最佳意味着:图像当在具有那个范围内的峰值明度的显示器上直接被渲染而没有进一步颜色处理(除了可能轻微的处理,例如如同RGB基础矩阵变换的改变)时看起来最合适(根据内容创建器/分级器),而例如在较暗显示器上一些图像可能包含太暗以致不容易看到的或者被判断为丑陋的区域等等。尤其,分级器可能已制作比色精确的HDR效果,并且可以如此规定那些在例如1000与2000尼特之间的峰值明度的显示器上最佳被看到,并且在例如500或者4000尼特另一相应颜色处理上必须被执行,给出稍微不同外观的区域,其更适合在这样不同的动态范围能力显示器上渲染HDR。
在这个文本中公开的算法组成部分可以(全部或者部分)在实践中被实现为硬件(例如专用IC的部分)或者为在专用数字信号处理器或者通用处理器上运行的软件等等。
对于本领技术人员来说,从我们的呈现中可明白:哪些组件可以是可选的改进并且能够与其它组件一起来实现,以及方法的(可选)步骤如何对应于设备的相应装置,并且反之亦然。在这个申请中的词“装置”被用在其最广泛的意义上,即允许特别目标的实现的一组手段,并因此能够例如是(小部分)IC或者专用电器(诸如具有显示器的电器)或者联网***的部分等等。“安排”也旨在被用在其最广泛的意义上,因此它可以包括尤其单个装置、装置的一部分、协作装置(部分)的选集等等。
作为外延的目前实施例的计算机程序产品版本应被理解为涵盖在一系列加载步骤(其可以包括中间转换步骤,诸如变换到中间语言以及最后处理器语言)之后启用通用或者专用处理器的命令选集的任何物理实现,以便将命令输入到处理器中并且执行本发明的任何特征函数。尤其,计算机程序产品可以被实现为在载体诸如例如盘或者磁带上的数据、存在于存储器中的数据、经由有线的或者无线的网络连接行进的数据或者纸上的程序代码。除了程序代码之外,程序所需的特征数据也可以被实施为计算机程序产品。应该清楚的是:利用计算机,我们意指能够进行数据计算的任何设备,即它也可以是例如移动电话。装置权利要求也可以覆盖这些实施例的计算机实现的版本。
方法的操作所需的一些步骤可能已存在于处理器的功能中而没有被描述在计算机程序产品诸如数据输入和输出步骤中。
应该注意:上述实施例举例说明而非限制本发明。在本领域技术人员能够容易地实现所呈现的示例到这些权利要求的其他区域的映射的情况下,我们为了简洁起见而没有深入提及所有这些选项。除了如在这些权利要求中组合的本发明的元素的组合之外,这些元素的其他组合也是可能的。元素的任何组合能够被实现在单个专用元素中。
在权利要求中的括号之间的任何参考符号并不旨在限制该权利要求。词“包括”并不排除没有在权利要求中列出的元素或者方面的存在。在元素前面的词“一”或者“一个”并不排除多个这样的元素的存在。

Claims (12)

1.一种用于将包括图像(Im_5000)的集合的输入高动态范围视频编码为编码的高动态范围视频(Im_2000)的编码器(301),所述图像具有像素颜色,所述像素颜色具有的亮度低于或者等于第一最大亮度(L_max_M),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,所述编码器包括:
-重新分级单元(320),其被安排为允许内容创建器至少指定音调映射函数(F_2Tu),用于将较低第二最大亮度(L_max_C)的编码的高动态范围视频(Im_2000)颜色映射到高动态范围视频(Im_5000)的高动态范围视频重建(Im_5000*);以及
-格式化器,其被安排为在视频信号(S_im)中写入编码的高动态范围视频(Im_2000)和作为元数据写入至少一个音调映射函数(F_2Tu,601)。
2.根据权利要求1所述的用于编码输入高动态范围视频的编码器(301),其中所述重新分级单元(320)被安排为允许包括应用任意形状单调递增音调映射的颜色映射规范的映射函数(F_2Tu)的规范以及亮度相关的饱和乘法函数,所述函数将被用于颜色处理中,所述颜色处理应用对应的亮度和饱和度变化,同时对于在高动态范围视频重建(Im_5000*)的输出图像中的像素颜色保持与在编码的高动态范围视频(Im_2000)的输入图像中相同的色调。
3.根据权利要求1或2所述的用于编码输入高动态范围视频的编码器(301),包括进一步分级单元(325),其被安排为指定至少一个指定如何将编码的高动态范围视频(Im_2000)颜色映射到第三视频的进一步颜色映射函数(F_2T1,F_d2d),第三视频为了在具有不同于第一最大亮度(L_max_M)和第二最大亮度(L_max_C)的峰值亮度(PL_1,PL_2)的显示器上渲染而被明度优化。
4.根据权利要求3所述的用于编码输入高动态范围视频的编码器(301),其中所述进一步分级单元(325)被安排为指定至少一个进一步颜色映射函数,其是用于从编码的高动态范围视频(Im_2000)中获得100尼特视频的颜色映射函数。
5.根据上述权利要求之一所述的用于编码输入高动态范围视频的编码器(301),包括限制规范单元(389),其被安排为允许内容创建器指定显示峰值明度(LH_100,LL_100)的至少一个限制,其标识显示器的子集,所述显示器具有在峰值明度的范围中的峰值明度,对其而言,编码的高动态范围视频(Im_2000)或者通过应用进一步颜色映射(F_d2d)而从中导出的任何视频根据所述内容建立器具有足够的视觉质量。
6.一种将包括图像(Im_5000)的集合的输入高动态范围视频编码为编码的高动态范围视频(Im_2000)的方法,所述图像具有像素颜色,所述像素颜色具有的亮度低于或者等于第一最大亮度(L_max_M),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,所述方法包括:
-指定至少包括音调映射函数(F_2Tu)的颜色映射,所述音调映射函数用于将较低的第二最大亮度(L_max_C)的编码的高动态范围视频(Im_2000)颜色映射到高动态范围视频(Im_5000)的高动态范围视频重建(Im_5000*);
-在视频信号(S_im)中写入编码的高动态范围视频(Im_2000)像素颜色数据和作为元数据写入至少一个音调映射函数(F_2Tu,601)。
7.一种用于解码包括图像(Im_5000)的集合的高动态范围视频的视频解码器(401),所述图像具有像素,所述像素具有亮度,所述亮度具有的值高达第一最大亮度(L_max_M),所述高动态范围视频被编码为编码的高动态范围视频(Im_2000),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,所述解码器包括:
-视频解压缩器(403),其被安排为从视频信号(S_im)和压缩的图像数据中读取并且将其解压缩,以获得编码的高动态范围视频(Im_2000);
-元数据读取单元(477),其被安排为从所述视频信号(S_im)中提取至少一个颜色映射规范(F_2Tu);以及
-颜色处理单元(410),其被安排为将所述颜色映射规范应用于编码的高动态范围视频(Im_2000),以获得具有第三最大亮度的重建的高动态范围视频(Im_5000*),第三最大亮度至少比第二最大亮度(L_max_C)高两倍。
8.根据权利要求7所述的用于解码高动态范围视频集合的图像的视频解码器(401),其中第三最大亮度等于第一最大亮度(L_max_M)。
9.根据上述的视频解码器权利要求之一所述的用于解码高动态范围视频集合的图像的视频解码器(401),包括逻辑处理器(405),其被安排为:确定具有哪一个峰值明度的哪一个至少一个显示器(452)被连接并且需要被供应视频,以及基于那个至少一个显示器(452)的峰值明度来确定哪一个颜色处理(F_2Tu,F_d2d)将被应用于编码的高动态范围视频(Im_2000),以获得输出图像(Im_x00,Im_5000*)以便传输至所述显示器。
10.根据权利要求9所述的用于解码高动态范围视频集合的图像的视频解码器(401),其特征在于,所述逻辑处理器(405)进一步被安排为从所述视频信号(S_im)中读取显示峰值明度(LH_100,LL_100)的至少一个限制,并且基于显示峰值明度(LH_100,LL_100)的至少限制来确定哪一个颜色处理(F_2Tu,F_d2d)将被应用。
11.根据上述的解码器权利要求之一所述的用于解码高动态范围视频集合的图像的视频解码器(401),其特征在于,所述颜色处理单元(410)被安排为通过应用在所述视频信号(S_im)中接收的颜色变换(F_dT1)从编码的高动态范围视频(Im_2000)中导出100尼特最大亮度视频。
12.一种高动态范围视频集合的图像的视频解码的方法,所述图像具有像素,所述像素具有高达第一最大亮度(L_max_M)的可解码的亮度,所述高动态范围视频被编码为编码的高动态范围视频(Im_2000),其特征在于,在编码的高动态范围视频(Im_2000)中的任何像素的亮度小于或者等于至少为900尼特的第二最大亮度(L_max_C),并且第一最大亮度(L_max_M)至少是第二最大亮度(L_max_C)的两倍,所述方法包括:
-从视频信号(S_im)中读取并且解压缩编码的高动态范围视频(Im_2000);
-从所述视频信号(S_im)中提取至少一个颜色映射规范(F_2Tu);以及
-将所述颜色映射规范应用于编码的高动态范围视频(Im_2000),以获得具有第三最大亮度的重建的高动态范围视频(Im_5000*),第三最大亮度至少比第二最大亮度(L_max_C)高两倍。
CN201580054851.7A 2014-08-08 2015-07-21 用于编码hdr图像的方法和装置 Active CN107005720B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP14180314 2014-08-08
EP14180314.8 2014-08-08
US201562135452P 2015-03-19 2015-03-19
US62/135452 2015-03-19
PCT/EP2015/066653 WO2016020189A1 (en) 2014-08-08 2015-07-21 Methods and apparatuses for encoding hdr images

Publications (2)

Publication Number Publication Date
CN107005720A true CN107005720A (zh) 2017-08-01
CN107005720B CN107005720B (zh) 2020-03-06

Family

ID=51301135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580054851.7A Active CN107005720B (zh) 2014-08-08 2015-07-21 用于编码hdr图像的方法和装置

Country Status (8)

Country Link
US (1) US10362337B2 (zh)
EP (1) EP3178231A1 (zh)
JP (3) JP7053259B6 (zh)
KR (1) KR102209563B1 (zh)
CN (1) CN107005720B (zh)
MX (1) MX368411B (zh)
RU (1) RU2686642C2 (zh)
WO (1) WO2016020189A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712703A (zh) * 2018-12-12 2019-05-03 上海牙典软件科技有限公司 一种基于机器学习的正畸预测方法及装置
CN109920056A (zh) * 2019-03-18 2019-06-21 百度在线网络技术(北京)有限公司 建筑物渲染方法、装置、设备和介质
CN110691277A (zh) * 2018-07-05 2020-01-14 华为技术有限公司 视频信号的处理方法及装置
CN111095931A (zh) * 2017-09-06 2020-05-01 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
CN112352437A (zh) * 2018-06-26 2021-02-09 交互数字Vc控股公司 Hdr分发中的元数据转换
CN112351264A (zh) * 2020-11-04 2021-02-09 深圳Tcl数字技术有限公司 显示精度调整方法、装置、终端设备及存储介质
CN112400324A (zh) * 2018-07-20 2021-02-23 交互数字Vc控股公司 用于处理视频信号的方法和装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182672A (zh) 2014-05-28 2018-06-19 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
JP6698081B2 (ja) 2014-11-10 2020-05-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 符号化のための方法、ビデオプロセッサ、復号のための方法、ビデオ復号器
WO2017015564A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
EP3142002A1 (en) * 2015-09-09 2017-03-15 Red.Com, Inc. Motion video output for multiple displays
JP2017151308A (ja) * 2016-02-25 2017-08-31 キヤノン株式会社 情報処理装置および情報処理方法
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
JP6751233B2 (ja) * 2016-09-12 2020-09-02 オンキヨー株式会社 映像処理装置
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
US10769817B2 (en) * 2017-08-07 2020-09-08 Samsung Display Co., Ltd. Measures for image testing
US10856040B2 (en) * 2017-10-31 2020-12-01 Avago Technologies International Sales Pte. Limited Video rendering system
EP3477946A1 (en) * 2017-10-31 2019-05-01 Thomson Licensing Method and device for obtaining a second image from a first image when the dynamic range of the luminance of said first image is greater than the dynamic range of the luminance of said second image
CN110019719B (zh) * 2017-12-15 2023-04-25 微软技术许可有限责任公司 基于断言的问答
CN110691227B (zh) * 2018-07-05 2024-04-09 华为技术有限公司 一种视频信号处理方法及装置
JP7157714B2 (ja) * 2018-09-03 2022-10-20 キヤノン株式会社 画像処理装置およびその制御方法
EP3621307A1 (en) 2018-09-05 2020-03-11 Koninklijke Philips N.V. Multi-range hdr video coding
EP3847819A1 (en) 2018-09-05 2021-07-14 Koninklijke Philips N.V. Multi-range hdr video coding
CN111050143B (zh) * 2018-10-11 2021-09-21 华为技术有限公司 一种图像拍摄方法和终端设备
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR102666909B1 (ko) 2019-06-19 2024-05-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN112689138B (zh) * 2019-10-18 2022-08-26 华为技术有限公司 一种图像信号转换处理方法、装置及终端设备
JP7427423B2 (ja) * 2019-10-30 2024-02-05 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP4366312A1 (en) 2022-11-03 2024-05-08 Koninklijke Philips N.V. Coordinating dynamic hdr camera capturing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954344A (zh) * 2004-04-23 2007-04-25 布赖特赛德科技有限公司 高动态范围图像的编码、解码和表示
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
US20110279506A1 (en) * 2010-05-12 2011-11-17 Raul Rodriguez Bi-directional color printing
CN102354489A (zh) * 2008-05-08 2012-02-15 香港应用科技研究院有限公司 增强图像动态范围的方法和装置
WO2014009844A1 (en) * 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US20140079113A1 (en) * 2011-05-10 2014-03-20 Koninklijke Philips N.V. High dynamic range image signal generation and processing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009004985A1 (ja) * 2007-06-29 2009-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、プログラム、および記録媒体
EP2543181B1 (en) 2010-03-03 2015-10-21 Koninklijke Philips N.V. Apparatuses and methods for defining color regimes
US8688617B2 (en) * 2010-07-26 2014-04-01 Associated Universities, Inc. Statistical word boundary detection in serialized data streams
BR112013005968B1 (pt) * 2010-09-16 2022-04-26 Koninklijke Philips N.V Método de codificação de dados de vídeo de alta amplitude dinâmica e de dados adicionais, dispositivo de codificação de vídeo, método de decodificação de dados de vídeo e de dados adicionais que são adicionais aos dados de vídeo e dispositivo de decodificação de vídeo disposto para decodificar dados de vídeo
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
ES2550782T3 (es) * 2011-03-24 2015-11-12 Koninklijke Philips N.V. Aparato y método para analizar gradaciones de imágenes
TWI624182B (zh) 2011-04-15 2018-05-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
RU2013152741A (ru) * 2011-04-28 2015-06-10 Конинклейке Филипс Н.В. Способ и устройство для генерирования сигнала кодирования изображения
RU2616158C2 (ru) 2011-04-28 2017-04-12 Конинклейке Филипс Н.В. Устройства и способы для кодирования и декодирования hdr-изображений
EP2745507A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
MX337446B (es) * 2011-09-29 2016-03-07 Sharp Kk Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y dispositivo de codificacion de imagenes.
US20140007911A1 (en) * 2012-07-05 2014-01-09 General Electric Company Heating element for a dishwashing appliance
CN104364820B (zh) * 2012-10-08 2018-04-10 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
JP6094688B2 (ja) * 2013-12-27 2017-03-15 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954344A (zh) * 2004-04-23 2007-04-25 布赖特赛德科技有限公司 高动态范围图像的编码、解码和表示
CN101902637A (zh) * 2004-04-23 2010-12-01 杜比实验室特许公司 高动态范围图像的编码、解码和表示
CN101742306A (zh) * 2006-01-23 2010-06-16 马普科技促进协会 高动态范围编解码器
CN102354489A (zh) * 2008-05-08 2012-02-15 香港应用科技研究院有限公司 增强图像动态范围的方法和装置
US20110279506A1 (en) * 2010-05-12 2011-11-17 Raul Rodriguez Bi-directional color printing
US20140079113A1 (en) * 2011-05-10 2014-03-20 Koninklijke Philips N.V. High dynamic range image signal generation and processing
WO2014009844A1 (en) * 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11336895B2 (en) 2017-09-06 2022-05-17 Dolby Laboratories Licensing Corporation Tone-curve optimization method and associated video encoder and video decoder
CN111095931A (zh) * 2017-09-06 2020-05-01 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
CN111095931B (zh) * 2017-09-06 2022-05-27 杜比实验室特许公司 色调曲线优化方法以及相关联的视频编码器和视频解码器
CN112352437A (zh) * 2018-06-26 2021-02-09 交互数字Vc控股公司 Hdr分发中的元数据转换
CN112352437B (zh) * 2018-06-26 2023-12-01 交互数字Vc控股公司 Hdr分发中的元数据转换
CN110691277B (zh) * 2018-07-05 2024-03-05 华为技术有限公司 视频信号的处理方法及装置
CN110691277A (zh) * 2018-07-05 2020-01-14 华为技术有限公司 视频信号的处理方法及装置
CN112400324A (zh) * 2018-07-20 2021-02-23 交互数字Vc控股公司 用于处理视频信号的方法和装置
CN109712703A (zh) * 2018-12-12 2019-05-03 上海牙典软件科技有限公司 一种基于机器学习的正畸预测方法及装置
CN109712703B (zh) * 2018-12-12 2023-08-25 上海牙典软件科技有限公司 一种基于机器学习的正畸预测方法及装置
CN109920056A (zh) * 2019-03-18 2019-06-21 百度在线网络技术(北京)有限公司 建筑物渲染方法、装置、设备和介质
CN112351264B (zh) * 2020-11-04 2023-05-23 深圳Tcl数字技术有限公司 显示精度调整方法、装置、终端设备及存储介质
CN112351264A (zh) * 2020-11-04 2021-02-09 深圳Tcl数字技术有限公司 显示精度调整方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN107005720B (zh) 2020-03-06
JP2023162375A (ja) 2023-11-08
JP2017528971A (ja) 2017-09-28
JP7053259B6 (ja) 2022-06-01
MX368411B (es) 2019-10-02
BR112017002313A2 (pt) 2018-01-16
KR20170044129A (ko) 2017-04-24
RU2017107185A (ru) 2018-09-10
US20170180759A1 (en) 2017-06-22
EP3178231A1 (en) 2017-06-14
WO2016020189A1 (en) 2016-02-11
RU2686642C2 (ru) 2019-04-29
MX2017001710A (es) 2017-04-27
JP7343629B2 (ja) 2023-09-12
KR102209563B1 (ko) 2021-02-02
US10362337B2 (en) 2019-07-23
JP7053259B2 (ja) 2022-04-12
RU2017107185A3 (zh) 2019-03-01
JP2022058724A (ja) 2022-04-12

Similar Documents

Publication Publication Date Title
CN107005720A (zh) 用于编码hdr图像的方法和装置
CN105393525B (zh) 创建用于对hdr图像编码的代码映射函数的方法和装置以及使用这样的编码图像的方法和装置
US10057600B2 (en) Brightness region-based apparatuses and methods for HDR image encoding and decoding
CN107211079B (zh) 用于图像和视频的动态范围编码
CN104995903B (zh) 改进的hdr图像编码和解码方法及设备
CN104471939B (zh) 改进的hdr图像编码和解码方法和设备
CN109219961B (zh) 对hdr视频进行编码和解码的方法和装置
CN102783132B (zh) 用于定义颜色状态的装置和方法
CN108431886A (zh) 针对特定显示器优化高动态范围图像
CN108781290B (zh) 一种hdr视频编码器及其编码方法、hdr视频解码器及其解码方法
CN107111980A (zh) 针对特定显示器优化高动态范围图像
CN108521859A (zh) 处理多个hdr图像源
US10217198B2 (en) Simple but versatile dynamic range coding
US11741873B2 (en) Adjustment of display optimization behaviour for HDR images
KR102279842B1 (ko) Hdr 이미지 인코딩 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant