CN110050292A - 用于调整高动态范围图像的视频处理曲线的***和方法 - Google Patents

用于调整高动态范围图像的视频处理曲线的***和方法 Download PDF

Info

Publication number
CN110050292A
CN110050292A CN201780076408.9A CN201780076408A CN110050292A CN 110050292 A CN110050292 A CN 110050292A CN 201780076408 A CN201780076408 A CN 201780076408A CN 110050292 A CN110050292 A CN 110050292A
Authority
CN
China
Prior art keywords
curve
adjustment
brightness
video
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780076408.9A
Other languages
English (en)
Other versions
CN110050292B (zh
Inventor
J·A·派拉兹
R·阿特金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority claimed from PCT/US2017/065114 external-priority patent/WO2018111682A1/en
Publication of CN110050292A publication Critical patent/CN110050292A/zh
Application granted granted Critical
Publication of CN110050292B publication Critical patent/CN110050292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本文公开了用于调整视频处理曲线的***和方法。在一个实施例中,公开了一种用于对从一组输入图像数据得到的原始曲线应用调整的方法,所述方法包括:接收要调整的一组输入图像数据;从所述一组输入图像数据计算原始曲线;接收调整曲线,所述调整曲线基于期望的图像参数;以及将所述调整曲线应用于所述原始曲线以产生结果曲线。在另一实施例中,公开了一种包括处理器的显示管理单元(DMU),所述处理器在接收到一组输入图像数据时根据以下操作来处理所述原始曲线:从所述一组输入图像数据计算原始曲线;接收调整曲线,所述调整曲线基于期望的图像参数;以及将所述调整曲线应用于所述原始曲线以产生结果曲线。

Description

用于调整高动态范围图像的视频处理曲线的***和方法
相关申请的交叉引用
本申请要求于2017年1月20日提交的欧洲专利申请号17152419.2以及于2016年12月12日提交的美国临时专利申请号62/432,912的优先权权益,这两个专利申请通过引用以其全文并入本文。
技术领域
本发明涉及高动态范围显示器(HDR),更具体地涉及使用双调制的HDR显示器。
背景技术
如本文所使用的,术语“动态范围(DR)”可以涉及人类视觉***(HVS)感知图像中的强度范围(例如亮度(luminance)、明度(luma))的能力,例如,从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说,DR与“场景参考的”强度有关。DR还可以涉及显示设备充分或近似呈现特定宽度的强度范围的能力。从这个意义上说,DR与“显示器参考的”强度有关。除非在本文的描述中的任何一点上明确指定特定的意义具有特定的意思,否则应当推断所述术语可以在任一意义上例如可互换地使用。
如本文所使用的,术语“高动态范围(HDR)”涉及跨越人类视觉***(HVS)的大约14至15个数量级的DR宽度。在实践中,相对于HDR,人类可以同时感知的强度范围的广泛宽度的DR可能会被稍微截短。如本文所使用的,术语“增强动态范围(EDR)或视觉动态范围(VDR)”可以单个地或可互换地与DR相关,所述DR可在场景或图像内由包括眼运动的人类视觉***(HVS)感知,允许场景或图像上的一些光适应变化。如本文所使用的,EDR可以涉及跨越5到6个数量级的DR。因此,虽然相对于真实场景参考的HDR可能稍微窄一些,但EDR表示宽DR宽度并且还可以被称为HDR。
HDR显示器及其背后的技术作为与本发明的受让人相关的杜比实验室许可公司(Dolby Laboratories Licensing Corporation)的DOLBY VISIONTM来出售。现在正在构造的HDR显示器可以使用包括诸如调制LED等调制光源的背光。这种背光有时被称为IMLED(单独调制的LED阵列)背光。在一个版本中,每个LED的明亮度(brightness)由8位信号控制,因此每个LED具有256个明亮度级。不是在LCD屏后面具有单个光源,而是根据所示场景中的局部明亮度和对比度以调制方式对多个小区域进行背光照明。
实际上,图像包括一个或多个颜色分量(例如,明度Y以及色度Cb和色度Cr),其中每个颜色分量由每像素n位的精度表示(例如,n=8)。使用线性亮度编码,其中n≤8的图像(例如,彩色24位JPEG图像)被视为标准动态范围的图像,而其中n>8的图像可被视为增强动态范围的图像。EDR和HDR图像也可以使用高精度(例如,16位)浮点格式来存储和分布,诸如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文件格式。
给定显示器的参考电光传递函数(EOTF)表征输入视频信号的颜色值(例如,亮度)与由显示器产生的输出屏幕颜色值(例如,屏幕亮度)之间的关系。例如,ITU Rec.ITU-RBT.1886,“Reference electro-optical transfer function for flat panel displaysused in HDTV studio production(HDTV工作室制作中使用的平板显示器的参考电光传递函数)”(2011年3月)基于阴极射线管(CRT)的测量特性限定了平板显示器的参考EOTF,其内容通过引用以其全文并入本文。给定视频流的情况下,关于其EOTF的信息通常作为元数据嵌入比特流中。如本文所使用的,术语“元数据”涉及作为编码比特流的一部分传输并且辅助解码器呈现解码图像的任何辅助信息。这样的元数据可以包括但不限于颜色空间或色域信息、参考显示参数和辅助信号参数,如本文所描述的那些。
大多数消费类桌面显示器目前支持200到300cd/m2(尼特)的亮度。大多数消费类HDTV的范围从300到500尼特,其中新型号达到1000尼特(cd/m2)。这样的传统显示器因此代表了与HDR或EDR相关的较低动态范围(LDR),也被称为标准动态范围(SDR)。随着HDR内容的可用性由于捕获设备(例如,相机)和HDR显示器(例如,杜比实验室的PRM-4200专业参考监视器)二者的进步而增加,HDR内容可以被颜色分级并被显示在支持更高动态范围(例如,从1,000尼特到5,000尼特或更高)的HDR显示器上。这种显示器可以使用支持高亮度能力(例如,0到10,000尼特)的替代EOTF来限定。这种EOTF的示例在SMPTE ST 2084:2014“HighDynamic Range EOTF of Mastering Reference Displays(主参考显示器的高动态范围EOTF)”中被限定,其内容通过引用以其全文并入本文。总体上,但不限于,本公开的方法涉及高于SDR的任何动态范围。
在这一部分中描述的方法是可以采用的方法,但不一定是之前已经设想到或采用的方法。因此,除非另有指明,否则不应认为这一部分中所述的任何方法仅凭其纳入这一部分就可称为现有技术。类似地,除非另有指明,否则关于一种或多种方法所识别的问题不应认为已基于这一部分在任何现有技术被公认。
发明内容
本文公开了用于调整视频处理曲线的***和方法。在一个实施例中,公开了一种用于对从一组输入图像数据得到的原始曲线应用调整的方法,所述方法包括:接收要调整的一组输入图像数据;从所述一组输入图像数据计算原始曲线;接收调整曲线,所述调整曲线基于期望的图像参数;以及将调整曲线应用于原始曲线以产生结果曲线。
在另一实施例中,公开了一种包括处理器的显示管理单元(DMU),所述处理器在接收到一组输入图像数据时根据以下操作来处理原始曲线:从所述一组输入图像数据计算原始曲线;接收调整曲线,所述调整曲线基于期望的图像参数;以及将调整曲线应用于原始曲线以产生结果曲线。
原始曲线可以是亮度映射曲线或色度映射曲线,即用于将图像数据映射到亮度或色度值以在显示设备上呈现最终图像的指令。调整曲线(其可以由特征为具有多个值的查找表表示)可以基于表示观看环境的环境照明和/或用户偏好的比例因子,使得原始曲线可以表示在环境照明和用户偏好都不可获得的情况下将应用的默认映射参数。
附图说明
当结合附图考虑时,通过参考以下详细描述将容易地获得且更好地理解对本发明及其伴随的许多优点的更完全理解,在附图中:
图1描绘了视频递送流水线的示例过程。
图2描绘了对原始曲线应用调整曲线的一个实施例。
图3描绘了应用图2的调整模块的一个示例。
图4描绘了对原始曲线应用明亮度调整曲线的这个实施例。
图5描绘了对原始曲线应用对比度调整曲线的一个实施例。
图6至图11描绘了可以对示例性原始曲线应用的多个调整处理示例。
具体实施方式
本文描述了各种视频处理调整。在以下说明中,出于解释的目的,阐述了许多具体细节以便提供对本发明的透彻理解。然而,将明显的是,可以在没有这些具体细节的情况下实施本发明。在其他情形中,为了避免不必要的遮挡、模糊或混淆本发明,没有详尽地描述众所周知的结构和设备。
示例视频递送处理流水线(pipeline)
本文描述的许多示例实施例涉及根据若干条件——例如(包括但不限于)环境校正、用户偏好设置等——来调整视频曲线。可以对以下参数中的一个或多个执行这种调整:色调、饱和度、明亮度等。可以在图像流水线递送中的各个点处——例如,在显示管理期间等——执行这些调整。
图1描绘了视频递送流水线(100)的示例过程,其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以被(例如,由数码相机)数字地捕获或者由计算机(例如,使用计算机动画)生成以提供视频数据(107)。可替代地,视频帧(102)可以由胶片摄像机捕获在胶片上。胶片被转换为数字格式以提供视频数据(107)。在制作阶段(110),对视频数据(107)进行编辑以提供视频制作流(112)。
制作流(112)的视频数据然后在块(115)处被提供给处理器以进行后期制作编辑。块(115)后期制作编辑可以包括调整或修改图像的特定区中的颜色或明亮度,以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在块(115)处执行其他编辑(例如,场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本(117)。在后期制作编辑(115)期间,在参考显示器(125)上观看视频图像。
在后期制作(115)之后,可以将最终作品(117)的视频数据递送到编码块(120),以便向下游递送到诸如电视机、机顶盒、电影院等解码和重放设备。在一些实施例中,编码块(120)可以包括诸如由ATSC、DVB、DVD、蓝光和其他递送格式定义的那些音频编码器和视频编码器,以生成编码比特流(122)。在接收器中,编码比特流(122)由解码单元(130)解码,以生成表示信号的完全相同或接近近似版本(117)的经解码信号(132)。接收器可以附接到目标显示器(140),所述目标显示器可以具有与参考显示器(125)完全不同的特性。在这种情况下,显示管理单元(DMU)(135)可以用于通过生成显示器映射信号(137)来将经解码信号(132)的动态范围映射到目标显示器(140)的特性中。
如上所述,在这个视频流水线中可能存在对视频数据应用调整曲线、包括显示管理单元(135)的若干点。应当理解,显示管理单元可以在显示器外部实施或者在显示***内部实施,并且本申请的范围包含这些各种实施例。在一个实施例中,DMU可以包括执行如本文所描述的图像处理算法的处理器和计算机可读存储器——例如,采用如本领域所公知的机顶盒、编解码器的形式。
视频调整概述
在本申请的许多实施例中,公开了用于根据色调、饱和度、明亮度等来调整各种视频曲线的***和方法。调整可以自动地完成——或者根据用户偏好和输入完成。仅举几个示例,可以由于增加的房间照明、屏幕反射率,对视频曲线进行环境校正,也可以针对用户偏好调整来改变例如图像的平均像素亮度或更改饱和度。
图2是根据某个调整参数来调整原始图像曲线的应用的一个实施例。在一个实施例中,这种调整方法可以在视频流水线中的某个点处作为DMU中的调整模块来执行。方法(200)计算一个或多个调整曲线(202)并计算原始曲线(204),并且对原始曲线(206)应用调整曲线。在若干实施例中,原始曲线可以从多个源——例如,图像、视频数据帧、视频中的场景(例如,多个连续的视频数据帧)等——中得到。而且,原始曲线可以是不管任何调整曲线如何都将发生的处理。在一个实施例中,此原始曲线可以是被设计为将图像从一个显示器色调映射到另一个显示器色调的显示曲线。此原始曲线可以由视频流水线中的合适模块和/或处理部件输入和/或以其他方式接收。还应当理解,虽然本申请涉及“原始曲线”,但是“原始曲线”也可以作为一系列数字呈现给合适的模块以供进一步处理——并且可以是或者可以不是字面意义上的曲线。
图3描绘了应用图2的调整模块的一个示例。如所示出的,原始数据被计算为曲线302,并且调整曲线被计算为曲线304。结果组合曲线被示出为曲线306。可以根据一个或多个参数——例如,饱和度、色调映射、1:1映射等——来计算原始曲线。与上文提到的“原始曲线”一样,调整曲线可以从一个或多个图像参数(例如,明亮度、饱和度、对比度等)接收、得到和/或计算,并且可以或者可以不在字面意义上呈现为曲线(例如,调整曲线可以作为得到的一系列数字呈现给合适的模块)。可以应用调整曲线来另外处理超出“原始曲线”中指定的参数的图像。在一个实施例中,此曲线允许在色调映射(色调映射是“原始曲线”)期间应用诸如增加的饱和度等用户偏好。这倾向于提高效率和颜色准确度。可以通过线性或非线性运算(例如,加法、减法、乘法、除法、卷积等)中的一个或多个来执行对原始曲线应用调整曲线。在一个实施例中,期望确保结果组合曲线306应当基本上是单调函数——否则,其可能产生一些奇怪的视觉效果。应当理解,结果曲线可以由合适的模块、DMU等呈现给显示器,以用于图像的最终呈现。与上文的“原始曲线”和“调整曲线”一样,最终结果曲线可以是或者可以不是字面意义上的曲线——而是作为得到的一系列数字呈现给合适的模块、DMU或显示器以用于最终呈现。
应当理解,实施单个结果曲线的一个主要益处是调整的效率和容易性。在一个实施例中,可以采用可互换的函数,所述函数被添加到色调或饱和度映射曲线——从而使得修改更简单。在另一个实施例中,针对速度和效率,曲线还可以实施为一维查找表。这样的实施方式将是高效的,因为可以对调整曲线进行调谐/微调以满足客户要求,而无需对整个算法进行重大改变。
还应当理解,调整的应用可以在***和方法的各种部分处发生,并且不一定遵循如方法中的步骤的任何顺序。仅举一些示例,可以如下对输入图像应用调整曲线:
-还可以对输入参数应用调整曲线;
-可以使用经调整的输入参数来计算经调整的原始曲线;
-可以对调整曲线应用经调整的原始曲线;以及
-可以对输入图像应用经调整的调整曲线。
在不脱离本申请的范围的情况下,这些各种调整可以以任何合适的顺序发生。另外,还可以在处理中的某个点处对元数据进行调整。
应用环境校正的实施例
现在将描述对原始曲线应用环境校正/调整的若干实施例。在一个实施例中,当显示器的周围亮度增加时,如果相对外观要保持一致,则应调整图像。在这个实施例中,可以使用一维函数(例如,其中单一变量是显示器的周围亮度)来应用图像调整。可以首先计算这样的一维函数,并且应用标量。表1是一个实施例
表1——环境校正方法
步骤1:计算调整曲线:
令:
A=缩放为0至1(用ST 2084非线性来编码)的输入像素值。
L=假设的原始适应亮度。
f(x)=ST 2084EOTF(或某个其他EOTF)。
S=基于环境照明的比例因子。
C=要添加到原始曲线的调整曲线
然后,如下计算B和C:
L(原始适应亮度)的典型值可以是5cd/m2。典型的比例因子值的范围为0至10,并且应当与可以从传感器数据得到的环境照明相关或者理论上基于用户偏好。在一些实施例中,B还可以包括巴顿(Barton)对比灵敏度函数。
步骤2:计算原始曲线:
原始曲线可以由先前应用于图像的映射或色调曲线来定义。如果没有先前映射或曲线可用,或者如果没有期望的曲线,则可以使用1:1曲线作为原始曲线。
令:A=缩放为0至1(用ST 2084非线性来编码)的输入像素值。
D=原始曲线,则
D=A
步骤3:对原始曲线应用(添加)调整曲线
令:A=缩放为0至1(用ST 2084非线性来编码)的输入像素值。
E=缩放为0至1(用ST 2084非线性来编码)的输出像素值,则
E=D+C
L和S的实际值可以基于用户偏好、显示能力或环境照明而改变。还可以更改这些等式以便以类似的方式应用各种环境校正查找表。
各种调整曲线的实施例
现在将描述根据某些参数来实施各种调整曲线的若干实施例。许多实施例可以是图2的一般实施例的变型——例如,与环境校正调整曲线相比,更改了调整曲线。
例如,可以基于用户偏好来应用/改变饱和度调整曲线的一个实施例。可以对任何形式的饱和度分量(例如,独立地RGB、或者ICTCP的色度分量CTCP)应用调整曲线。例如,在显示管理算法中,可以使用以下(例如,如在图2中指出的方法中的并且如可以在上文的表1中替换的)等式根据每个像素的强度来修改像素的饱和度:
fs(x)=饱和度比例函数(SaturationScaleFunction)
C′T=CT×fS(I)
C′P=CP×fS(I)
其中,在如2016年7月提交的名称为“Image parameter values for highdynamic range television for use in production and international programmeexchange(用于在制片和国际节目交换中使用的高动态范围电视的图像参数值)”的Rec.ITU-R BT.2100中描述的ICTCP或IPT颜色空间中,CT和CP是源图像的色度分量,并且C'T和C'P是目标图像的色度分量,所述文献通过引用结合在此。
在这个实施例中,可以通过用户偏好或环境调整函数来进一步修改饱和度比例函数(I)(fs(x)),使得新饱和度比例函数(I,j,k)=饱和度比例函数(I)+j*环境比例函数+k*偏好比例函数,
其中,j和k是分别基于周围环境的度量和用户偏好的缩放值,并且环境比例函数和偏好比例函数是如本文所描述的预定曲线或调谐曲线。
明亮度调整曲线的实施例
对于应用调整曲线的又一实施例,以下公开了用于调整原始曲线的明亮度的方法和***。
在一个实施例中,可能期望改变给定图像、场景或节目的平均像素亮度。在这种情况下,可以采用明亮度调整曲线。可以修改这种曲线以改变图像的明亮度,并且可以对任何形式的明亮度分量(例如,独立地RGB、或者诸如ICTCP的I等亮度分量)应用所述曲线。
在一个实施例中,可以在DMU正在应用显示色调映射的时间期间应用调整曲线,并且可以对原始色调映射曲线直接应用调整曲线。另外,如果图像数据可用,则可以使用图像的最小值、均值和最大值来定义类高斯函数。一个这样的实施例可以如下执行:
令:x=缩放为0至1(用ST 2084非线性来编码)的输入像素值
a=基于偏好所请求的明亮度变化
b=均值
c=min(最大值-均值,均值-最小值),则
其中,最小值、均值和最大值表示帧或场景中的最小亮度值、平均亮度值和最大亮度值,并且min(d1,d2)函数输出变量d1与d2之间的最小值。
在一个实施例中,可以基于用户偏好独立地更改变量a、b和c。还可以基于图像的均值而使高斯曲线偏斜,以避免图像中的亮化噪声(brightening noise)。
图4描绘了这个实施例——如通过曲线404来调整原始曲线402,以产生结果组合曲线406。应当注意,最小值、均值和最大值如曲线404所示,并且结果值如曲线406中所映射的。
对比度调整曲线的实施例
正如上文的明亮度和饱和度偏好调整一样,还可以考虑对比度调整曲线。
与其他调整一样,可以应用相同的处理概念——例如,存在某种原始色调映射并且可以应用某个对比度调整曲线。应当理解,合适的对比度调整曲线可以自动地得到(例如,用可能由传感器记录的环境数据),或者可以由用户提供。
图5描绘了对比度调整曲线应用于原始曲线502的一个实施例。应当理解,明亮度曲线与对比度曲线504之间的一个不同之处在于:对比度曲线可能看起来像明亮度曲线的导数(例如,高斯导数)的负值。在一个实施例中,这可以允许增加中点周围的曲线斜率(如所指出的)——但是不改变结果曲线506中的中点处的明亮度。增加斜率可以以不影响明亮度的方式来增加对比度。通过选择调整曲线的宽度和中心,可以优化对图像的效果。
几个处理示例
图6至图11描绘了可以应用于示例性原始曲线602的多个调整处理示例。应当理解,虽然原始曲线602(以及本文描绘的其他原始曲线)可以显示为1:1映射,但是原始曲线可以假设可以是其他形式和/或映射。
曲线702和802分别描绘了示例性明亮度调整曲线和对比度调整曲线。曲线902、1002和1102分别描绘了由明亮度调整、对比度调整、以及明亮度和对比度的组合产生的最终曲线。
如对计算机领域的技术人员显而易见的,可以使用根据本公开的教导编程的传统通用或专用数字计算机或微处理器来方便地实施本发明的各部分。
如对软件领域的技术人员显而易见的,基于本公开的教导,熟练的程序员可以容易地制备适当的软件编码。如基于本公开对本领域技术人员显而易见的,本发明还可以通过制备专用集成电路或通过互连传统部件电路的适当网络来实施。
本发明包括计算机程序产品,所述计算机程序产品是具有存储在其上/其中的指令的存储介质(媒介),所述指令可以用于控制或使计算机执行本发明的任何过程。存储介质可以包括但不限于任何类型的盘(包括软盘、迷你盘(MD’s)、光盘、DVD、HD-DVD、蓝光、CD-ROM、CD或DVD RW+/-、微型驱动器、以及磁光盘)、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备(包括闪存卡、记忆棒)、磁卡或光卡、SIM卡、MEMS、纳米***(包括分子存储器IC)、RAID设备、远程数据存储/存档/仓储、或适用于存储指令和/或数据的任何类型的介质或设备。
本发明包括存储在计算机可读介质(媒介)中的任何一个上的软件,所述软件用于控制通用/专用计算机或微处理器二者的硬件并且用于使计算机或微处理器能够利用本发明的结果与人类用户或其他机构进行交互。这种软件可以包括但不限于设备驱动程序、操作***和用户应用程序。最后,这种计算机可读介质进一步包括用于执行本发明的软件,如上所述。
包括在通用/专用计算机或微处理器的编程(软件)中的是用于实施本发明的教导的软件模块,包括但不限于实施:计算局部调光面板的像素/子像素模糊;计算颜色校正或表征;准备图像信号并将其应用于驱动器和/或其他电子设备以激励显示器中的背光、面板或其他设备;计算亮度值;插值;求平均值;或者基于本文所描述的任何因素来调整亮度,所述因素包括要显示的图像的像素或区域的期望亮度;以及对根据本发明过程的结果的显示、存储或通信。
本发明可以适当地包括、由或基本上由如本文所描述的任何元素(本发明的各个部分或特征)及其等同物构成。进一步地,本文说明性地公开的本发明可以在不存在无论是否为本文具体公开的任何要素的情况下来实践。显然,鉴于以上教导,本发明的许多修改和变型都是可能的。因此,应理解的是,在所附权利要求的范围内,本发明可以按不同于本文具体描述的方式来实践。
可以从以下枚举的示例性实施例(EEE)中理解本发明的各个方面:
EEE 1.一种用于对从一组输入图像数据得到的原始曲线应用调整的方法,所述方法包括:
接收要调整的一组输入图像数据;
根据所述一组输入图像数据来计算原始曲线;
接收调整曲线,所述调整曲线基于期望的图像参数;以及
将所述调整曲线应用于所述原始曲线以生成结果曲线。
EEE 2.根据EEE 1所述的方法,其中,所述一组输入图像数据包括图像、视频数据帧和视频中的场景之一。
EEE 3.根据EEE 1或2所述的方法,其中,根据所述一组输入图像数据来计算原始曲线进一步包括根据一个或多个图像参数来计算原始曲线。
EEE 4.根据EEE 3所述的方法,其中,用于计算原始曲线的一个或多个图像参数包括饱和度参数、色调映射参数和1:1映射参数之一。
EEE 5.根据EEE 1至4中任一项所述的方法,其中,所述调整曲线所基于的期望图像参数包括环境参数、饱和度参数、明亮度参数和对比度参数之一。
EEE 6.根据EEE 5所述的方法,其中,对所述原始曲线应用所述调整曲线包括采用所述调整曲线来对所述原始曲线应用运算。
EEE 7.根据EEE 6所述的方法,其中,所述运算包括加法、减法、乘法、除法和卷积之一。
EEE 8.根据EEE 5至7中任一项所述的方法,其中,所述期望图像参数包括环境参数,并且所述调整曲线计算为:
其中,S包括基于环境照明的比例因子,并且B是取决于输入像素值、假设的原始适应亮度、和基于EOTF的函数的函数。
EEE 9.根据EEE 5至7中任一项所述的方法,其中,所述期望图像参数包括饱和度参数,并且所述调整曲线计算为:
fs(x)=某种饱和度比例函数
C′T=CT×fS(I)
C′P=CP×fS(I)
其中,CT和CP是源图像的色度分量,并且C'T和C'P是目标图像的色度分量并且I是亮度分量。
EEE 10.根据EEE 9所述的方法,其中,饱和度比例函数可以是环境条件和用户偏好之一的函数。
EEE 11.根据EEE 5至7中任一项所述的方法,其中,所述期望图像参数包括明亮度参数,并且所述调整曲线计算为:
其中,x包括输入像素值,a包括基于偏好所请求的明亮度变化,b包括均值,并且c包括min(最大值-均值,均值-最小值)。
EEE 12.根据EEE 5至7中任一项所述的方法,其中,所述期望图像参数包括对比度参数,并且所述调整曲线计算为明亮度曲线的导数的负值。
EEE 13.根据EEE 1至12中任一项所述的方法,其中,所述方法进一步包括:
将所述结果曲线发送到显示器,以便基于所述结果曲线来呈现最终图像。
EEE 14.一种包括处理器的显示管理单元(DMU),所述处理器在接收到一组输入图像数据时根据以下操作来处理所述原始曲线:
根据所述一组输入图像数据来计算原始曲线;
接收调整曲线,所述调整曲线基于期望的图像参数;以及
将所述调整曲线应用于所述原始曲线以生成结果曲线。
EEE 15.根据EEE 14所述的DMU,其中,所述调整曲线所基于的期望图像参数包括环境参数、饱和度参数、明亮度参数和对比度参数之一。
EEE 16.根据EEE 15所述的DMU,其中,对所述原始曲线应用所述调整曲线包括采用所述调整曲线来对所述原始曲线应用运算。
EEE 17.根据EEE 16所述的DMU,其中,所述运算包括加法、减法、乘法、除法和卷积之一。
EEE 18.根据EEE 14至17中任一项所述的DMU,其中,所述DMU将所述结果曲线发送到显示器,以便基于所述结果曲线来呈现最终图像。
EEE 19.根据EEE 18所述的DMU,其中,所述DMU位于所述显示器外部。
EEE 20.根据EEE 18所述的DMU,其中,所述显示器包括所述DMU。

Claims (15)

1.一种用于对从一组输入图像数据得到的原始亮度映射曲线或原始色度映射曲线应用调整的方法,所述方法包括:
接收要调整的一组输入图像数据;
从所述一组输入图像数据计算原始亮度映射曲线和/或原始色度映射曲线;
接收调整曲线,所述调整曲线基于比例因子,该比例因子表示观看环境的环境照明和/或用户偏好;以及
对一条原始映射曲线应用所述调整曲线以产生结果映射曲线,所述结果映射曲线用于基于所述结果曲线来呈现最终图像。
2.根据权利要求1所述的方法,其中,所述一组输入图像数据包括将由观看环境中的显示设备显示的图像、视频数据帧以及视频中的场景之一,其中,所述视频中的场景包括多个连续的视频数据帧。
3.根据权利要求1或2所述的方法,其中,从所述一组输入图像数据计算所述原始亮度映射曲线进一步包括,从一个或多个色调映射参数计算所述原始亮度映射曲线。
4.根据权利要求1至3中任一项所述的方法,其中,从所述一组输入图像数据计算所述原始色度映射曲线进一步包括,从一个或多个饱和度映射参数计算所述原始色度映射曲线。
5.根据权利要求1至4中任一项所述的方法,其中,所述用户偏好包括关于所述最终图像的饱和度、明亮度和对比度之一的用户偏好。
6.根据权利要求1至5中任一项所述的方法,其中,对一条原始曲线应用所述调整曲线包括采用所述调整曲线对所述原始曲线应用运算,其中可选地,所述运算包括加法、减法、乘法、除法和卷积之一。
7.根据权利要求5或权利要求6所述的方法,其中,所述调整曲线计算为:
其中,S是表示环境照明的比例因子,并且B是取决于输入像素值、假设的原始适应亮度、和基于电光传递函数EOTF的函数的函数。
8.根据权利要求5或权利要求6所述的方法,其中,所述调整曲线计算为:
fs(x)=某种饱和度比例函数
C′T=CT×fS(I)
C′P=CP×fS(I)
其中,CT和CP是源图像的色度分量,并且C’T和C’P是目标图像的色度分量并且I是亮度分量,其中可选地,所述饱和度比例函数可以是环境条件和用户偏好之一的函数。
9.根据权利要求5或权利要求6所述的方法,其中,所述调整曲线计算为:
其中,x包括输入像素值,a包括基于用户偏好所请求的明亮度变化,b包括图像、视频数据帧或视频中的场景中的均值,并且c包括图像、视频数据帧或视频中的场景中的min(最大值-均值,均值-最小值)亮度值,其中,所述视频中的场景包括多个连续的视频数据帧。
10.根据权利要求5或权利要求6所述的方法,其中,所述调整曲线计算为 的导数的负值,其中,x包括输入像素值,a包括基于用户偏好所请求的明亮度变化,b包括图像、视频数据帧或视频中的场景中的均值,并且c包括图像、视频数据帧或视频中的场景中的min(最大值-均值,均值-最小值)亮度值,其中,所述视频中的场景包括多个连续的视频数据帧。
11.根据权利要求1至10中任一项所述的方法,其中,所述方法进一步包括:
将所述结果曲线发送到显示器,以便基于所述结果曲线来呈现最终图像。
12.一种包括处理器的显示管理单元DMU,所述处理器在接收到一组输入图像数据时根据以下操作来处理原始亮度映射曲线或原始色度映射曲线:
从所述一组输入图像数据计算原始亮度映射曲线或原始色度映射曲线;
接收调整曲线,所述调整曲线基于比例因子,该比例因子表示观看环境的环境照明和/或用户偏好的比例因子;以及
对所述原始映射曲线应用所述调整曲线以产生结果曲线,以便基于所述结果曲线来呈现最终图像。
13.根据权利要求12所述的DMU,其中,所述用户偏好包括关于所述最终图像的饱和度、明亮度和对比度之一的用户偏好。
14.根据权利要求13所述的DMU,其中,对所述原始曲线应用所述调整曲线包括采用所述调整曲线对所述原始曲线应用运算,其中可选地,所述运算包括加法、减法、乘法、除法和卷积之一。
15.根据权利要求12至14中任一项所述的DMU,其中,所述DMU将所述结果曲线发送到显示器,以便基于所述结果曲线来呈现最终图像。
CN201780076408.9A 2016-12-12 2017-12-07 用于调整高动态范围图像的视频处理曲线的***和方法 Active CN110050292B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662432912P 2016-12-12 2016-12-12
US62/432,912 2016-12-12
EP17152419 2017-01-20
EP17152419.2 2017-01-20
PCT/US2017/065114 WO2018111682A1 (en) 2016-12-12 2017-12-07 Systems and methods for adjusting video processing curves for high dynamic range images

Publications (2)

Publication Number Publication Date
CN110050292A true CN110050292A (zh) 2019-07-23
CN110050292B CN110050292B (zh) 2023-08-01

Family

ID=60788721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780076408.9A Active CN110050292B (zh) 2016-12-12 2017-12-07 用于调整高动态范围图像的视频处理曲线的***和方法

Country Status (4)

Country Link
US (1) US11468547B2 (zh)
EP (1) EP3552178B1 (zh)
JP (1) JP6845946B2 (zh)
CN (1) CN110050292B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698442A (zh) * 2020-06-16 2020-09-22 深圳康佳电子科技有限公司 一种图像对比度调整方法、显示装置及存储介质
CN112686810A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 一种图像处理的方法及装置
CN113222869A (zh) * 2021-05-06 2021-08-06 杭州海康威视数字技术股份有限公司 一种图像处理方法
CN114640799A (zh) * 2020-12-15 2022-06-17 深圳Tcl数字技术有限公司 一种亮度调节方法、装置、存储介质及终端设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628929B2 (en) * 2018-05-28 2020-04-21 Augentix Inc. Method and computer system of image enhancement
JP2023532083A (ja) 2020-06-30 2023-07-26 ドルビー ラボラトリーズ ライセンシング コーポレイション Pqシフトを用いた周囲光補償のためのシステムおよび方法
WO2022203258A1 (ko) * 2021-03-25 2022-09-29 삼성전자주식회사 전자 장치 및 그 제어 방법
US11961206B2 (en) * 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031543A (en) * 1995-09-28 2000-02-29 Fujitsu Limited Image processing apparatus for correcting color space coordinates and method
US20040213457A1 (en) * 2003-04-10 2004-10-28 Seiko Epson Corporation Image processor, image processing method, and recording medium on which image processing program is recorded
CN102420995A (zh) * 2006-10-13 2012-04-18 苹果公司 使用预定色调再现曲线来处理图像的***和方法
CN103155029A (zh) * 2010-09-27 2013-06-12 Ati科技无限责任公司 提供用于动态调整显示器的照明和调整视频像素数据的控制数据以基本上保持图像显示质量同时减少功耗的***和方法
CN103827956A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4310727C2 (de) * 1992-04-06 1996-07-11 Hell Ag Linotype Verfahren und Einrichtung zur Analyse von Bildvorlagen
JP3894302B2 (ja) 2002-03-25 2007-03-22 セイコーエプソン株式会社 画像表示システム、画像処理方法、プログラムおよび情報記憶媒体
JP4033212B2 (ja) * 2003-05-01 2008-01-16 セイコーエプソン株式会社 特定色の色再現を考慮したカラーバランス調整
US7532234B2 (en) * 2003-06-19 2009-05-12 Microsoft Corporation Automatic analysis and adjustment of digital images upon acquisition
KR100592385B1 (ko) * 2003-11-17 2006-06-22 엘지.필립스 엘시디 주식회사 액정표시장치의 구동방법 및 구동장치
KR100555755B1 (ko) * 2004-05-04 2006-03-03 삼성전자주식회사 휘도 히스토그램을 이용한 영상 자동 보정 장치
JP4870665B2 (ja) 2004-06-30 2012-02-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ・コンテンツから導出した周辺光を生成するための知覚規則を用いた支配色抽出
US7982707B2 (en) * 2004-12-02 2011-07-19 Sharp Laboratories Of America, Inc. Methods and systems for generating and applying image tone scale adjustments
US7372507B2 (en) * 2005-02-08 2008-05-13 Texas Instruments Incorporated Real-time content based gamma adjustment for digital video display
US7352410B2 (en) 2005-05-31 2008-04-01 Kolorific, Inc. Method and system for automatic brightness and contrast adjustment of a video source
US7783105B2 (en) * 2006-06-07 2010-08-24 National Semiconductor Corporation Method and system for digitally scaling a gamma curve
KR101248872B1 (ko) * 2006-08-09 2013-03-28 삼성전자주식회사 영상표시장치 및 그의 고화질 제공방법
USRE47534E1 (en) * 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
JP2008286832A (ja) * 2007-05-15 2008-11-27 Funai Electric Co Ltd 液晶表示装置及び液晶テレビジョン
US8593476B2 (en) 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
US8531379B2 (en) 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
US8154753B2 (en) 2008-10-29 2012-04-10 Thx, Ltd. Method and system for providing access to image system services
US8462171B2 (en) * 2009-02-06 2013-06-11 Micrososft Corporation Saturation contrast image enhancement
JP5509729B2 (ja) 2009-08-24 2014-06-04 ソニー株式会社 画像表示装置、画像表示方法及び画像処理装置
US8704859B2 (en) 2010-09-30 2014-04-22 Apple Inc. Dynamic display adjustment based on ambient conditions
WO2013044245A1 (en) 2011-09-23 2013-03-28 Manufacturing Resources International, Inc. System and method for environmental adaptation of display characteristics
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
US9472163B2 (en) 2012-02-17 2016-10-18 Monotype Imaging Inc. Adjusting content rendering for environmental conditions
JP5968070B2 (ja) 2012-05-16 2016-08-10 キヤノン株式会社 色処理装置および色調整方法
US20130329996A1 (en) * 2012-06-10 2013-12-12 Apple Inc. Method and system for auto-enhancing photographs with tonal response curves
US9208749B2 (en) * 2012-11-13 2015-12-08 Htc Corporation Electronic device and method for enhancing readability of an image thereof
US20150070402A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Real-time color calibration of displays
KR101509712B1 (ko) 2013-09-13 2015-04-07 현대자동차 주식회사 디스플레이 장치에서의 빛 반사 방지 방법 및 시스템
CN116320394A (zh) 2014-02-25 2023-06-23 苹果公司 用于视频编码和解码的自适应传递函数
JP6525543B2 (ja) 2014-10-21 2019-06-05 キヤノン株式会社 画像処装置および画像処理方法、並びにプログラム
US9478157B2 (en) 2014-11-17 2016-10-25 Apple Inc. Ambient light adaptive displays
US20180108169A1 (en) * 2016-10-14 2018-04-19 Toshiba Medical Systems Corporation Image rendering apparatus and method
CN110337667B (zh) * 2017-02-15 2023-09-08 杜比实验室特许公司 高动态范围图像的色调曲线映射
US11803947B2 (en) * 2020-03-18 2023-10-31 Intel Corporation Brightness and contrast enhancement for video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6031543A (en) * 1995-09-28 2000-02-29 Fujitsu Limited Image processing apparatus for correcting color space coordinates and method
US20040213457A1 (en) * 2003-04-10 2004-10-28 Seiko Epson Corporation Image processor, image processing method, and recording medium on which image processing program is recorded
CN102420995A (zh) * 2006-10-13 2012-04-18 苹果公司 使用预定色调再现曲线来处理图像的***和方法
CN103155029A (zh) * 2010-09-27 2013-06-12 Ati科技无限责任公司 提供用于动态调整显示器的照明和调整视频像素数据的控制数据以基本上保持图像显示质量同时减少功耗的***和方法
CN103827956A (zh) * 2011-09-27 2014-05-28 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴泽鹏;宣明;贾宏光;朱明超;郭玲玲;刘慧;: "基于最优映射曲线的红外图像动态范围压缩和对比度增强方法", 中国激光, no. 12 *
饶志涛;许廷发;刘子伟;李相民;刘玮煜;: "参数控制的混合色调映射方法", 北京理工大学学报, no. 12 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686810A (zh) * 2019-10-18 2021-04-20 华为技术有限公司 一种图像处理的方法及装置
CN111698442A (zh) * 2020-06-16 2020-09-22 深圳康佳电子科技有限公司 一种图像对比度调整方法、显示装置及存储介质
CN114640799A (zh) * 2020-12-15 2022-06-17 深圳Tcl数字技术有限公司 一种亮度调节方法、装置、存储介质及终端设备
CN113222869A (zh) * 2021-05-06 2021-08-06 杭州海康威视数字技术股份有限公司 一种图像处理方法
CN113222869B (zh) * 2021-05-06 2024-03-01 杭州海康威视数字技术股份有限公司 一种图像处理方法

Also Published As

Publication number Publication date
JP6845946B2 (ja) 2021-03-24
EP3552178A1 (en) 2019-10-16
CN110050292B (zh) 2023-08-01
EP3552178B1 (en) 2022-06-01
US20190362476A1 (en) 2019-11-28
JP2020502707A (ja) 2020-01-23
US11468547B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
CN110050292A (zh) 用于调整高动态范围图像的视频处理曲线的***和方法
US11423523B2 (en) Apparatus and method for dynamic range transforming of images
CN109983530B (zh) 环境光自适应显示管理
US10255884B2 (en) System and method for environmental adaptation of display characteristics
US9685120B2 (en) Image formats and related methods and apparatuses
CN113593499B (zh) 在视频优先级与图形优先级之间转换
KR101446364B1 (ko) 디스플레이를 위한 컬러 그레이딩을 제공하는 방법, 장치 및 시스템
CN103763456A (zh) 用于图像数据变换的方法和装置
US10832636B2 (en) Image processing apparatus, image processing method, and program
US7656462B2 (en) Systems and methods for modifying master film for viewing at different viewing locations
WO2018111682A1 (en) Systems and methods for adjusting video processing curves for high dynamic range images
KR20220143932A (ko) 포화된 색들에 대한 개선된 hdr 색 처리
CN114097237A (zh) Hdr图像的显示优化行为的调整
CN118044189A (zh) 使用元数据编码和解码多意图图像和视频
CN118318243A (zh) 优化hdr图像的显示
CN115699178A (zh) 计算用于编辑hdr内容的动态元数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40005341

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant