CN105850129A - 对高动态范围图像进行色调映射的方法及设备 - Google Patents
对高动态范围图像进行色调映射的方法及设备 Download PDFInfo
- Publication number
- CN105850129A CN105850129A CN201480071212.7A CN201480071212A CN105850129A CN 105850129 A CN105850129 A CN 105850129A CN 201480071212 A CN201480071212 A CN 201480071212A CN 105850129 A CN105850129 A CN 105850129A
- Authority
- CN
- China
- Prior art keywords
- image
- tone
- backlight
- res
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/066—Adjustment of display parameters for control of contrast
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明一般地涉及用于对图像进行色调映射的方法和设备。所述方法的特征在于,其包括:通过用背光图像分割图像,来获得(12)残留图像,所述背光图像根据所述图像来确定(11);以及通过对残留图像进行色调映射,来获得(13)色调映射的图像。
Description
技术领域
本发明一般地涉及图像/视频色调映射。具体地,本发明的技术领域与其像素值属于高动态范围的图像的色调映射相关。
背景技术
本部分旨在向读者介绍技术的各个方面,其可能与下面描述和/或要求保护的本发明的各个方面相关。相信该讨论在向读者提供背景信息以便于更好地理解本发明的各个方面来说是有帮助的。因此,应当理解的是,要从这个角度来阅读这些陈述,而不是作为对现有技术的承认。
低动态范围图像(LDR图像)是利用有限数量的比特(最常见的是8或10)来表示其亮度值的图像。该有限的表示不允许正确呈现小信号变化,特别是在暗的和亮的亮度范围中。在高动态范围图像(HDR图像)中,为了维持信号在其整个范围内的高准确度,信号表示被扩展。在HDR图像中,像素值通常以浮点格式(针对每个分量为32比特或16比特,即浮点或半浮点)来表示,最常见的格式是OpenEXR半浮点格式(每个RGB分量16比特,即,每像素48比特),或者以具有长表示(典型至少16比特)的整数。
本发明所要解决的问题是提供如下的自动或半自动方法,该方法用于将HDR图像色调映射为LDR图像,或者引申开来,将一系列HDR图像色调映射为一系列LDR图像,这是由于逐个图像应用该方法,则。
色调映射方法对以下方面是有用的,例如在传统的LDR兼容的显示器上查看HDR图像,或者在通常在广播场景中进行的双色彩分级方法(dual color-grading approach)中。
典型的,双色彩分级方法包括捕获HDR图像(或一系列图像),对捕获的HDR图像进行色彩分级,并将HDR图像色调映射为然后被色彩分级的LDR图像。
事实上,由于打算显示色调映射的LDR图像,其必须满足与所强调的HDR场景兼容的可视的LDR场景的基本要素。换句话说,色调映射必须至少将空间相干性保留在色调映射的图像中,而在一系列图像的多个色调映射的图像之间的时间相干性、全局亮度相干性(即暗的HDR场景导致暗的LDR场景,反之亦然)、以及在HDR图像和色调映射的图像之间色彩相干性(即色彩分级)也尽可能的保留。
因为是在专业色彩分级的控制下产生的,因而双色彩分级方法能产生LDR图像的最高品质,因此,能保证不会存在自动且***的方法的非受控的、不期望的效果。然而,其需要双倍的后期制作资源,如需要处理两个工作流程,一个针对HDR,一个针对LDR。
其可能无法对所有使用情况都实用,且可能是只有HDR序列已被色彩分级的情况。当然,在这种情况下,因为不是所有客户都配备有用于显示的HDR设备,因而希望获得可视的LDR图像。为了满足这些客户,必须在没有额外的或另外的色彩分级的情况下产生LDR图像,即,通过使用自动色调映射方法来提供具有对所有内容都可接受的质量的LDR图像。
现有技术中存在很多局部或全局色调映射算子,例如可以使用Reinhard定义的色调映射算子(Reinhard,E.,Stark,M.,Shirley,P.,and Ferwerda,J.,"Photographic tonereproduction for digital images,"ACM Transactions on Graphics 21(July 2002))或Boitard,R.、Bouatouch,K.、Cozot,R.、Thoreau,D.&Gruson,A.(2012).Temporalcoherency for video tone mapping.In A.M.J.van Eijk,C.C.Davis,S.M.Hammel,&A.K.Majumdar(Eds.),Proc.SPIE 8499,Applications of Digital Image Processing(p.84990D–84990D–10))。
然而,即使全局色调映射算子能对一系列图像保留时间特性(例如亮度一致性),但是当应用到具有很多动态的一系列HDR图像时,全局色调映射算子可能会显著失效,因为这样的算子不能在表示较低动态上的空间细节的同时而不显著损失锐度。
另一方面,当处理一系列图像时,局部色调映射算子不是有效的,这是因为其是基于局部像素邻域来捕获图像的局部特性,而不保留一系列图像的整个亮度(时间亮度一致性)。因此,通过使用额外的复杂的处理(例如对象追踪或帧缓冲)以应用时间滤波,来获得时间亮度一致性。
发明内容
本发明提出了利用一种对图像进行色调映射的方法来解决现有技术的一些弊端,所述方法的特征在于,包括:
-通过用根据所述图像确定的背光图像来分割所述图像而获得残留图像;以及
-通过对残留图像进行色调映射来获得色调映射的图像。
这提供了可视的色调映射的图像,即,在色调映射的图像相当好地并且与图像中的原始场景相比一致性地艺术呈现了色调映射的场景意义上的图像。因此,该方法是向后兼容的,这是因为可视的色调映射的图像可以由不能处理高动态范围的传统装置来编码/解码和/或显示。
根据实施例,所述色调映射包括根据残留图像的像素值进行伽马校正或SLog校正。
没有损失暗信息和亮信息的伽马校正和SLog校正,产生了具有高精度的色调映射的图像。此外,伽马校正和SLog校正避免了在可视的色调映射的图像中的单调的(flat)剪切区域。
根据实施例,根据图像获得背光图像包括:
-根据图像的亮度分量来获得背光图像;以及
-利用图像的平均亮度值来调制背光图像。
利用图像的平均亮度值来调制背光图像改善了图像和残留图像之间的全局亮度相干性,例如图像中的亮区域在残留图像中显得亮,而图像中的暗区域在残留图像中显得暗。
根据实施例,根据图像获得背光图像还包括:
-在调制背光图像之前,利用其平均值来归一化背光图像。
这允许得到图像的中间灰度一致(mid-gray-at-one)的背光图像。
根据实施例,所述方法还包括缩放色调映射的图像。
这将从色调映射的图像获得的图像的平均灰度赋予了用于查看和可能的编码的足够的值。
根据实施例,所述方法还包括剪切色调映射的图像。
剪切色调映射的图像保证了与传统的基础结构(编解码器、显示器、分配通道等)向后兼容,这是因为需要有限的比特数(典型的为8-10比特)来编码或显示剪切的色调映射的图像。然后,例如,可以通过这样的基础结构传送编码的数据,以在远程显示器上显示图像的低动态范围版本。
根据其各个方面的另一方面,本发明涉及用于对图像进行色调映射的设备。
根据下面的连同附图的优选实施例的说明,本发明的具体本质以及本发明的其它目标、优点、特征和使用将会变得明显。
附图说明
将参照以下图来描述实施例:
图1示出了根据本发明的实施例的用于对图像I进行色调映射的方法的步骤的框图。
图2示出了根据本发明的实施例的方法的步骤的框图。
图3示出了根据本发明的实施例的方法的步骤的框图。
图4示出了根据本发明的实施例的方法的步骤的框图。
图5示出了设备的架构的示例。
具体实施方式
下文中将参照示出了本发明的实施例的附图来更全面地描述本发明。然而,本发明能够以许多替代形式来体现,而不应当被理解为限于此处提出的实施例。因此,虽然本发明易受各种修改和替代形式的影响,但是通过在图中的示例来示出其特定实施例,并且在此会详细描述。然而,应当理解的是,无意将本发明限制于所公开的特定形式,而是与之相反,本发明覆盖落入如权利要求所限定的本发明的精神和范围内的所有修改、等效物以及替代物。贯穿对图的描述,相似的标号指代相似的元素。
在此使用的术语仅出于描述特定实施例的目的,并不旨在限制本发明。如在此使用的,单数形式的“一”、“一个”和“该”意指也包括复数形式,除非上下文清楚地指示不是如此。还要理解的是,术语“包含(comprises)”、“包含(comprising)”、“包括(includes)”和/或“包括(including)”当在本说明书中使用时,指明了所记述的特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其群组的存在或添加。此外,当元件被称为“响应于”或“连接到”另一元件时,它可以直接响应于或连接到其它元件,或者也可以存在中介的元件。相反,当元件被称为“直接响应于”或“直接连接到”其它元件时,不存在中介的元件。如在此使用的,术语“和/或”包括一个或多个相关列举项目的任意和所有组合,并可简写为“/”。
应当理解的是,虽然术语第一、第二等可以在此用来描述各个的元件,但是这些元件不受限于这些术语。这些术语仅用于区分一个元件与另一元件。例如,第一元件可以被称为第二元件,而相似地,第二元件可以被称为第一元件,而不脱离本公开的教导。
虽然一些图包括通信路径上的箭头以示出通信的主要方向,应当理解的是,通信也可以发生在与描绘的箭头相反的方向上。
就框图和操作流程图(其中各个框表示电路元件、模块或者包括一个或多个用于实施指定的逻辑功能的可执行指令的部分代码)描述了一些实施例。还应当注意的是,在其它实施中,在框中示出的功能可不按示出的顺序发生。例如,取决于所涉及的功能,接连示出的两个框可实际基本同时执行,或者有时可按相反顺序执行该些框。
在此提到的“一个实施例”或“实施例”意指连同实施例描述的特定特征、结构或特性能够包括在本发明的至少一个实施中。在说明书中的各处出现短语“在一个实施例中”或“根据实施例”,并不必然都指的是同一实施例,而单独的或替代的实施例也不必然相互排除其它实施例。
在权利要求中出现的参考标号仅是作为例示,而不应对权利要求的范围有限制效果。
虽然没有明确描述,但可以以任意组合或子组合来采用当前的实施例和变型例。
本发明针对编码/解码图像来描述,但是,如下所述,本发明也可以扩展至一系列图像(视频)的编码/解码,这是由于一系列图像(视频)中的每个图像被顺次编码/解码。
图1示出了根据本发明的实施例的用于对图像I进行色调映射的方法的步骤的框图。
在步骤10中,模块IC获得要被色调映射的图像I的亮度分量L以及可能的至少一个色彩分量C(i)。
例如,当图像I属于色彩空间(X,Y,Z)时,由分量Y的变换f(.)来获得亮度分量L,例如L=f(Y)。
当图像I属于色彩空间(R,G,B)时,例如在709色域中,由下面给出的线性组合来获得亮度分量L:
L=0.2127.R+0.7152.G+0.0722.B
在步骤11中,模块BAM根据图像I的亮度分量L来确定背光图像Bal。
根据步骤11的实施例,如图2所图示的,模块BI将背光图像Ba确定为下式给出的形态函数ψi的加权线性组合:
Ba=∑iaiψi (1)
其中ai是加权系数。
因此,根据亮度分量L获得背光图像Ba在于找到最优加权系数(以及如果事先未知,则也可能是最优形态函数)以便使背光图像Ba符合亮度分量L。
有很多众所周知的找到加权系数ai的方法。例如,可以使用最小均方的方法来使背光图像Ba与亮度分量L之间的均方差最小化。
本发明不限于任何具体的方法来获得背光图像Ba。
可能要注意的是,形态函数可以是对显示背光(例如由LED构成,则各个形态函数对应于对一个LED的响应)的真实物理响应或者可以是纯数学构造以尽可能符合亮度分量。
其支撑大小(size of support)及其中心可以是形态函数的一些参数。
例如,如果其支撑很大(几乎无限大),那么仅仅得到恒定的背光图像,并且所产生的色调映射方法于是等效于全局色调映射算子。相反的,对于非常小的支撑,那么所产生的色调映射方法等效于局部色调映射算子,其具有上述的局部色调映射算子的所有弊端。
在实践中,选择形态函数的支撑大小,以得到既不是全局也不是非常局部的色调映射方法,因为其使用局部的但具有大邻域的平滑亮度动态缩减(reduction)。
使用这样的形态函数,允许处理非常高的动态,同时也不牺牲空间细节这是由于其局部支撑性。
根据本实施例,步骤11输出的背光图像Bal是由等式(1)给出的背光图像Ba。
根据步骤11的实施例,如图3所图示的,模块BM利用通过模块HL获得的图像I的平均亮度值Lmean对背光图像Ba(由式(1)给出)进行调制。
根据本实施例,步骤11输出的背光图像Bal是调制的背光图像。
根据实施例,模块HL被配置为对整个亮度分量L计算平均亮度值Lmean。
根据实施例,模块HL被配置为通过下式计算平均亮度值Lmean
其中β是小于1的系数,E(X)是亮度分量L的数学期望值(平均)。
上一实施例是有利的,这是因为其避免了平均亮度值Lmean被少数具有极高值的像素所影响,该影响在图像I属于一系列图像时,通常会导致令人非常讨厌的时间平均亮度不稳定。
本发明不限于用于计算平均亮度值Lmean的具体实施例。
根据本实施例的变型例,如图4所图示的,模块N通过背光图像Ba(由式(1)给出)的平均值E(Ba)来使其归一化,使得得到图像(如果图像I属于一系列图像,则针对所有图像)的中间灰度一致(mid-gray-at-one)的背光图像Bagray:
然后,模块BM被配置为利用图像L的低空间频率版本Llf,通过使用下式来对中间灰度一致的背光图像Bagray进行调制:
Bamod≈cstmod·Llf α·Bagray (2)
其中cstmod是调制系数,α是小于1的另一调制系数,典型的为1/3。
根据该变型例,步骤11输出的背光图像Bal是由式(2)给出的调制的背光图像Bamod。
可能要注意的是,调节调制系数cstmod以得到用于残留图像的好看的亮度,并且该调制系数cstmod高度依赖于获得背光图像的处理。例如,对于通过最小均方获得的背光图像,cstmod≈1.7。
实际上,通过线性化,所有调制背光图像的运算都作为将背光系数ai变换为新的系数的校正因子而应用于背光系数ai,以得到:
在步骤12中,通过用背光图像Bal分割图像,来计算残留图像Res。
更准切地说,用背光图像Bal来分割从模块IC获得的图像I的亮度分量L和可能的每个色彩分量C(i)。逐像素地来进行该分割。
例如,当图像I的分量R、G、或B在色彩空间(R,G,B)中表述时,则如下来获得分量RRes、GRes和BRes:
Rres=R/Bal,Gres=G/Bal,Bres=B/Bal
例如,当图像I的分量X、Y或Z在色彩空间(X,Y,Z)中表述时,则如下来获得分量XRes、YRes和ZRes:
Xres=X/Bal Yres=Y/Bal Zres=Z/Bal
在步骤13中,通过对残留图像Res进行色调映射来获得色调映射的图像Resv。
由于残留图像Res的动态范围过高以及由于该残留图像Res示出了过于明显的伪像,可能出现残留图像Res不可视的情况。对残留图像进行色调映射能够解决这些弊端的至少之一。
本发明不限于任何具体的色调映射算子。
有利地,色调映射算子应当是可逆的,以允许原始HDR图像的重构。
根据步骤13的实施例,对残留图像进行色调映射包括根据残留图像的像素值进行伽马校正或SLog校正。
然后,例如通过下式给出色调映射的图像Resv:
Resv=A.Resγ
其中A是常值,γ是例如等于1/2.4的伽马曲线的系数。
或者,例如通过下式给出色调映射的图像Resv:
Resv=a.ln(Res+b)+c
其中a、b和c是使0和1为不变量所确定的SLog曲线的系数,并且当被低于1的伽马曲线延长时,SLog曲线的导数在1中连续。因此,a、b和c是参数γ的函数。
对残留图像Res应用伽马校正,上拉暗区域,但不会降低足够的高强度光以避免烧灼亮像素(bright pixel)。
对残留图像Res应用SLog校正降低了足够的高强度光但并不上拉暗区域。
那么,根据步骤13的实施例,模块TMO根据残留图像Res的像素值,应用伽马校正或SLog校正。
例如,当残留图像Res的像素值低于阈值(等于1)时,则应用伽马校正,否则应用SLog校正。
通过构造,取决于图像I的亮度,色调映射的图像Resv通常具有差不多接近1的平均值,使得使用上述伽马-SLog组合特别有效。
根据本方法的实施例,在步骤14中,模块SCA通过用缩放因子cstscaling乘以色调映射的图像Resv的每个分量,来对色调映射的图像Resv进行缩放。
然后,由下式给出缩放的色调映射的图像Ress:
Ress=cstscaling·Resv
优选地,定义缩放因子cstscaling在从0到最大值2N-1之间对色调映射的图像Resv的值进行映射,其中N是例如允许作为用于编码器或显示器进行编码的输入的比特数。
当然,这通过将值1(大致为色调映射的图像Resv的平均值)映射到中间灰度值2N-1来获得。因此,对于具有标准比特数N=8的色调映射的图像Resv,等于120的缩放因子是非常相符的值,这是因为非常接近27=128的中性灰度。
根据本方法的实施例,在步骤15中,模块CLI对色调映射的图像Resv进行剪切,以将其动态范围限制到例如根据编码器或显示器的性能定义的目标动态范围TDR。
根据该上一实施例,例如通过根据本方法的实施例的下式给出所产生的残留图像Resc:
Resc=max(2N,Resv)
Resc=max(2N,Ress)
本发明不限于这种剪切(max(.)),而是扩展到任意其他的剪切。
将缩放实施例和剪切实施例相组合,得到通过根据本方法的实施例的下式给出的残留图像Ressc:
Ressc=max(2N,cstscaling*Resv)
或通过Ressc=max(2N,cstscaling*Ress)
上述的色调映射、缩放和剪切是参数化过程。参数可以固定也可以不固定,并且在不固定的情况中,这些参数或其中一些参数可以通过编码器在比特流中对其进行编码和/或传送到远程显示器和/或从本地或远程存储器获得。
可能要注意的是,对例如α、cstmod、cstscaling、γ、β的参数的选择,给出了选择色调映射的余地,其在后期制作和色彩分级中使得内容适合于最遵循的专业品味。同样的,用来生成背光的形态函数的位置和大小是可以选择的其它参数。
另一方面,可以定义通用参数,以被所有的大量各种图像接受。这将导致全自动色调映射,这与当上述参数通过终端用户或任何其它本地或外部手段选择时的半自动参数色调映射相反。
在图1-4中,模块是功能单元,其可与可辨识的物理单元有关,也可无关。例如,这些模块或者其中一些模块可以集合在唯一的组件或电路中,或者对软件的功能有贡献。与此相反,一些模块很有可能由单独的物理实体构成。使用纯硬件,例如使用诸如ASIC(专用集成电路)或FPGA(现场可编程门阵列)或VLSI(超大规模集成电路)等专用硬件,或者根据在设备中嵌入的若干集成电子部件、或者根据硬件部件和软件部件的混合,来实施与本发明兼容的装置。
图5表示可被配置为实施与图1-4相关描述的方法的设备50的示范性架构。
设备50包括通过数据和地址总线51链接在一起的下列元件:
-微处理器52(或CPU),其例如是DSP(数字信号处理器);
-ROM(只读存储器)53;
-RAM(随机存取存储器)54;
-用于从应用接收数据以传送的I/O接口55;以及
-电池56。
根据变型例,电池56在设备的外部。图5的各个元件都被本领域技术人员所熟知,不会进一步公开。在每个提到的存储器中,在说明书中使用的“寄存器”一词可与小容量的区域(一些比特)或非常大的区域(例如整个程序或者接收到的或解码的大量数据)相对应。ROM 53至少包括程序和参数。根据本发明的方法的算法存储在ROM 53中。当接通时,CPU 52上载程序到RAM中并执行相应的指令。
RAM 54包括寄存器中的在设备50接通后由CPU 52执行并上载的程序、寄存器中的输入数据、寄存器中的该方法的不同状态下的中间数据、以及寄存器中的用于执行该方法的其它变量。
在此所描述的实施方式,可以例如在方法或处理、装置、软件程序、数据流或信号中实施。即使上下文中仅讨论了实施的单个形式(例如仅作为方法或设备讨论),但是所讨论的特征的实施也可以以其它形式(例如程序)实施。装置可以例如以合适的硬件、软件和固件来实施。方法可以例如在诸如处理器(一般涉及例如包括计算机、微处理器、集成电路或可编程逻辑器件的处理设备)的装置中实施。处理器还包括诸如例如计算机、手机、便携/个人数字助理(PDA)、以及便于在终端用户之间进行信息通信的其他设备之类的通信设备。
在此描述的各种处理和特征的实施方式,可以在各种不同的装备或应用中实行,特别是例如装备或应用。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、笔记本电脑、个人计算机、手机、PDA、以及其它通信设备。应当清楚的是,该装备可以是可移动的,甚至安装在移动车辆中。
此外,可以通过由处理器进行的指令来实施该方法,这样的指令(和/或由实施方式产生的数据值)可以存储在处理器可读介质中,诸如例如集成电路、软件载体或其它存储设备,诸如例如硬盘、高密度磁盘(CD)、光盘(诸如例如通常指数字化通用盘或数字化视频盘的DVD)、随机存取存储器(RAM)或只读存储器(ROM)。该指令可以形成有形体现在处理器可读介质上的应用程序。该指令可以例如在硬件、固件、软件或其组合中。指令可以存在于例如操作***、单独的应用程序或二者的组合中。因此,处理器的特征可以是例如被配置为执行处理的设备、和包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外,除了指令或者代替指令,处理器可读介质可以存储由实施方式产生的数据值。
对本领域技术人员来说明显的是,实施方式可以产生被格式化为携带例如可以存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令、或由所描述的实施方式之一产生的数据。例如,可以将信号格式化,以携带作为数据的、用于写入或读取所描述的实施例的语法的规则,或者携带作为数据的、由所描述的实施例写入的实际的语法值。这样的信号可以例如被格式化为电磁波(例如使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流以及用编码的数据流调制载波。信号所携带的信息可以例如是模拟信息或数字信息。信号可以通过已知的各种不同的有线或无线链路来传送。信号可以存储在处理器可读介质上。
根据实施例,I/O接口55被配置为接收由关于图1-4描述的方法使用的参数中的至少一个。例如,当使用已知的非自适应形态函数时,参数受限于加权系数ai或但是形态函数ψi也可以是未知的先验的(priori),例如在用于更好拟合的稍微最优的数学构造的情况下。然后,形态函数ψi的支撑大小和位置则可以是参数。伽马曲线的系数γ、β、cstmod、α、缩放因子cstscaling、比特数N,也可以是根据本发明的用于对图像进行色调映射的方法的参数。
这些参数中的一些可以从本地或远程存储器获得,或者由终端用户从设备50的图形界面选择。因此,色调映射方法根据用来获得该方法的参数的方式,可以是自动的或半自动的。
接收到的这些参数中的一些可能已被远程设备编码。那么,设备50包括解码接收到的这些参数的解码器。
已描述了大量实施方式。不过,应当理解的是,可以做出各种修改。例如,不同实施方式的元件可以被组合、补充、修改或移除,以产生其他实施方式。此外,本领域技术人员将理解的是,其它结构和处理可以替代公开的这些结构和处理,并且所产生的实施方式将以至少基本相同的方式执行至少基本相同的功能,以获得与公开的实施方式至少基本相同的结果。因此,这些以及其它实施方式是通过本申请可预期的。
Claims (9)
1.一种用于对图像进行色调映射的方法,其特征在于,所述方法包括:
-通过用根据所述图像确定(11)的背光图像来分割所述图像而获得(12)残留图像;以及
-通过对残留图像进行色调映射来获得(13)色调映射的图像。
2.根据前述权利要求之一所述的方法,其中,色调映射包括根据残留图像的像素值进行伽马校正或SLog校正。
3.根据权利要求1或2所述的方法,其中,根据所述图像获得(11)背光图像包括:
-根据所述图像的亮度分量来获得背光图像;以及
-利用所述图像的平均亮度值(Lmean)来调制背光图像。
4.根据权利要求3所述的方法,其中,根据所述图像获得(11)背光图像还包括:
-在调制所述背光图像之前,利用其平均值来归一化背光图像。
5.根据前述权利要求之一所述的方法,其中,所述方法还包括缩放(14)色调映射的图像。
6.根据前述权利要求之一所述的方法,其中,所述方法还包括剪切(15)色调映射的图像。
7.一种用于对图像进行色调映射的设备,其特征在于,所述设备包括部件:
-通过用根据所述图像确定(BAM)的背光图像来分割所述图像而获得残留图像;以及
-通过对残留图像进行色调映射来获得(TMO)色调映射的图像。
8.一种计算机程序产品,其特征在于,包括当在计算设备上执行程序时用于执行根据权利要求1-6任一项所述的方法的步骤的程序代码的指令。
9.一种承载程序代码的指令的非临时性存储介质,当在计算设备上执行程序时,所述程序代码的指令用于执行根据权利要求1-6任一项所述的方法的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13306886.6 | 2013-12-27 | ||
EP13306886 | 2013-12-27 | ||
PCT/EP2014/079025 WO2015097168A1 (en) | 2013-12-27 | 2014-12-22 | Method and device for tone-mapping a high dynamic range image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105850129A true CN105850129A (zh) | 2016-08-10 |
CN105850129B CN105850129B (zh) | 2019-06-14 |
Family
ID=49955861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480071212.7A Expired - Fee Related CN105850129B (zh) | 2013-12-27 | 2014-12-22 | 对高动态范围图像进行色调映射的方法及设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10003809B2 (zh) |
EP (1) | EP3087740A1 (zh) |
JP (1) | JP6502947B2 (zh) |
KR (1) | KR20160102438A (zh) |
CN (1) | CN105850129B (zh) |
TW (1) | TWI666921B (zh) |
WO (1) | WO2015097168A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112689138A (zh) * | 2019-10-18 | 2021-04-20 | 华为技术有限公司 | 一种图像信号转换处理方法、装置及终端设备 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3107300A1 (en) | 2015-06-15 | 2016-12-21 | Thomson Licensing | Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame |
US9979895B2 (en) * | 2015-09-04 | 2018-05-22 | Disney Enterprises, Inc. | High dynamic range tone mapping |
US10593028B2 (en) * | 2015-12-03 | 2020-03-17 | Samsung Electronics Co., Ltd. | Method and apparatus for view-dependent tone mapping of virtual reality images |
WO2017152398A1 (zh) * | 2016-03-09 | 2017-09-14 | 华为技术有限公司 | 一种高动态范围图像处理方法及装置 |
US10218952B2 (en) | 2016-11-28 | 2019-02-26 | Microsoft Technology Licensing, Llc | Architecture for rendering high dynamic range video on enhanced dynamic range display devices |
US10104334B2 (en) | 2017-01-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content |
US10176561B2 (en) | 2017-01-27 | 2019-01-08 | Microsoft Technology Licensing, Llc | Content-adaptive adjustments to tone mapping operations for high dynamic range content |
US10607047B2 (en) * | 2017-12-06 | 2020-03-31 | Cognex Corporation | Local tone mapping for symbol reading |
CN108053381B (zh) * | 2017-12-22 | 2022-04-22 | 深圳创维-Rgb电子有限公司 | 动态色调映射方法、移动终端及计算机可读存储介质 |
US10957024B2 (en) | 2018-10-30 | 2021-03-23 | Microsoft Technology Licensing, Llc | Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1954344A (zh) * | 2004-04-23 | 2007-04-25 | 布赖特赛德科技有限公司 | 高动态范围图像的编码、解码和表示 |
US20080297460A1 (en) * | 2007-05-31 | 2008-12-04 | Peng Huajun | Method of displaying a low dynamic range image in a high dynamic range |
US7525528B2 (en) * | 2004-11-16 | 2009-04-28 | Sharp Laboratories Of America, Inc. | Technique that preserves specular highlights |
US20110194618A1 (en) * | 2009-03-13 | 2011-08-11 | Dolby Laboratories Licensing Corporation | Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video |
US20110291919A1 (en) * | 2010-05-28 | 2011-12-01 | Sharp Laboratories Of America, Inc. | Off axis halo mitigation |
CN102947876A (zh) * | 2010-06-21 | 2013-02-27 | 杜比实验室特许公司 | 在局部调光显示器上显示图像 |
WO2013046095A1 (en) * | 2011-09-27 | 2013-04-04 | Koninklijke Philips Electronics N.V. | Apparatus and method for dynamic range transforming of images |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040008267A1 (en) | 2002-07-11 | 2004-01-15 | Eastman Kodak Company | Method and apparatus for generating images used in extended range image composition |
US7602369B2 (en) * | 2004-05-04 | 2009-10-13 | Sharp Laboratories Of America, Inc. | Liquid crystal display with colored backlight |
US8026894B2 (en) | 2004-10-15 | 2011-09-27 | Sharp Laboratories Of America, Inc. | Methods and systems for motion adaptive backlight driving for LCD displays with area adaptive backlight |
US7433514B2 (en) * | 2005-07-13 | 2008-10-07 | Canon Kabushiki Kaisha | Tone mapping of high dynamic range images |
US8941580B2 (en) * | 2006-11-30 | 2015-01-27 | Sharp Laboratories Of America, Inc. | Liquid crystal display with area adaptive backlight |
KR20090044292A (ko) * | 2007-10-31 | 2009-05-07 | 삼성전자주식회사 | 표시 장치 및 이의 구동방법 |
JP5491702B2 (ja) * | 2008-03-28 | 2014-05-14 | 株式会社東芝 | 画像表示装置および画像表示方法 |
US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
JP5456050B2 (ja) | 2008-10-14 | 2014-03-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | イメージを生成する方法、並びにそれを用いた装置及びコントローラ |
US8624824B2 (en) * | 2009-03-19 | 2014-01-07 | Sharp Laboratories Of America, Inc. | Area adaptive backlight with reduced color crosstalk |
JP2011013458A (ja) * | 2009-07-02 | 2011-01-20 | Panasonic Corp | 液晶表示装置 |
US8947339B2 (en) * | 2009-12-21 | 2015-02-03 | Sharp Laboratories Of America, Inc. | Noise-compensated LCD display |
US8334911B2 (en) | 2011-04-15 | 2012-12-18 | Dolby Laboratories Licensing Corporation | Encoding, decoding, and representing high dynamic range images |
CN103843032B (zh) | 2012-08-08 | 2016-04-20 | 杜比实验室特许公司 | 用于高动态范围图像的图像处理 |
CN103295194B (zh) | 2013-05-15 | 2015-11-04 | 中山大学 | 亮度可控与细节保持的色调映射方法 |
-
2014
- 2014-12-22 EP EP14819006.9A patent/EP3087740A1/en not_active Withdrawn
- 2014-12-22 KR KR1020167017048A patent/KR20160102438A/ko active Search and Examination
- 2014-12-22 US US15/108,561 patent/US10003809B2/en not_active Expired - Fee Related
- 2014-12-22 CN CN201480071212.7A patent/CN105850129B/zh not_active Expired - Fee Related
- 2014-12-22 JP JP2016542766A patent/JP6502947B2/ja not_active Expired - Fee Related
- 2014-12-22 WO PCT/EP2014/079025 patent/WO2015097168A1/en active Application Filing
- 2014-12-24 TW TW103145095A patent/TWI666921B/zh not_active IP Right Cessation
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1954344A (zh) * | 2004-04-23 | 2007-04-25 | 布赖特赛德科技有限公司 | 高动态范围图像的编码、解码和表示 |
US7525528B2 (en) * | 2004-11-16 | 2009-04-28 | Sharp Laboratories Of America, Inc. | Technique that preserves specular highlights |
US20080297460A1 (en) * | 2007-05-31 | 2008-12-04 | Peng Huajun | Method of displaying a low dynamic range image in a high dynamic range |
US20110194618A1 (en) * | 2009-03-13 | 2011-08-11 | Dolby Laboratories Licensing Corporation | Compatible compression of high dynamic range, visual dynamic range, and wide color gamut video |
US20110291919A1 (en) * | 2010-05-28 | 2011-12-01 | Sharp Laboratories Of America, Inc. | Off axis halo mitigation |
CN102947876A (zh) * | 2010-06-21 | 2013-02-27 | 杜比实验室特许公司 | 在局部调光显示器上显示图像 |
WO2013046095A1 (en) * | 2011-09-27 | 2013-04-04 | Koninklijke Philips Electronics N.V. | Apparatus and method for dynamic range transforming of images |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112689138A (zh) * | 2019-10-18 | 2021-04-20 | 华为技术有限公司 | 一种图像信号转换处理方法、装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3087740A1 (en) | 2016-11-02 |
KR20160102438A (ko) | 2016-08-30 |
US10003809B2 (en) | 2018-06-19 |
TW201537959A (zh) | 2015-10-01 |
CN105850129B (zh) | 2019-06-14 |
US20160345017A1 (en) | 2016-11-24 |
TWI666921B (zh) | 2019-07-21 |
JP2017502353A (ja) | 2017-01-19 |
JP6502947B2 (ja) | 2019-04-17 |
WO2015097168A1 (en) | 2015-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105850129A (zh) | 对高动态范围图像进行色调映射的方法及设备 | |
US9467704B2 (en) | Adaptive ratio images in HDR image representation | |
US9501818B2 (en) | Local multiscale tone-mapping operator | |
KR102380164B1 (ko) | 게이밍 및/또는 sdr+ 콘텐츠에 대한 자동 디스플레이 관리 메타데이터 생성 | |
JP2021521517A (ja) | ニューラルネットワークマッピングを用いるhdr画像表現 | |
JP2018014707A (ja) | 高ダイナミックレンジピクチャをコード化されたビットストリームに符号化/復号する方法および装置 | |
JP7094451B2 (ja) | 再構成関数の補間 | |
CN110717868A (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
JP2017508332A (ja) | ハイダイナミックレンジ画像を符号化する、および/または、ビットストリームを復号するための方法およびデバイス | |
Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
TW201545547A (zh) | 訊框之編碼裝置和解碼裝置 | |
TW201608875A (zh) | 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體 | |
CN110999300A (zh) | 用于图像/视频处理的单通道逆映射 | |
TW201608876A (zh) | 訊框之編碼方法和裝置以及訊框之解碼方法和裝置,電腦程式製品及處理器可讀式媒體和非暫態儲存媒體 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20190917 Address after: Delaware Patentee after: Interactive Digital VC Holding Company Address before: I Si Eli Murli Nor, France Patentee before: Thomson Licensing SA |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190614 Termination date: 20201222 |