CN108027961A - 用于逆色调映射的方法和装置 - Google Patents
用于逆色调映射的方法和装置 Download PDFInfo
- Publication number
- CN108027961A CN108027961A CN201680050153.4A CN201680050153A CN108027961A CN 108027961 A CN108027961 A CN 108027961A CN 201680050153 A CN201680050153 A CN 201680050153A CN 108027961 A CN108027961 A CN 108027961A
- Authority
- CN
- China
- Prior art keywords
- pixel
- brightness
- edge
- extension
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000000926 separation method Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 18
- 230000002708 enhancing effect Effects 0.000 abstract description 18
- 230000006870 function Effects 0.000 description 18
- 230000009467 reduction Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003874 inverse correlation nuclear magnetic resonance spectroscopy Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
提供了一种逆色调映射的方法。该方法包括获得其中亮度与色度分离的色彩空间中的数字图像，确定数字图像中的像素的基本亮度，确定细节增强映射，确定像素扩展指数映射，确定图像的边缘映射，基于边缘映射、像素扩展映射和基本亮度来对图像的亮度进行逆色调映射，以及基于逆色调映射的亮度提供扩展的动态范围图像。
Description
技术领域
本公开涉及色调管理领域，并且具体涉及扩展图像的亮度以匹配高动态范围(HDR)显示的动态范围的问题。本公开具体提出一种降低图像中的噪声的方法，作为扩展处理的一部分。
背景技术
显示技术中的最新进展开始允许要显示的色彩、亮度和对比度的扩展的范围。允许图像内容的亮度或明亮度范围的扩展的技术被称为高动态范围成像，通常缩写为HDR。HDR技术致力于捕获、处理和显示较宽动态范围的内容。
尽管已经出现一些HDR显示设备，并且正在开发能够捕获具有增加的动态范围的图像的图像相机，但是可用的HDR内容仍然非常有限。虽然最新发展保证为期不远的HDR内容的本地(native)捕获，但是它们不处理现有内容。
为了针对HDR显示设备准备传统(在此称为低动态范围的LDR)内容，可以采用反向或逆色调映射算子(ITMO)。这样的算法以恢复或重建原始场景的外观为目的来处理图像内容中的色彩的亮度信息。典型地，ITMO采用传统(即LDR)图像作为输入，以全局方式扩展该图像的色彩的亮度范围，并且随后局部处理高亮部分或明亮区以增强图像中的色彩的HDR外观。
尽管存在若干ITMO解决方案，但是它们关注于在感观上重现原始场景的外观，并且依赖于对内容的严格假设。此外，文献中提出的多数扩展方法朝着动态范围的极端增加而进行优化。
典型地，通过色彩的亮度的暗值与亮值之间的动态范围的扩展结合量化步骤数量的增加来限定HDR成像。为了实现动态范围的更加极端的增加，许多方法将全局扩展与增强图像的高亮部分和其他明亮区的外观的局部处理步骤相结合。文献中提出的已知全局扩展步骤从逆S形变化到线性或分段线性。
为了增强图像中明亮的局部特征，已知创建亮度扩展映射，其中使用某个函数将图像的每个像素与扩展值相关联以适用于该像素的亮度。
亮度扩展步骤增加图像中的对比度，使其更适于HDR显示。然而通常，同时该步骤增加图像中的噪声或伪影的对比度，使得这样的伪影更加明显，并且因此令观看者更加烦恼。为此，可能期望对图像进行去噪。如果在ITMO之前或之后作为单独的处理来应用现有去噪处理，则将需要许多附加计算。
本公开与2014年12月02日提交的标题为“METHOD FOR INVERSE TONE MAPPING ANIMAGE”的公开申请WO2015096955密切相关，该申请通过引用并入本文。与该文件相比，本发明主要适配扩展处理，以便于以在计算上高效的方式来降低图像中的噪声，从而使附加处理最小化。
发明内容
本公开涉及使用在WO2015096955中描述的核心算法中已经存在的组件但以降低图像中的噪声的方式扩展或重塑亮度信息的技术，无需过多新的处理步骤。
本发明的主题是一种用于从数字图像提供扩展的动态范围图像的方法，所述数字图像由与在将亮度与色度分离的色彩空间中表示的色彩相关联的像素限定，所述方法包括：
对所述图像的像素的亮度值进行逆色调映射，以及，
基于逆色调映射的亮度值提供扩展的动态范围图像，
其中对至少一个像素的亮度值进行逆色调映射是基于代表数字图像中的所述至少一个像素周围的边缘和/或梯度的信息。
这意味着根据图像中的该至少一个像素周围的相邻内容将该至少一个像素的亮度逆色调映射。
优选地，代表所述至少一个像素周围的边缘和/或梯度的所述信息M(p)是通过边缘检测器算法对围绕所述至少一个像素的像素的应用而获得的。
优选地，这些围绕的像素被定义为属于以所述至少一个像素为中心的块。
优选地，所述边缘检测器算法被应用于所述围绕的像素的低通滤波亮度值。
优选地，所述像素的逆色调映射包括将所述像素的扩展指数值E(p)应用于所述像素的亮度值Y(p)。
优选地，基于代表至少一个像素周围的边缘和/或梯度的信息的该至少一个像素的逆色调映射包括将所述至少一个像素的扩展指数值应用于所述至少一个像素的低通滤波亮度和亮度的加权组合，其中分配给所述低通滤波亮度的权重与代表所述至少一个像素周围的边缘和/或梯度的值成正比，其中分配给所述亮度的权重与代表所述至少一个像素周围的边缘和/或梯度的所述值成反比。
优选地，所述加权组合是加权和。
优选地，代表所述至少一个像素周围的边缘和/或梯度的值高于或等于阈值τ。
优选地，该方法包括将所述像素的逆色调映射的亮度值与所述像素的缩放的色度值组合。
本发明的主题还是一种用于从数字图像提供扩展的动态范围图像的装置，所述数字图像由与在将亮度从色度分离的色彩空间中表示的色彩相关联的像素限定，所述装置包括处理单元，所述处理单元被配置为实现以上方法。该处理单元包括一个或多个处理器。
本发明的主题还是一种非临时性计算机可读介质，其存储可执行以执行以上方法的计算机可执行指令。
在一个实施例中，提供了一种逆色调映射的方法。该方法包括获得其中亮度与色度分离的色彩空间中的数字图像，确定数字图像中的像素的基本亮度，确定细节增强映射，确定像素扩展指数映射，确定图像的边缘映射，基于边缘映射、像素扩展映射和基本亮度来对图像的亮度进行逆色调映射，以及基于逆色调映射的亮度提供扩展的动态范围图像。
优选地，基本亮度是通过对数字图像中的像素的亮度进行低通滤波而确定的。
优选地，逆色调映射是基于边缘映射的阈值。
优选地，提供扩展的动态范围图像还包括将逆色调映射的亮度与缩放的色度组合。
在另一实施例中，提供了一种用于逆色调映射的装置。该装置包括储存器、存储器和处理器。储存器用于存储视频内容。存储器用于存储用于处理的数据。处理器与储存器和存储器进行通信。处理器被配置为获得其中亮度与色度分离的色彩空间中的数字图像，确定数字图像中的像素的基本亮度，确定细节增强映射，确定像素扩展指数映射，确定图像的边缘映射，基于边缘映射、像素扩展映射和基本亮度来对数字图像的亮度进行逆色调映射，以及基于逆色调映射的亮度提供扩展的动态范围图像。
在另一实施例中，提供了一种存储计算机可执行指令的非临时性计算机可读介质。该指令可执行以执行包括以下的方法：获得其中亮度与色度分离的色彩空间中的数字图像，确定数字图像中的像素的基本亮度，确定细节增强映射，确定像素扩展指数映射，确定图像的边缘映射，基于边缘映射、像素扩展映射和基本亮度来对图像的亮度进行逆色调映射，以及基于逆色调映射的亮度提供扩展的动态范围图像。
附图说明
通过阅读以非限制性示例的方式给出的以下描述并参考附图，将更清楚地理解本发明，在附图中：
图1描绘了根据实施例的可以实现具有降噪的逆色调映射的***的示意框图。
图2描绘了根据实施例的用于实现具有降噪的逆色调映射方法的电子设备的示意框图。
图3描绘了根据实施例的具有降噪的逆色调映射的方法的示例性流程图。
图4描绘了根据实施例的用于实现具有降噪的逆色调映射方法的模块的示意框图。
图5A和图5B是示出使用不同的块大小对噪声滤波的影响的屏幕截图。
图6A和图6B是示出不同阈值对噪声滤波的影响的屏幕截图。
具体实施方式
可以通过使用专用硬件以及能够与适当的软件相关联的执行软件的硬件来提供图中所示的各种元素的功能。
现在转到图1，描绘了鉴于本公开的用于在逆色调映射中实现降噪的***100的实施例的框图。***100包括图像源110、图像处理120和显示器130。下面将更详细地讨论这些中的每一个。
图像源110可以是广播源、相机、服务器或其他存储设备，诸如硬盘驱动器、闪速储存器、磁带、光盘等。图像源110将诸如数字图像112之类的低动态范围(LDR)内容提供给像处理120。数字图像112可以以任何数量的格式和分辨率。
内容处理120是将数字图像从低动态范围(LDR)转换到高动态范围(HDR)的位置。这涉及如在此阐述的包括降噪的逆色调映射算子(ITMO)。图像处理120将HDR图像122输出到显示器130。
显示器130可以是电视机、个人电子设备等，其能够显示由内容处理120提供的高动态范围(HDR)图像。
图2描绘了可以用于实现针对具有降噪的逆色调映射的方法和***的示例性电子设备200。电子设备200包括一个或多个处理器210、存储器220、储存器230以及网络接口240。下面将更详细地讨论这些元件中的每一个。
处理器210控制电子设备200的操作。处理器210运行软件，该软件操作电子设备并且提供本公开中阐述的LDR到HDR转换的功能。处理器210连接到存储器220、储存器230和网络接口240，并且负责这些元件之间的信息的传送和处理。处理器210可以是通用处理器或专用于特定功能的处理器。在某些实施例中，可以有多个处理器。
存储器220是存储要由处理器执行的指令和数据的位置。存储器220可以包括易失性存储器(RAM)、非易失性存储器(EEPROM)或其他合适的介质。
储存器230是存储由处理器在执行内容分析中使用和产生的数据的位置。储存器可以是磁性介质(硬盘驱动器)、光学介质(CD/DVD-Rom)或基于闪存的储存器。鉴于本公开的益处，其他类型的合适的储存器对于本领域技术人员将是显然的。
网络接口240负责电子设备200通过网络与其他设备的通信。合适的网络的示例包括以太网网络、支持Wi-Fi的网络、蜂窝网络等。鉴于本公开的益处，其他类型的合适的网络对于本领域技术人员将是显然的。
应理解的是，图2中阐述的元件是说明性的。电子设备200可以包括任何数量的元件，并且某些元件可以提供其他元件的部分功能或全部功能。鉴于本公开的益处，其他可能的实现方式对于本领域的技术人员将显然的。
要理解的是，可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现本发明。术语“处理器”不应被解释为排他地指代能够执行软件的硬件，并且可以隐式地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性储存器。所公开的概念可以尤其实现为硬件和软件的组合。此外，软件可以实现为有形地体现在程序存储单元上的应用程序。这样的软件可以采取要集成到另一软件的插件的形式。应用程序可以上传到包括任何合适的架构的图像处理设备并由其执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件的计算机平台上实现图像处理设备。计算机平台还可以包括操作***和微指令代码。在此描述的各种处理和功能可以是微指令代码的一部分或者应用程序的一部分，或者其任何组合，其可以由CPU执行。此外，各种其他***单元可以连接到计算机平台，诸如附加数据存储单元、显示设备、打印单元…实现根据本发明的方法的实施例的图像处理设备可以是能够接收图像的任何电子设备(例如电视机、机顶盒、网关、蜂窝电话、平板)的一部分。
图3描绘了根据一个实施例的用于逆色调映射的降噪的处理的流程图300。流程图300包括以下阶段：获得数字图像310，确定基本亮度320，确定细节增强映射330，确定像素扩展映射340，确定边缘映射350，逆色调映射360以及提供扩展动态范围图像370。下面将结合图4更详细地讨论这些步骤中的每一个。
图4描绘了用于使用本公开的逆色调映射算子的降噪扩展来执行低动态范围到高动态范围转换的模块的框图400。这些模块包括RGB->YUV转换模块410，低通滤波模块420，高通滤波模块430，扩展映射模块440，边缘映射模块452，逆色调映射模块450，细节增强模块460，色彩饱和度模块470，图像重组模块480以及RGB转换模块490。
返回参考图3，如上所述，从图像源110获得(310)数字图像112。本公开的技术要求数字图像112处于亮度与色度分离的色彩空间中。如果数字图像112不在这样的色彩空间中，则可以将其转换到这样的色彩空间。
例如，可以在显示设备的RGB色彩空间中提供数字图像112。该RGB色彩空间可以被标准化，并且对应的显示设备可以是虚拟显示设备。在这种情况下，将表示数字图像112的色彩的接收到的RGB色彩坐标转换到将亮度与色度分离的色彩空间，例如YUV色彩空间。从RGB色彩空间到YUV色彩空间的这种色彩转换本身是已知的，因此不进行详细描述。可以代替使用任何其他的将亮度与色度分离的色彩空间，如XYZ、Yxy、CIE Lab。因此，亮度值Y(p)和两个色度值U(p)、V(p)与数字图像112的任何像素p的色彩相关联。由图4的RGB->YUV转换模块410来提供该功能。
使用低通滤波模块420，确定亮度Y(p)的低通滤波版本，在此称为基本亮度Ybase(p)(图3的阶段320)。例如，可以在像素p的空间邻域中以及在亮度值Y(p)的邻域中，基于一个或多个高斯函数，将低通滤波应用于原始LDR数字图像112的每个像素p的亮度Y(p)。例如，可以通过以下等式确定Ybase(p)：
Ybase(p)＝∑i∈Ω，Y(pi)f′s(||pi-p||)f′r(||Y(pi)-Y(p)||) (1)
其中f′s是应用在图像的空间域上的第一高斯函数，
f′r是应用在亮度范围域上的第二高斯函数，
Ω′是以像素p为中心的图像的窗口的大小，以及
pi是该窗口中的像素。
在各种实施例中，窗口大小可以是例如5或7。较小的窗口大小值可以允许更好的计算效率。在该示例中，低通滤波是双边的，这是指这里在空间和亮度范围域中都执行滤波的情况。
在各种实施例中，第一高斯函数f′s的标准偏差σs的值可以大于或等于2。在各种实施例中，第二高斯函数f′r的标准偏差σr的值可以足够高以使原始LDR图像112中的纹理和噪声平滑，但是足够低以避免图像的对象之间的边缘交叉。在各种实施例中，标准偏差σr的值可以在0.1max(Y)和0.5max(Y)之间，其中max(Y)是原始图像的所有像素上的最大亮度值。在各种实施例中，可以将空间高斯函数f′s的标准偏差设置为σs＝3，并且可以将亮度范围高斯函数f′r的标准偏差设置为σr＝0.3×max(Y)。
可以将所确定的基本亮度(图3的阶段320)Ybase(p)提供给高通滤波模块430。也可以将Ybase(p)提供给扩展映射模块440。下面更详细地描述两个模块。
高通滤波模块430被配置为从基本亮度Ybase(p)和/或亮度Y(p)中提取数字图像112中的高频细节，以基于Ybase(p)和Y(p)确定亮度细节增强映射Ydetail(p)(图3的阶段330)。
例如，在各种实施例中，可以通过首先确定以下来确定Ydetail(p)：
Y′base(p)＝∑i∈Ω"Y(pi)f"s(||pi-p||)f"r(||Y(pi)-Y(p)||)
其中f″s和f″r是与以上(f′s，f′r)相同的高斯函数，但是在亮度范围中具有较大的标准偏差，以便于去除图像中更多的亮度细节，
Ω″是以像素p为中心的图像的窗口的大小，其可以具有与以上相同的大小，以及
pi是该窗口中的像素。
可以通过以与确定Ybase(p)类似的方式对Y(p)进行滤波来确定Y′base(p)，但是使用去除更多的亮度细节的参数。例如，在各种实施例中，可以将空间高斯函数f″s的标准偏差设置为使得σ″s＝σ′s，并且可以设置亮度范围高斯函数f″r的标准偏差，以去除图像中更多的亮度细节，即使得σ″r>σ′r。例如，可以将σ″r设置为等于0.3×max(Y)。
然后，高通滤波模块430可以将亮度细节增强Ydetail(p)确定为例如Ybase(p)和Y′base(p)的比率：
Ydetail(p)＝Ybase(p)/Y′base(p) (24)
然后，数字图像112上的Ydetail(p)的不同值形成亮度细节增强映射。因为σ″r>σ′r，所以该比率对应于数字图像112中的亮度值的高空间频率的提取，即对应于该图像的高通滤波。在不脱离本公开的情况下，可以使用图像中的亮度值的高空间频率的提取的其他方式，并且更一般地可以使用形成亮度细节增强映射Ydetail(p)的其他方式。
扩展映射模块440可以基于Ybase(p)确定扩展指数映射E(p)(图3的阶段340)。扩展指数映射E可以是图像大小的浮点映射，其中每个值表示要被应用于原始LDR图像112中的每个像素的Y(p)的指数。扩展指数映射可以例如基于二次函数，诸如：
E＝a(Ybase)2+b(Ybase)+c (2)
其中二次函数的系数a、b和c可以是基于HDR显示器130的最大显示亮度Lmax如下确定的参数：
a＝pa1exp(pa2Lmax)+pa3exp(pa4Lmax) (3)
b＝pb1Lmax pb2+pb3 (4)
c＝1.3 (5)
以上等式中使用的参数例如可以如下设置：pa1＝-8.192e-7，pa2＝0.000312，pa3＝1.657e-5，pa4＝-0.0006967，pb1＝0.05941，pb2＝0.03135，以及pb3＝-0.07579。
以此方式，例如，扩展指数映射E的形状可以根据最大显示亮度而改变，从而允许在不需要来自用户的输入的情况下控制图像外观的全局方式。
在不脱离本发明的情况下，可以使用基于Ybase(p)和/或Y(p)确定扩展指数映射E(p)的其他方式。例如可以针对不同的亮度区域(诸如阴影区域、中间色调区域和高亮区域)分别确定这样的映射。在这些不同的亮度区域中分别确定该映射之后，可以使用任何插值均值从特定于每个亮度区域的映射获得整个扩展指数映射。
可以将扩展指数映射E(p)提供给逆色调映射器模块450，其中可以基于E(p)将原始LDR图像112的每个像素p的亮度Y(p)逆色调映射成扩展亮度Yexp(p)。在各种实施例中，Yexp(p)237可以是提高到扩展指数E(p)的值的像素的亮度Y(p)。
如在提供图4A的逆色调映射器模块450中包括的模块的详细视图的图4B上可以看出的，逆色调映射器模块是执行本公开的去噪的位置。
由于扩展是通过指数函数完成的，所以Y中的噪声和其他伪影将不可避免地被放大。尽管如上所示，通过使用低滤波亮度Ybase来计算扩展指数E，这个问题可以在一定程度上得到管理，但是在某种情况下(特别是在存在胶片颗粒的情况下)，该放大足够强到影响由图像处理120提供的HDR图像的视觉质量。为了避免这种情况，亮度扩展步骤适配于基于可以单独计算的边缘映射来执行去噪效果。应注意的是，该处理应是可选的和可控的，因为它经常可能使艺术家希望保留更多细节的区域平滑。
这里描述的去噪方法旨在降低噪声和颗粒的可见性，而不会使图像细节和边缘过度平滑。该方法的关键思想是，对于数字图像112的每个像素p，我们可以根据该像素周围的相邻内容来在扩展该像素的亮度Y或低通滤波亮度Ybase之间选择。通过分析p周围的像素块，我们可以确定该像素是否属于平滑区域或者它是否在该图像112中的边缘附近。如果该区域是平滑的，则我们可以使用低通滤波亮度Ybase作为亮度扩展的输入，而不损失细节。另一方面，如果附近存在边缘，则我们扩展未滤波亮度Y以避免使边缘平滑。
边缘映射模块452提供去噪的第一步骤，边缘映射M的计算(图3的阶段350)，其使用低通滤波亮度Ybase的基于块的分析而获得。这可以有效地被视为简单的边缘检测器，并且使用具有Sobel滤波器或等同物的卷积可以获得类似结果。然而，要注意的是，在滤波之后，我们取响应的幅度并忽略符号。
例如，对于图像的低通版本Ybase中的每个像素p，我们考虑具有例如大小b×b的像素p周围的像素块Bp。在该像素块内，我们可以如下计算数字图像112中的边缘映射：
要注意的是，根据该公式，优选地对低通滤波亮度层Ybase而不是对未滤波亮度层Y执行分析。其原因在于，低通滤波亮度层Ybase已被滤波，使得噪声和颗粒应被大部分去除。因此，该边缘检测器将仅响应于足够强以度过上述高斯低通滤波步骤(步骤320)的图像细节和边缘。如果块Bp内存在边缘，则M(p)的值将较高，并且如果块Bp对应于平滑区域，则M(p)的值将较低，这允许我们决定如何在下一步中应用扩展，例如如下所示。这意味着与边缘映射中的像素p有关的值M(p)代表数字图像112中的该像素周围的边缘和/或梯度，尤其是在以该像素为中心的块中。
用于计算边缘映射M(p)的块的大小b可以用作参数。较大的块将使去噪更加保守，因为更远离的边缘和细节将被计数，但是它们也将使用更多的计算资源，因为针对每个块评估更多的像素。图5A和图5B示出了改变块大小的影响。在图5A中，块大小是b＝5。在图5B中，块大小是b＝15。
可以使用任何其他已知的边缘检测算法来代替用于计算边缘映射的以上等式。这样的边缘映射被视为数字图像112的每个像素周围的边缘和/或梯度的代表。
在从前一步获得边缘映射M(p)之后，我们可以使用该边缘映射来指导亮度的逆色调映射(图3的阶段360)，以便去除一些噪声。这里，对于图像112的任何像素p，代替将扩展指数E(p)直接应用于该像素的亮度Y(p)，为了针对具有高于阈值τ的边缘水平M(p)的任何像素p得到扩展亮度Yexp(p)，我们将扩展指数E(p)应用于图像亮度Y(p)和低通滤波亮度Ybase(p)的加权组合。在该加权组合中，像素p的低通滤波亮度Ybase(p)的权重α与代表该像素周围的边缘和/或梯度的值M(p)成正比，并且同一像素p的未滤波亮度Y(p)的权重(1-α)与代表该像素p周围的边缘和/或梯度的同一值M(p)成反比。例如，该组合是下面的加权和：
其中α优选为：
其中阈值τ例如等于10。
较低的阈值将使去噪更加保守，因为它将只适用于真正平滑的区域，而较高的阈值将允许更一般地应用去噪，但是它也将使图像细节更加平滑。例如参见图6A和图6B中的图像。
可以将扩展亮度Yexp(p)提供给细节增强模块460。细节增强模块460可以通过应用该像素的亮度细节增强Ydetail(p)来增强像素p的扩展亮度Yexp(p)。例如，可以基于扩展亮度与由高通滤波模块430提供的亮度细节增强的乘积来确定增强的扩展亮度Y′exp(p)，例如：
Y′exp(p)＝Y(p)E(p)×[Ydetail(p)]d
其中d是细节增强参数。该细节增强参数d可以控制由亮度细节映射Ydetail(p)应用的细节增强的量。例如，增加d的值会增加图像边缘的对比度。在各种实施例中，可以使用d＝1.5的值。
当如上所述扩展原始LDR图像的亮度时，亮度和对比度改变可以影响图像中的色彩和饱和度的外观。在这点上，可以通过色彩饱和度模块470来调整图像的色彩信息。例如，可以使用色彩饱和度模块470来相对于图像的色彩保存艺术意图。在各种实施例中，可以使用扩展指数值作为指导来增强色彩的饱和度。更具体地说，可以基于像素的区域扩展指数映射E(p)来增强每个像素的色彩的饱和度。
例如，可以通过调整像素的色度值C(p)来增强像素p的色彩的饱和度。色度值可以在YUV空间的圆柱形版本中如下确定：
可以将调整后的色度值C′(p)确定为像素p的区域扩展指数映射E(p)与像素的色度值C(p)的乘积：
C′(p)＝E(p)x C(p)
在各种实施例中，将C(p)变换成C′(p)的色度缩放可以被限制为1.5的因子，以避免使高亮部分过度饱和，例如以避免光爆和明亮光。
利用这些新的C′(p)的值，增强的色度值U′(p)和V′(p)241可以通过从圆柱形色彩空间(这里诸如LCH)转换到YUV空间来计算：
U′(p)＝cos[H(p)]×C′(p)
V′(p)＝sin[(H(p)]×x C′(p)
其中H(p)是如下从原始U(p)和V(p)计算的原始色相：
H(p)＝arctan[V(p),U(p)]
图像重组器模块480可以将增强的色度值U′(p)和V′(p)241与增强的扩展亮度Y′exp(p)239组合以获得并提供扩展的HDR图像122，即数字图像112的高动态版本。
可以在HDR显示设备130上显示扩展的HDR图像122。当然，本领域技术人员将理解的是，在显示之前，扩展的HDR图像可能需要转换到显示设备的色彩空间中，诸如RGB。在本实施例中，其由RGB转换模块490负责。
模块460、470、480、490的组合提供具有扩展的动态范围的图像(图3的阶段370)。如图1所示，基于这些扩展色彩的扩展图像122现在准备发送到具有其峰值亮度Lmax的显示设备130，以便于在高动态范围内再现。在图6A和图6B中可以看到使用不同阈值的这样的输出的示例。
在图6A中，使用阈值τ＝50来确定Yexp，得到降低的噪声，但是也使细节(例如图像底部的面部)平滑。相反，如果使用小的阈值来确定Yexp，如图6B(τ＝5)，则细节和噪声都更明显。然而，在两种情况下，雕塑(sculpture)与背景之间的锐利边缘都保持锐利。
虽然关于具体示例和优选实施例描述了本发明，但是要理解的是，本发明不限于这些示例和实施例。因此，所要求保护的本发明包括根据在此描述的具体示例和优选实施例的变型，如对于本领域技术人员显然的。虽然可以分别描述和要求保护一些具体实施例，但是要理解的是，可以组合使用在此描述和要求保护的实施例的各种特征。权利要求中出现的参考标号仅仅是作为说明并且对权利要求的范围没有限制作用。
Claims (9)
1.一种从数字图像(112)提供扩展的动态范围图像的方法，所述数字图像由与在将亮度(Y)从色度分离的色彩空间中表示的色彩相关联的像素限定，所述方法包括：
对所述图像的像素的亮度值Y(p)进行逆色调映射(360)，以及，
基于逆色调映射的亮度值提供(106)扩展的动态范围图像(122)，
其中对至少一个像素的亮度值Y(p)进行逆色调映射(360)是基于代表数字图像中的所述至少一个像素周围的边缘和/或梯度的信息M(p)。
2.根据权利要求1的提供扩展的动态范围图像的方法，其中代表所述至少一个像素周围的边缘和/或梯度的所述信息M(p)是通过边缘检测器算法对围绕所述至少一个像素的像素的应用而获得的。
3.根据权利要求2的提供扩展的动态范围图像的方法，其中所述边缘检测器算法被应用于所述围绕的像素的低通滤波亮度值Ybase(p)。
4.根据权利要求1至3中任一项的提供扩展的动态范围图像的方法，其中像素的所述逆色调映射包括将所述像素的扩展指数值E(p)应用于所述像素的亮度值Y(p)。
5.根据权利要求4的提供扩展的动态范围图像的方法，其中基于代表所述至少一个像素周围的边缘和/或梯度的信息M(p)的该至少一个像素的逆色调映射(360)包括将所述至少一个像素的扩展指数值E(p)应用于所述至少一个像素的低通滤波亮度Ybase(p)和亮度Y(p)的加权组合，其中分配给所述低通滤波亮度Ybase(p)的权重与代表所述至少一个像素周围的边缘和/或梯度的值M(p)成正比，其中分配给所述亮度Y(p)的权重与代表所述至少一个像素周围的边缘和/或梯度的所述值M(p)成反比。
6.根据权利要求5的提供扩展的动态范围图像的方法，其中所述组合是加和。
7.根据权利要求6的提供扩展的动态范围图像的方法，其中代表所述至少一个像素周围的边缘和/或梯度的值M(p)高于或等于阈值τ。
8.一种从数字图像提供扩展的动态范围图像的装置，所述数字图像由与在将亮度(Y)从色度分离的色彩空间中表示的色彩相关联的像素限定，所述装置包括处理单元，所述处理单元被配置为实现根据权利要求1至7中任一项所述的方法。
9.一种非临时性计算机可读介质，其存储可执行以执行根据权利要求1至7中任一项所述的方法的计算机可执行指令。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306337.5 | 2015-08-31 | ||
| EP15306337 | 2015-08-31 | ||
| PCT/EP2016/070059 WO2017036908A1 (en) | 2015-08-31 | 2016-08-25 | Method and apparatus for inverse tone mapping |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108027961A true CN108027961A (zh) | 2018-05-11 |
| CN108027961B CN108027961B (zh) | 2021-11-23 |
Family
ID=54148447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680050153.4A Active CN108027961B (zh) | 2015-08-31 | 2016-08-25 | 用于从数字图像提供扩展的动态范围图像的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10572983B2 (zh) |
| EP (1) | EP3345155B1 (zh) |
| JP (1) | JP6803378B2 (zh) |
| KR (1) | KR102523505B1 (zh) |
| CN (1) | CN108027961B (zh) |
| WO (1) | WO2017036908A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544463A (zh) * | 2018-10-17 | 2019-03-29 | 天津大学 | 基于图像内容的逆色调映射方法 |
| CN109785263A (zh) * | 2019-01-14 | 2019-05-21 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
| CN112866507A (zh) * | 2021-01-13 | 2021-05-28 | 中国传媒大学 | 智能化的全景视频合成方法、***、电子设备及介质 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6237797B2 (ja) * | 2016-01-05 | 2017-11-29 | ソニー株式会社 | ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター |
| EP3319013A1 (en) * | 2016-11-03 | 2018-05-09 | Thomson Licensing | Method and device for estimating cast shadow regions and/or highlight regions in images |
| US10096089B2 (en) * | 2017-01-04 | 2018-10-09 | Facebook, Inc. | Accelerated skin smoothing effect |
| EP3418972A1 (en) * | 2017-06-23 | 2018-12-26 | Thomson Licensing | Method for tone adapting an image to a target peak luminance lt of a target display device |
| EP3462743A1 (en) | 2017-09-27 | 2019-04-03 | Thomson Licensing | Device and method for dynamic range expansion in a virtual reality scene |
| KR102460390B1 (ko) * | 2018-01-24 | 2022-10-28 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 |
| CN112689137B (zh) * | 2019-10-18 | 2022-05-10 | 华为技术有限公司 | 一种视频信号处理方法及装置 |
| CN112200753B (zh) * | 2020-10-30 | 2023-02-10 | 青岛海泰新光科技股份有限公司 | 一种图像宽动态范围的处理方法 |
| WO2023094871A1 (en) * | 2021-11-29 | 2023-06-01 | Weta Digital Limited | Increasing dynamic range of a virtual production display |
| KR102564447B1 (ko) * | 2021-11-30 | 2023-08-08 | 엘지전자 주식회사 | 디스플레이 장치 |
| CN114187204A (zh) * | 2021-12-14 | 2022-03-15 | 成都微光集电科技有限公司 | 黑边优化的图像处理方法及其装置、设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120201456A1 (en) * | 2009-10-08 | 2012-08-09 | International Business Machines Corporation | Transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image |
| CN102722868A (zh) * | 2012-05-23 | 2012-10-10 | 西安理工大学 | 一种高动态范围图像色调映射方法 |
| CN103069809A (zh) * | 2010-08-25 | 2013-04-24 | 杜比实验室特许公司 | 扩展图像动态范围 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8721565D0 (en) * | 1987-09-14 | 1987-10-21 | Rca Corp | Video signal processing system |
| US4967263A (en) * | 1988-09-07 | 1990-10-30 | General Electric Company | Widescreen television signal processor system with interpolator for reducing artifacts |
| US5343254A (en) * | 1991-04-25 | 1994-08-30 | Olympus Optical Co., Ltd. | Image signal processing device capable of suppressing nonuniformity of illumination |
| GB2357649A (en) * | 1999-12-22 | 2001-06-27 | Nokia Mobile Phones Ltd | Image enhancement using inverse histogram based pixel mapping |
| US7002408B2 (en) | 2003-10-15 | 2006-02-21 | Varian Medical Systems Technologies, Inc. | Data signal amplifier and processor with multiple signal gains for increased dynamic signal range |
| US7525583B2 (en) * | 2005-02-11 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Decreasing aliasing in electronic images |
| US7613363B2 (en) * | 2005-06-23 | 2009-11-03 | Microsoft Corp. | Image superresolution through edge extraction and contrast enhancement |
| US8155454B2 (en) * | 2006-07-20 | 2012-04-10 | Qualcomm Incorporated | Method and apparatus for encoder assisted post-processing |
| US8253752B2 (en) * | 2006-07-20 | 2012-08-28 | Qualcomm Incorporated | Method and apparatus for encoder assisted pre-processing |
| US7933445B2 (en) * | 2007-01-09 | 2011-04-26 | Sharp Laboratories Of America, Inc. | Color gamut mapping/enhancement technique using skin color detection |
| US8050496B2 (en) * | 2007-01-09 | 2011-11-01 | Sharp Laboratories Of America, Inc. | Color gamut mapping/enhancement technique using skin color detection |
| US8131110B2 (en) * | 2008-07-03 | 2012-03-06 | Seiko Epson Corporation | Reducing signal overshoots and undershoots in demosaicking |
| US8238654B2 (en) * | 2009-01-30 | 2012-08-07 | Sharp Laboratories Of America, Inc. | Skin color cognizant GMA with luminance equalization |
| US8314847B2 (en) | 2010-05-25 | 2012-11-20 | Apple Inc. | Automatic tone mapping curve generation based on dynamically stretched image histogram distribution |
| KR101972748B1 (ko) | 2011-09-27 | 2019-08-16 | 코닌클리케 필립스 엔.브이. | 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법 |
| WO2013106190A1 (en) | 2012-01-09 | 2013-07-18 | Dolby Laboratories Licensing Corporation | Hybrid reference picture reconstruction method for single and multiple layered video coding systems |
| JP6461165B2 (ja) | 2013-12-27 | 2019-01-30 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 画像の逆トーンマッピングの方法 |
| EP3105926B1 (en) | 2014-02-13 | 2018-04-11 | Dolby International AB | Piecewise inter-layer prediction for signals with enhanced dynamic range |
| CN104463820A (zh) * | 2014-10-29 | 2015-03-25 | 广东工业大学 | 一种基于频域的反色调映射算法 |
-
2016
- 2016-08-25 US US15/755,505 patent/US10572983B2/en active Active
- 2016-08-25 CN CN201680050153.4A patent/CN108027961B/zh active Active
- 2016-08-25 KR KR1020187005157A patent/KR102523505B1/ko active IP Right Grant
- 2016-08-25 EP EP16757023.3A patent/EP3345155B1/en active Active
- 2016-08-25 JP JP2018510794A patent/JP6803378B2/ja active Active
- 2016-08-25 WO PCT/EP2016/070059 patent/WO2017036908A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120201456A1 (en) * | 2009-10-08 | 2012-08-09 | International Business Machines Corporation | Transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image |
| CN103069809A (zh) * | 2010-08-25 | 2013-04-24 | 杜比实验室特许公司 | 扩展图像动态范围 |
| CN102722868A (zh) * | 2012-05-23 | 2012-10-10 | 西安理工大学 | 一种高动态范围图像色调映射方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544463A (zh) * | 2018-10-17 | 2019-03-29 | 天津大学 | 基于图像内容的逆色调映射方法 |
| CN109785263A (zh) * | 2019-01-14 | 2019-05-21 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
| CN109785263B (zh) * | 2019-01-14 | 2022-09-16 | 北京大学深圳研究生院 | 一种基于Retinex的逆色调映射图像转换方法 |
| CN112866507A (zh) * | 2021-01-13 | 2021-05-28 | 中国传媒大学 | 智能化的全景视频合成方法、***、电子设备及介质 |
| CN112866507B (zh) * | 2021-01-13 | 2023-01-10 | 中国传媒大学 | 智能化的全景视频合成方法、***、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3345155B1 (en) | 2019-06-26 |
| JP6803378B2 (ja) | 2020-12-23 |
| US20180253834A1 (en) | 2018-09-06 |
| CN108027961B (zh) | 2021-11-23 |
| US10572983B2 (en) | 2020-02-25 |
| KR20180048627A (ko) | 2018-05-10 |
| EP3345155A1 (en) | 2018-07-11 |
| KR102523505B1 (ko) | 2023-04-18 |
| WO2017036908A1 (en) | 2017-03-09 |
| JP2018527675A (ja) | 2018-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108027961A (zh) | 用于逆色调映射的方法和装置 | |
| CN105850114B (zh) | 用于图像的逆色调映射的方法 | |
| US8559744B2 (en) | Method for processing a digital object and related system | |
| US7983511B1 (en) | Methods and apparatus for noise reduction in digital images | |
| US11625815B2 (en) | Image processor and method | |
| JP5105209B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| Safonov et al. | Adaptive image processing algorithms for printing | |
| US20140072242A1 (en) | Method for increasing image resolution | |
| US20110285871A1 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
| JP2008503192A5 (zh) | ||
| KR102567860B1 (ko) | 개선된 역 톤 매핑 방법 및 대응하는 디바이스 | |
| EP2130175A2 (en) | Edge mapping incorporating panchromatic pixels | |
| CN110706162A (zh) | 一种图像处理方法、装置及计算机存储介质 | |
| WO2013161111A1 (ja) | 画像評価装置、画像選択装置、画像評価方法、記録媒体、ならびに、プログラム | |
| EP2421239B1 (en) | Image processing apparatus and method for applying film grain effects | |
| US11544830B2 (en) | Enhancing image data with appearance controls | |
| JP6335614B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| CN110140150B (zh) | 一种图像处理方法、装置以及终端设备 | |
| CN117575969B (zh) | 一种红外图像画质增强方法、装置、电子设备及存储介质 | |
| US20210366086A1 (en) | Method for image processing, image signal processor in terminal device | |
| XI | Inpainting for Over-Exposed Photographs | |
| Kaur | Report On Pyramidal Enhancement Algorithm for Air Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190919 Address after: Delaware, USA Applicant after: Interactive Digital VC Holding Company Address before: Icelemulino, France Applicant before: Thomson Licensing Company |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210127 Address after: Fa Guobali Applicant after: Interactive Digital Madison Patent Holdings Address before: Delaware, USA Applicant before: Interactive Digital VC Holdings |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |