CN109544463A - 基于图像内容的逆色调映射方法 - Google Patents
基于图像内容的逆色调映射方法 Download PDFInfo
- Publication number
- CN109544463A CN109544463A CN201811208020.2A CN201811208020A CN109544463A CN 109544463 A CN109544463 A CN 109544463A CN 201811208020 A CN201811208020 A CN 201811208020A CN 109544463 A CN109544463 A CN 109544463A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- hdr
- itm
- tone mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims abstract description 12
- 238000005192 partition Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005316 response function Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理，图像显示技术领域，为提出新的方法，实现自LDR图像更准确的恢复HDR信息，从而在HDR显示设备上显示最佳的真实效果。为此，本发明采取的技术方案是，基于图像内容的逆色调映射方法，基于图像内容，将图像分为高亮区和漫反射区，对不同的区域采用不同的亮度扩展函数，并从普通LDR图像中恢复高动态范围HDR信息，进而在HDR设备上显示。本发明主要应用于图像处理，图像显示场合。
Description
技术领域
本发明涉及图像处理，图像显示技术领域，具体讲,涉及基于图像内容的逆色调映射方法。
背景技术
普通的8比特编码格式的图像若要在高动态范围(High Dynamic Range,HDR)显示设备上显示则无法提供足够的精度，所以需要从普通图像(Lower Dynamic Range，LDR)恢复 HDR信息，这一过程称为逆色调映(inverse tone mapping)，也被称为相机响应函数的反函数(inversion of complete camera response function)。虽然在多曝光融合技术中，恢复相机响应已经有较为成熟的流程。但仅凭单张LDR图像，没有任何拍摄相机信息和参数以及场景信息的情况下，找到合适的相机响应函数就变得十分困难，而这也是大量传统影视资源所面临的情况。所以想要将LDR转换为HDR，就需要逆色调映射技术。
逆色调映射基本步骤是动态范围的扩展。基于合适的逆伽马修正函数或逆色调映射函数或逆相机响应函数，将LDR图像中所有像素值做变换得到线性的像素值，再对线性像素值成比例的拉伸以获得在所显示的HDR设备上的最佳显示效果。Rempel[1]和Masia[2]等人提出简单的用γ＝2.2的逆伽马变换就能得到很好的线性化的像素值，这种变换直接基于伽马修正的反变换。Farid[3]在此基础上提出在缺少相机标定信息时用单张图片可以估计伽马值。 Banterle[4]等人通过色调映射函数的反函数来对LDR像素值线性化，取得了很好的视觉效果，但由于高亮区域的带状伪影动态范围的扩展幅度十分受限，以为色调映射主要是指数函数和 sigmod函数，这些函数对动态范围有很大的抑制作用。Lin[5]提出了对于单个LDR图像，可以基于物体边缘附近的彩色像素的分布来更精确地重建相机响应曲线。
参考文献：
[1]Allan G.Rempel,Matthew Trentacoste,Helge Seetzen,H.David Young,Wolf-gang Heidrich, Lorne Whitehead,and Greg Ward.Ldr2Hdr:On-the-fly reversetone mapping of legacy video and photographs.ACM Transactions on Graphics(Proc.SIGGRAPH),26(3),2007.Article 39.
[2]Belen Masia,Sandra Agustin,Roland W.Fleming,Olga Sorkine,and DiegoGutierrez. Evaluation of reverse tone mapping through varying exposure condi-tions.ACM Transactions on Graphics(Proc.SIGGRAPH Asia),28(5):160:1–160:8,2009.
[3]Hany Farid.Blind inverse gamma correction.IEEE Transactions onImage Processing,pages 1428–1433,2001
[4]Francesco Banterle,Alessandro Artusi,Kurt Debattista,and AlanChalmers.Advanced High Dynamic Range Imaging:Theory and Practice.AK Peters(CRC Press),Natick,MA,USA, 2011.
[5]Stephen Lin,Jinwei Gu,Shuntaro Yamazaki,and Heung-YeungShum.Radio-metric calibration from a single image.Conference on ComputerVision and Pattern Recognition (CVPR’04),02:938–945,2004.
发明内容
为克服现有技术的不足，本发明旨在提出新的算法，实现自LDR图像更准确的恢复HDR 信息，从而在HDR显示设备上显示最佳的真实效果。为此，本发明采取的技术方案是，基于图像内容的逆色调映射方法，基于图像内容，将图像分为高亮区和漫反射区，对不同的区域采用不同的亮度扩展函数，并从普通LDR图像中恢复高动态范围HDR信息，进而在HDR设备上显示。
具体地：
(1)输入LDR图像，根据亮度图像Ld(x,y)，计算分区阈值w，将LDR图像分为高亮和漫射区域；
(2)通过不同的亮度扩展函数Lw(x,y)进行亮度扩展；
如果Ld(x,y)＞w，该区域为高亮区，此时亮度扩展函数为：
Lw(x,y)＝s1w+s2(Ld(x,y)-w)
否则，该区域为漫反射区，此时亮度扩展函数为：
Lw(x,y)＝s1Ld(x,y)
其中,ρ表示漫反射亮度在HDR显示设备亮度的百分比，是由观察者定义的常量；
(3)输出图像即为含有HDR信息的HDR图像。
进一步地，分区阈值w的计算
首先，对亮度图像分别以尺寸为m和尺寸为2m+1的中值滤波器滤波，m＝max(图像宽度，图像高度)/50，并分别计算滤波后图像亮度最大值作为阈值t1,t2；其次以阈值t1,t2的值计算尺寸5*5的掩膜M，以M进行中值滤波；最后计算滤波后图像亮度最最小值作为分区阈值w。
本发明的特点及有益效果是：
基于图像内容，将图像分为高亮区和漫反射区，对不同的区域采用不同的亮度扩展函数，本发明LDR图像或视频通过该算法恢复HDR信息，并在HDR设备上获得了良好视觉效果。
附图说明：
图1本发明整体技术方案。
图2分区阈值w的计算。
具体实施方式
本发明采用基于图像内容的逆色调映射算法，基于图像内容对不同的区域采用不同的线性扩展系数，从而HDR设备上获得最佳的显示效果。
本发明整体的技术方案如图1所示。
(1)输入LDR图像，根据亮度图像(Ld(x,y))，计算分区阈值w，将LDR图像分为高亮和漫射区域；
(2)通过不同的亮度扩展函数(Lw(x,y))进行亮度扩展；
如果Ld(x,y)＞w，该区域为高亮区，此时亮度扩展函数为：
Lw(x,y)＝s1w+s2(Ld(x,y)-w)
否则，该区域为漫反射区，此时亮度扩展函数为：
Lw(x,y)＝s1Ld(x,y)
其中,ρ表示漫反射亮度在HDR显示设备亮度的百分比，是由观察者定义的常量。
(3)输出图像即为含有HDR信息的HDR图像。
进一步地：
(1)分区阈值w的计算
如图2所示，首先，对亮度图像分别以尺寸为m(m＝max(图像宽度，图像高度)/50)和尺寸为2m+1的中值滤波器滤波，并分别计算滤波后图像亮度最大值作为阈值t1,t2。其次以阈值t1,t2的值计算尺寸5*5的掩膜M，以M进行中值滤波。最后计算滤波后图像亮度最最小值作为分区阈值w。
(2)ρ的选择
在亮度扩展时，要考虑漫反射亮度在HDR显示设备亮度的百分比，即ρ。心里学研究表明，人眼观察到在户外场景中，倾向于将小部分的动态范围分配给高亮区域以获得明亮的整体场景，即ρ的值较高，相反在室内场景中更倾向于向高亮区域分配更大的动态范围，即ρ的值较小。
本发明提出了一种基于图像内容的逆色调映射算法，该算法基于图像内容，将图像分为高亮区和漫反射区，对不同的区域采用不同的亮度扩展函数，并从LDR图像中恢复HDR信息，从而HDR设备上获得最佳的显示效果。
Claims (3)
1.一种基于图像内容的逆色调映射方法，其特征是，基于图像内容，将图像分为高亮区和漫反射区，对不同的区域采用不同的亮度扩展函数，并从普通LDR图像中恢复高动态范围HDR信息，进而在HDR设备上显示。
2.如权利要求1所述的基于图像内容的逆色调映射方法，其特征是，具体地：
(1)输入LDR图像，根据亮度图像Ld(x,y)，计算分区阈值w，将LDR图像分为高亮和漫射区域；
(2)通过不同的亮度扩展函数Lw(x,y)进行亮度扩展；
如果Ld(x,y)＞w，该区域为高亮区，此时亮度扩展函数为：
Lw(x,y)＝s1w+s2(Ld(x,y)-w)
否则，该区域为漫反射区，此时亮度扩展函数为：
Lw(x,y)＝s1Ld(x,y)
其中,ρ表示漫反射亮度在HDR显示设备亮度的百分比，是由观察者定义的常量；
(3)输出图像即为含有HDR信息的HDR图像。
3.如权利要求1所述的基于图像内容的逆色调映射方法，其特征是，进一步地，分区阈值w的计算，首先，对亮度图像分别以尺寸为m和尺寸为2m+1的中值滤波器滤波，m＝max(图像宽度，图像高度)/50，并分别计算滤波后图像亮度最大值作为阈值t1,t2；其次以阈值t1,t2的值计算尺寸5*5的掩膜M，以M进行中值滤波；最后计算滤波后图像亮度最最小值作为分区阈值w。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811208020.2A CN109544463A (zh) | 2018-10-17 | 2018-10-17 | 基于图像内容的逆色调映射方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811208020.2A CN109544463A (zh) | 2018-10-17 | 2018-10-17 | 基于图像内容的逆色调映射方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109544463A true CN109544463A (zh) | 2019-03-29 |
Family
ID=65844315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811208020.2A Pending CN109544463A (zh) | 2018-10-17 | 2018-10-17 | 基于图像内容的逆色调映射方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109544463A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021036991A1 (zh) * | 2019-08-30 | 2021-03-04 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
| CN113518185A (zh) * | 2020-12-30 | 2021-10-19 | 腾讯科技（深圳）有限公司 | 视频转换处理方法、装置、计算机可读介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463820A (zh) * | 2014-10-29 | 2015-03-25 | 广东工业大学 | 一种基于频域的反色调映射算法 |
| CN105850114A (zh) * | 2013-12-27 | 2016-08-10 | 汤姆逊许可公司 | 用于图像的逆色调映射的方法 |
| CN108027961A (zh) * | 2015-08-31 | 2018-05-11 | 汤姆逊许可公司 | 用于逆色调映射的方法和装置 |
-
2018
- 2018-10-17 CN CN201811208020.2A patent/CN109544463A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105850114A (zh) * | 2013-12-27 | 2016-08-10 | 汤姆逊许可公司 | 用于图像的逆色调映射的方法 |
| CN104463820A (zh) * | 2014-10-29 | 2015-03-25 | 广东工业大学 | 一种基于频域的反色调映射算法 |
| CN108027961A (zh) * | 2015-08-31 | 2018-05-11 | 汤姆逊许可公司 | 用于逆色调映射的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| LAURENCE MEYLAN ET AL.: "The Reproduction of Specular Highlights on High Dynamic Range Displays", 《IS&T/SID 14TH COLOR IMAGING CONFERENCE (CIC)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021036991A1 (zh) * | 2019-08-30 | 2021-03-04 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
| CN112449120A (zh) * | 2019-08-30 | 2021-03-05 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
| CN112449120B (zh) * | 2019-08-30 | 2022-06-10 | 华为技术有限公司 | 高动态范围视频生成方法及装置 |
| CN113518185A (zh) * | 2020-12-30 | 2021-10-19 | 腾讯科技（深圳）有限公司 | 视频转换处理方法、装置、计算机可读介质及电子设备 |
| CN113518185B (zh) * | 2020-12-30 | 2022-08-05 | 腾讯科技（深圳）有限公司 | 视频转换处理方法、装置、计算机可读介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Contrast enhancement based on layered difference representation of 2D histograms | |
| KR101194481B1 (ko) | 디지털 카메라의 노출 조정 방법, 디지털 이미지의 노출 및톤 스케일 조정 방법 및 필터링 방법 | |
| US8538147B2 (en) | Methods and appartuses for restoring color and enhancing electronic images | |
| US7791652B2 (en) | Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus | |
| US7724952B2 (en) | Object matting using flash and no-flash images | |
| Didyk et al. | Enhancement of bright video features for HDR displays | |
| US8823876B2 (en) | Image processing apparatus | |
| Wang et al. | Variational single nighttime image haze removal with a gray haze-line prior | |
| CN110428371A (zh) | 基于超像素分割的图像去雾方法、***、存储介质及电子设备 | |
| Kinoshita et al. | Automatic exposure compensation using an image segmentation method for single-image-based multi-exposure fusion | |
| TW202044824A (zh) | 影像色彩還原與增強電路 | |
| CN108447059A (zh) | 一种全参考光场图像质量评价方法 | |
| US20220351701A1 (en) | Method and device for adjusting image quality, and readable storage medium | |
| CN109544463A (zh) | 基于图像内容的逆色调映射方法 | |
| Liba et al. | Sky optimization: Semantically aware image processing of skies in low-light photography | |
| TW201208363A (en) | Object color correction method, system and computer program product thereof | |
| US20110058057A1 (en) | Image capture device and method, image processing device and method, and program | |
| CN108550124B (zh) | 一种基于仿生螺线的光照补偿及图像增强方法 | |
| Lee et al. | Image enhancement approach using the just-noticeable-difference model of the human visual system | |
| US8204329B2 (en) | System and method for image quality enhancement by reducing the effects of air pollution and haze | |
| CN105118032B (zh) | 一种基于视觉***的宽动态处理方法 | |
| JP5327766B2 (ja) | デジタル画像における記憶色の修正 | |
| WO2023000868A1 (zh) | 图像处理方法及装置、设备、存储介质 | |
| Zhang et al. | Single image veiling glare removal | |
| CN106651815B (zh) | 用于处理Bayer格式视频图像的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190329 |