KR102523505B1 - 역 톤 매핑을 위한 방법 및 장치 - Google Patents

역 톤 매핑을 위한 방법 및 장치 Download PDF

Info

Publication number
KR102523505B1
KR102523505B1 KR1020187005157A KR20187005157A KR102523505B1 KR 102523505 B1 KR102523505 B1 KR 102523505B1 KR 1020187005157 A KR1020187005157 A KR 1020187005157A KR 20187005157 A KR20187005157 A KR 20187005157A KR 102523505 B1 KR102523505 B1 KR 102523505B1
Authority
KR
South Korea
Prior art keywords
edge
value
pixel
luminance
slope
Prior art date
Application number
KR1020187005157A
Other languages
English (en)
Other versions
KR20180048627A (ko
Inventor
타니아 포울리
요나단 케르베끄
세드릭 테볼트
Original Assignee
인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 filed Critical 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Publication of KR20180048627A publication Critical patent/KR20180048627A/ko
Application granted granted Critical
Publication of KR102523505B1 publication Critical patent/KR102523505B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G06T5/008
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

역 톤 매핑을 위한 방법이 제공된다. 방법은 색차에서 휘도가 분리되는 색 공간에서 디지털 이미지를 획득하는 단계, 디지털 이미지에서 화소의 기본 휘도를 결정하는 단계, 디테일 향상 맵을 결정하는 단계, 화소 확장 지수 맵을 결정하는 단계, 이미지의 에지 맵을 결정하는 단계, 에지 맵, 화소 확장 맵 및 기본 휘도를 기반으로 이미지를 역 톤 매핑하는 단계, 및 역 톤 매핑된 휘도를 기반으로 확장된 다이나믹 레인지 이미지를 제공하는 단계를 포함한다.

Description

역 톤 매핑을 위한 방법 및 장치
본 개시는 톤 관리 분야, 특히 하이 다이나믹 레인지(high dynamic range, HDR) 디스플레이의 다이나믹 레인지와 일치하도록 이미지의 휘도를 확장시키는 문제에 관한 것이다. 본 개시는 특히 확장 프로세스의 일부로서 이미지에서 노이즈를 줄이기 위한 방법을 제안한다.
디스플레이 기술의 최근 발전으로 인해 확장된 범위의 색, 휘도 및 대비가 디스플레이되기 시작하였다. 이미지 콘텐츠의 휘도 또는 명도 범위를 확장할 수 있는 기술은 보통 HDR로 축약되는 하이 다이나믹 레인지 이미징으로 알려져 있다. HDR 기술은 더욱 넓은 다이나믹 레인지의 콘텐츠를 캡처하고, 처리하며 디스플레이하는 것에 초점을 맞춘다.
많은 HDR 디스플레이 장치가 등장하였고, 증가된 다이나믹 레인지로 이미지를 캡쳐할 수 있는 이미지 카메라가 개발되고 있지만, 여전히 이용 가능한 HDR 콘텐츠는 매우 제한적이다. 최근의 개발은 가까운 미래에 HDR 콘텐츠의 네이티브 캡처(native capture)를 약속하지만 기존의 콘텐츠를 다루지는 않는다.
HDR 디스플레이 장치를 위한 종래의(로우 다이나믹 레인지로서 LDR이라 함) 콘텐츠를 준비하기 위해, 리버스(reverse) 또는 역 톤 매핑 기법(inverse tone mapping operator, ITMO)이 사용될 수 있다. 이러한 알고리즘은 원래 장면의 외관을 복원하거나 재현하기 위해 이미지 콘텐트의 색의 휘도 정보를 처리한다. 일반적으로, ITMO는 종래의(즉, LDR) 이미지를 입력으로 사용하고, 이 이미지의 색의 휘도 범위를 전역적인(global) 방식으로 확장한 후, 하이라이트 또는 밝은 영역을 국소적으로 처리하여 이미지에서 색의 HDR 외관을 향상시킨다.
여러 ITMO 솔루션이 존재하지만, 이들은 원래 장면의 외관을 지각적으로 재현하는 것에 초점을 맞추고 콘텐츠에 대한 엄격한 추정에 의존한다. 또한, 문헌에서 제안된 대부분의 확장 방법은 다이나믹 레인지의 극단적인 증가에 대해 최적화된다.
일반적으로, HDR 이미징은 양자화(quantization) 단계의 수의 증가와 결합된, 색의 휘도의 어두운 값과 밝은 값 간의 다이나믹 레인지의 확장에 의해 형성된다. 다이나믹 레인지의 더욱 극단적인 증가를 달성하기 위해, 많은 방법이 이미지의 하이라이트 및 다른 밝은 영역의 외관을 향상시키는 국소 처리 단계와 전역적 확장을 결합한다. 문헌에서 제안된 공지된 전역적 확장 단계는 역 시그모이드(inverse sigmoid)에서 선형 또는 구분적 선형(piecewise linear)까지 다양하다.
이미지에서 밝은 국소적 특징을 향상시키기 위해, 휘도 확장 맵을 생성하는 것이 알려져 있으며, 이미지의 각각의 화소는 확장 값과 관련되어 일부 함수를 사용하여 이 화소의 휘도에 적용된다.
휘도 확장 단계는 이미지에서 대비를 증가시켜 HDR 디스플레이에 더욱 적합하도록 한다. 그러나 동시에 이 단계는 종종 이미지에서 아티팩트 또는 노이즈의 대비를 증가시켜 이러한 아티팩트를 더욱 눈에 보이게 함으로써 시청자에게 더욱 많은 방해가 된다. 이를 위해, 이미지에서 노이즈를 제거하는 것이 바람직할 수 있다. 기존의 노이즈 제거 프로세스가 ITMO의 전후에 별도의 프로세스로 적용되면 많은 추가 계산이 필요하다.
본 개시는 2014년 12월 2일 출원된 "이미지의 역 톤 매핑을 위한 방법"이라는 제목의 공개 공보 WO2015096955와 밀접하게 관련되어 있다. 이 문헌과 비교하여, 본 발명은 주로 계산적으로 효율적인 방식으로 이미지에서 노이즈를 줄이기 위해 확장 프로세스를 채택함으로써 추가 처리를 최소화한다.
본 개시는, WO2015096955에 기술된 핵심 알고리즘에 이미 존재하는 성분을 사용하지만, 너무 많은 새로운 처리 단계를 필요로 하지 않으면서, 이미지에서 노이즈를 줄이는 방식으로 휘도 정보를 확장 또는 재구성하는 기술에 관한 것이다.
본 발명의 주제는, 색차(chrominance)에서 휘도(luminance)를 분리하는 색 공간에서 표현되는 색과 관련된 화소에 의해 형성되는 디지털 이미지로부터 확장된 다이나믹 레인지 이미지를 제공하기 위한 방법이며, 방법은,
상기 이미지의 화소의 휘도 값을 역 톤 매핑하는 단계, 및
역 톤 매핑된 휘도 값을 기반으로 확장된 다이나믹 레인지 이미지를 제공하는 단계를 포함하고,
적어도 하나의 화소의 휘도 값을 역 톤 매핑하는 단계는 디지털 이미지에서 상기 적어도 하나의 화소 주변의 에지(edge) 및/또는 기울기(gradient)를 나타내는 정보를 기반으로 한다.
이는 이러한 적어도 하나의 화소의 휘도가 이미지에서 이러한 적어도 하나의 화소 주변의 이웃하는 콘텐츠에 따라 역 톤 매핑된다는 것을 의미한다.
바람직하게, 상기 적어도 하나의 화소 주변의 에지 및/또는 기울기를 나타내는 상기 정보(M(p))는 상기 적어도 하나의 화소 주변의 화소에 에지 검출기(edge detector) 알고리즘을 적용함으로써 얻어진다.
바람직하게, 이들 주변 화소는 상기 적어도 하나의 화소를 중심으로 하는 블록에 속하는 것으로 정의된다.
바람직하게, 상기 에지 검출기 알고리즘은 상기 주변 화소의 저역 통과 필터링된 휘도 값에 적용된다.
바람직하게, 화소를 역 톤 매핑하는 상기 단계는 상기 화소의 휘도 값(Y(p))에 상기 화소의 확장 지수 값(E(p))을 적용하는 단계를 포함한다.
바람직하게, 적어도 하나의 화소 주변의 에지 및/또는 기울기를 나타내는 정보를 기반으로 하는 상기 적어도 하나의 화소를 역 톤 매핑하는 단계는 저역 통과 필터링된 휘도와 상기 적어도 하나의 화소의 휘도의 가중 조합(weighted combination)에 상기 적어도 하나의 화소의 확장 지수 값을 적용하는 단계를 포함하고, 상기 저역 통과 필터링된 휘도에 할당된 가중치는 상기 적어도 하나의 화소 주변의 에지 및/또는 기울기를 나타내는 값에 비례하고, 상기 휘도에 할당된 가중치는 상기 적어도 하나의 화소 주변의 에지 및/또는 기울기를 나타내는 상기 값에 반비례한다.
바람직하게, 상기 가중 조합은 가중 합(weighted sum)이다.
바람직하게, 상기 적어도 하나의 화소 주변의 에지 및/또는 기울기를 나타내는 값은 임계값(τ)보다 크거나 같다.
바람직하게, 방법은 상기 화소의 역 톤 매핑된 휘도 값을 상기 화소의 스케일링된(scaled) 색차 값과 결합하는 단계를 포함한다.
본 발명의 주제는 또한 상기 방법을 구현하도록 구성된 처리 장치를 포함하는, 색차에서 휘도를 분리하는 색 공간에서 표현되는 색과 관련된 화소에 의해 형성되는 디지털 이미지로부터 확장된 다이나믹 레인지 이미지를 제공하기 위한 장치이다. 이 처리 장치는 하나 또는 여러 개의 프로세서로 구성된다.
본 발명의 주제는 또한 상기 방법을 수행하도록 실행 가능한 컴퓨터 실행 가능 명령어를 저장하는 비-일시적 컴퓨터 판독 가능 매체이다.
일 실시형태에서, 역 톤 매핑을 위한 방법이 제공된다. 방법은 색차에서 휘도가 분리되는 색 공간에서 디지털 이미지를 획득하는 단계, 디지털 이미지에서 화소의 기본 휘도를 결정하는 단계, 디테일 향상 맵(detail enhancement map)을 결정하는 단계, 화소 확장 지수 맵(pixel expansion exponent map)을 결정하는 단계, 이미지의 에지 맵(edge map)을 결정하는 단계, 에지 맵, 화소 확장 맵 및 기본 휘도를 기반으로 이미지를 역 톤 매핑하는 단계, 및 역 톤 매핑된 휘도를 기반으로 확장된 다이나믹 레인지 이미지를 제공하는 단계를 포함한다.
바람직하게, 기본 휘도는 디지털 이미지에서 화소의 휘도를 저역 통과 필터링함으로써 결정된다.
바람직하게, 역 톤 매핑 단계는 에지 맵에 대한 임계값을 기반으로 한다.
바람직하게, 확장된 다이나믹 레인지 이미지를 제공하는 단계는 역 톤 매핑된 휘도를 스케일링된 색차와 결합하는 단계를 더 포함한다.
또 다른 실시형태에서, 역 톤 매핑을 위한 장치가 제공된다. 장치는 저장 장치, 메모리 및 프로세서를 포함한다. 저장 장치는 비디오 콘텐츠를 저장하기 위한 것이다. 메모리는 처리할 데이터를 저장하기 위한 것이다. 프로세서는 저장 장치 및 메모리와 통신한다. 프로세서는 색차에서 휘도가 분리되는 색 공간에서 디지털 이미지를 획득하고, 디지털 이미지에서 화소의 기본 휘도를 결정하고, 디테일 향상 맵을 결정하고, 화소 확장 지수 맵을 결정하고, 이미지의 에지 맵을 결정하고, 에지 맵, 화소 확장 맵 및 기본 휘도를 기반으로 이미지를 역 톤 매핑하며, 역 톤 매핑된 휘도를 기반으로 확장된 다이나믹 레인지 이미지를 제공하도록 구성된다.
또 다른 실시형태에서, 컴퓨터 실행 가능 명령어를 저장하는 비-일시적 컴퓨터 판독 가능 매체가 제공된다. 명령어는, 색차에서 휘도가 분리되는 색 공간에서 디지털 이미지를 획득하는 단계, 디지털 이미지에서 화소의 기본 휘도를 결정하는 단계, 디테일 향상 맵을 결정하는 단계, 화소 확장 지수 맵을 결정하는 단계, 이미지의 에지 맵을 결정하는 단계, 에지 맵, 화소 확장 맵 및 기본 휘도를 기반으로 이미지를 역 톤 매핑하는 단계, 및 역 톤 매핑된 휘도를 기반으로 확장된 다이나믹 레인지 이미지를 제공하는 단계를 포함하는 방법을 수행하도록 실행 가능하다.
본 발명은 첨부된 도면을 참조하여 비-제한적인 예로서 주어진 다음의 설명을 읽음으로써 더욱 명확하게 이해될 것이다, 도면에서:
도 1은 일 실시형태에 따른 노이즈 감소를 포함하는 역 톤 매핑이 구현될 수 있는 시스템의 개략적인 블록도를 도시한다.
도 2는 일 실시형태에 따른 노이즈 감소를 포함하는 역 톤 매핑 방법을 구현하기 위한 전자 장치의 개략적인 블록도를 도시한다.
도 3은 일 실시형태에 따른 노이즈 감소를 포함하는 역 톤 매핑 방법의 예시적인 흐름도를 도시한다.
도 4는 일 실시형태에 따른 노이즈 감소를 포함하는 역 톤 매핑의 방법을 구현하기 위한 모듈의 개략적인 블록도를 도시한다.
도 5A 및 5B는 노이즈 필터링을 위해 다양한 블록 크기를 사용하는 효과를 도시하는 스크린 샷이다.
도 6A 및 도 6B는 노이즈 필터링을 위한 다양한 임계값의 영향을 도시한 스크린 샷이다.
도면에 도시된 다양한 요소의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 함께 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다.
이제 도 1을 참조하면, 본 개시를 고려하여 역 톤 매핑에서 노이즈 감소를 구현하기 위한 시스템(100)의 실시형태의 블록도가 도시되어 있다. 시스템(100)은 이미지 소스(110), 이미지 처리 장치(120) 및 디스플레이(130)를 포함한다. 이들 각각은 아래에서 더욱 상세하게 논의될 것이다.
이미지 소스(110)는 방송 소스, 카메라, 서버, 또는 하드 드라이브, 플래시 저장 장치, 자기 테이프, 광학 디스크 등과 같은 다른 저장 장치일 수 있다. 이미지 소스(110)는 이미지 처리 장치(120)에 디지털 이미지(112)와 같은 로우 다이나믹 레인지(LDR) 콘텐츠를 제공한다. 디지털 이미지(112)는 임의의 수의 포맷 및 해상도일 수 있다.
콘텐츠 처리 장치(120)는 디지털 이미지가 로우 다이나믹 레인지(LDR)에서 하이 다이나믹 레인지(HDR)로 변환되는 곳이다. 이는 본원에 설명된 노이즈 감소를 포함하는 역 톤 매핑 기법(ITMO)을 포함한다. 이미지 처리 장치(120)는 디스플레이(130)로 HDR 이미지(122)를 출력한다.
디스플레이(130)는 콘텐츠 처리 장치(120)에 의해 제공되는 하이 다이나믹 레인지(HDR) 이미지를 디스플레이할 수 있는 텔레비전, 개인용 전자 장치 등일 수 있다.
도 2는 노이즈 감소를 포함하는 역 톤 매핑을 위한 방법 및 시스템을 구현하는데 사용될 수 있는 예시적인 전자 장치(200)를 도시하고 있다. 전자 장치(200)는 하나 이상의 프로세서(210), 메모리(220), 저장 장치(230) 및 네트워크 인터페이스(240)를 포함한다. 이들 요소 각각은 아래에서 더욱 상세하게 논의될 것이다.
프로세서(210)는 전자 장치(200)의 동작을 제어한다. 프로세서(210)는 전자 장치를 동작시키는 소프트웨어를 구동할 뿐만 아니라 본 개시에 설명된 LDR-HDR 변환을 위한 기능을 제공한다. 프로세서(210)는 메모리(220), 저장 장치(230), 및 네트워크 인터페이스(240)에 연결되고, 이들 요소 간의 정보의 전송 및 처리를 다룬다. 프로세서(210)는 일반적인 프로세서 또는 특정 기능에 대해 전용인 프로세서일 수 있다. 특정 실시형태에서는 다수의 프로세서가 있을 수 있다.
메모리(220)는 프로세서에 의해 실행되는 명령어와 데이터가 저장되는 곳이다. 메모리(220)는 휘발성 메모리(RAM), 비-휘발성 메모리(EEPROM), 또는 다른 적절한 매체를 포함할 수 있다.
저장 장치(230)는 콘텐츠 분석을 실행하는데 있어서 프로세서에 의해 사용되고 생성되는 데이터가 저장되는 곳이다. 저장 장치는 자기 미디어(하드 드라이브), 광학 미디어(CD/DVD-Rom), 또는 플래시 기반 저장 장치일 수 있다. 본 개시의 이점을 고려해 볼 때 다른 유형의 적절한 저장 장치가 본 기술 분야의 숙련자에게 명백할 것이다.
네트워크 인터페이스(240)는 네트워크를 통해 전자 장치(200)와 다른 장치와의 통신을 처리한다. 적합한 네트워크의 예는 이더넷 네트워크, Wi-Fi 지원 네트워크, 셀룰러 네트워크 등을 포함한다. 본 개시의 이점을 고려해 볼 때 다른 유형의 적절한 네트워크가 본 기술 분야의 숙련자에게 명백할 것이다.
도 2에 도시된 구성 요소는 예시적인 것임을 알아야 한다. 전자 장치(200)는 임의의 수의 요소를 포함할 수 있고, 특정 요소는 다른 요소의 기능의 일부 또는 전부를 제공할 수 있다. 본 개시의 이점을 고려해 볼 때 다른 가능한 구현이 본 기술 분야의 숙련자에게 명백할 것이다.
본 발명은 다양한 형태의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서, 또는 이들의 조합으로 구현될 수 있음을 알아야 한다. "프로세서"라는 용어는 소프트웨어를 실행할 수 있는 하드웨어만을 의미하는 것으로 해석되어서는 안되며, 디지털 신호 처리기("DSP") 하드웨어, 소프트웨어를 저장하기 위한 읽기 전용 메모리(ROM), 랜덤 액세스 메모리("RAM"), 및 비-휘발성 저장 장치를 제한 없이 포함한다. 개시된 개념은 특히 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다. 또한, 소프트웨어는 프로그램 저장 유닛 상에 명백하게 구현된 애플리케이션 프로그램으로서 구현될 수 있다. 이러한 소프트웨어는 다른 소프트웨어에 통합되도록 플러그-인 형태를 취할 수 있다. 애플리케이션 프로그램은 임의의 적절한 구성을 포함하는 이미지 처리 장치에 업로드될 수 있고, 이에 의해 실행될 수 있다. 바람직하게, 이미지 처리 장치는 하나 이상의 중앙 처리 장치("CPU"), 랜덤 액세스 메모리("RAM") 및 입/출력("I/O") 인터페이스와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 또한 운영 체계와 마이크로 명령 코드를 포함할 수 있다. 본원에 기술된 다양한 프로세스와 기능은 CPU에 의해 실행될 수 있는 마이크로 명령 코드의 일부이거나 애플리케이션 프로그램의 일부, 또는 이들의 임의의 조합일 수 있다. 또한, 추가 데이터 저장 장치, 디스플레이 장치, 인쇄 장치 등과 같은 다양한 다른 주변 장치가 컴퓨터 플랫폼에 연결될 수 있다. 본 발명에 따른 방법의 실시형태를 구현하는 이미지 처리 장치는 예를 들어 TV 수상기, 셋톱 박스, 게이트웨이, 휴대 전화, 태블릿과 같이 이미지를 수신할 수 있는 전자 장치일 수 있다.
도 3은 일 실시형태에 따른 역 톤 매핑을 위한 노이즈 감소 프로세스의 흐름도(300)를 도시하고 있다. 흐름도(300)는 디지털 이미지를 획득하는 단계(310), 기본 휘도를 결정하는 단계(320), 디테일 향상 맵을 결정하는 단계(330), 화소 확장 맵을 결정하는 단계(340), 에지 맵을 결정하는 단계(350), 역 톤 매핑 단계(360), 및 확장된 다이나믹 레인지 이미지(370)를 제공하는 단계(370)를 포함한다. 각각의 이들 단계는 도 4와 함께 아래에서 더욱 상세하게 논의될 것이다.
도 4는 본 발명의 역 톤 매핑 기법을 위해 노이즈 감소 확장을 사용하여 로우 다이나믹 레인지-하이 다이나믹 레인지 변환을 수행하기 위해 사용되는 모듈의 블록도(400)를 도시하고 있다. 이들 모듈은 RGB→YUV 변환 모듈(410), 저역 통과 필터링 모듈(420), 고역 통과 필터링 모듈(430), 확장 매핑 모듈(440), 에지 매핑 모듈(452), 역 톤 매핑 모듈(450), 디테일 향상 모듈(460), 색 포화도 모듈(470), 이미지 재조합 모듈(480) 및 RGB 변환 모듈(490)을 포함한다.
다시 도 3을 다시 참조하면, 위에서 논의한 바와 같이 이미지 소스(110)로부터 디지털 이미지(112)가 획득된다(310). 본 발명의 기술은 휘도가 색차에서 휘도가 분리되는 색 공간에 디지털 이미지(112)가 있을 것을 요구한다. 디지털 이미지(112)가 이러한 색 공간에 있지 않으면, 디지털 이미지(112)는 이러한 색 공간으로 변환될 수 있다.
예를 들어, 디지털 이미지(112)는 디스플레이 장치의 RGB 색 공간에 제공될 수 있다. 이 RGB 색 공간은 표준화될 수 있고, 해당 디스플레이 장치는 가상의 것일 수 있다. 이러한 경우, 디지털 이미지(112)의 색을 나타내는 수신된 RGB 색 좌표는 색차에서, 예를 들어, YUV 색 공간에서 휘도를 분리하는 색 공간으로 변환된다. RGB 색 공간으로부터 YUV 색 공간으로의 이러한 색 변환은 그 자체로 공지되어 있으므로 상세하게 설명하지 않는다. 대신 XYZ, Yxy, CIE Lab과 같이 색차에서 휘도를 분리하는 다른 색 공간이 사용될 수 있다. 따라서, 휘도 값(Y(p))과 두 개의 색차 값(U(p), V(p))은 디지털 이미지(112)의 임의의 화소(p)의 색과 관련된다. 이러한 기능은 도 4의 RGB→YUV 변환 모듈(410)에 의해 제공된다.
저역 통과 필터링 모듈(420)을 사용하여, 저역 필터링된 버전의 휘도(Y(p))가 결정되며 본원에서 기본 휘도 Ybase(p)라 한다(도 3의 단계 320). 예를 들어, 저역 통과 필터링은 화소(p)의 공간 이웃(spatial neighborhood)과 휘도 값(Y(p))의 이웃에서 하나 이상의 가우시안 함수를 기반으로 원래의 LDR 디지털 이미지(112)의 각각의 화소(p)의 휘도(Y(p))에 적용될 수 있다. 예를 들어, Ybase(p)는 다음 방정식을 통해 결정될 수 있다:
Figure 112018018367312-pct00001
(1)
여기서 f's는 이미지의 공간 영역에 적용된 가우시안 함수이고,
f'r은 휘도 범위 영역에 적용된 제 2 가우시안 함수이고,
Ω'는 화소(p)를 중심으로 하는 이미지의 윈도우의 크기이며,
Pi는 이 윈도우에 있는 화소이다.
다양한 실시형태에서, 윈도우 크기는 예를 들어 5 또는 7일 수 있다. 윈도우 크기의 값이 작을수록 더욱 양호한 계산 효율을 제공할 수 있다. 이 예에서, 저역 통과 필터링은 양방향이며, 이는 필터링이 공간 및 휘도 범위 영역 모두에서 수행된다는 것을 의미한다.
다양한 실시형태에서, 제 1 가우시안 함수(f's)의 표준 편차의 값인 σs는 2보다 크거나 같을 수 있다. 다양한 실시형태에서, 제 2 가우시안 함수(f'r)의 표준 편차의 값인 σr은 원래의 LDR 이미지(112)에서 텍스처와 노이즈를 평탄화(smooth)할 만큼 충분히 높을 수 있지만, 이미지의 객체 사이에서 에지를 교차하는 것을 방지할 만큼 충분히 낮을 수 있다. 다양한 실시형태에서, 표준 편차의 값인 σr은 0.1 max(Y)와 0.5 max(Y) 사이일 수 있으며, 여기서 max(Y)는 원래 이미지의 모든 화소에 대한 최대 휘도 값이다. 다양한 실시형태에서, 공간 가우시안 함수(f's)에 대한 표준 편차는 σs = 3으로 설정될 수 있고, 휘도 범위 가우시안 함수(f'r)에 대한 표준 편차는 σr = 0.3 x max(Y)로 설정될 수 있다.
결정된 기본 휘도(도 3의 단계 320)인 Ybase(p)는 고역 통과 필터링 모듈(430)에 제공될 수 있다. Ybase(p)는 또한 확장 매핑 모듈(440)에 제공될 수 있다. 두 모듈은 아래에서 더욱 상세하게 기술된다.
고역 통과 필터링 모듈(430)은, 기본 휘도(Ybase(p)) 및/또는 휘도(Y(p))로부터 디지털 이미지(112)의 고주파 디테일을 추출하여, Ybase(p)와 Y(p)를 기반으로 휘도 디테일 향상 맵인 Ydetail(p)를 결정한다(도 3의 단계 330).
예를 들어, 다양한 실시형태에서, Ydetail(p)는 다음을 먼저 결정함으로써 결정될 수 있다:
Figure 112018018367312-pct00002
여기서 f"s와 f"r은 위의 (f's, f'r)과 동일한 가우시안 함수이지만 휘도 범위에서 표준 편차가 더욱 커서 이미지에서 더 많은 휘도 디테일을 제거하고,
Ω"는 위와 같은 크기를 가질 수 있는 화소(p)를 중심으로 하는 이미지의 윈도우의 크기이며,
Pi는 이 윈도우에 있는 화소이다.
Y'base(p)는 Ybase(p)가 결정되는 것과 유사한 방식으로 Y(p)를 필터링함으로써 결정될 수 있지만, 더욱 많은 휘도 디테일을 제거하는 파라미터를 사용한다. 예를 들어, 다양한 실시형태에서, 공간 가우시안 함수(f"s)에 대한 표준 편차는 σ"s = σ's가 되도록 설정될 수 있고, 휘도 범위 가우시안 함수(f"r)에 대한 표준 편차는 이미지에서 더욱 많은 휘도 디테일을 제거하도록, 즉 σ"r > σ'r이 되도록 설정될 수 있다. 예를 들어 σ"r은 0.3 x max(Y)와 동일하게 설정될 수 있다.
고역 통과 필터링 모듈(430)은 이후 휘도 디테일 향상 맵(Ydetail(p))을 예를 들어 Ybase(p)와 Y'base(p)의 비율로서 결정할 수 있다:
Figure 112018018367312-pct00003
(24)
디지털 이미지(112)에 대한 Y detail (p)의 상이한 값은 이후 휘도 디테일 향상 맵을 형성한다. σ"r > σ'r이기 때문에, 이 비율은 디지털 이미지(112)에서 휘도 값의 높은 공간 주파수의 추출, 즉 이 이미지의 고역 통과 필터링에 해당한다. 이미지에서 휘도 값의 높은 공간 주파수를 추출하고, 더 일반적으로 휘도 디테일 향상 맵(Y detail (p))을 형성하는 다른 방법이 본 개시 내용을 벗어나지 않고 사용될 수 있다.
확장 매핑 모듈(440)은 Ybase(p)를 기반으로 확장 지수 맵(E(p))을 결정할 수 있다(도 3의 단계 340). 확장 지수 맵(E)은 이미지 크기의 부동 소수점 맵일 수 있으며, 각각의 값은 원래의 LDR 이미지(112)에서 각각의 화소의 Y(p)에 적용될 지수를 나타낸다. 확장 지수 맵은 예를 들어 다음과 같이 2 차 함수를 기반으로 할 수 있다:
Figure 112018018367312-pct00004
(2)
여기서 2 차 함수의 계수인 a, b 및 c는 HDR 디스플레이(130)의 최대 디스플레이 휘도인 Lmax를 기반으로 다음과 같이 결정되는 파라미터일 수 있다:
Figure 112018018367312-pct00005
(3)
Figure 112018018367312-pct00006
(4)
Figure 112018018367312-pct00007
(5)
상기 방정식에 사용된 파라미터는 예를 들어 다음과 같이 설정될 수 있다:
p a1 = -8.192e-7, p a2 = 0.000312, p a3 = 1.657e-5, p a4 = -0.0006967, p b1 = 0.05941, p b2 = 0.03135,p b3 = -0.07579.
이러한 방식으로, 예를 들어, 확장 지수 맵(E)의 형상은 최대 디스플레이 휘도에 따라 변할 수 있고, 이는 사용자의 입력을 요구하지 않으면서 이미지 외관에 대해 전역적인 방식의 제어를 제공한다
Y base (p) 및/또는 Y(p)를 기반으로 확장 지수 맵(E(p))를 결정하는 다른 방법이 본 발명을 벗어나지 않고 사용될 수 있다. 이러한 맵은 예를 들어 섀도우 영역(shadow zone), 중간 톤 영역(midtone) 및 하이라이트 영역(highlight zone)과 같은 상이한 휘도 영역에 대해 개별적으로 결정될 수 있다. 이들 상이한 휘도 영역에서 이 맵을 개별적으로 결정한 후에, 각각의 휘도 영역에 특이적인 맵으로부터 전체 확장 지수 맵을 획득하기 위해 임의의 보간 수단이 사용될 수 있다.
확장 지수 맵(E(p))은 역 톤 매퍼 모듈(450)에 제공될 수 있으며, 여기서 원래의 LDR 이미지(112)의 각각의 화소(p)의 휘도(Y(p))는 E(p)를 기반으로 확장된 휘도(Yexp(p))로 역 톤 매핑될 수 있다. 다양한 실시형태에서, Yexp(p)(237)는 확장 지수(E(p))의 값으로 상승된 화소의 휘도(Y(p))일 수 있다.
도 4A의 역 톤 매퍼 모듈(450)에 포함된 모듈의 상세도를 제공하는 도 4B에서 볼 수 있는 바와 같이, 역 톤 매퍼 모듈은 본 개시의 노이즈 제거가 수행되는 곳이다.
확장은 지수 함수를 통해 이루어지기 때문에, Y에서 노이즈 및 기타 아티팩트가 필연적으로 증폭된다. 위에 도시된 바와 같이 확장 지수(E)를 계산하기 위해 저역 통과 필터링된 휘도(Ybase)를 사용하여 어느 정도 이 문제를 해결할 수 있지만, 어떤 경우, 특히 필름 그레인(film grain)이 존재하는 경우, 증폭은 이미지 처리 장치(120)에 의해 제공되는 HDR 이미지의 시각적 품질에 영향을 줄 정도로 강력하다. 이를 피하기 위해, 휘도 확장 단계는 개별적으로 계산될 수 있는 에지 맵을 기반으로 노이즈 제거 효과를 수행하도록 구성된다. 예술가가 더욱 자세하게 표현하고자 하는 영역을 평탄할 가능성이 종종 있으므로, 이 프로세스는 선택적이어야 하고 제어 가능해야 한다는 것을 알아야 한다.
본원에 기술된 노이즈 제거 방법은 이미지 디테일 및 에지를 지나치게 평탄화하지 않고 노이즈와 그레인의 가시성을 줄이는 데 그 목적이 있다. 이 방법의 핵심 아이디어는 디지털 이미지(112)의 각각의 화소(p)에 대해, 화소 주변의 이웃하는 콘텐츠에 따라 해당 화소의 휘도(Y) 또는 저역 통과 필터링된 휘도(Ybase)를 확장하는 것 중에서 선택할 수 있다는 것이다. p 주변의 화소 블록을 분석함으로써, 이 화소가 평탄한 영역에 속하는지 또는 이 이미지(112)의 에지 근처에 있는지를 결정할 수 있다. 영역이 평탄한 경우, 디테일을 잃지 않고 휘도의 확장에 대해 저역 통과 필터링된 휘도(Ybase)를 입력으로 사용할 수 있다. 반면에, 근처에 에지가 있는 경우, 에지를 평탄화하는 것을 방지하기 위해 필터링되지 않은 휘도 Y를 확장한다.
에지 매핑 모듈(452)은 저역 통과 필터링된 휘도인 Ybase의 블록 기반 분석을 사용하여 획득되는 에지 맵(M)의 계산(도 3의 단계 350)인, 노이즈 제거의 제 1 단계를 제공한다. 이는 효과적으로 단순 에지 검출기로 볼 수 있으며, 소벨 필터(Sobel filter) 또는 등가물을 사용하는 컨볼루션(convolution)을 이용하여 유사한 결과를 달성할 수 있다. 그러나 필터링 후에는 응답의 크기를 취하고 사인(sign)은 무시한다는 것을 알아야 한다.
예를 들어, 이미지(Ybase)의 저역 통과 버전의 각각의 화소(p)에 대해, 예를 들어 b × b의 크기를 갖는 화소(p) 주변의 화소 블록(B p )를 고려한다. 이 화소 블록 내에서, 디지털 이미지(112)에서 에지 맵을 다음과 같이 계산할 수 있다:
Figure 112018018367312-pct00008
이 식에 따르면, 필터링되지 않은 휘도 레이어(Y) 대신에 저역 필터링된 휘도 레이어(Ybase)에 대해 분석을 수행하는 것이 바람직하다는 것을 알아야 한다. 그 이유는 저역 통과 필터링된 휘도 레이어(Ybase)가 이미 필터링되어 노이즈와 그레인 대부분이 제거되어야 하기 때문이다. 이와 같이, 이 에지 검출기는 상기한 가우시안 저역 통과 필터링 단계(단계 320)를 견딜 만큼 충분히 강한 이미지 디테일과 에지에만 대응할 것이다. 블록(B p ) 내에 에지가 있는 경우 M(p)의 값은 더 높을 것이고, 블록(B p )이 평탄한 영역에 해당하는 경우 더 낮아질 것이며, 이는 예를 들어 아래에 도시된 바와 같은 다음 단계에서 확장을 적용하는 방법을 결정할 수 있게 한다. 이는 에지 맵에서 화소(p)와 관련된 값(M(p))이 디지털 이미지(112)에서 이 화소 주변의, 특히 이 화소를 중심으로 하는 블록 내의 에지 및/또는 기울기를 나타내는 것을 의미한다.
에지 맵(M(p))을 계산하는데 사용된 블록의 크기(b)는 파라미터의 역할을 할 수 있다. 에지와 디테일이 더 멀리 계산되기 때문에 블록이 클수록 노이즈 제거가 더욱 보수적이지만, 각각의 블록에 대해 더 많은 화소를 평가할수록 더욱 많은 계산 자원을 사용하게 된다. 도 5A와 도5B는 블록 크기를 변경한 결과를 보여준다. 도 5A에서, 블록 크기는 b = 5이다. 도 5B에서, 블록 크기는 b = 15이다.
에지 맵을 계산하는데 사용된 위의 방정식 대신 다른 공지된 에지 검출 알고리즘이 사용될 수 있다. 이러한 에지 맵은 디지털 이미지(112)의 각각의 화소 주변의 에지 및/또는 기울기를 나타내는 것으로 간주된다.
이전 단계로부터 에지 맵(M(p))을 얻은 후에, 이 에지 맵을 사용하여 약간의 노이즈를 제거하기 위해 휘도의 역 톤 매핑(도 3의 단계 360)을 안내할 수 있다. 이미지(112)의 임의의 화소(p)에 대한 이 화소의 휘도(Y(p))에 직접적으로 확장 지수(E(p))를 적용하는 대신에, 여기에서, 임계값(τ)보다 높은 에지 레벨(M(p))을 갖는 임의의 화소(p)에 대해 확장된 휘도(Yexp(p))를 얻기 위해, 이미지 휘도(Y(p))와 저역 통과 필터링된 휘도(Ybase(p))의 가중 조합에 확장 지수(E(p))를 적용한다. 이러한 가중 조합에서, 화소(p)에 대한 저역 통과 필터링된 휘도(Ybase(p))의 가중치(α)는 이 화소 주변의 에지 및/또는 기울기를 나타내는 값(M(p))에 비례하고, 동일한 화소(p)에 대한 필터링되지 않은 휘도(Y(p))의 가중치(1-α)는 이 화소(p) 주변의 에지 및/또는 기울기를 나타내는 동일한 값(M(p))에 반비례한다. 예를 들어, 이 조합은 다음의 가중 합이다.
Figure 112018018367312-pct00009
여기서 α는 바람직하게:
Figure 112018018367312-pct00010
이고,
임계값(τ)은 예를 들어 10이다.
임계값이 낮을수록 실제로 평탄한 영역에만 적용된다는 점에서 노이즈 제거가 더욱 보수적인 반면, 임계값이 높을수록 노이즈 제거가 더욱 일반적으로 적용될 수 있지만 이미지 디테일을 더욱 평탄화할 것이다(예를 들어 도 6A 및 도 6B의 이미지 참조).
확장된 휘도(Yexp(p))는 디테일 향상 모듈(460)에 제공될 수 있다. 디테일 향상 모듈(460)은 이 화소의 휘도 디테일 향상(Ydetail(p))을 적용함으로써 화소(p)의 확장된 휘도(Yexp(p))를 향상시킬 수 있다. 예를 들어, 향상된 확장 휘도인 Y'exp(p)는 고역 통과 필터링 모듈(430)에 의해 제공된 휘도 디테일 향상과 확장된 휘도의 곱을 기반으로 예를 들어 다음과 같이 결정될 수 있다:
Figure 112018018367312-pct00011
여기서 d는 디테일 향상 파라미터이다. 이 디테일 향상 파라미터(d)는 휘도 디테일 맵인 Ydetail(p)에 의해 적용된 디테일 향상의 양을 제어할 수 있다. 예를 들어, d 값을 높이면 이미지 에지의 대비가 높아진다. 다양한 실시형태에서, d = 1.5의 값이 사용될 수 있다.
상기한 바와 같이 원래의 LDR 이미지의 휘도를 확장하면, 휘도와 대비 변화는 이미지에서 색과 채도의 외관에 영향을 줄 수 있다. 이와 관련하여, 이미지의 색 정보는 색 포화도 모듈(470)에 의해 조정될 수 있다. 예를 들어, 색 포화도 모듈(470)은 이미지의 색에 대해 예술적 의도를 보존하는데 사용될 수 있다. 다양한 실시형태에서, 색의 포화도는 가이드로서 확장 지수 값을 사용하여 향상될 수 있다. 더욱 상세하게, 각각의 화소의 색의 포화도는 화소의 영역 확장 지수 맵인 E(p)를 기반으로 향상될 수 있다.
예를 들어, 화소(p)의 색의 포화도는 화소의 채도 값(C(p))를 조정함으로써 향상될 수 있다. 채도 값은 YUV 공간의 원통형 버전에서 다음과 같이 결정될 수 있다:
Figure 112018018367312-pct00012
조정된 채도 값(C'(p))은 화소(p)의 영역 확장 지수 맵(E(p))과 화소의 채도 값(C(p))의 곱으로서 결정될 수 있다:
Figure 112018018367312-pct00013
다양한 실시형태에서, C(p)를 C'(p)로 변환하는 채도 스케일링은 하이라이트를 과-포화하는 것을 피하기 위해, 예를 들어, 빛의 폭발 및 밝은 조명을 피하기 위해 1.5 배로 제한될 수 있다.
이러한 새로운 C'(p) 값을 사용함으로써, 색차의 향상된 값인 U'(p) 및 V'(p)(241)는 여기에서 LCH와 같은 원통형 색 공간에서 YUV 공간으로 변환함으로써 계산될 수 있다.
Figure 112018018367312-pct00014
여기서 H(p)는 다음과 같이 원래의 U(p)와 V(p)로부터 계산된 원래의 색조(hue)이다:
Figure 112018018367312-pct00015
이미지 재조합 모듈(480)은 확장된 HDR 이미지(122), 즉 하이 다이나믹 버전의 디지털 이미지(112)를 획득하여 제공하기 위해, 향상된 채도 값(U'(p) 및 V'(p))(241)을 향상된 확장 휘도(Y'exp(p))(239)와 결합시킬 수 있다.
확장된 HDR 이미지(122)는 HDR 디스플레이 장치(130) 상에 디스플레이될 수 있다. 물론, 확장된 HDR 이미지는 디스플레이되기 전에 RGB와 같은 디스플레이 장치의 색 공간으로의 변환을 필요로 할 수 있음을 알 것이다. 본 실시형태에서, 이는 RGB 변환 모듈(490)에 의해 처리된다.
모듈(460, 470, 480, 490)의 조합은 확장된 다이나믹 레인지를 갖는 이미지를 제공한다(도 3의 단계 370). 도 1에 도시된 바와 같이, 이들 확장된 색을 기반으로 하는 확장된 이미지(122)는 이제 하이 다이나믹 레인지 내에서 재생되도록 이의 피크 휘도(Lmax)를 갖는 디스플레이 장치(130)로 전송될 준비가 되어있다. 상이한 임계값을 사용하는 이러한 출력의 예가 도 6A 및 도 6B에 도시되어 있다.
도 6A에서, Yexp를 결정하기 위해 임계값(τ = 50)이 사용되어 노이즈를 줄이지만, 이는 또한 디테일(예를 들어, 이미지의 바닥에 있는 면)을 평탄화한다. 대조적으로, 도 6B(τ = 5)에서와 같이 Yexp를 결정하기 위해 작은 임계값이 사용되는 경우, 디테일과 노이즈 모두는 더욱 잘 보인다. 그러나, 두 경우 모두 조각과 배경 사이의 날카로운 에지가 선명하게 남는다.
특정 실시예 및 바람직한 실시형태와 관련하여 본 발명이 기술되었지만, 본 발명은 이들 실시예 및 실시형태로 제한되지 않는다는 것을 알 것이다. 따라서, 청구된 본 발명은 본 기술 분야의 숙련자에게 명백한 바와 같이, 본원에 기재된 특정 실시예 및 바람직한 실시형태로부터의 변형을 포함한다. 특정 실시형태 중 일부가 개별적으로 기술되고 청구될 수 있지만, 본원에 기술되고 청구된 실시형태의 다양한 특징이 결합하여 사용될 수 있음을 알 것이다. 청구 범위에 나타나는 참조 번호는 단지 설명을 위한 것이며 청구 범위를 제한하지 않는다.

Claims (9)

  1. 색차에서 휘도(Y)를 분리하는 색 공간에서 표현되는 색과 관련된 화소에 의해 형성되는 디지털 이미지로부터 확장된 다이나믹 레인지 이미지를 제공하기 위한 방법에 있어서, 방법은,
    저역 통과 필터링된 휘도 값(Ybase(p))을 획득하기 위해 상기 이미지의 화소의 휘도 값(Y(p))을 저역 통과 필터링하는 단계;
    상기 화소(p) 주변의 화소의 블록(Bp) 내의 에지 및 기울기를 나타내는 에지/기울기 값(M(p))을 계산하는 단계로서, 맵의 값(M(p))은 화소(p)를 둘러싸는 화소들의 블록 기반 분석을 사용하여 획득되고;
    상기 이미지의 화소의 휘도 값(Y(p))을 역 톤 매핑하는 단계로서, 화소(p)의 각각의 휘도 값에 대해, 상기 화소의 확장 지수 값(E(p))을
    - 상기 에지/기울기 값(M(p))이 낮은 경우 상기 블록(Bp)의 영역이 평탄하도록, 저역 통과 필터링된 휘도 값(Ybase(p))에 적용하거나,
    - 상기 에지/기울기 값(M(p))이 에지/기울기 임계값(τ)보다 높거나 같은 경우 상기 블록(Bp) 내에 에지가 있도록, 상기 휘도 값(Y(p)) 자체에 적용하거나, 또는
    - 상기 에지/기울기 값(M(p))이 상기 에지/기울기 임계값(τ)보다 낮은 경우, 상기 휘도 값(Y(p)) 및 임의의 다른 에지/기울기 값(M(p))에 대한 저역 통과 필터링된 휘도 값(Ybase(p))의 가중 조합에 적용함으로써 역 톤 매핑하는 단계, 및
    역 톤 매핑된 휘도 값을 기반으로 확장된 다이나믹 레인지 이미지를 제공하는 단계를 포함하고,
    상기 가중 조합의 가중치는 상기 에지/기울기 값(M(p))에 비례하는 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 에지/기울기 값(M(p))은 상기 화소 주변의 화소에 에지 검출기 알고리즘을 적용함으로써 얻어지는 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 에지 검출기 알고리즘은 상기 주변 화소의 상기 저역 통과 필터링된 휘도 값(Ybase(p))에 적용되는 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 조합은 합인 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 방법.
  5. 색차에서 휘도(Y)를 분리하는 색 공간에서 표현되는 색과 관련된 화소에 의해 형성되는 디지털 이미지로부터 확장된 다이나믹 레인지 이미지를 제공하기 위한 장치에 있어서, 장치는,
    저역 통과 필터링된 휘도 값(Ybase(p))을 획득하기 위해 상기 이미지의 화소의 휘도 값(Y(p))을 저역 통과 필터링하고,
    상기 화소(p) 주변의 화소의 블록(Bp) 내의 에지 및 기울기를 나타내는 에지/기울기 값(M(p))을 계산하되, 여기서 맵의 값(M(p))은 화소(p)를 둘러싸는 화소들의 블록 기반 분석을 사용하여 획득되고,
    화소(p)의 각각의 휘도 값에 대해, 상기 화소의 확장 지수 값(E(p))을
    - 상기 에지/기울기 값(M(p))이 낮은 경우 상기 블록(Bp)의 영역이 평탄하도록, 상기 저역 통과 필터링된 휘도 값(Ybase(p))에 적용하거나,
    - 상기 에지/기울기 값(M(p))이 에지/기울기 임계값(τ)보다 높거나 같은 경우 상기 블록(Bp) 내에 에지가 있도록, 상기 휘도 값(Y(p)) 자체에 적용하거나, 또는
    - 상기 에지/기울기 값(M(p))이 상기 에지/기울기 임계값(τ)보다 낮은 경우, 상기 휘도 값(Y(p)) 및 임의의 다른 에지/기울기 값(M(p))에 대한 저역 통과 필터링된 휘도 값(Ybase(p))의 가중 조합에 적용함으로써 상기 이미지의 화소의 휘도 값(Y(p))을 역 톤 매핑하고, 및
    역 톤 매핑된 휘도 값을 기반으로 확장된 다이나믹 레인지 이미지를 제공하도록 구성된 처리 장치를 포함하고,
    상기 가중 조합의 가중치는 상기 에지/기울기 값(M(p))에 비례하는 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 장치.
  6. 제 5 항에 있어서,
    처리 장치는 상기 화소 주변의 화소에 에지 검출기 알고리즘을 적용함으로써 에지/기울기 값(M(p))을 얻도록 더 구성되는 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 장치.
  7. 제 6 항에 있어서,
    상기 에지 검출기 알고리즘은 상기 주변 화소의 상기 저역 통과 필터링된 휘도 값(Ybase(p))에 적용되는 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 장치.
  8. 제 5 항에 있어서,
    상기 조합은 합인 것을 특징으로 하는 확장된 다이나믹 레인지 이미지를 제공하기 위한 장치.
  9. 색차에서 휘도(Y)를 분리하는 색 공간에서 표현되는 색과 관련된 화소에 의해 형성되는 디지털 이미지로부터 확장된 다이나믹 레인지 이미지를 제공하기 위한 컴퓨터 실행 가능 명령어를 저장하는 비-일시적 컴퓨터 판독 가능 매체로서, 명령어는,
    저역 통과 필터링된 휘도 값(Ybase(p))을 획득하기 위해 상기 이미지의 화소의 휘도 값(Y(p))을 저역 통과 필터링하는 단계;
    상기 화소(p) 주변의 화소의 블록(Bp) 내의 에지 및 기울기를 나타내는 에지/기울기 값(M(p))을 계산하는 단계로서, 맵의 값(M(p))은 화소(p)를 둘러싸는 화소들의 블록 기반 분석을 사용하여 획득되고;
    상기 이미지의 화소의 휘도 값(Y(p))을 역 톤 매핑하는 단계로서, 화소(p)의 각각의 휘도 값에 대해, 상기 화소의 확장 지수 값(E(p))을
    - 상기 에지/기울기 값(M(p))이 낮은 경우 상기 블록(Bp)의 영역이 평탄하도록, 저역 통과 필터링된 휘도 값(Ybase(p))에 적용하거나,
    - 상기 에지/기울기 값(M(p))이 에지/기울기 임계값(τ)보다 높거나 같은 경우 상기 블록(Bp) 내에 에지가 있도록, 상기 휘도 값(Y(p)) 자체에 적용하거나, 또는
    - 상기 에지/기울기 값(M(p))이 상기 에지/기울기 임계값(τ)보다 낮은 경우, 상기 휘도 값(Y(p)) 및 임의의 다른 에지/기울기 값(M(p))에 대한 저역 통과 필터링된 휘도 값(Ybase(p))의 가중 조합에 적용함으로써 역 톤 매핑하는 단계, 및
    역 톤 매핑된 휘도 값을 기반으로 확장된 다이나믹 레인지 이미지를 제공하는 단계를 포함하고,
    상기 가중 조합의 가중치는 상기 에지/기울기 값(M(p))에 비례하는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능 매체.
KR1020187005157A 2015-08-31 2016-08-25 역 톤 매핑을 위한 방법 및 장치 KR102523505B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306337.5 2015-08-31
EP15306337 2015-08-31
PCT/EP2016/070059 WO2017036908A1 (en) 2015-08-31 2016-08-25 Method and apparatus for inverse tone mapping

Publications (2)

Publication Number Publication Date
KR20180048627A KR20180048627A (ko) 2018-05-10
KR102523505B1 true KR102523505B1 (ko) 2023-04-18

Family

ID=54148447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187005157A KR102523505B1 (ko) 2015-08-31 2016-08-25 역 톤 매핑을 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US10572983B2 (ko)
EP (1) EP3345155B1 (ko)
JP (1) JP6803378B2 (ko)
KR (1) KR102523505B1 (ko)
CN (1) CN108027961B (ko)
WO (1) WO2017036908A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6237797B2 (ja) * 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
US10096089B2 (en) * 2017-01-04 2018-10-09 Facebook, Inc. Accelerated skin smoothing effect
EP3418972A1 (en) * 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
EP3462743A1 (en) 2017-09-27 2019-04-03 Thomson Licensing Device and method for dynamic range expansion in a virtual reality scene
KR102460390B1 (ko) * 2018-01-24 2022-10-28 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN109544463A (zh) * 2018-10-17 2019-03-29 天津大学 基于图像内容的逆色调映射方法
CN109785263B (zh) * 2019-01-14 2022-09-16 北京大学深圳研究生院 一种基于Retinex的逆色调映射图像转换方法
CN112689137B (zh) * 2019-10-18 2022-05-10 华为技术有限公司 一种视频信号处理方法及装置
CN112200753B (zh) * 2020-10-30 2023-02-10 青岛海泰新光科技股份有限公司 一种图像宽动态范围的处理方法
CN112866507B (zh) * 2021-01-13 2023-01-10 中国传媒大学 智能化的全景视频合成方法、***、电子设备及介质
WO2023094871A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
CN114187204A (zh) * 2021-12-14 2022-03-15 成都微光集电科技有限公司 黑边优化的图像处理方法及其装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060290950A1 (en) 2005-06-23 2006-12-28 Microsoft Corporation Image superresolution through edge extraction and contrast enhancement
WO2015096955A1 (en) 2013-12-27 2015-07-02 Thomson Licensing Method for inverse tone mapping of an image

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8721565D0 (en) * 1987-09-14 1987-10-21 Rca Corp Video signal processing system
US4967263A (en) * 1988-09-07 1990-10-30 General Electric Company Widescreen television signal processor system with interpolator for reducing artifacts
US5343254A (en) * 1991-04-25 1994-08-30 Olympus Optical Co., Ltd. Image signal processing device capable of suppressing nonuniformity of illumination
GB2357649A (en) * 1999-12-22 2001-06-27 Nokia Mobile Phones Ltd Image enhancement using inverse histogram based pixel mapping
US7002408B2 (en) 2003-10-15 2006-02-21 Varian Medical Systems Technologies, Inc. Data signal amplifier and processor with multiple signal gains for increased dynamic signal range
US7525583B2 (en) * 2005-02-11 2009-04-28 Hewlett-Packard Development Company, L.P. Decreasing aliasing in electronic images
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US7933445B2 (en) * 2007-01-09 2011-04-26 Sharp Laboratories Of America, Inc. Color gamut mapping/enhancement technique using skin color detection
US8050496B2 (en) * 2007-01-09 2011-11-01 Sharp Laboratories Of America, Inc. Color gamut mapping/enhancement technique using skin color detection
US8131110B2 (en) * 2008-07-03 2012-03-06 Seiko Epson Corporation Reducing signal overshoots and undershoots in demosaicking
US8238654B2 (en) * 2009-01-30 2012-08-07 Sharp Laboratories Of America, Inc. Skin color cognizant GMA with luminance equalization
GB2486348B (en) * 2009-10-08 2014-11-12 Ibm Method and system for transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
US8314847B2 (en) 2010-05-25 2012-11-20 Apple Inc. Automatic tone mapping curve generation based on dynamically stretched image histogram distribution
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
KR101972748B1 (ko) 2011-09-27 2019-08-16 코닌클리케 필립스 엔.브이. 이미지들의 다이내믹 레인지 변환을 위한 장치 및 방법
WO2013106190A1 (en) 2012-01-09 2013-07-18 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
CN102722868B (zh) * 2012-05-23 2014-08-20 西安理工大学 一种高动态范围图像色调映射方法
EP3105926B1 (en) 2014-02-13 2018-04-11 Dolby International AB Piecewise inter-layer prediction for signals with enhanced dynamic range
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060290950A1 (en) 2005-06-23 2006-12-28 Microsoft Corporation Image superresolution through edge extraction and contrast enhancement
WO2015096955A1 (en) 2013-12-27 2015-07-02 Thomson Licensing Method for inverse tone mapping of an image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Francesco Banterle et al., High Dynamic Range Imaging and Low Dynamic Range Expansion for Generating HDR Content, COMPUTER GRAPHICS forum, Volume 28, number 8, pp. 2343-2367, Dec. 2009(2009.12.31.) 1부*

Also Published As

Publication number Publication date
EP3345155B1 (en) 2019-06-26
JP6803378B2 (ja) 2020-12-23
US20180253834A1 (en) 2018-09-06
CN108027961B (zh) 2021-11-23
US10572983B2 (en) 2020-02-25
KR20180048627A (ko) 2018-05-10
EP3345155A1 (en) 2018-07-11
WO2017036908A1 (en) 2017-03-09
JP2018527675A (ja) 2018-09-20
CN108027961A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
KR102523505B1 (ko) 역 톤 매핑을 위한 방법 및 장치
JP6461165B2 (ja) 画像の逆トーンマッピングの方法
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
EP3341913B1 (en) Inverse tone mapping based on luminance zones
US9641820B2 (en) Advanced multi-band noise reduction
US8639050B2 (en) Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
US11508046B2 (en) Object aware local tone mapping
Albu et al. One scan shadow compensation and visual enhancement of color images
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
Deever et al. Digital camera image formation: Processing and storage
EP2421239B1 (en) Image processing apparatus and method for applying film grain effects
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP5494249B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
WO2023205548A1 (en) Generating hdr image from corresponding camera raw and sdr images
Zhang et al. A layered tone-mapping operator based on contrast enhanced adaptive histogram equalization

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant