KR20180094949A - 디지털 이미지를 프로세싱하기 위한 방법, 디바이스, 단말 장비 및 연관된 컴퓨터 프로그램 - Google Patents

Abstract

본원에서는, 디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법이 개시되며, 상기 이미지는 이미지 엘리먼트들을 포함하고, 이미지 엘리먼트는 휘도 컴포넌트 및 색차 컴포넌트들을 포함하는 제 1 컬러 공간에서 표현되는 컬러 정보와 연관되고, 상기 휘도 컴포넌트는 미리 결정된 값들의 제 1 범위 내의 값을 갖고, 상기 디스플레이 디바이스는 제 1 범위보다 긴 길이의 미리 결정된 값들의 제 2 범위에 포함되는 이미지 엘리먼트들의 휘도 컴포넌트 값들을 복원하도록 적응되며, 상기 방법은, 이미지의 엘리먼트들의 제 1 휘도 컴포넌트의 값들에 기초하여, 관찰자에 의해 지각되는, 이미지의 글로벌 광도 레벨(global luminosity level)을 나타내는 정보를 결정하는 단계(E1); 결정된 글로벌 광도 레벨 정보의 함수로서 확장 지수(γ)를 계산하는단계(E2); 이미지 엘리먼트들의 제 1 휘도 컴포넌트들을 제 2 휘도 컴포넌트들로 변환하는 단계(E3)를 포함하고, 변환하는 단계(E3)는 이미지의 엘리먼트에 대해, 계산된 확장 지수를 휘도 컴포넌트의 제 1 값에 적용함으로써의 중간 휘도 값의 계산 및 계산된 중간 값과 미리 결정된 휘도 값들의 제 2 범위의 길이의 곱(multiplication)을 포함한다. 본 발명에 따라, 계산된 확장 지수는 결정된 글로벌 광도 레벨 정보의 감소 함수이다.

Description

디지털 이미지를 프로세싱하기 위한 방법, 디바이스, 단말 장비 및 연관된 컴퓨터 프로그램

1. 발명의 분야

본 발명의 분야는, 값들의 제 1 범위보다 우월한 값들의 제 2 범위를 표현하기 위해 이들을 핸들링할 수 있는 디스플레이 디바이스 상에서 이들을 렌더링할 목적으로, 디지털 이미지 프로세싱 및 컬러 정보가 값들의 제 1 범위로 표현되는 디지털 이미지 시퀀스들의 분야이다.

본 발명은 특히, HDR("High Dynamic Range") 포맷을 따르는 디스플레이 디바이스 상에 렌더링되도록 표준 또는 SDR("Standard Dynamic Range") 포맷으로 표현되는 디지털 이미지들의 컬러 세기들의 변환에 적용(그러나 배타적이지 않음)될 수 있다.

2, 종래 기술의 제시

텔레비전들, 광범위한 컬러 세기들을 갖는 이미지들을 디스플레이하도록 적응되는 소위 HDR과 같이, 새로운 세대의 시청각 콘텐츠 재생 디바이스들이 오늘날 볼 수 있다. 이들 스크린들은 높은 피크 레벨 및 이미지의 밝고 어두운 영역들 사이의 콘트라스트(contrast)의 증가된 레벨들을 제공하며, 이는 현실에 대한 비할데 없는 근접함을 사용자에게 제공한다.

현재, 이 기술은 시청각 콘텐츠의 송신에 대한 기준으로 남아있는 SDR 포맷과 여전히 공존하여서, HDR 스크린의 증가된 능력들을 이용하기 위해서는, 디스플레이 전에 HDR 포맷으로 수신된 SDR 콘텐츠를 변환하는 것이 필수적이다.

Akyuz 등에 의해, <<Do HDR displays support LDR content? A Psychophysical Evaluation >>란 명칭으로, 2007년에 ACM SIGGRAPH 2007 Papers(page 38)에 게재된 논문은 단순 선형 연산자에 기초하여 입력 디지털 이미지의 컬러 세기들을 확장하기 위한 방법을 개시한다. 이는 다음의 유형의 공식에 따라, 입력 이미지의 휘도 컴포넌트(Y₁)의 단순 선형 함수로서 출력 이미지(Y₂)의 휘도 컴포넌트를 계산하는 것을 포함한다:

(1)

여기서(x, y)는 입력 이미지에서 이미지 엘리먼트의 좌표들이며, Y_1,max는 입력 이미지의 휘도 컴포넌트에 의해 취해지는 최대 값이고 Y_1,min는 그의 최소 값이다.

이 연산자로 Akyuz에 의해 획득된 주관적 결과들은 정상적으로 노출된 이미지들에 대해 인쇄물에서 최상의 것으로 간주된다.

Masia 등에 의해, <<Evaluation of Reverse Tone Mapping Through Varying Exposure Conditions>>란 명칭으로, 2009년에 ACM(volume 28, page 160)에 게재된, 저널 <<ACM Transactions on Graphics>>에 게재된 논문은 디지털 이미지의 컬러 세기들을 확장하기 위한 방법을 개시한다. 그것은 특히, 입력 이미지의 엘리먼트들의 광도 정보에 세기 확장의 비-선형 글로벌 연산자를 적용하는데 있다. 이 연산자는 소위 "이미지 키"라는 이미지를 나타내는 표시자의 아핀 함수(affine function)로서 표현되는 지수의 형태를 취한다.

이러한 키 표시자는 당업자에게 잘 알려져 있으며 다음과 같이 표현된다:

(2)

여기서,

이고, n은 이미지에서 엘리먼트들의 수이고, Y(x, y)는 이미지 엘리먼트의 휘도 세기이고, δ는 픽셀의 세기가 0 일 때 특이성들을 회피하기 위해 작은 값을 취하는 양의 실수이다.

휘도의 대수는 실제로, 사람의 시각 시스템에 의해 지각되는 광도 또는 조도 레벨의 양호한 근사로서 알려져 있다. 따라서, 이미지 키(k)는 관찰자에 의해 지각되는 바와 같은 이미지의 글로벌 광도의 표시를 제공한다.

입력 이미지의 광도 세기들을 확장하기 위한 글로벌 연산자는 다음과 같은 형태를 취한다:

(3)

여기서 a는 10.44인 실수이고 b는 -6.282의 값을 갖는 실수이다.

논문에 제시된 테스트된 이미지들의 세트 상에서, 우리는 연산자 γ의 값이 이미지 키의 값에 따라 증가하며, 극한값들은 1.1 및 2.26과 동일하다는 것을 알 수 있다.

이 솔루션의 이점은, 이 솔루션이 실시간으로 단순하고 실현 가능한 방식으로 이미지들의 지각되는 품질을 개선하는 것을 가능하게 한다는 것이다. 특히, 이 솔루션은 충분한 레벨의 콘트라스트를 갖는 노출된 이미지들에 관한 양호한 결과들을 제공한다.

3. 종래 기술의 단점들

종래 기술에 설명된 방법들의 단점은 이들이 모든 유형의 이미지들에 대해 적합하진 않다는 것이다. 특히 테스트된 이미지들보다 더 극단 콘트라스트(extreme contrast) 및 광도 레벨들을 갖는 이미지들의 경우, 이들은 프로세싱된 이미지들에, 입력 이미지에 거의 충실하지 않은 보기 흉한 인위적인 외관을 부여한다.

4. 본 발명의 목적들

본 발명은 이 상황을 개선한다.

본 발명의 목적은 특히, 종래 기술의 이러한 결점들을 극복하는 것이다.

보다 정확하게는, 본 발명의 목적은 구현이 단순하고 실시간 제약들과 호환 가능한 채로 유지하면서, 입력 이미지의 오리지날 조명 스타일의 보다 사실적이고 보다 정중한 렌더링을 보장하는 솔루션을 제공하는 것이다.

5. 본 발명의 요약

이들 목적들 및 추후에 나타날 다른 것들은 디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법에 의해 달성되며, 상기 이미지는 이미지 엘리먼트들을 포함하고, 이미지 엘리먼트는 색차 컴포넌트들과 별개의 휘도 컴포넌트를 포함하는 제 1 컬러 공간에서 표현되는 컬러 정보와 연관되고, 상기 휘도 컴포넌트는 미리 결정된 값들의 제 1 범위 내의 값을 갖고, 상기 디스플레이 디바이스는 제 1 범위의 길이보다 긴 길이의 미리 결정된 값들의 제 2 범위에 포함되는 이미지 엘리먼트들의 휘도 컴포넌트 값들을 렌더링하도록 적응되고; 상기 방법은,

- 이미지의 엘리먼트들의 제 1 휘도 컴포넌트의 값들에 기초하여, 관찰자에 의해 지각되는, 이미지의 글로벌 광도 레벨을 나타내는 정보를 결정하는 단계;

- 결정된 글로벌 광도 레벨 정보의 함수로서 확장 지수를 계산하는 단계;

- 이미지 엘리먼트들의 제 1 휘도 컴포넌트들을 제 2 휘도 컴포넌트들로 변환하는 단계를 포함하고, 상기 변환하는 단계는 이미지의 엘리먼트에 대해, 계산된 확장 지수를 휘도 컴포넌트의 제 1 값에 적용함으로써의 중간 휘도 값의 계산 및 계산된 중간 값과 미리 결정된 휘도 값들의 제 2 범위의 길이의 곱을 포함한다.

본 발명에 따른 방법은, 계산된 확장 지수가 결정된 글로벌 광도 레벨 정보의 감소 함수란 점에 주목할 만하다.

따라서, 본 발명은 입력 이미지의 포맷을, 범위가 더 넓은 디스플레이 디바이스의 포맷으로 적응시키도록 휘도 정보의 값들의 범위를 확장하기 위한 새롭고 독창적인 솔루션을 제안한다.

값이 이미지의 글로벌 광도 레벨에 따라 증가하는 확장 지수를 선택하는 종래 기술과 달리, 본 발명은 글로벌 광도 레벨이 증가할 때 값이 감소하는 확장 지수를 제안한다.

본 발명자들은 테스트 시퀀스들의 큰 세트의 광도 및 콘트라스트 레벨들의 상이한 가능한 결합들을 나타내는 이미지 스타일들의 5개의 클래스들을 식별하였다. 그 후, 본 발명자들은, 그들이 이러한 스타일 클래스들 각각의 이미지 시퀀스들에 상이한 보정 지수 값들을 적용하고, 이어서 관찰자 패널에 그의 지각된 품질을 평가하도록 요청한 실험을 구현했다.

획득된 결과로부터, 본 발명자들은 한편으로는, 특정 보정 지수 값이 클래스들 각각과 연관될 수 있다는 것을 발견했다. 다른 한편으로, 그들은 클래스의 이미지들의 글로벌 광도 레벨과, 지각적 관점(perceptual point of view)으로부터 적응되는 출력 이미지를 획득하도록 허용하는, 이러한 클래스의 이미지에 적용될 보정 지수 값 사이의 단순한 수학적 관계를 확립하였다.

본 발명에 따라, 계산된 지수는 이미지의 글로벌 광도 레벨을 나타내는 정보의 역의 대수(logarithm)에 비례한다.

이 수학적 관계의 이점은, 이것이 실시간 프로세싱 요건들과 호환 가능한 제한된 컴퓨팅 자원들로 구현하기에 단순하게 유지하면서, 이미지의 조명 스타일을 충실하게 렌더링하도록 허용한다는 것이다.

본 발명의 유리한 특징들에 따라, 글로벌 광도 레벨을 결정하는 단계는 이미지의 휘도 컴포넌트의 중간 값을 획득하는 단계하고, 획득된 중간 값을 정규화하는 단계를 포함하고, 이미지의 글로벌 광도 레벨을 나타내는 정보는 정규화된 획득된 중간 값에 비례한다.

이미지의 중간 휘도 값들을 사용하는 이점은, 그것이 이미지들의 시퀀스의 하나의 이미지로부터 다른 이미지까지 안정적으로 유지되는 값들을 취한다는 것이다. 이는 시퀀스의 렌더링 동안 임의의 깜박거리거나 떨리는 효과를 회피할 수 있다.

본 발명의 다른 양상에 따라, 글로벌 광도 레벨을 나타내는 정보를 결정하는 단계는, 팽창 지수를 계산하는 단계 이전에, 제 1 컬러 공간의 제 1 휘도 컴포넌트를 제 2 컬러 공간의 밝기 컴포넌트로 변환하는 예비 단계를 더 포함하고, 중간 값은 밝기 컴포넌트로부터 획득된다.

예를 들어, 제 1 휘도 컴포넌트는 지각적으로 선형의 밝기 컴포넌트를 생성하기 위해 알려진 CIE L*a*b* 컬러 공간으로 변환된다. 제 1 이점은, 밝기 값들이 가능한 값들의 범위에 걸쳐 더 잘 분배된다는 것이다. 제 2 이점은, 글로벌 광도 레벨 정보를 관찰자에 의해 실제로 지각되는 것에 근접하게 한다는 것이다.

본 발명의 또 다른 양상에 따라, 확장 지수를 계산하는 단계 이전에 0과 1 사이의 중간 값을 정규화하는 단계가 있고, 그것은 0과 a 사이의 값 및 b와 1 사이에 포함되는 값으로 정규화된 중간 값의 보정 단계("클리핑(clipping)")를 포함하며, a는 1 미만의 0이 아닌 양의 실수이고 값(a)으로 세팅되며, b는 a보다 크고 1 미만의 실수이고 값(b)으로 세팅된다.

중간 값의 가장 극한값들을 포함하는 이점은, 확장 지수의 가능한 값들을 제한한다는 것이며, 이는 휘도 값들의 포화의 생성 및 입력 이미지의 오리지널 조명 스타일의 왜곡을 회피한다.

본 발명의 다른 양상에 따라, 변환 단계는 다음의 수식들을 구현하고:

여기서

이고,

여기서, Y₁은 제 1 휘도 컴포넌트를, Y₂는 제 2 휘도 컴포넌트를, log₁₀은 10진 대수를, γ는 제 1 휘도 컴포넌트(Y₁)에 적용된 확장 지수를,

는 정규화되고 클리핑된 중간 휘도 값을 지정한다.

제 1 휘도 컴포넌트를 제 2 휘도 컴포넌트에 연결하는 이 수학적 표현의 이점은, 이것이, 입력 이미지의 글로벌 광도 레벨에 관계없이 입력 이미지의 오리지날 조명 스타일을 사실적이고 정중히 렌더링하도록 보장하면서, 구현하기에 단순하다는 것이다.

본 발명의 또 다른 양상에 따라, 이 방법은,

에 따라, 제 2 휘도 컴포넌트와 제 1 휘도 컴포넌트 사이의 비(ratio)에 비례하는 확장 계수를 1 색차 컴포넌트들에 적용함으로써, 이미지의 제 1 색차 컴포넌트들을 제 2 컴포넌트들로 변환하는 단계를 포함한다.

이 실시예의 이점은 그의 단순함이다.

본 발명의 다른 양상에 따라, 이 방법은 이미지의 제 1 색차 컴포넌트들을 제 2 색차 컴포넌트들로 변환하는 단계를 포함하는 것을 특징으로 하고, 상기 변환하는 단계는,

에 따라, 제 1 및 제 2 휘도 컴포넌트들 및 엄밀히, 1보다 큰 실수인 포화 인자(saturation factor)에 의존하는 보정 함수를 제 1 색차 컴포넌트들에 적용함으로써 컬러 보정의 서브단계를 포함한다.

이 실시예의 이점은 색차 컴포넌트들을 포화시킴으로써, 그것은 더 강렬한(intense) 컬러 렌더링을 허용한다는 것이다.

유리하게는, 제 1 색차 컴포넌트들을 변환하는 단계는 제 1 컬러 공간을, 제 1 컬러 공간보다 큰 제 2 컬러 공간으로 변환하는 서브단계를 포함한다.

하나의 이점은 컬러 세기들의 절단 및 이에 따른 출력 이미지 상의 결함들의 출현을 회피하는 것이다.

그의 상이한 실시예들에서 방금 설명된 방법은 유리하게는, 디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 디바이스에 의해 구현되며, 상기 이미지는 이미지 엘리먼트들을 포함하고, 이미지 엘리먼트는 색차 컴포넌트들과 별개의 휘도 컴포넌트를 포함하는 제 1 컬러 공간에서 표현되는 컬러 정보와 연관되고, 상기 휘도 컴포넌트는 제 1 미리 결정된 값 범위에 포함되는 값을 갖고, 상기 디스플레이 디바이스는 제 1 간격보다 긴 길이의 제 2 미리 결정된 값들의 범위에 포함되는 이미지 엘리먼트들의 휘도 컴포넌트 값들을 렌더링하도록 적응되고, 상기 디바이스는,

- 이미지의 엘리먼트들의 제 1 휘도 컴포넌트의 값들에 기초하여, 관찰자에 의해 지각되는, 이미지의 글로벌 광도 레벨을 나타내는 정보를 결정하고;

- 결정된 글로벌 광도 레벨 정보의 함수로서 확장 지수를 계산하고;

- 이미지 엘리먼트들의 제 1 휘도 컴포넌트를 제 2 휘도 컴포넌트들로 변환할 수 있고 이를 위해 구성된 재프로그래밍 가능 컴퓨팅 머신 또는 전용 컴퓨팅 머신을 포함하고, 상기 변환은 이미지의 엘리먼트에 대해, 계산된 확장 지수를 휘도 컴포넌트의 제 1 값에 적용함으로써의 중간 휘도 값의 계산 및 계산된 중간 값과 미리 결정된 휘도 값들의 제 2 범위의 길이의 곱을 포함한다.

이러한 디바이스는, 계산된 확장 지수가 결정된 글로벌 광도 레벨 정보의 감소 함수란 점에 주목할 만하다.

상관적으로, 본 발명은 또한 통신 네트워크를 통해 디지털 이미지들의 시퀀스를 수신할 수 있고 수신하도록 구성된 수신기 및 이미지의 시퀀스를 복원할 수 있고 복원하도록 구성된 디스플레이 디바이스에 이미지들의 시퀀스를 송신할 수 있고 송신하도록 구성된 송신기를 포함하는 단말 장비에 관한 것이며, 단말 장비는 본 발명에 따라 적어도 하나의 디지털 이미지를 프로세싱하기 위한 디바이스를 포함하는 것을 특징으로 한다.

이 단말 장비는 개인용 컴퓨터, 셋-톱 박스 TV, 디지털 텔레비전 등일 수 있다.

본 발명은 추가로 컴퓨터 프로그램에 관한 것이며, 컴퓨터 프로그램은, 이 프로그램이 프로세서에 의해 실행될 때, 위에서 설명된 바와 같이 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법의 단계들을 구현하기 위한 명령들을 포함한다.

본 발명은 또한, 컴퓨터 프로그램에 관한 것이며, 컴퓨터 프로그램은, 이 프로그램이 프로세서에 의해 실행될 때, 위에서 설명된 바와 같이 디지털 이미지를 프로세싱하기 위한 방법의 단계들을 구현하기 위한 명령들을 포함한다.

이들 프로그램들은 임의의 프로그래밍 언어를 사용할 수 있다. 이들은 통신 네트워크로부터 다운로드될 수 있고 그리고/또는 컴퓨터-판독 가능 매체 상에 레코딩될 수 있다.

마지막으로, 본 발명은 위에서 설명된 바와 같이, 프로세싱 방법을 구현하는 컴퓨터 프로그램을 각각 저장하는, 본 발명에 따른 디지털 이미지를 프로세싱하기 위한 디바이스에 통합되거나 통합되지 않는 프로세서-판독 가능 레코딩 또는 저장 매체(선택적으로 제거 가능함)에 관한 것이다.

6. 도면들의 리스트
본 발명의 다른 특징들 및 이점들은, 첨부 도면들과 함께, 단지 예시적이고 비-제한적인 예로서만 주어지는 본 발명의 하나의 특정 실시예의 다음의 설명을 읽으면 명백해질 것이다.
- 도 1은 HDR 포맷의 이미지 또는 출력 이미지들의 시퀀스를 각각 제공하기 위해 SDR 포맷 이미지 또는 입력 이미지 시퀀스를 프로세싱하는 체인을 개략적으로 도시한다.
- 도 2는 본 발명에 따라, 디지털 이미지를 프로세싱하기 위한 방법의 단계들을 개략적으로 도시한다.
- 도 3은 본 발명의 일 실시예에 따라, 글로벌 광도 레벨을 나타내는 정보를 결정하는 단계를 상세화한다.
- 도 4a 및 도 4b는 본 발명의 2개의 실시예들에 따라, 글로벌 광도 레벨 정보의 감소 함수들의 예들을 도시한다.
- 도 5는 본 발명의 제 1 실시예에 따라, 컬러 컴포넌트들의 확장 및 도출 지수를 계산하는 단계들을 상세화한다.
- 도 5a는 본 발명의 제 2 실시예에 따라, 컬러 컴포넌트들의 확장 및 도출 지수를 계산하는 단계들을 상세화한다.
- 도 6a 내지 도 6d는 본 발명의 제 1 및 제 2 실시예들에 따라, 입력 이미지 및 출력 이미지의 색도도(chromaticity diagram)들을 도시한다.
- 도 7은 자신의 광도 및 자신의 콘트라스트에 따라 정의된 입력 이미지들의 조명 스타일들의 클래스들의 예들을 도시한다.
- 도 8a 내지 8e는 조명 스타일의 미리 결정된 클래스들에 속하는 입력 이미지들에 대해 본 발명에 따라 디지털 이미지를 프로세싱하기 위한 방법에 의해 획득되는 확장 지수 곡선들의 예들을 도시한다.
- 도 9는 본 발명에 따른 그리고 종래 기술의 2개의 솔루션들에 따른 프로세싱 이후에 획득되는 출력 이미지들의 예들을 비교 방식으로 도시한다.
- 도 10은 본 발명에 따른 프로세싱 방법 및 종래 기술의 2개의 솔루션들을 통해 이미지들의 세트 상에서 수행된 주관적 테스트들의 결과들을 비교 방식으로 도시한다.
- 도 11은 본 발명의 실시예에 따라 디지털 이미지를 프로세싱하기 위한 디바이스의 하드웨어 구조의 예를 개략적으로 도시한다.

7. 본 발명의 특정 실시예의 설명

상기로서, 본 발명의 목적은 표준 포맷에 따른 입력 이미지의 컬러 세기들의 범위를 연장하여 보다 넓은 범위의 컬러 세기들을 갖는 디스플레이 디바이스 상에 그것을 렌더링하는 방법을 제공하는 것이다. 본 발명의 일반적인 원리는, 관찰자에 의해 지각되는 이미지의 글로벌 광도 레벨을 나타내는 정보의 결정 및 이미지의 글로벌 광도 레벨의 감소 함수로서 표현되는, 확장 지수(expansion exponent)의 이미지들의 세기들에 대한 애플리케이션에 기초한다.

도 1과 관련하여, 우리는 SDR 포맷의 입력 이미지 시퀀스(II_n)를 HDR 포맷으로 디스플레이하기 위해, SDR 포맷의 입력 이미지 시퀀스(II_n)의 프로세싱 체인을 고려하며, 여기서 n은 0과 N 사이의 정수이며, N은 0이 아닌 정수이다.

입력 시퀀스의 이미지들은 2차원(2D)이다. 그들의 엘리먼트들은 픽셀들이다. 물론, 본 발명은 이 예로 제한되지 않고, 그의 엘리먼트들이 보셀인 3차원(3D) 또는 멀티 뷰 이미지들에도 또한 적용된다.

이 시퀀스의 이미지들은 예를 들어, SD(Standard Definition) 이미지들, HD( High Definition), UHD(Ultra High Definition), HD의 선명도(definition)의 4배인 4k 및 HD 이미지의 선명도의 8배인 8k 이미지와 같은 상이한 공간 차원들을 취할 수 있다. 입력 시퀀스는 다음의 24, 25, 30, 50, 60, 120 등의 값들 사이의 다양한 프레임 레이트들을 가질 수 있다. 그의 이미지 엘리먼트들의 컬러 세기들은 예를 들어 8, 10, 12 또는 16 비트와 동일한 비트 깊이를 통해 인코딩될 수 있다.

이 이미지들의 시퀀스는 예를 들어, 비디오 카메라와 같은 취득 모듈의 출력에서 직접 원시 형태로 또는 통신 네트워크를 통해 그것을 수신한 디코더의 출력에서 압축해제된 형태로 사전에 획득되었다고 가정한다.

예를 들어, 입력 이미지 시퀀스(II_n)는 시청적 프로그램들의 생산 및 국제 교환을 위한 HDTV 표준들의 값들을 정의하는 BT.709 표준에서 특정된 바와 같이, 포맷 R'G'B'("Red Green Blue") 등일 수 있다. 컬러 정보는 0에서 255 사이의 값을 각각 취하는 3개의 컴포넌트들(R', G', B')로 표현된다.

물론, 본 발명은 이 컬러 공간으로 한정되지 않으며, BT.2020, BT.601, DCI-P3 등과 같은 다른 포맷들에 따른 입력 이미지들을 또한 핸들링할 수 있다.

이들 컬러 정보 R'G'B'는 이미지 엘리먼트들의 컬러들의 컴퓨터 또는 전기적 인코딩에 대응한다. 광전 변환 동작(optical electrical conversion operation)이 T1에서 수행되어 이미지의 컬러들의 광학 세기들을 복원한다. 이렇게 획득된 RGB 광학 세기들은 0과 1 사이의 값들을 취한다.

이들 RGB 광학 세기들은 T2에서, 기능이 제 2 범위의 값들[0:Lmax]에서 제 1 간격 [0:1]의 컬러 세기들의 감들의 범위를 연장하는 것인 ITMO("Reverse Tone Mapping Operator") 모듈에서 제시되며, 여기서, Lmax는 제 2 간격의 길이를 나타내고, L_max는 1보다 큰 정수이다.

이 ITMO 모듈은 도 2를 참조하여 이하에 제시될 본 발명에 따른 방법을 구현한다. 이 모듈의 출력에서, 생성된 이미지 시퀀스는 0과 L_max 사이의 세기들을 갖는 광학 RGB 포맷이다.

시퀀스의 각각의 이미지는 T3에서, 전광 변환(electrical optical conversion)의 역 동작을 거치게 되어, 컬러 세기들이 TV 세트와 같은 디스플레이 디바이스에 대한 유용한 컴퓨터 인코딩에 대응하는 이미지들의 시퀀스를 출력한다. 예를 들어, 구현된 변환은 색차 컴포넌트(C_b, C_r)과 별개의 휘도 컴포넌트(Y')로 컬러 세기들을 분해하는 Y'C_bC_r 포맷의 컬러 세기들을 제공한다. 이 포맷(Y'C_bC_r)은 송신 문제들에 매우 적합한 비디오의 컬러 공간을 나타내는 방식이다. 이러한 컴포넌트들은 10 비트로 인코딩된다. 변형으로서, 부가적인 변환은 T4에서, 적어도 10 비트로 인코딩된 포맷 R'G'B'의 출력 이미지들의 시퀀스를 제공한다.

획득된 이미지 시퀀스는 T5에서, 예를 들어, ST2084 또는 STD-B67 표준에 따라, 예를 들어, HDR 디지털 텔레비전과 같은 디스플레이 디바이스에 송신된다.

도 2와 관련하여, 본 발명의 실시예에 따라 디지털 이미지를 프로세싱하기 위한 방법의 단계들이 설명된다.

입력 이미지의 광학 컬러 세기들은 RGB 포맷으로 표현된다고 가정한다.

제 1 단계(E0)에서, 입력 이미지의 컬러 세기들은 휘도 Y 컴포넌트 및 X 및 Z 색차 컴포넌트들을 포함하는 컬러 공간으로 변환된다. 이 공간에서, 그의 지점들 각각에서 이미지의 광도 레벨을 나타내는 정보는 그의 컬러를 정의하는 소위 색차 정보로부터 분리된다는 것이 이해된다.

E1에서, 관찰자의 시각 시스템에 의해 지각되는 바와 같은 입력 이미지의 글로벌 광도 레벨을 나타내는 정보가 결정된다.

본 발명의 제 1 실시예에 따라, 결정된 정보는 Masia에 의해 정의된 바와 같은 이미지들의 키(k)이다.

도 3을 참조하여 설명되는 본 발명의 제 2 실시예에 따라, 글로벌 광도 레벨 정보는 아래에 정의된 다른 방식으로 결정된다 :

E11에서, 휘도 컴포넌트(Y)는 CIE L*a*b*라 불리는 컬러 공간의 다른 휘도 컴포넌트(L*), 소위 밝기 컴포넌트로 변환된다. 밝기 컴포넌트(L*)는 0(검정색)과 100(흰색) 사이의 값들을 취할 수 있다. 이는, 광 컬러들에 대한 CIE(International Commission on Illumination) L*u*v*색상 공간과 함께, CIE에 의해 정의된 표면 컬러에 대한 컬러 공간이다. CIE XYZ 시스템의 평가에 기초하여, 그것은 인간 시력에 의해 지각되는 컬러들의 차이를 보다 정확히 반영하도록 설계되었다.

이 모델에서, XYZ 평가의 휘도(Y)로부터 유도되는 밝기(L*) 및 이미지들의 시퀀스의 색차와 같이 동일한 밝기의 그레이 표면의 것과의 컬러의 차이를 표현하는 2개의 파라미터들(a* 및 b*)인 3개의 매그니튜드(magnitude)들이 컬러들을 특징화한다.

단계(E12) 동안, 밝기 컴포넌트(L*)의 중간 값(

)은 입력 이미지(II_n)의 모든 엘리먼트들 상에서 계산된다.

이미지(II_n)는 M개의 이미지 엘리먼트를 갖는다고 가정하며, 여기서 M은 0이 아닌 정수들이다.

예를 들어, 중간 값은 이미지의 엘리먼트들의 광도 컴포넌트들의 값들을 오름차순으로 정렬함으로써 계산되며, 중간 값(

)은 포지션(M + 1)/2에 대응한다.

단계(E13) 동안, 획득된 중간 값이 정규화되어서, 그의 값은 0과 1 사이에 있다. 우리는 다음을 갖는다:

(4)

E14에서, 간격[0,1]의 극한값들을 제외하면서, 정규화된 밝기의 중간 값에 대한 가능한 값들이 클리핑된다(clipped). 가능한 값들의 새로운 범위는 [0.05, 0.95]이다.

따라서, 우리는 밝기 컴포넌트로부터 클리핑된 정규화된 중간 값과 동일한 입력 이미지의 글로벌 광도 레벨을 나타내는 정보를 획득한다 :

(5)

도 2와 관련하여, 본 발명에 따른 프로세싱 방법의 다음 단계(E2)는 ILG 입력 이미지의 광도 레벨을 나타내는 정보의 함수로서 확장 계수(γ)를 계산한다. 이 확장 계수는 입력 이미지(II_n)의 휘도 컴포넌트(Y₁)에 적용되도록 의도된다. 본 발명에 따라, 확장 계수(γ)는 ILG 정보의 감소 함수로서 계산된다.

도 4a와 관련하여 제시되는 본 발명의 제 1 실시예에 따라, 확장 계수(γ)는 ILG 정보의 감소 다항식 함수로서 계산된다. 예를 들어, 확장 계수(γ)는 다음과 같이 정의된다.

(6)

여기서 α=1.5, β=2.6 및 ρ= 2.2이다.

도 4a와 관련하여 제시되는 본 발명의 제 2 실시예에 따라, 확장 계수(γ)는 입력 이미지의 역 광도 ILG 정보의 대수 함수로 계산된다 :

(7)

이들 2개의 예들에서, ILG 정보는

와 동일하게 선택된다.

물론, 본 발명은 이 특정한 경우로 제한되지 않는다. ILG 정보를 계산하는 다른 방식들은 예를 들어, 이미지(k)의 키로부터 구상될 수 있다.

이 기능의 이점은, 그것이 인간 시각 시스템의 지각 모델에 대응한다는 것이다. 또한, 그것은 계산하기에 단순하다.

물론, 본 발명은 이들 2개의 예들의 사용으로 제한되지 않는다. 다른 모델 곡선들이 사용될 수 있다.

단계(E3) 동안, 입력 이미지의 휘도 컴포넌트(Y₁)는 확장 계수(γ)를 적용하고,

(여기서

임) (8)

입력 이미지(II_n)의 각각의 엘리먼트에 대해, 휘도 값(Y)과 디스플레이 디바이스의 휘도 값 간격들의 진폭(Lmax)을 곱함으로써 변환된다.

(9)

예를 들어, ST 2084와 같은 HDR 스크린 표준에 있어, 스크린의 최대 광도 레벨이 1000 니트(nits) 또는 cd/m²인 경우, L_max는 1000이다.

E4에서, 이미지의 제 1 색차 컴포넌트들(C1)은 제 2 컴포넌트들(C2)로 변환된다.

제 1 컴포넌트들(C1)이 RGB 컬러 공간의 3개의 광 세기 값들(R1, G1, B1)의 형태로 표현될 때, 3개의 제 2 컴포넌트들(R2, G2, B2)이 획득된다.

여러 실시예들이 고려된다.

도 5는, 입력 이미지가 표준 SDR 포맷이고 디스플레이 디바이스가 HDR 포맷으로 이미지(II_n)를 렌더링하도록 구성될 때, 본 발명에 따라 입력 이미지(II_n)를 프로세싱하기 위한 방법의 단계들을 도시한다.

도 5에 예시된 제 1 실시예에 따라, 제 1 색차 컴포넌트들(C1)은 다음과 같이, 예를 들어, Y₂/Y₁ 비와 동일한, 이미지의 휘도에 적용되는 확장에 비례하는 확장 계수로 곱해진다.

(10)

RGB 컬러 공간에서 우리는 다음을 얻는다:

(11)

(12)

(13)

이 모드의 이점은 그의 단순함이다.

따라서, 출력 이미지(IO_n)가 획득되고, 이 출력 이미지의 컬러 세기들은 더 넓은 범위의 값들을 취하고 디스플레이 디바이스에 의해 제공되는 진폭으로 적응된다.

컬러들을 합성하기 위해, 컬러 가뮷(colour gamut) 또는 가뮷은 TV 스크린 또는 컴퓨터 모니터와 같은 소정 유형의 소재가 렌더링하려는, 모든 컬러들 중 일부를 지정한다. 가뮷은 컬러들을 합성하는데 사용되는 원색(primary colour)에 의존한다. 그것은 종종 이 원색들을 나타내는 지점들을 연결하는 다각형에 의해 색도도 상의 영역 상에서 플로팅된다. 도 6a은 HDTV(<<High Definition TV >>)에 적응된 BT709 권고에 따라 가뮷에서 입력 이미지에 의해 취해진 컬러 세기들의 클라우드(cloud)를 도시한다. 도 6b는 도 5와 관련하여 방금 설명된 본 발명의 제 1 실시예에 의해 획득된 출력 이미지의 것을 도시한다.

도 5a에 예시된 제 2 실시예에 따라, 단계(E4)는, 이전 실시예에서와 같이 출력 휘도와 입력 휘도 간의 Y₂/Y₁ 비에 더 이상 직접 비례하지 않는 보정 함수를 제 1 색차 컴포넌트들에 적용하는 것으로 이루어지는, 컬러 컴포넌트들을 보정하기 위한 서브단계(E41)를 포함한다. 이 제 2 실시예에 따라, 제 1 휘도 컴포넌트들에 적용되는 보정 함수는 다음 수식에 따라, 제 1 및 제 2 휘도 컴포넌트들 및 엄밀히, 1보다 큰 실수인 포화 인자(s)에 의존한다:

(14)

RGB 컬러 공간에서 우리는 다음을 얻는다:

(15)

(16)

(17)

예를 들어, 포화 인자(s)는 1.25와 동일하게 선택된다.

이 보정의 이점은 컬러 컴포넌트들의 세기들을 포화시킴으로써, 이는 더 강렬한(intense) 컬러 렌더링을 획득하도록 허용한다는 것이다.

유리하게는, 단계(E4)는 추가로 제 1 색차 컴포넌트보다 큰, 제 1 컬러 공간의 제 2 색차 컴포넌트들을 변환하기 위한 서브단계(E42)를 포함한다.

가뮷(B)으로의 가뮷(A)의 변환은 다음과 같이 행렬 변환에 의해 행해질 수 있다 :

(18)

예를 들어, BT709 권고에 따라 제 1 컬러 공간에 속하는 획득된 세기들(R2, G2, B2)은, 새로운 UHDTV 스크린들("Ultra High Definition Television" 세트)에 대해 최근에 생성된 BT2020 권고에 따른 새로운 공간과 같은 제 2 컬러 공간에서의 세기들(R2', G2', B2')로 변환된다.

이 경우에, BT2020 권고에 따른 가뮷으로의 BT709 권고에 따른 가뮷의 변환은 BT2087 권고에 특정된 바와 같이 다음 행렬을 적용함으로써 행해진다:

(19)\

이 변환의 하나의 이점은, 그것이 다각형 가뮷의 증가된 크기들로 인해, 변환된 컬러 세기들이 제 2 컬러 공간에서 그의 가장자리(border)들로부터 멀리 떨어져 위치되도록 보장하는 것을 가능하게 한다는 것이며, 이는 출력 이미지 상에서 컬러 세기들의 클리핑 효과들을 회피한다.

도 6c는 제 2 실시예에 따라 단계(E41)에서의 컬러 보정 이후에 획득되는 출력 이미지의 색도도를 도시한다. 보정으로 인해, 컬러 세기들의 범위는 보다 강렬한 렌더링에 의해, 도 6b에서 보다 도 6c에서 더 광범위하며 이는 출력 이미지를 리턴할 때 반영된다는 것에 주목할 수 있다.

도 6d는 컬러 공간 변화의 단계(E42) 이후에 획득되는 출력 이미지의 색도도를 도시한다. 컬러 공간의 변화는, 가뮷 삼각형의 경계들로부터 멀어지게 세기 값들의 클라우드를 이동시키는 것을 가능하게 한다는 것을 알 수 있으며, 이는 삼각형의 에지들에서 컬러 세기들의 임의의 절단(truncation) 및 이에 따른 출력 이미지 상의 렌더링 결함들의 출현(appearance)을 회피하는 효과를 갖는다.

이미지들의 시퀀스에 대해, 단계들(E1 내지 E4)은 각각의 이미지에 대해 반복된다.

방금 제시된 본 발명은 다각적인 스타일 또는 조명 클래스들에 속하는 이미지 시퀀스들의 대표적인 세트 상에서 테스트되었다.

조명 스타일은 이미지, 사진 또는 비디오 시퀀스를 생성하기 위해 아티스트가 선택한 조명 및 콘트라스트 조건들을 지정한다. 이러한 조건들은 이미지에 특별한 분위기를 주는데 도움이 된다. 스타일의 개념은 잘 알려져 있으며, 사진술(photography), 텔레비전 및 극장에서 널리 이용된다. 다음 3개의 클래스들이 특히 식별된다:

- 미듐-키 조명(Medium-Key Lighting)(MK)은 중간 콘트라스트에 중간 광도를 결합한 이미지들을 촬영 스타일이다. 이미지 및 비디오 콘텐츠 대부분이 이 카테고리에 속한다.

- 로우-키 조명(Low-Key Lighting)(LK)은 고의로 어두운 이미지를 취하는 스타일이고, 이에 따라 높은 콘트라스트와 연관된 낮은 광도를 갖는다. 로우 키 스타일은 명암법(chiaroscuro)과 같은 여러 효과들과 관련된다. 3개의 광 소스들에 기초한 표준 조명과는 대조적으로, 로우-키 기술은 일반적으로 단지 하나의 소스만을 포함한다.

- 하이-키 조명(High-Key lighting; HK)은 높은 광도와 낮은 콘트라스트를 결합하여 감미로운 분위기를 표현하는 이미지-촬영 스타일이다. 이는 패션 및 광고 분야에서 널리 사용되는 스타일이다.

휘도 및 콘트라스트에 의해 주어진 2차원을 고려하여, 본 발명자는 다음의 2개의 부가적인 스타일들을 포함하는 2D 분류를 제공한다:

- 다크-키 조명(Dark-Key Lighting)(DK)은 고의로 노출 부족의 이미지 촬영 스타일이며 이에 따라 낮은 콘트라스트와 연관된 낮은 광도를 갖는다. 이는 불안한 분위기를 생성함으로써 공포 영화들 또는 스릴러들의 서스펜스를 높이는 야간 장면들에 대해 특히 인기가 있다.

- 브라이트-키 조명(Bright-Key Lighting)(BK)은 높은 레벨의 콘트라스트를 높은 광도와 결합한 이미지-촬영 스타일이다. 이 스타일은 화창한 맑은 날에 야외 촬영을 위해 흔히 사용된다.

도 7과 관련하여, 방금 설명된 5개의 조명 스타일들은, 관찰자에 의해 지각되는 바와 같은 글로벌 광도 및 콘트라스트 레벨들을 나타내는 정보에 기초하여 도면에 플로팅되었다. 클래스들(LK 및 DK)은 비교 가능한 광도 레벨을 가지며 그의 콘트라스트 레벨에 의해 서로 구별된다는 것을 알 수 있다. 클래스들(HK 및 BK)에 대해서도 마찬가지다.

도 8a 내지 도 8e, 도 9 및 도 10과 관련하여, 우리는 이제 본 발명에 의해 획득진 결과들을 제시한다. 도 8a 내지 도 8e는 5개의 이미지 클래스들에 대해, 이미 설명된 본 발명 및 Akyuz 및 Masia의 방법들에 의해 각각 획득된 입력 이미지의 휘도 값들(Y₁)에 따라 출력 이미지의 확장된 휘도 값들(Y₂)의 플롯들을 비교한다. 상기로서, Akyuz의 방법은 1과 동일한 확장 지수를 사용하는 반면에, Masia의 방법은 이미지 키의 아핀 함수로서 표현되는 지수를 이용한다.

다크-키 스타일 클래스에 속하는 도 8a의 이미지에 대해, 본 발명에 의해 계산된 확장 지수(γ)는 1.72이며, Masia에 의해 계산된 것은 -0.35이다. Akyuz의 방법에 있어, 확장은 선형이어서, 모든 휘도들은 동일한 방식으로 증가된다.

Masia에 의해 계산된 계수는 음수이며, 이는 휘도 값들(Y₂)을 포화시키는 효과를 갖는다. 관찰자에 의해 매겨진 의한 미적 및 정확도 스코어들뿐만 아니라, 방법들 각각 및 대응하는 오리지날 이미지에 의해 획득된 출력 시퀀스의 이미지를 제시하는 도 9와 관련하여, Masia의 방법에 의해 획득된 이미지는 매우 백색이며 모든 콘트라스트를 손실한다는 것을 확인한다. Akyuz의 방법에 의해 생성된 이미지는 양호한 품질을 갖지만 오리지날 조명 스타일이 왜곡된다.

로우 키 스타일 클래스에 속하는 도 8b의 이미지에 대해, 본 발명에 의해 계산된 확장 지수(γ)는 1.5이며, Masia에 의해 계산된 것은 -0.80이다. Akyuz 및 Masia에 의해 생성된 이미지들에 대해 동일한 관찰들이 적용된다.

미듐 키 스타일 클래스에 속하는 도 8c의 이미지에 대해, 본 발명에 의해 계산된 확장 지수(γ)는 1.34이며, Masia에 의해 계산된 것은 0.39이다. 본 발명에 따른 방법에 의해 획득된 플롯은 Akyuz 라인 아래 놓인다. 따라서, 이는 Akyuz 행한 것보다 적게 중간 휘도 값들을 늘린다. 이는, 본 발명에 의해 확장된 이미지 MK의 버전이 Akyuz에 의해 생성된 버전보다 전체적으로 덜 노출된 것으로 보인다는 것을 보여주는 도 8에서 검증된다. Masia에 의해 생성된 이미지는 과다 노출되고 렌더링이 부자연스럽다.

브라이트 키 스타일 클래스에 속하는 도 8d의 이미지에 대해, 본 발명에 의해 계산된 확장 지수(γ)는 1.06이며, Masia에 의해 계산된 것은 1.7이다. Akyuz에 의해 획득된 결과는 과도하게 조명된다. Masia에 의해 획득된 결과는 너무 대비된다(contrasted). 도 8과 관련하여, Masia에 의해 획득된 스코어들은, 특히 출력 시퀀스의 이미지들 사이의 깜빡거림(flickering)으로 인해, Akyuz의 스코어들 및 본 발명의 스코어들보다 상당히 나쁘다.

하이 키 스타일 클래스에 속하는 도 8e의 이미지에 대해, 본 발명에 의해 계산된 확장 지수(γ)는 1.02이며, Masia에 의해 계산된 것은 -2.65이다. 본 발명의 플롯은 Akyuz 라인에 매우 근접하지만, 약간 아래에 있다. 도 8은 본 발명의 버전보다 Akyuz에 의해 생성된 버전의 훨씬 현저한 과다노출을 도시한다. 도 9와 관련하여, Masia에 의해 생성된 이미지는 어떠한 콘트라스트도 없이 매우 흰색이다.

일반적으로, Masia의 방법은 입력 이미지에 의해 취해진 값들의 전체 범위에 걸쳐 휘도 값들을 포화시키는 경향이 있으며, 이는 과다노출 및 콘트라스트 손실의 느낌(impression)을 초래할 것임에 주목할 수 있다.

Akyuz의 방법은 값들의 전체 범위에 걸쳐 휘도를 선형적으로 증폭한다. 이미지들의 렌더링은 수락 가능하지만 이미지의 오리지날 스타일은 왜곡된다.

이러한 결과들은 본 발명에 의해 프로세싱된 이미지들의 조명 스타일을 충실하게 렌더링하는 본 발명에 의해 획득된 양호한 결과들을 두드러지게 한다.

도 10과 관련하여, 우리는 테스트된 3개의 방법들에 의해 생성된 이미지들에 대해 관찰자들의 세트에 의해 할당된 평균 스코어들을 제시한다. 우리는 기준 없는 테스트로부터의 미적 스코어 및 기준이 있는 테스트로부터의 정확도 스코어를 구별한다. 본 발명에 따른 프로세싱 방법에 의해 획득된 스코어들은 미적 관점이든 충실도 관점에서든지 간에, 다른 방법들의 스코어들보다 항상 높다는 것을 알 수 있다.

방금 설명한 본 발명은 소프트웨어 및/또는 하드웨어 컴포넌트들을 사용하여 구현될 수 있다는 것에 주목할 것이다. 이 맥락에서, 이 문서에서 사용되는 "모듈" 및 "엔티티"라는 용어들은, 관련된 모듈 또는 엔티티에 대해 약술된 기능(들)을 구현할 수 있는 소프트웨어 컴포넌트 또는 하드웨어 컴포넌트 또는 심지어 하드웨어 및/또는 소프트웨어의 세트일 수 있다.

도 11과 관련하여, 우리는 이제 본 발명에 따라 디지털 이미지를 프로세싱하기 위한 디바이스(100)의 단순화된 구조의 예를 제시한다. 디바이스(100)는 도 1과 관련하여 방금 설명된, 본 발명에 따른 프로세싱 방법을 구현한다.

이 도 11은 단지, 가능한 여러개 중에서도, 도 2와 관련하여 위에서 상세화된 알고리즘을 수행하기 위한 특정한 방식만을 예시한다. 실제로, 본 발명의 기술은 명령들의 시퀀스를 포함하는 프로그램을 실행하는 재프로그래밍 가능 컴퓨팅 머신(개인용 컴퓨터, DSP 프로세서 또는 마이크로제어기) 상에서 또는 전용 컴퓨팅 머신(예를 들어, FPGA 또는 ASIC와 같은 로직 게이트들의 세트, 또는 임의의 다른 하드웨어 모듈) 상에서 차이 없이 수행된다.

본 발명이 재프로그래밍 가능 컴퓨팅 머신 상에 구현되는 경우에, 대응하는 프로그램(즉, 명령들의 시퀀스)은 (예를 들어, 플로피 디스크, CD-ROM 또는 DVD-ROM과 같은) 제거 가능한 저장 매체에 저장되거나 저장되지 않을 수 있고 이 저장 매체는 부분적으로 또는 전체적으로, 컴퓨터 또는 프로세서에 의해 판독 가능하다.

예를 들어, 디바이스(100)는, 프로세서(μ1)가 장비되고 컴퓨터 프로그램(Pg1)(120)에 의해 구동되고, 메모리(130)에 저장되며 본 발명에 따른 방법을 구현하는 프로세싱 유닛(110)을 포함한다.

초기화 시에, 컴퓨터 프로그램(Pg₁)(120)의 코드 명령들은 예를 들어, 프로세싱 유닛(110)의 프로세서에 의해 실행되기 전에 RAM에 로딩된다. 프로세싱 유닛(110)의 프로세서는 컴퓨터 프로그램(120)의 명령들에 따라 위에서 설명된 방법의 단계들을 구현한다.

본 발명의 이러한 예시적인 실시예에서, 디바이스(100)는,

- 입력 이미지(II)를 획득하고(GET);

- 입력 이미지의 RGB 컬러 세기들을 휘도 Y 컴포넌트 및 X 및 Z 색차 컴포넌트들을 포함하는 컬러 공간으로 변환하고(CONV);

- 이미지의 엘리먼트들의 제 1 휘도 컴포넌트의 값들에 기초하여, 관찰자에 의해 지각되는, 이미지의 글로벌 광도 레벨을 나타내는 정보를 결정하고(DET ILG);

- 결정된 글로벌 광도 레벨 정보의 함수로서 확장 지수(γ)를 계산하고(CALC);

- 상기 이미지 엘리먼트들의 제 1 휘도 컴포넌트들을 제 2 휘도 컴포넌트들로 변환(TRANSF) - 상기 변환은 이미지의 엘리먼트에 대해, 계산된 확장 지수를 휘도 컴포넌트의 제 1 값에 적용함으로써의 중간 휘도 값의 계산 및 계산된 중간 값과 미리 결정된 휘도 값들의 제 2 범위의 길이의 곱을 포함함 - 할 수 있고 이를 위해 구성되는 재-프로그래밍 가능한 컴퓨팅 머신 또는 전용 컴퓨팅 머신을 포함한다.

본 발명에 따라, 계산된 확장 지수(γ)는 결정된 글로벌 광도 레벨 정보의 감소 함수이다.

유리하게는, 컴퓨팅 머신은 도 2 내지 도 6과 관련하여 방금 설명된 본 발명의 실시예들을 구현하도록 구성된다.

특히, 이는 도 5 및 도 5a와 관련하여 설명된 제 1 또는 제 2 실시예들에 따라 제 2 색차 컴포넌트들로의 제 1 색차 컴포넌트들의 변환을 구현하도록 구성된다.

디바이스(100)는 예를 들어, 입력 이미지 시퀀스, 계산된 확장 계수(γ) 및 중간 휘도 값들 및/또는 출력 이미지들의 시퀀스를 저장할 수 있는 저장 유닛(M₁)(140), 예컨대, 메모리 또는 버퍼를 더 포함한다.

이들 유닛들은 프로세싱 유닛(110)의 프로세서(μ1)에 의해 제어된다.

유리하게는, 이러한 디바이스(100)는 사용자 단말 장비(TU), 예를 들어, 컴퓨터, 셋-톱 박스, 디지털 텔레비전 세트에 통합될 수 있다. 그 후, 디바이스(100)는 적어도 다음의 단말(TU)의 모듈과 협력하도록 배열된다 :

- 입력 이미지 시퀀스를 나타내는 인코딩된 데이터를 포함하는 신호가 원격 통신 네트워크, 예를 들어. 유선 또는 헤르츠 라디오 네트워크로부터 수신되게 하는 데이터 송신/수신 모듈(E/R); 및/또는

- 예를 들어, HDMI 케이블을 통한, 예를 들어, 비디오 카메라와 같은 입력 이미지 시퀀스의 취득 모듈

- SLoq3 및 ST2084 전달 기능들이 장비된 TV HDR 프로페셔널 유형 Sony ®BVM-X300 OLED와 같이, 확장된 컬러 세기들의 범위를 갖는 이미지들을 재생하도록 구성된 디스플레이 디바이스. 이 디바이스는 BT.709 및 BT.2020 컬러 표준들을 준수한다. 이는 1000 니트의 최대 광도를 제공한다.

그의 양호한 성능 및 그의 구현의 단순함 덕분에, 방금 설명된 본 발명은 여러 용도들을 허용한다. 그의 제 1 애플리케이션은 HDR 렌더링 디바이스 상에 디스플레이될 수 있는 버전으로의 SDR 포맷의 비디오 콘텐츠의 변환이다. 예를 들어, 그것은 스크린 HDR 상의 이미지들의 시퀀스의 디스플레이를 위해 후처리로서 SDR 포맷의 비디오 콘텐츠의 수신 시에 라이브(live)로 구현될 수 있다.

여러 취득 모듈들(SDR 및 HDR)을 사용하여 TV 콘텐츠의 라이브 프로덕션(live production)을 위해, 그것은 HDR 콘텐츠와 믹싱하기 전에 SDR 콘텐츠를 HDR로 즉시 변환하는데 사용될 수 있다. 그것은 또한 영화 포스트-프로덕션에서도 유리한 것으로 판명될 수 있다.

마지막으로, 본 발명은 BT.709 HDR 포맷으로 송신된 콘텐츠를 ST2084 또는 STD-B67 표준에 의해 특정된 바와 같은 HDR 포맷으로 트랜스코딩하기 위한 송신 체인의 임의의 지점에서 구현될 수 있다.

위에서 설명된 실시예들은 순전히 암시적이고 비-제한적인 예로서 주어졌으며, 다수의 수정들이 본 발명의 범위로부터 벗어나지 않고 당업자들에 의해 쉽게 이루어질 수 있다는 것은 당연하다.

Claims (13)

1. 디스플레이 디바이스(20) 상에 렌더링하기 위해 적어도 하나의 디지털 이미지(II_n)를 프로세싱하기 위한 방법으로서,
   상기 이미지는 이미지 엘리먼트들을 포함하고, 이미지 엘리먼트는 휘도 컴포넌트(Y₁) 및 제 1 색차 컴포넌트들을 포함하는 제 1 컬러 공간에서 표현되는 컬러 정보와 연관되고, 상기 제 1 휘도 컴포넌트는 미리 결정된 값들의 제 1 범위 내의 값을 갖고, 상기 디스플레이 디바이스는 상기 제 1 범위보다 긴 길이의 미리 결정된 값들의 제 2 범위에 포함되는 이미지 엘리먼트들의 휘도 컴포넌트 값들을 복원하도록 적응되고, 상기 방법은,
   - 상기 이미지의 엘리먼트들의 제 1 휘도 컴포넌트의 값들에 기초하여, 관찰자에 의해 지각되는, 이미지의 글로벌 광도 레벨(global luminosity level)(ILG)을 나타내는 정보를 결정하는 단계(E1);
   - 결정된 글로벌 광도 레벨 정보의 함수로서 확장 지수(γ)를 계산하는 단계(E2);
   - 상기 이미지 엘리먼트들의 제 1 휘도 컴포넌트들을 제 2 휘도 컴포넌트들로 변환하는 단계(E3)를 포함하고, 상기 변환하는 단계(E3)는 상기 이미지의 엘리먼트에 대해, 계산된 확장 지수를 상기 휘도 컴포넌트의 제 1 값에 적용함으로써의 중간 휘도 값의 계산 및 계산된 중간 값과 상기 미리 결정된 휘도 값들의 제 2 범위의 길이의 곱(multiplication)을 포함하고,
   상기 계산된 확장 지수(γ)는 결정된 글로벌 광도 레벨 정보의 감소 함수인 것을 특징으로 하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
2. 제1항에 있어서,
   상기 계산된 지수는 상기 이미지의 글로벌 광도 레벨을 나타내는 정보의 역의 대수(logarithm)에 비례하는 것을 특징으로 하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
3. 제2항에 있어서,
   상기 글로벌 광도 레벨을 결정하는 단계(E1)는 상기 이미지의 휘도 컴포넌트의 중간 값을 획득하는 단계(E12), 획득된 중간 값을 정규화하는 단계를 포함하고, 상기 이미지의 글로벌 광도 레벨을 나타내는 정보는 획득된 표준화된 중간 값에 비례하는 것을 특징으로 하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
4. 제3항에 있어서,
   상기 글로벌 광도 레벨을 나타내는 정보를 결정하는 단계(E1)는, 상기 확장 지수를 계산하는 단계 이전에, 상기 제 1 컬러 공간의 제 1 휘도 컴포넌트를 소위 제 2 컬러 공간의 휘도 컴포넌트로 변환하는 예비 단계(E11)를 더 포함하고, 상기 중간 값은 밝기 컴포넌트로부터 획득되는 것을 특징으로 하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
5. 제3항 또는 제4항에 있어서,
   상기 방법은 상기 확장 지수를 계산하는 단계 이전에 0과 1 사이의 중간 값을 정규화하는 단계(E13)를 포함하고, 상기 방법은 0과 a 사이의 값 및 b와 1 사이에 포함되는 값으로 정규화된 중간 값을 보정하는 단계(E14)를 포함하는 것을 특징으로 하며, a는 1 미만의 0이 아닌 양의 실수이고 값(a)으로 세팅되며, b는 a보다 크고 1 미만의 실수이고 값(b)으로 세팅되는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
6. 제5항에 있어서,
   상기 변환 단계(E3)는 다음의 수식들을 구현하는 것을 특징으로 하고,
   

   

   
   여기서

   

   이고,
   여기서, Y₁은 상기 제 1 휘도 컴포넌트를, Y₂는 상기 제 2 휘도 컴포넌트를, L_max는 휘도 값들의 제 2 범위의 길이를, log₁₀은 10진 대수를, γ는 상기 제 1 휘도 컴포넌트(Y₁)에 적용된 확장 지수를,

   

   는 정규화되고 클리핑된 중간 휘도 값을 지정하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 방법은,

   

   에 따라,
   상기 제 2 휘도 컴포넌트와 상기 제 1 휘도 컴포넌트 사이의 비(ratio)에 비례하는 확장 계수를 상기 제 1 색차 컴포넌트들에 적용함으로써, 상기 이미지의 제 1 색차 컴포넌트들(C1)을 제 2 컴포넌트들(C2)로 변환하는 단계(E4)를 포함하는 것을 특징으로 하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
8. 제6항에 있어서,
   상기 방법은 상기 이미지의 제 1 색차 컴포넌트들(C1)을 제 2 색차 컴포넌트들(C2)로 변환하는 단계(E4)를 포함하는 것을 특징으로 하고, 상기 변환하는 단계(E4)는,

   

   에 따라, 상기 제 1 및 제 2 휘도 컴포넌트들(Y₁, Y₂) 및 엄밀히, 1보다 큰 실수인 포화 인자(saturation factor)(s)에 의존하는 보정 함수를 상기 제 1 색차 컴포넌트들에 적용함으로써 컬러 보정의 서브단계(E41)을 포함하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
9. 제8항에 있어서,
   상기 변환하는 단계(E4)는 제 1 컬러 공간으로부터 상기 제 1 컬러 공간보다 큰 제 2 컬러 공간으로 제 2 색차 컴포넌트들을 변환하는 서브단계(E42)를 포함하는 것을 특징으로 하는,
   디스플레이 디바이스 상에 렌더링하기 위해 적어도 하나의 디지털 이미지를 프로세싱하기 위한 방법.
10. 디스플레이 디바이스(20) 상에 렌더링하기 위해 적어도 하나의 디지털 이미지(II_n)를 프로세싱하기 위한 디바이스(100)로서,
    상기 이미지는 이미지 엘리먼트들을 포함하고, 이미지 엘리먼트는 색차 컴포넌트들과 별개의 휘도 컴포넌트(Y₁)를 포함하는 제 1 컬러 공간에서 표현되는 컬러 정보와 연관되고, 상기 휘도 컴포넌트는 제 1 미리 결정된 값 범위에 포함되는 값을 갖고, 상기 디스플레이 디바이스는 제 1 간격보다 긴 길이의 제 2 미리 결정된 값들의 범위에 포함되는 이미지 엘리먼트들의 휘도 컴포넌트 값들을 렌더링하도록 적응되고, 상기 디바이스는,
    - 상기 이미지의 엘리먼트들의 제 1 휘도 컴포넌트의 값들에 기초하여, 관찰자에 의해 지각되는, 상기 이미지의 글로벌 광도 레벨을 나타내는 정보를 결정하고(DET ILG);
    - 결정된 글로벌 광도 레벨 정보의 함수로서 확장 지수를 계산하고(CALC γ);
    - 상기 이미지 엘리먼트들의 제 1 휘도 컴포넌트들을 제 2 휘도 컴포넌트들로 변환(TRANSF)할 수 있고 이를 위해 구성된 재프로그래밍 가능 컴퓨팅 머신 또는 전용 컴퓨팅 머신을 포함하고,
    상기 변환은 이미지의 엘리먼트에 대해, 계산된 확장 지수를 휘도 컴포넌트의 제 1 값에 적용함으로써의 중간 휘도 값의 계산 및 계산된 중간 값과 미리 결정된 휘도 값들의 제 2 범위의 길이의 곱을 포함하고,
    상기 계산된 확장 지수(γ)는 결정된 글로벌 광도 레벨 정보의 감소 함수인 것을 특징으로 하는,
    디스플레이 디바이스(20) 상에 렌더링하기 위해 적어도 하나의 디지털 이미지(II_n)를 프로세싱하기 위한 디바이스.
11. 디지털 이미지들의 시퀀스를 획득하고 상기 디지털 이미지들의 시퀀스를 렌더링할 수 있고 렌더링하도록 구성되는 디스플레이 디바이스(20)에 상기 디지털 이미지들의 시퀀스를 송신할 수 있고 송신하도록 구성되는 단말 장비(10)로서,
    제10항에 따른 적어도 하나의 디지털 이미지를 프로세싱하기 위한 디바이스(100)를 포함하는 것을 특징으로 하는, 단말 장비.
12. 컴퓨터 프로그램 제품(Pg₁)으로서,
    상기 프로그램이 컴퓨터 상에서 실행될 때, 제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
13. 제12항에 따른 컴퓨터 프로그램 제품(Pg₁)을 저장한 컴퓨터 판독 가능 및 비-일시적인 저장 매체.
    
    
    

Images