KR102105645B1

KR102105645B1 - 색상 제한들을 통한 루미넌스 변화 이미지 처리

Info

Publication number: KR102105645B1
Application number: KR1020147032679A
Authority: KR
Inventors: 레나튀스 요세퓌스 반 데 블뢰텐
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2012-10-08
Filing date: 2013-09-17
Publication date: 2020-05-04
Also published as: RU2642335C2; CN104364820B; EP2836983B1; JP2015529890A; BR112014027815B1; ES2641371T3; EP2836983A1; US20150221280A1; MX2014013221A; CN104364820A; US9230509B2; BR112014027815A2; JP5911643B2; MX338258B; PL2836983T3; WO2014056679A1; KR20150067089A; RU2014143972A; ZA201407903B

Abstract

심각한 색상 에러들을 도입하지 않으면서 상당히 다른 루미넌스 동적 범위를 갖는 색역들에 대한 색상 인코딩들 사이에서 양호한 색상 매핑을 수행할 수 있도록 하기 위해, 우리는 제 1 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 입력 색상 (L,x,y)을 제 2 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 출력 색상 (L*,x,y)으로 변환하도록 배열된 이미지 색상 처리 장치(201)를 설명하는데, 제 1 및 제 2 동적 범위들은 적어도 1.5의 곱셈 팩터 만큼 크기가 다르고, 상기 이미지 색상 처리 장치는 입력 톤 매핑(301)과 입력 색상의 루미넌스(L)에 선형으로 관련된 양에 기초하여, 조절된 출력 루미넌스(L*, 309)를 결정하도록 배열된 톤 매핑 변형 유닛(203)을 포함하고, 결정이 배열되어 입력 톤 매핑을 가장 높은 출력(L*,L_HDR)을 주는 유효한 값들 [0,1]의 범위의 모든 가능한 입력 루미넌스들 중 입력 루미넌스(L)에 적용함으로써 얻어진, 조절된 출력 루미넌스(L*, 309)가 입력 색상의 색 좌표들(x,y)에 대하여 이러한 색 좌표들(x,y)에 대한 제 2 루미넌스 동적 범위에 대응하는 색역에서 최대한 성취가능한 최대 루미넌스(Lmax(x,y))보다 높지 않게 된다.

Description

색상 제한들을 통한 루미넌스 변화 이미지 처리{LUMINANCE CHANGING IMAGE PROCESSING WITH COLOR CONSTRAINTS}

본 발명은 제 1 루미넌스들의 픽셀 색상들을 갖는 이미지를 제 2 루미넌스들의 픽셀 색상들을 갖는 이미지로 변환하기 위한, 장치들과 방법들 및 데이터 저장 또는 송신물들이나 신호들과 같은 결과물들에 관한 것이다.

색상 처리는 힘든 작업이며, (예를 들면, 디스플레이를 구동하기 위해 직접 사용가능한 색상 규정을 얻어서 이에 의해 디스플레이가 예를 들면, 디스플레이 의존 전기-광 랜더링 행동 또는 감마와 같이, 그의 세부 사항들을 조절할 수 있도록 하기 위한 것과 같이) 예를 들면, 가장 큰 것이 작은 것보다 적어도 1.5배 더 크게 상당히 상이한 입력과 출력 루미넌스 동적 범위에 대응하는 색상 표현들 사이에서 색상들을 변환할 때 특히 그렇다. 이는 예를 들면, 높은 동적 범위(HDR)로부터 낮은 동적 범위(LDR)로 변환할 때, 또는 그 반대로 변환할 때 발생할 수 있다. HDR은 더 높은 최고 밝기, 그리고 전형적으로 또한 더 깊은 어둠을 갖는 디스플레이 상의 랜더링을 말하지만, 또한 더 높은 포착 장면의 동적 범위를 갖는, 또는 이러한 더 높은 동적 범위 디스플레이로 사용될 신호 인코딩을 말하기도 한다. 숙련된 독자는 우리가 표현이 특정의 동적 범위에 대응한다고 말하면, 표현이 그 범위에 따라 규정된다고 이해한다. 색상 규정은 (예를 들면, 최대 밝기 또는 감소된 밝기로 벽걸이 사진을 보여주어 이것이 더욱 벽걸이 같아 보이게 하고 발광체처럼은 덜 보이게 하도록) 우리가 어느 루미넌스들이 색상 좌표들에 대응하는지를 규정하지 않으면, (특히 HDR 인코딩 또는 HDR 랜더링의 기술적 분야에서) 크게 의미가 없다. 예를 들면, 관련 RGB 인코딩에서, 우리는 백색 [1,1,1]이 (HDR 디스플레이에 대하여) 2000 니트의 최대 디스플레이가능한 최고 밝기에 대응하며, 예를 들면 우리가 새로운 색상 규정을 유도할 다른 ("LDR") 디스플레이에 대해서는 2배 덜하다고 말할 수 있다. 색상이 디바이스에 따라 규정되면, 동적 범위의 최대는 실제의 디스플레이 최고 밝기가 될 수 있고, 일반적인 색상 인코딩들에 대하여, 기준 디스플레이 최고 밝기(예를 들면, 5000 니트)에 대응하는 최대 인코딩(예를 들면, 255,255,255)을 고려할 수 있다. 이러한 원리는 색상을 인코딩하는 어떤 방식에서도(예를 들면, 비선형 실험실, 등에서) 적용될 수 있다.

지금 예를 들면 HDR에서 LDR로 매핑하는 종래 시도들은 출력으로 양호한(예를 들면, 자연스럽게 보이는, 또는 그들의 밝기(brightness) 또는 명도(lightness)가 아닌 적어도 그들의 색 외관에서 입력 HDR/색상들과 잘 매치하는 출력/LDR 색상들을 갖는) 색상들을 얻는데 상당한 어려움들을 보였다. 적어도 3가지 이유들이 그 원인이다. 먼저, 실제 사용되는 몇몇 색상 공간들은 불편한 방식의 비선형이고, 그럼에도 사람들은 항상 그들을 정확한 방식으로 사용하지 않으며, 이는 (때때로 예측하기 어려운) 색상 에러들을 발생시켜서 상당한 추가 보정을 필요로 한다. 두번째로, 상이한 디스플레이들은 그들 자신의 내재하는 제한들을 가지며, LDR 디스플레이는 HDR 디스플레이만큼 많은 밝은 색상들을 생성할 수 없다. 이는 예를 들면, 포화되지 않은(less saturated) 색상들을 만들기 위해 LDR 색역의 상부에서 선택하게 한다. 마지막으로, 궁극적으로 색상들의 품질은 인간 시청자에 보이는 외관들에 의해 판단되고, 이는 또한 매우 복잡한 프로세스이다. 색상들을 부적절하게 매핑할 때의 큰 수학적 문제는 앞서 색상들을 최종 디스플레이 및/또는 출력 색상 공간에 대해 실감할 수 없는, 색역 외의 색상들로 매핑할 때 발생하는 클리핑이다.

상이한 동적 범위를 갖는 디스플레이 상의 디스플레이를 위해 이미지를 적응시키는 시스템의 예가 US2006/0104508에 제공된다. 이 시스템에서, 경면 하이라이트들(specular highlights)이 LDR 이미지에서 검출되고 HDR 디스플레이의 부가적인 동적 범위가 경면 하이라이트의 밝기를 증가시키도록 사용된다. 시스템은 구분적 선형 변환을 적용함으로써 이를 달성한다.

R. Mantiuk 등에 의한 "Color Correction for Tone Mapping," Eurographics Vol. 28(2009), pp. 193-202는 루미넌스 방향의 톤 매핑을 규정하는 것으로 시작하며, 이후 이러한 톤 매핑을 입력 이미지의 픽셀들의 루미넌스들에 적용한다. 이후 남아있는 색상 문제들이 조절되지만, 양호한 색상들을 얻는 것은 여전히 힘들다.

우리 본 발명의 목적은 그 중에서도 더 높고 더 낮은 루미넌스 동적 범위에 대한 색상 표현 사이의 매핑을 조절할 수 있는 색상 처리를 갖는 것이며, 이는 특히 색상들의 색 외관을 정확하게 조절한다. 또한 바람직하게 우리는 많은 장치들에 저렴하게 통합될 수 있는 간단한 방법을 갖는다.

상기 목적은 제 1 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 입력 색상 (L,x,y)을 제 2 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 출력 색상 (L*,x,y)으로 변환하도록 배열된 이미지 색상 처리 장치(201)로서, 제 1 및 제 2 동적 범위들은 적어도 1.5의 곱셈 팩터 만큼 크기가 다르고: 입력 색상의 입력 루미넌스(L)로부터, 출력 루미넌스들을 입력 루미넌스들의 함수로서 정의하는 입력 톤 매핑(301)과, 입력 루미넌스(L)에 선형으로 관련된 양에 기초하여, 출력 색상에 대한 조절된 출력 루미넌스(L*, 309)를 결정하도록 배열된 톤 매핑 변형 유닛(203)으로서, 양은 입력 색상의 색 좌표들(x,y)에 대하여 이러한 색 좌표들(x,y)에 대한 제 1 루미넌스 동적 범위에 대응하는 색역과 제 2 루미넌스 동적 범위에 대응하는 색역 중 적어도 하나에서 최대한 성취가능한 최대 루미넌스를 나타내는, 상기 톤 매핑 변형 유닛(203)을 포함하고; 톤 매핑 변형 유닛은 조절된 톤 매핑을 입력 루미넌스에 적용함으로써 조절된 출력 루미넌스를 생성하도록 배열되고; 톤 매핑 변형 유닛(203)은 양에 의존하여 입력 톤 매핑을 적응시킴으로써 조절된 톤 매핑을 결정하도록 배열되어, 조절된 톤 매핑을 유효한 값들 [0,1]의 범위의 모든 가능한 입력 루미넌스들 중 임의의 입력 루미넌스(L)에 적용함으로써 얻어진 임의의 조절된 출력 루미넌스(L*, 309)가 입력 색상의 색 좌표들(x,y)에 대하여 이러한 색 좌표들(x,y)에 대한 제 2 루미넌스 동적 범위에 대응하는 색역에서 최대한 성취가능한 최대 루미넌스(Lmax(x,y))보다 높지 않게 되는, 상기 이미지 색상 처리 장치(201)에 의해 실현된다.

일단 이것은 Mantiuk의 종래 기술과 관련된 것으로 보일 수 있지만, 우리 방법은 다른 방법들에 비해 먼저 색상들을 양호하게 유지하는 것에 집중하고, 이후 선택적으로 톤 매핑을 조율한다는 것에 주의한다. 즉, 우리는 픽셀들의 루미넌스들 또는 루마들 상에서 처리를 수행하기 보다는 색상들의 색 규정(예를 들면, (x,y), 또는 (색조, 채도), 등)이 변화되지 않도록 유지할 것이며, 이후 일부 색상 보정을 수행할 것이다. 이를 위해 우리는 (직접적으로 함수일 수 있으며, 또는 예를 들면, 최종 결과로서 함수적 행동을 갖는 하위단계들로 구성된 컴퓨터 알고리즘과 같은, 궁극적으로 어떤 함수적 변환을 실현하는 임의의 것일 수 있는) 우리의 톤 매핑들을 설계한다. 여기서 전형적으로 우리 실시예들은 대략적으로 어떤 색상들이 LDR 색역 인코딩에 매핑되어야 하는지를 규정하는 시작 입력 톤 매핑(301)을 갖는다. 그러나 이제 우리는 상이한 색도들(x,y)에 대한 새로운, 로컬 톤 매핑들을 이끌어 낼 것인데, 즉, 조절된 톤 매핑을 생성하도록 입력 톤 매핑이 조절되거나 적응되고, 적응은 입력 색상의 색 좌표들에 대해 성취가능한 최대 루미넌스(들)에 의존한다. 이는 원래의 입력 매핑 함수를 그것이 규정되는 그의 좌표 축에 상대적으로 변경시키는 것에 의해 수행될 수 있다(즉, 우리는 입력 톤 매핑의 함수를 예를 들면, 승수가 되는 m으로 m*f(입력)과 같이 그 자체로 스케일링할 수 있거나, 우리는 입력을 입력_스케일(input_scaled)로 변화시킬 수 있어서 또한 예를 들면, 우리의 톤 매핑 함수들이 전형적으로 될 수 있는 단조 증가 함수 상에서 상이한 출력을 산출한다). 비선형 스케일링을 또한 수행할 수 있다는 것, 예를 들면 멱함수 또는 대수 변환 등을 입력 축에 적용할 수 있다는 것은 비선형 방식으로 함수를 밴딩(bending)하는 것에 대응한다는 것에 주의한다. 우리의 장치/방법이 전형적으로 사용하는 것은 (특정의 디스플레이에 대한 것이든, 또는 색상 공간의 이론적으로 정의된 색역에 대한 것이든) 색역에 있을 수 있는 최대 양에 비교되는 색상의 양의 적어도 하나의 선형 측정이며, 이러한 선형의 양은 다행스럽게도 예를 들면, 입력 색상의 루미넌스(L)에 기초하여 규정될 수 있다. 이러한 최대에 대한 루미넌스의 백분률적 양을 가정하면, 우리 장치는 어떻게 최적으로 이를 변환하는지, 선택된 특정의 전략이 색역/디스플레이의 세부 사항들, 알고리즘의 단순화, 또는 다른 고려사항들과 함께 다른 외관의 바람들을 고려하는 것에 의해 결정되는지 여부를 결정할 수 있다. 그러나, 그들은 모두 적어도 클리핑으로부터 생기는 색상 에러들을 회피하는 것, 적어도 알고리즘이 일부 클리핑을 허용하는 것에 의해 최적화하는 설계에 통합되면 그 클리핑을 최소화하는 것에 초점을 맞춘다. 숙련된 독자는 이것이 단조 증가 함수들에 대하여 톤 매핑 곡선의 가장 높은 입력 단부에서의 매핑이 될 Lmax(x,y)보다 큰 출력(L*)을 얻을 수 없음을 포함한다는 것을 이해하여야 한다. 숙련된 독자는 또한 이러한 매핑의 많은 가능한 변형들을 어떻게 실현할 수 있는지 이해하여야 한다. 이는 함수가 가장 높은 결과를 산출하는 곳을 결정하고, 이후 함수를 변경하는 것에 의해 다운스케일링하는 것을 포함하는데, 즉 이하에서 적용하는 재성형이면 적어도 그 위의 이러한 가장 높은 점을 최대의 허용가능한 값으로 제한한다. 이는 간단한 경우들에 대해서는 간단한 수학에 의해 다양한 방식으로 인코딩될 수 있고, 복잡한 경우들은 어떤 결과가 나올 것인지 시뮬레이션하여 요건들을 충족시키는 것을 적용할 수 있다.

접근법은 따라서 색상의 색도에 독립적일 수 있는 입력 기준 톤 매핑에 기초하고, 특히 색역(들)의 모든 색상들에 대해 동일할 수 있는 톤 매핑을 도입할 수 있다. 그러나, 톤 매핑 변형 유닛은 이러한 일반적인 또는 공통의 톤 매핑을 입력 픽셀의 색도에 특정되는, 특히 입력 색도의 특정 색도에 대해 최대의 가능한 루미넌스를 반영하는 양에 의존하는 톤 매핑으로 적응시킬 수 있다. 또한 조절된 톤 매핑은 조절된 루미넌스가 출력 색역의 색도에 대한 최대의 가능한 루미넌스보다 높지 않는 방식이다. 따라서, 시스템은 입력 신호로의 루미넌스 조절이 상이한 동적 범위 사이에서 변환하는 것을 허용하면서, 조절된 루미넌스가 출력 이미지가 클리핑되지 않도록 할 뿐만 아니라 동일한 기준 매핑이 가능한 루미넌스의 차이들로 적응되는 것을 허용한다. 이는 입력 색상의 변환이 동일한 색도의 그리고, 출력 색상과 전체 색역에 대한 일정한 루미넌스 적응을 갖는 출력 색상을 초래하는 것을 보장할 수 있다.

예를 들면, 각 색도에 대한 전체 루미넌스 범위의 동일한 상대적인 매핑이 상이한 범위들에서 매우 상이한 최대 루미넌스에도 불구하고 사용될 수 있다. 예를 들면, 동일한 상대적인 밝기 증가가 예를 들면, 실질적으로 낮은 최대 밝기 레벨을 가짐에도 불구하고 실질적으로 백색의 색상들인 포화된 색상들에 적용될 수 있다.

톤 매핑을 적응시키는데 사용된 양은 구체적으로 예를 들면, 색역의 모든 색도들에 대한 최대 루미넌스를 제공하는 룩업 테이블을 이용하여, 입력 색상으로부터 결정될 수 있다. 많은 실시예들에서, 양은 입력 색상의 (RGB 색상 표현과 같은) 색상 채널 표현의 색상 채널의 최대 값일 수 있다. 많은 실시예들에서, 입력 루미넌스는 색도의 루미넌스 및 입력 색상의 (xyY 표현과 같은) 루미넌스 표현일 수 있다.

구체적으로, 양은 입력 색상의 색 좌표들에 대하여 이러한 색 좌표들에 대한 제 1 루미넌스 동적 범위에 대응하는 색역에서 최대한으로 성취가능한 최대 루미넌스에 대한 입력 루미넌스를 나타낼 수 있다. 이는 이미지 색상 처리 장치(201)가, 그의 축과 비교하여 입력 톤 매핑의 함수 모양으로 단조 변환을 적용하도록 추가로 배열된 톤 매핑 변형 유닛(203)을 가질 때 유익할 것이며, 이것은 입력 톤 매핑(301)을 두개의 상이한 입력 루미넌스들(L, L_LDR)에 적용함으로써 얻어진 출력 루미넌스들(L_HDR)이 상이하다면, 이러한 입력 루미넌스들에 대한 조절된 출력 루미넌스들(L*)이 또한 상이하게 되도록 정의된다.

따라서, 변환을 함수 모양에 적용함으로써 입력 톤 매핑을 적응시킴으로써 조절된 톤 매핑이 생성될 수 있다.

많은 매핑들은 우리가 클리핑을 도입하지 않거나 최소의 클리핑을 도입하며, 따라서 예를 들면, 일부 다른 기준에 따라 중간 또는 바닥 부분을 성형할 수 있다는 것을 따를 것이다. 가장 높은 값들을 갖는 곡선의 일부 부분들이 클립하면(즉, 예를 들면 LDR 출력이 아닌 HDR 출력에 여전히 다른, 더 높은 값들이 있다면), 이후 이러한 매핑은 예를 들면, 입력 마스터 HDR 그레이드를 (클리핑) LDR 인코딩으로 먼저 매핑하고 이후 이러한 LDR 인코딩으로부터 HDR 그레이드를 복원하도록 반전 매핑하는 인코딩과 같은, 우리가 가역성을 필요로 하는 처리 전략에 사용될 수 없다. 예를 들면, 일부(비선형 스트레칭)에 의해 수행될 수 있는, 매핑을 단조로 유지한다면, 이는 유용하다. 일부 매핑들이 일부 색상들의 중첩을 허용하지만, 이러한 단조 함수들은 원래의 장면에 상이한 루미넌스들을 갖는 색상들 사이의 수학적 차이, 또는 적어도 예를 들면 그의 마스터 그레이드 표현을 (양자화와 달리) 유지한다. 일부 디스플레이 랜더링들에 대하여 이러한 차이들이 때때로 시청자에게는 보여지지 않을 수 있지만, 적어도 그들은 인코딩되고, 또한 예를 들면, 이미지 처리 응용들에 의해 사용될 수 있다.

유익하게, 이미지 색상 처리 장치(201)는 그의 축과 비교하여 입력 톤 매핑의 함수 모양으로 부드러운 변환을 적용하도록 추가로 배열되어, 조절된 톤 매핑(301)을 부드럽게 변화하는 입력 색상 루미넌스(L)에 대략적으로 유사한 양들 만큼 적용함으로써 얻어진 조절된 출력 루미넌스들(L*)과 출력 루미넌스(308) 사이의 이웃하는 색 좌표들(x,y)에 대한 연속적인 루미넌스 차이들(310)을 갖도록 결정되는, 톤 매핑 변형 유닛(203)을 갖는다.

예를 들면 함수(301) 상의 변형들 대신 색상 차이 벡터 필드로 또한 표현될 수 있는 부드러움(smoothness)은 일부 응용들에 대하여 품질 기준이 될 수 있는 흥미로운 특성이다. 예를 들면, 작은 부분들의 선형 압축 또는 비선형 압축이나, 함수(301)의 모양을 고려하는 것은 모두 부드러울 수 있다. 이후 우리 시스템은 루미넌스(L)의 행동에 주로 집중하는 색상 매핑과 매우 다르게 행동하지 않는다.

유익하게, 톤 매핑 변형 유닛(203)은 조절된 루미넌스(Ls)를 입력으로서 입력 톤 매핑(301)에 적용함으로써 조절된 출력 루미넌스(L*, 309)의 결정을 수행하도록 추가로 배열되고, 조절된 루미넌스(Ls)는 함수를 입력 색상 루미넌스(L)에 적용함으로써 얻어지고, 함수는 최대 루미넌스(Lmax(x,y))에 기초하여 정의되어, 이러한 최대 루미넌스(Lmax(x,y))와 동일한 입력 루미넌스(L)가 입력 톤 매핑(301)에 대해 입력 루미넌스(L)의 최대의 가능한 값에 매핑되도록 한다.

입력 톤 매핑에 대응하는 함수를 성형하는 대신, 예를 들면, x-방향에서 간단한 비선형 압축이 발생하여야 한다면, 그의 축을 성형할 수 있다. 특히 선형 스케일링들에 대하여, 우리가 스케일링된 새로운 입력 상의 정규 함수(301)를 이후 계산할 수 있기 때문에(또는 톤 매핑, 등의 룩업 테이블 인코딩으로의 입력으로서 스케일링된/조절된 값(Ls)을 사용할 수 있기 때문이다), 함수를 변화시키는 것보다 더욱 간단할 수 있다. 축을 성형하는 것에 의한 조절은 함수의 축 값들을 변화시키는 것에 의해 또는 입력 루미넌스 값들을 변화시키는 것에 의해 동등하게 수행될 수 있다.

유익하게 많은 실시예들에서, 톤 매핑 변형 유닛은 입력 루미넌스를 양으로부터 결정된 제 1 스케일 팩터에 의해 스케일링함으로써 스케일링된 루미넌스를 생성하고; 입력 톤 매핑을 스케일링된 루미넌스에 적용함으로써 스케일링된 조절된 루미넌스를 결정하고; 스케일링된 조절된 루미넌스를 제 1 스케일 팩터의 역수에 대응하는 제 2 스케일 팩터에 의해 스케일링함으로써 조절된 출력 루미넌스를 생성하도록 배열된다.

이는 특히 많은 실시예들에서 낮은 복잡성으로 유익한 성능을 제공한다.

유익하게 이미지 색상 처리 장치(201)는 입력 색상 루미넌스(L)를 스케일링하기 위한 함수로서 선형 스케일링을 사용한다. 이러한 단순 함수는 많은 시나리오들을 위해 충분하며, 이는 하나의 단순 곱셈에 의해 (예를 들면, IC 회로에서) 실현될 수 있다.

유익하게 이미지 색상 처리 장치(201)는 루미넌스(L)에 선형으로 관련된 양으로서 입력 색상(L,x,y)을 정의하는 색상 채널 (및 구체적으로 선형 적색, 녹색 및 녹색) 구성요소의 최대(maxRGB)를 사용하도록 추가로 배열되는 톤 매핑 변형 유닛(203)을 갖는다. 선형성 때문에, 일반적으로 이미지들/비디오가 RGB로부터 얻어진 색상 공간에서 인코딩되므로(그리고 RGB는 디스플레이를 구동하는데 사용되므로), 우리는 예를 들면, 계산을 최소화하는 RGB 공간에서 우리의 기본 방법을 다시 만들 수 있다.

입력 색상의 색상 표현의 최대 색상 채널 구성요소가 양으로 사용될 수 있다. 최대 색상 채널 구성요소는 구체적으로 그 색도에 대한 최대의 가능한 루미넌스를 나타내는데, 이는 클리핑이 일어나기 전 최소한의 스케일링될 수 있는 색상 구성요소이기 때문이다. 다시 말하면, 이러한 클리핑되는 색상 채널을 초래하지 않으면서 최대 값을 갖는 색상 채널에 적용될 수 있는 모든 스케일 팩터들은 클리핑 없이 다른 색상 채널들로 또한 적용될 수 있다.

유익하게 많은 실시예들에서, 톤 매핑 변형 유닛은 입력 톤 매핑을 색상 채널 구성요소들의 최대에 적용함으로써 조절된 루미넌스를 생성하고; 조절된 루미넌스를 입력 루미넌스와 색상 채널 구성요소들의 최대에 의존하는 스케일 팩터에 의해 스케일링함으로써 조절된 출력 루미넌스를 생성하도록 배열된다.

이러한 접근법은 많은 실시예들에 특정의 효율적인 연산, 성능 및/또는 수행을 제공할 수 있다. 스케일 팩터는 구체적으로 색상 채널 구성요소들의 입력 루미넌스와 최대(maxRGB) 사이의 비율에 비례할(또는 동일할) 수 있다.

유익하게 많은 실시예들에서, 입력 색상이 색상 채널 표현으로 제공되고 장치는 또한 입력 색상의 색상 채널 표현을 변환함으로써 색도의 루미넌스와 입력 색상의 루미넌스 표현으로서 입력 루미넌스를 생성하기 위한 색상 표현 변환기를 포함한다.

이는 많은 실시예들에 실제적이고 편안한 수행 및 연산을 허용할 수 있다. 특히 톤 매핑 동작을 위한 및 톤 매핑을 적응시키기 위한 상이한 표현들의 사용은 많은 실시예들에 효율적인 연산을 제공할 수 있다.

많은 실시예들에서 유익하게, 이미지 색상 처리는 또한 입력 색상의 색상 채널 구성요소들을 조절된 출력 루미넌스와 입력 루미넌스에 의존하는 스케일 팩터에 의해 스케일링함으로써 색상 채널 표현 출력 색상을 생성하기 위한 출력 프로세서를 포함한다.

이러한 접근법은 많은 실시예들에, 특히 입력 색상과 출력 색상 모두가 색상 채널 표현들을 이용하는데 필요한 실시예들에 특정한 효율적인 연산, 성능 및/또는 수행을 제공할 수 있다. 색상 채널 표현들은 구체적으로 RGB 표현일 수 있다.

유익하게 임의의 가능한 변형의 이미지 색상 처리 장치(201)는 적어도 하나의 미리 결정된 톤 매핑(TM)에 기초하여 입력 톤 매핑(301, TM*)을 결정하도록 배열된 톤 매핑 결정 유닛(202)을 추가로 포함한다. 구체적으로, 입력 톤 매핑은 미리 결정된 톤 매핑일 수 있다. 간단한 변형들은 전체 이미지를 위해 하나의 포괄적 톤 매핑을 사용할 수 있다. 그러나, 예를 들면, (x,y) 평면의 영역들, 또는 이미지의 특정의 공간적 영역들이나 물체들에 대하여 더 잘 맞춰지는 로컬 톤 매핑 함수들을 생성하기 위해서는 어떠한 기준도 사용할 수 있다(예를 들면, 방법/장치가 선호들로 적응시키는 디스플레이의 최종 시청자의 제어 하에서 동작하면, 기준은 "시청자는 더 밝은 청색들을 좋아한다"가 될 수 있다). 예를 들면, 그레이더에 의해 (예를 들면, (x,y) 평면의 영역에 대해 외삽 전략에 따라 이를 변경시키는 것에 의해), 또는 두개의 이러한 함수들 사이에 보간하는 것에 의해, 또는 복수의 이러한 미리 결정된 함수들의 복잡한 분석을 가정하는 최종 함수를 얻는 것에 의해, 규정된 적어도 하나의 다른 톤 매핑으로부터 적응시키기 위한 최종 입력 톤 매핑(301)을 얻을 수 있다(예를 들면, 적색들은 어두운 지역에서 이와 같이 행동하여, 우리가 우리의 오렌지색 기능을 적색들의 어두운 행동에 기초하여 하지만, 중간 루미넌스들에 대해 노란색 행동에 기초하여 적응시키고 중간의 가까이에서 발생한 것을 본 후, 오렌지색들에 대한 톤 매핑의 밝은 행동을 중간의 가까이에 대한 적어도 하나의 톤 매핑에 규정되는 것에 기초하여 결정한다).

기본 이미지 색상 처리 장치는 예를 들면, 이미지 조절 IC의 일부일 수 있으며, 예를 들면, 위에서 설명된 것과 같은 이미지 색상 처리 장치(201)와 적어도 색 좌표들(x,y)의 픽셀 출력 색상들과 조절된 출력 루미넌스들(L*)을 포함하는 출력 이미지(Im)를 출력하기 위한 데이터 포매터(613)를 포함하는 이미지 인코더, 또는 위에서 설명된 것과 같은 이미지 색상 처리 장치(201)를 포함하고, 이미지(Im)의 픽셀들의 색상 데이터를 얻도록 배열된 데이터 추출기(652)를 포함하는 이미지 디코더와 같은 다양한 더 큰 장치들 내에 통합될 수 있다.

이미지 디코더는 톤 매핑(TM)을 얻도록 추가로 배열되는 데이터 추출기(652)를 가질 수 있어서 예를 들면, 콘텐트 창작 측에서 미리 정해진 것에 기초하여 그의 톤 매핑을 수행할 수 있게 한다. 예를 들면, 위에서 언급된 것과 같이 예를 들면 특정의 디스플레이를 위한 최적의 색상 매핑을 수행하기 위해 로컬 톤 매핑들을 다시 결정할 때, 이는 생성자가 제공한 톤 매핑(TM)으로 시작할 수 있으며, 가능한 한 많이 따르도록 노력하면서 최소한으로 변형할 수 있다.

우리는 주로 그의 밝은 경계면 상에 중심을 맞추어 색역을 고려한 매핑 최적화를 설명하였으나, 또한 랜더링 디스플레이 근처의 주변 조명으로 인한 나쁜 가시성을 모델링하는 어두운 경계면을 고려하는 것에 의해 유사한 방법들을 물론 수행할 수 있다.

본 발명은 다양한 방법들, 예를 들면, 제 1 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 입력 색상 (L,x,y)을 제 2 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 출력 색상 (L*,x,y)으로 변환하기 위한 이미지 색상 처리 방법으로서, 제 1 및 제 2 동적 범위들은 적어도 1.5의 곱셈 팩터 만큼 크기가 다른, 상기 방법으로 구현될 수 있고, 이는: 입력 색상의 입력 루미넌스(L)로부터, 출력 루미넌스들을 입력 루미넌스들의 함수로서 정의하는 입력 톤 매핑(301)과, 입력 루미넌스(L)에 선형으로 관련된 양에 기초하여, 출력 색상에 대한 조절된 출력 루미넌스(L*, 309)를 결정하는 단계로서, 양은 입력 색상의 색 좌표들(x,y)에 대하여 이러한 색 좌표들(x,y)에 대한 제 1 루미넌스 동적 범위에 대응하는 색역과 제 2 루미넌스 동적 범위에 대응하는 색역 중 적어도 하나에서 최대한 성취가능한 최대 루미넌스를 나타내고, 조절된 출력 루미넌스는 조절된 톤 매핑을 입력 루미넌스에 적용함으로써 결정되는, 상기 조절된 출력 루미넌스를 결정하는 단계; 및 양에 의존하여 입력 톤 매핑을 적응시킴으로써 조절된 톤 매핑을 결정하는 단계로서, 조절된 톤 매핑을 유효한 값들 [0,1]의 범위의 모든 가능한 입력 루미넌스들 중 임의의 입력 루미넌스(L)에 적용함으로써 얻어진 임의의 조절된 출력 루미넌스(L*, 309)가 입력 색상의 색 좌표들(x,y)에 대하여 이러한 색 좌표들(x,y)에 대한 제 2 루미넌스 동적 범위에 대응하는 색역에서 최대한 성취가능한 최대 루미넌스(Lmax(x,y))보다 높지 않게 되도록 하는, 상기 조절된 톤 매핑을 결정하는 단계를 포함한다.

또는, 이미지 색상 처리의 방법에서 조절된 출력 루미넌스(L*)의 결정은 또한 이것이 조절된 루미넌스(Ls)를 입력 톤 매핑(301)으로의 입력으로서 사용하기 위해 결정하는 단계를 포함하고, 조절된 루미넌스(Ls)는 함수를 입력 색상 루미넌스(L)에 적용함으로써 얻어지며, 함수는 최대 루미넌스(Lmax(x,y))에 기초하여 정의되어, 이러한 최대 루미넌스(Lmax(x,y))와 동일한 입력 루미넌스(L)가 입력 톤 매핑(301)에 대해 입력 루미넌스(L)의 최대의 가능한 값에 매핑되도록 하는 것을 특징으로 한다.

또는, 이미지 색상 처리의 방법에서, 입력 색상의 루미넌스(L)에 선형으로 관련된 양은 입력 색상(L,x,y)을 정의하는 선형 적색, 녹색 및 청색(또는 다른 색상 채널) 구성요소들의 최대(maxRGB)이다.

또는, 이미지 색상 처리의 방법에서, 적어도 하나의 다른 미리 결정된 톤 매핑에 기초하여 입력 톤 매핑(301)을 결정하는 것을 포함한다. 본 발명은 또한 프로세서가 방법들 중 임의의 것 또는 장치들 중 임의의 것의 기능을 실현할 수 있도록 하는 코드를 포함하는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 이는 신호들 등을 통해 통신되거나 명령될 수 있다.

발명에 따른 방법과 장치의 임의의 변형의 이러한 및 다른 양태들이 이후로 설명될 수행들과 실시예들을 참조하고 첨부 도면들을 참조하여 명백해지고 설명될 것이며, 도면들은 더욱 일반적인 개념을 예시하는 단지 제한적이지 않은 특정 도해들로 사용되는데, 점선들은 구성요소가 선택적이라는 것을 나타내기 위해 사용되나, 점선이 아닌 선들의 구성요소들이 반드시 필수적인 것은 아니다. 점선들은 또한 필수적인 것으로 설명되는 소자들이 물체의 내부에 숨겨져 있다는 것을 나타내거나, 예를 들면, 물체들/지역들의 선택들, 차트들에서 값 레벨들의 표시들 등과 같은 무형물들을 위해 사용될 수 있다.

도 1은 제 1 동적 범위의 디스플레이에 대한 색상 표현/색역과 제 2 동적 범위의 디스플레이에 대한 색상 표현/색역 사이의 매핑을 개략적으로 도시한 도면.
도 2는 본 발명에 따른 핵심 장치의 가능한 실현을 개략적으로 도시한 도면.
도 3은 어떻게 그의 입력과 출력의 범위에 대한 톤 매핑 함수를 더욱 적절한 로컬 톤 매핑 함수가 되도록 변화시킬 수 있는지, 특히 디스플레이 및/또는 표현가능한 색상들 상에서 실현가능한 물리적 색역에 의한 출력 색상의 클리핑을 회피하는지 개략적으로 도시한 도면.
도 4는 우리의 발명에 따른 장치의 더욱 상세한 실시예를 도시한 도면.
도 5는 수행을 위해 상대적으로 저렴한 다른 실시예를 도시한 도면.
도 6은 총 비디오 체인에서 우리 장치의 다양한 버전들을 어떻게 상호연결할 수 있는지를 개략적으로 도시한 도면.
도 7은 우리의 방법 또는 장치의 더욱 복잡한 실시예를 어떻게 더 높은 가변도를 갖는 로컬 톤 매핑 함수들로 수행할 수 있을지를 개략적으로 도시한 도면.
도 7a는 단면(루미넌스, 채도)의 색역을 도시한 도면.
도 7b는 (색조, 채도) 색상 평면의 색역 기반의 삼각 돌출부를 도시한 도면.
도 7c는 일부 보간 전략에 따라, 2-공용 색역들(예를 들면, LDR에서 HDR)에 대한 공통 루미넌스 축에 따른 두개의 미리 규정된 함수들 사이의 보간된 함수들로서 그들을 유도하는 것에 의해 로컬 함수들의 세트가 되도록 하는 가능한 방법을 도시한 도면.

도 1은 랜더링가능한 루미넌스들의 제 1 및 제 2 범위(또한 동적 범위라고도 불림)와 연관된 제 1 및 제 2 색상 표현 사이의 매핑을 개략적으로 도시한다. 일반성의 손실 없이, 우리는 색상의 루미넌스를 디스플레이의 최고 밝기와 선형적으로 곱하는 것에 의해, 색상 표현이 특정의 디스플레이를 구동하는데 직접 사용될 수 있다고 가정할 것이다. 물론 색상 공간은 중간일 수 있고, 예를 들면, 디스플레이에 독립적인 색상 공간일 수 있는데, 이는 특정의 디스플레이 등을 위해 색상들이 랜더링되기 전에 그들이 최적에 매핑될 필요가 있다는 것을 의미한다. 매핑이 또한 반대로 수행될 수 있으나, 우리는 표현가능한 루미넌스들의 더 작은 범위(단순화를 위해, 낮은 동적 범위(low dynamic range; LDR)로 불림)로부터 더 큰 범위(높은 동적 범위(high dynamic range; HDR)로 매핑하는 것에 의한 예를 설명할 것이다. 이는 HDR 디스플레이가 구동될 때 재생가능한 색상들의 물리역 색역이 LDR 디스플레이의 것보다 더 커질 것임을 의미한다. 단순화를 위해, 우리는 1과 동일한 최대 루미넌스(L)로 둘다 정규화된 LDR과 HDR의 색상 색역들(언급된 바와 같이 우리는 색상 색역들이 실제의 상이한 동적 범위의 두개의 디스플레이들인 기준 색역들에 대해 정의되는 것으로 가정하였으며, 실제의 디스플레이들은 단순화를 위해 최고 밝기에서만 차이가 있고 예를 들면, 원색들에서는 차이가 없으며, 단순화를 위해 선형 전기-광 변환 함수를 따르는 것으로 고려되고, 유사한 전면판 반사를 갖는 등이다)을 그렸으며, 따라서 둘 모두는 동일한 색상 색역(101)을 갖고, 색상 매핑은 그 색역에서 상이한 위치들로 움직이는 색상들로 구성된다. 표현의 Z-축은 선형 루미넌스(L)이며, 비선형(예를 들면, 감마 0.45) 루마(Y)는 아니라는 것을 아는 것은 중요하다. 이는 우리가 또한 (3차원 엔티티들인) 모든 색상들의 밝기 구성요소라고 부를 수 있는 것이다. 색상들의 색 구성요소에 대하여, 우리는 그들을 CIE(x,y) 좌표들로 정의하였으나, 물론 유채색 평면들의 다른 정의들이 우리의 발명을 위하여 동일하게 가능할 수 있다. 이러한 색상 평면에서 색역의 기저는 그를 둘러싸는 편자 또는 색상환으로부터 삼각형 모양을 잘라낼 것이며, 우리는 (비색법으로부터 잘 알려진 바와 같이) 두개의 다른 파라미터들을 정의할 수 있는데: 우리가 색조(hue)라고 부를 각도와, 우리가 채도(saturation; s)라고 부를 무색의 L축으로부터 바깥방향으로의 구성요소이다(우리는 또한 시각심리적 순도와의 차이점들에 대해 더욱 상세히 논의함으로써 우리의 설명을 복잡하게 만들지 않을 것이다). x=X/(X+L+Z)와 y=L/(X+L+Z)로 정의되고, 원근적 지형이 비선형이기 때문에, x와 y는 사실상 비선형 양들이다. 이는 그 중에서도 색역의 상부 제한들이 직선들이 아닌 곡선들인 효과를 갖지만, 우리가 그들이 직선들이라고 가정하면 우리의 본 발명의 설명은 변화하지 않는다. 실제로 우리 발명은 적어도 일부 실시예들이 실제의 색역 경계 모양을 도표화할 필요를 회피할 수 있는 유용한 특성을 갖는다.

이제 우리는 LDR의 물체(106)를 가지고 있다고 가정하는데, 단순화를 위해 우리는 이것이 단일 색상(L_LDR, x, y)을 가지고 있다고 가정하고, 우리는 이에 대해 대응하는 HDR 색상(L_HDR, x, y)을 결정하길 원한다. 단순화를 위해 우리는 색상 정의의 색 부분은 동일하게 유지되고, 정규화된 루미넌스 정의만이 변화한다고 가정한다(그러나 물론 우리 방법들은 또한 색 정의를 일정한 방식으로 변경하는 다른 처리와 조합될 수 있다). 여기서의 이 가정은 우리가 그에게 상이한 루미넌스이지만 동일한 (x,y)를 주면 색상은 (HDR 디스플레이 상에서) 대략적으로 동일하게 유지되고 단지 더 밝게 보일 뿐이라는 것이다. 또한 상대적인(RELATIVE) 루미넌스 정의의 효과들과, 어떻게 이것이 상이한 매핑 이유들로 동작하는지에 주의한다. 예를 들면, 얼굴에 대한 색상이 2000 니트의 최고 밝기 HDR 디스플레이와 500 니트의 LDR 디스플레이 상에서 정확하게 동일하게 보이길 원할 수 있다. 랜더링된 출력 루미넌스(2000*L_HDR)가 이후 500*L_LDR과 동일해질 것이지만, 이는 우리의 도 1의 정규화된 (선형) 표현에서, 동일한 최종의 랜더링된 색상을 생성하기 위해 L_HDR이 L_LDR의 1/4이 될 것임을 의미하고, 이는 L-축에 따른 물체의 낮은 위치에서 보여질 수 있다. 이제 물론 제 1 색상 표현(Col_LDR)과 제 2 색상 표현(Col_HDR) 사이의 매핑을 정의하기 위한 다른 매핑 이유들이 있을 수 있다. 예를 들면, 낮은 동적 범위 디스플레이는 HDR 디스플레이의 더 밝은 색상들을 절대로 정확하게 랜더링할 수 없다는 것이 명확하기 때문에, 우리는 그들을 근사(APPROXIMATE)하고 싶어할 수 있다. 물체가 예를 들면, 루미넌스들[Lmin, Lmax] 내의 픽셀 색상들을 포함하는 광원인 경우에, 우리는 광원을 (Col_HDR로는 아니더라도) LDR 색상 표현으로 클리핑하는 것을 고려할 수 있고, 따라서 예를 들면, Lmin은 1에 매우 가까워진다(예를 들면, 디지털 8비트 표현으로 이는 253이 될 수 있다). 그러나 이는 우리가 우리의 매핑들을 조절하는 많은 실시예들에서 유용할 것이며, 큰 가역도(degree invertible)가 되어서, 특히 예를 들면, 심각한 클리핑 또는 양자화, 등의 경우에 일어나는 것과 같은, 우리가 LDR 색상 표현으로부터 이를 검색하길 윈하는 경우에, 그들은 HDR 색상 표현의 너무 많은 정보를 손실하지 않는다. 따라서 우리는 단순한 선형 클리핑보다는, 색상 그레이딩(color grading)이라고 불리는 더욱 복잡한 무언가를 램프 물체에 하길 원할 수 있으며, 가장 높은 품질을 원한다면 이는 전형적으로 자동 알고리즘에 의해 이루어지지는 않고, 적어도 부분적으로 사람인 색상 그레이더(color grader), HDR 및 LDR 디스플레이 모두에 대한 가장 가능한 방법, 즉, 표현들(Col_HDR 및 Col_LDR)로 색상들을 정의하는 경험과 지식을 가진 전문가에 의해 (반-자동 그레이딩의 자동 제 1 매핑으로부터) 보정된다.

우리의 방법은 예를 들면, 광 보정 소프트웨어에 의해 임의의 시나리오로 색상들을 변형시키는데 적용될 수 있으며, 또한 HDR 텔레비전의 이미지 처리 IC의 색상 최적화 모듈의 내부, 또는 임의의 중간 이미지 처리 장치, 원격 네트워크 컴퓨터 등에서 동작하는 이미지 최적화 서비스로도 적용될 수 있다는 것이 숙련된 독자에게 명확해야 한다. 그러나, 우리는 이것이 우리가 최근에 발명한 HDR 코덱의 일부를 형성할 때의 본 발명을 또한 설명하길 원한다. 이러한 코덱에서, 우리는 (예를 들면, 16비트 또는 32비트 선형 L, 또는 3x16 비트 선형 RGB로 인코딩되거나, 플로팅 표현 등으로 인코딩된 것으로 가정한) 입력 마스터 HDR 그레이드를 예를 들면, 후방 호환성 8비트(또는 예를 들면 10비트)의 (이후 MPEG2, AVC, HEVC, 또는 VP8, 등과 같은 레거시 압축으로 압축될 수 있는) LDR 이미지로 표현하지만, 어떻게 그것이 (Col_LDR로 정의된 픽셀들을 갖는) LDR 이미지로서 인코딩되었는지로부터 HDR 색상 표현(Col_HDR)을 유도하기 위한 색상(톤/루미넌스) 매핑 전략(적어도 톤 매핑 함수(L_HDR=F(L_LDR), 그러나 가능하게는 더욱 인코딩된 색상 변환 전략들)으로서 또한 메타데이터로 표현한다. 즉, 우리는 HDR 이미지로부터 LDR 랜더링을 위해 직접 사용될 수 있는 LDR 이미지를 그레이드했으며, 콘텐트 생성자 또는 소유자를 위해 일하는 그레이더에 의해 승인된 바와 같이 합리적으로 양호하게 보인다. 그러나 이러한 LDR 이미지가 HDR 디스플레이 상에 직접 도시되면 그리 양호하게 보여지지 않는데, 이는 모든 물체들이 인식가능하게 될 수 있지만 전형적으로 장면의 많은 물체들은 밝게 보일 것이기 때문이다, 즉 그들은 HDR 디스플레이에 대해 최적으로 그레이드되지 않았기 때문이다. 모든 물체들의 루미넌스들과 색상들을 콘텐트 생성자가 미리 규정한 HDR 그레이드가 나타내는 위치들로 다시 보내는 것은 메타데이터로 인코딩된 색상 매핑 알고리즘들이 LDR 이미지에 적용될 때 실현하는 것이다. 이제 HDR 디스플레이를 구동하기 위한 HDR 이미지를 얻기 위한 LDR 이미지의 이러한 디코딩이 (또한 단독 매핑 알고리즘, 또는 알고리즘들의 세트의 일부로서) 본 본 발명의 실시예들을 사용할 것이다.

따라서, 특정한 전형적인 설명은 LDR 이미지가 원래의 HDR 이미지로부터 전형적으로 (반)자동적으로 생성되는 시스템에 관한 것이다. LDR 이미지는 이후 분배되고 LDR 디스플레이에 의해 직접 랜더링될 수 있다. 부가적으로, 하나 그 이상의 톤 매핑 함수들이 LDR 이미지로 분배될 수 있는데, 톤 매핑 함수들은 어떻게 HDR 이미지가 LDR 이미지로부터 생성될 수 있는지에 따라 정보를 제공한다. 톤 매핑 함수들은 HDR 이미지와 매우 닯은 HDR 이미지를 생성하기 위해 LDR 이미지에 적용될 수 있는 적절한 루미넌스 변환 함수들을 명확히 설명할 수 있다.

HDR 이미지를 LDR 이미지로 매핑하기 위한 톤 매핑은 몇몇 종래 버전들에서 존재하지만, 또한 (예를 들면, DVD 또는 BD 비디오로부터의) 입력 LDR 사진을 HDR 랜더링을 위해 더욱 적절한 색상 표현을 갖는 HDR 이미지로 변환시키기 위한, 즉, 예를 들면, 더 밝은 객체들을 특히 밝게 랜더링하는 것에 의해 HDR 디스플레이의 유용성을 최대화하는 약간의 매우 개략적인 자동변환 알고리즘들이 존재한다. 예를 들면, LDR 이미지에서 "광들"이 되는 밝은 물체들(예를 들면, 255로 클립된, 경면 하이라이트들과 같은 작은 영역들)을 검출하고, 이후 이들을 HDR 코딩으로 장면의 나머지와 상당히 비교되도록 루미넌스를 부스트할 수 있으며(또는 실제로 정규화된 HDR 인코딩에서는 이들을 255에 유지시키고, LDR 루미넌스들에 비하여 모든 다른 장면 물체들의 루미넌스들을 더 낮춘다[또는 우리의 단순화된 설명과 같지 않은 실시예들에 대해서는 색상들을 루미넌스 인코딩으로 인코딩하고, 그러한 루미넌스들에 대응하는 코드 값들/루마들을 낮추는 것에 의해 적응시킨다]), 따라서 그들은 장면의 나머지의 밝기에 비해 두드러진다. 도 1의 광 물체(105)의 우리의 예에서, 이는 HDR 표현으로 우리는 광을 L_HDR의 L_HDR=1/4로 광을 인코딩하지 않으나, 그러나 예를 들면 0.8x L_HDR로는 인코딩할 수 있다는 것을 의미할 수 있다. 이후 이러한 광들(즉, 디스플레이로부터 최종 랜더링된 출력 루미넌스)을 LDR 디스플레이 상에서 가능한 한 밝게, 그리고 HDR 디스플레이상에서 특별히 밝게 랜더링할 것이다. 2000니트인 HDR 디스플레이의 최고 밝기에 의한 궁극적인 곱에 의해 실현된 궁극적 부스트 전에, 동일위치의 정규화된 색상 색역들의 톤 매핑은 이후 우리가 LDR 이미지의 광의 픽셀들의 루미넌스에 0.8에 의해 곱해야 한다는 것을 규정한다.

그러나, 일반적으로 종래 기술에서 이러한 톤 매핑이 먼저 수행되고, 이후 필요할 때 일부 색상 보정이 수행된다. 실제로, 많은 종래 기술의 접근법들에서 일부 픽셀들에 대한 클리핑 또는 색상 변화를 일으킬 수 있는 루미넌스 스케일링이 먼저 적용되고, 이러한 왜곡들을 해결하기 위해 다음으로 색상 보정을 시도한다. 물론 상이한 비색 변환들을 위한 슬라이더들이 동시에 동작한다면, 수동그레이더는 그가 원하는 모든 것을 수행할 수 있으나, 먼저 루미넌스들(또는 밝기들)을 보정하고, 이후 일부 색상 변환을 수행하는 것이 (특히 매우 많은 응용들에서 색상이 루마에 의존하기 때문에) 이치에 맞을 것이다. 사실상, 일반적으로, 비색적으로 그리고 시각심리적으로 부정확할지라도, 간단하기 때문에, (당신이 상대적으로 큰 색상 에러들에 크게 영향을 받지 않는다면) 사람들은 예를 들면, YCrCb와 같은 비선형 색상 인코딩 공간들에서 처리를 수행한다. 이는 궁극적으로 디스플레이를 위한 RGB 구동 신호로 변환되어, 전형적으로 이러한 원색들 중 적어도 하나의 양들을 초과 또는 적어지게, 즉 색상 에러들이 되게 한다. 만일 특정한 Y 루마 값을 유지하면서 색상을 매핑하는 것이 처리하는 방법이라고 생각한다면(예를 들면, 가변 색도 색상들의 범위를 넘어), 비선형 루마는 루미넌스와는 상이하기 때문에, 이러한 처리는 정확한 루미넌스들을 나타내지 않는다는 것을 인식해야 한다. 따라서 일부 경우들에서 예를 들면, 동일한 사진의 상이한 색상들의 루미넌스의 변화가 받아들일 수 있을 정도로 작은 영향이 되기에 충분히 작을 수 있으나, 에러는 존재하고, 때로는 부적절해질 수 있다. 루미넌스에 독립적인 색도 좌표들이었던 것처럼 CrCb를 처리하는 것으로부터 더 나쁜 에러들이 생겨난다. 이러한 좌표들을 변화시키는 것은 랜더링된 물체의 최종 루미넌스와 그의 유채색(즉, 색조와 포화도) 모두에 상대적으로 심각한 결과들을 가질 수 있다. 그리고 일부 시나리오들에서 적은 색조 에러들이라도 문제시될 수 있다(사람의 눈은 몇 나노미터의 에러들을 식별할 수 있거나, 다시 말하면 시청 조건들과 경험에 의존하여 원에 따라 적어도 100개의 상이한 색조들이 적절하다고 말할 수 있다는 것에 주의한다). 또한 RGB와 같은 공간은 많이 경험된 그레이더들에게도 사용하기에 완전히 직관적이거나 간단하지 않다. 비선형성때문에, 항상 일부 (예상치 못한) 변색이 생겨날 수 있고, 특히 수행하기 위한 (아마도 잘 이해되지 않는) 알고리즘들을 거의 갖고 있지 않다면(또한 UI들이 너무 조악한데, 예를 들면, 톤 매핑 곡선의 모양을 특정의 방식으로 변화시키길 원하는데 충분히 정확하게 설정될 수 없다면), 모든 색상 보정들을 (특히 간단하고 빠른 방법으로) 최대로 수행하는 것은 어려울 수 있다. 예를 들면, 사진이 너무 녹색을 띄어서 녹색을 어느정도 줄이길 원한다면 낯선 비선형 곡선들에 대하여서도 미리 빠르게 평균적으로 다소 적은 녹색의 화면을 갖도록 할 것이므로, RGB 제어들은 상대적으로 간단해 보인다. 그러나, 평안한 저녁 효과를 내기 위해 사진을 더욱 노랗게 만들고 싶다면? R과 G 모두를 제어해야 할 필요가 있지만, 그럼에도 특정의 노란색이다. 예를 들면, 포토매틱스(Photomatix)와 같은 HDR 이미지 처리 소프트웨어의 감마 슬라이더를 조절한다면, 검정색들의 가짜 색상들, 또는 중간 루미넌스들에 대한 부정확한 색상들과 같은 문제들을 만날 수 있다. 색상들이 조절되고 색상들의 비색 결정이 일어나는 사이의 시스템에 여전히 임의의 비선형성이 있다면(즉, 선형 광을 부가하는 디스플레이 랜더링), 퇴색을 경험한다. 예를 들면, 흰색과 색상의 혼합물의 밝기를 증가시키길 원한다면, 선형 공간(W, c)에서 K^2*W^2+c^2로 변화시킬 수 있다. 이는 물론 일정한 양의 채도 저하를 포함한다. 그러나 (K*W+c)^2로의 변화는 부가적인 혼합 항목(2K*c)을 포함하고, 이는 색상(c)의 양에 의존한다, 즉, 상이한 최종적으로 랜더링된 색상을 초래할 수 있다. 때때로 색상들은 우리의 선호들에 따라 너무 파스텔풍으로 보이거나 너무 만화스럽게 보이거나 매우 채도가 낮게 보인다. 이를 보정하도록 노력하는데 사용할 수 있는 색상 채도 슬라이더가 있다. 일부 사람은 일부 (부가적인) 모습을 사진으로 가져오기 위해 명확하게 이를 사용할 수 있다. 예를 들면, 저녁 거리의 조명 하의 안개가 낀 거리를 갖길 원한다면, 자연보다 과하게 채도를 어느정도 증가시켜 크리스마스같은 노란색의 모습이 되게 할 수 있다. 어떤 사람들은 매우 채도가 낮은 먼지낀 프로파일과 같은 극단적 프로파일들을 선호하는 것으로 보이는데, 우리는 우리의 본 발명의 설명을 사람이 더욱 자연스러운 색상들로 갈 때에 초점을 맞출 것이다. 임의의 경우에서, 전체적인 이미지에 꼭 맞는 (그리고 연속적인 이미지들의 장면들에 일관적인 비디오에 대하여) 그들의 3가지 비색 좌표들의 색상들을 얻는 것은 항상 간단한 작업이 아니다. 또한 어떻게 색상 변환을 정의하는가에 의존하여, 특히 그레이더가 다소 와일드한(wilder) 톤 매핑 함수들을 적용하길 원한다면(이는 아마도 분야의 많은 카메라들로부터의 부분적 프로그램들에 대한 보정과 같은, 근처의 동일한 색역들을 갖는 일상적인 색상 보정 하에서는 자주 일어나지 않을 것이지만, 몇몇 중요한 루미넌스 하위범위들을 갖는 매우 퍼진 루미넌스 범위들이 매우 상이한 용량들의 색역들을 디스플레이하도록 매핑되어야 할 때는 일어날 확률이 높다), 색상들은 너무 낯설어지지 않으며, 그들이 더욱 쉽게 보정될 수 없을 때에도 너무 낯설어지지 않는다는 것에 주의해야 한다. LDR에서 HDR로의 톤/색상 매핑에 대해 레거시 LDR+ 메타데이터로 인코딩된 HDR의 우리 예에서(이는 "LDR 컨테이너(container)" HDR 인코딩이라고 불릴 수 있다) HDR 마스터 그레이드에 대응하는 LDR 이미지를 생성한다면, 그의 색상들은 마스터 그레이드로부터 너무 상이해지지 않아야 한다는 것과, 바람직하게는 일부 매칭 품질 기준 또는 전략에 따라 가능한 한 유사하게 되어야 한다는 것, 예를 들면, LDR 디스플레이 색역이 이를 허용할 때까지, 적어도 어두운 색상들이 두개의 디스플레이들 상에서 동일하게 랜더링되어야 한다는 것을 확실히 할 필요가 있다.

따라서, 많은 시나리오들에서, 이미지에 심각한 색상 변화들을 도입하지 않는 예를 들면, LDR에서 HDR 이미지들로의 변환이 수행될 수 있다는 것은 매우 바람직하다. 이는 종종 수행하기에 매우 어려우며, 특히 대부분의 종래 접근법들은 상이한 루미넌스의 동적 범위들 사이에서 변환할 때 색상 왜곡을 도입하는 경향이 있으며 이러한 왜곡들은 이후 후속적으로 해결될 필요가 있다(또는 대응하는 열화가 수락되어야 한다).

도 2는 방법의 핵심 행동을 가능하게 하는 우리 본 발명의 실시예들의 대부분을 포함하는 이미지 색상 처리 장치(201)가 일반적으로 어떻게 보여질 수 있는지를 개략적으로 도시한다. 숙련된 독자는 이러한 핵심 모듈 부분이 매핑된 색상 또는 적어도 그의 (출력 매핑된) 루미넌스(L*), 등을 이용하여 예를 들면, 픽셀 색상들, 유닛들을 저장 또는 공급하기 위한 다양한 다른 모듈들과 상호링크될 수 있다는 것과, 이러한 기본 블록들은 예를 들면, 프로세서 상에서 동작하는 소프트웨어 프로그램과 같은 통합된 방식으로 실현될 수 있다는 것을 이해할 것이다. 톤 매핑 결정 유닛(202)은 현재의 픽셀에 대한 입력 또는 기준 톤 매핑(TM*)을 결정한다. 더욱 간단한 실시예들에서, 이러한 입력/기준 톤 매핑은 전형적에 매핑될 입력 이미지의 물체들의 루미넌스 값들이 어떻게 분포되는지에 기초하여 결정되었을 수 있으며, 우리는 이미지(또는 이미지들의 장면 등)에 대한 포괄적 매핑 함수를 가질 수 있다. 따라서, 입력 톤 매핑은 개별적인 픽셀로 특정되지 않고, 예를 들면, 이미지의 영역 또는 이미지들의 세트, 그리고 전체 이미지 또는 이미지들의 전체 그룹과 같은, 복수의 픽셀들에 대한 동적 범위 변환에 기초될 수 있는 매핑일 수 있다. 입력 톤 매핑은 개별적인 색도로 특정되지 않고, 복수의 상이한 색도들에 대한 동적 범위 변환에 기초될 수 있는 매핑일 수 있으며, 특히 색도들에 완전히 독립적일 수 있다(또한 단지 루미넌스의 함수일 수 있다). 따라서 입력 톤 매핑은 입력 루미넌스들과 출력 루미넌스들 사이의 관계를 규정하는 기준 함수일 수 있다.

우리 방법의 실시예들의 교시들에 따라, 우리는 이러한 매핑을 상이한 색(예를 들면, 색조, 채도) 하위범위들에 대한, 예를 들면 입력 (x,y) 색도들의 값에 대한 새로운 매핑들로 변환하길 원할 것이다. 따라서, 접근법에서, 비-색도 특정 입력 톤 매핑이 색도 값들 또는 범위들을 규정하도록 특정되는 조절된 톤 매핑으로 적응될 수 있다. 조절된 톤 매핑은 특히 (예를 들면 입력 및 출력 루미넌스들에 대한 곡선의 모양 또는 변화에 관한) 입력 톤 매핑의 특징들을 반영하는 것일 수 있지만, 이는 픽셀의 색도의 변환되는 특정한 특징들이 잘 맞도록 조절되었다. 특히, 조절된 톤 매핑은 변환되는 픽셀의 색도에 대해 가능한 최대 루미넌스를 나타내는 값/양/파라미터에 의존하여 생성된다. 따라서, 픽셀에 적용되는 조절된 톤 매핑은 (예를 들면, LDR 데이터로 수신된 메타데이터에 의해 규정될 수 있는) 입력 톤 매핑을 반영할 수 있지만 또한 개별적인 픽셀의 특정한 특징들이다. 접근법은 특히 색상 왜곡을 도입하지 않음을 보장하면서 상이한 동적 범위들의 루미넌스들 사이에 원하는 변환을 도입하는데 사용될 수 있으며, 그러므로 색상 보정 후처리를 필요로 하지 않는다. 따라서, 많은 시나리오들에서 색상 열화들을 갖지 않는 개선된 루미넌스 변환이 이루어질 수 있다.

물론, 우리의 방법은 또한 정의된 몇몇 톤 매핑 전략들이 있는 가능한 한 매우 많은 복잡한 톤 매칭 전략들로 동작하는데, 예를 들면, 톤 매핑은 또한 예를 들면, 픽셀이 들어오는 이미지의 영역 등에 기초하여 결정될 수 있다. 전형적으로 실시예 구성에서, 색상 인코딩 색역의 특정의 색 영역, 예를 들면 (x,y) 값에 대해 최적화될 입력/기준 톤 매핑(TM*)은, 적어도 하나의 공급된 톤 매핑(TM)에 의존할 것이며, 이는 예를 들면, 전체 이미지에 대한 그레이더에 의해 (미리) 생성될 수 있다(즉, 예를 들면, 1보다 큰 계수 색역을 갖는 감마 함수로서, 대개 더 밝은 영역들은 더 밝게 하거나 덜 밝은 영역들은 더 어둡게 한다). 우리가 미리 생성된다고 말할 때 독자는 이것이 이미지 색상 처리 장치(201)가 그레이딩 하우스의 그레이딩 엔진의 일부를 형성하는 경우에 동시 순간에 가능하다고 이해할 것이지만, 장치(201)가 예를 들면, 텔레비전 또는 디스플레이의 일부를 형성하고, 톤 매핑(TM)이 몇달 전에 결정되었다면, TM은 또한 예를 들면, BD 디스크와 같은 검출가능한 메모리로부터 또는 네트워크 연결을 통해 들어올 수 있다. 우리가 단일 톤 매핑(TM) 만을 갖는 경우에, 이는 (입력 톤 매핑(TM*)으로서) 톤 매핑 변형 유닛(203)으로 직접 송신되어 유닛(202)을 선택적으로 만들 수 있으나, 이하로 보여질 것과 같이, 몇몇 (적어도 하나의 부가적인) 톤 매핑 함수들(또는 일반적인 전략들)이 상이한 색도들(x,y)에 대해 결정되고 이후 유닛(201)에 의해 수행되는 실시예들이 있을 수 있다. 따라서, 일부 실시예들에서, 입력 톤 매핑(TM*)은 고려되고 사용가능한 기준 톤 매핑일 뿐이다. 다른 실시예들에서, 입력 톤 매핑(TM*)은 복수의 가능한 기준 톤 매핑들로부터 선택될 수 있다.

톤 매핑 변형 유닛(203)은 특히, 조절된 톤 매핑으로 불리는 새로운 톤 매핑을 결정할 수 있는데, 이는 처리되는 픽셀 색상의 (x,y) 값에 대하여 정규화된 디스플레이 색역의 최대의 가능한 루미넌스, 즉 Lmax(x,y)에 따라(또는 비정규화된 동등한 실시예들의 경우에는, 두개의 색역들의 더욱 제한된 루미넌스에 따라) 성형된다. 특히, 톤 매핑 함수는 들어오는 루미넌스들(L)(이는 정규화된 표현으로 [0,1] 사이에 속하는 것으로 알려져 있다)에 상대적으로 재성형될 수 있는데, 따라서 톤 매핑 함수로 (부분적으로 또는 전체적으로) 적용되거나 그의 입력 파라미터(L)로서 유사한 행동을 실현할 수 있다.

우리는 어떻게 이러한 톤 매핑 곡선 성형이 수행될 수 있는지에 대하여 도 3에서 하나의 간단하고 가능한 예를 설명한다.

먼저 루미넌스들(또는 루마들)을 결정하고 이후 (일반적으로 제 1 단계에서 발생된 에러들을 보정하기 위하여) 색상들을 변경하는 더 높거나 더 낮은 루미넌스 동적 범위의 이미지를 생성하기 위한(즉 상이한 최고 밝기로 사용될) 톤 매핑 방법들을 비교하면, 우리의 방법은 전형적으로 색상의 색 부분, 예를 들면 (x,y)로 시작하며, 변화되지 않은 부분을 남겨둔다(따라서 이미지 물체들의 색 보임은 이미 매우 정확하다). 따라서, 출력 색상/픽셀의 색 부분이 입력과 동일하게 되도록 선택된다. 따라서, 출력의 (x,y)는 입력의 (x,y)와 동일하게 되도록 설정될 수 있다. 시스템은 이후 색도 (x,y)를 상수로 유지하는 제약(이는 수행하기 쉬우며, 픽셀 색상들의 L-구성요소를 1차원적으로 변화시켜야 할 뿐이다) 하에서 그 색상에 대한 루미넌스를 변화시킨다. 따라서, xyY 표현에 대하여, 출력의 xy는 입력의 xy와 동일하게 설정되고, 출력의 Y는 조절된 톤 매핑에 기초하여 입력의 Y로부터 생성된다.

물론 숙련된 독자는 또한 예를 들면, 그레이더가 어떠한 이유로 다른 색상 조정을 수행하고자 할 때, 색도를 절대로 변화되지 않게 유지하는 이러한 시작 원리로부터 우리가 벗어날 수 있다는 것을 이해한다. 그러나 전형적으로 우리의 방법은 입력 색상의 (x,y)와 동일한 처리 후에 출력 색도((x,y)*)를 유지하면서 원래의 루미넌스로부터 최종 루미넌스로의 매핑(L에서 L*으로, 또는 예를 들면, L_LDR에서 L_HDR로)으로 새로운 색상이 결정되도록 동작할 것이며, 이후 선택적으로 그 (x,y,L*)은 원하는 곳에서 색상(들)의 색 보임을 변경하는 다른 색상 변환 동작을 통과할 수 있다.

이제 그레이더가 이미지(또는 아마도 영화의 장면의 연속적인 이미지들 중 한 장면)에 대한 단일 톤 매핑 함수(301)를 결정하였다고 가정하는데, 이는 무채색들(즉, [0,1]의 L_LDR과 [0,1]의 L_HDR의 범위에서 움직이는 L-축 상의 회색들)의 색상 행동에 크게 의존하여 결정된다. HDR의 최종적으로 랜더링된 루미넌스들이 두개의 디스플레이들의 최대 또는 원하는 최대 밝기들의 팩터(PEAKBRIGHTNESS_HDR/PEAKBRIGHTNESS_LDR)에 의한 인코딩과 비교되어 부스트될 것이며, 우리는 우리가 원하는 랜더링 품질 기준으로서 두개의 디스플레이들 모두에서 (거의) 동일하게 보이는 이러한 어두운 색상들을 가질 수 있기 때문에, 이러한 전형적인 함수는 먼저 어두운 영역들에 대해 작은 기울기를 갖는다. 그 후에 더 밝은 색상들에 대하여(이는 예를 들면, 카메라가 위치된 상대적으로 어두운 방의 창문들을 통해 보여지는 햇빛나는 외부 장면의 색상들일 수 있다), 우리는 상당히 가파른 경사의 매핑으로 색상들을 부스트하기 시작하여 그들을 HDR 디스플레이 상에서 상대적으로 밝게 만든다. 이러한 예에서 우리는 예를 들면, (아마도 주어진 사용자들에 대해, 톤 매핑(TM)이 영화 생성자로부터의 기본 톤 매핑으로부터 시작하여 최종에는 그에 의해 미세조정되었다면) HDR 디스플레이 상의 편안함을 위한 너무 밝은 빛들이 있다고 고려하였으며, 따라서 HDR 디스플레이를 그의 최대의 가능한 밝기로 구동하는 대신, 본 예에서는 가장 밝은 이미지 영역들을 위해 톤 매핑의 레벨이 약간 떨어진다. 이러한 입력 또는 기준 톤 맵의 예가 도 3의 곡선(301)에 의해 도시된다. 도 3의 톤 매핑/함수(301)는 따라서, 설명된 접근법에서 특정 색도(x,y)의 특징들로 적응되는 일반적인 톤 매핑이다. 따라서, 모든 색도들에 대해 톤 매핑 특징들이 매핑에 반영되는 것이 바람직할 수 있다. 그러나, 일부 색도들에 대하여 최대의 가능한 루미넌스는 실질적으로 색역에 대한 최대 루미넌스보다(즉, 백색에 대해) 낮고, 그러므로 곡선(301)이 톤 매핑을 위해 직접 사용되었을 때에만 곡선의 하위세트가 사용될 수 있을 뿐이다. 예를 들면, 채도가 낮은 빨강(saturated red)에 대하여, 낮은 루미넌스와 중간 루미넌스 범위의 특성들만이 사용되며 높은 범위의 가늘어지는 부분(tailing off)은 변환에 반영되지 않을 것이다.

의문점은 다음과 같은데, 현재 동작중인 픽셀 색상의 입력 루미넌스, 즉 L_in에 대한 출력 루미넌스(L*)를 0.6으로 결정하기 위해 사용될, 각각 특정의 (x,y)에 대하여 우리의 발명에 따른 양호한 새로운 톤 매핑(302)을 얻기 위하여, 간단한 전형적인 방식 중 하나가 어떻게 이러한 톤 매핑 함수(301)를 성형할 수 있는가? 우리는 간단한 선형 곱셈에 의해 함수를 늘릴 수 있고, 따라서 입력 색상이 최대의 허용가능한 값을 루미넌스(L)로 갖는 경우에 그 (x,y)에 대해 함수는 출력(L_HDR)으로서 그러한 최대의 허용가능한 루미넌스 값(Lmax(x,y))을 산출한다. 예를 들면, 곡선(301)의 최종점이 (1.0,1.0)이고 색역의 모서리 상의 현재 픽셀에 대한 Lmax(x,y)가 0.8이라면, 우리는 그 곡선을 압축하여 (0.8,0.8)에서 끝나도록 할 것이다. 매핑될 입력 색상이 이러한 색도에 대하여 절대로 0.8보다 높은 루미넌스를 가질 수 없지만, 0.8보다 낮은(예를 들면, 0.6) 루미넌스는 가질 수 있다는 것을 알고 있으므로, 이러한 선형으로 스케일링된 함수는 낮은 루미넌스들에 대하여 절대로 0.8보다 높은 L_HDR의 결과를 낼 수 없다는 것을 알게 된다(우리는 그 0.8 상에서 사용되는 어떠한 매핑 함수라도 최대를 스케일링한다고 가정한다). 따라서 우리는 클리핑이 발생하지 않을 것이라는 사실을 이미 처리하였는데, 클리핑은 전형적으로 심각한 색상 아티팩트들을 야기한다.

따라서, 예로써, 도 3에서, 곡선(301)이 변경되어 입력 색상의 색도에 대한 색역들의 최대 루미넌스와 들어맞는다. 예에서 입력과 출력 색역들은 동일한 색도들을 갖는 원색들에 기초하고 따라서 각 색도에 대한 상대적인 최대 루미넌스는 동일하다. 예를 들면, 예에서, 고려된 색상에 대한 최대 루미넌스는 색역들의 최대 루미넌스의(즉, 백색에 대해) 0.8이다. 곡선(301)이 따라서 조절되어 곡선의 종점들이 색도에 대해 최대 루미넌스들에 있다(즉, 특정 예에서 (0.8,0.8)에 있다). 이러한 조절된 톤 매핑(302)의 예가 도 3에 도시된다.

조절된 톤 매핑(302)은 특히 입력 톤 매핑(301)에 대응하는 모양을 가질 수 있지만 특정 색도에 대해 가능한 루미넌스들에 대응하는 범위로 압축된다. 결과적으로, 루미넌스 변환은 입력 톤 매핑의 일부의 특징들 만을 반영할 것이 아니라 전체 곡선의 특성들을 반영할 것이다. 따라서 이러한 접근법은 루미넌스 변환에 의해 도입된 클리핑이 없다는 것(과 따라서 색도가 변화되지 않는다는 것)을 보장할 뿐만 아니라, 예를 들면 변환에 대한 그레이더들의 선호들에 더 비슷한 변환도 허용한다.

이러한 접근법에 관한 질문은 다음과 같은데, 장치(201)와 방법의 다양한 실시예들에서 어떤 매핑 함수들이 바람직한가? 우리는 예를 들면, 임의의 가역(즉, L_LDR과 L_HDR의 1:1 매핑) 함수를 이용할 수 있다. 왜냐하면 HDR로부터 LDR 및 그에 반대로 매핑할 수 있기 때문이다(그러나 우리의 발명들의 일부 실시예들은 예를 들면, LDR로부터 HDR로만 변환하길 원하는 응용들에서 비가역 함수들을 또한 사용할 수 있는데, 어떤 이유들로 일부의 상이한 LDR 색상들이 동일한 HDR 색상들로 매핑되면, 일반적으로 덜 바람직한 시각적 품질 기준이더라도 수용가능할 수 있다). 예를 들면, ([0,255] 공식으로 서술될 때) L_LDR=0에서 L_HDR=1, 1에서 3, 2에서 2, 4에서 5, 6에서 12, 7에서 8 등에 매핑하는 이산 함수는 가역일 수 있다. 그러나 더욱 바람직하게 우리는 단조 함수들(사실상 단조롭게 증가하는 함수들)을 사용할 것이므로, LDR과 HDR 이미지의 색상들 사이의 루미넌스 차수는 (매우 많이) 변화되지 않고, 일부 변수들은 두 사진들 모두의 연속적인 색상들의 차이들 또는 조각들을 매우 많이 변화시키길 원하지 않을 것이다. 그러나 매핑 함수는 1차 연속이 될 필요는 없다(즉, 예를 들면, 128에서 200, 129에서 202, 그리고 130에서 1000, 그리고 131에서 1002의 불연속 매핑일 수 있다). 그러나 일부 실시예들은 예를 들면, 멱함수들의 부분들(예를 들면, 복1차(multilinear), 다중 곡률 스플라인(multi-curved spline)), 또는 유사한 모양으로 구성되는 연속 함수들을 사용할 수 있는데, 그들은 그레이더 드래깅(dragging) 제어 점들에 의해 생성될 수 있다. 또는 그레이더가 일부 제어점들을 그릴 수 있으며, 함수가 그들 사이에 보간된다. 일반적으로 함수들은 이미지의 중요한 색상 영역들에 대한 일부 로컬 행동, 밝게 하기 및/또는 그들의 콘트라스트 변경을 수행할 것이다. 따라서 함수들의 로컬 기울기들은 그들이 0이 되지 않는 한 꽤 많이 변화할 수 있고, 이는 함수를 가역이 되지 않도록 만든다. 그레이더는 또한 예를 들면, 점점 가파른 감마 함수들(색역=1.2, 1.5, 2, 2.5, 3,....) 사이에서 토글하는(toggle) 버튼을 사용할 수 있거나, S-곡선들 등과 같은 로컬 압축 함수들을 설계할 수 있다. 이제 이러한 알고리즘이 일정한 수의 비색적 특성들 때문에 (특히 사용하기 위한 매핑 함수들의 선택을 또한 제한할 때) 양호하게 동작한다.

루미넌스 규정에 대부분 집중하는 종래 알고리즘으로(즉, 먼저 고정시키고 이후 색도 왜곡을 해결하도록 (x,y)*를 변경), 예를 들면, 입력 색상(x,y,0.6)을 (x,y,0.28)(색상 308)로 변환할 것이다. 그러나, 여기서 제공된 우리의 알고리즘으로는 (x,y,0.37)이 되는 출력 색상(Col_HDR)을 얻을 것인데, 즉, 색도가 본질적으로 동일해질 것이다. 루미넌스는 다소 "낮아질 수 있으나(off)", 적어도 색상은 동일하게 보인다. 기준과 테스트가 무엇인지에 따라, 때때로 색상의 밝기는 예를 들면 색조보다 더욱 중요하지만(예를 들면, 이미지에 효과를 생성하기 위하여), 부정확한 색조 또는 채도를 갖는 우리의 LDR_Container 인코딩과 같은 많은 응용들에서는 더욱 심각한 문제가 될 수 있다(이는 또한 어떤 물체가 랜더링되는지(예를 들면, 얼굴), 어떤 상황 하에 있는지, 등에 의존한다). 그가 원래의 장면을 보지 않았다면, 그리고 그것이 부자연스럽게 밝아지지 않는다면: 보는 사람은 실제로 색상의 절대적인 루미넌스에 대해서만 관심을 갖는다. 예를 들면, 이미지의 램프가 지나치게 밝은 동안, 우리는 이미 HDR 효과를 갖는다. 또한 우리가 동일한 색상 인코딩으로 구동한다면 어쨌든 더 밝거나(10000 니트) 또는 더 어두운(2000 니트) HDR 디스플레이 상에서 상이하게 보일 것이다. 우리는 그들은 충분히 밝게 만들 수 없기 때문에, 특히 중요한, 많은 색상들이 LDR 디스플레이 상에서 루미넌스가 다르게 보일 것이며, 따라서 각각의 톤 매핑 알고리즘이 이미 희생을 치러야 한다. 따라서 "모든 색상들이 그들의 색도가 어떻든 간에 동일한 루미넌스 행동을 가져야 한다"는, 즉, 무색 축에 대하여 결정된 매핑 곡선에 의해 결정된 그들의 루미넌스 매핑을 갖는 기준을 만드는 것은 오직 양호한 기준이다. 두번째로, 기준들 중 하나가 옳은 것이라면, 색상 차이들(310)의 장(또는 사실상 일반적으로 루미넌스 차이들)은 일반적으로, 이미 작지 않다면, 색상 평면에서 적어도 부드럽게 변화한다. 이미지에 실제로 존재하는 특정의 물체들에 의해 색상 공간이 드문드문하게 샘플링되면, 이러한 부드러운 변화들은 이미 발견하는 것이 어렵지만, 빠른 비디오에서는 조악한 단계의 변동들에 의해 짜증이 나는 것을 제외하고는, 시청자는 작은 색상 변화들보다는 내용에 집중할 것이다. 사람의 색상을 보는 눈이, 수학적으로 완벽하게 설계되지는 않았으나 진화를 통해 동물들을 변화시켜온 3개의 추상체들로만 장면 물체들의 진짜 스펙트럼 특성을 추정하기 때문에, 이러한 편차들이 또한 허용된다. 따라서 완벽하지 않게 샘플링된 오버랩들의 영역들에서, 두뇌는 색조와 동시에 밝기와 채도(colorfulness/saturation)를 정확하게 판단하는데 일부 어려움을 갖는다. 따라서 사람의 시각적 시스템이 때때로 놀랍게 구분할 수 있다고 하더라도, 실제의 다른 상황들에서는 적어도 충분히 타당하게 되도록 색상 표현을 판단할 수 있다. 또한, 디스플레이 색역의 상부 경계는 대략적으로 다양한 색상들의 물체들이 어떻게 루미넌스에 대하여 행동하는지를 따르기 때문에(즉, 예를 들면 흡수에 의한 광의 일부의 필터링), 이러한 전략은 그들의 색도들에 대응하는 스펙트럼 특성들에 의해 단일 톤 매핑된/성형된 조명을 변조하는 로컬 색상 물체들로 뇌에 의해 해석될 수 있다.

따라서 이러한 매핑은 양호한 비색 결과들을 생성할 뿐만 아니라, 수행하기에도 간편한데, 이는 (빠른 실시간의 도시된 그레이딩 변화들을 수행할 수 있는) 그레이더 측의 장치들과, 예를 들면, 이동 디스플레이들과 같은 디스플레이들, 또는 셋탑박스들과 같은 이미지 조절 장치들과 같은 소비자 제품들 모두에서 유용하고, 가격 침식의 측면에서도 바람직한 간단한 이미지 처리 IC 블록들이다.

상대성으로 인해, 함수를 스케일링하는 것은 축들을 스케일링하는 것과 동등하다. 물론 우리 방법의 대부분의 일반적 형식에서, 함수는 필연적으로 정확하게 스케일링될 필요는 없지만, 예를 들면 더 어두운 색상들에 대응하는 그의 하부에서 또한 변형될 수 있으므로, 상단부가 색역 내에서 색상 변환들을 수행하는 동안, 즉, 전형적으로 단조 함수들에 대하여, 상부 값은(함수의 논의와 결과 모두의 원리에서, 즉 L_LDR과 L_HDR에서, 그러나 예를 들면, 간단한 함수 대신 변환 단계 규정들을 포함하는 수학적 매핑 절차의 경우에, 적어도 최대의 가능한 결과인 L_HDR; 예를 들면, Lmax(x,y)와 동일한 입력들이 아닌, 예를 들면, a*Lmax(x,y)+b와 동일한 입력들이 Lmax(x,y)에 매핑되면 간단한 실시예들은 a=1과 b=0만을 사용하더라도 또한 색역의 외부가 아닌 행동을 실현한다) 색도의 최대 루미넌스(Lmax(x,y))에 대한 로컬과 일치한다.

도 4는 규정된(즉, 변형되지 않고, 스케일링되지 않은) 것과 같은 톤 매핑을 사용하는 경우에, 우리 방법의 색상 매핑을 실현할 수 있는 예와, 그러나 L_LDR의 입력 값을 이렇게 변환함으로써 동일한 행동을 실현할 수 있는 예를 도시한다. 비색에 능숙한 임의의 독자는 어떻게 그가 예를 들면, 다양한 가능한 색상 조절 장치들(예를 들면, 출력 JPEG 이미지를 얻기 위하여 방법이 카메라 내에 적용될 때의 카메라 센서부)의 다른 비색 입력 색상 규정을 이용하는 유닛들을 변화시키거나 대체시킬 수 있는지를 이해할 것이다.

이미지 데이터의 소스(401)는 픽셀 색상 정보를 이미지 색상 처리 장치(201)의 이러한 실시예로 공급한다. 소스는 예를 들면, 메모리, 네트워크 연결, 예를 들면, 컴퓨터 그래픽 생성 유닛 또는 카메라 센서 등과 같은 이미지 생성 유닛일 수 있다. 하나의 (집적된) 또는 몇몇의 (제 1, 제 2, 제 3) 색상 공간 변환기들(402, 403, 404)은 전형적으로 (색상 소스가 예를 들면 수신 장치를 통한 위성으로부터의 인코딩된 텔레비전 신호일 때 YCrCb와 같은) 시작 색상 공간으로부터, 예를 들면 비선형 R'G'B'로('는 예를 들면, 0.45의 감마를 표시한다), 그리고 이후 선형 RGB로 (픽셀들 마다, 또는 이미지 영역 정보 등에 기초하여) 픽셀 색상들을 변환한다. (우리 방법이 또한 예를 들면, 비선형 공간에서 동작하도록 대안적으로 설계될 수 있다고 하여도) 이것은 유용한 특성들을 가지기 때문에 이러한 선형 RGB에서 우리는 처리를 수행하길 원한다. 이미지 분석 유닛(405)은 이미지, 본 예에서는 현재의 픽셀의 색상을 분석한다. 그의 세가지 색상 구성요소들(R,G,B)로부터 maxRGB라고 불리는 가장 높은 하나를 결정한다. 색상이 예를 들면, 정규화된 좌표들(0.9, 0.3, 0.85)에 있다면, maxRGB = 0.9이다. 색상 변환 후에 구동 값들 중 하나가 1.0보다 높아져야 할 때 클리핑이 발생하므로, 이러한 maxRGB 값은 중요하다. 값들 중 하나가 0.0 밑으로 떨어질 때 색상 에러들이 또한 발생할 수 있으므로, 우리는 그러한 고려들을 유념하여 필요한 부분만 약간 수정하여(예를 들면, 매핑 곡선의 바닥 부분을 정렬하여) 우리 알고리즘을 설계할 수 있거나, 값들이 접지 평면(L=0)이 아닌 하부 한계 표면을 갖는 색역의 제한에 대응하는, 전면 스크린 상의 가장자리 조명을 고려하여 예를 들면, 0.1보다 높아지게 되도록 고려할 수 있다. 그러나, 단순화를 위해 우리는 0 근처의 행동이 간단하며, 색역의 높은 루미넌스 단부에서의 행동만을 제한하는 우리의 알고리즘을 설명한다고 가정할 것이다.

도 4의 예에서, 입력을 표현하는 색상 채널들의 구성요소들의 최대(maxRGB)가 결정되는데, 즉 특정 예에서 R, G 또는 B 색상 채널들의 가장 큰 구성요소가 결정된다. 이러한 값은 입력 색상/픽셀의 색도에 대한 최대 루미넌스를 나타내는 양이며, 특히 이는 현재의 루미넌스와 클리핑이 없는 색역에서 가능한 최대 루미넌스 사이의 비율을 반영한다. 예를 들면, 값들(RGB=(0.9,0.3,0.85))에 의해 주어진 입력 색상에 대하여 값(maxRGB=0.9)은 입력 색상의 루미넌스가 가능한 최대 루미넌스의 90%라는 것을 나타낸다. 실제로, 이는 어떠한 클리핑도 없는 색도에 대해 가능한 최대의 상대적인 루미넌스 증가가 1/0/9=1.11에 의한 스케일링임을 반영한다. 따라서, 그 색도를 갖는 입력 색상에 대한 최대 루미넌스는 (1,0.33,0.94)이다. maxRGB 값은 따라서 이러한 색도에 특정한 조절된 톤 매핑을 생성하도록 입력 톤 매핑을 적응시키는데 사용되는 양을 제공한다.

도 4의 특정 예에서, 조절된 톤 매핑에 대한 입력 루미넌스는 제 3 색상 공간 변환기(404)로부터의 루미넌스(L)이며 출력 색상에 대한 결과적으로 조절된 루미넌스는 입력 톤 매핑과 maxRGB 값들 모두에 의존하는 값(L*)이다. 따라서, 조절된 출력 루미넌스(L*)는 입력 톤 매핑, maxRGB 값 및 입력 루미넌스에 의존한다.

도 4의 특정 예에서, 조절된 톤 매핑은 입력 톤 매핑에 기초하지만 입력 톤 매핑의 입력과 출력 상의 값들 모두를 스케일링함으로써 적응된다. 실제로, 스케일링된 루미넌스를 생성하기 위해 먼저 입력 루미넌스(L)가 제 1 스케일러(406)의 제 1 스케일 팩터에 의해 스케일링되고, 입력 톤 매핑이 이후 톤 매퍼(407)의 이러한 스케일링된 루미넌스에 적용되고, 조절된 출력 루미넌스(L*)를 생성하기 위해 결과적인 출력이 이후 제 2 스케일러(408)의 제 2 스케일 팩터에 의해 스케일링된다. 제 1 및 제 2 스케일 팩터들은 서로에 대한 역수(reciprocal)이며, 따라서 제 2 스케일러(408)는 제 1 스케일러(406)의 효과에 대해 보상한다.

또한, 제 1 및 제 2 스케일러 팩터들은 색도에 대한 최대 루미넌스의 표시로부터 결정된다. 특정 예에서, 제 1 스케일 팩터는 색도에 대한 최대 루미넌스의 역수와 동일하고, 제 2 스케일 팩터는 색도에 대한 최대 루미넌스와 동일하다. 따라서, 접근법은 색도에 대한 최대의 가능한 루미넌스에 대한 입력 루미넌스의 정규화를 효율적으로 제공하고, 이후 입력 톤 매핑을 정규화된 루미넌스에 적용한다. 제 2 스케일 팩터는 이후 정규화를 반전시키도록(reverse) 결과와 색도에 대한 최대 루미넌스를 곱한다. 전체적인 효과는 입력 톤 매핑이 색도에 대한 특정 최대 루미넌스로 스케일링되는 것이다. 예를 들면, 접근법은 도 3의 곡선들(301 및 302)에 대해 도시된 스케일링과 대응한다. 특정 예에서, 색도에 대한 최대 루미넌스는 maxRGB 값에 의해 나누어진 입력 루미넌스로서 계산된다.

따라서, 접근법은 우리가 우리의 정규 톤 매핑 곡선(301)을 픽셀의 원래 루미넌스(L)가 아닌, 예를 들면, 스케일링된 톤 매핑(302)이 원래의 것(301)을 팩터(2)로 나누는 것에 의해 얻어졌을 때, 팩터(2)로 곱해지는 일부 변경된 루미넌스(L*)에 적용하고 싶어한다는 고려에 기초한다.

그래서, 만일 현재 처리된 픽셀의 루미넌스가 색역 경계 상에 있다면(즉, L이 Lmax(x,y), 즉 0.8과 동일하다면), 우리는 이를 스케일링된 처리에 적용할 수 있는데, 즉 입력/논의를 그가 1.0이었던 것처럼 처리하고, 함수의 결과/출력을 그가 1.0이었던 것처럼 처리하지만, 지금은 0.8로 스케일링되었다. 만일 L이 스케일링된 곡선에 대한 최대 값의 절반, 즉, 0.4가 된다면, 우리는 이를 스케일링된 입력 값(Ls)이 원래 곡선(301)에 대한 최대 값의 절반, 즉, 0.5였던 것처럼 처리할 수 있고, 그 값에 대한 함수 출력을 표로 정리한다(lookup).

도 4의 예에서, 이미지 분석 유닛(405)은 maxRGB에 의해 나누어진 현재의 루미넌스(L)가 되는 스케일 팩터를 계산하기 위해 배열된다. 이것의 장점은, 우리 본 발명의 일부 실시예들이 모든 Lmax(x,y)의 값들의 표를 메모리에 저장할 수 있다고 하더라도, 우리는 예를 들면, 이를 모델링하는 스플라인들의 파라미터들과 같은, 상부 색역 평면 모양에 대한 어떠한 것도 알 필요가 없다는 것이다. 이는 우리가 얼마나 많은 L이 maxRGB 값으로부터 그의 최대 Lmax(x,y)로 증가시킬 수 있는지를 결정할 수 있기 때문이며, 이는 RGB와 xyL과 같은 선형 공간들에서는 쉬운 스케일링 동작이다(필요한 모든 것은 L이 선형이라는 것이다). 예를 들면, 우리는 L=0.4라는 것과, 이는 큰 폭으로 색역 경계 상의 색상에까지 부스트될 수 있는 색상으로부터의 로컬 범위인 [0, Lmax(x,y)]에 있는 임의의 색상일 수 있다는 것을 알고 있다. 그러나 이제 maxRGB가 5이며, 이는 실질적으로 그 색상(색조, 채도 또는 x,y)을 위한 것으로서, R은 삼원색들 중 가장 높다는 것, 즉, 우리는 색상을 만들기 위해 원색들의 대부분을 필요로 한다는 것과, 즉, 이는 색상의 루미넌스(L)가 상승할 때 먼저 클립할 것이라는 것을 알게 된다. 우리는 우리가 2의 팩터에 의해 선형 R을 부스트할 수 있으며, 따라서 우리는 2의 팩터로 L을 부스트할 수 있다는 것을 알고 있다(왜냐하면 이는 동일한 비중들을 갖는 R,G,B의 선형 조합이며, 부스트 팩터는 부가의 외부에 있는 곱셈기로서 들여보내질 수 있기 때문이다). 따라서 유닛(405)은 첫째로 로컬 Lmax(x,y)가 2*0.4=0.8과 동일하다는 것, 그리고 둘째로 실질적 픽셀 루미넌스가 (색상/톤 매핑의 출력 결과로서) 가능한 루미넌스들의 범위의 중간이라는 것을 계산하였다. 그래서 우리는 톤 매퍼(407)에서 함수를 중간[0,1]이 되는 입력에 적용하여야 한다. 명확하게, 0.4인 원래의 L은 중간이 아니다. 따라서 우리는 L을 제 1 스케일러(406)로 스케일링하여 이것이 [0, 0.8] 범위 상에서 정의된 L로부터 [0, 1] 범위 상의 스케일링된 루미넌스(Ls)의 정확한 값이 되도록 해야 한다. 우리는 예를 들면, 얻어진 값(L/maxRGB)을 나누는 것에 의해 이를 수행할 수 있다. 실질적으로, 우리는 maxRGB를 톤 매핑 함수(301)로의 입력에 적용할 수 있는데, L/(L/maxRGB)= maxRGB이므로 [0,1] 범위 상에서 정확한 입력 위치를 산출할 것이기 때문이다. 따라서 이후 톤 매퍼(407)는 그러한 0.5 L_LDR 입력에 대하여 L_HDR 값을 얻는다. 물론 그렇지 않은 경우에 우리는 예를 들면 0.4보다 높은 입력들에 대해 0.9보다 위에서 머무르며, 또한 클리핑을 하게 되는 밝은 단부에 대하여 매우 완만한 기울기를 갖는 톤 매핑 함수(301)를 가질 수 있으므로, 범위[0, 0.8]로의 실질적 스케일링을 수행하기 위해 제 2 스케일러(408)가 필요하다. 따라서 제 2 스케일러(408)는 스케일링된 출력(L*s)을 로컬 루미넌스 범위 [0, 0.8]로, 또는 실제로는 [0, Lmax(x,y)]로 다시 스케일링하여 클리핑이 아닌 범위 내에서 최종의 L*를 산출한다. 예를 들면, 0.4가 m*0.4가 되었다면, L*s=1.0-d를 산출하고, 이후 최종 결과가 (1.0-d)/m = (1.0-d)*Lmax(x,y)<Lmax(x,y)가 될 것이다.

마지막으로, 색상 공간 변환기(409)는 픽셀 색상들을 (x,y,L*) 정의로부터 응용에 의해 바람직해진 어떠한 색상 정의로도, 예를 들면 출력 비선형 RGB-삼중 R'G'B'*로 변환시킨다.

숙련된 독자는 이러한 원리가 많은 방식들로 실현될 수 있으며, 일부 선호를 갖는 실시예들은 가능한 한 적은 계산들을 수행하는 실시예들이라는 것을 이해할 것이다. 도 5에 도시된 것과 같이, 우리는 선형 RGB 색상 인코딩들에서 동작들을 수행할 수 있으며, 이는 예를 들면, 색상 변환기(409)를 회피하는 것에 의해 계산들의 수를 줄인다. 장치(201)의 이러한 실시예는 필수적으로 상부 부분에서: 스케일 팩터(Lmax(x,y))를 결정하는 동일한 단계를 수행하고, 톤 매핑된 L* 값을 얻는다. 이러한 실시예에서, 스케일 팩터를 결정하기 위해 전체 계산을 수행하는 유닛(405)은 개별적인 maxRGB 계산기(505)와, 분배기(502)로 나누어졌다. 또한, 우리는 R,G,B에 내포되는 정보로서 (x,y)가 실제적으로 필요하지 않으므로, xyL로의 전체 색상 변환을 수행하는 대신 루미넌스 결정 유닛(501)은 a*R+b*G+c*B를 계산할 필요가 있을 뿐이고, 여기서 a,b, 및 c는 예를 들면, EBU 원색들과 같은, (기준) 디스플레이에 의해 사용된 원색들의 미리 정해진 상수 함수이다. 위에서 언급된 바와 같이, maxRGB는 이제 곡선(301)을 사용하는 톤 매퍼(407)로의 입력이다. 스케일러(408)에 의핸 최종 스케일링 후에, 우리는 정확하게 스케일링되고 변환된 루미넌스(L*)를 얻는다.

이제 도 4와 비교하면 이득 팩터를 계산하는 이득 결정 유닛(510)이 새롭게 존재한다. 또한 RGB 공간의 선형성 때문에, 우리는 입력된 색상의 색도(또는 색조 및 채도)를 변화시키지 않고, 루미넌스 변화는 이득(g)을 갖는 단순한 부스트이며, 이는 또한 픽셀의 선형 RGB 구성요소들 상에 직접 인가될 수 있다. 즉, 이득은 원래의 입력 색상의 루미넌스(L)에 의해 나누어진 최종 색상의 루미넌스(L*)와 동일하고, 곱셈기(511)(또는 병렬의 3개의 곱셈기들)는 RGB*를 얻기 위한 동일한 g를 갖는 R,G 및 B를 각각 선형 출력 색상 인코딩과 곱한다.

더욱 상세하게, 도 5의 접근법은 L/(L/maxRGB)=maxRGB라는 사실을 사용하며 따라서 maxRGB 값을 톤 매퍼(407)의 입력 톤 매핑에 직접 적용한다. 이에 응답하여, 톤 매퍼(407)는 조절된 루미넌스를 생성한다. 출력이 조절된 루미넌스가 이후 이러한 값을 제 2 스케일러(408)의 적절한 스케일 팩터에 의해 스케일링함으로써 생성된다. 이러한 스케일링을 위한 스케일 팩터가 색도에 대한 최대 루미넌스로서 생성되고, 특히 maxRGB 값에 의해 나누어진 입력 루미넌스(L)로서 생성된다. 따라서, 제 2 스케일러(408)의 스케일 팩터는 입력 루미넌스와 색상 채널 구성요소들의 최대값, 즉, maxRGB 값에 의존한다.

도 4 및 도 5의 접근법들은 동등하며 본질적으로 동일하게 처리하지만 상이하게 수행된다는 것이 인식될 것이다. 특히, 두 예들에 대하여, 조절된 출력 루미넌스(L*)가 입력 루미넌스(L)와 색도(예에서는 maxRGB)에 대한 최대 루미넌스를 반영하는 양에 의존하고, 기본적인 기준 또는 입력 톤 매핑에 기초하여 생성된다는 것이 주의된다. 따라서, 두 접근법들은 색역들의 입력 색상의 색도에 대해 가능한 최대 루미넌스를 나타내는 양에 응답하여 입력 톤 매핑으로부터 생성되는 조절된 톤 매핑을 이용하여, 입력 루미넌스(L)로부터 조절된 출력 루미넌스(L*)로의 톤 매핑을 수행한다.

또한, 도 4 및 도 5의 접근법들은 입력 색상의 두개의 상이한 색상 표현들로부터의 입력 데이터를 사용하도록 고려될 수 있다는 것이 주의된다. 색상의 루미넌스는 색도의 입력 색상의 표현의 루미넌스와 xyL 표현(이는 단순한 색상 채널 구성요소 값이 아니다)과 같은 루미넌스 표현에 대응한다. 입력 톤 매핑의 적응은 색상 채널 표현의, 특히 RGB 표현의 색상 채널들에 대한 최대 구성요소 값에 기초한다. 전형적으로, 입력 색상은 단지 한 표현으로만 제공되고, 따라서 장치는 요청되는 상이한 포맷들 사이의 변환을 위한 변환기들을 포함한다.

도 5의 예에서, 입력 색상이 색상 채널 표현, 특히 RGB 표현으로 제공된다. 유사하게, 출력 색상이 동일한 색상 채널 포맷(즉, RGB 표현)으로 제공된다. 톤 매핑 결과의 표현을 xyL* 포맷으로부터 RGB 포맷으로 변환하기 보다, 도 5의 접근법은 입력 색상의 RGB 표현을 스케일링함으로써 출력 색상의 RGB 표현을 직접 생성하는 출력 회로를 포함한다.

특히, 출력 회로는 조절된 출력 루미넌스(L*)와 입력 루미넌스(L) 사이의 비율을 생성하도록 진행하는 이득 결정 유닛(510)을 포함한다. 이러한 비율은 조절된 톤 매핑에 따라 입력 루미넌스가 증가되어야하는 양을 나타낸다. 상이한 색역들에서 최대 루미넌스들에 대해 상대적인 루미넌스들이 되는 루미넌스들 때문에, 결정된 스케일 팩터는 본질적으로 입력과 출력 사이의 동적 범위들의 변화를 반영한다는 것이 주의되어야 한다.

RGB 표현의 선형 특성으로 인해, 결정된 스케일 팩터(g)로 RGB 색상 채널 구성요소들의 각각을 개별적으로 곱하는 곱셈기(511)에 의해 출력 색상의 RGB 표현이 따라서 생성된다. 결과적으로, 곱셈기(511)의 출력은 입력 색상과 정확하게 동일한 색도와 조절된 톤 매핑에 의해 결정된 루미넌스를 갖는 출력 색상이다.

도 6은 본 발명의 실시예를 이용하는 두개의 하위시스템을 포함하는 하나의 예시적인 네트워크된 총 시스템을 도시한다. 제 1 하위시스템은 콘텐트 생성자 측의 그레이딩(grading) 시스템이다. 색상 그레이딩 장치(601)는 이미지 메모리(602)로부터 미가공(raw) 이미지 또는 비디오를 갖는데, 미가공 비디오는 예를 들면 ARRI 또는 RED와 같은 디지털 카메라에 의해 포착된 것일 수 있다. 그레이더는 마스터 HDR 이미지(/비디오)를 얻기 위해 1차 색상 보정들을 수행하고, 우리는 그가 또한 예를 들면, 마스터 HDR 이미지를 8 또는 10비트 MPEG 압축된 최종 이미지(Im)로 톤 매핑하는 것에 의해 LDR_container 원리에 따라 LDR 이미지를 생성한다고 가정한다. 이러한 톤 매핑은 우리의 이미지 색상 처리 장치(201)의 제 1 실시예(2011)에 의해 수행되고, 이는 또한 다른 동작들을 수행하도록 정렬될 수 있는, 예를 들면, 색상 그레이딩 장치의 소프트웨어 모듈로서 구현될 수 있다. 이를 위해, 색상 그레이더(603)는 적어도 하나의 톤 매핑 함수(301, TM)(또는 알고리즘)를 결정한다. 물론 우리의 방법은 또한 그레이더 없이 전체적으로 자동 변환 전략들로 동작할 수 있는데, 예를 들면, 톤 매핑 함수들은 이미지의 통계적 분포, 로컬 텍스처들의 콘트라스트와 같은 미세 특성들, 등을 분석하는 것에 의해 결정된다. (LDR) 이미지(Im)와, 선택적으로 또한 톤 매핑(TM) 자체(LDR 이미지(Im)가 그 HDR 이미지의 LDR_container 인코딩된 버전이라면, 이는 HDR 마스터 그레이드를 정확하게 다시얻기위한 유용한 정보와 필요한 정보를 포함하고 있다)는 제 2 이미지 메모리(610)에 저장된다. 일부 시간 후에, 이러한 이미지 데이터(Im 및 선택적으로 TM)는 이미지/비디오 방송사(624)와 예를 들면, 위성(621) 및 안테나들(620 및 623)을 통해 통신될 수 있다. 이러한 방송사는 이후 그의 원하는 시간에 이미지 또는 비디오를 최종 사용자들에게 예를 들면, 케이블을 통해 송신할 수 있거나, 대안적으로 인터넷 등을 통해 주문형 비디오(video on demand)를 송신할 수 있다. 시청자 측의 하위시스템에서, 이미지 처리 장치(650)는 이미지(Im)와, 가능하게는 톤 매핑(TM)을 얻는다. 이는 이제 예를 들면, 텔레비전, 또는 영화 프로젝션 시스템, 등의 HDR 디스플레이(651)를 구동하기에 적절한 HDR 이미지로 LDR 이미지(Im)를 변환하는 그 자신의 새로운 톤 매핑(TM_2)을 결정한다고 가정한다. 이미지 처리 장치(650)는 제 2 실시예(2012), 예를 들면, 이미지 색상 처리 장치(201)의 위에서 설명된 실시예들 중 임의의 것을 포함한다. 우리는 하위파트로서 인코더 또는 송신기를 포함하고, 데이터 포매터(613)의 일반적 변형을 포함하는 장치를 도시한다. 숙련된 독자는 이것이 데이터가 예를 들면 데이터 캐리어 상에 저장되는지, 또는 일부 데이터 통신 채널 등을 통해 송신되는지에 의존하여, 많은 유형들, 예를 들면, 그의 픽셀들의 이미지 또는 색상 인코딩을 또한 인코딩하거나 구조화하고, 예를 들면, HEVC와 같은 데이터로 이미지/비디오 압축을 적용하고, 포매팅 또는 예를 들면 채널 인코딩과 같은 다른 인코딩을 수행하는 방식들을 가질 수 있다는 것을 이해한다. 우리는 또한 수신 유닛의 일부로서 데이터 추출기(652)를 도시하는데, 이는 또한 궁극적으로 원하는 이미지 정보를 가져오는 임의의 유닛 또는 유닛들의 조합일 수 있으며, 즉, 물리적으로 복조 유닛들, 이미지/비디오 압축해제 유닛들, 재포맷 유닛들, 이미지 처리 유닛들, 등을 포함할 수 있다.

우리 방법의 개념에 대한 일부 다른 가능한 변형들을 도시하기 위해, 우리는 어떻게 이것이 상이한 (x,y) 투플렛들(tuplets)에 대해 많은 톤 매핑들과 동작할 수 있는지를 도 7과 함께 도시한다. 이러한 하나의 가능한 예에서, 그레이더는 이제 거의 자연스러운(L-축 근처의) 색상 영역에 대하여, 위의 단일 톤 매핑 곡선 예들에서와 같이 그의 톤 매핑 곡선(TM_A)을 설계하였다. 그러나, 푸르스름한 색상들에 대하여, 그는 더 나은 색상들을 산출하기 위하여 톤 매핑(TM_B)을 고려한다. 그는 이제 예를 들면, 색조들(h[h1,h2]) 사이의 색상 영역에 대한, 채도 제한(s_L)에 대응하는, 제 2 곡선을 규정할 수 있다. 이러한 사람의 규정으로부터 출발하여, 이미지 색상 처리 장치(201)는 이제 각 (x,y)에 대한 원하는 모든 톤 매핑을 자동적으로 결정할 수 있다. 예를 들면, s_L보다 낮은 채도에 대한 섹터에서는 연속성을 위해 보간된 톤 매핑(TM_I)을 사용하는 색조 섹터[h1,h2] 밖의 모든 색상들(x,y)에 대해 TM_A를 사용할 수 있으며, s_L보다 높은 섹터에서는 외삽을 사용(예를 들면, 어디에서나 TM_B 사용)할 수 있다(또는 더 많은 지속적 행동이 바람직하다면, 또한 색상환의 주변 부분을 갖는 조각들 - 내부 또는 외부 - 가장자리 근처에서 약간의 보간을 사용할 수 있다). 보간 함수, 예를 들면, TM_I(s)=a(s)*TM_A(s)+b(s)*TM_B(s)를 유도하는 많은 방법들이 있을 수 있다는 것이 숙련된 독자에 의해 이해될 수 있으며, 여기서 두 함수들의 출력 결과들 사이의 가중 팩터들은 채도에 의존하고, 따라서 일부 함수 방법에서는 색조 섹터의 낮은 채도 부분에서 변화한다. 임의의 경우에, 색역의 지역적으로 사용가능한 루미넌스 영역으로 적절하게 스케일링하여 클리핑이 발생할 수 없게 하는 것에 의해, 로컬 톤 매핑(TM_I) 또는 그와 유사한 무엇이든 갖는다면, 정확히 동일한 방법이 위에서 설명된 것과 같이 사용될 수 있다.

본 텍스트에서 개시된 알고리즘 구성요소들은 (전체적으로 또는 부분적으로) 실제로 하드웨어(예를 들면, 애플리케이션 특정 IC의 부분들)로서 또는 특별한 디지털 신호 프로세서, 또는 범용 프로세서, 등에서 동작하는 소프트웨어로서 실현될 수 있다. 그들은 적어도 일부 사용자 입력이 (예를 들면, 공장에서, 또는 소비자 입력, 또는 다른 사람의 입력으로) 제공될 수 있다/제공되었다는 의미에서 반자동일 수 있다.

구성요소들은 선택적 개선들일 수 있으며 다른 구성요소들과 조합하여 실현될 수 있고, 방법들의 (선택적인) 단계들이 어떻게 장치들의 각각의 수단과 대응하는지, 및 그 반대인지가 우리의 제공으로부터 숙련된 사람들에게 이해될 수 있어야 한다. 일부 구성요소들이 일정한 관계로(예를 들면, 일정한 구성의 단일 도면으로) 발명에 개시된다는 사실은 다른 구성들이 여기서 특허를 위해 개시된 동일한 발명적 생각 하의 실시예들로 가능하지 않다는 것을 의미하지 않는다. 또한, 실용적인 이유들로 단지 제한된 스펙트럼의 예들만이 설명되었다는 사실은 다른 변형들이 청구항들의 범위 하에 속할 수 없다는 것을 의미하지 않는다. 사실, 본 발명의 구성요소들은 일정한 사용 체인을 따라 상이한 변형들로 구현될 수 있는데, 예를 들면, 인코더와 같은 창작 측의 모든 변형들은 분해된 시스템의 소비 측, 예를 들면 디코더의 대응하는 장치들과 유사하거나 이에 대응할 수 있고, 그 반대도 성립한다. 실시예들의 몇몇 구성요소들은 송신을 위한 신호의 특정한 신호 데이터로, 또는 인코더와 디코더 사이의 임의의 송신 기술, 등의 좌표와 같은 다른 사용을 위해 인코딩될 수 있다. "장치(apparatus)"라는 단어는 본 출원에서 그의 가장 넓은 의미로, 즉 특별 객체의 실현을 허용하는 의미의 그룹으로 사용되고, 따라서 예를 들면, IC(의 작은 일부), 또는 전용 기기(디스플레이를 갖는 기기와 같은), 또는 네트워크된 시스템의 일부, 등일 수 있다. "배열(arrangement)" 또는 "시스템(system)"은 또한 가장 넓은 의미로 사용되는 것으로 의도되고, 따라서 이는 그중에서도 단일의 물리적인, 구매가능한 장치, 장치의 일부, 공동 장치들(의 일부들의) 집합, 등을 포함할 수 있다.

컴퓨터 프로그램 제품이라는 표시는 명령들을 프로세서로 입력하기 위한 일련의 로딩 단계들(중간 언어로의 번역과 같은 중간 변환 단계들과, 최종 프로세서 언어를 포함할 수 있다) 후에, 본 발명의 임의의 특별한 기능들의 수행하도록, 범용 또는 특정 목적 프로세서를 인에이블시키는 명령들의 집합의 임의의 물리적 실현을 포함하는 것으로 이해되어야 한다. 특히, 컴퓨터 프로그램 제품은 예를 들면, 디스크 또는 테이프와 같은 캐리어 상의 데이터, 메모리에 존재하는 데이터, 네트워크 연결 - 유선 또는 무선 - 을 통해 이동하는 데이터, 또는 종이 상의 프로그램 코드로 실현될 수 있다. 프로그램 코드와는 다른, 프로그램을 위해 필요한 특별한 데이터가 또한 컴퓨터 프로그램 제품으로 구현될 수 있다. 이러한 데이터는 (부분적으로) 임의의 방식으로 공급될 수 있다.

본 발명, 또는 비디오 데이터와 같은 본 실시예들의 일정한 철학에 따라 사용가능한 임의의 데이터는, 또한 데이터 캐리어들 상의 신호들로서 구현될 수 있으며, 이는 광 디스크들, 플래시 메모리들, 제거가능한 하드 디스크들, 무선 수단을 통해 기록가능한 휴대용 디바이스들 등과 같은 제거가능한 메모리들일 수 있다.

임의의 제공된 방법의 동작을 위해 필요한 단계들의 일부는, 데이터 입력과 출력 단계들, 표준 디스플레이 구동과 같은 잘 알려진 전형적으로 포함된 처리 단계들 등과 같은 (발명 실시예들의 세부 사항들로) 여기서 설명된 컴퓨터 프로그램 제품 또는 임의의 유닛, 장치 또는 방법에서 설명되는 대신, 본 발명의 프로세서 또는 임의의 장치 실시예들의 기능에 미리 제공될 수 있다. 우리는 또한 예를 들면, 방법들의 임의의 단계나 장치들의 임의의 하위부분에 포함된 특정의 새로운 신호들 뿐만 아니라 이러한 신호들의 임의의 새로운 사용들 또는 임의의 관련 방법들과 같은, 결과적인 제품들 및 유사한 결과들의 보호를 원한다.

위에서 언급된 실시예들은 본 발명을 제한하기 보다는 예시한다는 것이 주의되어야 한다. 숙련된 사람은 제공된 예들의 청구항들의 다른 영역들로의 매핑을 쉽게 실현할 수 있으므로, 우리는 모든 이러한 선택들을 간결함을 위해 깊이 언급하지 않았다. 청구항들에서 조합된 것과 같은 본 발명의 소자들의 조합들과 다른, 소자들의 다른 조합들이 가능하다. 소자들의 임의의 조합은 단일의 전용 소자에서 실현될 수 있다.

청구항의 괄호들 사이의 임의의 참조 기호는 청구항을 제한하는 것으로 의도되지 않으며, 도면들의 임의의 특정 심볼도 마찬가지이다. "포함하는(comprising)"이라는 단어는 청구항에 나열되지 않은 소자들 또는 양태들의 존재를 배제하지 않는다. 소자 앞의 단수 표현은 복수의 이러한 소자들의 존재를 배제하지 않는다.

101: 색상 색역
201: 이미지 색상 처리 장치 202: 톤 매핑 결정 유닛
203: 톤 매핑 변형 유닛

Claims

제 1 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 입력 색상 (L,x,y)을 제 2 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 출력 색상 (L*,x,y)으로 변환하도록 배열된 이미지 색상 처리 장치(201)로서, 제 1 및 제 2 동적 범위들은 적어도 1.5의 곱셈 팩터 만큼 크기가 다른, 상기 이미지 색상 처리 장치(201)에 있어서,
상기 입력 색상의 입력 루미넌스(L)로부터, 출력 루미넌스들을 입력 루미넌스들의 함수로서 정의하는 입력 톤 매핑(301)과, 상기 입력 루미넌스(L)에 선형으로 관련된 양에 기초하여, 상기 출력 색상에 대한 조절된 출력 루미넌스(L*, 309)를 결정하도록 배열된 톤 매핑 변형 유닛(203)으로서, 상기 양은 상기 입력 색상의 색 좌표들(x,y)에 대하여 상기 색 좌표들(x,y)에 대한 상기 제 1 루미넌스 동적 범위에 대응하는 색역과 상기 제 2 루미넌스 동적 범위에 대응하는 색역 중 적어도 하나에서 최대한 성취가능한 최대 루미넌스를 나타내는, 상기 톤 매핑 변형 유닛(203)을 포함하고;
상기 톤 매핑 변형 유닛은 조절된 톤 매핑을 상기 입력 루미넌스(L)에 적용함으로써 상기 조절된 출력 루미넌스(L*, 309)를 생성하도록 배열되고;
상기 톤 매핑 변형 유닛(203)은 상기 양에 의존하여 상기 입력 톤 매핑을 적응시킴으로써 상기 조절된 톤 매핑을 결정하도록 배열되어, 상기 조절된 톤 매핑을 유효한 값들 [0,1]의 범위의 모든 가능한 입력 루미넌스들 중 임의의 입력 루미넌스(L)에 적용함으로써 얻어진 임의의 조절된 출력 루미넌스(L*, 309)가 상기 입력 색상의 색 좌표들(x,y)에 대하여 상기 색 좌표들(x,y)에 대한 상기 제 2 루미넌스 동적 범위에 대응하는 상기 색역에서 최대한 성취가능한 최대 루미넌스(Lmax(x,y))보다 높지 않게 되는, 이미지 색상 처리 장치.
제 1 항에 있어서,
상기 톤 매핑 변형 유닛(203)은 그의 축과 비교하여 상기 입력 톤 매핑의 함수 모양으로 단조 변환을 적용하도록 추가로 배열되고, 이는 상기 입력 톤 매핑을 두 개의 상이한 입력 루미넌스들에 적용함으로써 얻어진 출력 루미넌스들이 사인(s)을 갖는 0이 아닌 차이(d)를 가지면, 입력 루미넌스들에 대해 조절된 출력 루미넌스들도 또한 동일한 사인(s)을 갖는 0이 아닌 차이를 갖도록 정의되는, 이미지 색상 처리 장치.
제 2 항에 있어서,
상기 톤 매핑 변형 유닛(203)은 그의 축과 비교하여 상기 입력 톤 매핑의 함수 모양으로 부드러운 변환을 적용하도록 추가로 배열되어, 상기 조절된 톤 매핑을 부드럽게 변화하는 입력 색상 루미넌스에 적용함으로써 얻어진 조절된 출력 루미넌스와 출력 루미넌스 사이의 이웃하는 색 좌표들(x,y)에 대한 연속적인 루미넌스 차이들을 갖도록 결정되는, 이미지 색상 처리 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 톤 매핑 변형 유닛(203)은 조절된 루미넌스(Ls)를 입력으로서 상기 입력 톤 매핑(301)에 적용함으로써 상기 조절된 출력 루미넌스(L*, 309)의 결정을 수행하도록 추가로 배열되고, 조절된 루미넌스(Ls)는 함수를 상기 입력 색상 루미넌스(L)에 적용함으로써 얻어지고, 함수는 상기 최대 루미넌스(Lmax(x,y))에 기초하여 정의되어, 상기 최대 루미넌스(Lmax(x,y))와 동일한 입력 루미넌스(L)가 상기 입력 톤 매핑(301)에 대해 상기 입력 루미넌스(L)의 최대의 가능한 값에 매핑되도록 하는, 이미지 색상 처리 장치.
제 4 항에 있어서,
상기 입력 색상 루미넌스(L)에 적용가능한 상기 함수는 선형 스케일링인, 이미지 색상 처리 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 톤 매핑 변형 유닛은 상기 입력 루미넌스를 상기 양으로부터 결정된 제 1 스케일 팩터에 의해 스케일링함으로써 스케일링된 루미넌스를 생성하고; 상기 입력 톤 매핑을 상기 스케일링된 루미넌스에 적용함으로써 스케일링된 조절된 루미넌스를 결정하고; 상기 스케일링된 조절된 루미넌스를 상기 제 1 스케일 팩터의 역수에 대응하는 제 2 스케일 팩터에 의해 스케일링함으로써 상기 조절된 출력 루미넌스를 생성하도록 배열되는, 이미지 색상 처리 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 톤 매핑 변형 유닛(203)은 상기 루미넌스(L)에 선형으로 관련된 상기 양으로서 상기 입력 색상(L,x,y)을 정의하는 색상 채널 구성요소의 최대(maxRGB)를 사용하도록 추가로 배열되는, 이미지 색상 처리 장치.
제 7 항에 있어서,
상기 톤 매핑 변형 유닛은 상기 입력 톤 매핑을 상기 색상 채널 구성요소들의 최대(maxRGB)에 적용함으로써 조절된 루미넌스를 생성하도록; 및 상기 조절된 루미넌스를 상기 입력 루미넌스와 상기 색상 채널 구성요소들의 최대(maxRGB)에 의존하는 스케일 팩터에 의해 스케일링함으로써 상기 조절된 출력 루미넌스를 생성하도록 배열되는, 이미지 색상 처리 장치.
제 7 항에 있어서,
상기 입력 색상은 색상 채널 표현으로 제공되고 상기 장치는 상기 입력 색상의 색상 채널 표현을 변환함으로써 색도의 루미넌스와 상기 입력 색상의 루미넌스 표현으로서 상기 입력 루미넌스를 생성하기 위한 색상 표현 변환기를 추가로 포함하는, 이미지 색상 처리 장치.
제 7 항에 있어서,
상기 입력 색상의 색상 채널 구성요소들을 상기 조절된 출력 루미넌스와 상기 입력 루미넌스에 의존하는 스케일 팩터에 의해 스케일링함으로써 색상 채널 표현 출력 색상을 생성하기 위한 출력기(510, 511)를 추가로 포함하는, 이미지 색상 처리 장치.
제 7 항에 있어서,
적어도 하나의 미리 결정된 톤 매핑(TM)에 기초하여 상기 입력 톤 매핑(301, TM*)을 결정하도록 배열된 톤 매핑 결정 유닛(202)을 추가로 포함하는, 이미지 색상 처리 장치.
제 1 항 내지 제 3 항 중 어느 한 항의 이미지 색상 처리 장치(201) 및 적어도 색 좌표들(x,y)의 픽셀 출력 색상들 및 조절된 출력 루미넌스들(L*)을 포함하는 출력 이미지(Im)를 출력하기 위한 데이터 포매터(613)를 포함하는, 이미지 인코더.
제 1 항 내지 제 3 항 중 어느 한 항의 이미지 색상 처리 장치(201)를 포함하고, 이미지(Im)의 픽셀들의 색상 데이터를 얻도록 배열된 데이터 추출기(652)를 포함하는, 이미지 디코더.
제 13 항에 있어서,
상기 데이터 추출기(652)는 톤 매핑(TM)을 얻도록 추가로 배열되는, 이미지 디코더.
제 1 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 입력 색상 (L,x,y)을 제 2 루미넌스 동적 범위에 대응하는 색상 표현에 규정된 픽셀의 출력 색상(L*,x,y)으로 변환하기 위한 이미지 색상 처리 방법으로서, 제 1 및 제 2 동적 범위들은 적어도 1.5의 곱셈 팩터 만큼 크기가 다른, 상기 방법에 있어서,
상기 입력 색상의 입력 루미넌스(L)로부터, 출력 루미넌스들을 입력 루미넌스들의 함수로서 정의하는 입력 톤 매핑(301)과, 상기 입력 루미넌스(L)에 선형으로 관련된 양에 기초하여, 상기 출력 색상에 대한 조절된 출력 루미넌스(L*, 309)를 결정하는 단계로서, 상기 양은 상기 입력 색상의 색 좌표들(x,y)에 대하여 상기 색 좌표들(x,y)에 대한 상기 제 1 루미넌스 동적 범위에 대응하는 색역과 상기 제 2 루미넌스 동적 범위에 대응하는 색역 중 적어도 하나에서 최대한 성취가능한 최대 루미넌스를 나타내고, 상기 조절된 출력 루미넌스(L*, 309)는 조절된 톤 매핑을 상기 입력 루미넌스(L)에 적용함으로써 결정되는, 상기 조절된 출력 루미넌스를 결정하는 단계; 및 상기 양에 의존하여 상기 입력 톤 매핑을 적응시킴으로써 상기 조절된 톤 매핑을 결정하는 단계로서, 상기 조절된 톤 매핑을 유효한 값들 [0,1]의 범위의 모든 가능한 입력 루미넌스들 중 임의의 입력 루미넌스(L)에 적용함으로써 얻어진 임의의 조절된 출력 루미넌스(L*, 309)가 상기 입력 색상의 색 좌표들(x,y)에 대하여 상기 색 좌표들(x,y)에 대한 상기 제 2 루미넌스 동적 범위에 대응하는 상기 색역에서 최대한 성취가능한 최대 루미넌스(Lmax(x,y))보다 높지 않게 되도록 하는, 상기 조절된 톤 매핑을 결정하는 단계를 포함하는, 이미지 색상 처리 방법.
제 15 항에 있어서,
상기 조절된 출력 루미넌스(L*)를 결정하는 단계는 이것이 조절된 루미넌스(Ls)를 상기 입력 톤 매핑(301)으로의 입력으로서 사용하기 위해 결정하는 단계를 포함하고, 조절된 루미넌스(Ls)는 함수를 상기 입력 색상 루미넌스(L)에 적용함으로써 얻어지며, 상기 함수는 상기 최대 루미넌스(Lmax(x,y))에 기초하여 정의되어, 상기 최대 루미넌스(Lmax(x,y))와 동일한 입력 루미넌스(L)가 상기 입력 톤 매핑(301)에 대해 상기 입력 루미넌스(L)의 최대의 가능한 값에 매핑되도록 하는 것을 추가로 특징으로 하는, 이미지 색상 처리 방법.
제 16 항에 있어서,
상기 입력 색상의 루미넌스(L)에 선형으로 관련된 상기 양은 상기 입력 색상(L,x,y)을 정의하는 색상 채널 구성요소들의 최대(maxRGB)인, 이미지 색상 처리 방법.
제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
적어도 하나의 또 다른 미리 결정된 톤 매핑에 기초하여 상기 입력 톤 매핑(301)을 결정하는 단계를 포함하는, 이미지 색상 처리 방법.
프로세서가 제 15 항 내지 제 17 항 중 어느 한 항에 따른 이미지 색상 처리 방법을 실현할 수 있도록 하는 코드를 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.