KR20150016332A

KR20150016332A - 이미지 데이터 변환을 위한 방법

Info

Publication number: KR20150016332A
Application number: KR1020147035520A
Authority: KR
Inventors: 앤더스 볼레스테드; 안드레이 코스틴; 그레고리 존 워드
Original assignee: 돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date: 2011-03-15
Filing date: 2012-03-15
Publication date: 2015-02-11
Also published as: JP5770865B2; TW201448563A; CN103763456B; EP3340598A1; RU2014136061A; KR20130135315A; RU2592074C1; EP3340598B1; WO2012125802A1; US20160071484A1; TWI538473B; JP2015080216A; JP6085011B2; EP2687005A1; PL3340598T3; CN105516541A; CN103763456A; US9916809B2; US10255879B2; ES2664508T3

Abstract

이미지 데이터는 타겟 디스플레이 상에 디스플레이하기 위해 변환된다. 시그모이드 전달 함수(sigmoidal transfer function)는 최소-톤 콘트라스트를 제어하는 프리 파라미터(free parameter)를 제공한다. 전달 함수는 주변 광 조건들을 변경하는 것을 수용하도록 동적으로 조정될 수 있다. 이미지 데이터에서 구현된 창작 의도를 실질적으로 보존하는 방식으로 타겟 디스플레이 상에 디스플레이하기 위해 이미지 데이터를 자동으로 적응하도록 변환이 선택될 수 있다. 이미지 데이터는 비디오 데이터일 수 있다.

Description

이미지 데이터 변환을 위한 방법{METHOD FOR IMAGE DATA TRANSFORMATION}

관련 출원들에 대한 교차 참조

본 출원은 2011년 3월 15일에 출원된 미국 임시 특허 출원 제 61/453,107 호 및 2011년 12월 7일에 출원된 미국 임시 특허 출원 제 61/567,784 호에 대한 우선권을 주장하고, 두 출원은 모든 목적들을 위해 실제로 본 명세서에 참조로서 전부 포함된다.

특허 출원은 또한 2012년 3월 1일에 출원되고 본 명세서에 참조로서 포함된 국제 특허 출원 번호 제 PCT/US2012/027267 호에 관련된다.

본 발명은 이미지들을 디스플레이하고 처리하는 방법에 관한 것이다. 본 발명은 특히 톤 및/또는 색역 매핑을 포함하는 방법들 및 장치에 관한 것이다. 본 명세서에 기술된 방법들 및 장치는 목적지 디스플레이들 상에 양질의 이미지들을 제공하면서 창작 의도(creative intent)를 보존하도록 적용될 수 있다. 본 발명은 예를 들면, 텔레비전들, 컴퓨터 모니터들, 미디어 플레이어들, 휴대가능한 비디오 전화들 및 다른 휴대용 디바이스들과 같은 전자 디스플레이들, 가상 현실 디스플레이들, 광고 디스플레이들과 같은 전문화된 디스플레이들 등에서 뿐만 아니라, 셋톱 박스들, 액세스 지점들 등과 같은 업스트림 이미지 처리 기기에 대해 구현될 수 있다.

본 발명의 일반 분야에서의 특허 공보들은 다음을 포함한다:

US20010050757;

US20020075136;

US20020080245;

US20070127093;

US20080094515;

US20080170031;

US20080186707;

US20090201309;

US20090267876;

US20100007599;

US201000118008;

US7158673;

US6989859;

US5276779; 및

JP2002092655.

비디오 제작 또는 다른 이미지의 창작자(예를 들면, 디렉터 또는 컬러리스트 등)는 이미지에서의 픽셀들의 톤들 및 컬러들을 설정할 수 있어서, 뷰잉될 때, 이미지는 창작자의 창작 의도와 일치하는 원하는 외관을 가진다. 예를 들면, 창작자는 일부 장면들이 다른 장면들보다 어둡고, 억압적인 느낌을 가지기를 원할 수 있다. 창작자는 장면에 묘사된 특정 특징들이 두드러지거나 덜 눈에 띄기를 원할 수 있다. 이미지에서의 픽셀들의 톤들 및 컬러들을 조정하는 방법은 소스 비디오 데이터에 대한 컬러 그레이딩(또는 '컬러 타이밍')을 수행하는 단계를 포함할 수 있다. 컬러 그레이딩은 원하는 외관을 달성하기 위해 이용자에게 비디오 데이터를 다양한 방식으로 변경하도록 허용하는 하드웨어/소프트웨어 시스템을 이용하여 수행될 수 있다.

다양한 디스플레이 기술들이 이제 이용가능하다. 예를 들면, 플라즈마 디스플레이들, 다양한 유형들의 LED들, 형광등들 또는 고강도 백열등들과 같은 다양한 유형들의 광원들에 의해 백라이팅되는 LCD 디스플레이들, CRT-기반 디스플레이들, 디지털 시네마 디스플레이들 등이 존재한다. 특정 디스플레이는, 비디오 신호들을 수신하고 비디오 신호들의 비디오 콘텐트를 디스플레이하도록 디스플레이 하드웨어를 구동하는 비디오 신호 처리 구성요소들과 디스플레이 하드웨어를 조합한다.

상이한 디스플레이들은 다음과 같은 특징들에 관해 상당히 변화할 수 있다:

디스플레이에 의해 재생될 수 있는 컬러 색역;

달성 가능한 최대 밝기;

콘트라스트 비;

해상도;

수용가능한 입력 신호 포맷들;

컬러 심도;

백색 레벨;

흑색 레벨;

백색 지점;

그레이 단계들;

등.

결과적으로, 동일한 이미지 콘텐트는 상이한 디스플레이들 상에서 재생될 때 상이하게 나타날 수 있다. 일부 디스플레이들 상에서 디스플레이될 때 창작자의 창작 의도와 매칭하는 이미지 콘텐트는 다른 디스플레이들 상에서 뷰잉될 때 하나 이상의 방식들로 창작자의 창작 의도를 벗어날 수 있다.

일부 현재 디스플레이들은 특정 콘텐트가 하나 이상의 양태들에서 생성되었을 때 최신인 디스플레이들을 능가할 수 있다. 예를 들면, 새로운 디스플레이들은 구식 디스플레이들보다 밝은 하이라이트들, 큰 콘트라스트, 및/또는 넓은 컬러 색역들을 가진 이미지들을 제공할 수 있다. 뷰잉되는 콘텐트에서 구현된 창작 의도를 그다지 벗어나지 않고 이들 개선된 능력들을 이용하는 것이 바람직할 수 있다.

레거시 디스플레이들 또는 더 낮은 능력들을 가진 디스플레이들 상에서 고성능 디스플레이들을 이용하도록 생성된 비디오 콘텐트를 플레이하는 것이 바람직할 수 있다. 이미지 데이터에서 구현된 창작 의도를 가능한 많이 보존하도록 상이한 디스플레이들 상에서 디스플레이된 비디오 및 다른 이미지들의 외관을 적응시키기 위한 방법들 및 장치를 제공하는 것이 바람직하다.

컬러 및 휘도의 인식은 주변 조건들에 의해 영향을 받을 수 있다. 극장 조건들(낮은 주변 광) 하에서 제공된 비디오 또는 다른 이미지들은 상당한 주변 광을 가진 상태들 하에서 뷰잉될 때 인식되는 동일한 비디오 또는 다른 이미지들과 상당히 상이하게 뷰어들에 의해 인식될 수 있다. 또한, 주변 광의 특성들(컬러 온도와 같은)은 비디오 콘텐트의 뷰어의 인식에 영향을 미칠 수 있다. 비디오 또는 다른 이미지들에서 구현된 창작 의도를 가능한 많이 보존하도록 콘텐트가 뷰잉되고 있는 환경을 고려하여 비디오 또는 다른 이미지들을 디스플레이하는 것이 바람직하다.

이미지들(정지 및/또는 비디오 이미지들을 포함)의 뷰어들에게 이미지들을 뷰잉하는 디스플레이들의 능력들을 활용하는 뷰잉 경험들을 제공할 필요가 있다. 이미지 데이터에서 인코딩된 비디오 또는 다른 이미지 콘텐트가 플레이될 때 원하는 외관을 가지도록 이미지 데이터를 조정하는데 적용될 수 있는 장치 및 방법들이 여전히 필요하다.

본 발명은 다양한 양태들을 가진다. 이들은 색역 변환 기능성을 포함하는 장치; 색역 변환 방법, 주변 광 조건들을 고려하도록 이미지 콘텐트의 디스플레이를 적응시키는 방법; 데이터 처리기에 의해 실행될 때, 데이터 처리기로 하여금 본 발명에 따른 방법을 실행하도록 하는 컴퓨터 판독가능한 코드를 포함하는, 프로그램 제품들을 포함하지만, 이에 제한되지 않는다.

하나의 비-제한적인 양태는 전달 함수에 따라 이미지 데이터를 변환하도록 구성되는 픽셀 좌표 매핑 유닛을 포함하는 장치를 제공한다. 전달 함수는 복수의 앵커 지점들 및 프리 파라미터에 의해 특징지워진다. 전달 함수는 프리 파라미터에 의해 제어된 중간-범위 기울기(mid-range slope)를 가진다. 앵커 지점들에서의 변환들은 프리 파라미터에 의해 영향을 받지 않는다. 이러한 장치는 예를 들면, 특정 타겟 디스플레이 상에 디스플레이하기 위해 컬러-그레이딩된 콘텐트를 변환하는데 유용할 수 있다.

일부 실시예들에서, 장치는 주변 광 센서를 포함하거나 이로부터 신호를 수신하고, 상기 주변 광 센서들로부터 주변-광 신호를 수신하도록 접속된 회로는 주변-광 신호에 적어도 부분적으로 기초하여 앵커 지점들 중 하나의 좌표 및 프리 파라미터 중 하나 이상을 제어하도록 구성된다.

일부 실시예들에서, 이미지 데이터는 이미지에서의 픽셀들에 대한 픽셀 값들의 세트들을 포함한다. 픽셀 값들의 세트들은 복수의 원색 컬러들 각각에 대한 컬러 값들(예를 들면, 적색, 녹색 및 청색 원색 컬러들에 대응하는 값들)을 포함한다. 장치는 컬러 값들 중 대응하는 값을 변환하도록 각각 접속된 복수의 픽셀 좌표 매핑 유닛들을 포함한다. 상이한 좌표 매핑 유닛들에서의 전달 함수들에 대한 파라미터들은 동일하거나 상이할 수 있다. 적합하게 선택된 상이한 파라미터들로, 변환들은 색역 변환 뿐만 아니라, 컬러 보정을 수행할 수 있다.

본 발명의 또 다른 양태는 타겟 디스플레이 상에 디스플레이하기 위해 이미지 데이터를 매핑하기 위한 방법들을 포함한다. 방법들은 전달 함수에 따라 이미지 데이터의 픽셀 값들을 대응하는 변환된 픽셀 값들로 변환하는 단계를 포함한다. 전달 함수는 복수의 앵커 지점들 및 프리 파라미터에 의해 특징지워진다. 전달 함수는 프리 파라미터에 의해 제어된 중간-범위 기울기를 가진다. 앵커 지점들에 대응하는 픽셀 값들의 변환들은 프리 파라미터에 의해 영향을 받지 않는다. 일부 실시예들에서, 중간-범위 앵커 지점의 위치 및 프리 파라미터 중 하나 이상은 주변 광 및/또는 뷰어들의 시각 시스템들의 적응을 고려하여 자동으로 변경된다.

또 다른 양태는 글로벌 톤-매핑 변환을 로컬 다중-스케일 톤 매핑 동작과 조합함으로써 타겟 디스플레이 상에 디스플레이하기 위해 이미지 데이터를 매핑하기 위한 방법들을 포함한다.

또 다른 양태는 컬러 조작 장치를 제공한다. 장치는 예를 들면, 정지 또는 비디오 이미지들을 수정하기 위한 워크스테이션을 포함할 수 있다. 장치는 이미지 데이터의 컬러 값들을 수정하기 위해 적용될 수 있다. 컬러 조작 장치는 소스 이미지 데이터에 대한 제 1 메모리 또는 입력부 및 수정된 이미지 데이터에 대한 제 2 메모리 또는 출력부를 포함한다. 픽셀 좌표 매핑 유닛은 제 1 메모리 또는 입력부에 액세스하도록 접속되고 복수의 앵커 지점들 및 프리 파라미터에 의해 특징지워진 전달 함수에 따라 소스 이미지 데이터를 변환하도록 구성된다. 상기 전달 함수는 프리 파라미터에 의해 제어된 중간-범위 기울기를 갖고, 앵커 지점들에서의 변환들은 수정된 이미지 데이터를 산출하고 수정된 이미지 데이터를 제 2 메모리 또는 출력부에 제공하는데 있어서 프리 파라미터에 의해 영향을 받지 않는다. 이용자 입력부는 이용자로부터 프리 파라미터에 대한 값을 수용하도록 구성된다. 디스플레이는 수정된 이미지 데이터를 디스플레이하도록 접속된다. 이용자는 디스플레이 상에 디스플레이된 이미지의 원하는 외관을 획득하도록 프리 파라미터의 값을 조정할 수 있다.

본 발명의 또 다른 양태들 및 본 발명의 특정 실시예들의 특징들은 하기에 기술된다.

첨부 도면들은 본 발명의 비-제한적인 실시예들을 예시한다.

도 1은 비디오 분배 파이프라인의 개략도.
도 2는 본 발명의 일 예시적인 실시예에 따른 장치를 도시한 도면.
도 3은 일 예시적인 전달 함수를 도시한 도면.
도 4는 전달 함수를 규정하는 파라미터들에 대한 적합한 값들을 결정하기 위해 타겟 디스플레이에 관한 정보 및 입력 이미지 데이터를 이용하는 방법을 도시한 흐름도.
도 5는 일 예시적인 실시예에 따라 이미지 데이터를 처리하기 위한 방법을 도시한 흐름도.
도 6은 일 예시적인 실시예에 따라 글로벌 톤-매핑 연산자를 로컬 다중-스케일 톤-매핑 연산자와 조합하는 방법을 도시한 흐름도.

다음의 기술 전반에 걸쳐, 본 발명의 더욱 완전한 이해를 제공하기 위해 특정 상세들이 기재된다. 그러나, 본 발명은 이들 상세들 없이 실시될 수 있다. 다른 예들에서, 잘 알려진 요소들은 본 발명을 불필요하게 모호하게 하는 것을 회피하기 위해 상세히 도시되거나 기술되지 않았다. 따라서, 명세서 및 도면들은 제한적인 관점이 아니라 예시적인 관점에서 간주되어야 한다.

도 1은 비디오 분배 파이프라인(20)을 개략적으로 도시한다. 미가공 비디오 데이터(22)가 획득되어 미가공 비디오 제품(24)을 제공하기 위해 편집 스위트(23)에서 편집된다. 미가공 비디오 제품에서의 톤들 및/또는 컬러들은 컬러 타이밍된 비디오 제품(27)을 달성하기 위해 컬러리스트(예를 들면, 적합한 이용자 인터페이스를 통해 컬러 타이밍 스테이션에 의해 제공된 도구들을 이용하는 사람)에 의해 컬러 타이밍 스테이션(26)에서 조정된다. 컬러 타이밍 스테이션(26)은 컬러리스트가 비디오 제품을 뷰잉하는 전문 모니터(30)를 포함한다. 컬러 타이밍 스테이션(26)에 의해 제공된 도구들 및 제어들을 이용하여, 컬러리스트는, 디스플레이(30) 상에서 뷰잉될 때 컬러리스트의 예술 의도와 매칭하는 전반적인 외관을 달성하기 위해 비디오 제품을 구성하는 이미지들의 전부 또는 일부들의 톤들 및/또는 컬러들을 조정한다.

컬러 타이밍된 비디오 제품(27)의 모든 뷰어들이 컬러리스트에 의해 경험된 주변 조건들과 동일한 주변 조건들 하에서 디스플레이(30)와 동일한 디스플레이 상에서 비디오 제품을 시청한 경우, 이미지들의 인간 인식에서 개인적인 변동들을 제외하고, 뷰어들은 컬러리스트에 의해 의도된 대로 정확하게(즉, 컬러리스트의 예술 의도와 맞는 방식으로) 비디오 제품을 모두 보게 된다. 이용되고 있는 광범위한 디스플레이들이 주어지면, 뷰어들이 동일한 디스플레이를 모두 가지는 것 또는 심지어 상이한 뷰어들이 비디오 제품을 뷰잉하는 디스플레이들이 최대 밝기, 흑색 레벨 및 컬러 색역과 같은 유사한 특성들을 가지는 것을 예상하는 것은 비현실적이다.

본 발명의 하나의 양태는, 컬러리스트의 뷰잉 경험을 근접하게 복제하는 방식으로 특정 목적지 디스플레이 상에 디스플레이하기 위해 예를 들면, 컬러 타이밍된 비디오 제품(27)과 같은 이미지 데이터로부터 톤들 및/또는 컬러들을 매핑하기 위해 자동으로 적용될 수 있는 매핑 방법들 및 장치를 제공한다.

일부 실시예들에서, 매핑 방법들 및 장치는:

- 평균 이미지 밝기(적응 지점);

- 중간-톤 로컬 콘트라스트;

- 컬러 포화;

- 입력 흑색이 디스플레이되는 레벨; 및

- 입력 백색이 디스플레이되는 레벨 중 하나 이상을 통한 직접 제어를 제공한다. 이들 파라미터들은 뷰잉 경험에 영향을 미친다.

도 2는 본 발명의 일 예시적인 실시예에 따른 장치(40)를 도시한다. 이 예에서, 장치(40)는 뷰어 V에 의해 뷰잉하기 위한 타겟 디스플레이(41)의 스크린(44) 상에서 디스플레이될 비디오 데이터(43)를 수신하기 위한 입력부(42)를 구비한다. 비디오 데이터(43)는 창작자의 의도를 구현하는 컬러-타이밍된 비디오 데이터를 포함할 수 있다. 장치(40)는 비디오 데이터(43)에 대한 픽셀 값들을 타겟 디스플레이(41)에 고유한 컬러 공간으로 변환하는 컬러 공간 변환기(46)를 포함한다. 도시된 예시적인 실시예에서, 타겟 디스플레이(41)의 고유 컬러 공간은 RGB 컬러 공간이고, 이것은 타겟 디스플레이(41)의 원색 컬러들의 강도들의 관점에서 컬러들을 지정한다.

컬러 공간 변환기(46)는 예를 들면, 디스플레이(41) 고유 컬러 공간 값들(예를 들면, RGB 값들)의 벡터를 산출하기 위해 비디오 데이터(43)에서의 픽셀 값들의 벡터를 3×3 행렬로 곱하는 행렬 곱셈기를 포함할 수 있다. 전달 행렬은 타겟 디스플레이(41)의 원색들 및 백색 지점을 고려하여 지정될 수 있다. 일부 실시예들에서, 컬러 공간 변환기(46)는 피크 휘도에 대한 스케일링 없이 컬러 공간 변환 행렬을 적용하도록 구성될 수 있다. 하기에 설명되는 바와 같이, 이것은 후속적으로 이미지 처리 동작들을 위한 파라미터들의 선택을 더욱 직관적으로 만들 수 있다.

다음의 예에서, 비디오 데이터(43)에서의 픽셀 값들은 XYZ 컬러 공간에서 표현되고 컬러 공간 변환기(46)는 XYZ 컬러 공간으로부터 양의 RGB 값들로의 변환을 수행한다. 본 발명은 XYZ 컬러 공간에서 제공된 컬러 데이터에 제한되지 않는다. 비디오 데이터(43)는 임의의 적합한 컬러 공간에서 제공될 수 있다.

음의 RGB 값들은 색역외(예를 들면, 디스플레이에 의해 이용된 원색 컬러들의 임의의 이용가능한 조합을 이용하여 재생될 수 없는 컬러들)에 있는 픽셀 값들의 조합들의 변환들에 대한 결과일 수 있다. 컬러 공간 변환기(46)에 의해 생성된 임의의 음의 RGB 값들은 낮은 음이 아닌 값으로 클리핑될 수 있다. 대안적으로, 색역외 픽셀 값들은 변환에 앞서 색역내 픽셀 값들에 매핑될 수 있다(예를 들면, 비디오 데이터(43)의 컬러 공간 내의 매핑에 따라). 이것은 예를 들면, 컬러 공간 변환기(46)의 구성요소에 의해 또는 별도의 매핑 유닛에 의해 수행될 수 있다.

컬러 공간 변환기(46)에 의해 처리된 후, 비디오 데이터(43)는 타겟 디스플레이(41)의 적색, 녹색 및 청색(RGB) 원색들에 각각 대응하는 값들(48R, 48G, 및 48B)을 포함한다.

값들(48R, 48G, 및 48B)의 각각은 매핑 유닛(50)에 의해 새로운 값으로 독립적으로 매핑된다. 매핑 유닛들(50R, 50G, 및 50B)이 도시된다. 각각의 매핑 유닛은 컬러 공간 변환기(46)로부터 수신된 대응하는 입력 값을 변환된 값으로 매핑한다. 예시된 실시예에서, 변환된 값들은 각각 48R' 48G' 및 48B'로 표시된다.

각각의 매핑 유닛(50)은 전달 함수(55)에 따라 그 입력 값을 출력 값에 매핑한다. 유리하게, 전달 함수(들)(55)는(은) 복수의 고정된 지점들에 의해 특징지워질 수 있고, 이것은 '앵커 지점들(anchor points)' 및 전달 함수의 기울기를 중간-범위 영역으로 조정하는 프리 파라미터로서 칭해질 수 있다. 이 기울기는 중간-범위 콘트라스트에 대응한다. 프리 파라미터의 조정은 중간-범위 콘트라스트를 제어하기 위한 수단을 제공한다. 전달 함수는 선형적이거나 중간-범위 영역의 선형성에 근접할 수 있다.

도 3은 일 예시적인 전달 함수를 도시한다. 도 3에서, 입력 값들은 수평축 상에 표시되고 출력 값들은 수직축 상에 표시된다. 각각의 축은 대수 계산자를 가진다. 전달 함수(55)는 출력 값들에 대한 최대 값(56A), 출력 값들에 대한 최소 값(56B) 및 실질적으로 선형인 중간-톤 영역(56C)에 의해 특징지워진다. 매핑 유닛들(50A, 50B 및 50C)에 의해 적색, 청색, 및 녹색 채널 신호들에 적용된 전달 함수들(55R, 55G 및 55B)은 동일하거나 상이할 수 있다. 매핑 유닛들(50A, 50B 및 50C)은 완전히 독립적일 수 있거나 하드웨어 및/또는 소프트웨어 구성요소들을 공유할 수 있다.

일 예시적인 실시예에서, 전달 함수(55)는 다음의 수학식에 의해 주어진다:

여기서, C₁, C₂ 및 C₃은 상수들이고, V는 컬러 채널에 대한 입력 값이고, V'는 컬러 채널에 대한 출력 값이고, n은 파라미터이다. [수학식 1]의 전달 함수는 파라미터화된 시그모이드 톤 곡선 함수(sigmoidal tone curve function)의 일례이다.

다른 파라미터화된 전달 함수들은 대안적으로 이용될 수 있다. 일부 실시예들에서, 전달 함수는 저단 기울기, 고단 기울기, 전달 함수의 상단부 및 하단부에서의 롤-오프의 "첨예도(sharpness)" 중 하나 이상을 통한 제어를 제공하는 파라미터들을 포함한다.

특정 경우에 [수학식 1]의 파라미터들에 대한 값들을 확립하기 위한 하나의 방법은 도 4의 방법(70)에 의해 예시된다. 방법(70)은 [수학식 1]의 파라미터들에 대한 적합한 값들을 결정하기 위해 입력 비디오 데이터('컬러-타이밍 디스플레이')를 승인하거나 컬러-타이밍에서 이용되는 디스플레이에 관한 정보 및 타겟 디스플레이에 관한 정보를 이용한다. 블록(71)은 곡선(55) 상의 3개의 휘도 앵커 지점들을 식별한다. 제 1 앵커 지점(57A)은 컬러-타이밍 디스플레이 및 타겟 디스플레이의 흑색 레벨들과 각각 동일한 수평 및 수직 좌표들을 가진다. 일부 실시예들에서, 컬러-타이밍 디스플레이에 관한 정보는 입력 신호로부터 추론된다. 예를 들면, 컬러-타이밍 디스플레이에 대한 흑색 레벨은 입력 신호에서 휘도 채널의 작은 백분위수(예를 들면, 0.1 백분위수)를 취함으로써 입력 신호로부터 추론될 수 있다. 타겟 디스플레이에 대한 흑색 레벨은 타겟 디스플레이에 대한 흑색 레벨이다.

제 2 앵커 지점(57B)은 수평 좌표로서 컬러-타이밍 디스플레이에 대한 백색 레벨을 갖고, 수직 좌표로서 타겟 디스플레이에 대한 백색 지점을 가진다. 예를 들면, 컬러-타이밍 디스플레이에 대한 백색 지점은 입력 신호에서 임의의 컬러 채널의 최대 값으로서 입력 신호로부터 추론될 수 있다.

중간 앵커 지점(57C)의 위치는 디스플레이된 이미지의 전체적인 밝기(예를 들면, 이미지의 '키(key)')에 영향을 미친다. 중단-톤 앵커 지점(57C)의 적합한 선택은 입력 이미지가 타겟 디스플레이 상에서 적합하게 밝은 것으로 인식되는 것을 용이하게 한다.

지점(57C)의 수평 위치는 다양한 방식들로 설정될 수 있다; 이들은 다음을 포함한다:

입력 휘도의 기하 평균을 계산한다;

컬러-그레이딩 환경에서 인식되는 고정 값을 적합한 중간 값으로 선택한다. 예를 들면, 일부 실시예들에서, 이 값은 10과 같은 레벨로 설정될 수 있다.

지점(57C)에 대한 수직 값은 타겟 디스플레이에 대한 중간 그레이에 대응하는 휘도 레벨에 기초할 수 있다. 예를 들면, 1cd/m² 내지 400cd/m²의 휘도 값들을 생성할 수 있는 디스플레이에서, 중간 그레이는 대략 20cd/m²이다(이것은 1cd/m²와 400cd/m² 사이의 대수적으로 절반이다). 따라서 지점(57C)에 대한 적합한 값은 중간 그레이에 대응하는 값(이 예에서 약 20cd/m²)일 수 있다. 컬러 공간 변환기(46)가 피크 휘도에 대한 스케일링 없이 컬러 공간 변환 행렬을 적용하도록 구성된 실시예들에서, 20의 값은 20cd/m²의 중간 그레이에 대응할 것이다.

일부 실시예들에서, 중간-톤 앵커 지점(57C)은 전달 함수의 입력 및 출력 둘다에 대해, 원하는 팩터 내에서, 중간-톤 앵커 지점의 좌표비를 백색 앵커 지점의 좌표와 동일해지도록 선택된다.

일부 실시예들에서, RGB 좌표들 각각에 대한 상이한 전달 함수들은 비디오 데이터의 백색 지점이 타겟 디스플레이 및/또는 타겟 뷰잉 환경의 백색 지점과 매칭하도록 변환되도록 변환을 제공하기 위해 이용될 수 있다. 이를 달성하기 위한 일 방식은 색도 좌표들(예를 들면, CIEx,y 색도 좌표들과 같이)에 의해 입력 비디오 데이터의 백색 지점을 표현하고 다음의 수학식들에 의해 주어진 스케일링된 XYZ 값들로 변환하는 것이다:

이들 XYZ 값들은, (R, G, B)_wp,in로서 규정될 수 있는 입력 데이터에 대한 백색 지점을 산출하기 위해 타겟 디스플레이에 대한 RGB 컬러 공간으로 후속적으로 변환될 수 있다. 소스 및 타겟 백색 지점들이 동일한 경우들에서, 두 백색 지점들은 정규화된 RGB 좌표들에서 (111)이어야 한다. 적색, 녹색 및 청색 채널들에 대한 앵커 지점들(57A, 57B, 57C)에 대한 좌표들은 그후에 휘도 앵커 값들을 다음과 같이 백색 지점 값들로 곱함으로써 획득될 수 있다:

여기서, 첨자 'in'은 입력 이미지 데이터를 표시하고, 첨자 'out'은 출력 데이터(즉, 디스플레이를 위해 전달된 데이터)를 표시하고; (Y_max,in, Y_max,out)는 앵커 지점(57B)에 대한 조정되지 않은 좌표들이고; (Y_min,in, Y_min,out)는 앵커 지점(57A)에 대한 조정되지 않은 좌표들이고; (Y_mid,in, Y_mid,out)는 앵커 지점(57C)에 대한 조정되지 않은 좌표들이고; (R, G, B)_wp,out는 타겟 디스플레이의 백색 지점의 RGB 좌표들이다.

[수학식 5] 내지 [수학식 10]은 각각의 컬러 채널에 대한 3개의 앵커 지점들의 세트를 제공한다. 예를 들면, 적색 컬러 채널에 대한 앵커 지점(57A)은 (R_max,in, R_max,out)에 의해 주어지고; 적색 컬러 채널에 대한 앵커 지점(57B)은 (R_min,in, R_min,out)에 의해 주어지고; 적색 컬러 채널에 대한 앵커 지점(57C)은 (R_mid,in, R_mid,out)에 의해 주어진다. 입력 비디오 데이터 및 타겟 디스플레이에 대한 백색 지점들이 동일하지 않은 경우, 앵커 지점들의 세트들은 상이할 것이고, 이것은 각각의 컬러 채널에 대한 상이한 전달 함수를 유발한다.

[수학식 1]에 의해 제공된 형태의 각각의 컬러 채널에 대한 전달 함수는 계산:

을 수행함으로써 대응하는 앵커 지점들의 좌표들로부터 획득될 수 있고, 여기서, x₁, x₂ 및 x₃은:

에 의해 주어지고, y₁, y₂ 및 y₃은:

에 의해 주어진다.

상술된 전달 함수들의 하나의 특징은 n이 여전히 프리 파라미터라는 것이다. 이것은 중간-톤 콘트라스트가 임의의 원하는 레벨로 설정되도록 허용한다. 중간-톤 앵커 지점에서의 로그-로그 기울기는 중간-톤 앵커 지점이 입력 및 출력 범위들에서 중앙이 아닌 경우 n의 값으로부터 양간 상이할 것임을 유념해야 한다. 그러나, 중간-톤 콘트라스트는 n에 대한 값을 조정함으로써 설정될 수 있다. 중간-톤 콘트라스트 파라미터 n에 대한 양호한 시작 지점은 1이다. n에 대한 이 값은 매핑된 장면이 타겟 디스플레이 상에서 및 오리지널 장면에서 실질적으로 유사한 중간-범위 로컬 콘트라스트를 가지는 것을 보장한다.

전달 함수들이 상기와 같이 주어지면, 적색, 녹색 및 청색 컬러 채널들 각각에 대한 디스플레이 선형 휘도 값들은 다음과 같이 표현될 수 있다:

이들 값들은 이미지를 디스플레이하도록 타겟 디스플레이를 구동하기 위해 이용될 수 있다. 일부 실시예들에서, 이들 값들은 타겟 디스플레이를 구동하기 위해 이용되기 전에, 선형 입력 값들(예를 들면, 정규화된)에 대한 타겟 디스플레이의 응답에 대해 보정될 수 있다.

일부 실시예들에서, 타겟 디스플레이에 대한 정규화된 구동 값들(R_norm, G_norm, B_norm)은 다음의 관계들을 이용하여 계산된다:

정규화된 값들은 타겟 디스플레이에 대한 구동 신호들의 범위(예를 들면, 8-비트 타겟 디스플레이에 대해 범위 0-255로)로 스케일링될 수 있다.

선택적으로, 이미지 컬러들은 컬러 포화를 증가시킴으로써 개선될 수 있다. 이것은 예를 들면, 다음의 관계식들을 이용하여 행해질 수 있다:

[수학식 20]에서의 a, b 및 c에 대한 값들은 역변환 컬러 공간 변환기(46)([X, Y, Z]^T = M * [R, G, B])에 대응하는 역변환 행렬 M의 원소들을 참조하여 규정될 수 있고, 특히 a는 a = M(2,1)에 의해 주어질 수 있고, b는 b = M(2,2)에 의해 주어질 수 있고, c는 c = M(2,3)에 의해 주어질 수 있다. [수학식 20], [수학식 21] 및 [수학식 22]에서, S는 파라미터이다. 1보다 큰 S에 대한 값들은 컬러 포화를 증가시키게 할 것이다. 1보다 작은 S에 대한 값들은 컬러 포화를 감소시키게 할 것이다(즉, 컬러들의 포화가 더욱 저하되게 할 것이다).

필요하거나 원하는 경우, 정규화된 구동 값들은 감마 보정될 수 있다. 이것은 예를 들면, 다음의 관계식들에 따라 행해질 수 있다:

여기서, γ는 디스플레이 응답이다. γ는 일부 타겟 디스플레이들에서 대략 2.2이다. 정규화된 구동 값들이 재-포화되는 경우, 재-포화된 구동 값들(R', G' 및 B')에 대해 감마 보정이 수행될 수 있다.

일부 실시예들에서, 이미지 컬러들은 적어도 대략적으로 톤 압축의 결과로서 손상된 포화를 복구하도록 재-포화된다. 톤 압축이 이미지에서의 톤들의 범위에 걸쳐 일정하지 않은 경우, 상이한 톤들에 적용된 톤 압축의 상이한 레벨들은 상이한 컬러들이 상이한 정도들로 포화가 저하되게 한다. 일반적으로, 톤 압축의 양이 많을수록, 포화가 저하되는 양이 많다. 톤 압축의 양은 톤-곡선의 로그-로그 기울기에 의해 양자화될 수 있다. 일 예시적인 예로서, 도 3의 곡선(55)으로 도시된 시그모이드 톤 곡선 함수는 최대 값(56A) 및 최소 값(56B)의 부근에서 행해지는 것보다 실질적으로 선형 중간-톤 영역(56C)에서 실질적으로 더 급격한 로그-로그 기울기를 가진다. 따라서, 입력(수평 좌표)에서 출력(수직 좌표)으로 진행하는 톤 압축이 실질적으로 선형 중간-톤 영역(56C)에 비해 값들(56A 및 56B)의 부근에서 더 크다.

글로벌 재-포화 기술을 적용하는 것은 톤 압축에 의해 유발된 포화가 저하되는 양에 상관없이 모든 픽셀들을 재-포화할 수 있다. 일부 실시예들은 변환된 이미지 데이터 픽셀들의 톤 압축의 양에 따라 변환된 이미지 데이터 픽셀들을 재-포화한다. 톤 압축의 양이 톤-곡선의 로그-로그 기울기에 대응한다고 가정하면, 입력 값 L_in에 대한 톤 압축의 양은 입력 값 L_in에서 전달 함수 L_out = f(L_in)의 미분으로 결정될 수 있다. 이러한 전달 함수의 로그-로그 기울기는, L_in = e^x 및 L_out = e^y를 설정하고 로그-로그 기울기를 표현하는 dy/dx를 풂으로써 결정될 수 있다. 상기 [수학식 1]에 따른 톤 곡선에 대해, y는:

와 같이 표현될 수 있고, 톤 곡선 상의 임의의 지점에서의 로그-로그 기울기 c(L_in)는 L_in에서 x에 대한 y의 미분으로 계산될 수 있다:

컬러 채널들 R, G, 및 B에 대해, 재-포화된 구동 값들R_re-sat, G_re-sat, B_re-sat은 다음과 같은 정규화된 구동 값들에 의해 결정될 수 있고:

여기서 f(c)는:

로서 주어지고, k₁ 및 k₂는 상수들이다. 일부 실시예들에서 k₁ = 1.6774이다. 일부 실시예들에서 k₁ = 1.677이다. 일부 실시예들에서 k₁ = 1.68이다. 일부 실시예들(k₁ = 1.6774, k₁ = 1.677 또는 k₁ = 1.68인 일부 실시예들을 제한없이 포함)에서, k₂ = 0.9925이다. 일부 실시예들(k₁ = 1.6774, k₁ = 1.677 또는 k₁ = 1.68인 일부 실시예들을 제한없이 포함)에서, k₂ = 0.992이다. 일부 실시예들(k₁ = 1.6774, k₁ = 1.677 또는 k₁ = 1.68인 일부 실시예들을 제한없이 포함)에서, k₂ = 0.99이다. k₁ 및 k₂의 다른 값들을 이용하여 수용가능한 결과들이 획득될 수 있음을 알 것이다. 또한, 재-포화된 구동 값들 R_re-sat, G_re-sat, B_re-sat은 적색, 녹색 및 청색 컬러 채널들(R_out, G_out 및 B_out)의 각각에 대한 디스플레이 선형 휘도 값들에 기초하여 계산될 수 있음을 알 것이다.

톤 압축-의존 재-포화에 대한 상술된 기술이 파라미터 프리(자동)인 방식으로 실시될 수 있음을 알 것이다.

도 5는 또 다른 예시적인 실시예에 따른 방법(80)을 도시한 흐름도이다. 방법(80)은 복수의 선택적 단계들을 포함한다. 블록(81)에서, 방법(80)은 이미지 데이터를 타겟 디스플레이의 컬러 공간으로 변환한다. 예시된 예에서, 타겟 디스플레이는 적색- 녹색- 및 청색-원색들을 갖고, 컬러 공간은 RGB 컬러 공간이다. 블록(81)은 타겟 디스플레이의 백색 지점 및 원색들을 고려하는 변환을 수행하는 단계를 포함할 수 있다. 블록(81)은 이미지 데이터가 타겟 디스플레이의 고유한 컬러 공간에 이미 존재하는 경우에도 선택적이다.

블록(82)은 소스 및 타겟에 대한 색채 백색 지점들(chromatic white points)을 결정한다. 백색 지점들은 예를 들면, 임의의 적합한 컬러 공간에서 색도 좌표들로서 표현될 수 있고 타겟 디스플레이의 고유한 컬러 공간으로 변환될 수 있다.

블록(83)은 전달 함수에 대한 초기 흑색 레벨 및 백색 레벨 앵커 지점들을 확립한다. 초기 앵커 지점들은 소스에 대한 및 타겟 디스플레이에 대한 흑색 및 백색 레벨들에 기초하여 설정될 수 있다.

블록(84)은 전달 함수에 대한 초기 중간-톤 앵커 지점을 확립한다. 중간-톤 앵커 지점은 소스 이미지 데이터의 분석(예를 들면, 소스 이미지 데이터의 휘도의 기하 평균을 결정함으로써) 및 타겟 디스플레이의 특성들(또는 타겟 디스플레이 및 타겟 디스플레이에서의 현재 뷰잉 환경의 특성들)을 결정하는 것을 통해 결정될 수 있다.

블록(85)은 블록(82)에서 결정된 백색 지점들에 기초하여 앵커 지점들을 조정한다(예를 들면, [수학식 5] 내지 [수학식 10] 적용).

블록(86)은 블록(85)에서 결정되는 조정된 앵커 지점들에 의해 지정된 전달 함수를 이용하여 이미지 데이터를 매핑한다.

블록(87)은 블록(86)으로부터 매핑된 이미지 데이터에 기초하여 타겟 디스플레이에 대한 구동 값들을 계산한다.

선택적 블록(88)은 컬러 포화를 조정한다(블록(88)은 예를 들면, [수학식 20] 내지 [수학식 22] 또는 [수학식 28] 내지 [수학식 30]을 적용할 수 있다).

블록(89)은 구동 값들을 감마 보정한다.

방법(80)의 적용을 통해 생성되는 구동 값들은 이미지들을 디스플레이하도록 타겟 디스플레이를 구동하도록 적용될 수 있고/있거나 타겟 디스플레이 상에 나중에 디스플레이하기 위해 저장되거나 송신될 수 있다.

본 명세서에 기술된 장치 및 방법들은 특정 주변 뷰잉 상태들에 대해 타겟 디스플레이를 최적화하기 위해 이용될 수 있다. 상술된 일반적인 유형의 전달 함수들은 주변 광의 변화들 및 인간 시각 시스템(HVS)의 결과로서 생긴 변화 적응 레벨을 수용하도록 동적으로 시프트될 수 있다. 타겟 디스플레이에 대한 이상적인 휘도 중간-지점은 주변 광의 함수일 수 있다. 중간-톤 앵커 지점의 수직 성분은 주변 광 조건들에 기초하여 선택될 수 있다.

일부 실시예들에서, 중간 앵커 지점(57C)을 고정하는 것은 주변 광에 부분적으로 기초하거나 타겟 디스플레이의 특성들 뿐만 아니라, 추정되는 뷰어의 눈들의 적응에 부분적으로 기초하여 행해진다(이것은 자체적으로, 측정된 주변 광에 적어도 부분적으로 기초할 수 있거나 측정된 주변 광과 과거 디스플레이 콘텐트의 조합에 적어도 부분적으로 기초할 수 있다). 예를 들면, 지점(57C)의 수직 좌표는 타겟 디스플레이의 부근의 주변 광에 기초하여 조정될 수 있다. 예를 들면, 수직 좌표는 디스플레이가 어두운 주변 광 조건들 내에 있는 경우(또는 뷰어의 눈들이 암-적응되는 것으로 추정되는 경우) 더 낮은 휘도 값으로 감소될 수 있고, 그 값은 타겟 디스플레이가 높은 주변 광을 가진 환경들 내에 있는 경우(또는 뷰어들의 눈들이 더 밝은 상태들에 적응되는 것으로 추정되는 경우) 더 높은 값으로 증가될 수 있다.

일부 실시예들에서, 포화 조정량(예를 들면, [수학식 20], [수학식 21] 및 [수학식 22] 및 [수학식 28], [수학식 29] 및 [수학식 30]에 따라)은 주변 광에 부분적으로 기초하거나 타겟 디스플레이의 특성들 뿐만 아니라, 추정되는 뷰어의 눈들의 적응에 부분적으로 기초하여 행해진다(이것은 자체적으로, 측정된 주변 광에 적어도 부분적으로 기초할 수 있거나 측정된 주변 광과 과거 디스플레이 콘텐트의 조합에 적어도 부분적으로 기초할 수 있다). 예를 들면, 파라미터 S는 타겟 디스플레이의 부근의 주변 광에 기초하거나 측정된 주변 광과 과거 디스플레이된 콘텐트의 조합에 기초하여 조정될 수 있다. 예를 들면, 파라미터 S의 값은 디스플레이가 어두운 주변 광 조건들 내에 있는 경우(또는 뷰어의 눈들이 암적응되는 것으로 추정되는 경우) 비교적 더 낮게 설정될 수 있고, 그 값은 타겟 디스플레이가 높은 주변 광을 가진 환경들 내에 있는 경우(또는 뷰어들의 눈들이 더 밝은 상태들에 적응되는 것으로 추정되는 경우) 비교적 더 높게 설정될 수 있다. 일부 실시예들은 주변 광 센서로부터의 신호 및/또는 과거 이미지 콘텐트를 포함하는 신호들 및/또는 과거 디스플레이된 콘텐트의 전체 밝기를 표시하는 신호들을 수신하는 재포화 제어 유닛을 제공한다. 재포화 제어 유닛은 수신된 신호(들)에 기초하여 재포화량에 영향을 미치는 파라미터(예를 들면, 파라미터 S)에 대한 새로운 값들을 설정하도록 구성될 수 있다.

일부 실시예들에서, 주변 광의 스펙트럼 특성들이 고려된다. 예를 들면, 각각의 컬러 채널에 대한 전달 함수들에서의 지점들(57C)의 위치는 컬러 채널에 대응하는 스펙트럼 범위에서 주변 광의 양에 부분적으로 기초하여 개별적으로 설정될 수 있다.

부가적으로 또는 대안적으로, 전달 함수들의 기울기는 주변 광(또는 뷰어들의 눈들의 적응의 추정들)에 기초하여 제어될 수 있다. 주변 광이 더 밝은 경우, 디스플레이 표면으로부터의 반사들은 흑색 레벨을 증가시키는 경향이 있다. 이것은 타겟 디스플레이의 범위를 효과적으로 감소시킨다. 높은 주변 광 조건들(뷰어들의 눈들이 명-적응되는 것으로 추정되는) 하에서, 중간-톤 영역에서의 전달 곡선의 기울기는 주변 조건들 하의 개선된 뷰잉 경험을 제공하기 위해 감소될 수 있다. 예를 들면, 낮은(어두운) 주변 광 조건들에 대해, 콘트라스트의 인식이 감소된다. 이것은 이미지가 "평평하게(flat)" 나타나게 한다. 따라서 전달 함수의 중간-톤 부분의 기울기는 암-적응된 눈들에 대한 콘트라스트 레벨을 증가시키기 위해 1 : 1의 기울기로부터 최대 1 : 1.5 정도(예를 들면, 1.3의 기울기)와 같은 더 큰 기울기로 증가될 수 있다. 이것은 [수학식 1]에 의해 예시된 유형의 전달 함수가 적용되는 프리 파라미터 n의 값을 변경함으로써 행해질 수 있다. 기울기는 주변 광 센서로부터의 입력에 응답하여 제어될 수 있다.

일부 실시예들에서, 주변 광 센서로부터의 신호, 이력 이미지 콘텐트의 밝기의 가중 평균 또는 다른 표시자를 표현하는 신호 등을 포함할 수 있는 입력들에 응답하여 인간 시각 시스템의 적응 레벨을 추정하는 광-적응 회로가 제공된다. 광-적응 회로는 예를 들면, 인간 시각 시스템의 모델에 기초할 수 있다. 인간 시각 시스템의 적응 레벨을 추정하기 위한 다양한 알고리즘들은 본 기술분야에 알려져 있다. 광 적응 회로는 하나 이상의 프로그래밍가능한 데이터 처리기들, 고정된 논리 회로들, 또는 그 조합들 상에서 실행하는 소프트웨어를 포함하여 임의의 적합한 방식으로 이러한 알고리즘들을 구현할 수 있다. 전달 함수들에서의 지점들(57C)의 위치들 및/또는 중간-톤 콘트라스트에 대한 값들은 광-적응 회로로부터의 출력에 응답하여 자동으로 제어될 수 있다.

일부 실시예들에서, 전달 함수들은 타겟 디스플레이에 대해 한 번씩 셋업된다. 전달 함수들은 예를 들면, 타겟 디스플레이에 내장될 수 있고, 상술된 바와 같은 전달 함수들에 따라 매핑을 수행하는 펌웨어 또는 다른 소프트웨어를 실행하는 하나 이상의 프로그래밍가능한 처리기들; 상술된 전달 함수들을 구현하는 룩업 테이블들; 상술된 바와 같은 전달 함수들에 기초하여 출력을 제공하도록 셋업되는 하드-와이어드 또는 구성가능한 논리 회로들; 등의 형태로 구현될 수 있다.

일부 실시예들에서, 타겟 디스플레이의 적색, 녹색 및 청색 채널들에 대한 구동 값들은 디스플레이의 비트 심도와 매칭하는 비트 심도로 변환된다. 예를 들면, 디스플레이는 8-비트 구동 값들을 이용할 수 있다. 전달 함수들이 플로팅-지점 또는 다른 더 높은 정밀도 계산들을 이용하여 적용되는 경우, 변환은 예를 들면, 구동 값들을 가장 근접한 대응하는 8-비트 값으로 라운딩하는 것을 관련시킬 수 있다.

상술된 실시예들에서, 입력 비디오 데이터에 대한 최소 및 최대 휘도 값들은 디스플레이의 픽셀들에 대한 최소 및 최대 밝기 값들로 각각 매핑되게 될 수 있다. 또한, 입력 비디오 신호로부터의 선택된 중간-톤 지점은 디스플레이에 대한 선택된 중간-톤 지점으로 매핑되게 할 수 있다. 중간-톤 콘트라스트는 여전히 프리 파라미터이다. 상술된 전달 함수들의 다른 특징은 이들이 낮은 값 및 높은 값 둘다에 대한 압축 또는 확장을 제공하면서 중간-톤 범위에서의 로컬 콘트라스트를 보존하는 것이다.

일부 실시예들에서, 특정 이미지들(예를 들면, 특정 비디오 프레임 또는 비디오 프레임들의 시퀀스)이 비교적 낮은 평균 휘도(낮은 키)인 반면 다른 이미지들(예를 들면, 프레임들 또는 프레임들의 그룹들)이 비교적 높은 평균 휘도(높은 키)를 의도적으로 가지게 될 수 있다. 일부 실시예들에서, 이미지의 의도된 키에 관한 정보는 메타데이터의 형태로 제공된다. 메타데이터는 예를 들면, 컬러 그레이딩 동작 동안 생성되어 이미지 데이터와 연관될 수 있다. 예를 들면, 메타데이터는 임베딩될 수 있거나 그렇지 않으면 컬러 그레이딩된 비디오 데이터를 운반하는 신호와 연관될 수 있다. 이러한 실시예들에서, 메타데이터에 의해 표시된 바와 같은 이미지의 키는 전달 함수들에서 이용되는 중간-톤 앵커 지점(들)을 결정하는데 이용될 수 있다. 메타데이터가 낮은 키 이미지를 표시하는 경우, 앵커 지점의 수직 좌표가 더 낮은 값으로 이동될 수 있고, 따라서 타겟 디스플레이에서의 키를 재현할 수 있다.

상이한 비디오 콘텐트는 상이한 기준 디스플레이들에 대해 컬러 그레이딩될 수 있다. 상술된 방식을 따를 때, 컬러 그레이딩이 수행된 기준 디스플레이의 특성들에 의존하여 임의의 특정 타겟 디스플레이에서 콘텐트를 상이하게 매핑하는 것이 바람직할 수 있다. 기준 디스플레이를 식별하는 정보 또는 그 특성들은 예를 들면, 임베딩된 메타데이터로 운반될 수 있거나 그렇지 않으면 이미지 데이터와 연관될 수 있다. 타겟 디스플레이는 복수의 상이한 세트들의 전달 함수들에 대한 파라미터들을 저장할 수 있다. 상이한 세트들의 전달 함수들은 상이한 기준 디스플레이들을 이용하여 컬러 타이밍된 비디오 데이터에 대응할 수 있고 이를 위해 이용될 수 있다.

[수학식 1]에 의해 제공된 형태를 가진 예시적인 전달 함수들의 또 다른 특징은 동일한 전달 함수가 선택된 파라미터들에 의존하여, 범위의 고단부 및 저단부에 압축 또는 확장을 제공할 수 있다는 것이다. 예를 들면, 타겟 디스플레이가 입력 데이터보다 큰 휘도 범위를 가지는 경우에, 타겟 디스플레이는 타겟 디스플레이의 것과 매칭하거나 더욱 근접하게 접근하기 위해 이미지 데이터의 범위를 확장하는 전달 함수들로 구성될 수 있다.

본 명세서에 기술된 일부 실시예들에 따른 방법들 및 장치의 한 가지 이점은 매핑이 타겟 디스플레이의 RGB 컬러 공간에서 수행된다는 점이다. 이것은 계산량들을 상당히 절감할 수 있고/있거나 매핑을 수행하는데 요구되는 하드웨어의 복잡성을 감소시킬 수 있다.

매핑은 실시간으로 수행될 수 있다.

일부 실시예들에 따른 방법들은: 1) 평균 이미지 밝기("적응 지점(adaptation point)"), 2) 중간-톤 로컬 콘트라스트(톤-곡선 기울기에 의해 설정된 바와 같이), 3) 최소 디스플레이 휘도에 대한 입력 흑색 맵들 및 4) 최대 디스플레이 휘도에 대한 입력 백색이 맵들 각각을 통한 직접 제어를 제공한다. 이들 변수들은 오리지널 이미지 데이터에서 구현되는 바와 같은 창작 의도를 재현하는 이미지들을 제공하기 위한 기초가 되는 것으로 판명되었다. 예시적인 실시예들에서, 이들 변수들은 명시적으로 개별 파라미터들에 대응한다. 이러한 방법들은 결과적으로, 오리지널 이미지 데이터(예를 들면, 높은 다이내믹 레인지(HDR) 데이터 및/또는 컬러-그레이딩된 이미지 데이터를 포함할 수 있음)를 취하고, 오리지널 이미지 데이터를 지정된 출력 디스플레이의 제한된 3차원 색역으로 매핑하는 컬러 매핑을 수행하기 위한 간단하고 효과적인 방식을 제공한다.

본 명세서에 기술된 바와 같은 컬러 매핑 방법들 및 장치는 또한 또는 대안적으로 컬러 그레이딩/콘텐트 생성시 이용될 수 있다. 컬러리스트에게는 상술된 바와 같은 변환들을 구현하는 필터가 제공될 수 있다. 필터는 컬러리스트가 전달 함수들의 파라미터들을 직접 설정하도록 허용하는 제어들을 가질 수 있다. 컬러리스트는 예를 들면, 흑색 레벨 등을 조정하기 위해 이들 제어들을 이용할 수 있다. 일부 실시예들에서, 제어들은: 백색 레벨 앵커 지점, 흑색 레벨 앵커 지점 및 중간-레벨 앵커 지점(예를 들면, 각각 지점들(57A, 57B 및 57C)) 중 하나 이상에 대한 하나 이상의 좌표들 및 중간-레벨 콘트라스트(예를 들면, 파라미터 n) 중 하나 이상의 직접 설정을 허용하는 제어들을 포함한다. 이러한 제어들은 컬러리스트들이 중간-톤 기울기에 그다지 영향을 미치지 않고 백색 레벨, 흑색 레벨 및 키를 설정하도록 허용할 수 있고 그 반대로도 가능하다.

일부 실시예들에서, 장치는 컬러리스트가 의도하는 것에 근접할 수 있는 시작 세트의 파라미터들을 자동으로 결정하도록 설정된다. 이들 시작 파라미터들은 예를 들면, 입력 비디오 콘텐트를 특징짓는 정보(예를 들면, 픽셀 컬러 / 휘도 좌표들에 대한 최소 및 최대 값들) 및 타겟 디스플레이를 특징짓는 정보(예를 들면, 백색 레벨, 흑색 레벨 및 선택적으로 메타데이터(예를 들면, 처리되는 이미지 데이터의 키를 표시하는 메타데이터))에 기초하여 생성될 수 있다.

비디오 제품은 더 큰 및 더 적은 능력들을 가진 디스플레이들에 대한 상이한 버전들을 생성하는 것을 관련시킨다. 예를 들면, 표준 다이내믹 레인지(SDR) 그레이딩은 레거시 디스플레이들 상에서 디스플레이하기 위한 비디오를 생성하기 위해 수행될 수 있다. 본 명세서에 기술된 바와 같은 도구는 SDR 버전의 비디오를 자동으로 생성하기 위해 적용될 수 있다. 컬러리스트는 최적화된 결과들을 생성하기 위해 도구의 동작을 안내할 수 있다.

또한, 컬러리스트가 더 낮은 능력의 디스플레이 상의 뷰잉을 위한 버전을 제공하기 위해 파라미터들을 설정한 경우, 더 낮은 능력의 디스플레이에 대해 컬러리스트에 의해 선택된 파라미터 값들로부터 중간 능력들을 가진 디스플레이들에 대한 매핑을 수행하는데 이용하기 위한 파라미터들이 결정될 수 있다. 이것은 예를 들면, 중간 능력들을 가진 디스플레이보다 높은 및 낮은 능력들을 가진 디스플레이들에 대해 컬러리스트에 의해 확립된 파라미터 값들의 보간에 의해 행해질 수 있다.

본 명세서에 기술된 방법들 및 장치는 전문-레벨 컬러 타이밍과 관련되어 이용하도록 제한되지 않는다. 컬러-타이밍에 대한 도구들이 비전문가들에게 이용가능하고, 컬러-타이밍이 교정되지 않은 모니터(예를 들면, 가정용 컴퓨터 디스플레이, 텔레비전 등) 상에서 수행되는 경우에도, 본 명세서에 기술된 방법들 및 장치는 교정되지 않은 모니터 상에 생성된 콘텐트를 또 다른 디스플레이로 변환하기 위해(예를 들면, 교정되지 않은 컬러 타이밍 디스플레이의 능력들을 추정함으로써) 이용될 수 있다. 본 명세서에 기술된 기술은 또한 컬러 타이밍되지 않은 신호들에 적용한다.

글로벌 톤-매핑 연산자와 로컬 다중-스케일 톤-매핑 연산자의 조합

본 명세서에 기술된 바와 같은 컬러 매핑 방법들 및 장치는 또한 다른 톤 매핑 기술들, 예를 들면, 로컬 톤 매핑 오퍼레이터들(TMO들)과 조합될 수 있다. 도 6은, 본 명세서에 기술된 바와 같은 글로벌 톤 매핑 오퍼레이터가, 국제 특허 출원 제 PCT/US2012/027267 호로도 출원되고, 2012년 3월 1일 출원되고, 본 명세서에 참조로서 온전히 포함된 G. J. Ward에 의한 미국 임시 출원 제 61/448,606 호, "A Local Multiscale Tone-Mapping Operator"의 (본 명세서에서 "Ward" 참조로 칭해짐)에 기술된 바와 같은 로컬 다중-스케일 톤 매핑 오퍼레이터와 조합되는 일 예시적인 실시예를 도시한다. 예시적인 실시예는 로컬 다중-스케일 오퍼레이터(MS TMO)를 이용할 때 컬러 충실도 및 하이라이트들을 보존하기 위한 능력과 글로벌 TMO의 안정성 및 예측성을 조합한다.

도 6에 도시된 바와 같이, 방법(60)은 입력 이미지 또는 비디오 데이터를 액세스함으로써 단계(62)에서 시작한다. 이들 데이터는 YCbCr, RGB, XYZ 등과 같은 다양한 컬러 포맷들로 저장되거나 송신될 수 있다. 단계(63)에서, 이것은 입력 데이터로부터 휘도 구성요소, 예를 들면, Y를 추출할 수 있다. 입력 데이터(예를 들면, RGB)의 포맷에 의존하여, 이 단계는 컬러 변환(예를 들면, RGB에서 XYZ로)을 필요로 할 수 있다. 단계(64)는 [수학식 1]에 의해 기술된 바와 같이, 글로벌 톤 매핑 오퍼레이터(55)를 입력 데이터의 Y 컬러 성분에 적용할 수 있다. 일 예시적인 실시예에서, 글로벌 TMO(55)의 앵커 지점들은 입력 데이터의 휘도 범위가 범위 [4*L_dMin, l/2*L_dMax]로 매핑되도록 선택될 수 있고, 여기서 L_dMin 및 L_dMax는 타겟 디스플레이의 최소 및 최대 휘도를 표시한다. 4 및 1/2의 스케일링 팩터들은 통상적이지만, 조정가능하다.

일 예시적인 실시예에서, 단계(64)의 출력은 글로벌 톤-매핑된 휘도 데이터 Y_TM으로 표시될 수 있다. 단계(65)에서, 이것은 "Ward"에 의해 기술된 바와 같은 로컬 다중-스케일 톤-매핑 연산자 (MS TMO)를 Y_TM 데이터에 적용할 수 있다. 예를 들면, 먼저, 이것은 오리지널 휘도 픽셀들에 의해 나누어진 글로벌 톤-매핑된 휘도 데이터의 대수로서 규정된 글로벌 로그 비 이미지

를 계산할 수 있다. 글로벌 로그 비 이미지 R_L이 주어지면, Ward에 의해 기술된 바와 같이, MS TMO(예를 들면, 단계(65))의 출력은 Y_MS로서 표시되는 로컬 톤-매핑된 휘도 이미지일 수 있다. Y_MS를 이용하여, 이것은

를 계산할 수 있다.

단계(66)에서, X_MS, Y_MS, 및 Z_MS 데이터는 타겟 디스플레이에 의해 결정되는 원색들, 백색, 및 흑색 레벨들을 가진 R_MS, G_MS, 및 B_MS(RGB_MS) 데이터로 다시 변환될 수 있다. 음 또는 색역외 RGB_MS 값들은 매우 작은 양의 값들로 클리핑될 수 있거나, 알려진 색역 매핑 알고리즘들 중 어느 것을 이용하여 색역내 RGB 값들로 재매핑될 수 있다.

단계(66), 단계(67)로부터 주어진 색역내 RGB_MS 데이터는 글로벌 톤-매핑된 보정된 데이터 RGB_G-MS를 출력하기 위해 글로벌 톤 매핑 오퍼레이터(55)를 모든 컬러 구성요소들에 재적용할 수 있다. 제 2 글로벌 톤-매핑 동작의 적용은 MS TMO의 출력이 타겟 디스플레이의 범위에 있음을 보장한다. 최종적으로, 단계(68)에서, 이미지 데이터를 디스플레이하기 전에(단계 69), RGB_G-MS 데이터는 출력 디스플레이에 대해 요구된 대로 감마 보정될 수 있다.

본 발명의 특정 구현들은 처리기들로 하여금 본 발명의 방법을 수행하도록 하는 소프트웨어 지시들을 실행하는 컴퓨터 처리기들을 포함한다. 예를 들면, 디스플레이에서 하나 이상의 처리기들, 컬러 그레이딩 스테이션, 셋톱 박스, 트랜스코더 등은 처리기들에 액세스가능한 프로그램 메모리에서의 소프트웨어 지시들을 실행함으로써 상술된 이미지 데이터 변환 방법들을 구현할 수 있다. 본 발명은 또한 프로그램 제품의 형태로 제공될 수 있다. 프로그램 제품은 데이터 처리기에 의해 실행될 때 데이터 처리기로 하여금 본 발명의 방법을 실행하게 하는 지시들을 포함하는 컴퓨터-판독가능한 신호들의 세트를 운반하는 임의의 매체를 포함할 수 있다. 본 발명에 따른 프로그램 제품들은 다양한 형태들 중 임의의 형태일 수 있다. 프로그램 제품은 예를 들면, 플로피 디스켓들, 하드 디스크 드라이브들을 포함하는 자기 데이터 저장 매체들, CD ROM들, DVD들을 포함하는 광 데이터 저장 매체들, ROM들, 플래시 RAM을 포함하는 전자 데이터 저장 매체들 등과 같은 물리적 매체들을 포함할 수 있다. 프로그램 제품들 상의 컴퓨터-판독가능한 신호들은 선택적으로 압축되거나 암호화될 수 있다.

구성요소(예를 들면, 소프트웨어 모듈, 처리기, 어셈블리, 디바이스, 회로 등)가 상기에 나타낸 경우, 달리 표시되지 않는 한, 그 구성요소에 대한 참조("수단(means)"에 대한 참조를 포함)는 본 발명의 도시된 예시적인 실시예들에서의 기능을 수행하는 개시된 구조와 구성적으로 등가가 아닌 구성요소들을 포함하여, 기술된 구성요소의 기능을 수행하는(즉, 기능적으로 등가인) 임의의 구성요소를 그 구성요소의 등가들로서 포함하는 것으로 해석되어야 한다.

일부 비-제한적인 실시예들은 다음의 이점들 중 하나 이상을 제공할 수 있다(예를 들면, 환경들에 의존하여):

흑색 지점 앵커를 가진 톤 매핑 곡선에 따른 매핑은 어두운 입력 콘텐트의 과도한 톤 압축을 회피할 수 있다;

흑색 지점 및/또는 백색 지점 앵커들을 가진 톤 매핑 곡선에 따른 매핑은 이러한 앵커 지점들 중 하나 둘다를 가지지 않은 곡선에 따른 톤 매핑보다 많은 타겟 디스플레이의 휘도 범위를 활용할 수 있다;

휘도 범위를 최대화하는 컬러 채널 특정 매핑 함수들은 타겟 디스플레이의 RGB 컬러 공간에서 적용될 수 있다(예를 들면, 입력 컬러 공간으로부터의 타겟 디스플레이 RGB 컬러 공간으로의 변환 후에); 및

타겟 디스플레이에 대한 출력 비디오 데이터의 백색 지점, 밝기 및/또는 중간-콘트라스트는 전달 함수에서 조정될 수 있다(예를 들면, 전달 함수에 따른 매핑 전 또는 후 대신에).

일부 실시예들은 상기 이점들 중 어느 것을 제공하지 않을 수 있고; 일부 실시예들은 상이한 이점들(예를 들면, 상기 이점들보다는, 또는 이에 대한 보충으로)을 제공할 수 있다.

상술된 개시내용에 비추어 당업자들에게 명백한 바와 같이, 본 발명의 실시에서 본 발명의 사상 및 범위를 벗어나지 않고 많은 변경들 및 수정들이 가능하다. 따라서, 본 발명의 범위는 다음의 특허청구범위들에 의해 규정된 내용에 따라 해석되어야 한다.

22: 미가공 비디오 데이터 23: 편집 스위트
24: 미가공 비디오 제품
26: 컬러 타이밍 스테이션
27: 컬러 타이밍된 비디오 제품 30: 모니터

Claims

이미지들의 디스플레이 관리를 위한 장치에 있어서:
입력 이미지 신호를 수신하는 입력;
기준 디스플레이에 대한 제 1 정보 데이터를 액세스하는 입력으로서, 상기 제 1 정보 데이터는 상기 기준 디스플레이에 대한 블랙 포인트 레벨, 화이트 포인트 레벨, 및 미드-포인트 레벨을 포함하는, 상기 제 1 정보 데이터를 액세스하는 입력;
타겟 디스플레이에 대한 제 2 정보 데이터를 액세스하는 입력으로서, 상기 제 2 정보 데이터는 상기 타겟 디스플레이에 대한 블랙 포인트 레벨, 화이트 포인트 레벨, 및 미드-포인트 레벨을 포함하는, 상기 제 2 정보 데이터를 액세스하는 입력;
상기 제 1 정보 데이터 및 상기 제 2 정보 데이터를 이용하여 상기 입력 이미지 신호의 픽셀 값들을 출력 이미지 신호의 대응하는 픽셀 값들에 매핑하기 위한 전달 함수를 결정하는 프로세서로서, 상기 전달 함수는 3개의 앵커 포인트들(anchor points)을 포함하고, 제 1 앵커 포인트는 상기 기준 디스플레이 및 상기 타겟 디스플레이의 블랙 포인트 레벨들을 이용하여 결정되고, 제 2 앵커 포인트는 상기 기준 디스플레이 및 상기 타겟 디스플레이의 화이트 포인트 레벨들을 이용하여 결정되고, 제 3 앵커 포인트는 상기 기준 디스플레이 및 상기 타겟 디스플레이의 미드-포인트 레벨들을 이용하여 결정되는, 상기 전달 함수를 결정하는 프로세서;
결정된 상기 전달 함수를 이용하여 상기 입력 이미지 신호를 상기 출력 이미지 신호로 매핑하는 프로세서; 및
생성된 상기 출력 이미지 신호를 출력하는 출력;을 포함하는, 이미지들의 디스플레이 관리를 위한 장치.
제 1 항에 있어서,
상기 프로세서에 의한 상기 전달 함수의 결정은 프리 파라미터를 적용하는 것을 더 포함하고, 상기 프리 파라미터는 상기 제 3 앵커 포인트에서 상기 전달 함수의 기울기를 조정하는, 이미지들의 디스플레이 관리를 위한 장치.
제 1 항에 있어서,
상기 제 1 정보 데이터는 상기 입력 이미지 신호의 메타데이터의 일부로 수신되는, 이미지들의 디스플레이 관리를 위한 장치.
제 3 항에 있어서,
상기 제 1 정보 데이터는 상기 입력 이미지 신호의 신(scene)에 대해 결정되는, 이미지들의 디스플레이 관리를 위한 장치.
제 1 항에 있어서,
상기 입력 이미지 신호의 특성에 기초해서 상기 제 1 정보 데이터를 생성하는 프로세서를 더 포함하는, 이미지들의 디스플레이 관리를 위한 장치.
제 5 항에 있어서,
상기 기준 디스플레이의 블랙 포인트는 상기 입력 신호의 휘도 채널의 작은 백분위수로서 결정되는, 이미지들의 디스플레이 관리를 위한 장치.
제 5 항에 있어서,
상기 기준 디스플레이의 화이트 포인트는 상기 입력 신호의 어느 컬러 채널의 최대값으로서 결정되는, 이미지들의 디스플레이 관리를 위한 장치.
제 1 항에 있어서,
상기 제 1 앵커 포인트는 상기 기준 디스플레이 및 상기 타겟 디스플레이의 상기 블랙 포인트 레벨들과 각각 동일한 수평 및 수직 좌표들을 가지고, 상기 제 2 앵커 포인트는 상기 기준 디스플레이 및 상기 타겟 디스플레이의 상기 화이트 포인트 레벨들과 각각 동일한 수평 및 수직 좌표들을 가지고, 상기 제 3 앵커 포인트는 상기 기준 디스플레이 및 상기 타겟 디스플레이의 상기 미드-포인트 레벨들과 각각 동일한 수평 및 수직 좌표들을 가지는, 이미지들의 디스플레이 관리를 위한 장치.
제 1 항에 있어서,
상기 전달 함수는,

에 따른 변환을 포함하고,
여기서, V는 입력 픽셀 값을 나타내고, V'는 출력 픽셀 값을 나타내고, C₁, C₂ 및 C₃은 상기 3개의 앵커 포인트들을 이용하여 결정된 파라미터들이고, n은 프리 파라미터를 나타내는, 이미지들의 디스플레이 관리를 위한 장치.
제 1 항에 있어서,
상기 입력 이미지의 픽셀 값들은 2개 이상의 컬러 성분들에 대한 컬러 값들을 포함하고, 상기 전달 함수는 상기 2개 이상의 컬러 성분들 중 각각의 하나에 대해 결정되는, 이미지들의 디스플레이 관리를 위한 장치.
제 9 항에 있어서,
상기 프리 파라미터(n)는 미드-레인지 영역(mid-range region) 내 상기 전달 함수의 기울기에 따라 결정되는, 이미지들의 디스플레이 관리를 위한 장치.
제 9 항에 있어서,
상기 프리 파라미터(n)는, 결정된 상기 앵커 포인트들과는 독립적으로, 원하는 미드-레인지 콘트라스트(a desired mid-range contrast)에 따라 결정되는, 이미지들의 디스플레이 관리를 위한 장치.