KR102539381B1

KR102539381B1 - 이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스

Info

Publication number: KR102539381B1
Application number: KR1020197015437A
Authority: KR
Inventors: 쥐르겐 스토데; 필립 로베르; 다비드 장드롱
Original assignee: 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date: 2016-11-03
Filing date: 2017-10-26
Publication date: 2023-06-05
Also published as: CN110023957B; WO2018082996A1; JP2020503587A; JP7171559B2; KR20190084068A; EP3535691B1; CN110023957A; EP3319013A1; US20190281201A1; EP3535691A1; US11044409B2

Abstract

본 발명은 장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 추정하기 위한 방법에 관한 것이고, 상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위 이미지, 및 HDR 이미지라 칭해지는 높은 동적 범위 이미지에 의해 표현되고, 상기 방법은: - LDR 이미지의 LDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하는 단계(S1) - 상기 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 연관시킴 -; - HDR 이미지의 HDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하는 단계(S2) - 상기 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 연관시킴 -, 및 - HDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들을 검출하는 단계(S3)를 포함하고, 상기 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다.

Description

이미지들의 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 추정하기 위한 방법 및 디바이스

본 발명은 일반적으로 이미지들의 캐스트 섀도우(cast shadow) 구역들 및/또는 하이라이트(highlight) 구역들을 추정하기 위한 이미지 프로세싱 분야에 관한 것이다.

카메라는 광 자극을 컬러 좌표들로 변환한다. 보다 정확하게, 입사 광의 스펙트럼은 카메라 센서에 의해 통합된 컬러 필터들에 의해 가중되어, 적색, 녹색 및 청색에 대한 컬러 좌표들(RGB)로 된다.

이미지 프로세싱의 다양한 분야들에서 문제는 이미지 분석이다. 이미지 분석으로부터 추정될 특정 타입의 정보는 하이라이트들 및 캐스트 섀도우들이다. 하이라이트들은, 예컨대 정반사로부터 발생하는 밝은 이미지 구역들이다. 정반사는 하이라이트 구역들 내에서 다량의 인입 광으로 인해 컬러 좌표들의 최대 합법적인 레벨에서 컬러 좌표들의 클리핑(clipping)을 유도한다. 예컨대, LDR(Low Dynamic Range) 이미지 또는 SDR(Standard Dynamic Range) 이미지에서와 같이, 컬러 좌표들의 범위가 0 내지 255 정도이면, 하이라이트 구역들에서 컬러 좌표들은 종종 255로 클리핑되거나 255에 가까운 값들로 적어도 강하게 동적으로 압축된다. 다른 타입의 클리핑은 소프트-클리핑(soft-clipping)이고, 예컨대 1000 Cd/m²의 큰 범위의 광 세기 값들은 작은 범위 코드 값들 또는 컬러 좌표들, 예컨대 250 내지 255로 매핑(map)되거나 소프트-클리핑된다. 이에 의해, 광택 있는 객체들의 질감 같은 광 분포의 상세 품질이 저하된다. 정반사들의 동일한 하이라이트 구역들은 일반적으로, 이들 구역들의 컬러 좌표들이 단지 하나 또는 소수의 코드 레벨들이 아닌 복수의 코드 레벨 또는 컬러 좌표로 확산된다는 점에서 HDR(High Dynamic Range) 이미지에서 더 잘 표현된다.

캐스트 섀도우들은, 제1 객체가 제2 객체에 도달할 광 소스의 광을 저지하면 발생한다. 이런 제2 객체에 대한 캐스트 섀도우들은 종종 주변 장면보다 훨씬 더 어둡고 매우 작은 컬러 좌표들을 가진 이미지 구역들을 유도한다. 컬러 좌표들은 심지어 제로로 클리핑되거나 제로에 가까운 값들로 동적으로 강하게 압축될 수 있다.

이미지들에서 하이라이트 구역들 및/또는 캐스트 섀도우 구역들의 검출 문제는 많은 수의 잘-알려진 방법들에 의해 처리되었다. 이들 방법들은 LDR(Low Dynamic Range) 이미지들 또는 HDR(high Dynamic Range) 이미지들에 적용된다.

예컨대, 캐스트 섀도우들을 추정하기 위한 방법들은 문헌("The Shadow meets the Mask: Pyramid-Based Shadow Removal", Y. Shor & D. Lischinski, Eurographics 2008, and in "Illumination Estimation and Cast Shadow Detection through a Higher-order Graphical Model", A. Panagopoulos et al., CVPR 2011)에 개시된다.

마찬가지로, 하이라이트들을 추정하기 위한 방법들은 문헌("Automatic detection and elimination of specular reflectance in color images by means of ms diagram and vector connected filters", F Ortiz and F Torres, IEEE Transactions on Systems Man and Cybernetics Part C Applications and Reviews, 36(5):681-687, 2006 and in "Real-Time Surface Light-field Capture for Augmentation of Planar Specular Surfaces", J. Jachnik et al., ISMAR 2012)에 개시된다.

그런 방법들은 일반적으로 구현하기에 복잡하고 그리고/또는 복수의 이미지들을 요구하고 그리고/또는 복잡한 모델들 또는 동작들을 사용한다. 그런 방법들은 상이한 동적 범위 레벨들로부터의 정보, 예컨대 SDR 및 HDR 이미지들로부터의 정보를 동시에 이용할 수 없다.

본 발명에 따른 방법은 이들 공지된 방법들에 대한 대안이다.

본 발명은, 비디오 시퀀스들이 적어도 2개의 버전, 즉 하나의 LDR(Low Dynamic Range) 버전 및 하나의 HDR(High Dynamic Range) 버전이고, 점점 더 적어도 2개의 버전에서 동시에 브로드캐스팅(broadcast)될 것이라는 사실을 이용한다. 이들 버전들은 동일한 비디오 흐름, 예컨대 다층 비디오 흐름에 존재할 수 있다. 이들 2개의 버전을 수신하는 디스플레이 디바이스는 HDR 또는 LDR 이미지들을 디스플레이하기 위한 자신의 능력에 따라 디스플레이될 버전을 선택할 것이다.

본 발명은, 동일한 비디오 시퀀스의 2개의 버전이 이용가능할 때, 이들 2개의 버전의 존재가 비디오 시퀀스의 이미지들에서 캐스트 섀도우들 및/또는 하이라이트들을 검출하는 데 사용될 수 있다는 사실을 이용한다. 캐스트 섀도우들(매우 작은 양의 광) 및 하이라이트들(매우 큰 양의 광)은 HDR 이미지 및 LDR 이미지에서 상이하게 표현된다. 캐스트 섀도우 또는 하이라이트들의 시공간 이미지 상세들의 양, 품질 또는 해상도와 같은 상세 레벨은 HDR 이미지에서보다 LDR 이미지보다 높다. 본 발명은 캐스트 섀도우 구역들 및 하이라이트 구역들을 식별하기 위해 HDR 이미지와 LDR 이미지 사이의 이런 상세 레벨의 차이를 이용한다.

따라서, 본 발명은 장면에서 캐스트 섀도우 구역들 또는 하이라이트 구역들을 추정하기 위한 방법에 관한 것이고, 상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위 이미지, 및 HDR 이미지라 칭해지는 높은 동적 범위 이미지에 의해 표현되고, 상기 방법은:

- LDR 이미지의 LDR 상세 맵(detail map)이라 칭해지는 상세 맵을 컴퓨팅(computing)하는 단계 - 상기 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 연관시킴 -,

- HDR 이미지의 HDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하는 단계 - 상기 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 연관시킴 -, 및

- HDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들을 검출하는 단계를 포함하고, 상기 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다.

HDR 이미지는 LDR 이미지보다 더 높은 동적 범위를 가진다. HDR 이미지는 LDR 이미지들의 시리즈로부터 만들어질 수 있다. HDR 이미지는 LDR 이미지의 역 톤 매핑(inverse tone mapping)으로부터 획득될 수 있다. HDR 이미지 및 LDR 이미지는 서로 독립적으로 제공될 수 있다.

동일한 장면을 표현하는 LDR 이미지 및 HDR 이미지가 적합한 알려진 소프트웨어에 의해 자동으로 생성될 수 있다는 것을 주목하라.

이미지의 상세 맵은 이미지의 고주파수 층을 표현하고 그리고/또는 이 이미지의 미세한 상세에 대응한다.

US2011/245976호가 상이한 노광들 하에서 캡처된 K개의 LDR 이미지의 시리즈로부터 만들어진 HDR 이미지의 고스트(ghost)들을 검출하고, 이런 HDR 이미지로부터 이들 고스트들을 제거하는 방법을 개시한다는 것을 주목하라. 그런 고스트들은 이 시리즈의 이미지들 사이의 움직임에 의해 생성된다. 이 문헌의 [00107]에 따라, 이들 고스트는 그 시리즈 K개의 이미지에 걸쳐 휘도 값들의 분산 맵(variance map)을 컴퓨팅하는 것을 통해 검출된다. 이 문헌의 [0108] 절의 끝에 개시된 이 방법의 개선에서, 고스트 잔차(residual)들은 이런 HDR 이미지에서, 기준 이미지로 취해진, 시리즈의 하나의 이미지를 뺌으로써 검출된다. HDR 이미지의 분산 맵과 다른 맵 사이의 차이는 어디에도 개시되지 않는다.

특정 실시예에서, 방법은 하이라이트 구역들로부터 캐스트 섀도우 구역들을 구별하기 위한 단계를 더 포함한다. 이 실시예에서, 방법은 검출된 구역들 중에서, LDR 이미지 또는 HDR 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 LDR 이미지 또는 HDR 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하는 단계를 더 포함한다.

휘도 임계값은 예컨대 8비트 컬러 좌표들을 가진 LDR 이미지에 대해 128과 동일하다.

특정 실시예에서, HDR 상세 맵에서의 상세 레벨이 LDR 상세 맵에서의 상세 레벨보다 더 큰 장면의 구역들은 HDR 상세 맵과 LDR 상세 맵 사이의 차이를 계산함으로써 검출된다.

특정 실시예에서, LDR 상세 맵은:

- LDR 이미지에 대한 휘도 맵을 획득하기 위해 LDR 이미지의 각각의 화소에 대한 휘도 값을 정의하고,

- 필터링된 휘도 맵을 획득하기 위해 LDR 이미지의 휘도 맵에 저역 통과 필터를 적용하고,

- LDR 상세 맵을 획득하기 위해 휘도 맵과 필터링된 휘도 맵 사이의 차이를 컴퓨팅함으로써

컴퓨팅된다.

예컨대, 공간 저역 통과 필터는 적어도 부분적으로 공간 이미지 상세를 제거한다. 그러므로, 휘도 맵과 필터링된 휘도 맵 사이의 차이로부터 발생하는 맵은 LDR 이미지의 상세를 대표하는 맵이다. 다른 타입의 저역 통과 필터는 시간 상세, 예컨대 진동하는 객체를 필터링하기 위한 시간 저역 통과 필터일 수 있다.

다른 실시예에서, LDR 상세 맵은 윤곽 검출에 의해, 선명도 분석에 의해, LDR 이미지에서의 컬러들의 국부적 분포의 분석에 의해, LDR 이미지에 적용된 대비 스트레칭 연산자(contrast stretching operator)에 의해, 또는 이미지의 상세를 검출하기 위한 임의의 다른 알려진 방법에 의해 그 자체로 알려진 방식으로 컴퓨팅된다.

특정 실시예에서, LDR 상세 맵을 컴퓨팅하는 단계는 LDR 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 LDR 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 LDR 상세 맵에 적용하는 단계를 더 포함한다.

특정 실시예에서, LDR 상세 맵을 컴퓨팅하는 단계는 LDR 상세 맵에서 노이즈를 제거하기 위해 LDR 상세 맵에 중앙값 필터를 적용하는 단계를 더 포함한다.

HDR 상세 맵은 HDR 이미지에 적용되는 등가 단계들에 의해 컴퓨팅된다.

더 구체적으로, HDR 상세 맵은:

- HDR 이미지에 대한 휘도 맵을 획득하기 위해 HDR 이미지의 각각의 화소에 대한 휘도 값을 정의하고,

- 필터링된 휘도 맵을 획득하기 위해 HDR 이미지의 휘도 맵에 저역 통과 필터를 적용하고,

- HDR 상세 맵을 획득하기 위해 휘도 맵과 필터링된 휘도 맵 사이의 차이를 컴퓨팅함으로써

컴퓨팅된다.

다른 실시예에서, HDR 상세 맵은 윤곽 검출에 의해, 선명도 분석에 의해, HDR 이미지에서의 컬러들의 국부적 분포의 분석에 의해, 이 LDR 이미지에 적용된 대비 스트레칭 연산자에 의해, 또는 이미지의 상세를 검출하기 위한 임의의 다른 알려진 방법에 의해 그 자체로 알려진 방식으로 컴퓨팅된다.

특정 실시예에서, HDR 상세 맵을 컴퓨팅하는 단계는 HDR 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 HDR 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 HDR 상세 맵에 적용하는 단계를 더 포함한다.

본 발명은 또한 위의 방법을 포함하는 이미지 프로세싱 방법에 관한 것이다. 그런 이미지 프로세싱 방법은 예컨대 자연 이미지에 삽입된 가상 객체의 섀도우 및 섀도잉(shadowing)을 제어하는 데 전용될 수 있다.

본 발명은 또한 장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 추정하기 위한 디바이스에 관한 것이고, 상기 장면은 LDR 이미지라 칭해지는 낮은 동적 범위 이미지, 및 HDR 이미지라 칭해지는 높은 동적 범위에 의해 표현되고, 상기 디바이스는:

- LDR 이미지의 LDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하기 위한 수단 - 상기 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 연관시킴 -;

- HDR 이미지의 HDR 상세 맵이라 칭해지는 상세 맵을 컴퓨팅하기 위한 수단 - 상기 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 연관시킴 -, 및

- HDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들을 검출하기 위한 검출 수단을 포함하고, 상기 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다.

특정 실시예에서, 검출 수단은 검출된 구역들 중에서, LDR 이미지 또는 HDR 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 LDR 이미지 또는 HDR 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하도록 구성된다.

본 발명은 또한 장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 추정하기 위한 위의 디바이스를 통합한 전자 디바이스에 관한 것이다. 바람직하게, 이 전자 디바이스는 카메라, TV 세트, 모니터, 머리 장착 디스플레이, 셋톱 박스, 게이트웨이, 스마트폰 또는 태블릿이다.

본 발명은 또한, 프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 위의 방법의 단계들을 실행하기 위한 프로그램 코드의 명령어들을 운반하는 비-일시적 저장 매체에 관한 것이다.

본 발명은 보호 범위를 제한하지 않고 예로써 주어진 다음 설명 및 도면들을 참조하여 더 잘 이해할 수 있다.
- 도 1은 본 발명의 방법의 연속적인 단계들의 흐름도이다.
- 도 2는 본 발명의 일 실시예에 따른 LDR 이미지에 대한 LDR 상세 맵을 컴퓨팅하기 위한 단계들을 도시하는 흐름도이다.
- 도 3은 도 2의 흐름도의 휘도 가중 함수를 예시하는 다이어그램이다.
- 도 4a 내지 도 4c는 캐스트 섀도우 구역들을 포함하는 이미지들에 대한 본 발명의 방법의 결과들을 예시한다.
- 도 5a 내지 도 5c는 캐스트 섀도우 구역들을 포함하는 이미지들에 대한 본 발명의 방법의 결과들을 예시한다.
- 도 6은 본 발명의 방법을 구현하는 디바이스의 개략도이다.

예시적인 실시예들이 다양한 수정들 및 대안적인 형태들일 수 있지만, 이의 실시예들은 도면들에 예로써 도시되고 본원에서 상세히 설명될 것이다. 그러나, 예시적인 실시예들을 개시된 특정 형태들로 제한할 의도가 없지만, 반대로 예시적인 실시예들이 청구항들의 범위 내에 속하는 모든 수정들, 등가물들 및 대안들을 포함하는 것으로 이해되어야 한다. 유사한 번호들은 도면들의 설명 전반에 걸쳐 유사한 엘리먼트들을 지칭한다.

예시적인 실시예들을 더 상세히 논의하기 전에, 일부 예시적인 실시예들이 흐름도들로서 묘사된 프로세스들 또는 방법들로 설명되는 것이 주목된다. 비록 흐름도들이 동작들을 순차적인 프로세스들로서 설명하지만, 동작들 중 일부는 병행하여, 동시에 또는 일제히 수행될 수 있다. 게다가, 동작들의 순서는 재배열될 수 있다. 프로세스들은, 프로세스들의 동작들이 완료될 때 종료될 수 있지만, 또한 도면들에 포함되지 않은 부가적인 단계들을 가질 수 있다. 프로세스들은 방법들, 함수들, 절차들, 서브루틴들, 서브프로그램들 등에 대응할 수 있다.

아래에 논의된 방법들 - 이중 일부가 흐름도들에 의해 예시됨 - 은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크(task)들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 기계 또는 컴퓨터 판독가능 매체, 이를테면 저장 매체에 저장될 수 있다. 프로세서(들)는 필요한 태스크들을 수행할 수 있다. 본원에 개시된 특정 구조적 및 기능적 상세사항은 단지 본 발명의 예시적인 실시예들을 설명하는 목적들을 위한 대표이다. 그러나, 본 발명은 많은 대안적인 형태들로 구현될 수 있고 본원에 설명된 실시예들로만 제한되는 것으로 이해되지 않아야 한다.

본 발명은 동일한 장면에서 캐스트 섀도우 구역들 및/또는 하이라이트 구역들을 결정하기 위해 이 장면의 적어도 2개의 이미지, 즉 적어도 하나의 LDR 이미지 및 하나의 HDR 이미지의 존재를 이용한다. HDR 이미지는 LDR 이미지보다 더 높은 동적 범위를 가진 이미지를 나타낸다. 본 발명의 방법은 LDR 이미지(LDR 이미지의 컬러들은 8비트 컬러 좌표들에 의해 표현됨) 및 HDR 이미지(HDR 이미지의 컬러들은 10비트 컬러 좌표들에 의해 표현됨)를 사용함으로써 예시될 것이다. 이들 컬러 좌표는 예컨대 RGB 컬러 공간에서 표현될 것이다.

도 1을 참조하면, 본 발명의 방법은 다음 단계들을 포함한다:

- 단계(S1): LDR 상세 맵이라 칭해지는 상세 맵이 LDR 이미지에 대해 생성되고; 이런 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 할당한다;

- 단계(S2): HDR 상세 맵이라 칭해지는 상세 맵이 HDR 이미지에 대해 생성되고; 이런 HDR 상세 맵은 상세 레벨을 HDR 이미지의 각각의 화소에 할당한다;

- 단계(S3): HDR 상세 맵의 상세 레벨이 LDR 상세 맵의 상세 레벨보다 더 큰 장면의 구역들이 검출되고; 검출된 구역들은 그 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응한다;

- 단계(S4): 캐스트 섀도우 구역들은 하이라이트 구역들로부터 구별되는 것이 유리하다.

위에-언급된 단계들의 각각의 단계는 이후에 상세히 설명된다.

도 2는 단계(S1)의 가능한 구현을 도시한다. 도 2를 참조하면, LDR 상세 맵은 다음 서브-단계들에 의해 컴퓨팅된다.

서브-단계(S10)에서, 휘도 값은 LDR 이미지에 대한 휘도 맵을 획득하기 위해 LDR 이미지의 각각의 화소에 대해 정의된다. RGB 컬러 공간에서 8비트 컬러 좌표를 가진 현재 LDR 이미지에 대해, 휘도(Y)는 다음 공식에 의해 계산될 수 있다:

Y= 0.2126*R + 0.7152*G + 0.0722*B

따라서, 휘도 맵은 LDR 이미지에 대해 생성된다.

서브-단계(S11)에서, 저역 통과 필터는 필터링된 휘도 맵을 획득하기 위해 LDR 이미지의 휘도 맵에 적용된다. 이런 저역-통과 필터는 예컨대 이미지에 흐릿함(blur)을 도입하는 잘-알려진 가우스 저역 통과 필터이다. 다른 저역 통과 필터들, 예컨대 평균화 윈도우, 주파수 도메인 필터 또는 FIR(Finite Impulse Response) 필터가 사용될 수 있다.

저역 통과 필터링 및 차이 계산 대신, 상세는 또한 예컨대 고역 통과 필터 또는 에지 검출 알고리즘을 사용하여 직접 검출될 수 있다.

서브-단계(S12)에서, 차이가 LDR 상세 맵을 획득하기 위해 휘도 맵과 필터링된 휘도 맵 사이에서 컴퓨팅된다. 이런 LDR 상세 맵은 상세 레벨을 LDR 이미지의 각각의 화소에 할당한다.

바람직한 실시예에서, 휘도 가중 함수는 서브-단계(S13)에서 LDR 상세 맵에 적용된다. 가중 함수의 일 예는 도 3에 의해 예시된다. 이런 가중 함수의 목적은 하이라이트 또는 섀도우 구역들에 존재하지 않는 상세를 제거하는 것이다. LDR 상세 맵의 화소에 적용된 가중값은 화소의 휘도 값(휘도 맵에서 화소의 값)에 의존한다. 도 3에서, W(x)로 표시되는 휘도 가중 함수의 방정식은 W(x)=[(Y(x)-128)/128]²이고, 여기서 Y(x)는 휘도 맵에서 화소(x)의 휘도 값이고, W(x)는 화소(x)의 상세 레벨(LDR 상세 맵에서)에 적용될 가중값이다. 이 함수에 따라, 높거나 낮은 휘도 값을 가진 화소들의 상세 레벨은 실질적으로 유지되고(1에 가까운 가중값) 128에 가까운 중간 휘도 값을 가진 화소들의 상세 레벨은 실질적으로 감소되고, 심지어 0으로 설정된다.

물론, 중간 휘도 값들을 가진 화소들의 상세 레벨을 감소시키는 다른 가중 함수들이 사용될 수 있다.

유리하게, 부가적인 서브-단계(S14)에서, LDR 상세 맵은 LDR 맵 상세에서 노이즈를 제거하기 위해 중앙값 필터에 의해 필터링된다.

도 1을 다시 참조하면, 단계(S2)는 HDR 상세 맵을 획득하기 위해 HDR 이미지에 대해 S10 내지 S14와 동일한 단계들로 구성된다.

단계(S3)에서, HDR 상세 맵에서의 상세 레벨이 LDR 상세 맵에서의 상세 레벨보다 더 큰 장면의 구역들은 HDR 상세 맵과 LDR 상세 맵 사이의 차이를 계산함으로써 검출된다. 더 구체적으로, HDR 상세 맵으로부터 LDR 상세 맵을 빼서 차이 맵이 초래된다. 물론, 이런 뺄셈을 수행하기 전에, HDR 및 SDR 맵들의 상세 레벨들은 바람직하게 서로 할당된다. 예컨대, HDR 상세 맵의 상세 레벨들은, LDR 이미지(8 비트)와 HDR 이미지(10 비트) 사이의 비트 수의 차이로 인해 4로 나뉘어진다. 다른 타입들의 정렬, 이를테면 뺄셈 전에 HDR 상세 맵을 톤 매핑하거나 또는 HDR 및 LDR 맵들을 HDR 및 LDR 확산 백색의 레벨로 각각 나누는 것이 가능하다. 양의 값들을 가진 차이 맵의 구역들은 이미지들에서 하이라이트들 또는 캐스트 섀도우들일 개연성이 있는 구역들이다.

임의적 단계(S4)에서, 하이라이트 구역들은 LDR 이미지 또는 HDR 이미지의 휘도 값들에 기반하여 캐스트 섀도우 구역들로부터 구별된다. 예컨대, LDR 이미지를 사용할 때, 차이 맵에서 양의 값들을 가지며 128보다 큰 휘도 값을 가진 LDR 이미지의 화소들에 대응하는 모든 구역들은 하이라이트 구역들로 선언되는 반면, 차이 맵에서 양의 값들을 가지며 127 이하의 휘도 값을 가진 LDR 이미지의 화소들에 대응하는 모든 구역들은 캐스트 섀도우 구역들로 선언된다.

변형에서, 2 초과의 동적 범위 레벨들이 이용가능할 때, 방법이 또한 사용될 수 있다. 예컨대, 낮은 동적 범위(LDR), 중간 동적 범위(MDR) 및 높은 동적 범위(HDR) 이미지들이 이용가능할 때, 설명된 단계들(S1 내지 S4)은 제1 검출 결과를 제공하는 LDR 및 MDR(HDR 대신)에 적용되고, 이어서 제2 검출 결과를 제공하는 MDR(LDR 대신) 및 HDR에 적용된다. 이어서, 제1 및 섹션 선택 검출 결과들이 결합된다. 결합은, 예컨대 하이라이트가 제1 및 제2 검출 결과에 포함되는 경우 하이라이트가 검출되도록 예컨대 논리 AND 연산을 사용하여 실현될 수 있다. 다른 가능성은 MDR 이미지에 대해 상세 맵을 부가적으로 계산하고 이어서 단계(S3)를, 더 큰 상세들의 제1 구역들을 제공하는 LDR 및 MDR(HDR 대신)에 적용한 다음 더 큰 상세들의 제2 구역을 제공하는 MDR(LDR 대신) 및 HDR에 적용하는 것이다. 이어서, 제1 및 제2 구역들은, 상세들의 제1 또는 제2 구역들이 있는 곳에서 더 큰 상세들의 구역들이 정의되도록 예컨대 논리 OR 연산을 사용하여 결합된다. 이어서, 단계(S4)는 이들 상세의 구역들에 적용된다.

도 4a 내지 도 4c 및 도 5a 내지 도 5c는 2개의 이미지 커플에 대한 본 발명의 방법의 결과들을 예시한다.

도 4a 및 도 4b는 캐스트 섀도우 구역들을 포함하는 장면의 HDR 이미지 및 LDR 이미지이다. 도 4c는 본 발명의 방법에 의해 검출된 캐스트 섀도우 구역들(백색 화소들)을 도시한다.

도 5a 및 도 5b는 하이라이트 구역들을 포함하는 장면의 HDR 이미지 및 LDR 이미지이다. 도 4c는 본 발명의 방법에 의해 검출된 하이라이트 구역들(백색 화소들)을 도시한다.

이 방법을 구현하는 디바이스의 일 예는 도 6에 주어진다. 도 6을 참조하여, 디바이스는:

- 단계(S1)에서 설명된 바와 같이 LDR 상세 맵을 컴퓨팅하기 위한 컴퓨터 수단(10),

- 설명된 바와 같이 HDR 상세 맵을 컴퓨팅하기 위한 컴퓨터 수단(11), 및

- 단계들(S3 및 S4)에 설명된 바와 같이 HDR 상세 맵에서의 상세 레벨이 LDR 상세 맵에서의 상세 레벨보다 더 큰 장면의 구역들을 검출하고 캐스트 섀도우 구역들로부터 하이라이트 구역들을 구별하기 위한 검출 수단(12)을 포함한다.

본 발명에 따른 방법의 장점들은 다음의 것들이다:

- 동시에 SDR 및 HDR 이미지들에서 상이한 동적 범위 레벨들의 정보를 이용하고 따라서 하이라이트 및 섀도우 검출을 위한 새로운 타입의 정보를 이용할 수 있다;

- 상이한 동적 범위들을 가진 단지 2개의 이미지만을 요구하고; 이들 2개의 요구된 이미지는 주로 층진 HDR 콘텐츠의 분포에 이용가능하다;

- 방법은 휘도 값들에 대해서만 작동하고 따라서 컬러 좌표들 상에서 작동하는 방법들보다 덜 복잡하다;

- 방법은 구현하기에 간단하다.

본 발명의 일부 실시예들이 첨부된 도면들에 예시되고 전술한 상세한 설명에 설명되었지만, 본 발명이 개시된 실시예들로 제한되는 것이 아니라, 다음 청구항들에 설명되고 정의된 바와 같은 본 발명으로부터 벗어나지 않고 다수의 재배열들, 수정들 및 대체가 가능하다는 것이 이해되어야 한다.

Claims

장면에서 캐스트 섀도우 구역들(cast shadow regions) 또는 하이라이트 구역들을 검출하기 위한 방법으로서,
상기 장면은 낮은 동적 범위(dynamic range) 이미지, 및 상기 낮은 동적 범위 이미지보다 더 높은 동적 범위를 가진 높은 동적 범위 이미지에 의해 표현되고, 상기 방법은:
- 상기 높은 동적 범위 이미지로부터 컴퓨팅된(S2) 높은 동적 범위 상세 맵(high dynamic range detail map)과 상기 낮은 동적 범위 이미지로부터 컴퓨팅된(S1) 낮은 동적 범위 상세 맵(low dynamic range detail map) 사이에 차이를 갖는 구역들을 상기 장면 내에서 검출하는 단계(S3)를 포함하고, 상기 검출된 구역들은 상기 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응하는 방법.
제1항에 있어서, 상기 낮은 동적 범위 상세 맵의 상기 컴퓨팅(S1)은 상기 낮은 동적 범위 이미지의 휘도 맵과 상기 낮은 동적 범위 이미지의 필터링된 휘도 맵 사이의 낮은 동적 범위 차이에 기반하고, 상기 높은 동적 범위 상세 맵의 상기 컴퓨팅(S2)은 상기 높은 동적 범위 이미지의 휘도 맵과 상기 높은 동적 범위 이미지의 필터링된 휘도 맵 사이의 높은 동적 범위 차이에 기반하는 방법.
제2항에 있어서, 상기 낮은 동적 범위 이미지의 상기 필터링된 휘도 맵은 상기 낮은 동적 범위 이미지의 상기 휘도 맵에 저역 통과 필터를 적용함(S11)으로써 획득되는 방법.
제2항 또는 제3항에 있어서, 상기 낮은 동적 범위 상세 맵을 컴퓨팅하는 단계는 상기 낮은 동적 범위 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 상기 낮은 동적 범위 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 상기 낮은 동적 범위 차이에 적용하는 단계를 더 포함하는 방법.
제2항 또는 제3항에 있어서, 상기 높은 동적 범위 이미지의 상기 필터링된 휘도 맵은 상기 높은 동적 범위 이미지의 상기 휘도 맵에 저역 통과 필터를 적용함으로써 획득되는 방법.
제2항 또는 제3항에 있어서, 상기 높은 동적 범위 상세 맵을 컴퓨팅하는 단계는 상기 높은 동적 범위 이미지에서 중간 휘도 값들을 가진 화소들에 대응하는 상기 높은 동적 범위 상세 맵의 화소들의 상세 레벨들을 감소시키기 위해 휘도 가중 함수를 상기 높은 동적 범위 차이에 적용하는 단계를 더 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 방법은 상기 검출된 구역들 중에서, 상기 낮은 동적 범위 이미지 또는 높은 동적 범위 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 낮은 동적 범위 이미지 또는 높은 동적 범위 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하는 단계(S4)를 더 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 따른 방법을 포함하는 이미지 프로세싱 방법.
장면에서 캐스트 섀도우 구역들 및 하이라이트 구역들을 검출하기 위한 디바이스로서,
상기 장면은 낮은 동적 범위 이미지, 및 상기 낮은 동적 범위 이미지보다 더 높은 동적 범위를 가진 높은 동적 범위 이미지에 의해 표현되고, 상기 디바이스는 상기 높은 동적 범위 이미지로부터 컴퓨팅된(S2) 높은 동적 범위 상세 맵과 상기 낮은 동적 범위 이미지로부터 컴퓨팅된(S1) 낮은 동적 범위 상세 맵 사이에 차이를 갖는 구역들을 상기 장면 내에서 검출(S3)하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 검출된 구역들은 상기 장면의 캐스트 섀도우 구역들 또는 하이라이트 구역에 대응하는 디바이스.
제9항에 있어서, 상기 적어도 하나의 프로세서는 상기 낮은 동적 범위 이미지의 휘도 맵과 상기 낮은 동적 범위 이미지의 필터링된 휘도 맵 사이의 낮은 동적 범위 차이에 기반하여 상기 낮은 동적 범위 상세 맵을 컴퓨팅(S1)하고 상기 높은 동적 범위 이미지의 휘도 맵과 상기 높은 동적 범위 이미지의 필터링된 휘도 맵 사이의 높은 동적 범위 차이에 기반하여 상기 높은 동적 범위 상세 맵을 컴퓨팅(S2)하도록 추가로 구성되는 디바이스.
제9항 또는 제10항에 있어서, 상기 적어도 하나의 프로세서는 상기 검출된 구역들 중에서, 상기 낮은 동적 범위 이미지 또는 높은 동적 범위 이미지의 화소들이 휘도 임계값보다 더 큰 휘도 값들을 가진 구역들을 하이라이트 구역들로서 그리고 상기 낮은 동적 범위 이미지 또는 높은 동적 범위 이미지의 화소들이 상기 휘도 임계값보다 더 낮은 휘도 값들을 가진 구역들을 캐스트 섀도우 구역들로서 할당하도록 추가로 구성되는 디바이스.
제9항 또는 제10항에 따른 디바이스를 통합한 이미지 프로세싱 디바이스.
제12항에 따른 이미지 프로세싱 디바이스를 통합한 전자 디바이스.
제13항에 있어서, 상기 전자 디바이스는 카메라, TV 세트, 모니터, 머리 장착 디스플레이, 셋톱 박스, 게이트웨이, 스마트폰 또는 태블릿으로 이루어진 그룹에서 선택되는 전자 디바이스.
프로그램 코드의 명령어들을 운반하는 비-일시적 저장 매체로서, 상기 명령어들은, 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 제1항 내지 제3항 중 한 항에 따른 방법의 단계들을 실행하기 위한 것인 비-일시적 저장 매체.
프로그램 코드의 명령어들을 운반하는 비-일시적 저장 매체로서, 상기 명령어들은, 상기 프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 제8항에 따른 방법의 단계들을 실행하기 위한 것인 비-일시적 저장 매체.