KR20230045498A - 공동 자동-노출 톤-맵핑 시스템 - Google Patents

Abstract

본 개시는, HDR(high dynamic range) 이미지에서 유용한 데이터를 보존하면서, LDR(low dynamic range) 이미지들로 HDR 이미지들의 압축을 제공한다. HDR 이미지들은, 저조도 및 밝은 데이터를 캡처하기 위하여 상이한 노출 시간들을 갖는 이미지들을 높은 비트-심도를 갖는 단일 이미지로 병합함으로써 형성될 수 있다. LDR이미지들은, HDR 입력 및 LDR 출력의 유용한 세부사항들을 캡처하기 위해 공동 자동-노출 및 톤-맵핑 시스템을 사용하여 생성될 수 있다. 이에 따라, 본 개시의 예시적 실시예들은, 센서의 자동-노출 시스템으로부터 데이터를 사용하여 HDR 이미지들로부터 고품질의 LDR 이미지들을 생성할 수 있다.

Description

공동 자동-노출 톤-맵핑 시스템{JOINT AUTO-EXPOSURE TONE-MAPPING SYSTEM}

본 개시의 기술적 사상은 디지털 이미지 처리에 관한 것으로서, 구체적으로는 톤-맵핑에 관한 것이다.

디지털 이미지 처리는 디지털 이미지를 처리하거나 증진하기 위하여 컴퓨터를 사용하는 작업을 지칭할 수 있다. 예를 들면, 디지털 편집은 어두운 환경에서 이미지의 가시성(visibility)을 증진하기 위하여 이미지들에 수행될 수 있다. 일부 경우들에서, 낮은 비트-심도 이미지들의 동적 범위는 정량적 접근법이나 알고리즘들을 사용하여 증가될 수 있다. 이미지 또는 이미지 내의 사물을 시각적으로 식별할 수 있도록 밝기는 색상과 조명을 적절히 구분함으로써 조절될 수 있다.

어두운 영역, 그림자 영역 또는 밝은 영역을 포함한 세부 이미지는 높은 비트 심도를 사용하여 캡처될 수 있다. 일부 경우들에서, 디스플레이들이나 머신 비전 작업들에 사용하기 위해 낮은 비트-심도 이미지들을 생성하기 위해 높은 비트-심도 이미지들을 압축하는 것이 바람직할 수 있다. 그러나, 압축된 이미지들은 선명도와 대비를 잃을 수 있다. 예를 들면, 차량의 이미지 센서는 터널과 가까운 이미지를 캡처할 수 있으며, 터널 끝 부분은 터널 내부 영역보다 실질적으로 더 밝을 수 있다. 이러한 이미지를 압축하면, 두 개의 서로 다른 영역 간의 높은 명암 대비로 인해 세부 정보가 손실될 수 있다.

즉, 높은 비트-심도 이미지들을 낮은 비트-심도 이미지들로 압축하는 기존 기술은 가시성이 낮은 시나리오들을 캡처하는 이미지들에서 잘 작동하지 아니할 수 있다.

본 개시의 기술적 사상은, 향상된 선명도로 압축된 낮은 비트-심도 이미지들을 제공하는 개선된 이미지 처리 시스템 및 방법을 제공한다.

본 개시는, HDR(high dynamic range) 이미지에서 유용한 데이터를 보존하면서, LDR(low dynamic range) 이미지들로 HDR 이미지들의 압축을 제공한다. HDR 이미지들은, 저조도 및 밝은 데이터를 캡처하기 위하여 상이한 노출 시간들을 갖는 이미지들을 높은 비트-심도를 갖는 단일 이미지로 병합함으로써 형성될 수 있다. 높은 비트-심도 이미지들이 동시에 나타날 수 있다. 일부 경우들에서, 디스플레이 유닛들은 낮은 비트-심도 이미지들을 나타낼 수 있다. 이에 따라, 본 개시의 예시적 실시예들은 센서의 자동-노출 시스템으로부터 데이터를 사용하여 HDR 이미지들로부터 고품질의 LDR 이미지들을 생성할 수 있다.

본 개시의 기술적 사상의 일 측면에 따른 방법은, 이미지 통계에 기초하여 가상 이득을 계산하는 단계, 이미지 통계에 기초하여 광도(luminosity) 확률 밀도 함수를 계산하는 단계, 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑(tone-mapping) 함수를 생성하는 단계, 및 톤-맵핑 함수에 기초하여 HDR(high dynamic range) 이미지를 LDR(low dynamic image)로 변환하는 단계를 포함할 수 있다.

본 개시의 기술적 사상의 일측면에 따른 방법은, 이미지 센서를 사용하여 복수의 노출들을 수집하는 단계, 복수의 노출들을 조합함으로써 HDR(high dynamic range) 이미지를 생성하는 단계, 이미지 센서로부터 이미지 통계에 기초하여 가상 이득을 계산하는 단계, LDR(low dynamic range) 이미지에 대한 목표 밝기를 획득하기 위하여 가상 이득을 조절하는 단계, 가상 이득의 조절 후 LDR 이미지의 목표 밝기획득하기 위하여 아날로그 이득을 조절하는 단계, 이미지 통계에 기초하여 광도(luminosity) 확률 밀도 함수를 계산하는 단계, 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성하는 단계, 및 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환하는 단계를 포함할 수 있다.

본 개시의 기술적 사상의 일측면에 따른 장치는, 이미지 통계에 기초하여 가상 이득을 계산하도록 구성된 자동-노출 컴포넌트, 이미지 통계에 기초하여 광도(luminosity) 확률 밀도 함수를 계산하도록 구성된 확률 밀도 함수, 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑(tone-mapping) 함수를 생성하도록 구성된 곡선 생성 컴포넌트, 및 톤-맵핑 함수에 기초하여 HDR(high dynamic range) 이미지를 LDR(low dynamic range) 이미지로 변환하도록 구성된 톤-맵핑 컴포넌트를 포함할 수 있다.

도 1은 본 개시의 예시적 실시예에 따른 자동차 이미징 시스템을 나타낸다.
도 2는 본 개시의 예시적 실시예에 따른 자동차 이미징을 위한 방법을 나타낸다.
도 3은 본 개시의 예시적 실시예에 따른 압축된 이미지 처리를 나타낸다.
도 4는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서 장치를 나타낸다.
도 5는 본 개시의 예시적 실시예에 따른 공동 자동-노출 및 톤-맵핑 시스템을 나타낸다.
도 6은 본 개시의 예시적 실시예에 따른 톤-맵핑을 나타낸다.
도 7은 본 개시의 예시적 실시예에 따른 톤-맵핑 컴포넌트에 대한 부드러운 이미지 입력을 나타낸다.
도 8은 본 개시의 예시적 실시예에 따른 톤-맵핑을 위한 방법을 나타낸다.
도 9는 본 개시의 예시적 실시예에 따른 톤-맵핑을 위한 방법을 나타낸다.
도 10은 본 개시의 예시적 실시예에 따른 비선형 히스토그램 수집을 나타낸다.
도 11은 본 개시의 예시적 실시예에 따라 HDR 이미지를 LDR 이미지로 변환하는 방법을 나타낸다.
도 12는 본 개시의 예시적 실시예에 따라 2변수 톤-맵핑 함수를 나타낸다.

본 개시는 HDR(high dynamic range) 이미지들을 LDR(low dynamic range) 이미지들로 압축하는 시스템 및 방법을 설명한다. 하나 이상의 실시예는 이미지의 부분들에서 밝기를 조정하기 위해 편집 또는 이득을 적용하는 공동 자동-노출 및 톤-매핑 시스템을 포함할 수 있다. 일부 예시들에서, 이득 정책은 이미지의 밝기를 제어할 수 있다.

이미지 증진(enhancement)은 이미지의 특징을 보다 명확하게 하기 위해 이미지의 휘도 또는 색상을 변경하는 것을 포함할 수 있다. 예를 들면, 자동-노출 프로세스는 이미지의 밝기를 결정하는 파라미터들을 조정하는데 사용될 수 있다. 그 다음에, 톤-매핑은 픽셀 데이터를 압축된 픽셀 데이터에 맵핑하는데 사용될 수 있다. 기존 카메라 시스템들은 별도의 프로세스들로서 자동-노출 및 톤-맵핑을 수행한다. 예를 들면, 톤-맵핑은 카메라 센서의 자동-노출 파라미터들이 설정된 후에 수행될 수 있다. 그러나, 자동-노출 및 톤-맵핑을 별도로 수행하는 것은 HDR 입력의 중요 특징들을 캡처하지 아니하는 LDR 이미지들을 초래할 수 있다.

본 개시의 예시적 실시예들은 톤-맵핑 및 자동-노출을 공동으로 실행할 수 있다. 그 결과, 이러한 시스템들은 특징들이 기존 톤-맵핑 프로세스에서 소실되는 실제 장면들을 캡처할 수 있다. 예를 들면, 공동 자동-노출 및 톤-맵핑 시스템은 극히 어두운 영역들 및 밝은 영역들 모두와 관련된 장면들을 캡처하는데 사용될 수 있다. 하나 이상의 실시예는 이미지의 밝기 및 대비를 증진하기 위하여 자동-노출 이득들을 계산할 수 있다. 추가적으로 또는 대안적으로, 카메라의 노출 시간의 변경들은 이미지에서 흐림(blur) 효과들을 감소시키는데 사용될 수 있다. 일부 경우들에서, 톤-맵핑 알고리즘은 대비의 원하는 양을 이미지의 시각적 구별성(distinguishability)을 증진하는데 적용할 수 있다.

본 개시의 예시적 실시예에 따른 공동 자동-노출 및 톤-맵핑의 방법을 사용함으로써, 이미지 처러 시스템들은 동적 변화들을 처리할 수 있고 일시적 안정성을 제공할 수 있는 한편, 하드웨어 및 소프트웨어 복잡도를 감소시킬 수 있다. 본 개시의 하나 이상의 실시예는 HDR 이미지들 및 LDR 이미지들을 압축하는데 사용될 수 있는 한편, HDR 이미지에서 유용한 데이터를 보존할 수 있다. 톤-맵핑 및 자동-노출 시스템들은 상호 연결될 수 있고, 데이터를 공유할 수 있다. 그 결과, 일부 경우들에서 톤-맵핑 및 자동-노출 시스템들은 하나의 단위로 간주될 수 있다.

일부 예시들에서, 자동-노출 및 톤-맵핑의 공동 시스템은, 주행 보조 또는 자동차 산업뿐만 아니라 다른 산업들 및 어플리케이션들에서 다른 엔터테인먼트 및 정보 시스템들을 위한 알고리즘들을 가능하게 할 수 있다. 자동차 분야에서 본 개시의 예시적 실시예들의 어플리케이션의 예시들이 도 1 내지 도 3을 참조하여 후술될 것이다. 예시적 톤-맵핑 시스템의 아키텍쳐에 관련된 자세한 사항들이 도 4 내지 도 7을 참조하여 후술될 것이다. 예시적 톤-맵핑 프로세스의 설명이 도 8 내지 도 12를 참조하여 후술될 것이다.

[자동차 이미징 시스템]

도 1은 본 개시의 예시적 실시예에 따른 자동차 이미징 시스템의 예시를 나타낸다. 도 1의 예시는 차량(100), 이미지 센서(105), 이미지 신호 프로세서(110) 및 내비게이션 유닛(115)을 포함할 수 있다. 내비게이션 유닛(115)에서의 사용에 추가로 또는 대안으로서, 이미지 신호 프로세서(110)의 출력은 이미지의 디스플레이 또는 기록과 같은 차량(100)의 다른 시스템을 위해 사용될 수 있다. 또한, 본 명세서에서 설명되는 이미지 처리 시스템들은 자동차 분야에 제한되지 아니한다.

도 1의 예시에서, 차량(100)은 주변 영역에 대한 이미징 정보를 수집하기 위하여 하나 이상의 이미지 센서(105)를 사용할 수 있다. 예를 들면, 이미지 센서(105)는 장면에 대한 하나 이상의 HDR 이미지들을 수집하는데 사용될 수 있다. 이미지 센서(105)는 CCD(charge-coupled device) 및/또는 CMOS(complementary metal-oxide semiconductor) 등을 포함할 수 있다. HDR 이미지는, 사진사가 이미지 장면에 있는 경우, 존재하는 빛의 대부분 또는 전체를 캡처하는 고품질 이미지로 간주될 수 있다. 그러나, HDR 이미지는 크고 복잡할 수 있고, 큰 사이즈에 기인하여 처리에 어려움이 있을 수 있다. 이에 따라, 일부 어플리케이션들의 경우, HDR 이미지들을 LDR 이미지들로 변환하는 것이 유용할 수 있다.

이미지 센서(105)로부터 수집된 이미지들은 이미지 신호 프로세서(110)에서 처리될 수 있고, 처리된 이미지 데이터는 내비게이션 유닛(115) 또는, 안전이나 엔터테인먼트 시스템들과 같은 다른 시스템들과 같은 어프리케이션들에 제공될 수 있다. 일부 경우들에서, 이미지 신호 프로세서(110)는 LDR 이미지를 생성하기 위하여 이미지를 압축할 수 있다. LDR 이미지는 제한된 노출 범위를 포함할 수 있다. 파일 크기가 낮기 때문에, 처리가 더욱 용이할 수 있다.

차량(100)은 운송을 위해 사용되는 임의의 장치일 수 있고, 본 개시의 예시적 실시예에 따른 이미지 처리 시스템의 어플리케이션의 예시일 수 있다. 예를 들면, 차량(100)은 자동차, 트럭 또는 버스일 수 있으나, 본 개시의 실시예들이 이에 제한되지 아니하며, 차량(100)은 이동성을 위해 사용되는 임의의 장치일 수 있다. 그러나, 차량은 예시로 사용될 수 있고, 본 명세서의 이미지 처리 시스템들은 자동차 분야에 제한되지 아니한다.

이미지 센서(105)는 빛이나 다른 전자기 방사선(예컨대, 적외선 신호들)을 전기적 신호들로 변환함으로써 이미지를 생성하기 위하여 정보를 검출하는데 사용되는 센서일 수 있다. 이미지 센서(105)는, 디지털 카메라들, 휴대 전화, 보안 시스템들, 레이더 등과 같은 아날로그 및 디지털 이미징 장치들에 사용될 수 있다.

일부 실시예들에 따라, 이미지 센서(105)는 이미지 센서(105)를 사용하여 노출들의 세트를 수집할 수 있다. 일부 예시들에서, 이미지 센서(105)는 노출들의 세트를 조합함으로써 HDR(high dynamic range) 이미지를 생성할 수 있다.

이미지 신호 프로세서(image signal processor; ISP)(110)는 디지털 카메라들에서 이미지 처리에 사용되는 일종의 미디어 프로세서 또는 특수 디지털 신호 프로세서일 수 있다. 이미지 신호 프로세서(110)는, 도 4를 참조하여 후술되는 대응하는 구성요소의 예시이거나 양태들을 포함할 수 있다.

내비게이션 유닛(115)은 내비게이션을 지원하는 컴퓨팅 시스템일 수 있다. 내비게이션 시스템은, 차량(100) 또는 시스템이 제어하는 선박(예컨대, 선박의 교량)에 완전히 탑재되거나 다른 곳에 위치하여 차량(100) 또는 선박을 제어하기 위해 무선 또는 다른 신호 전송을 사용할 수 있다. 일부 경우들에서, 내비게이션 유닛(115)은 내비게이션을 위한 (예컨대, 차선을 식별하고 차선 내에 보존하기 위한) 고품질의 LDR 이미지들을 사용할 수 있다. 일부 예시들에서, 내비게이션 유닛(115)과 다른 시스템들은 LDR 이미지들을 사용할 수 있다.

도 2는 본 개시의 예시적 실시예에 따른 자동차 이미징을 위한 방법의 예시를 나타낸다. 단계 200에서, 이미지 센서는 HDR 이미지를 캡처할 수 있다. 예를 들면, 자동차 카메라는 전방을 향한 이미지 센서로 운전 장면의 이미지를 캡처할 수 있다.

일부 예시들에서, 이미지 센서는 제공된 픽셀 집적(integration) 시간(노출 시간으로 지칭될 수 있음) 파라미터 및 아날로그 이득 파라미터를 사용하여 입력 이미지를 캡처할 수 있다. 픽셀 집적 시간 파라미터, 아날로그 이득 파라미터 및 디지털 이득은 이미지 신호 프로세서에 대한 입력에서 이미지의 밝기 수준을 제어할 수 있다. 이미지의 아날로그 이득, 디지털 이득 및 통계가 노출 시간의 조절된 값을 계산하는데 사용될 수 있다. 일부 경우들에서, 노출 시간은 아날로그 이득 및 디지털 이득을 결정하는데 사용될 수 있다.

이미지 통계는 히스토그램들, 섬네일(thumbnail) 이미지들 등을 포함할 수 있다. 일부 경우들에서, 이득 및 노출 파라미터들은 출력 이미지의 원하는 밝기(즉, 목표 밝기)를 정의함으로써 계산될 수 있다. 예를 들면, 이득 및 노출 파라미터들은 이미지에서 픽셀들 및 채널들의 평균을 사용하여 계산될 수 있다.

단계 205에서, 이미지 신호 프로세서는 캡처된 HDR 이미지를 LDR 이미지로 변환할 수 있다. 일부 경우들에서, 캡처된 HDR 이미지를 LDR 이미지로 변환하는 것은, 도 8 내지 도 12를 참조하여 후술되는 바와 같이 공동(joint) 자동-노출 및 톤-맵핑 기능들에 기초할 수 있다.

자동-노출 알고리즘은, 파라미터들의 적용 이후 장면의 밝기가 목표 밝기에 도달하도록, 노출 시간, 아날로그 이득 및 디지털 이득의 조합을 설정할 수 있다. 집적 시간, 아날로그 이득 및 디지털 이득의 여러 조합들이 목표 밝기를 달성하는데 사용될 수 있다. 자동-노출 알고리즘은 집적 시간 값을 증가시킨 다음 아날로그 이득과 디지털 이득을 증가시킬 수 있다. 집적 시간 및 아날로그 이득은, 이미지 센서의 제약들, 예컨대 집적 시간의 프레임 속도 및 아날로그 이득을 위한 회로 설계에 의해서 제한될 수 있다. 이에 따라, 시스템은 3개의 메커니즘들(즉, 집적 시간, 아날로그 이득 및 디지털 이득) 사이 총 이득을 분할할 수 있고, 노이즈 레벨을 감소시킬 수 있다. 일부 경우들에서, 노이즈 레벨이 고려되면, 집적 시간은 최대값으로 증가할 수 있다.

일부 경우들에서, 높은 집적 시간은 카메라 움직임 또는 장면에서 대상들의 국부적인 움직임에 기인하여 흐림(blur)을 유발할 수 있다. 이에 따라, 흐림의 효과는 사용자나 카메라 제조자에 의한 노출 시간에 대한 한계들을 사용하여 감소할 수 있다.

일부 경우들에서, 톤-맵핑 곡선(curve) 알고리즘은 이미지 센서 파라미터들이 설정된 후에 (즉, 자동-노출 동작의 완료시) 작동할 수 있고, 이미지가 캡처될 수 있다. 톤-맵핑 곡선 알고리즘은 이미지에서 원하는 수준의 대비를 달성하기 위하여 (로컬 이미지 통계를 사용하여) 톤-맙핑 곡선을 적용할 수 있다.

예를 들면, WDR(wide dynamic range) 이미지 센서들은 집적 시간 및 아날로그 이득의 상이한 설정들로 캡처된 여러 이미지들(퓨징된(fused) 이미지들로 지칭될 수 있음)의 픽셀 단위(pixel-wise) 조합을 포함하는 센서 이미지를 포함할 수 있다. 상이한 설정들로 이미지들(즉, 자동-노출 메커니즘의 제어에 있는 이미지들)을 조합하는 방법은 HDR 재조합 또는 HDR 병합(merge)으로 지칭될 수 있다. 일부 경우들에서, 이미지 취득의 설정은 비표준(non-standard) SNR(signal-to-noise ratio) 응답을 초래할 수 있다. 예를 들면, 단일 노출 방식의 경우 SNR 응답(즉, 표준 응답)은 광자-샷(photon-shot) 노이즈에 의해서 제어될 수 있다.

일부 경우들에서, 센서 픽셀의 데이터 폭보다 큰 값들은 아날로그 이득 적용시 포화될(saturated) 수 있다. 일부 경우들에서, HDR 병합기는 바람직하게는, 짧은 집적 시간으로 프레임들로부터 취득된 대응하는 픽셀들의 값들을 취득할 수 있다. 짧은 집적 시간을 갖는 픽셀들은 아날로그 이득에 기인하여 포화된 픽셀들보다 감소된 SNR이 특징일 수 있다. 일부 경우들에서, 짧은 노출로부터 생성된 픽셀은 높은 아날로그 이득을 가지거나 아날로그 이득을 전혀 가지지 아니할 수 있다. 그 결과, 출력은 낮은 SNR 값들을 갖는 픽셀들을 포함할 수 있다. 예를 들면, 짧은 노출을 사용하여 캡처된 이미지들은 보다 높은 아날로그 이득을 가지는 경향을 가질 수 있다.

본 개시의 예시적 실시예는, 이득이 WDR 융합(fusion) 이전에 적용되고 이득이 WDR 융합 이후에 적용되는 경우, SNR을 조도(illumination)의 함수로서 보여줄 수 있다. 일부 경우들에서, 이득은 WDR 융합 이후에 적용될 수 있다. 일부 경우들에서 병합기 이후에 적용된 이득은 SNR에 영향을 미치지 아니하는 디지털 이득일 수 있다. 그러나, 아날로그 이득의 적용을 억제하는 것은 긴 노출 시간의 사용을 가능하게 함으로써 SNR을 개선할 수 있다.

본 개시의 예시적 실시예는, 디지털 이득이 아날로그 이득을 증가시키기 전에 증가하는 시스템을 포함할 수 있다. 디지털 이득은 톤-맵핑 곡선의 일부로서 WDR 융합 블록의 출력에 적용될 수 있다. 자동-노출 시스템은, 노출 시간, 아날로그 이득 및 디지털 이득의 적절한 조합을 선택할 수 있다. 아날로그 이득 및 픽셀 집적 시간은 이미지 센서로 설정될 수 있고, 디지털 이득은 톤-맵핑 시스템에 대한 입력으로서 제공될 수 있으며, 디지털 이득과 통합되는 톤-맵핑 곡선을 생성하기 위하여 장면 통계와 함께 디지털 이득을 사용할 수 있다.

단계 210에서, 이미지 신호 프로세서는 사용자, 또는 내비게이션 시스템이나 안전 시스템과 같은 차량의 기능적 구성요소에 LDR 이미지를 제공할 수 있다. 도 1의 예시적 시나리오엣, 사용자는 자동차를 제어하고 있을 수 있다. 이미지는 캡처된 이미지나 장면을 전달하기 위하여 내비게이션 시스템을 통해서 디스플레이 시스템으로 사용자에 제공될 수 있다.

단계 215에서, 사용자는 LDR 이미지에 기초하여 차량을 운행할 수 있다. 일부 경우들에서, 내비게이션 시스템은, 객체 인식, 이미지 처리 등과 같은 원리들을 사용하여 이미지를 해석(decipher)할 수 있고, 자동차를 자동으로 운행할 수도 있다.

도 3은 본 개시의 예시적 실시예에 따른 압축된 이미지 처리를 나타낸다. 도 3의 예시는, 기존 이미지 처리를 사용하여 생성된 결과(300)의 예시 및 공동 자동-노출 및 톤-맵핑을 사용하여 생성된 한 고품질 결과(305)의 예시를 포함한다. 일부 경우들에서, 기존 결과(300)에서 자동차들 및 다른 객체들은 배경으로부터 구별하기 어려울 수 있다. 또한, 기존 결과(300)는 유용하지 아니한 데이터를 거의 또는 전혀 포함하지 아니하는 "번아웃(burned out)" 영역들을 포함할 수 있다.

자동차 환경에서 이미지 센서들은 LDR 이미지로 캡처하는 것이 어려운 (예컨대, 어두운 장면들) HDR 이미지들을 캡처하는데 사용될 수 있다. 예를 들면, LDR 이미지는 터널의 내부 및 외부를 동시에 적절하게 디스플레이하지 아니할 수 있다. 유사하게, 이미지는 야간에 어두운 도로에서 운전하고 신호등이 포화되지 아니한 시나리오를 명확하게 표시하지 아니할 수 있다. 모바일 장치에 널리 사용되는 시스템은 톤-매핑과 자동-노출을 별도로 처리할 수 있다. 일부 경우들에서, 이미지 신호 처리의 출력은 제한된 비트 폭(예컨대, 디스플레이를 위한 8-12 비트들 머신-비전 작업들을 위한 16 비트)을 가질 수 있다.

본 개시의 예시적 실시예는 어두운 (예컨대, 터널이나 어두운 도로가 존재하는) 시나리오들을 캡처하기 위하여 이미지 센서에 의해서 생성되는 높은 비트-심도를 갖는 (예컨대, 자동차 산업에서 20-24 비트로 캡쳐된) 이미지를 포함할 수 있다. 그 다음에, 톤-맵핑 시스템은 HDR 이미지들을 LDR 이미지들로 변환할 수 있다. 톤-맵핑 시스템은 실제 장면의 콘텐트를 반영할 수 있고, HDR 이미지의 대비를 보존할 수 있다. 일부 실시예들은 자동-노출 메커니즘에 기초하여 공동으로 톤-맵핑 곡선을 개신할 수 있다.

도 3의 기존 결과(300)는 톤-맵핑 및 자동-노출 알고리즘이 별도로 실행되거나 처리되는 시나리오를 도시한다. 이미지들은 지나치게 어둡게 그려질 수 있고, 색상들은 잘못 분석될(parsed) 수 있다. 일부 실시예들은, 도 3의 고품질 결과(305)로 도시된 바와 같이, 톤-맵핑 및 자동-노출 알고리즘을 단일 단위로 실행할 수 있다. 톤-매핑 및 자동-노출 알고리즘은, 소스-기반(source-drivien) 방식을 설명하고 이미지에 적용할 적절한 이득을 계산하는 메커니즘을 도입함으로써, 실행될 수 있다. 또한, 최적화된 방법은 ISP 체인에서 톤-맵핑 및 자동-노출 알고리즘의 적용 위지를 나타낼 수 있다.

자동-노출 알고리즘은, 파라미터들을 적용한 후 장면의 밝기가 목표 밝기에 도달하도록, 집적 시간, 아날로그 이득 및 디지털 이득의 조합을 설정할 수 있다. 집적 시간, 아날로그 이득 및 디지털 이득의 여러 조합들이 목표 밝기를 달성하는데 사용될 수 있다. 예를 들면, 일부 경우들에서 자동-노출 알고리즘은 집적 시간의 값을 조절할 수 있고, 그 다음에 자동-노출 알고리즘은 디지털 이득의 적용 및 아날로그 이득의 적용이 순차적으로 이어질 수 있다.

[시스템 아키텍처]

톤-맵핑을 위한 장치, 시스템 및 방법이 설명될 것이다. 장치, 시스템 및 방법의 일부 실시예들은, 이미지 통계에 기초하여 가상 이득을 계산하도록 구성된 자동-노출 컴포넌트, 이미지 통계에 기초하여 광도(luminosity) 확률 밀도 함수를 계산하도록 구성된 확률 밀도 함수 컴포넌트, 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성하도록 구성된 TMC 컴포넌트 및 톤-맵핑 컴포넌트 톤-매핑 기능에 기초하여 HDR 이미지를 LDR 이미지로 변환하도록 구성된 톤-맵핑 컴포넌트를 포함할 수 있다.

장치, 시스템 및 방법의 일부 예시들은, LDR 이미지에 대한 목표 밝기를 획득하기 위하여 가상 이득을 조절한 이후 LDR 이미지에 대한 목표 밝기를 얻기 위하여 아날로그 이득을 조절하도록 구성된 아날로그 자동-노출 컴포넌트를 더 포함할 수 있다. 장치, 시스템 및 방법의 일부 예시들은 엄격한 단조 함수(strictly monotonous function)(예컨대, 감마 함수)를 생성하도록 구성된 컴포넌트를 더 포함할 수 있다.

장치, 시스템 및 방법의 일부 예시들은, 광도 확률 밀도 함수에 기초하여 광도 누적 분포 함수를 계산하는 동작을 포함할 수 있다. 일부 예시들은, 스케일링된 광도 누적 분포 함수를 획득하기 위하여 가상 이득에 기초하여 광도 누적 분포 함수의 입력을 스케일링하는 동작을 더 포함하고, 여기서 톤-매핑 함수는 스케일링된 광도 누적 분포 함수에 기초하여 생성될 수 있다.

장치, 시스템 및 방법의 일부 예시들은, 이미지 센서를 사용하여 복수의 노출들을 수집하도록 구성된 이미지 센서를 더 포함할 수 있다. 장치, 시스템 및 방법의 일부 예시들은 이미지 센서로부터 이미지 통계를 수집하도록 구성된 이미지 통계 컴포넌트를 더 포함할 수 있다.

장치, 시스템 및 방법의 일부 예시들은, 가상 이득 및 광도 확률 밀도 함수에 기초하여 복수의 로컬 톤-맵핑 함수들을 계산하는 동작을 포함할 수 있고, 여기서 복수의 로컬 톤-맵핑 함수들 각각은 평균 광도 값에 대응할 수 있다. 일부 예시들은 HDR 이미지의 픽셀을 둘러싼 영역에 대한 로컬 평균 광도 값을 계산하는 동작을 포함할 수 있다. 일부 예시들은, 톤-맵핑 함수에 대응하는 로컬 평균 광도 값 및 픽셀 광도 값에 기초하여 복수의 로컬 톤-맵핑 함수들 중 픽셀에 대한 톤-맵핑 함수를 선택하는 동작을 포함할 수 있다.

장치, 시스템 및 방법의 일부 예시들은, HDR 이미지에서 노이즈를 제거함으로써 HDR 이미지의 부드러운 버전을 생성하도록 구성된 노이즈 저감 컴포넌트를 포함할 수 있다. 일부 예시들은, HDR 이미지의 부드러운 버전을 선명하게(sharpening) 함으로써 HDR 이미지의 선명한(sharpened) 버전을 생성하도록 구성된 선명도 부가기(sharp adder)를 더 포함할 수 있고, 여기서 톤-맵핑 함수는 HDR 이미지의 부드러운 버전에 기초하여 HDR 이미지의 선명한 버전에 적용될 수 있다.

장치, 시스템 및 방법의 일부 예시들은 HDR 이미지에 대하여 화이트 밸런스 데이터를 계산하도록 구성된 화이트 밸런스 컴포넌트를 더 포함할 수 있고, 여기서 톤-맵핑 함수는 화이트 밸런스 데이터에 기초하여 생성될 수 있다.

도 4는 본 개시의 예시적 실시예에 따른 이미지 신호 프로세서(400)의 예시를 나타낸다. 일 실시예에서, 이미지 신호 프로세서(400)는, 프로세서(405), 메모리(410), 자동-노출 컴포넌트(415), 확률 밀도 함수 컴포넌트(420), TMC 컴포넌트(425), 톤-맵핑 컴포넌트(430) 및 이미지 통계 컴포넌트(435)를 포함할 수 있다.

이미지 신호 프로세서(400)는 디지털 카메라들에서 이미지 처리에 사용되는 일종의 미디어 프로세서 또는 특수 디지털 신호 프로세서일 수 있다. 이미지 신호 프로세서(400)는 디지털 처리 및 이미지 품질 증진을 위하 설계된 디모자이싱(demosaicing), 노이즈 저감, 자동 노출, 자동 초점, 자동 화이트 밸런스 및 이미지 샤프닝(sharpening)과 같은 동작들을 수행할 수 있다. 이미지 신호 프로세서(400)는, 도 1을 참조하여 전술된 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

프로세서(405)는 지능적인 하드웨어 장치(예컨대, 범용 처리 컴포넌트, DSP(digital signal processor), CPU(central processor unit), GPU(graphics processing unit), 마이크로컨트롤러, ASIC(application specific integrated circuit), FPGA(field programmable gate arrary), 프로그램가능 로직 장치, 개별(discrete) 게이트 또는 트랜지스터 로직 컴포넌트, 개별 하드웨어 컴포넌트 또는 이들의 임의의 조합)를 포함할 수 있다. 일부 경우들에서, 프로세서는 메모리 컨트롤러를 사용하여 메모리 어레이를 구동하도록 구성될 수 있다. 다른 경우들에서, 메모리 컨트롤러는 프로세서에 집적될 수 있다. 일부 경우들에서, 프로세서는 다양한 기능들을 수행하기 위하여 메모리에 저장된 컴퓨터-판독가능 명령어들을 실행하도록 구성될 수 있다. 일부 실시예들에서, 프로세서는 모뎀 처리, 기저대역 처리, 디지털 신호 처리 또는 전송 처리를 위한 특수 목적 컴포넌트들을 포함할 수 있다.

메모리(410)의 예시들은, RAM(random access memory), ROM(read-only memory) 또는 하드 디스크를 포함할 수 있다. 메모리 장치들의 예시들은, 솔리드-스테이트 메모리 및 하드 디스크 드라이브를 포함할 수 있다. 일부 예시들에서, 메모리는, 실행시 프로세서로 하여금 서술된 다양한 기능들을 수행하도록 하는 명령어들을 포함하는, 컴퓨터 판독가능, 컴퓨터 실행가능 소프트웨어를 저장하는데 사용될 수 있다. 일부 경우들에서, 메모리는, 주변 컴포넌트들이나 장치들과 상호작용과 같은 기본적 하드웨어 또는 소프트웨어 동작을 제어하는 BIOS(basic input/output system)를 무엇보다도 포함할 수 있다. 일부 경우들에서, 메모리 컨트롤러는 메모리 셀들을 구동할 수 있다. 예를 들면, 메모리 컨트롤러는 로우 디코더, 컬럼 디코더 또는 이들 모두를 포함할 수 있다. 일부 경우들에서, 메모리 내의 메모리 셀들은 로직 상태의 형태로 정보를 저장할 수 있다.

일부 실시예들에 다라, 자동-노출 컴포넌트(415)는 이미지 통계에 기초하여 가상 이득을 계산할 수 있다. 일부 경우들에서, 가상 이득의 계산은 이미지 센서로부터의 이미지 통계에 기초할 수 있다. 자동-노출 컴포넌트(415)는, 도 5를 참조하여 후술되는 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

일부 실시예들에 따라, 확률 밀도 함수 컴포넌트(420)는 이미지 통계에 기초하여 광도 확률 밀도 함수를 계산할 수 있다. 확률 밀도 함수 컴포넌트(420)는, 도 6을 참조하여 후술되는 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

일부 실시예들에 다라, 톤 맵핑 곡선(tone-mapping curve; TMC) 알고리즘 컴포넌트(425)(TMC 컴포넌트로 지칭될 수 있음)는 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성할 수 있다. 일부 예시들에서, TMC 컴포넌트(425)는 광도 누적 밀도 함수를 계산할 수 있다. 일부 예시들에서, TMC 컴포넌트(425)는 스케일링된 광도 누적 분포 함수를 획득하기 위하여 가상 이득에 기초하여 광도 누적 분포 함수의 입력을 스케일링할 수 있고, 여기서 톤-맵핑 함수는 스케일링된 광도 누적 분포 함수에 기초하여 생성될 수 있다. 일부 예시들에서, TMC 컴포넌트(425)는 가상 이득 및 광도 확률 밀도 함수에 기초하여 로컬 톤-맵핑 함수들의 세트를 계산할 수 있고, 여기서 로컬 톤-맵핑 함수들의 세트의 각각은 평균 광도 값에 대응할 수 있다. 일부 예시들에서, TMC 컴포넌트(425)는 HDR 이미지를 둘러싸는 영역에 대한 로컬 평균 광도 값을 계산할 수 있다.

일부 예시들에서, TMC 컴포넌트(425)는 톤-맵핑 함수에 대응하는 로컬 평균 광도 값 및 평균 광도 값에 기초하여 로컬 톤-맵핑 함수들의 세트 중 픽셀에 대한 톤-맵핑 함수를 선택할 수 있다. TMC 컴포넌트(425)는 HDR 이미지의 비트 폭에 의해서 결정된 범위에서 광도 값들의 세트 중 샘플 값들의 세트를 선택할 수 있다. 일부 예시들에서, TMC 컴포넌트(425)는, 각 선형 함수의 값을 연속적인 톤-맵핑 함수의 대응하는 값과 비교함으로써 연속적인 톤-맵핑 함수를 근사화하기 위하여 샘플 값들의 세트 사이에 위치한 선형 함수들의 세트를 생성할 수 있고, 여기서 톤-맵핑 함수는 선형 함수들의 세트에 기초하여 생성될 수 있다. 일부 실시예들에 따라, TMC 컴포넌트(425)는 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성할 수 있다.

일부 예시들에서, 2개의 TMC들, 즉 어두운 영역들에 대한 TMC 및 밝은 영역들에 대한 TMC가 설정될 수 있다. 이러한 TMC들은 부분적으로(piece-wise) 선형 함수들일 수 있고, 부분적으로 선형적인 다른 TMC들을 더 생성하기 위하여 평균 픽셀과 함께 사용될 수 있다.

일부 실시예들에 따라, 톤-맵핑 컴포넌트(430)는 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환할 수 있다. 일부 예시들에서, HDR 이미지는 LDR 이미지보다 큰 비트 폭을 가질 수 있다.

일부 실시예들에 따라, 이미지 통계 컴포넌트(435)는 이미지 센서로부터 이미지 통계를 수집하도록 구성될 수 있다. 이미지 통계 컴포넌트(435)는 도 6을 참조하여 후술되는 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

도 5는 본 개시의 예시적 실시예에 따른 공동 자동-노출 및 톤-맵핑 시스템을 나타낸다. 도 5의 예시는, 자동-노출 컴포넌트(500), 톤-맵핑 곡선 알고리즘(505), 감마 컴포넌트(510), 자동 화이트 밸런스(515), 선명도 부가기(520) 및 톤-맵핑 컴포넌트(525)를 포함할 수 있다.

자동-노출 컴포넌트(500)는 이미지 통계에 기초하여 가상 이득을 계산할 수 있다. 일부 경우들에서, 가상 이득의 계산은 이미지 센서로부터의 이미지 통계에 기초할 수 있다. 가상 이득은 톤-맵핑 곡선 알고리즘(505) 및 비선형 함수(예컨대, 엄격한 비선형 단조 함수)에 제공될 수 있다. 자동-노출 컴포넌트(500)는 도 4를 참조하여 전술된 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

톤-맵핑 곡선 알고리즘(505)은 이미지의 시각적 구별성을 증진하기 위하여 대비의 바람직한 양을 적용할 수 있다. 톤-맵핑 곡선 알고리즘(505)은, 도 6을 참조하여 후술되는 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

일부 실시예들에 따라, 감마 컴포넌트(510)는 광도 확률 밀도 함수를 획득하기 위하여 HDR 이미지의 광도에 비선형 함수(예컨대, 감마 함수)를 적용할 수 있고, 그 다음에 하나 이상의 히스토그램 및 톤-맵핑 곡선 알고리즘(505)에 적용될 수 있다.

자동 화이트 밸런스(515)(화이트 밸런스 또는 화이트 밸런스 컴포넌트로 지칭될 수 있다)는 HDR 이미지에 대한 화이트 밸런스를 계산하도록 구성될 수 있고, 여기서 톤-맵핑 함수는 화이트 밸런스 데이터에 기초하여 생성될 수 있다.

일부 실시예들에 따라, 선명도 부가기(520)는 HDR 이미지의 부드러운 버전을 선명하게 함으로써 HDR 이미지의 선명한 버전을 생성할 수 있고, 여기서 톤-맵핑 함수는 HDR 이미지의 부드러운 버전에 기초하여 HDR 이미지는 선명한 버전에 적용될 수 있다. 선명도 부가기(520)는, 도 7을 참조하여 후술되는 구성요소의 예시이거나 이를 포함할 수 있다.

톤-맵핑 컴포넌트(525)는 톤-맵핑 함수 및 부드러운 이미지에 기초하여 HDR 이미지를 LDR 이미지로 변환할 수 있다. 톤-맵핑 컴포넌트(525)는 도 6 및 도 7을 참조하여 후술되는 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

도 6은 본 개시의 예시적 실시예에 따른 톤-맵핑을 나타낸다. 도 6의 예시는 이미지 통계 컴포넌트(600), 확률 밀도 함수 컴포넌트(605), 톤-맵핑 곡선 알고리즘(610) 및 톤-맵핑 컴포넌트(615)를 포함할 수 있다.

일부 경우들에서, 히스토그램 매칭 프로세스가 단일 목표 PDF(probability density function)를 사용하여 수행될 수 있다. 일부 경우들에서, TB(target brightness) 이득을 사용하는 것은 밝기 범위들을 포화시킬 수 있다. 그 결과, 밝기 범위들은 목표 히스토그램의 필터링에 의해서 복구될 수 있다. 또한, 필터링은 이미지에서 대비를 보존하는데 도움을 줄 수 있다. 히스토그램-매칭은 단일 톤-맵핑 곡선 사용시 밝은 영역들의 포화를 감소시킬 수 있고, 다른 영역들의 대비를 감소시킬 수 있다.

히스토그램 매칭 프로세스의 결과는 입력 신호에 적용되는 맵핑 함수(예컨대, TMC)일 수 있다. 가능한 입력들에 대한 함수의 표현은 거리가 2의 거듭제곱이 되도록, 포인트들과 함께 부분적(piecewise) 선형 근사를 사용하여 수행된 근사를 사용할 수 있다. 일부 경우들에서, 탐욕적(greedy) 알고리즘은 포인트들 사이 2개 거리들의 거듭제곱으로 S개의 샘플링 포인트들로 f(x)를 샘플링하는데 사용될 수 있다. 예를 들면, "최적 포인트들(optimal points)"은 (일부 수치나 비용 함수에 의해서 측정되는 바와 같이) 최소 오차를 초래하는 것으로 식별될 수 있다.

일예에서, 알고리즘은

인 새로운 세그먼트를 사용할 수 있고, 여기서 k는 소스 신호의 비트 폭일 수 있다. 새로운 세그먼트 팁들은 각 반복에서 선형 맵핑 L(x)에 연결될 수 있다. 다음으로, 새로운 세그먼트의 비용이, K개의 등간격 포인트들에서 샘플링되고

를 계산함으로써 결정될 수 있다. 이에 따라, 세그먼트의 비용은 K 포인트들에서 선형 맵핑 및 샘플링된 함수 사이 최대 차이일 수 있다. 새로운 샘플 포인트는 높은 비용으로 세그먼트의 중간으로서 추가될 수 있고, 알고리즘은 S개의 샘플링 포인트들에 도달할 때까지 반복될 수 있다.

이미지 통계 컴포넌트(600)는 이미지 센서로부터 이미지 통계를 수집하도록 구성될 수 있다. 예시적 통계는, 평균 및 분산 값들, 최소 및 최대 픽셀 값들 및 이들의 위치, 왜도(skewness), 첨도(kurtosis), 표준 편차, 평균, 중간값, 모드 등일 수 있다. 이는 표준 및 비표준 이미지 통계로서 알려져 있을 수 있다. 이미지 통계 컴포넌트(600)는 도 4를 참조하여 전술된 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

확률 밀도 함수 컴포넌트(605)는 이미지 통계에 기초하여 광도 확률 밀도 함수를 계산하도록 구성될 수 있다. 확률 밀도 함수 컴포넌트(605)는 도 4를 참조하여 전술된 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

톤-맵핑 곡선 알고리즘(610)은 이미지의 시각적 구별성을 증진하기 위해 대비의 바람직한 양을 적용할 수 있다. 톤-맵핑 곡선 알고리즘(610)은, 이미지 센서 파라미터들이 설정되고 이미지가 캡처된 후에 (즉, 자동-노출 동작이 완료시) 동작될 수 있다. 톤-맵핑 곡선 알고리즘(610)은 이미지에서 바람직한 수준의 대비를 달성하기 위하여 (로컬 이미지 통계를 사용하여) 톤-맵핑 곡선을 적용할 수 있다. 톤-맵핑 곡선 알고리즘(610)은 도 5를 참조하여 전술된 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

톤-맵핑 컴포넌트(615)는 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환할 수 있다. 톤-맵핑 컴포넌트(615)는 도 5 및 도 7를 참조하여 설명되는 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

이에 따라, 본 개시의 예시적 실시예는 톤-맵핑 곡선이 픽셀 값들에 적용시 로컬 데이터를 포함하는 로컬 톤-맵핑 곡선 알고리즘을 포함할 수 있다. 가까운 이웃에서 특성에 의해서 제안되는 경우, 상이한 톤-맵핑 곡선들이 동일한 Y 값들에 사용될 수 있다. 이에 따라, Y_avg (Y의 평균) 개념이 도입될 수 있다. Y_avg는 조도 조건들에 따라 이미지의 조대(coarse) 세그먼트 처리로부터 초래된 표시자일 수 있다. Y_avg는 각 픽셀에 대하여 각각 계산될 수 있다. TB 이득보다 낮은 이득이 Y_avg의 보다 높은 값들(즉, 밝고 빛이 조사된 영역들)에 적용될 수 있고, 이에 따라 원본 입력 이미지에서 포화되지 아니한 영역들의 포화가 방지될 수 있다. 일부 예시들에서, 2개의 가변적인 맵핑 곡선

이 사용될 수 있다.

Y_avg는 각 픽셀 주위 이웃에서 Y 값들의 가중된 평균으로서 계산될 수 있다. 주변 영역에서 에지들의 위치가 사용될 수 있다. 예를 들면, 이미지는, 터널의 외부가 Y_avg 맵에서 보이지 아니할 수 있는 터널의 내부보다 더 밝은 터널로부터의 탈출을 묘사할 수 있다. 이에 따라, TB 이득은 Y_avg의 값들에 적용될 수 있다. 따라서 Y_avg는 TB 이득을 적용시 이미지의 묘사(depiction)와 관련될 수 있다. 또한, 보다 낮은 이득이 적용된 영역들이 식별될 수 있다.

도 7은 본 개시의 예시적 실시예에 따른 톤-맵핑 컴포넌트에 대한 부드러운 이미지 입력을 나타낸다. 도 7의 예시는 노이즈 저감 컴포넌트(700), 선명도 필터(705), 선명도 부가기(710) 및 톤-맵핑 컴포넌트(715)를 포함할 수 있다.

일부 실시예들에 따라, HDR 이미지는 노이즈 저감 컴포넌트(700)에 입력될 수 있고, 노이즈 저감 컴포넌트(700)는 HDR 이미지에서 노이즈를 제거함으로써 HDR 이미지의 부드러운 버전을 생성할 수 있다. 일부 실시예들에서, 선명도 필터(705)는 선명도 부가기(710)에 대한 입력을 생성하기 위하여 이미지를 추가로 필터링할 수 있다. 일부 실시예들에서, 선명도 필터(705)는 생략될 수 있다.

선명도 부가기(710)는 HDR 이미지의 부드러운 버전을 샤프닝(sharpening)함으로써 HDR 이미지의 선명한 버전을 생성하도록 구성될 수 있다. 톤-맵핑 함수는 HDR 이미지의 부드러운 버전에 기초하여 HDR 이미지의 선명한 버전에 적용될 수 있다. 선명도 부가기(710)는 도 5를 참조하여 전술된 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

이에 따라, 본 개시의 예시적 실시예는 톤-캡핑 곡선을 적용하기 전에 이미지를 2개 유형들(즉, 부드러운 이미지 및 상세한 이미지)로 분리할 수 있다. 부드러운(smooth) 이미지는 원본 이미지보다 낮은 주파수 데이터를 포함할 수 있고, 상세한(detail) 이미지는 높은 주파수 데이터를 포함할 수 있다. 톤-맵핑 곡선은 부드러운 이미지에 적요될 수 있고, 즉 톤-맵핑 곡선을 적용하는 입력 변수 Yin이 부드러운 이미지로부터 유래할 수 있다. 그 다음에 톤-맵핑 곡선에 의해서 결정된 이득은 원본 이미지에 적용될 수 있다. 부드러운 이미지는 낮은 변화율(gradients)(즉, 에지들 및 객체들 사이 낮은 구별성)을 가지기 때문에, 공간적으로 가까운 평평한 영역들 및 에지들에 적용된 톤-맵핑은 유사할 수 있다. 결과적으로, 대비가 이미지 신호 처리 시스템의 잔여 부분으로부터 획득될 수 있고, LDR 이미지에서 보존될 수 있다. 본 개시의 예시적 실시예는, 톤-맵핑이 낮은 계산에 관련되므로, 증가된 하드웨어 효율성을 포함할 수 있다.

부드러운 이미지는, 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환하는 톤-맵핑 컴포넌트(715)에 제공될 수 있다. 톤-맵핑 컴포넌트(715)는 도 5 및 도 6을 참조하여 전술된 대응하는 구성요소의 예시이거나 이를 포함할 수 있다.

[톤-맵핑]

톤-맵핑을 위한 방법, 장치, 비일시적 컴퓨터-판독가능 매체, 및 시스템이 설명된다. 방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 실시예는 이미지 통계에 기초하여 가상 이득을 계산하는 동작, 이미지 통계에 기초하여 광도 확률 밀도 함수를 계산하는 동작, 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성하는 동작 및 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환하는 동작을 포함할 수 있다.

방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 LDR 이미지에 대한 목표 밝기를 획득하기 위하여 가상 이득을 조절하는 동작을 포함할 수 있다. 일부 예시들은 가상 이득을 조절한 후 LDR 이미지에 대한 목표 밝기를 획득하기 위하여 아날로그 이득을 조절하는 동작을 더 포함할 수 있다. 방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 광도 확률 밀도 함수를 획득하기 위하여 HDR 이미지의 광도에 비선형 함수를 적용하는 동작을 포함할 수 있다.

방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 광도 확률 밀도 함수에 기초하여 광도 누적 분포 함수를 계산하는 동작을 더 포함할 수 있다. 일부 예시들은 스케일링된 광도 누적 분포 함수를 획득하기 위해 가상 이득에 기초하여 광도 누적 분포 함수의 입력을 스케일링하는 동작을 더 포함할 수 있고, 여기서 톤-맵핑 함수는 스케일링된 광도 누적 분포 함수에 기초하여 생성될 수 있다. 방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 이미지 센서를 사용하여 복수의 노출들을 수집하는 동작을 더 포함할 수 있다. 일부 예시들은 복수의 노출들을 조합함으로써 HDR 이미지를 생성한는 단계를 더 포함할 수 있다.

방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 가상 이득 및 광도 확률 밀도 함수에 기초하여 복수의 로컬 톤-맵핑 함수들을 계산하는 동작을 더 포함할 수 있고, 여기서 복수의 로컬 톤-맵핑 함수들 각각은 평균 광도 값에 대응할 수 있다. 일부 예시들은 HDR 이미지의 픽셀을 둘러싸는 영역에 대한 로컬 평균 광도 값을 계산하는 동작을 더 포함할 수 있다. 일부 예시들은 톤-맵핑 함수에 대응하는 로컬 평균 광도 값 및 평균 광도 값에 기초하여 복수의 로컬 톤-맵핑 함수들 중 픽셀에 대한 톤-맵핑 함수를 선택하는 동작을 더 포함할 수 있다.

방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 HDR 이미지의 비트 폭에 의해 결정된 범위에서 복수의 광도 값들 중 복수의 샘플 값들을 선택하는 동작을 더 포함할 수 있다. 일부 예시들은 각 선형 함수의 값을 연속적인 톤-맵핑 함수의 대응하는 값과 비교함으로써 연속적인 톤-맵핑 함수를 근사화하기 위하여 복수의 샘플들 사이 위치한 복수의 선형 함수들을 생성하는 동작을 더 포함할 수 있고, 여기서 톤-맵핑 함수는 복수의 선형 함수들에 기초하여 생성될 수 있다.

방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 HDR 이미지에서 노이즈를 제거함으로써 HDR 이미지의 부드러운 버전을 생성하는 동작을 더 포함할 수 있다. 일부 예시들은 HDR 이미지의 부드러운 이미지를 샤프닝함으로써 HDR 이미지의 선명한 버전을 생성하는 동작을 더 포함할 수 있고, 여기서 톤-맵핑 함수는 HDR 이미지의 부드러운 버전에 기초하여 HDR 이미지의 선명한 버전에 적용될 수 있다. 일부 예시들에서, HDR 이미지는 LDR 이미지보다 큰 비트 폭을 가질 수 있다. 방법, 장치, 비일시적 컴퓨터-판독가능 매체 및 시스템의 일부 예시들은 HDR 이미지에 대하여 화이트 밸런스를 계산하는 동작을 더 포함할 수 있고, 여기서 톤-맵핑 함수는 화이트 밸런스 데이터에 기초하여 생성될 수 있다.

도 8은 본 개시의 예시적 실시예에 다른 톤-맵핑을 위한 방법을 나타낸다. 일부 예시들에서, 본 방법의 동작들은 장치의 기능적 구성요소들을 제어하기 위하여 일군의 코드들을 실행하는 프로세서를 포함하는 시스템에 의해서 수행될 수 있다. 추가적으로 또는 대안적으로, 어떤 프로세스들이 특수 목적 하드웨어를 사용하여 수행될 수 있다. 일반적으로, 이러한 동작들은 본 개시의 예시적 실시예에 따라 설명되는 방법들 및 프로세스들에 따라 수행될 수 있다. 일부 경우들에서, 본 명세서에서 설명되는 동작들은 다양한 하위 단계들로 구성될 수 있고, 또는 다른 동작들과 함께 수행될 수 있다.

노출 시간은 입력 이미지를 캡처하기 위하여 센서에 의해서 사용되는 픽셀 집적 시간 파라미터를 지칭할 수 있다. 노출 파라미터들은 출력 이미지의 바람직한 밝기(즉, 목표 밝기)를 정의함으로써 계산될 수 있다. 흐림의 효과는 사용자나 카메라 제조자에 의한 노출 시간에 대한 한계들을 사용하여 감소할 수 있다. 자동-노출 시스템은 노출 시간, 아날로그 이득 및 디지털 이득의 적절한 조합을 선택할 수 있다.

센서는 제공된 픽셀 집적 시간(노출 시간으로 지칭될 수 있음) 파라미터 및 아날로그 이득 파라미터를 사용하여 입력 이미지를 캡처할 수 있다. 픽셀 집적 시간 파라미터, 아날로그 이득 파라미터 및 디지털 이득은 이미지 신호 프로세서에 대한 입력에서 이미지의 밝기 수준을 제어할 수 있다. 아날로그 이득 및 픽셀 집적 시간은 센서로 설정될 수 있고, 디지털 이득은 디지털 이득과 함께 통합되는 톤-맵핑 곡선을 생성하기 위해 장면 통계와 함께 디지털 이득을 사용하는 톤-맵핑 시스템에 대한 입력으로서 제공될 수 있다.

톤-맵핑 함수는 HDR 이미지들을 LDR 이미지들로 변환할 수 있다. 톤-맵핑 시스템은 실제 장면의 콘텐트를 반영할 수 있고, HDR 이미지의 대비를 보존할 수 있다. 톤-맵핑 함수는 이미지에서 대비의 원하는 수준을 달성하기 위하여 (로컬 이미지 통계를 사용하여) 톤-맵핑 커브를 적용할 수 있다.

단계 800에서, 시스템은 이미지 통계에 기초하여 가상 이득을 계산할 수 있다. 가상 이득은 LDR 이미지를 위한 목표 밝기를 획득하기 위하여 조절될 수 있다. 가상 이득은 LDR 이미지의 목표 밝기를 획득하기 위하여 조절될 수 있고, 톤-맵핑 함수는 가상 이득에 기초할 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 로컬-맵핑 함수가 가상 이득 및 광도 확률 밀도 함수에 기초하여 결정될 수 있다.

파라미터들을 적용한 후 장면의 밝기가 목표 밝기에 도달하도록, 자동-노출 알고리즘은 가상 이득을 결정하기 위하여 집적 시간, 아날로그 이득 및 디지털 이득을 설정하는데 사용될 수 있다. 집적 시간, 아날로그 이득 및 디지털 이득의 하나이상의 조합이 목표 밝기를 달성하는데 사용될 수 있다. 자동-노출 알고리즘은 집적 시간의 값을 증가시킬 수 있고, 이후 아날로그 이득 및 디지털 이득을 증가시킬 수 있다. 일부 경우들에서, 본 단계의 동작들은 도 4 및 도 5를 참조하여 전술된 자동-노출 구성요소로 지칭되거나 그에 의해 수행될 수 있다.

단계 805에서, 시스템은 이미지 통계에 기초하여 광도 확률 밀도 함수를 계산할 수 있다. 광도 확률 밀도 함수는 픽셀의 광도의 분포를 나타내는 히스토그램일 수 있다. 추가적으로 또는 대안적으로, 광도 확률 밀도 함수는 다양한 광도들에서 픽셀들의 개수를 제공할 수 있고, 히스토그램 광도 값들을 고려할 수 있다.

일부 경우들에서, 입력 이미지의 픽셀들의 히스토그램 광도 값들은 계산될 수 있고 목표 히스토그램에 매칭될 수 있다. 히스토그램은 루마(luma) 값들의 PDF(probability density function)의 일예일 수 있고, CDF(cumulative distribution function)을 계산하는데 사용될 수 있다. 그러나, 다른 PDF 예시들(예컨대, 연속적인 PDF)이 사용될 수도 있다. 일부 경우들에서, 본 단계의 동작들은 도 4 및 도 6을 참조하여 전술된 확률 밀도 함수 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

단계 810에서, 시스템은 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성할 수 있다. 톤-맵핑 함수는 스케일링된 광도 누적 분포 함수에 기초하여 생성될 수 있고, HDR 이미지들을 LDR 이미지들로 변환하는데 사용될 수 있다.

톤-맵핑 함수는 실제 장면의 콘텐트를 반영하고 HDR 이미지의 대비를 보존할 수 있다. 톤-맵핑 함수는 이미지에서 원하는 수준의 대비를 달성하기 위하여 (로컬 이미지 통계를 사용하여) 톤-맵핑 곡선에 적용하는데 사용될 수 있다. 일부 경우들에서, 본 단계의 동작들은 도 4를 참조하여 전술된 곡선 생성 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

단계 815에서, 시스템은 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환할 수 있다. 즉, HDR 이미지들은 실제 시나리오를 묘사하고 HDR 이미지의 데이터를 보존하면서 LDR 이미지로 압축될 수 있다.

본 개시의 예시적 실시예에 따른 톤-맵핑 시스템은 HDR 이미지를 고품질 LDR 이미지로 압축할 수 있고, 톤-맵핑 함수(즉, 알고리즘)는 이미지의 시각적 구별성을 증진시키기 위하여 바람직한 양의 대비를 적용할 수 있다. 일부 경우들에서, 본 단계의 동작들은, 도 4, 도 5 및 도 9를 참조하여 설명되는 톤-맵핑 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

도 9는 본 개시의 예시적 실시예에 따른 톤-맵핑을 위한 방법을 나타낸다. 도 9의 예시는 자동-노출(900), 히스토그램 형성(905), 곡선 계산(910) 및 톤-맵핑(915)을 포함할 수 있다.

이미지 통게는 자동-노출(900) 및 히스토그램 형성(905)을 위해 사용될 수 있다. 이미지 통계는 히스토그램, 섬네일 이미지들 등을 포함할 수 있다. 일부 경우들에서, 이득 및 노출 파라미터들은 출력 이미지의 원하는 밝기(즉, 목표 밝기)를 정의함으로써 계산될 수 있다. 이득 및 노출 파라미터들은 이미지에서 픽셀들 및 채널들의 평균을 사용하여 계산될 수 있다. 또한, 이미지 통계는, 평균 및 분산 값들, 최소 및 최대 픽셀 값들 및 이들의 위치, 왜도(skewness), 첨도(kurtosis), 양 및 음의 픽셀들, 표준 편차, 평균, 중간값 등일 수 있다.

가상 이득은 이미지 센서로부터의 이미지 통계에 기초하여 계산될 수 있고, 가상 이득은 LDR 이미지에 대한 목표 밝기를 획득하기 위하여 조절될 수 있다. 광도 확률 밀도 함수는 픽셀들의 광도의 분포를 포함하는 히스토그램을 나타낼 수 있다. 추가적으로 또는 대안적으로, 광도 확률 밀도 함수는 다양한 광도들에서 픽셀의 개수를 제공할 수 있고, 히스토그램 광도 값들을 고려할 수 있다.

가상 이득 및 광도 확률 밀도 함수는 곡선 계산(910)에 적용될 수 있고, 여기서 톤-맵핑 함수(또는 톤-맵핑 곡선)가 결정될 수 있다. 톤-맵핑(915)은 HDR 이미지를 수신할 수 있고, 톤-맵핑 함수 및 부드러운 이미지에 기초하여 HDR 이미지를 LDR 이미지로 변환할 수 있다.

도 10은 본 개시의 예시적 실시예에 따른 비선형 히스토그램 수집을 나타낸다. 도 10의 예시는 선형-간격(linear spaced) 히스토그램(1000) 및 감마-공간 히스토그램(1005)을 포함할 수 있다.

입력 이미지의 픽셀들의 히스토그램 광도 값들(즉, 광도 확률 밀도 함수)가 계산될 수 있고 목표 히스토그램에 매칭될 수 있다. 히스토그램은 루마 값들의 확률 밀도 함수(PDF)로 간주될 수 있고, 누적 분포 함수(CDF)를 계산하는데 사용될 수 있다.

톤-맵핑 곡선은 히스토그램 매칭 프로세스의 결과일 수 있다. 일부 경우들에서, 입력 이미지의 픽셀들의 히스토그램 광도 값들이 계산될 수 있고 목표 히스토그램에 매칭될 수 있다. 히스토그램은 루마 값들의 확률 밀도 함수(PDF)로 간주될 수 있고 누적 분포 함수(CDF)를 계산하는데 사용될 수 있다. 히스토그램 데이터는, 균일한 간격의 히스토그램을 얻기 위해 히스토그램 수집 전에 이미지에 단조 증가 매핑(예컨대, 로그, 단순 이득 등)을 적용함으로써 수집될 수 있다. 원본 이미지의 히스토그램은 선형-공간 히스토그램(1000)으로서 지칭될 수 있고, 맵핑이 적용된 후 히스토그램은 감마-공간 히스토그램(1005)으로서 지칭될 수 있다. 이에 따라, 입력 이미지 및 감마 이후 이미지의 확률 밀도 함수들은 랜덤 변수 변환의 속성들과 관련될 수 있다.

예를 들면, F가 입력 이미지의 루마의 CDF이고

가 함수

가 이미지 루마에 적용된 후 이미지의 CDF인 경우, 아라 [수학식 1]이 성립할 수 있다.

[수학식 1]에서, Y는 루마일 수 있다. 이득 기기 정책에 따라,

는

로서 선택될 수 있고, 여기서 log는 어두운 장면들에서 양호한 분해능에 사용될 수 있고 g는 신호가 포화되지 아니하도록 (자동-노출에서) 선택될 수 있는 히스토그램 이득일 수 있다. 감마-스페이스 히스토드램(1005)은 히스토그램을 선형-공간으로 변환하는 톤-맵핑 시스템에 대한 입력으로서 주어질 수 있다.

히스토그램 매칭 접근법에서 목표 히스토그램은 입력 이미지에 대한 적절한 대비 및 밝기를 갖는 히스토그램을 나타낼 수 있다. 목표 히스토그램은 원본 이미지의 소스 히스토그램을 사용하여 톤-맵핑 시스템에서 계산될 수 있다. 디지털 이득은 일부 조작(manipulation)을 수행함으로써 자동-노출로부터 계산될 수 있다. 목표 히스토그램을 생성하는 방법은, 출력 이미지가 목표 밝기를 달성하도록, (입력 선형-공간 히스토그램(100)에서) 가상 이득(또는 목표 밝기 이득)으로 표시되는 이득을 적용하는 동작을 포함할 수 있다. 그 다음에 히스토그램은 히스토그램에서 밀집된(populated) 영역들의 대비를 증가시키기 위하여 필터링될 수 있다. 목표 히스토그램은 히스토그램 매칭 과정에서 조작되어 이미지의 밝기가 이미지에 가상 이득을 적용할 때와 동일하게 됩니다. 입력의 누적 분포 함수

는 수집된 히스토그램 감마-공간

을 사용하여 선형 공간에서 추정될 수 있다. 스케일링된 히스토그램은, 가상 이득

이 누적 분포 함수

를 사용하여 적용되는 경우, 계산되고 수집될 수 있다. 누적 분포 함수

는 (클리핑(clipping) 효과를 고려하는 경우) 아래 [수학식 2]와 같이 주어질 수 있다.

목표 밝기의 값에 따라 평균으로 스케일링된 히스토그램

은 누적 분포 함수

를 사용하여 계산될 수 있다. 목표 히스토그램은 어떠한 저역 통과 필터(low pass filter; LPF)로 히스토그램

을 필터링함으로써 주어질 수 있다. 필터는 양자화된 빈들(bins) 사이의 에너지 전환에 의해 유발된 일시적인 안정화를 제공할 수 있다. 일부 경우들에서, 필터는 최종 빈을 히스토그램의 더욱 낮은 범위로 확장함으로써 클리핑(clipping) 효과를 감소시킬 수 있다. 또한, 저역 통과 필터는 히스토그램 빈-폭(bin-width)에 주어진 최대 분해능을 획득하기 위해 가능한 최대 지원에서 신호의 에너지를 확장할 수 있다.

저역 통과 필터 이후 목표 히스토그램의 적분

은 1일 수 있다. 히스토그램의 경계들 부근에서 저역 통과 필터에 사용된 방법(예컨대, 제로 패딩(padding), 복제, 사이클 등)은 입력으로서 히스토그램 적분(또는 크기(mass))의 보존에 영향을 미칠 수 있다. 예를 들면, 입력 히스토그램은 홀들을 포함할 수 있고, 즉 히스토그램은 여러 얼룩들(blobs)을 포함할 수 있다. 각 얼룩의 면적(또는 크기)는 저역 통과 필터 이후 보존되지 아니할 수 있다. 일부 경우들에서, 확률 밀도 함수 적분의 전역(global) 크기 손실은 출력을 정규화함으로써 보상될 수 있다. 다르게는, 전역 크기는 경계들 근처 히스토그램 빈들의 크기에 출력 및 입력의 보정들(corrections)을 적용함으로써 보존될 수 있다.

출력 보정은 2개 스테이지들을 포함할 수 있다. 제로 패딩을 갖는 저역 통과 필터는 첫번째 스테이지에서 에지들에 적용될 수 있다. 첫번째 스테이지에 기인하는 양적 손실은 두번째 스테이지에서 각 빈에 가산될 수 있다. 그 결과, 각 빈은 다른 빈들에 크기를 기부할 수 있고, 일정한 총 크기를 보장하기 위하여 잔차(residual)를 유지할 수 있다.

입력 보정은 정규화된 입력에 대한 저역 통과 필터를 적용하기 전에 입력 히스토그램의 정규화르르 포함할 수 있다. 입력 에지들에서 빈 값들은 저역 통과 필터 이후 출력이 원본 히스토그램과 동일한 크기를 가지도록 배율(factor)에 의해 변경될 수 있다. 배율은 실제 기여도 및 빈이 에지 근처에 있지 아니한 경우 빈의 기여도 사이 계산된 비율일 수 있다. 입력 보정은, 각 빈이 이웃들에 동일한 크기를 기부하므로 총 크기 및 상이한 얼룩들의 크기 사이 비율이 변경되지 아니하는 것을 보정할 수 있다.

이에 따라, 톤-맵핑을 위한 방법, 장치, 비일시적 컴퓨터-독출가능 매체 및 시스템이 설명된다. 방법, 장치, 비일시적 컴퓨터-독출가능 매체 및 시스템의 실시예는, 이미지 센서를 사용하여 복수의 노출들을 수집하는 동작, 복수의 수집들을 조합함으로써 HDR 이미지를 생성하는 동작, 이미지 센서로부터의 이미지 통계에 기초하여 가상 이득을 계산하는 동작, LDR 이미지에 대한 목표 밝기를 획득하기 위하여 가상 이득을 조절하는 동작, 가상 이득의 조절 이후 LDR 이미지의 목표 밝기를 획득하기 위해 아날로그 이득을 조절하는 동작, 이미지 통계에 기초하여 광도 확률 밀도 함수를 계산하는 동작, 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성하는 동작 및 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환하는 동작을 포함할 수 있다.

도 11은 본 개시의 예시적 실시예에 따라 HDR 이미지를 LDR 이미지로 변환하는 방법을 나타낸다. 일부 예시들에서, 도 11의 동작들은 장치의 기능적 구성요소들을 제어하기 위하여 코드들의 세트를 실행하는 프로세서를 포함하는 시스템에 의해서 수행될 수 있다. 추가적으로 또는 대안적으로, 어떠한 프로세스들이 특수-목적 하드웨어를 사용하여 수행될 수 있다. 일반적으로, 이러한 동작들은 본 개시의 예시적 실시예에 따라 설명된 방법들 및 프로세스들에 따라 수행될 수 있다. 일부 경우들에서, 본 명세서에 설명된 동작들은 다양한 하위 단계들을 포함할 수도 있고, 다른 동작들과 함께 수행될 수도 있다.

단계 1100에서, 시스템은 이미지 센서를 사용하여 일군의 노출들을 수집할 수 있다. 일부 예시들에서, 이미지 센서는 일군의 노출들을 조합함으로써 HDR 이미지를 생성할 수 있다. 일부 경우들에서, 본 단계의 동작들은 도 1을 참조하여 전술된 이미지 센서로 지칭될 수도 있고, 그에 의해 수행될 수도 있다.

단계 1105에서, 시스템은 일군의 노출들을 조합함으로써 HDR 이미지를 생성할 수 있다. 일부 경우들에서, 본 단계의 동작들은 도 1을 참조하여 전술된 이미지 센서로 지칭될 수도 있고, 그에 의해 수행될 수도 있다.

단계 1110에서, 시스템은 이미지 센서로부터의 이미지 통계에 기초하여 가상 이득을 계산할 수 있다. 일부 경우들에서, 가상 이득을 계산하는 동작은 이미지 센서로부터의 이미지 통계에 기초할 수 있다. 본 단계의 동작들은 도 4 및 도 5를 참조하여 전술된 자동-노출 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

단계 1115에서, 시스템은 LDR 이미지를 위한 목표 밝기를 획득하기 위하여 가상 이득을 조절할 수 있다. 목표 밝기는 출력 이미지의 원하는 밝기일 수 있다. 일부 경우들에서, 본 단계의 동작들은 아날로그 자동-노출 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

단계 1120에서, 시스템은 가상 이득을 조절한 후 LDR 이미지에 대한 목표 밝기를 획득하기 위하여 아날로그 이득을 조절할 수 있다. 예를 들면, 아날로그 이득은 노출 이득의 수동 조절일 수 있다. 일부 경우들에서, 본 단계의 동작들은 아날로그 자동-노출 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

단계 1125에서, 시스템은 이미지 통계에 기초하여 광도 확률 밀도 함수를 계산할 수 있다. 광도 확률 밀도 함수는 픽셀들의 광도의 분포를 포함하는 히스토그램을 나타낼 수 있다. 추가적으로 또는 다르게는, 광도 확률 밀도 함수는 다양한 광도들에서 픽셀들의 양을 픽셀들의 수를 제공할 수 있고, 히스토그램 광도 값들로 간주될 수 있다. 일부 경우들에서, 본 단계의 동작들은 도 4 및 도 6을 참조하여 전술된 확률 밀도 함수 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

단계 1130에서, 시스템은 가상 이득 및 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성할 수 있다. 톤-맵핑 함수는 HDR 이미지를 사용하여 고품질 LDR 이미지를 제공하기 위해 자동-노출 및 톤-맵핑 곡선을 조합함으로써 이미지에서 밝기를 조절하기 위한 편집들이나 이득들을 적용할 수 있다. 일부 경우들에서, 본 단계의 동작들은 도 4를 참조하여 전술된 곡선 생성 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

단계 1135에서, 시스템은 톤-맵핑 함수에 기초하여 HDR 이미지를 LDR 이미지로 변환할 수 있다. LDR 이미지는 다른 방법들과 비교할 때 개선된 품질을 가질 수 있는 한편 압축된 파일 크기를 유지할 수 있다. 일부 경우들에서, 본 단계의 동작들은 도 4를 참조하여 전술된 톤-맵핑 컴포넌트로 지칭되거나 그에 의해 수행될 수 있다.

도 12는 본 개시의 예시적 실시예에 따른 2변수 톤-맵핑 함수를 나타낸다. 도 12의 예시는 단일-변수 함수(1220) 및 2변수 함수(1205)를 나타낸다.

본 개시의 예시적 실시예는 단일-변수 함수(1200) 및 2변수 함수(1205)에 의해서 도시된 바와 같이, 각 영역에 적용될 상이한 이득들을 포함할 수 있다. TB 이득이 이미지 히스토그램에 적용될 수 있고, TB 이득에 기인하여 포화된 픽셀들의 개수

가 계산될 수 있다. 허용된 이득은, 포화되도록 허용된 픽셀들의 비중(percentage)을 정의함으로써 계산될 수 있다. 예를 들면, 허용된 이득은 재설정가능할 수 있고, 15 내지 20% 사이일 수 있다. 허용된 이득은 허용된 시간에서 일관성 및 최소의 반전(inversion)을 초래할 수 있다. 허용된 이득은 이미지의 밝은 영역에 적용될 수 있다. TB 이득은 어두운 영역에서 전역 톤-맵핑에 사용될 수 있다.

도 12에 도시된 바와 같이, 2개의 맵핑 곡선들, 즉 (최저

값에 상관된) 어두운 영역들에 적합한 적어도 하나의 곡선 및 (최대

값에 상관된) 밝은 영역들에 적합한 적어도 하나의 곡선은 허용된 이득 및 TB 이득을 사용하여 설계될 수 있다. 일부 예시들에서, 하드웨어는

의 32개 샘플들에 대한 32개 맵핑 곡선들을 지원할 수 있다. 특정

의 경우, 2개의 가장 가까운 맵핑 곡선들의 볼록(convex) 조합이 실제 맵핑 곡선을 얻기 위해 적용될 수 있다. 다른 30개의 맵핑 곡선들은 첫번째 및 마지막

값들에 대한 2개의 맵핑 곡선들을 설정한 이후 보간(interpolation)에 의해서 계산될 수 있다.

본 개시는 자동차 산업에서 사용되는 자동-노출 및 톤-맵핑의 공동 시스템을 설명한다. 본 개시의 예시적 실시예는 공동 시스템을 사용하여 HDR 이미지들로부터 LDR 이미지들을 생성하기 위한 방법을 포함할 수 있다. 공동 시스템은 20 내지 24 비트 입력 이미지들로부터 고품질 LDR 이미지들을 제공할 수 있다. 이득들이 이미지 신호대잡음비와 같은 다른 ISP 기능에 영향을 주지아니하고 포화를 회피하면서 체인의 종단에 적용되도록, 시스템은 이득들을 사용할 수 있다. 일부 실시예들은 동적 변화들을 처리하는 안정적인 해결책을 포함할 수 있고, 즉 하드웨어 및 소프트웨어 복잡도를 감소시키면서 시간적(temporal) 안정성을 제공할 수 있다. 일부 경우들에서, 공동 시스템은 진보된 운전자 보조 시스템(예컨대, ADAS, IVI, 자율 주행 등)을 위한 연속적 알고리즘들을 가능하게 하는데 사용되는 안전 데이터를 유지할 수 있다.

본 명세서의 설명 및 도면들은 청구항의 범위내 모든 구현들을 나타내는 것이 아니다. 예를 들면, 동작들 및 단계들은 재배열되거나, 조합되거나 수정될 수 있다. 또한, 구조들 및 장치들은 컴포넌트들 사이 관계를 나타내고 설명된 개념들을 모호하지 않도록 하기 위하여 블록도의 형태로 표현될 수 있다. 유사한 컴포넌트들 및 특징들은 동일한 명칭을 가질 수 있으나 상이한 도면들에 대응하는 상이한 참조번호들을 가질 수도 있다.

본 개시에 대한 일부 수정들은 기술분야의 통상의 기술자에 용이하게 명백할 수 있고, 본 개시에 정의된 원리들은 본 개시의 범위를 벗어나지 아니하고서 다른 변형들에 적용될 수 있다. 이에 따라, 본 개시는 본 명세서에 설명된 예시들 및 설계들에 제한되지 아니하고, 본 명세서에 개시된 원리들 및 신규 특징들과 일관되는 가장 넓은 범위가 부여되여야 한다.

전술된 시스템들 및 방법들은 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그램가능 로직 장치, 개별 게이트나 트랜지스터 로직, 개별 하드웨어 컴포넌트들 또는 이들의 임의의 조합을 포함하는 장치들에 의해서 구현되거나 수행될 수 있다. 범용 프로세서는, 마이크로프로세서, 기존 프로세서, 컨트롤러, 마이크로컨트롤러 또는 스테이트 머신일 수 있다. 프로세서는 컴퓨팅 장치들(예컨대, DSP 및 마이크로프로세서의 조합, 멀티 마이크로프로세서, DSP와 결합된 하나 이상의 마이크로프로세서 또는 임의의 다른 그와 같은 구성)의 조합으로서 구현될 수도 있다. 이에 따라, 본 명세서에 설명된 기능들은 하드웨어 또는 소프트웨어에서 구현될 수 있고, 프로세서, 펌웨어 도는 이들의 임의의 조합에 의해서 실행될 수 있다. 프로세서에 의해서 실행되는 소프트웨어로 구현되는 경우, 기능들은 컴퓨터 판독가능 매체에 명령어들 도는 코드의 형태로 저장될 수 있다.

컴퓨터 판독가능 매체는 비일시적 컴퓨터 스토리지를 포함할 수 있다. 비일시적 스토리지 매체는 컴퓨터에 의해서 액세스가능한 임의의 가능한 매체일 수 있다. 예를 들면, 비일시적 컴퓨터 판독가능 매체는, RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD(compact disk) 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 데이터나 코드를 저장하기 위한 다른 임의의 비일시적 매체를 포함할 수 있다.

본 개시 및 이하 청구항들에서, 단어 "또는"은, 예컨대 "X, Y 또는 Z"가 "X 또는 Y 또는 Z 또는 XY 또는 XZ 또는 YZ 또는 XYZ"를 의미하도록 포괄적인 목록을 나타낸다. 또한, 문구 "기초하여"는 조건들의 닫힌 집합을 나타내는데 사용되지 아니한다. 예를 들면, "조건 A에 기초하여"로 설명된 단계는 조건 A 및 조건 B 2가지 모두에 기초할 수 있다. 즉, 문구 "~에 기초하여"는 "적어도 부분적으로 ~에 기초하여"를 의미하는 것으로 해석되어야 한다. 또한, 별도의 명시가 없는 한 단수 표현은 "적어도 하나"를 나타낸다.

Claims (20)

1. 이미지 통계에 기초하여 가상 이득을 계산하는 단계;
   상기 이미지 통계에 기초하여 광도(luminosity) 확률 밀도 함수를 계산하는 단계;
   상기 가상 이득 및 상기 광도 확률 밀도 함수에 기초하여 톤-맵핑(tone-mapping) 함수를 생성하는 단계; 및
   상기 톤-맵핑 함수에 기초하여 HDR(high dynamic range) 이미지를 LDR(low dynamic image)로 변환하는 단계를 포함하는 방법.
2. 청구항 1에 있어서,
   상기 LDR 이미지를 위한 목표 밝기를 획득하기 위하여 상기 가상 이득을 조절하는 단계; 및
   상기 가상 이득을 조절한 후 상기 LDR 이미지를 위한 상기 목표 밝기를 획득하기 위하여 아날로그 이득을 조절하는 단계를 더 포함하는 방법.
3. 청구항 1에 있어서,
   상기 광도 확률 밀도 함수를 획득하기 위하여 상기 HDR 이미지의 광도에 비선형 함수를 적용하는 단계를 더 포함하는 방법.
4. 청구항 1에 있어서,
   상기 광도 확률 밀도 함수에 기초하여 광도 누적(cumulative) 분포 함수를 계산하는 단계; 및
   스케일링된 광도 누적 분포 함수를 획득하기 위하여 상기 가상 이득에 기초하여 상기 광도 누적 분포 함수의 입력을 스케일링하는 단계를 더 포함하고,
   상기 톤-맵핑 함수는, 상기 스케일링된 광도 누적 분포 함수에 기초하여 생성되는 것을 특징으로 하는 방법.
5. 청구항 1에 있어서,
   이미지 센서를 사용하여 복수의 노출들을 수집하는 단계; 및
   상기 복수의 노출들을 조합함으로써 상기 HDR 이미지를 생성하는 단계를 더 포함하는 방법.
6. 청구항 1에 있어서,
   각각이 평균 광도 값에 대응하는 복수의 로컬 톤-맵핑 함수들을 상기 가상 이득 및 상기 광도 확률 밀도 함수에 기초하여 계산하는 단계;
   상기 HDR 이미지의 픽셀을 둘러싸는 영역에 대한 로컬 평균 광도 값을 계산하는 단계; 및
   상기 로컬 평균 광도 값 및 상기 톤-맵핑 함수에 대응하는 상기 평균 광도 값에 기초하여, 상기 복수의 로컬 톤-맵핑 함수들 중 상기 픽셀을 위한 톤-맵핑 함수를 선택하는 단계를 더 포함하는 방법.
7. 청구항 1에 있어서,
   상기 HDR 이미지의 비트 폭에 의해서 결정된 범위에서 복수의 광도 값들 중 복수의 샘플 값들을 선택하는 단계; 및
   각 선형 함수의 값을 연속적인 톤-맵핑 함수의 대응하는 값과 비교함으로써 상기 연속적인 톤-맵핑 함수를 근사화하기 위하여 상기 복수의 샘플 값들 사이 위치하는 복수의 선형 함수들을 생성하는 단계를 더 포함하고,
   상기 톤-맵핑 함수는, 상기 복수의 선형 함수들에 기초하여 생성되는 것을 특징으로 하는 방법.
8. 청구항 1에 있어서,
   상기 HDR 이미지에서 노이즈를 제거함으로써 상기 HDR 이미지의 부드러운(smooth) 버전을 생성하는 단계; 및
   상기 HDR 이미지의 상기 부드러운 버전을 샤프닝(sharpening)함으로써 상기 HDR 이미지의 선명한(sharp) 버전을 생성하는 단계를 더 포함하고,
   상기 톤-맵핑 함수는, 상기 HDR 이미지의 부드러운 버전에 기초하여 상기 HDR 이미지의 선명한 버전에 적용되는 것을 특징으로 하는 방법.
9. 청구항 8에 있어서,
   상기 HDR 이미지는 상기 LDR 이미지보다 넓은 비트 폭을 가지는 것을 특징으로 하는 방법.
10. 청구항 1에 있어서,
    상기 HDR 이미지의 화이트 밸런스 데이터를 계산하는 단계를 더 포함하고,
    상기 톤-맵핑 함수는 상기 화이트 밸런스 데이터에 기초하여 생성되는 것을 특징으로 하는 방법.
11. 이미지 센서를 사용하여 복수의 노출들을 수집하는 단계;
    상기 복수의 노출들을 조합함으로써 HDR(high dynamic range) 이미지를 생성하는 단계;
    상기 이미지 센서로부터 이미지 통계에 기초하여 가상 이득을 계산하는 단계;
    LDR(low dynamic range) 이미지에 대한 목표 밝기를 획득하기 위하여 상기 가상 이득을 조절하는 단계;
    상기 가상 이득의 조절 후 상기 LDR 이미지의 목표 밝기획득하기 위하여 아날로그 이득을 조절하는 단계;
    상기 이미지 통계에 기초하여 광도(luminosity) 확률 밀도 함수를 계산하는 단계;
    상기 가상 이득 및 상기 광도 확률 밀도 함수에 기초하여 톤-맵핑 함수를 생성하는 단계; 및
    상기 톤-맵핑 함수에 기초하여 상기 HDR 이미지를 상기 LDR 이미지로 변환하는 단계를 포함하는 방법.
12. 이미지 통계에 기초하여 가상 이득을 계산하도록 구성된 자동-노출 컴포넌트;
    상기 이미지 통계에 기초하여 광도(luminosity) 확률 밀도 함수를 계산하도록 구성된 확률 밀도 함수;
    상기 가상 이득 및 상기 광도 확률 밀도 함수에 기초하여 톤-맵핑(tone-mapping) 함수를 생성하도록 구성된 곡선 생성 컴포넌트; 및
    상기 톤-맵핑 함수에 기초하여 HDR(high dynamic range) 이미지를 LDR(low dynamic range) 이미지로 변환하도록 구성된 톤-맵핑 컴포넌트를 포함하는 장치.
13. 청구항 12에 있어서,
    상기 LDR 이미지의 목표 밝기를 획득하기 위하여 상기 가상 이득을 조절한 후 상기 LDR 이미지의 상기 목표 밝기를 획득하기 위하여 아날로그 이득을 조절하도록 구성된 아날로그 자동-노출 컴포넌트를 더 포함하는 장치.
14. 청구항 12에 있어서,
    엄격한 단조(strictly monotonous) 함수를 생성하도록 구성된 컴포넌트를 더 포함하는 장치.
15. 청구항 12에 있어서,
    상기 곡선 생성 컴포넌트는,
    상기 광도 확률 밀도 함수에 기초하여 광도 누적(cumulative) 분포 함수를 계산하고,
    스케일링된 광도 누적 분포 함수를 획득하기 위하여 상기 가상 이득에 기초하여 상기 광도 누적 분포 함수의 입력을 스케일링하도록 더 구성되고,
    상기 톤-맵핑 함수는 상기 스케일링된 광도 누적 분포 함수에 기초하여 생성되는 것을 특징으로 하는 장치.
16. 청구항 12에 있어서,
    복수의 노출들을 수집하도록 구성된 이미지 센서를 더 포함하는 장치.
17. 청구항 16에 있어서,
    상기 이미지 센서는, 상기 이미지 센서로부터 이미지 통계를 수집하도록 구성된 이미지 통계 컴포넌트를 포함하는 것을 특징으로 하는 장치.
18. 청구항 12에 있어서,
    상기 곡선 생성 컴포넌트는,
    각각이 평균 광도 값에 대응하는 복수의 로컬 톤-맵핑 함수들을 상기 가상 이득 및 상기 광도 확률 밀도 함수에 기초하여 계산하고,
    상기 HDR 이미지의 픽셀을 둘러싸는 영역에 대한 로컬 평균 광도 값을 계산하고,
    상기 로컬 평균 광도 값 및 상기 톤-맵핑 함수에 대응하는 상기 평균 광도 값에 기초하여, 상기 복수의 로컬 톤-맵핑 함수들 중 상기 픽셀에 대한 톤-맵핑 함수를 선택하도록 더 구성된 것을 특징으로 하는 장치.
19. 청구항 12에 있어서,
    상기 HDR 이미지에서 노이즈를 제거함으로써 상기 HDR 이미지의 부드러운(smooth) 버전을 생성하도록 구성된 노이즈 저감 컴포넌트; 및
    상기 HDR 이미지의 상기 부드러운 이미지를 샤프닝(sharpening)함으로써 상기 HDR 이미지의 선명한(sharp) 버전을 생성하도록 구성된 선명도 부가기를 더 포함하고,
    상기 톤-맵핑 함수는 상기 HDR 이미지의 상기 부드러운 버전에 기초하여 상기 HDR 이미지의 상기 선명한 버전에 적용되는 것을 특징으로 하는 장치.
20. 청구항 12에 있어서,
    상기 HDR 이미지에 대한 화이트 밸런스 데이터를 계산하도록 구성된 화이트 밸런스 컴포넌트를 더 포함하고,
    상기 톤-맵핑 함수는 상기 화이트 밸런스 데이터에 기초하여 생성되는 것을 특징으로 하는 장치.

Images