KR102243357B1 - 장면을 나타내는 비디오 이미지 스트림에서 강도 편차를 감소시키는 방법 - Google Patents

Abstract

본 발명은 장면을 묘사하는 비디오 스트림에서 강도 편차를 감소시키기 위한 방법(20) 및 디지털 비디오 카메라(30)에 관한 것이다. 상기 방법(20)은: 제1 센서 설정을 이용하여 제1 프레임(50)을 캡쳐하는 단계(S202); 상기 제1 프레임(50)의 일부(590)에서 강도에서의 변화를 검출하는 단계(S204); 상기 제1 프레임(50)에 기초하여 제2 센서 설정을 결정하는 단계(S206); 상기 제2 센서 설정을 이용하여 제2 프레임(60, 70)을 캡쳐하는 단계(S208); 국부 톤 맵핑 마스크(local tone mapping mask)를 생성하는 단계(S210) - 상기 장면의 제1 영역에서의 국부 톤 맵핑은 상기 제1 영역 외부의 영역에서의 국부 톤 맵핑과 상이하고 상기 제1 영역의 외부에서의 국부 톤 맵핑은 상기 제1 센서 설정 및 상기 제2 센서 설정 사이의 관계에 기초함 -; 및 상기 국부 톤 맵핑 마스크를 상기 제2 프레임(60, 70)에 적용시키는 단계(S212)를 포함한다.

Description

장면을 나타내는 비디오 이미지 스트림에서 강도 편차를 감소시키는 방법{A METHOD FOR REDUCING INTENSITY VARIATIONS IN A VIDEO IMAGE STREAM DEPICTING A SCENE}

본 발명은 장면을 묘사하는 비디오 이미지 스트림에서 강도 변화를 감소시키는 방법에 관한 것이다.

비디오 모니터링은 오늘날 다양한 사회에서 널리 사용되고 있다. 예를 들어, 많은 상점에는 일반적으로 좀도둑을 퇴치하기 위해 비디오 카메라가 설치되어 있다. 마찬가지로, 사고, 도난을 검출하거나 실종자를 찾기 위해 실외 위치를 모니터하는 것이 종종 중요하다. 예를 들어, 주차장, 건물 입구 및 도로는 이러한 모니터링이 일반적으로 관심을 끄는 몇가지 예이다.

그러나, 일반적으로 캡처된 비디오의 노출이 부족하기 때문에 광 레벨이 낮은 장면에서 세부사항을 식별하기가 어렵다. 이러한 경우 광 레벨을 증가시키는 한가지 방법은 장면을 조명하는 외부 광원을 도입하는 것이지만, 이러한 해결책은 종종 전력 소비 증가로 인해 바람직하지 않으며, 외부 광원도 비디오 카메라의 위치를 공개할 수 있고, 이는 일반적으로 바람직하지 않다.

다른 방법은 장면에서 더 많은 광을 모으기 위해 비디오 카메라의 노출 시간을 늘리는 것이다. 이러한 해결책을 사용하면 비디오의 광 레벨을 높일 수 있다. 그러나, 전기 토치와 같은 밝은 물체가 장면의 일부에 들어가면 문제가 발생한다. 장면의 해당 부분에서 광 레벨이 갑자기 증가하기 때문에, 수집된 광의 양을 줄이기 위해 카메라의 노출 시간이 감소되고, 그러므로 장면의 과다 노출을 피하려고 한다. 그러나, 짧은 노출 시간으로 인해 장면의 어두운 부분이 다시 노출 부족으로 나타나고 밝은 부분은 여전히 부분적으로 강렬하기 때문에, 최종 비디오는 최적화되지 않는다. 따라서, 밝기가 크게 변하는 장면의 비디오 모니터링을 개선할 필요가 있다.

상기를 고려하여, 본 발명의 목적은 장면을 묘사하는 비디오 스트림에서 강도 변화를 감소시키기 위한 방법 및 디지털 비디오 카메라를 제공하는 것이다.

본 기술 분야에서 상기 식별된 하나 이상의 결함 및 단점을 단독으로 또는 임의의 조합으로 완화, 경감 또는 제거하고 적어도 상기 언급된 문제를 해결하는 것이 목적이다.

제1 양태에 따르면, 장면을 묘사하는 비디오 이미지 스트림에서 강도 변화를 감소시키는 방법이 제공된다. 상기 방법은 제1 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 이미지 스트림의 제1 프레임을 캡처하는 단계; 상기 제1 프레임의 부분에서 강도 값의 국부적 변화를 검출하는 단계 - 상기 제1 프레임의 부분은 상기 장면의 제1 영역을 나타냄 -; 상기 제1 프레임에서 강도 값에 기초하여 제2 센서 설정을 결정하는 단계; 상기 제2 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 이미지 스트림의 제2 프레임을 캡처하는 단계 - 상기 제2 프레임은 상기 제1 프레임에 후속함 -; 로컬 톤 맵핑 마스크(local tone mapping mask)를 생성하는 단계 - 상기 장면의 제1 영역에서의 로컬 톤 맵핑은 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑과 상이하고, 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑은 상기 제1 센서 설정과 상기 제2 센서 설정 사이의 관계에 기초함 -; 및 상기 로컬 톤 맵핑 마스크를 상기 비디오 이미지 스트림의 제2 프레임에 적용하는 단계를 포함한다.

본 출원서의 문맥 내에서, "강도 변화(intensity variation)"라는 용어는 프레임 내의 픽셀에서 강도 값에서의 변화로 해석되어야 한다.

"강도 값에서의 국부적 변화(local change in intensiy value)"라는 문구는 본 출원서의 문맥 내에서, 상기 프레임의 일부 내의 픽셀 단위의 강도 값에서의 증가 또는 감소로 해석되어야 한다.

"로컬 톤 맵핑 마스크(local tone mapping mask)"라는 용어는 본 출원서의 문맥 내에서, 이미지의 톤 맵핑과 관련된 정보를 포함하는 이미지 마스크로 해석되어야 한다.

본 방법에 의해, 상기 장면의 제1 영역 외부 영역에서, 상기 장면의 제1 영역에서의 강도 값의 변화에 의해 야기되는 센서 설정의 변화를 보상하는 로컬 톤 맵핑 마스크를 생성 및 적용하는 것이 가능하다. 본 방법에 의해, 상기 로컬 톤 맵핑 마스크를 상기 제2 센서 설정으로 캡처된 비디오 이미지 스트림에서의 제1 프레임에 적용하는 것이 또한 가능하다.

센서 설정은 센서 노출 시간; 및 센서 게인(sensor gain)을 포함하는 군으로부터 선택되는 1종 이상일 수 있다.

"센서 게인"이라는 용어는 본 출원서의 문맥 내에서, 상기 이미지 센서에 적용되는 게인으로 해석되어야 한다. 적용된 게인은 아날로그 및/또는 디지털 게인일 수 있다. 아날로그 게인은 아날로그 신호가 디지털 신호로 변환되기 전에 상기 이미지 센서로부터 아날로그 신호를 증가시키는, 즉 신호의 A/D 변환 전에 신호의 증가이다. 디지털 게인은 디지털 신호를 증가시키는, 즉 아날로그 신호의 A/D 변환에 따른 신호의 증가이다.

상기 제2 센서 설정은 상기 제1 센서 설정과 관련하여 센서 노출 시간 및/또는 센서 게인의 조정일 수 있다.

상기 제1 센서 설정과 상기 제2 센서 설정 사이의 관계는 상기 제1 센서 설정과 상기 제2 센서 설정 사이의 비율일 수 있다.

로컬 톤 맵핑 마스크를 생성하는 단계에서, 상기 장면의 제1 영역에서의 로컬 톤 맵핑은 상기 제2 센서 설정에 기초할 수 있다.

상기 장면의 제1 영역에서의 로컬 톤 맵핑을 상기 제2 센서 설정에 기초하는 것의 이점은 상기 장면의 제1 영역에서의 톤 맵핑이 상기 장면의 제1 영역과 관련된 제2 프레임의 부분에서의 강도 값을 변화시킬 수 있다는 것이다. 이에 의해, 상기 비디오 이미지 스트림에서의 제2 프레임에서 강도 변화를 감소시키는 것이 가능할 수 있다.

상기 로컬 톤 맵핑 마스크는 상기 제1 영역과 상기 제1 영역 외부 영역 사이의 구배 전이(gradient transition)를 더 포함할 수 있다.

상기 제1 영역과 상기 제1 영역 외부 영역 사이의 구배 전이를 포함하는 로컬 톤 맵핑 마스크의 이점은 상기 제1 영역과 상기 제1 영역 외부 영역과 관련된 부분들 사이의 점진적인 전이가 상기 제2 프레임에서 달성될 수 있다는 것이다.

상기 방법은 상기 제2 프레임에 후속하는 프레임들에 대해, 로컬 톤 맵핑 마스크를 미리 결정된 로컬 톤 맵핑 마스크쪽으로 점진적으로 조정하는 단계를 더 포함할 수 있다.

상기 제2 프레임에 후속하는 프레임들에 대해 미리 결정된 로컬 톤 멥핑 마스크쪽으로 로컬 톤 매핑 마스크를 점진적으로 조정하는 것의 이점은 덜 복잡한 로컬 톤 맵핑 마스크가 상기 제2 프레임에 후속하는 프레임들에 적용될 수 있다는 것이다. 덜 복잡한 로컬 톤 맵핑 마스크는 로컬 톤 맵핑 마스크를 결정하는 것과 관련된 컴퓨팅 전력보다 적은 컴퓨팅 전력을 요구할 수 있다.

상기 방법은 상기 제1 프레임의 제2 부분에서의 강도 값의 제2 국부적 변화를 검출하는 단계를 더 포함할 수 있고, 상기 제1 프레임의 제2 부분은 상기 장면의 제2 영역을 나타내며; 상기 로컬 톤 맵핑 마스크를 생성하는 단계에서, 상기 장면의 제2 영역에서의 로컬 톤 맵핑은 상기 장면의 상기 제2 영역 외부 영역에서의 로컬 톤 맵핑과 상이하고, 상기 장면의 제2 영역 외부 영역에서의 로컬 톤 맵핑은 상기 제1 센서 설정과 상기 제2 센서 설정 사이의 관계에 기초한다.

로컬 톤 맵핑 마스크를 생성하는 단계에서, 상기 장면의 제2 영역에서의 로컬 톤 맵핑은 상기 제2 센서 설정에 기초할 수 있다.

상기 장면의 제2 영역에서의 로컬 톤 맵핑을 상기 제2 센서 설정에 기초로 하는 것의 이점은 상기 장면의 제2 영역에서의 톤 맵핑이 상기 장면의 제2 영역과 관련된 제2 프레임의 부분에서의 강도 값을 변경할 수 있다는 것이다. 이에 의해, 상기 비디오 이미지 스트림에서의 상기 제2 프레임의 강도 변화를 감소시키는 것이 가능할 수 있다.

상기 방법은: 상기 제1 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 스트림의 중간 프레임을 캡처하는 단계 - 상기 중간 프레임은 상기 제1 프레임에 후속하고 상기 제2 프레임에 선행함 -; 상기 중간 프레임의 추가 부분에서의 강도 값의 추가 국부적 변화를 검출하는 단계 - 상기 중간 프레임의 추가 부분은 상기 장면의 추가 영역을 나타냄 -; 상기 중간 프레임에서의 강도 값에 기초하여 제3 센서 설정을 결정하는 단계; 상기 제3 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 이미지 스트림의 제3 프레임을 캡처하는 단계 - 상기 제3 프레임은 상기 제2 프레임에 후속함 -; 추가 로컬 톤 맵핑 마스크를 생성하는 단계 - 상기 장면의 제1 영역 및 상기 장면의 추가 영역에서의 로컬 톤 맵핑은 상기 장면의 제1 영역 외부 영역 및 상기 장면의 추가 영역과 상이하고, 상기 장면의 제1 영역 외부 영역과 상기 장면의 추가 영역에서의 로컬 톤 맵핑은 상기 제1 센서 설정 및 상기 제3 센서 설정 사이의 관계에 기초함 -; 상기 추가 로컬 톤 맵핑 마스크를 상기 비디오 스트림의 제3 프레임에 적용하는 단계를 추가로 포함할 수 있다.

추가 로컬 톤 맵핑 마스크를 생성하는 단계에서, 상기 장면의 제1 영역 및 상기 장면의 추가 영역에서의 로컬 톤 맵핑은 상기 제3 센서 설정에 기초할 수 있다.

상기 장면의 제1 영역 및 상기 장면의 추가 영역에서의 로컬 톤 맵핑을 상기 제3 센서 설정에 기초하는 것의 이점은 상기 톤 맵핑이 상기 장면의 제1 영역 및 상기 장면의 추가 영역과 관련된 제3 프레임의 부분에서의 강도 값을 변화시킬 수 있다는 것이다. 이에 의해, 상기 비디오 이미지 스트림에서 상기 제3 프레임에서의 강도 변화를 감소시킬 수 있다.

제2 양태에 따르면, 장면을 묘사하는 비디오 이미지 스트림을 캡처하도록 구성된 디지털 비디오 카메라가 제공된다. 상기 디지털 비디오 카메라는: 상이한 센서 설정으로 설정되고, 상기 비디오 이미지 스트림의 상이한 프레임을 캡처하도록 구성된 이미지 센서; 제1 센서 설정으로 설정된 이미지 센서에 의해 캡처된 제1 프레임의 부분에서 강도 값에서의 국부적 변화를 검출하도록 구성된 강도 평가 기능부(intensity evaluation function) - 상기 제1 프레임의 부분은 상기 장면의 제1 영역을 나타냄 -; 상기 제1 프레임에서의 강도 값에 기초하여 제2 센서 설정을 결정하도록 구성된 센서 설정 결정 기능부(sensor setting determination function); 로컬 톤 맵핑 마스크를 생성하고(상기 장면의 제1 영역에서의 로컬 톤 맵핑이 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑과 상이하고, 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑은 상기 제1 센서 설정 및 상기 제2 센서 설정 사이의 관계에 기초함), 상기 로컬 톤 맵핑 마스크를 상기 제2 센서 설정으로 설정된 상기 이미지 센서에 의해 캡처된 제2 프레임에 적용하도록 구성된 로컬 톤 맵핑 마스크 기능부(local tone mapping mask function)를 포함하는 제어 회로를 포함한다.

적용 가능한 경우, 제1 양태의 상기 언급된 특징은 이러한 제2 양태에도 적용된다. 과도한 반복을 피하기 위해, 상기를 참조한다.

상기 이미지 센서 및 상기 제어 회로는 프레임 레벨로 동기화될 수 있다.

상기 이미지 센서 및 상기 제어 회로가 프레임 레벨로 동기화되는 이점은 상기 로컬 톤 맵핑 마스크 및 상기 센서 노출 설정이 상기 비디오 이미지 스트림에서 동일한 프레임에 대해 변경될 수 있다는 것이다.

상기 제어 회로의 기능부는 범용 프로세서 또는 그래픽 처리 유닛, 필드-프로그래밍 가능한 게이트 어레이, 고정-기능식 주문형 집적 회로 또는 아날로그 회로에서 실행되는 컴퓨터 소프트웨어 부분으로서 구현될 수 있다.

제3 양태에 따르면, 처리 능력을 갖는 장치에서 실행될 때 본 방법을 수행하도록 구성되는 프로그램 코드를 기록한 비-일시적 컴퓨터 판독 가능 기록 매체가 제공된다.

적용 가능한 경우, 제1 및 제2 양태의 상기 언급된 특징은 이러한 제3 양태에도 적용된다. 과도한 반복을 피하기 위해, 상기를 참조한다.

본 개시 내용의 추가 적용 범위는 하기 제공된 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 범위 내에서 다양한 변경 및 수정이 이러한 상세한 설명으로부터 당업자에게 명백해질 것이기 때문에, 본 발명의 바람직한 변형예를 나타내는 상세한 설명 및 특정 예는 단지 예시의 방식으로 제공된다는 것을 이해할 것이다.

따라서, 본 발명은 상기 장치 및 방법이 다양할 수 있기 때문에 설명된 장치의 특정 구성 요소 부분 또는 설명된 방법의 단계에 제한되지 않음을 이해할 것이다. 또한, 본 발명에서 사용된 용어는 특정 실시 형태만을 설명하기 위한 것이며, 제한하려는 것이 아님을 이해할 것이다. 명세서 및 첨부된 청구 범위에 사용된 바와 같이, "하나", "하나의", "그" 및 "상기"라는 용어는 문맥이 다른 것을 명확하게 지칭하지 않는 한 하나 이상의 요소가 존재하는 것을 의미하는 것으로 의도된다는 점에 유의해야 한다. 따라서, 예를 들어, "장치" 또는 "상기 장치"에 대한 참조는 여러 장치 등을 포함할 수 있다. 또한, "구성하는", "포함하는", "함유하는" 및 유사한 문구는 다른 요소 또는 단계를 배제하지 않는다.

본 발명의 상기 및 다른 측면은 본 발명의 실시 형태를 나타내는 첨부된 도면을 참조하여 보다 상세하게 설명될 것이다. 도면은 본 발명을 특정 실시 형태로 제한하는 것으로 간주되어서는 안되며; 대신 이들은 본 발명을 설명하고 이해하는데 사용된다.
도면에 도시된 바와 같이, 층 및 영역의 크기는 설명을 위해 과장될 수 있으며, 따라서 본 발명의 실시 형태들의 일반적인 구조를 설명하기 위해 제공된다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

도 1a는 장면을 묘사하는 초기 프레임을 도시한다.
도 1b는 장면을 묘사하는 제1 프레임을 도시한다.
도 1c는 장면을 묘사하는 제2 프레임을 도시한다.
도 1d는 강도 변화가 감소된 제2 프레임을 도시한다.
도 2는 장면을 묘사하는 비디오 스트림에서 강도 변화를 감소시키는 방법의 블록 구성도이다.
도 3은 장면을 묘사하는 비디오 이미지 스트림을 캡처하도록 구성된 디지털 비디오 카메라를 도시한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 형태에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 본 발명에서 설명하는 실시 형태에 한정되지 않는 것으로 이해되어야 하며; 오히려, 이들 실시 형태는 철저함과 완전함을 위해 제공되고, 본 발명의 범위를 당업자에게 완전히 전달한다.

장면을 묘사하는 비디오 스트림에서 강도 변화를 감소시키기 위한 방법이 이제 도 1a 내지 도 1d를 참조하여 설명될 것이다. 도 1a 내지 도 1d는 디지털 비디오 카메라(30)에 의해 캡처된 프레임을 도시하며, 이는 도 3과 관련하여 더욱 상세히 설명될 것이다.

도 1a는 장면을 묘사하는 초기 프레임(40)을 도시한다. 장면은 필드(460), 도로(440), 도로의 가장자리(470) 및 하늘(480)을 포함한다. 필드(460)는 제1 구조물(410), 제2 구조물(420) 및 호수(430)를 포함한다. 초기 프레임(40)은 제1 센서 설정으로 설정된 이미지 센서(302)를 사용하여 캡처되었다. 제1 로컬 톤 맵핑 마스크는 초기 프레임(40)에 적용되었다. 제1 로컬 톤 맵핑 마스크는 초기 프레임을 캡처하는데 사용되는 디지털 비디오 카메라(30)의 제1 센서 설정에 기초할 수 있다. 도 1a에 도시된 바와 같이, 제1 로컬 톤 맵핑 마스크는 초기 프레임(40)에서 밝기 레벨의 범위를 최적화하도록 구성된다. 즉, 제1 구조물(410), 제2 구조물(420), 호수(430) 및 도로(440)는 초기 프레임(40)에서 볼 수 있다. 또한, 제1 특징부(412), 제2 특징부(414), 제3 특징부(416) 및 제4 특징부(418)는 제1 구조물(410) 상에서 볼 수 있다.

도 1b는 도 1a에서와 동일한 장면을 묘사하는 제1 프레임(50)을 도시한다. 제1 프레임(50)은 제1 센서 설정으로 설정된 이미지 센서(302)에 의해 캡처된다. 도 1b에 도시된 바와 같이, 자동차(550)는 제1 프레임(50)에서 장면에 들어간다. 자동차(550)는 제1 프레임(50)의 일부(590)에 포함되고, 일부(590)는 장면의 제1 영역을 나타낸다. 자동차(550)의 헤드라이트(552)는 밝고, 도 1b에 묘사된 장면에 대해 이미지 센서(302)에 의해 수집된 광의 강도 레벨의 범위는 도 1a에서 묘사된 장면에 대해 이미지 센서(302)에 의해 수집된 광의 강도 레벨의 범위보다 크다. 즉, 도 1a 및 도 1b에 도시된 예에서, 제1 프레임(50)에서의 최고 강도 레벨은 초기 프레임(40)에서의 최고 강도 레벨보다 높다. 디지털 비디오 카메라(30)에서 제어 회로(304)에서의 강도 평가 기능부(306)는 장면의 부분(590)에서 강도 값에서의 국부적 증가를 검출할 것이다. 제어 회로(304)에서의 센서 설정 결정 기능부(308)는 제1 프레임(50)의 강도 값에 기초하여 제2 센서 설정을 결정할 것이다. 다시 말해, 센서 설정 결정 기능부(308)는 비디오 이미지 스트림에서 나중의 프레임을 캡처할 때 강도 값의 증가를 보상하기 위해 이미지 센서(302)의 제1 센서 설정을 조정한다. 예를 들어, 장면에서의 밝기 증가를 보상하기 위해, 센서 노출 시간 및/또는 센서 게인이 감소될 수 있다. 따라서, 제어 회로(304)는 이미지 센서(302)를 제2 센서 설정으로 설정한다.

도 1c는 도 1a 및 도 1b에서와 동일한 장면을 묘사하는 제2 프레임(60)을 도시한다. 제2 프레임(60)은 제2 센서 설정으로 설정된 이미지 센서(302)에 의해 캡처된다. 이러한 특정 예에서, 제2 센서 설정은 제2 센서 노출 시간이 제1 센서 노출 시간의 절반이 되도록, 센서 노출 시간의 감소이다. 제2 로컬 톤 맵핑 마스크는 제2 프레임(60)에 적용된다. 제2 로컬 맵핑 마스크는 제2 프레임을 최적화하도록 구성된다. 도 1c에 도시된 바와 같이, 제2 센서 설정은 자동차(550)의 헤드라이트(552)로부터의 강도 값의 증가를 보상한다. 제2 센서 설정의 결과는 차가 명확하게 보이지만, 도로(440), 필드(460), 도로의 가장자리(470) 및 하늘(480)은 이미지화된 장면에서 밝은 광원의 부재로 이들 영역에 대한 최적 설정과 비교하여 노출 부족일 것이다. 이들 영역들(440, 460, 470, 480)에서 강도 이동은 급격할 것이다. 도 1c에 예시된 바와 같이, 제1 구조물(410), 제2 구조물(420), 호수(430) 및 도로(440)의 가시성은 제2 센서 설정 및 제2 로컬 톤 맵핑 마스크로 인해 적어도 감소된다. 다시 말해, 제2 로컬 톤 맵핑 마스크는 자동차(550)의 헤드라이트(552)가 완전히 강렬하지 않도록, 제2 프레임(60)을 최적화하며, 제2 프레임(60)의 다른 부분이 완전히 노출되지 않는다(즉, 모든 정보가 손실되는 정도까지). 그러나, 이들 다른 부분들에서 거의 즉각적인 강도의 이동이 있을 것이며, 완전히 노출되지 않은 영역에서 세부 사항들은 제2 프레임(60)에서 보이지 않는다. 예를 들어, 필드(460)에서의 제1 및 제2 구조물(410, 420)은 도 1c에서의 제2 프레임(60)에서 보이지 않는다.

도 1d는 감소된 강도 변화를 갖는 제2 프레임(70)을 도시한다. 제2 프레임(70)에서의 강도 변화의 감소는 제1 및 제2 센서 설정에 기초하여 로컬 톤 맵핑 마스크를 생성하고 이를 도 1c에 도시된 제2 프레임(60)에 적용함으로써 달성된다. 로컬 톤 맵핑 마스크는 장면의 제1 영역 외부의 톤 맵핑이 제1 및 제2 센서 설정 사이의 관계에 기초하도록 구성된다. 도 1d에 도시된 예에서, 제1 영역 외부의 영역에서의 톤 맵핑은 제1 및 제2 센서 설정 사이의 비율에 기초한다. 이러한 특정 예에서, 제1 영역 외부 영역에서의 톤 맵핑은 센서 노출 시간에서의 변화를 보상한다.

따라서, 장면의 제1 영역에서의 물체의 강도는 제2 프레임(70)의 부분(590)에서 특정 픽셀 강도 값으로 맵핑될 것이다. 장면의 제1 영역에 있는 물체의 강도의 절반을 갖는 장면의 제1 영역 외부의 물체는 제2 프레임(70)에서 동일한 특정 픽셀 강도 값으로 맵핑될 것이다. 즉, 장면에서의 강도는 강도가 장면의 제1 영역에 있는지 여부에 따라 제2 프레임(70)에서 상이한 픽셀 강도 값으로 맵핑될 것이다.

로컬 톤 맵핑 마스크는 또한 장면의 제1 영역에서의 톤 맵핑이 제2 센서 설정에 기초하도록 구성된다. 즉, 제1 영역에서의 톤 맵핑은 도 1c에서의 제2 프레임(60)에 적용되는 로컬 톤 맵핑이다.

도 1a 내지 도 1d와 관련하여 설명된 프레임들은 또한 비디오 이미지 스트림에 포함되지만, 도 1b에서의 제1 프레임(50)은 스킵된 프레임(skipped frame)이므로, 비디오 이미지 스트림을 관찰하는 사람에게 보이지 않을 것이다. 마찬가지로, 도 1c에서의 제2 프레임(60)은 강도 변화가 감소된 제2 프레임(70)에 유리하게 포함되지 않는다.

도 2는 장면을 묘사하는 비디오 스트림에서 강도 변화를 감소시키기 위한 방법(20)의 블록 구성도이다.

상기 방법(20)은 제1 센서 설정으로 설정된 이미지 센서(302)를 사용하여, 비디오 이미지 스트림의 제1 프레임(50)을 캡처하는 단계(S202)를 포함한다.

제1 프레임(50)은 비디오 이미지 스트림에서 스킵된 프레임일 수 있다. 제1 프레임(50)은 비디오 이미지 스트림에서 숨겨진 프레임일 수 있다. 다시 말해, 비디오 이미지 스트림에서의 제1 프레임(50)은 방법(20)에서 사용되지만, 비디오 이미지 스트림에서는 보이지 않을 수 있다.

센서 설정은 센서 노출 시간 및 센서 게인을 포함하는 군으로부터 선택된 하나 이상일 수 있다. 센서 설정은 센서 노출 시간과 센서 게인의 조합일 수 있다. 센서 설정은 센서 노출 시간 및 센서 게인의 곱일 수 있다.

방법(20)은 제1 프레임(50)의 부분(590)에서 강도 값의 국부적 변화를 검출하는 단계(S204)를 더 포함한다. 제1 프레임(50)의 부분(590)은 장면의 제1 영역을 나타낸다. 제1 프레임(50)의 부분(590)은 전경 물체와 관련될 수 있다. 전경 물체는 예를 들어 도 1에 묘사된 장면에서 자동차(550)일 수 있다. 제1 프레임(50)의 부분(590)은 동적으로 업데이트될 수 있다. 예를 들어, 제1 프레임(50)의 부분(590)은 예를 들어 장면을 통해 이동하는 자동차(550)를 뒤따르는 것과 같이 제1 프레임(50)에 후속하는 프레임에서 이동될 수 있다.

방법(20)은 제1 프레임의 강도 값에 기초하여 제2 센서 설정을 결정하는 단계(S206)를 더 포함한다. 제2 센서 설정은 제1 센서 설정과 관련하여 센서 노출 시간 및/또는 센서 게인의 조정일 수 있다. 제2 센서 설정은 제1 센서 설정과 관련하여 센서 노출 시간 및 센서 게인의 조합의 증가 또는 감소일 수 있다.

방법(20)은 제2 센서 설정으로 설정된 이미지 센서를 사용하여, 비디오 이미지 스트림의 제2 프레임(70)을 캡처하는 단계(S208)를 더 포함하고, 제2 프레임(70)은 제1 프레임(50)에 후속한다. 제2 프레임(70)은 제1 프레임(50)에 연속적일 수 있다. 제2 프레임(70)은 제1 프레임(50)에 비-연속적일 수 있다.

방법(20)은 로컬 톤 맵핑 마스크를 생성하는 단계(S210)를 더 포함하고, 장면의 제1 영역에서의 로컬 톤 맵핑은 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑과 상이하며, 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑은 제1 센서 설정과 제2 센서 설정 사이의 관계에 기초한다. 제1 센서 설정과 제2 센서 설정 사이의 관계는 제1 센서 설정과 제2 센서 설정 사이의 비율일 수 있다. 장면의 제1 영역에서의 로컬 톤 맵핑은 제2 센서 설정에 기초할 수 있다.

방법(20)은 로컬 톤 맵핑 마스크를 비디오 이미지 스트림의 제2 프레임(70)에 적용하는 단계(S212)를 더 포함한다. 로컬 톤 맵핑 마스크는 복수의 단계로 제2 프레임(70)에 적용될 수 있다. 예를 들어, 초기 로컬 톤 맵핑 마스크는 제2 프레임(70)에 적용될 수 있고, 초기 로컬 톤 맵핑 마스크를 적용한 후에, 수정 로컬 톤 맵핑 마스크가 제2 프레임(70)에 적용될 수 있다. 초기 로컬 톤 맵핑 마스크는 제1 센서 설정에 기초할 수 있다. 수정 로컬 톤 맵핑 마스크는 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑을 조정하도록 구성될 수 있다. 다시 말해, 로컬 톤 맵핑 마스크는 초기 로컬 톤 맵핑 마스크와 수정 로컬 톤 맵핑 마스크의 조합일 수 있다.

로컬 톤 맵핑 마스크는 제1 영역과 제1 영역 외부 영역 사이의 구배 전이를 더 포함할 수 있다.

방법(20)은 제2 프레임(70)에 후속하는 프레임들에 대해, 로컬 톤 맵핑 마스크를 미리 결정된 로컬 톤 맵핑 마스크쪽으로 점진적으로 조정하는 단계를 더 포함할 수 있다. 다시 말해서, 로컬 톤 맵핑 마스크는 미리 결정된 로컬 톤 맵핑 마스크쪽으로 조정될 수 있다. 조정은 제2 프레임(70)에 후속하는 각각의 프레임에 대해 단계적으로 이루어질 수 있다. 로컬 톤 맵핑 마스크는 미리 결정된 수의 프레임들에 대해 미리 결정된 로컬 톤 맵핑 마스크쪽으로 점진적으로 조정될 수 있다. 즉, 제2 프레임(70) 이후의 미리 결정된 수의 프레임 후에, 로컬 톤 맵핑 마스크는 미리 결정된 로컬 톤 맵핑 마스크로 조정될 수 있다. 미리 결정된 로컬 톤 맵핑 마스크는 제2 프레임(70)에 후속하는 프레임에 대해 센서 설정에 기초할 수 있다.

방법(20)은 제1 프레임(50)의 제2 부분에서 강도 값의 제2 국부적 변화를 검출하는 단계(S216)를 더 포함할 수 있고, 제1 프레임(50)의 제2 부분은 장면의 제2 영역을 나타낸다. 이러한 경우, 로컬 톤 맵핑 마스크를 생성하는 단계(S210)에서, 장면의 제2 영역에서의 로컬 톤 맵핑은 장면의 제2 영역 외부 영역에서의 로컬 톤 맵핑과 상이하며, 장면의 제2 영역 외부 영역에서의 로컬 톤 맵핑은 제1 센서 설정과 제2 센서 설정 사이의 관계에 기초한다. 장면의 제2 영역에서의 로컬 톤 맵핑은 제2 센서 설정에 기초할 수 있다.

방법(20)은 제1 센서 설정으로 설정된 이미지 센서를 사용하여, 비디오 스트림의 중간 프레임을 캡처하는 단계(S218)를 더 포함할 수 있다. 이러한 경우, 중간 프레임은 제1 프레임(50)에 후속하고 제2 프레임(70)에 선행한다.

방법(20)은 중간 프레임의 추가 부분에서 강도 값의 추가 국부적 변화를 검출하는 단계(S220)를 더 포함할 수 있다. 이러한 경우에, 중간 프레임의 추가 부분은 장면의 추가 영역을 나타낸다.

방법(20)은 중간 프레임에서의 강도 값에 기초하여 제3 센서 설정을 결정하는 단계(S222)를 더 포함할 수 있다.

방법(20)은 제3 센서 설정으로 설정된 이미지 센서(302)를 사용하여, 비디오 이미지 스트림의 제3 프레임을 캡처하는 단계(S224)를 더 포함할 수 있고, 제3 프레임은 제2 프레임(70)에 후속한다.

방법(20)은 추가 로컬 톤 맵핑 마스크를 생성하는 단계(S226)를 더 포함할 수 있고, 장면의 제1 영역 및 장면의 추가 영역에서의 로컬 톤 맵핑은 장면의 제1 영역 및 장면의 추가 영역의 외부 영역과 상이하다. 이러한 경우, 장면에서의 제1 영역 외부 영역 및 장면의 추가 영역에서의 로컬 톤 맵핑은 제1 센서 설정과 제3 센서 설정 사이의 관계에 기초한다.

방법(20)은 추가 로컬 톤 맵핑 마스크를 비디오 스트림의 제3 프레임에 적용하는 단계(S228)를 더 포함할 수 있다.

도 3은 장면을 묘사하는 비디오 이미지 스트림을 캡처하도록 구성된 디지털 비디오 카메라(30)를 도시한다. 디지털 비디오 카메라(30)는 상이한 센서 설정으로 설정되도록 구성된 이미지 센서(302)를 포함한다. 이미지 센서(302)는 또한 비디오 이미지 스트림의 상이한 프레임들(40, 50, 60, 70)을 캡처하도록 추가로 구성된다.

디지털 비디오 카메라(30)는 제어 회로(304)를 더 포함한다. 제어 회로(304)는 강도 평가 기능부(306), 센서 설정 결정 기능부(308) 및 로컬 톤 맵핑 마스크 기능부(310)를 포함한다.

강도 평가 기능부(306)는 제1 센서 설정으로 설정된 이미지 센서(302)에 의해 캡처된 제1 프레임(50)의 부분(590)에서의 강도 값의 국부적 변화를 검출하도록 구성된다. 제1 프레임의 부분(590)은 장면의 제1 영역을 나타낸다.

센서 설정 결정 기능부(308)는 제1 프레임(50)에서의 강도 값에 기초하여 제2 센서 설정을 결정하도록 구성된다.

로컬 톤 맵핑 마스크 기능부(310)는 로컬 톤 맵핑 마스크를 생성하도록 구성되고, 장면의 제1 영역에서의 로컬 톤 맵핑은 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑과 상이하며, 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑은 제1 센서 설정과 제2 센서 설정 사이의 관계에 기초한다.

로컬 톤 맵핑 마스크 기능부(308)는 로컬 톤 맵핑 마스크를 제2 센서 설정으로 설정된 이미지 센서(302)에 의해 캡처된 제2 프레임(70)에 적용하도록 추가로 구성된다.

이미지 센서(302) 및 제어 회로(304)는 프레임 레벨에서 동기화될 수 있다. 다시 말해, 제어 회로(304)는 로컬 톤 맵핑 마스크를 제2 센서 설정으로 설정된 이미지 센서(302)에 의해 캡처된 가장 빠른 프레임에 적용할 수 있다. 여기에 설명된 예에서, 제2 센서 설정을 갖는 이미지 센서(302)에 의해 캡처된 가장 빠른 프레임은 제2 프레임(60, 70)이다.

제어 회로(304)의 기능부(306, 308, 310)는 범용 프로세서 또는 그래픽 처리 유닛, 필드-프로그래밍 가능한 게이트 어레이, 고정 기능 주문형 집적 유닛 또는 아날로그 회로에서 실행되는 컴퓨터 소프트웨어 부분으로서 구현될 수 있다.

당업자는 본 발명의 개념이 결코 전술된 바람직한 변형예에 제한되지 않음을 인지한다. 반대로, 첨부된 청구 범위의 범위 내에서 많은 수정 및 변형이 가능하다.

예를 들어, 제1 및 제2 센서 설정 사이의 차이는 도 1a 내지 도 1d와 관련하여 설명된 바와 같이 센서 노출 시간의 변화 대신 센서 게인의 변화일 수 있다. 대안으로, 제1 및 제2 센서 설정 사이의 차이는 또한 센서 노출 시간의 변화 및 센서 게인의 변화 모두일 수 있다.

또한, 개시된 변형예에 대한 변형은 도면, 개시물 및 첨부된 청구 범위의 연구로부터 청구된 발명을 실시할 때 당업자에 의해 이해되고 영향을 받을 수 있다.

Claims (10)

1. 장면을 묘사하는 비디오 이미지 스트림에서 강도 변화를 감소시키는 방법으로서,
   제1 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 이미지 스트림의 제1 프레임을 캡처하는 단계 - 상기 제1 센서 설정은 센서 노출 시간 및 센서 게인을 포함하는 군으로부터 선택된 하나 이상임 -;
   상기 제1 프레임 이전의 프레임과 비교하여 상기 제1 프레임의 일부에서의 강도 값들의 국부적 변화를 검출하는 단계 - 상기 제1 프레임 이전의 프레임은 상기 제1 센서 설정으로 설정된 상기 이미지 센서를 사용하여 캡처되고, 상기 제1 프레임의 부분은 상기 장면의 제1 영역을 나타냄 -;
   상기 제1 프레임의 강도 값들에 기초하여 제2 센서 설정을 결정하는 단계 - 상기 제2 센서 설정은 상기 센서 노출 시간 및 상기 센서 게인을 포함하는 군으로부터 선택된 하나 이상임 -;
   상기 제2 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 이미지 스트림의 제2 프레임을 캡처하는 단계 - 상기 제2 프레임은 상기 제1 프레임에 후속함 -;
   이미지의 톤 맵핑과 관련된 정보를 포함하는 이미지 마스크인 로컬 톤 맵핑 마스크를 생성하는 단계 - 상기 장면의 제1 영역에서의 로컬 톤 맵핑 마스크의 로컬 톤 맵핑은 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑 마스크의 로컬 톤 맵핑과 상이하고, 상기 장면의 제1 영역에서의 로컬 톤 맵핑은 상기 제2 센서 설정에 기초하며, 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑은 상기 제1 센서 설정과 상기 제2 센서 사이의 관계에 기초함 -; 및
   상기 로컬 톤 맵핑 마스크를 상기 비디오 이미지 스트림의 제2 프레임에 적용하는 단계를 포함하고,
   상기 제2 프레임에 후속하는 프레임들에 대해, 상기 로컬 톤 맵핑 마스크를 미리 결정된 로컬 톤 맵핑 마스크쪽으로 점진적으로 조정하는 방법.
2. 제1항에 있어서, 상기 제2 센서 설정은 상기 제1 센서 설정에 관한 센서 노출 시간 및/또는 센서 게인의 조정인 방법.
3. 제1항에 있어서, 상기 제1 센서 설정과 상기 제2 센서 설정 사이의 관계는 상기 제1 센서 설정과 상기 제2 센서 설정 사이의 비율인 방법.
4. 제1항에 있어서, 상기 로컬 톤 맵핑 마스크는 상기 제1 영역과 상기 제1 영역 외부 영역 사이의 구배 전이(gradient transition)를 더 포함하는 방법.
5. 삭제
6. 제1항에 있어서,
   상기 제1 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 이미지 스트림의 중간 프레임을 캡처하는 단계 - 상기 중간 프레임은 상기 제1 프레임에 후속하고 상기 제2 프레임에 선행함 -;
   상기 중간 프레임 이전의 프레임과 비교하여 상기 중간 프레임의 추가 부분에서 강도 값들의 추가적인 국부적 변화를 검출하는 단계 - 상기 중간 프레임 이전의 프레임은 상기 제1 센서 설정으로 설정된 이미지 센서를 사용하여 캡처되고, 상기 중간 프레임의 추가 부분은 상기 장면의 추가 영역을 나타냄 -;
   상기 중간 프레임에서의 강도 값들에 기초하여 제3 센서 설정을 결정하는 단계 - 상기 제3 센서 설정은 센서 노출 시간 및 센서 게인을 포함하는 군으로부터 선택된 하나 이상임 -;
   상기 제3 센서 설정으로 설정된 이미지 센서를 사용하여, 상기 비디오 이미지 스트림의 제3 프레임을 캡처하는 단계 - 상기 제3 프레임은 상기 제2 프레임에 후속함 -;
   이미지의 톤 맵핑과 관련된 정보를 포함하는 이미지 마스크인 추가 로컬 톤 맵핑 마스크를 생성하는 단계 - 상기 장면의 제1 영역 및 상기 장면의 추가 영역에서의 로컬 톤 맵핑은 상기 장면의 제1 영역 외부 영역 및 상기 장면의 추가 영역에서의 로컬 톤 맵핑과 상이하고, 상기 장면의 제1 영역 및 상기 장면의 추가 영역에서의 로컬 톤 맵핑은 상기 제3 센서 설정에 기초하며, 상기 장면의 제1 영역 외부 영역 및 상기 장면의 추가 영역에서의 로컬 톤 맵핑은 상기 제1 센서 설정과 상기 제3 센서 설정 사이의 관계에 기초함 -; 및
   상기 추가 로컬 톤 맵핑 마스크를 상기 비디오 이미지 스트림의 제3 프레임에 적용하는 단계를 더 포함하는 방법.
7. 장면을 묘사하는 비디오 이미지 스트림을 캡처하도록 구성된 디지털 비디오 카메라로서, 상기 디지털 비디오 카메라는:
   상이한 센서 설정으로 설정되고, 상기 비디오 이미지 스트림의 상이한 프레임들을 캡처하도록 구성된 이미지 센서 - 상기 센서 설정은 센서 노출 시간 및 센서 게인을 포함하는 군으로부터 선택된 하나 이상임 -;
   제1 프레임 이전의 프레임과 비교하여 상기 제1 프레임의 부분에서의 강도 값들의 국부적 변화를 검출하도록 구성된 강도 평가 기능부 - 상기 제1 프레임 및 상기 제1 프레임 이전의 프레임은 제1 센서 설정으로 설정된 이미지 센서에 의해 캡처되며, 상기 제1 프레임의 부분은 상기 장면의 제1 영역을 나타냄 -;
   상기 제1 프레임에서의 강도 값들에 기초하여 제2 센서 설정을 결정하도록 구성된 센서 설정 결정 기능부; 및
   이미지의 톤 맵핑과 관련된 정보를 포함하는 이미지 마스크인 로컬 톤 맵핑 마스크를 생성하고(상기 장면의 제1 영역에서의 로컬 톤 맵핑 마스크의 로컬 톤 맵핑은 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑 마스크의 로컬 톤 맵핑과 상이하고, 상기 장면의 제1 영역에서의 로컬 톤 맵핑은 상기 제2 센서 설정에 기초하며, 상기 장면의 제1 영역 외부 영역에서의 로컬 톤 맵핑은 상기 제1 센서 설정 및 상기 제2 센서 설정 사이의 관계에 기초함), 상기 로컬 톤 맵핑 마스크를 상기 제2 센서 설정으로 설정된 이미지 센서에 의해 캡처된 제2 프레임에 적용하도록 구성된 로컬 톤 맵핑 마스크 기능부;를 포함하는 제어 회로;를 포함하고,
   상기 제2 프레임에 후속하는 프레임들에 대해, 상기 로컬 톤 맵핑 마스크를 미리 결정된 로컬 톤 맵핑 마스크쪽으로 점진적으로 조정하는 디지털 비디오 카메라.
8. 제7항에 있어서, 상기 이미지 센서 및 상기 제어 회로는 프레임 레벨로 동기화되는 디지털 비디오 카메라.
9. 제7항에 있어서, 상기 제어 회로의 기능부는 범용 프로세서 또는 그래픽 처리 유닛, 필드-프로그램 가능한 게이트 어레이, 고정-기능식 주문형 집적 회로, 또는 아날로그 회로에서 실행되는 컴퓨터 소프트웨어 부분으로서 구현되는 디지털 비디오 카메라.
10. 처리 능력을 갖는 장치에서 실행될 때 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하도록 구성된 프로그램 코드를 기록한 비-일시적 컴퓨터 판독 가능 기록 매체.
    

Images