KR102247597B1

KR102247597B1 - 영상 처리 장치 및 영상 처리 방법

Info

Publication number: KR102247597B1
Application number: KR1020150040961A
Authority: KR
Inventors: 타케루 츠즈키
Original assignee: 한화테크윈 주식회사
Priority date: 2014-09-09
Filing date: 2015-03-24
Publication date: 2021-05-03
Also published as: JP6376339B2; KR20160030352A; JP2016058890A

Abstract

영상 센서(10)에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성하는 사용-영상 선택부(40); 사용-영상 선택 정보에 따라 단노광 영상 및 장노광 영상을 합성하여 합성 영상을 얻는 WDR 합성부(60); 및 영상 센서(10)의 신호 증폭도에 따라 장노광 영상과 합성 영상의 혼합 비율을 산출하고, 혼합 비율에 의하여 합성 영상과 장노광 영상을 혼합하는 혼합부(90);를 포함하는 영상 처리 장치(1)가 제공된다.

Description

영상 처리 장치 및 영상 처리 방법{Image processing apparatus and image processing method}

본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.

최근, 단시간 노광의 영상(이하, 단순히 "단노광 영상"이라 함)과 장시간 노광의 영상(이하, 단순히 "장노광 영상"이라 함)을 연속적으로 촬영하여 합성함으로써, 영상 센서가 촬영 가능한 다이나믹 레인지를 넘은 다이나믹 레인지를 캡쳐한 영상을 얻는 WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)이라는 촬영 기능이 늘어나고 있다. 이러한 촬영 기능은 역광의 구도 등 명암비가 매우 큰 장면에서는 특히 큰 효과가 있다.

WDR 신호를 얻는 방법으로는 노광 시간을 바꾸면서 여러 장의 영상들을 연속적으로 촬영하여 합성하는 방법을 채용하는 것이 일반적이다. 여기에서 얻어지는 다이나믹 레인지는 16 비트 내지 20 비트 또는 그 이상에 달하는 경우도 있다. WDR 신호는 디스플레이나 프린터의 표시 능력에 맞추어 8 비트에서 12 비트 정도로 레인지(range) 압축되어 출력된다.

이러한 WDR 합성 처리는 낮과 같이 광량이 많은 상황에서는 양호한 결과를 가져오지만, 어두운 상황에서는 단노광 영상의 노광량이 불충분해져서 합성 영상 중의 단노광 영상 사용 영역을 중심으로 노이즈가 눈에 띄는 결과가 발생한다. 특히, 영상 센서에 있어서 신호가 증폭되는 경우에는 단노광 영상의 노이즈가 매우 현저해짐에 따라, WDR 합성 처리의 효과에 비하여 노이즈 방해 문제가 커진다. 이러한 경우에는 WDR 합성 처리를 오프(Off)로 하여 단노광 영상을 사용하지 않는 것이 바람직하다. 또한, 단노광 영상에 노이즈 저감 처리를 적용하는 방안도 생각할 수 있는데, 어두운 장면에서 영상 센서의 증폭에 의한 단노광 영상은 신호 대 잡음 비율(SNR : Signal-to-Noise Ratio)이 매우 낮아서, 이차원 노이즈 축소에 의하여 노이즈를 충분히 저감할 수 없다.

상황에 따라 WDR 합성 처리를 오프(Off)로 하는 방법으로서 이하에 나타내는 바와 같은 기술들이 공개되어 있다.

예를 들어, 사전 촬영을 수행하여 피사체가 움직임을 포함하는지 여부를 판정하고, 피사체가 움직임을 포함하고 있는 경우에는 WDR 합성 처리를 오프(Off)로 하는 기술이 공개되어 있다(특허 문헌 1로서의 일본 특허공개 2000－50151호 공보 참조). 또한, 여러장 촬영한 영상들을 중첩시킴으로써 노이즈를 저감하는 기술을 이용하여, 영상 센서의 감도에 의하여 각 노광 영상의 사전 촬영 매수를 결정하는 기술이 개시되어 있다(특허 문헌 2로서의 일본 특허공개 2012－239077호 공보 참조). 이에 따라 단노광 영상의 노이즈가 저감된 양호한 WDR 합성 처리의 결과를 얻을 수 있다.

일본 특허공개 2000－50151호 공보 일본 특허공개 2012－239077호 공보

그러나, 특허 문헌 1(일본 특허공개 2000－50151호)에 기재된 기술에서는, 피사체가 움직임을 포함하는지의 여부를 판정하지만 노이즈 양을 판정하는 것은 아니므로, 이 기술은 WDR 합성 처리의 결과에 포함되는 노이즈 저감 기술과는 다르다.

또한, 특허 문헌 1에 기재된 기술은 사전 촬영을 전제로 하고 있기 때문에, 정지 화면용의 기술로서, 만일 동영상에 적용한다 하더라도 프레임 레이트(frame rate)가 큰 폭으로 저하되게 된다. 특허 문헌 2(일본 특허공개 2012－239077호)에 기재된 기술도 사전 촬영을 전제로 하고 있기 때문에, 정지 화면용의 기술로서, 만일 동영상에 적용한다 하더라도 프레임 레이트가 큰 폭으로 저하되게 된다.

그밖에, WDR 합성 처리를 상황에 따라 오프(Off)로 하는 선행 기술이 존재하지만, WDR 합성 처리의 온(On) 및 오프(Off)의 처리 결과를 시간적으로 서서히 전환하는 기술은 공개되어 있지 않다. WDR 합성 처리의 결과를 동영상으로 얻는 시스템에 있어서, WDR 합성 처리의 온(On)과 오프(Off)를 갑자기 전환하면, WDR 합성 처리에 의하여 얻어지는 WDR 합성 처리의 결과에도 급격한 변화가 발생한다. WDR 합성 처리가 필요한 상황과 불필요한 상황이 서서히 전환되어야 함을 감안하면, WDR 합성 처리의 결과도 서서히 변화하는 것이 바람직하다.

따라서, 본 발명은 WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있는 기술을 제공하고자 한다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있는 기술을 제공 하고자 한다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있는 기술을 제공 하고자 한다.

본 발명의 일 측면의 영상 처리 장치는 사용-영상 선택부, 합성부, 및 혼합부를 포함한다.

상기 사용-영상 선택부는 영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성한다.

상기 합성부는 상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻는다.

상기 혼합부는, 상기 영상 센서의 신호 증폭도에 따라 상기 장노광 영상과 상기 합성 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 합성 영상과 상기 장노광 영상을 혼합한다.

이러한 구성에 의하면, 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율이 제어될 수 있다. 예를 들어, 영상 센서의 신호 증폭도가 커짐에 따라 WDR 합성 영상에 포함되는 노이즈가 눈에 띄게 된다. 이에 따라, 혼합부가 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율을 변화시킴으로써, WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있게 된다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있게 된다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있게 된다.

상기 혼합부는, 상기 신호 증폭도의 소정 구간에서 상기 신호 증폭도의 증가에 따라, 상기 장노광 영상에 대한 상기 합성 영상의 혼합 비율을 감소시킬 수도 있다. 이러한 구성에 의하면, 소정 구간에서 영상 센서의 신호 증폭도가 높아질수록 장노광 영상의 선택 비율이 높아진다. 이에 따라, 소정 구간에서 WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있게 된다.

본 발명의 다른 측면의 영상 처리 방법에 의하면,

영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성함;

상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻음; 및

상기 영상 센서의 신호 증폭도에 따라 상기 장노광 영상과 상기 합성 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 합성 영상과 상기 장노광 영상을 혼합함;을 포함한다.

이러한 방법에 의하면, 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율이 제어될 수 있다. 예를 들어, 영상 센서의 신호 증폭도가 커짐에 따라 WDR 합성 영상에 포함되는 노이즈가 눈에 띄게 된다. 이에 따라, 혼합부가 영상 센서의 신호 증폭도에 따라 WDR 합성-결과 비율을 변화시킴으로써, WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있게 된다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있게 된다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있게 된다.

상기 본 발명에 의하면, WDR 합성 영상에 포함되는 노이즈를 서서히 저감할 수 있다. 또한, 본 발명에 의하면, WDR 합성 처리의 온(On) 및 오프(Off)를 시간적으로 서서히 전환할 수 있다. 또한, WDR 합성-결과 비율의 설정에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부로부터 출력시킬 수도 있다.

도 1 및 2는 일반적인 WDR 합성 기술을 설명하기 위한 도면들이다.
도 3은 본 발명의 실시예에 따른 영상 처리 장치의 기능 및 구성을 나타내는 도면이다.
도 4는 WDR 합성-결과 비율의 산출에 대해 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하면서, 본 발명의 바람직한 실시예에 대해 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

또한, 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소에 대해 동일한 부호의 뒤에 다른 알파벳을 붙여 구별하는 경우도 있다. 다만, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특별히 구별할 필요가 없는 경우에는 동일 부호만 붙인다.

(일반적인 WDR 합성 기술)

우선, 일반적인 WDR 합성 기술에 대해 설명하기로 한다.

도 1 및 2는 일반적인 WDR 합성 기술을 설명하기 위한 도면이다. 도 1을 참조하면, 낮에 촬영된 영상들(단노광 영상(Img－a), 장노광 영상(Img－b) 및 합성 영상(Img－c))이 개시되어 있다.

또한, 도 2를 참조하면, 야간에 촬영된 영상들(단노광 영상(Img－d), 장노광 영상(Img－e) 및 합성 영상(Img－f))이 개시되어 있다.

도 1에 도시한 바와 같이, 낮에 실내에서 맑은 하늘의 옥외를 촬영하는 장면에서, 실내에는 장노광 영상(Img－b)이 사용되고, 실외에는 단노광 영상(Img－a)이 사용되어 합성됨으로써, 실내 및 실외 모두 시인성이 높은 합성 영상(Img－c)을 얻을 수 있다.

그런데, 저녁 시간대가 되면, 실외 및 실내 모두 어두워져 피사체의 밝기가 저하됨에 따라, 영상 센서는 전자적으로 신호를 증폭하여 출력함으로써 밝기를 유지하려고 한다. WDR 합성을 실시하는 블록에서 보면, 주간의 입력 신호와, 저녁 시간대의 증폭된 입력 신호는 밝기가 같거나 비슷하여 구별할 수 없다. 그러나, 저녁 시간대의 입력 신호는 영상 센서에 의하여 증폭되어 있으므로, 노이즈를 많이 포함하고, 특히 단노광 영상을 사용하는 영역에서는 노이즈가 눈에 띈다.

또한 도 2에 도시한 바와 같이, 야간의 시간대에서는 옥외나 옥내 모두 더욱 어두워져서, 영상 센서도 신호를 큰 폭으로 증폭하여 출력하게 된다. 특히 단노광 영상은 노광량이 적은 데다가 증폭되기 때문에, 노이즈 양이 큰 영상으로서 촬영된다. 그러나, 야간의 장노광 영상(Img－e)을 보면, 옥외에 존재하는 전광 간판이나 달은 포화 상태이고, WDR이 동작하고 있다면 전광 간판이나 달을 포함하는 영역에는 단노광 영상이 사용되게 된다. 그 결과, 전광 간판이나 달을 포함하는 영역에서는 노이즈가 상당히 현저한 합성 결과가 되는 문제가 있다.

이러한 상황에서는 WDR 합성 처리의 효과에 비하여 노이즈에 의한 방해가 커질 수 있다. 단노광 영상의 품질이 너무 낮은 경우에는, WDR 합성 처리를 중지하고, 장노광 영상만을 사용하는 것이 바람직하다.

따라서, 본 명세서에서는 WDR 처리 결과를 동영상으로 얻는 WDR 시스템을 전제로 하여 영상 센서의 신호 증폭도를 참조하고, 영상 센서의 신호 증폭도가 소정 구간인 경우(예를 들어, 영상 센서의 신호 증폭도가 높은 경우), 장노광 영상의 선택 비율을 높인다. 이러한 구성에 의하면, 노이즈가 적은 WDR 처리 결과가 얻어지고, WDR 처리 결과를 시간적으로 서서히 전환시킬 수 있다.

(실시예)

우선, 본 발명의 실시예에 따른 영상 처리 장치(1)의 기능 구성에 대해 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 영상 처리 장치(1)의 기능 구성을 나타내는 도면이다.

도 3에 도시한 바와 같이, 영상 처리 장치(1)는 영상 센서(10), 프레임 메모리(20), 사용-영상 선택부(40), 움직임 검출부(50), WDR 합성부(60), 계조 압축부(80) 및 혼합부(90)를 구비한다. 이하, 영상 처리 장치(1)가 포함하는 각 기능 블록의 기능에 대해 차례로 상세히 설명하기로 한다.

영상 처리 장치(1)는 영상 센서(10)의 노광 설정을 바꾸면서 2장의 영상들을 연속 촬영한다. 본 실시예의 경우, 단노광 촬영이 먼저 수행되고, 그 다음에 장노광 촬영이 수행된다. 물론, 장노광 촬영이 먼저 수행되고, 그 다음에 단노광 촬영이 수행될 수도 있다.

이와 같이 촬영된 단노광 영상 및 장노광 영상은 쌍으로서 프레임 메모리(20)에 기입된다. 장노광 영상 및 단노광 영상의 촬영과, 촬영된 장노광 영상 및 단노광 영상의 프레임 메모리(20)로의 기입은 연속적으로 행해진다.

또한, 도 3에 도시한 예에 있어서, 영상 처리 장치(1)는 장노광 영상 및 단노광 영상을 출력하기 위한 공통의 계통을 하나 가지고, 영상 센서(10)가 장노광 영상과 단노광 영상을 시분할로 출력한다. 하지만, 영상 처리 장치(1)는 장노광 영상과 단노광 영상을 동시에 출력할 수도 있다. 이러한 경우, 영상 처리 장치(1)는 영상 센서(10)로부터의 장노광 영상을 출력하기 위한 계통과, 단노광 영상을 출력하기 위한 계통을 가질 수 있다. 각각의 셔터 타임은, 예를 들어, 촬영 대상의 다이나믹 레인지나 영상 센서 사양 등에 의하여 정해진다.

또한 본 발명의 실시예에서는, 단노광 영상 및 장노광 영상이라는 용어를 사용하고 있는데, 이러한 용어가 촬영된 2 개의 영상들 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서, 노광 시간이 다른 2 개의 영상들이 촬영된 경우, 그 2 개의 영상들 중 상대적으로 노광 시간이 짧은 영상이 단노광 영상에 해당하고, 상대적으로 노광 시간이 긴 영상이 장노광 영상에 해당한다.

영상 센서(10)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하며, 당해 전하량을 전기 신호로 변환하는 이미지 영상 센서에 의하여 구성된다. 이미지 영상 센서의 종류는 특별히 한정되지 않고, 예를 들어, CCD(Charge　Coupled　Deｖice)일 수도 있고, CMOS(Complementary　Metal　Oxide　Semiconductor)일 수도 있다.

예를 들어, 영상 센서(10)는 소정의 배율(수 내지 수십 배)의 노광 비율을 취하고 단노광 영상 및 장노광 영상을 검출(촬영)한다. 영상 센서(10)는, 피사체가 어두워지면 영상 신호를 전자적으로 증폭하여 출력하고, 그 증폭도의 정보(이하, "신호 증폭도"라고도 함)를 혼합부(90)에게 제공한다.

사용-영상 선택부(40)는, 프레임 메모리(20)로부터 독출한 단노광 영상과 장노광 영상을 참조하여 장노광 영상 및 단노광 영상 각각의 포화 상태나 움직임 등을 검출하고, 단노광 영상과 장노광 영상 중 어느 하나를 사용-영상으로서 선택하기 위한 사용-영상 선택 정보를 생성한다. 단노광 영상과 장노광 영상 중 어느 하나를 선택하는 알고리즘으로서 다양한 알고리즘들이 있다.

예를 들어, 사용-영상 선택부(40)는, 장노광 영상 또는 단노광 영상의 화소값과 문턱값 제어부(30)에 의하여 제어된 포화 검출 문턱값과의 관계에 따라, 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성한다.

보다 상세하게는, 사용-영상 선택부(40)는, 장노광 영상에서 포화 검출 문턱값을 초과하는 화소값을 갖는 화소인 경우, 이 화소의 사용-영상으로서 단노광 영상을 선택할 수 있다. 또한, 사용-영상 선택부(40)는, 단노광 영상에서 포화 검출 문턱값보다 낮은 화소값을 갖는 화소인 경우, 이 화소의 사용-영상으로서 장노광 영상을 선택할 수 있다.

움직임 검출부(50)는 움직임을 검출하여 움직임 검출 정보를 생성한다. 움직임 검출 방법은 한정되지 않지만, 단노광 영상 및 장노광 영상으로부터 움직임을 검출하는 경우, 어느 하나의 영상에 대해 노광 비율에 따른 게인을 곱하여 정규화한 후에 차분을 산출하는 것이 바람직하다. 또한, 움직임 검출 정보의 생성 방법은 특별히 한정되지 않는다. 예를 들어, 움직임 검출부(50)는 단노광 영상과 장노광 영상과에 따라 검출한 움직임과 소정의 움직임량과의 관계에 따라 움직임 검출 정보를 생성할 수 있다.

구체적으로, 움직임 검출부(50)는 단노광 영상과 장노광 영상에 있어서, 대응되는 영역의 화소값 또는 기울기의 차분을 검출하고, 차분이 소정의 움직임량 보다 큰 영역을 움직임 영역으로 검출할 수 있다. 한편, 움직임 검출부(50)는 차분이 소정의 움직임량 보다 작은 영역을 비움직임 영역으로 검출할 수 있다. 차분이 소정의 움직임량과 동일한 영역은 어느 하나의 영역으로 검출될 수도 있다. 움직임 검출부(50)는 이러한 검출 결과를 움직임 검출 정보로서 생성할 수 있다.

WDR 합성부(60)는 사용-영상 선택부(40)에 의하여 생성된 사용-영상 선택 정보에 따라 단노광 영상과 장노광 영상을 합성함으로써 WDR 합성 영상을 생성한다. 구체적으로는, WDR 합성부(60)는 사용-영상 선택 정보를 참조하여 단노광 영상 사용 영역에는 단노광 영상을 사용하고, 장노광 영상 사용 영역에는 장노광 영상을 사용하여 합성 영상을 생성한다. 합성시에는 어느 하나의 영상에 대해 노광 비율에 따른 게인을 곱하여 정규화한 후에 합성되는 것이 바람직하다.

여기에서, WDR 합성부(60)는 사용-영상 선택부(40)에 의하여 생성된 사용-영상 선택 정보에 따라 단노광 영상 및 장노광 영상을 합성할 수도 있다. 하지만, 이러한 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등의 아티팩트(artifact)가 발생할 수 있다. 그 때문에, WDR 합성부(60)는 움직임에 따라 윤곽이 이중이 되는 현상을 저감하는 처리를 수행할 수도 있다. 이러한 처리를 포함하는 단노광 영상과 장노광 영상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다. 또한 영상 센서(10)의 분해 능력을 12비트로 하였을 때, WDR 합성 영상의 각 화소는 16 비트 정도로 확장될 수 있다.

계조 압축부(80)는 다이나믹 레인지가 넓은 영상 신호의 비트 레인지를 소정의 비트 레인지에 거두기 위한 압축 처리를 WDR 합성부(60)에 의하여 생성된 WDR 합성 영상에 대해 실시한다. 이러한 압축 처리에 있어서, 룩업 테이블(LUT : Look-Up Table)에 따른 톤 매핑이 이용될 수 있는데, 이에 특별히 한정되는 것은 아니며 어떠한 방법이나 이용 가능하다.

계조 압축부(80)의 후단은, 예를 들어, 베이어 데이터로부터 RGB 프레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 관리 등을 포함하는 영상 처리 엔진에 접속된다. 따라서, 계조 압축부(80)로부터의 출력 신호의 데이터 양은, 예를 들어, 영상 처리 엔진으로의 입력 데이터의 크기(size)에 적합하도록(예를 들어, 12 비트 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기(size)만 저하시켜서는 어두운 영상으로 변환되기만 할 뿐이므로, 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되는 것이 바람직하다.

혼합부(90)는, 영상 센서(10)의 신호 증폭도에 따라 계조 압축부(80)로부터 출력된 계조 압축 처리 결과와 프레임 메모리(20)로부터 취출된 장노광 영상의 혼합 비율을 산출하고, 산출한 혼합 비율에 의하여 계조 압축 처리 결과와 장노광 영상을 혼합한다.

장노광 영상에 대한 WDR 합성 결과의 혼합 비율(이하, "WDR 합성-결과 비율"이라 함)의 산출에 대해 도 4를 이용하여 구체적으로 설명하기로 한다.

피사체가 밝을 때, 영상 센서(10)는 어떠한 신호 증폭도 하지 않는다. 따라서, 혼합부(90)는, 영상 센서(10)로부터 입력되는 신호 증폭이 없다는 취지의 정보에 따라 WDR 합성부(60)에 의하여 생성된 WDR 합성 결과를 100 퍼센트(%) 사용하도록 WDR 합성-결과 비율을 산출하고, WDR 합성부(60)에 의하여 생성된 WDR 합성 결과를 WDR의 최종 결과로서 출력한다.

한편, 피사체가 어두워지면, 영상 센서(10)가 신호 증폭을 실시하게 된다. 따라서, 혼합부(90)는 영상 센서(10)의 신호 증폭도가 소정 구간의 범위 내에 들어가는 경우, 영상 센서(10)의 신호 증폭도의 증가에 따라 WDR 합성-결과 비율을 감소시키고, 장노광 영상의 혼합 비율을 높이도록 제어한다. 그리고, 혼합부(90)는 영상 센서(10)의 신호 증폭도가 최대 값에 이르면, 장노광 영상의 혼합 비율을 100 퍼센트(%)로 하여 특히 단노광 영상에서 현저해지는 노이즈의 영향을 배제한다.

예를 들어, 피사체의 밝기가 서서히 저하하는 상황에서는, 영상 센서(10)의 신호 증폭도는 서서히 상승하고, 이에 따라 WDR 합성-결과 비율이 서서히 감소되므로(장노광 영상의 선택 비율이 서서히 높아지므로), WDR 합성 처리의 효과를 시간적으로 서서히 변경할 수 있다. 또한, 이러한 구성에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부(90)로부터 출력시킬 수 있게 된다.

도 3에 도시한 예에 있어서, 영상 센서(10)로부터 영상 센서의 신호 증폭도가 혼합부(90)에 직접 출력되고 있다. 예를 들어, 혼합부(90) 전체가 하드웨어에 의하여 구성되어 있는 경우나, 소프트웨어의 실행에 의하여 실현되고 있는 경우에는 이러한 구성을 가질 수 있다. 그러나, 혼합부(90) 중 WDR 합성-결과 비율을 제어하는 구성이 펌 웨어에 의하여 구성될 수도 있다. 이러한 경우에는 영상 센서(10)에 의한 신호 증폭도가 영상 센서(10)로부터 당해 펌 웨어에 올려지고, 혼합부(90)에 의하여 사용되는 WDR 합성-결과 비율이 당해 펌 웨어에 의하여 제어될 수 있다.

또한, 영상 센서(10)에 의한 신호 증폭도가 최대 값이 되었을 때, 장노광 영상의 혼합 비율도 100 퍼센트(%)로 설정되는 예에 대하여 위에서 설명하였다. 그러나, 본 발명의 실시예의 목적은 WDR 합성 결과의 노이즈가 두드러지지 않게 하는 데에 있다. 따라서, WDR 합성 영상에 포함되는 노이즈가 두드러지지 않는 경우 등에 있어서는 장노광 영상의 혼합 비율로서 100 퍼센트(%) 보다 낮은 값으로 설정할 수도 있다.

또한, 영상 센서(10)에서의 신호 증폭의 개시 타이밍과 WDR 합성-결과 비율을 감소시키기 시작하는 타이밍은 동시가 아닐 수 있다. 상술한 바와 같이, 본 발명의 실시예의 목적은 WDR 합성 결과의 노이즈가 두드러지지 않게 하는 것이다. 따라서, 영상 센서(10)의 신호 증폭이 개시된다 하더라도, WDR 합성 영상에 포함되는 노이즈가 두드러지지 않는 경우 등에 있어서는 WDR 합성-결과 비율을 변경하지 않을 수 있다.

이상 설명한 바와 같이, 본 발명의 실시예에 의하면, 노광 상태가 악화되어 단노광 영상에 포함되는 노이즈 양이 매우 증가하는 경우, WDR 합성시의 장노광 영상의 선택 비율을 높이므로써 노이즈의 영향을 저감한 WDR 합성 영상을 얻을 수 있다. 또한, 피사체의 조명 환경이나 노광 상태에 따라 WDR 합성 처리의 효과를 시간적으로 서서히 전환할 수 있다. 또한, 이러한 구성에 의하여, WDR 오프(Off)시에 장노광 영상과 동일한 영상을 혼합부(90)로부터 출력시킬 수 있게 된다.

(정리)

본 발명의 실시예에서는, 영상 센서에서 신호가 증폭되는 노광 상태가 열악한 상황에서는 단노광 영상을 사용하는 WDR 처리를 오프(Off)로 한다고 하는 사고에 따라, 영상 센서의 신호 증폭도에 따라 장노광 영상의 비율을 제어한다. 예를 들어, 영상 센서의 신호 증폭도가 소정 구간에서는(예를 들어, 영상 센서의 신호 증폭도가 높을 때는), 장노광 영상의 비율을 높인다. 이에 따라 WDR 처리 영상 중에 포함되는 노이즈를 서서히 저감할 수 있다. 또한, 피사체의 조명 환경의 변화에 따라 WDR 처리의 온(On)과 오프(Off)를 시간적으로 서서히 전환할 수 있다.

WDR(Wide Dynamic Range) 기술은 중요시되고 있다. 종래 기술에서는 어두운 장면에서 단노광 영상이 합성되면 노이즈가 매우 두드러지는 것이 큰 문제였다. 또한, 그러한 상황에서 WDR 처리를 오프(Off)로 하려고 하면, 처리 영상에 갑작스러운 변화를 발생시키게 되어 가능한 그러한 변화를 억제하려는 요청이 있었다.

본 발명의 실시예는 피사체의 조명 환경과 관련성이 높은 영상 센서의 신호 증폭도를 참조하여 장노광 영상의 사용 비율을 높이므로써, 종래에 문제가 되었던 노이즈를 효과적으로 저감할 수 있다. 또한, WDR 처리의 온(On)과 오프(Off)를 시간적으로 서서히 변화시키는 것도 가능하다. WDR 처리 결과와 장노광 영상의 혼합 비율을 변화시키는 구성에서는 보다 자연스러운 WDR 처리 영상을 얻을 수 있다. 또한, 2차원의 계조 처리와 조합하는 경우에도, 적은 사용 메모리로 실현되는 구성을 제시하였다.

종래의 문제를 효과적으로 해결할 뿐만 아니라, 프레임 레이트의 저하라는 성능 저하 없이 실현할 수 있는 점, 및 구성이 간단하고 작은 회로 규모로 실현 가능한 점도 뛰어난 점으로서 들 수 있다.

이상, 첨부 도면을 참조하면서 본 발명의 바람직한 실시예에 대해 상세히 설명하였지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 특허 청구의 범위에 기재된 기술적 사상의 범주 내에서 각종의 변경예 또는 수정예에 도달할 수 있음은 명백하고, 이것들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

영상 처리와 관련된 모든 분야에서 이용될 가능성이 높다.

1 : 영상 처리 장치, 10 : 영상 센서,
20 : 프레임 메모리, 40 : 사용-영상 선택부,
50 : 움직임 검출부, 60 : WDR 합성부,
80 : 계조 압축부, 90 : 혼합부.

Claims

영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성하는 사용-영상 선택부;
상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻는 합성부; 및
상기 영상 센서의 신호 증폭도에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성한 상기 합성 영상과 상기 장노광 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 단노광 영상 및 상기 장노광 영상을 합성한 상기 합성 영상과 상기 장노광 영상을 혼합하는 혼합부;를 포함하는, 영상 처리 장치.
제1항에 있어서, 상기 혼합부는,
상기 신호 증폭도의 소정 구간에서 상기 신호 증폭도의 증가에 따라 상기 장노광 영상에 대한 상기 합성 영상의 혼합 비율을 감소시키는, 영상 처리 장치.
영상 센서에 의하여 검출된 단노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위하여 사용-영상 선택 정보를 생성함;
상기 사용-영상 선택 정보에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성하여 합성 영상을 얻음; 및
상기 영상 센서의 신호 증폭도에 따라 상기 단노광 영상 및 상기 장노광 영상을 합성한 상기 합성 영상과 상기 장노광 영상의 혼합 비율을 산출하고, 상기 혼합 비율에 의하여 상기 단노광 영상 및 상기 장노광 영상을 합성한 상기 합성 영상과 상기 장노광 영상을 혼합함;을 포함하는, 영상 처리 방법.