KR102071460B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

Abstract

본 발명은 3매 이상의 화상을 이용하여 합성을 할 경우에 화상의 경계를 매끄럽게 접합하여 자연스러운 합성 화상을 얻을 수 있고 회로 규모를 보다 작게 하여 처리 지연을 더욱 줄일 수 있는 기술을 제공한다. 본 발명의 일 실시예에 따르면, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치A에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되어 있는 선택 정보에 대해, LPF 처리하는 LPF(40)와 LPF 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 WDR 합성부(50)를 구비한 화상 처리 장치(1)가 제공된다.

Description

화상 처리 장치 및 화상 처리 방법{SYESTEM AND METHOD FOR IMAGE PROCESSING}

본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.

최근 단시간 노광의 화상(이하, 단순히 「단노광 화상」이라고도 한다.)과 장시간 노광의 화상(이하, 단순히 「장노광 화상」이라고도 한다.)을 연속 촬영하여 합성함으로써 센서가 촬영 가능한 다이나믹 레인지를 초과한 다이나믹 레인지를 포착한 화상을 얻는 WDR(와이드 다이나믹 레인지) 혹은 HDR(하이 다이나믹 레인지)라는 촬영 기능이 증가하고 있다. 상기 촬영 기능은, 역광의 구도 등 명암비가 매우 큰 씬에서는 특히 큰 효과가 있다.

또한 최근에는 촬영 가능한 다이나믹 레인지의 확장을 목적으로 하여 노광을 바꾼 화상을 3매 이상 촬영하여 합성하는 기술도 등장하고 있다. 예를 들면 특허문헌 1에는, 노광을 바꾸어 촬영한 3매의 화상을 매끄럽게 합성하는 수법이 개시되어 있다.

상기 수법에서는, 기준 노출 화상을 그레이 스케일 화상으로 변환하고 농담치의 문턱값 처리에 의해 이 그레이 스케일 화상을 밝은 영역과 어두운 영역과 중간 영역의 3개로 영역 분할하고 해당 3개의 영역 각각에 색을 입혀 평균화 필터 처리를 한 다음 각 화소의 색성분에 따라 3매의 화상을 합성한다. 농담치의 문턱값은 엣지 검출 결과와 농담치에 따라 분할된 영역의 경계를 사용하여 기준 노출 화상의 전화소에 대한 득점 계산에 의해 결정된다.

[선행 기술문헌]

특허문헌 1: 일본 특허공개 제2009-10566호

특허문헌 2: 일본 특허공개 제2005-72965호

여기서 기준 노출 화상을 사용하여 영역 분할하는 수법을 이용한 경우, EV(Exposure Value)를 ±1정도 여유를 두고 촬영하는 정도라면 대응할 수 있다. 그러나 상기 수법을, 노광량을 여러 배로 하는 오더로 크게 바꾸어 촬영하는 WDR이라는 촬영 기능에 적용할 경우에는, 고휘도부의 희게 날리는 형상 및 검게 뭉개지는 현상이 심하여 기준 노출 화상 1매를 기준으로 하여 합성 대상으로서 사용하는 화상을 적절히 결정할 수 없게 된다.

또 촬영 가능한 다이나믹 레인지를 더욱 확장하기 위해 합성에 사용하는 화상 매수를 늘리면 합성 대상 화상의 결정은 더욱 어려워져 고휘도 또는 저휘도 영역에서 적절한 합성 결과를 얻을 수 없게 될 가능성이 높아진다.

또한 엣지 검출을 사용하는 점, 그레이 스케일 화상이나 가중을 위한 RGB 플레인을 준비할 필요가 있는 점, 전화소에 대해 득점을 붙여 산출할 필요가 있기 때문에 전화소의 처리가 끝나지 않으면 합성 화상을 출력할 수 없는 점 등 하드웨어에서 실행하려면 매우 큰 회로 규모가 필요하다고 생각되는 점이 있다. 동일한 기능을 소프트웨어로 실현한다고 해도 많은 연산량을 필요로 하여 큰 처리 지연도 발생한다고 생각된다.

그래서 본 발명은, 3매 이상의 화상을 이용하여 합성할 경우에 화상의 경계를 매끄럽게 접속하여 자연스러운 합성 화상을 얻을 수 있는 기술을 제공한다. 또한 본 발명은, 3매 이상의 화상을 이용하여 합성할 경우에 회로 규모를 보다 작게 하여 처리 지연을 더욱 줄일 수 있는 기술을 제공한다.

본 발명의 일실시형태에 의하면, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되고 있는 선택 정보에 대해 소정 처리를 하는 처리부와, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 합성부를 구비한 화상 처리 장치가 제공된다.

상기 구성에 의해 다른 노광량으로 촬영된 복수의 화상이 인접한 경계 부근에서는, 해당 인접한 복수의 화상 각각의 선택치의 중간값이 선택치로서 생성된다. 따라서 혼합 비율을 매끄럽게 변화시켜 경계 부근이 매끄럽게 접속된 합성 화상을 얻을 수 있다.

또 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있다. 따라서 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 더 줄일 수 있다.

예를 들면, 상기 N매의 화상 각각을 식별하기 위한 식별치는, 상기 소정 수치에 대해 0에서 N-1까지의 각 정수를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값이어도 좋다. 상기 구성에 의하면, 인접한 식별치끼리의 간격을 등간격으로 하여 노광량순으로 식별치를 할당할 수 있게 되므로 상기 소정 처리된 선택 정보에 정의되어 있는 선택치를 이용하여 혼합 비율을 용이하게 연산할 수 있게 된다.

상기 소정 처리는, 선택 정보를 크게 그라데이션시키는 처리인 것이 바람직하다. 그러면 경계 부근을 더욱 매끄럽게 접속시킬 수 있게 된다. 예를 들면, 상기 소정 처리는 로우 패스 필터 처리여도 좋다.

상기 2매의 화상을 화소마다 선택하는 수법은 특별히 한정되지 않는다. 예를 들면, 상기 합성부는 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 더욱 작은 2개의 식별치를, 상기 2매의 화상 각각을 식별하기 위한 식별치로서 특정해도 좋다. 이와 같이 하여 상기 2매의 화상을 화소마다 선택해도 좋다.

또 예를 들면, 상기 합성부는 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와 상기 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고 상기 혼합 비율에 기초하여 상기 2매의 화상 각각의 대응하는 화소를 합성해도 좋다. 이와 같이 하여 혼합 비율을 화소마다 산출할 수 있다.

또 본 발명의 다른 실시형태에 의하면, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되어 있는 선택 정보에 대해 소정 처리를 하는 단계와, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 단계를 포함한 화상 처리 방법이 제공된다.

상기 방법에 의하면, 다른 노광량으로 촬영된 복수의 화상이 인접한 경계 부근에서는, 해당 인접한 복수의 화상 각각의 선택치의 중간값이 선택치로서 생성된다. 따라서 혼합 비율을 매끄럽게 변화시켜 경계 부근이 매끄럽게 접속된 합성 화상을 얻을 수 있다.

또 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있다. 따라서 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 더욱 줄일 수 있다.

이상 설명한 것처럼 본 발명에 의하면, 3매 이상의 화상을 이용하여 합성할 경우에 화상의 경계를 매끄럽게 접속하여 자연스러운 합성 화상을 얻을 수 있는 기술을 제공할 수 있다. 또한 본 발명에 의하면, 3매 이상의 화상을 이용하여 합성할 경우에 회로 규모를 보다 작게 하여 처리 지연을 더욱 줄일 수 있다.

도 1은 본 발명의 실시형태에 관한 화상 처리 장치의 기능 구성예를 도시한 도면이다.
도 2는 본 발명의 실시형태에 관한 WDR 합성 기술에서의 각종 정보의 예를 도시한 도면이다.
도 3은 본 발명의 실시형태에 관한 화상 처리 장치의 동작 흐름의 예를 도시한 도면이다.

이하에 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성요소에 대해서는 동일 부호를 붙임으로서 중복 설명을 생략한다.

또 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 복수의 구성요소를, 동일한 부호 뒤에 다른 알파벳을 붙여 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 가진 복수의 구성요소 각각을 특별히 구별할 필요가 없는 경우 동일 부호만을 붙인다.

아울러 본 명세서에서는, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상의 예로서, 노광량이 적은 순서대로 단노광 화상, 중노광 화상 및 장노광 화상의 3개의 화상을 촬영하는 예를 주로 설명하기로 한다. 그러나 후술하는 바와 같이 4매 이상의 화상을 촬영할 경우에도 본 발명의 실시형태에 관한 화상 처리 장치(1)는 적용 가능하다.

우선, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 기능 구성에 대해 설명하기로 한다. 도 3은, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 기능 구성을 도시한 도면이다. 도 3에 도시한 바와 같이 화상 처리 장치(1)는, 센서(10), 단노광 화상 메모리(21), 중노광 화상 메모리(22), 장노광 화상 메모리(23), 사용 화상 선택부(30), LPF(Low Pass Filter)(40), WDR 합성부(50) 및 계조 압축부(60)를 구비한다. 이하, 화상 처리 장치(1)가 구비한 각 기능 블록의 기능에 대해 차례대로 상세히 설명하기로 한다.

화상 처리 장치(1)는, 센서(10)의 노광 설정을 바꾸어 3매의 화상을 연속 촬영하는데, 여기에서는 단노광 촬영을 먼저 하고 그 다음으로 중노광 촬영을 하고 그 다음으로 장노광 촬영을 하는 것으로 한다. 단노광 촬영된 단노광 화상은 단노광 화상 메모리(21)에 기입된다. 화상 처리 장치(1)는, 단노광 촬영이 종료되면 노광 설정을 바꾸어 중노광 촬영을 한다. 중노광 촬영된 중노광 화상은 중노광 화상 메모리(22)에 기입된다. 화상 처리 장치(1)는, 중노광 촬영이 종료되면 노광 설정을 바꾸어 장노광 촬영을 한다. 장노광 촬영된 장노광 화상은 장노광 화상 메모리(23)에 기입된다.

도 1에 도시한 예에서는, 화상 처리 장치(1)는 장노광 화상, 중노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통을 1개 가지고 센서(10)가 장노광 화상과 중노광 화상과 단노광 화상을 시분할로 출력하는 것으로 하였으나, 장노광 화상과 중노광 화상과 단노광 화상이 동시에 촬영되어도 좋다. 이런 경우, 화상 처리 장치(1)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과 중노광 화상을 출력하기 위한 계통과 단노광 화상을 출력하기 위한 계통의 3개의 계통을 가지면 된다. 각각의 셔터 타임은, 예를 들면 촬영 대상의 다이나믹 레인지나 센서 사양 등에 의해 정해진다.

아울러 단노광 화상, 중노광 화상 및 장노광 화상 각각의 독출 동작은, 하드웨어 실장의 경우에는 시스템을 어떻게 짜는지에 따라 바뀔 수 있다. 예를 들면, 단노광 화상, 중노광 화상 및 장노광 화상 각각은 일단 DRAM(Dynamic Random Access Memory) 등의 메모리에 격납된 후 합성시에 재차 독출되는 구성이어도 좋다.

여기서 본 발명의 실시형태에서는 단노광 화상, 중노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이들 용어는 촬영된 3개 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서 노광 시간이 다른 3개의 화상이 촬영된 경우에 해당 3개의 화상 중 노광 시간이 짧은 순서대로 단노광 화상, 중노광 화상 및 장노광 화상으로 명명된다.

도 2에 도시한 「단노광 화상」 「중노광 화상」 「장노광 화상」은, 단노광 화상, 중노광 화상 및 장노광 화상 각각의 예를 나타낸다. 「단노광 화상」을 참조하면, 매우 높은 휘도를 가진 창 밖의 풍경이 적정 노출로 촬영되었다. 그러나 그 이외의 영역은 노출 언더가 되어 거의 새까맣게 되어 시인성이 낮아졌다.

「중노광 화상」을 참조하면, 선반 위의 영역이 적정 노출로 촬영되어 휴대전화의 존재를 시인할 수 있게 된다. 그러나 창 밖은 과노출로 희게 날리고 선반 아래는 아직 노출 언더라서 시인성이 낮다. 「장노광 화상」을 참조하면 어두운 선반 아래의 영역이 적정 노출로 촬영되어 가방의 존재를 시인할 수 있게 된다. 그러나 창 밖 및 선반 위는 과노출이 되어 시인성이 낮아진다.

도 1로 되돌아와 설명을 계속하기로 한다. 센서(10)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고 결상된 광을 전하량으로 광전 변환하여 해당 전하량을 전기 신호로 변환하는 이미지 센서에 의해 구성된다. 이미지 센서의 종류는 특별히 한정되지 않으며, 예를 들면 CCD(Charge Coupled Deｖice)여도 좋고, CMOS(Complementary Metal Oxide Semiconductor)여도 좋다.

사용 화상 선택부(30)는 단노광 화상 메모리(21)로부터 독출한 단노광 화상과, 중노광 화상 메모리(22)로부터 독출한 중노광 화상과, 장노광 화상 메모리(23)로부터 독출한 장노광 화상을 참조하여 단노광 화상, 중노광 화상 및 장노광 화상 각각의 포화 상태나 움직임 등을 검출하여 단노광 화상과 중노광 화상과 장노광 화상 중 어느 하나를 사용 화상으로서 선택하기 위한 선택 정보를 생성한다. 단노광 화상과 중노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘으로서는 다양한 알고리즘이 상정된다.

예를 들면, 장노광 화상에서 포화된 영역은 중노광 화상에서는 포화되지 않을 가능성이 높기 때문에 해당 영역의 사용 화상으로서는 중노광 화상을 선택하면 된다. 그러나 해당 영역이 중노광 화상에서도 포화되어 있는 경우에는 해당 영역의 사용 화상으로서 단노광 화상을 선택해도 좋다. 그러나 이 처리만으로는, 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등 아티팩트가 발생할 수 있다. 따라서 움직임을 검출하여 윤곽이 이중이 되는 현상을 줄이는 처리를 해도 좋다. 상기 처리를 포함한, 단노광 화상과 중노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다.

아울러 본 명세서에서는, 장노광 화상, 중노광 화상 및 단노광 화상 각각을 식별하기 위한 식별치(D0∼D2)는, 「0」을 하한치로 하여 소정 수치A에 N-1(이 예에서는, 화상이 3매이므로 3-1=2)을 곱한 수치를 상한치로 하는 범위로 정의된다. 상기 선택 정보는 장노광 화상, 중노광 화상 및 단노광 화상 각각을 식별하기 위한 식별치(D0∼D2) 중 하나를 나타내는 선택치가 각 화소에 대응하여 정의된다. 소정 수치A는 특별히 한정되지 않지만, 2의 누승이라면 후술하는 바와 같이 식별치간의 거리에 의한 나눗셈이 간단한 비트 시프트 연산으로 이루어질 수 있다.

장노광 화상, 중노광 화상 및 단노광 화상 각각을 식별하기 위한 식별치(D0∼D2)는, 소정 수치A에 대해 「0」, 「1」, 「2」를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값이면 된다. 이하에 나타내는 예에서는, 소정 수치A를 「256」으로 하고, 「256」에 대해 「0」을 곱한 결과로의 「0」이, 장노광 화상을 식별하기 위한 식별치D0로서 할당된 경우를 설명하기로 한다.

마찬가지로 이하에 나타내는 예에서는, 「256」에 대해 「1」을 곱한 결과로서의 「256」이, 중노광 화상을 식별하기 위한 식별치D1으로서 할당되고, 「256」에 대해 「2」를 곱한 결과로서의 「512」가, 단노광 화상을 식별하기 위한 식별치D2로서 할당된 경우를 설명하기로 한다.

도 2에 도시한 「선택 정보」는, 사용 화상 선택부(30)에 의해 생성된 선택 정보의 일례를 나타낸다. 이 「선택 정보」는, 「장노광 화상」에서 포화되지 않은 영역의 사용 화상으로서는 「장노광 화상」을 선택하고, 「장노광 화상」에서 포화되고 「중노광 화상」에서 포화되지 않은 영역의 사용 화상으로서는 「중노광 화상」을 선택하고, 「중노광 화상」에서 포화된 영역의 사용 화상으로서는 「단노광 화상」을 선택하는 수법을 채용한 경우에 생성된다.

이 「선택 정보」에서 검은색 영역은 「장노광 화상」을 선택한다는 취지를 나타내고 있으며 검은색 영역의 각 선택치는 「0」이다. 또 회색 영역은 「중노광 화상」을 선택한다는 취지를 나타내고 있으며 회색 영역의 각 선택치는 「256」이다. 또한 흰색 영역은 「단노광 화상」을 선택한다는 취지를 나타내고 있으며 흰색 영역의 각 선택치는 「512」이다.

도 1로 되돌아와 설명을 계속하기로 한다. LPF(40)는, 이와 같이 정의된 선택 정보에 대해 처리를 한다. 이하에서는, 소정 처리가 로우 패스 필터 처리인 경우를 예로 들어 설명을 계속하는데, 소정 처리는 특별히 한정되지 않는다. 로우 패스 필터 처리는, 선택 정보에서 고주파 성분을 제거하는 처리에 상당한다. 상기 처리에 의해 선택 정보를 크게 그라데이션시켜 WDR 합성부(50)에서 합성할 때에 단노광 화상, 중노광 화상 및 장노광 화상 각각의 경계를 매끄럽게 접속시킬 수 있게 된다.

LPF(40)로부터의 출력 신호의 비트 정밀도는, 단노광 화상, 중노광 화상 및 장노광 화상 각각의 경계가 매끄럽게 접속되기에 충분하도록 확보되면 된다. 선택 정보의 그라데이션 방법에는 다양한 수법이 상정되어 특별히 한정되지 않지만, 그라데이션 효과와 연산량 및 회로 규모 등을 고려하여 그라데이션 방법이 결정되는 것이 바람직하다. 도 2에 도시한 「선택 정보＋LPF」는, 「선택 정보」에 대해 로우 패스 필터 처리가 LPF(40)에 의해 이루어진 선택 정보의 예를 나타내고 있다.

도 2에 도시한 「선택 정보＋LPF」를 참조하면, 「선택 정보」에서 다른 선택치를 가진 2개 영역의 경계 부근에서는 해당 2개 영역 각각의 선택치의 중간값이 선택치로서 출력된다. 반면 「선택 정보」에서 일정한 선택치가 연속되어 있는 영역에서는 그 영역의 선택치가 그대로 유지된다.

WDR 합성부(50)는, 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 단노광 화상, 중노광 화상 및 장노광 화상으로부터 2매의 화상을 선택하는 선택 처리와, 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행한다.

예를 들면, 선택 처리에서 WDR 합성부(50)는, 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 단노광 화상, 중노광 화상 및 장노광 화상으로부터 2매의 화상을 각 화소에 대해 선택하면 좋다. 보다 상세하게는, WDR 합성부(50)는 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 보다 작은 2개의 식별치를, 2매의 화상 각각을 식별하기 위한 식별치로서 특정하면 된다.

또 예를 들면, 합성 처리에서 WDR 합성부(50)는, 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치와 선택한 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고, 혼합 비율에 기초하여 해당 2매의 화상 각각의 대응하는 화소를 합성하면 좋다. 예를 들면, 선택한 2매의 화상 각각의 식별치끼리의 거리에 대한 선택치에서 각 식별치로의 거리를 각 혼합 비율로 해도 좋다.

예를 들면 WDR 합성부(50)는, 각 화소에 대해 선택치를 Sel로 하고, 단노광 화상의 화소치를 Ps로 하고, 중노광 화상의 화소치를 Pm으로 하고, 장노광 화상의 화소치를 Pl로 하고, 합성 후의 화소치를 Out으로 한 경우, 이하의 [수학식 1] 또는 [수학식 2]에 기초하여 합성할 수 있다.

[수학식 1]

IF(256＜Sel≤512)

Out=Ps*(512-Sel)/(512-256) + Pm*(Sel-256)/(512-256)

[수학식 2]

IF(0≤Sel≤256)

Out=Pm*(Sel-256)/(256-0) + Pl*Sel/(256-0)

예를 들면, 선택치Sel이 「300」인 화소가 존재한다고 하자. 이 선택치Sel 「300」은, 중노광 화상을 식별하기 위한 식별치「256」보다 크고, 단노광 화상을 식별하기 위한 식별치「512」이하이다. 이러한 경우에 식(1)의 조건을 충족하여 그 선택치Sel과의 차분이 보다 작은 2개의 식별치는 「256」「512」가 된다. 따라서 WDR 합성부(50)는, 이 2개의 식별치「256」「512」를 2매의 화상 각각을 식별하기 위한 식별치로서 특정하면 된다.

또 이러한 경우, 선택한 2매의 화상 각각의 식별치끼리의 거리는 「512」-「256」=「256」이며, 선택치Sel「300」에서 식별치「256」으로의 거리는 「300」-「256」=「44」이며, 선택치Sel「300」에서 식별치「512」로의 거리는 「512」-「300」=「212」이다. 따라서 WDR 합성부(50)는, 중노광 화상의 혼합 비율을 「44」/「256」, 단노광 화상의 혼합 비율을 「212」/「256」으로 산출하고 이들 혼합 비율과 각 화소치를 이용하여 식(1)에 기초하여 합성 후의 화소치Out을 산출할 수 있다.

이 예와 같이 단노광 화상을 사용 화상으로 하는 영역과 중노광 화상을 사용 화상으로 하는 영역이 인접한 경계 부근에서는, LPF(40)에 의해 「256」과 「512」의 중간값이 선택치로서 생성된다. 따라서 WDR 합성부(50)는 단노광 화상 및 중노광 화상 각각의 화소치의 혼합 비율이 매끄럽게 변화되도록 할 수 있다. 그 결과, 다른 노광량의 화상끼리의 경계 부근이 매끄럽게 접속된 WDR 합성 화상을 얻을 수 있다.

또 예를 들면, 선택치Sel이 「200」인 화소가 존재한다고 하자. 이 선택치Sel「200」은, 장노광 화상을 식별하기 위한 식별치「0」이상이며, 중노광 화상을 식별하기 위한 식별치「256」이하이다. 이러한 경우, 식(2)의 조건을 충족하며 그 선택치Sel과의 차분이 보다 작은 2개의 식별치는 「0」「256」이 된다. 따라서 WDR 합성부(50)는 이 2개의 식별치「0」「256」을 2매의 화상 각각을 식별하기 위한 식별치로서 특정하면 된다.

또 이러한 경우, 선택한 2매의 화상 각각의 식별치끼리의 거리는 「256」-「0」=「256」이며, 선택치Sel「200」에서 식별치「0」으로의 거리는 「200」-「0」=「200」이며, 선택치Sel「200」에서 식별치「256」으로의 거리는 「256」-「200」=「56」이다. 따라서 WDR 합성부(50)는, 중노광 화상의 혼합 비율을 「56」/「256」, 장노광 화상의 혼합 비율을 「200」/「256」으로 산출하고 이러한 혼합 비율과 각 화소치를 이용하여 식(2)에 기초하여 합성 후의 화소치Out을 산출할 수 있다.

이 예와 같이 장노광 화상을 사용 화상으로 하는 영역과 중노광 화상을 사용 화상으로 하는 영역이 인접한 경계 부근에서는, LPF(40)에 의해 「0」과 「256」의 중간값이 선택치로서 생성된다. 따라서 WDR 합성부(50)는 장노광 화상 및 중노광 화상 각각의 화소치의 혼합 비율이 매끄럽게 변화되도록 할 수 있다. 그 결과, 다른 노광량의 화상끼리의 경계 부근이 매끄럽게 접속된 WDR 합성 화상을 얻을 수 있다.

아울러 상기 예에서는, 선택치Sel이 「256」인 경우 상기 식(2)의 조건을 충족하도록 되어 있으나 상기 식(2)의 조건 대신에 상기 식(1)의 조건을 충족하도록 각각의 조건을 변경해도 좋다.

계조 압축부(60)는, 다이나믹 레인지가 넓은 화상 신호의 비트 레인지를 소정의 비트 레인지로 수렴하기 위한 압축 처리를, WDR 합성부(50)에 의해 생성된 WDR 화상에 대해 실행한다. 계조 압축부(60)의 후단은, 예를 들면 베이어 데이터로부터 RGB플레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 매니지먼트 등을 포함한 화상 처리 엔진에 접속된다. 따라서 계조 압축부(60)로부터의 출력 신호의 데이터량은, 예를 들면 화상 처리 엔진으로의 입력 데이터 사이즈에 적합하도록(예를 들면, 12bit 정도로) 조정되는 것이 바람직하다. 단순히 데이터 사이즈를 줄이는 것만으로는 어두운 화상으로 변환되기 때문에 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되면 좋다.

도 2에 도시한 「합성 화상」은, 본 발명의 실시형태에 관한 화상 처리 장치(1)에 의해 출력되는 합성 화상의 예이다. 이 예를 참조하면, 노광량이 다른 화상끼리 이웃한 경계 부근에서도 불연속적인 부분이 눈에 띄지 않아 자연스러운 합성 화상이 얻어지는 것으로 파악된다.

또 본 발명의 실시형태에 관한 화상 처리 장치(1)에 의하면, 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있고 혼합 비율을 화소마다 산출할 수 있다. 따라서 본 발명의 실시형태에 관한 화상 처리 장치(1)에 의하면, 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 화상 처리 장치(1)를 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 보다 작게 할 수 있다.

이상에서는, 노광량이 다른 3매의 화상을 사용하는 WDR 합성을 주로 설명하였으나, 4매 이상의 화상을 사용하는 WDR 합성에도 같은 수법을 이용하여 확장할 수 있다. 예를 들면 4매 이상의 화상을 사용할 경우, 단노광 화상 및 장노광 화상 각각을 식별하기 위한 식별치로서 「768」「0」을 할당하고, 그 중간 노광량의 2매의 화상 각각을 식별하기 위한 식별치로서 「512」「256」을 할당하면 된다.

로우 패스 필터 처리를 한 선택 정보를 사용하여 합성할 경우에도, 합성 대상이 되는 2매의 화상을 선택하는 부분을 바꿀 뿐 컨볼루션 연산은 동일하게 실행하면 된다. 이와 같이 하여 합성에 사용하는 화상이 만약 5매, 6매…로 증가하더라도 본 발명의 실시형태에 관한 수법을 확장하여 대응할 수 있다.

도 3은, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 동작 흐름의 예를 도시한 도면이다. 도 3을 참조하여 사용 화상 선택부(30) 및 WDR 합성부(50) 각각에 대해 단노광 화상, 중노광 화상 및 장노광 화상이 출력되는 경우를 일례로 들어 설명하기로 한다. 도 3에 도시한 바와 같이 우선 사용 화상 선택부(30)는, 단노광 화상, 중노광 화상 및 장노광 화상 각각을 식별하기 위한 식별치(D1∼D3)가, 0을 하한치로 하고 소정 수치A에 N-1(이 예에서는, 화상이 3매이므로 3-1=2)을 곱한 수치를 상한치로 하는 범위로 정의되며, 이 식별치(D1∼D3) 중 하나를 나타내는 선택치가 각 화소에 대응하여 정의되는 선택 정보를 생성한다(단계S1).

계속해서 LPF(40)는, 선택 정보에 대해 소정 처리의 일례로서의 로우 패스 필터 처리를 한다(단계S2). WDR 합성부(50)는 로우 패스 필터 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 단노광 화상, 중노광 화상 및 장노광 화상으로부터 2매의 화상을 선택하는 선택 처리와, 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행한다(단계S3). 상기와 같이 합성 화상은 계조 압축부(60)에 의해 압축되는 것이 바람직하다.

본 발명의 실시형태에 의하면, 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되어 있는 선택 정보에 대해 소정 처리를 하는 처리부와, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 합성부를 구비한 화상 처리 장치가 제공된다.

상기 구성에 의해, 다른 노광량으로 촬영된 복수의 화상이 인접한 경계 부근에서는 해당 인접한 복수의 화상 각각의 선택치의 중간값이 선택치로서 생성된다. 따라서 혼합 비율을 매끄럽게 변화시켜 경계 부근이 매끄럽게 접속된 합성 화상을 얻을 수 있다.

또 1개의 파라미터로서의 선택 정보를 참조하면, 노광량이 다른 3매 이상의 화상으로부터 합성 대상이 되는 2매의 화상을 화소마다 선택할 수 있다. 따라서 하드웨어로 구성할 경우에는 보다 작은 회로 규모로 실장할 수 있고, 소프트웨어로 실장할 경우에는 연산 부하를 보다 작게 할 수 있다.

아울러 본 발명에 관한 실시형태에서는, 어느 한 화소에 대해 합성할 때 반드시 2매의 화상의 화소치를 사용하는데 반해, 선행 기술인 일본특개2009-10566호 공보에 기재된 기술에서는, 3매의 화상을 사용하여 1개의 화소에 대한 합성 결과를 얻는 경우도 있다고 생각된다. 이 점에서 본 발명의 실시형태에 관한 합성 성능이 떨어지는 것은 아니냐는 지적도 있을 수 있다.

그러나 상기 선행 기술에서는 EV를 ±1정도 바꾼 촬영을 상정하고 있으며, 그 경우에는 3매의 화상을 합성하는 의미도 있을 수 있다. 그러나 예를 들면, 본 발명의 실시형태와 같이 여러 배의 노출 차이를 두고 촬영된 화상을 합성할 경우에는 노출 차이가 너무 커서 화상 3매분을 합성에 이용하는 의미가 퇴색된다. 그 뿐만 아니라 오히려 불필요한 정보를 혼합하게 될 수 있다. 따라서 반드시 2매를 선택하여 합성하는 본 수법은 합리적이며, 선행 기술에 대해 뒤떨어지지 않는다고 생각된다.

또 일본특개2005-72965호 공보에는, 단시간 노광과 장시간 노광을 가산 평균함으로써 단시간 노광과 장시간 노광의 2매의 화상을 매끄럽게 연결하는 수법이 개시되어 있다. 상기 수법에서는, 1개의 합성 파라미터를 화소마다 정의하여 화소마다 2개의 화상의 화소치를 선형 결합한다. 상기 수법에 의하면, 2매의 화상을 매끄럽게 접속하는 것은 가능하지만 3매 이상의 화상을 합성할 수 없다.

이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해 상세히 설명하였으나 본 발명은 상기 예로 한정되지는 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.

본 발명의 실시형태에 관한 수법에 의한 처리 대상의 신호로서는, Bayer 데이터를 이용하는 경우가 가장 바람직하지만, 해당 처리 대상의 신호로서 이용되는 신호는 Bayer 데이터로 한정되지 않으며 RGB 데이터여도 좋고 YUV 데이터여도 좋다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

1: 화상 처리 장치
10: 센서
21: 단노광 화상 메모리
22: 중노광 화상 메모리
23: 장노광 화상 메모리
30: 사용 화상 선택부
40: LPF(처리부)
50: WDR 합성부(합성부)
60: 계조 압축부
D0,D1,D2: 식별치
A: 소정 수치
Sel: 선택치
Out: 합성 후의 화소치

Claims (10)

1. 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되어 있는 선택 정보에 대해 소정 처리를 하는 처리부,
   상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 합성부,
   를 구비한 화상 처리 장치.
2. 제1항에 있어서,
   상기 N매의 화상 각각을 식별하기 위한 식별치는, 상기 소정 수치에 대해 0에서 N-1까지의 각 정수를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값인 화상 처리 장치.
3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 소정 처리는 로우 패스 필터 처리인 화상 처리 장치.
4. 제1항에 있어서,
   상기 합성부는, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 보다 작은 2개의 식별치를, 상기 2매의 화상 각각을 식별하기 위한 식별치로서 특정하는 화상 처리 장치.
5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈

   제1항에 있어서,
   상기 합성부는, 상기 소정 처리된 선택 정보에 정의되어 있는 선택치와 상기 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고, 상기 혼합 비율에 기초하여 상기 2매의 화상 각각의 대응하는 화소를 합성하는 화상 처리 장치.
6. 다른 노광량으로 촬영된 N(N은 3이상의 자연수)매의 화상 각각을 식별하기 위한 식별치가, 0을 하한치로 하고 소정 수치에 N-1을 곱한 수치를 상한치로 하는 범위로 정의되고, 상기 N매의 화상 각각을 식별하기 위한 식별치 중 어느 하나를 나타내는 선택치가 각 화소에 대응하여 정의되어 있는 선택 정보에 대해 소정 처리를 하는 단계,
   상기 소정 처리된 선택 정보에 정의되어 있는 선택치에 기초하여 상기 N매의 화상으로부터 2매의 화상을 선택하는 선택 처리와, 상기 2매의 화상 각각의 대응하는 화소를 합성하는 합성 처리를 각 화소에 대해 실행하는 단계,
   를 포함한, 화상 처리 방법.
7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈

   제6항에 있어서,
   상기 N매의 화상 각각을 식별하기 위한 식별치는, 상기 소정 수치에 대해 0에서 N-1까지의 각 정수를 곱한 결과가 노광량의 오름차순 또는 내림차순으로 할당된 값인 화상 처리 방법.
8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈

   제6항에 있어서,
   상기 소정 처리는 로우 패스 필터 처리인 화상 처리 방법.
9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈

   제6항에 있어서,
   상기 합성 처리를 각 화소에 대해 실행하는 단계는,
   상기 소정 처리된 선택 정보에 정의되어 있는 선택치와의 차분이 보다 작은 2개의 식별치를, 상기 2매의 화상 각각을 식별하기 위한 식별치로서 특정하는 화상 처리 방법.
10. 제6항에 있어서,
    상기 합성 처리를 각 화소에 대해 실행하는 단계는,
    상기 소정 처리된 선택 정보에 정의되어 있는 선택치와 상기 2매의 화상 각각의 식별치와의 차분치에 따라 혼합 비율을 결정하고, 상기 혼합 비율에 기초하여 상기 2매의 화상 각각의 대응하는 화소를 합성하는 화상 처리 방법.
    

Images