KR101455396B1 - 촬상 장치, 촬상 방법, 노광 제어 방법 및 기록 매체 - Google Patents

Abstract

촬상 장치는, 입사광으로부터 노광 시간이 상대적으로 긴 장시간 노광 화상 신호 및 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 생성하여, 촬상 신호로서 장시간 노광 화상 신호 및 단시간 노광 화상 신호를 출력하는 촬상부; 장시간 노광 화상 신호와 단시간 노광 화상 신호를 합성함으로써, 적어도 장시간 노광 화상 신호 또는 단시간 노광 화상 신호중의 어느 하나의 다이내믹 레인지보다 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하는 신호 처리부; 합성 화상 신호의 휘도 적산치를 취득하여 합성 화상 신호의 휘도 히스토그램을 생성하는 검파부; 및 휘도 적산치와 휘도 히스토그램을 이용하여, 촬상부의 노광 보정 제어를 행하는 제어부를 포함한다.

장시간 노광 화상 신호, 단시간 노광 화상 신호, 합성 화상 신호, 목표 휘도 적산치, 휘도 히스토그램, 노광 보정 제어, 다이내믹 레인지

Description

촬상 장치, 촬상 방법, 노광 제어 방법 및 기록 매체{IMAGE PICKUP APPARATUS, IMAGE PICKUP METHOD, EXPOSURE CONTROL METHOD, AND RECORDING MEDIUM}

<관련 출원의 상호 참조>

본 발명은, 2007년 3월 14일 일본 특허청에 제출된 일본 특허 출원 제JP 2007-065230호에 관련된 기술 내용을 포함하고, 그 전체 내용은 본 명세서에 참조로써 포함된다.

본 발명은 촬상 장치, 촬상 방법, 노광 제어 방법, 프로그램에 관한 것으로, 좀더 구체적으로 장시간 노광 화상 신호와 단시간 노광 화상 신호를 합성하여 다이내믹 레인지가 넓은 합성 화상 신호를 생성하는 촬상 장치의 노광 보정에 관한 것이다.

종래의 CCD(Charge Coupled Device) 등의 고체 촬상 소자를 이용한 촬상 장치에서는, 촬상 소자에 입력되는 광량(노광량)을, 조리개나 전자 셔터 스피드에 의해 조절하고 있다. 즉, 밝은 씬(scene)을 촬영할 때에는, 촬상 소자로부터의 출력 신호가 포화하여 노광과다(overexposure)가 발생하지 않도록 노광량을 감소시킨다. 반대로, 어두운 씬을 촬영할 때에는, 노광부족(underexposure)이 발생하지 않도록 노광량을 증가시킨다.

그러나, 부족한 다이내믹 레인지를 갖는 고체 촬상 소자를 이용해서 명암의 차가 큰 씬을 촬상하는 경우(역광 촬상 또는 옥내외 동시 촬상), 노광량의 조절만으로는 밝은 부분의 포화로 인한 씬의 밝은 부분에서 노광과다가 발생할 수 있고 씬의 어두운 부분에서 노광부족이 발생할 수 있다. 그 결과, 양쪽 부분 모두를 적절하게 재현할 수 없다.

이 문제를 해결하기 위해서, (미국특허번호 제5455621호에 대응하는) 일본 특허 공개 출원 제6-141229호가, 필드 내에서 두 개의 서로 다른 전자 셔터 스피드를 사용하거나, 필드마다 전자 셔터 스피드를 바꾸어, 밝은 영역의 정보와 어두운 영역의 정보를 별도로 촬상하여, 얻어진 각각의 정보를 1매의 화상으로 합성하는 방법을 개시하고 있다. 이 방법은 넓은 다이내믹 레인지를 갖는 촬상 가능한 장치(와이드 다이내믹 레인지 카메라)에 사용된다. 또한, (미국특허번호 제2006/033823 A1호에 대응하는) 일본 특허 공개 출원 제2004-120205호 및 제2002-84449호는 상기 합성 화상의 품질을 개선하는 장치 및 방법을 개시한다.

그러나, 2개의 확실히 다른 노광량으로 촬상된 화상을 합성하는 방법을 개선함으로써 와이드 다이내믹 레인지 카메라의 화질을 향상시키는 그러한 방법의 경우, 이러한 화상들을 합성함으로써 획득된 화상이 노광과다 부분이나 노광부족 부분을 포함하는 화상인지를 체크하지 않는다. 따라서, 합성된 화상에 노광과다 부분이나 노광부족 부분이 포함되는 경우, 그 부분은 보정되지 않으므로 만족할 수 없는 품질의 합성된 화상이 발생된다. 합성 화상에 포함된 노광과다 부분이나 노광부족 부분을 보다 효과적으로 보정할 수 있는 방법을 제공하는 것이 바람직하다.

본 발명의 일 실시예에 따른 촬상 장치는, 입사광으로부터 노광 시간이 상대적으로 긴 장시간 노광 화상 신호 및 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 생성하여, 촬상 신호로서 장시간 노광 화상 신호 및 단시간 노광 화상 신호를 출력하는 촬상부; 장시간 노광 화상 신호와 단시간 노광 화상 신호를 합성함으로써, 적어도 장시간 노광 화상 신호 및 단시간 노광 화상 신호중 하나의 다이내믹 레인지보다 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하는 신호 처리부; 합성 화상 신호의 휘도 적산치를 취득하여 합성 화상 신호의 휘도 히스토그램을 생성하는 검파부; 및 휘도 적산치와 휘도 히스토그램을 이용하여, 촬상부의 노광 보정 제어를 행하는 제어부를 포함한다.

제어부는, 휘도 히스토그램을 이용해서 합성 화상 신호에서의 노광부족의 발 생을 검출하고, 검출 결과에 기초하여 목표 휘도 적산치를 설정하고, 해당 목표 휘도 적산치를 이용하여, 촬상부의 노광 보정 제어를 행한다. 특히, 목표 휘도 적산치를 이용하여, 촬상부의 장시간 노광 화상 신호에 관한 노광 보정 제어를 행한다. 또한, 장시간 노광 화상 신호에 대한 노광 보정 제어로서, 조리개 보정, 장시간 노광 시간 보정, 또는 장시간 노광 화상 신호에 대한 게인 보정을 행한다. 제어부는, 휘도 히스토그램을 이용해서 합성 화상 신호에서의 노광과다의 발생을 검출하고, 검출 결과에 기초하여 단시간 노광 시간을 설정하고, 해당 단시간 노광 시간을 이용하여 촬상부의 단시간 노광 화상 신호에 대한 노광 보정 제어를 행한다.

제어부는, 화상 신호의 각 단위 기간(예를 들면 1 필드 기간이나 1 프레임 기간 등)에, 노광부족 부분의 제거를 위한 노광 보정 제어와 노광과다 부분의 제거를 위한 노광 보정 제어 양쪽 모두를 행한다. 혹은, 제어부는, 화상 신호의 각 단위 기간에, 노광부족 부분의 제거를 위한 노광 보정 제어와 노광과다 부분의 제거를 위한 노광 보정 제어 중의 한쪽을 행한다. 이 경우, 제어부는, 화상 신호의 각 단위 기간에, 노광부족 부분의 제거를 위한 노광 보정 동작이 안정적으로 실행되었는지의 여부를 판별하여, 안정되어 있지 않으면 노광부족 부분의 제거를 위한 노광 보정 제어를 행하고, 안정되어 있으면 노광과다 부분의 제거를 위한 노광 보정 제어를 행한다. 제어부는, 노광부족 부분의 제거를 위한 노광 보정 제어의 횟수를 카운트하고, 노광부족 부분의 제거를 위한 노광 보정 제어를 소정 횟수 실행하면, 노광과다 부분의 제거를 위한 노광 보정 제어를 행한다.

제어부는, 현재의 목표 휘도 적산치와 고정치를 이용한 연산에 의해 새로운 목표 휘도 적산치를 설정한다. 혹은 제어부는, 목표 휘도 적산치의 수렴 목표치를 구하는 것이 요구되는 차분치를 산출하고, 현재의 목표 휘도 적산치와 차분치의 연산에 의해 새로운 목표 휘도 적산치를 설정한다. 검파부는, 휘도 히스토그램의 각 휘도 레벨을, 블랙 레벨, 중간 레벨, 또는 화이트 레벨로 분류하여 휘도 분포의 정보를 생성하며, 제어부는 목표 휘도 적산치의 설정에, 중간 레벨에 관한 휘도 분포의 정보를 이용한다. 제어부는, 현재의 단시간 노광 시간과 고정치의 연산에 의해 새로운 단시간 노광 시간을 설정한다. 혹은, 제어부는, 단시간 노광 시간의 수렴 목표치를 구하는데 요구되는 차분치를 산출하고, 현재의 단시간 노광 시간과 차분치의 연산에 의해 새로운 단시간 노광 시간을 설정한다. 검파부는, 휘도 히스토그램의 휘도 레벨을, 블랙 레벨, 중간 레벨, 또는 화이트 레벨로 분류하여 휘도 분포의 정보를 생성하며, 제어부는 단시간 노광 시간의 설정에, 중간 레벨에 관한 휘도 분포 정보를 이용한다.

본 발명에 따른 촬상 방법은, 피사체로부터 송신된 입사광으로부터 노광 시간이 상대적으로 긴 장시간 노광 화상 신호 및 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 생성하여, 장시간 노광 화상 신호 및 단시간 노광 화상 신호를 촬상 신호로서 출력하는 단계; 장시간 노광 화상 신호와 단시간 노광 화상 신호를 합성함으로써, 적어도 장시간 노광 화상 신호와 단시간 노광 화상 신호 중 어느 하나의 다이내믹 레인지보다 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하는 단계; 합성 화상 신호의 휘도 적산치를 취득하여 합성 화상 신호의 휘도 히스토그램을 생성하는 단계; 및 휘도 적산치와 휘도 히스토그램을 이용하여 노광 보정 제어를 행하는 단계를 포함한다.

본 발명에 따른 노광 보정 방법은, 촬상 장치가 노광 시간이 상대적으로 긴 장시간 노광 화상 신호와 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 얻어, 장시간 노광 화상 신호와 단시간 노광 화상 신호를 합성함으로써, 적어도 장시간 노광 화상 신호와 단시간 노광 화상 신호 중의 어느 하나의 다이내믹 레인지보다도 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하여, 생성된 합성 화상 신호를 출력하는 방법이다. 노광 보정 방법은, 합성 화상 신호의 휘도 적산치를 취득하여 합성 화상 신호의 휘도 히스토그램을 생성하는 단계; 휘도 히스토그램으로부터 합성 화상 신호에서의 노광부족의 발생을 검출하는 단계; 노광부족 발생의 검출 결과에 기초하여 목표 휘도 적산치를 설정하는 단계; 휘도 히스토그램으로부터 합성 화상 신호에서의 노광과다 발생을 검출하는 단계; 노광과다 발생의 검출 결과에 기초하여 단시간 노광 시간을 설정하는 단계; 및 목표 휘도 적산치 및 단시간 노광 시간을 이용하여 노광 보정 제어를 행하는 단계를 포함한다. 본 발명에 따른 프로그램은, 이와 같은 노광 보정을 촬상 장치에 실행시키는 프로그램이다. 촬상 장치는 노광 시간이 상대적으로 긴 장시간 노광 화상 신호와 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 취득하여, 장시간 노광 화상 신호와 단시간 노광 화상 신호를 합성함으로써 적어도 장시간 노광 화상 신호와 단시간 노광 화상 신호 중의 어느 하나의 다이내믹 레인지보다도 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하여, 생성된 합성 화상 신호를 출력하도록 구성된다. 노광 보정은 합성 화상 신호의 휘도 적산치를 취득하여 합성 화상 신호의 휘도 히스토그램을 생성하는 단계; 휘도 히스토그램으로부터 합성 화상 신호에서의 노광부족의 발생을 검출하는 단계; 노광부족 발생의 검출 결과에 기초하여 목표 휘도 적산치를 설정하는 단계; 휘도 히스토그램으로부터 합성 화상 신호에서의 노광과다의 발생을 검출하는 단계; 노광과다 발생의 검출 결과에 기초하여 단시간 노광 시간을 설정하는 단계; 및 목표 휘도 적산치 및 단시간 노광 시간을 이용하여 노광 보정 제어를 행하는 단계를 포함한다.

본 발명의 일 실시예에서, 장시간 노광 화상 신호와 단시간 노광 화상 신호는, 예를 들면 1 필드 기간의 단위 기간에 얻어진다. 합성 화상 신호의 휘도 적산치가 취득되고, 합성 화상 신호의 휘도 히스토그램(주파수 분포)이 분석된다. 취득된 휘도 적산치와 분석 결과를 이용하여, 자동 노광 제어(조리개, 전자 셔터 스피드, 및 게인의 제어)가 피드백 제어로서 행해진다. 그 결과, 와이드 다이내믹 레인지 카메라의 화질을 향상시킨다.

본 발명의 일 실시예에 따르면, 장시간 노광 화상 신호와 단시간 노광 화상 신호로부터 합성하여 생성된 합성 화상 신호가 취득되고, 합성 화상 신호의 휘도 히스토그램(주파수 분포)은 분석되어, 노광 보정은 취득된 휘도 적산치와 분석 결과를 이용하여 실행된다. 즉, 최종적으로 사용자가 시인하는 최종 화상으로서 출력되는 화상 신호인 합성 화상 신호에서 노광부족이나 노광과다가 발생되었는지 판정한다. 판정 결과는 피드백 정보로서 노광 보정에 이용된다. 따라서, 노광 보정은 최종 출력 화상 상의 노광부족 또는 노광과다 부분의 제거를 위해 효과적으로 실행될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 합성 화상의 화질이 확실히 향상될 수 있다. 또한, 이 노광 보정은, 어디까지나 합성 화상 신호에 기초한 것으로서, 화상 신호의 합성 전의 장시간 노광 화상 신호와 단시간 노광 화상 신호의 처리에 영향받지 않는다. 각종 와이드 다이내믹 레인지 카메라 시스템에서는 화상 신호 합성 전에 실행된 처리에 차이가 있다. 하지만, 본 발명의 일 실시예는 그와 같은 차이에 상관없이, 와이드 다이내믹 레인지 카메라 시스템에 널리 적용할 수 있다.

이하, 본 발명의 실시 형태를 다음 순서로 설명한다.

1. 와이드 다이내믹 레인지 카메라의 개요;

2. 촬상 장치의 구성;

3. 촬상 장치의 전체 동작;

4. 노광 보정 처리;

5. 노광 보정 처리의 다른 예;

6. 노광부족 보정의 다른 예;

7. 노광과다 보정의 다른 예;

8. 실시 형태의 효과, 및 프로그램

1. 와이드 다이내믹 레인지 카메라의 개요

본 실시 형태의 촬상 장치(1)는, 와이드 다이내믹 레인지 카메라로서의 촬상 장치로써, 예를 들면 감시 카메라 등으로서 적합하게 이용된다. 그러나, 일반 사 용자가 통상 이용하는 디지털 스틸 카메라 또는 디지털 비디오 카메라로서도 적용 가능하다. 우선, 와이드 다이내믹 레인지 카메라에 대해서 설명한다.

일반적으로 사용되는 촬상 장치는, 씬에 있어서의 매우 어두운 부분과 매우 밝은 부분까지의 광범위하게 걸친 다이내믹 레인지를 취급하는 것이 곤란하다. 예를 들면, 맑은 하늘의 대낮 시간대에, 옥외가 보이는 실내에서 촬상하는 경우를 고려해보자. 그때, 실내의 피사체 뒤에 노광 기준점을 맞추면, 옥외의 부분이 계조(gradation)를 잃어서 노광과다된다. 반대로, 옥외의 부분에 노광 기준점을 맞추면, 옥내의 피사체가 노광부족이 된다. 즉, 씬 내의 휘도차가 현저한 경우, 휘도의 다이내믹 레인지에 대응하는 촬상 화상을 얻는 것이 곤란해진다.

반면, 본 발명의 일 실시예에 따른 와이드 다이내믹 레인지 카메라는, 전자 셔터 속도를 바꿔서 노광 시간이 서로 다른 복수의 화상을 합성함으로써, 노광과다나 노광부족이 발생하지 않는 촬상 화상을 얻는다. 도 2는, CCD나 CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이와 같은 촬상 소자부에서의, 1 필드 내의 노광 시간과 축적된 노광량(전하량) 간의 관계를 도시하고 있다. 본 실시예에서, 1/60초의 1 필드 기간에 있어서, 예를 들면 1/64초의 장시간 노광과, 예를 들면 1/2000초의 단시간 노광을 행한다. 장시간 노광 시간과 단시간 노광 시간은 가변 제어 가능하다. 장시간 노광과 단시간 노광을 행함으로써, 1 필드 기간에, 장시간 노광 화상 신호와 단시간 노광 화상 신호를 얻는다. 양 화상 신호를 합성한다.

도 3은, 장시간 노광 화상 신호의 입출력 휘도 특성 A와, 단시간 노광 화상 신호의 입출력 휘도 특성 B를 도시하고 있다. 신호 합성 처리에서는, 예를 들면 소정의 휘도치를 절환 포인트(SP)로 한다. 절환 포인트(SP)보다도 저휘도의 화소는, 장시간 노광 화상 신호의 화소 신호를 채용한다. 한편, 절환 포인트(SP)보다도 고휘도의 화소에 대해서는, 단시간 노광 화상 신호의 화소 신호를 채용한다. 이때, 장시간 노광 화상 신호와 단시간 노광 화상 신호의 노광비를 단시간 노광 화상 신호에 승산함으로써 쌍방의 화상 신호의 레벨을 맞춘다. 장시간 노광 화상 신호와 단시간 노광 화상 신호의 노광비가 10: 1이라고 가정한다. 이 경우, 단시간 노광 화상 신호의 노광 레벨은 장시간 노광 화상 신호의 10분의 1이다. 그러나, 존재하는 광량은 적어도 단시간 노광 화상 신호의 휘도 레벨의 10배에 이른다. 따라서 단시간 노광 화상 신호에 10을 승산함으로써 레벨을 맞춘다. 따라서, 단시간 노광 화상 신호의 게인 승산을 행함으로써, 도면에 도시된 바와 같이 장시간 노광 화상 신호의 특성에 맞는 레벨의 특성 kB가 얻어질 수 있다. 이에 따라, 특성 A-kB를 갖는 합성 화상이 생성된다. 즉, 장시간 노광 화상 신호는 노광부족의 발생을 방지하도록 씬 내의 상대적으로 어두운 부분에 사용되고, 단시간 노광 화상 신호는 노광과다의 발생을 방지하도록 상대적으로 밝은 부분에 사용된다. 이에 따라, 어떠한 노광부족 부분이나 노광과다 부분도 포함하지 않는 합성 화상이 생성된다.

밝은 부분과 어두운 부분 사이의 다이내믹 레인지가 넓은 피사체를 촬상하는 방법으로서, 상기와 같은 노광 시간을 변화시킴으로써 취득된 밝은 화상과 어두운 화상을 합성하는 방법 이외에도 다양한 방법이 있다. 예를 들면, 이러한 다양한 방법들은 화소 단위로 감도를 바꾸어 동일한 노광 조건의 신호만을 추출하여, 추출된 신호를 이용하여 화상을 재생하고, 노광 조건이 서로 다른 1 이상의 화상을 합성하는 방법과, 프리즘을 이용하여 입사광을 나누어, 투과하는 광량을 전체 파장에 걸쳐서 감소시키는, 즉 입사광량을 동일하게 감소시키는 ND 필터(Neutral Density Filter: 광량 조절 필터)와 같은 감광 기능을 갖는 필터에 접합된 촬상 소자로부터 출력되는 신호를 합성하는 방법이 있다.

위에서 기술된 방법 중의 하나를 이용하는 와이드 다이내믹 레인지 카메라는, 일반적으로 이용되는 비디오 카메라의 다이내믹 레인지보다도 넓은 다이내믹 레인지를 갖고, 출력 화상에 밝은 부분부터 어두운 부분까지가 포함되는 다이내믹 레인지가 넓은 피사체를 촬상하는 것이 가능하다. 따라서, 그러한 와이드 다이내믹 레인지 카메라들은 강한 외광이 삽입되는 실내, 휘도 레벨차가 심한 장소 등을 촬상하는 경우에 적합하다. 예를 들면, 그러한 와이드 다이내믹 레인지 카메라는 은행 등의 점포의 출입구, 또는 교통 상황의 파악을 위해서 교통도로 등, 주간, 야간 등 촬상되는 시간대에 따라 다이내믹 레인지가 크게 상이한 경우에 촬상하는 일이 많은 카메라에 적합하다. 특히 감시 카메라 등에 적합하게 된다.

2. 촬상 장치의 구성

도 1에 본 발명의 일 실시예에 따른 촬상 장치의 구성을 도시한다. 본 발명의 일 실시예에 따른 촬상 장치는, 촬상 광학계(1), 촬상 소자부(2), 전처리부(3), 신호 처리부(4), 출력부(5), 검파부(6), 타이밍 제너레이터(7), 광학 부품 구동부(8), 및 제어부(10)를 포함한다.

촬상 광학계(1)는, 렌즈나 불필요한 파장 성분을 제거하는 광학 필터, 조리개(1a) 등의 광학 부품을 포함한다. 피사체로부터 입사된 광은 촬상 광학계(1)에서의 각 광학 부품을 통하여 촬상 소자부(2)로 유도된다. 촬상 소자부(2)는, 예를 들면 CCD 센서 어레이 또는 CMOS 센서 어레이 등의 고체 촬상 소자부로 구성된다. 촬상 소자부(2)는 촬상 광학계(1)를 통하여 유도된 광을 광전 변환하고, 촬상 화상을 생성하도록 전기 신호를 출력한다. 본 실시예에서, 촬상 소자부(2)는 1 필드 기간에 전술한 장시간 노광과 단시간 노광을 행하고, 장시간 노광 화상 신호와 단시간 노광 화상 신호로서의 전기 신호를 시분할 출력한다. 촬상 소자부(2)는, 고체 촬상 소자부를 이용하는 구성이 아닐 수 있고, 촬상관과 같은 비고체 촬상 소자부를 이용하는 구성이어도 된다. 비고체 촬상 소자에 대해서도, 기계적인 셔터, 액정 셔터 등을 이용하여, 장시간 노광과 단시간 노광을 행하는 것이 가능하다. 전처리부(3)는, 소위 아날로그 프론트 엔드로써, 촬상 화상의 생성에 이용되는 전기 신호에 대하여 CDS(correlated double sampling: 상관 2중 샘플링) 처리, 프로그래머블 게인 앰프에 의한 게인 처리, A/D 변환 처리를 행하고, 이들 처리를 행한 장시간 노광 화상 신호와 단시간 노광 화상 신호를 신호 처리부(4)에 공급한다.

신호 처리부(4)는, 수신된 장시간 노광 화상 신호와 단시간 노광 화상 신호에 대하여 도 3에서 설명한 신호 합성 처리를 행한다. 즉, 시분할적으로 공급되는 장시간 노광 화상 신호와 단시간 노광 화상 신호의 타이밍 조정이나 색 밸런스 보정 처리, 장시간 노광 화상 신호에 대하여 단시간 노광 화상 신호의 휘도 레벨을 일치시키는 게인 처리, 및 이들 화상 신호의 합성 처리를 행한다. 또한, 신호 처리부(4)는 합성 화상 신호에 대한 감마 보정 및 화이트 밸런스 제어를 행하여, 처리된 합성 화상 신호를 출력부(5) 및 검파부(6)에 출력한다.

출력부(5)는, 신호 처리부(4)로부터의 합성 화상 신호에 대하여, 모니터 디스플레이에서의 화상의 표시를 위한 처리나, 혹은 외부 기기에의 송신을 위한 처리를 행한다. 검파부(6)는, 신호 처리부(4)로부터의 합성 화상 신호에 대한 휘도 레벨을 분석하고, 휘도 적산치와 휘도 히스토그램의 정보를 생성하여, 각각의 정보를 제어부(10)에 공급한다.

제어부(10)는, 예를 들면 CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등을 갖는 마이크로컴퓨터에 의해 구성되며, 촬상 장치의 전체의 동작을 제어한다. 이 실시예에서, 제어부(10)는 촬상시의 노광 보정 처리를 행한다. 제어부(10)에 포함된 ROM은, 제어부(10)가 후술하는 노광 보정을 위해서 제어 처리를 실행하게 하는 프로그램을 저장한다. 제어부(10)는 검파부(6)로부터 공급되는 휘도 적산치와 휘도 히스토그램의 정보를 이용하여, 필요한 연산 및 제어 처리를 실행한다.

타이밍 제너레이터(7)는, 예를 들면 CCD 등의 촬상 소자부(2)에 필요한 동작 펄스를 생성한다. 예를 들면, 수직 전송을 위한 4상 펄스, 필드 시프트 펄스, 수평 전송을 위한 2상 펄스, 셔터 펄스 등의 각종 펄스를 생성하여, 촬상 소자부(2)에 공급한다. 타이밍 제너레이터(7)는 촬상 소자부(2)를 구동할 수 있다(전자 셔터 기능). 촬상 소자부(2)의 구동 조정에 의해, 도 2와 같은 노광 시간이 상대적으로 긴 장시간 노광 화상 신호와, 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 출력시키는 것이 가능하다. 장시간 노광 화상 신호와 단시간 노광 화상 신호에 대하여, 노광 시간을 가변하는 것도 가능하다. 광학 부품 구동부(8)는, 촬상 광학계(1)에 있어서의 광학 부품의 구동을 행한다. 본 실시예에서, 광한 부품 구동부(8)는 적어도 조리개(1a)를 구동하고, 입사광량을 조절하는 구동 회로이다.

3. 촬상 장치의 전체 동작

이하, 본 발명의 일 실시예에 따른 촬상 장치로 실행되는 노광 보정에 관한 처리를 설명한다. 우선, 여기에서는 촬상 장치에 있어서 노광 보정 처리를 포함하는 전체적인 촬상 처리를 설명한다. 도 4는 촬상 처리를 도시하고 있다. 도 4의 촬상 처리가 일정 간격으로 반복됨으로써, 출력되는 영상 신호를 이용하여 생성된 화상을 노광부족, 노광과다가 없는 화상에 서서히 근접시켜, 와이드 다이내믹 레인지 카메라의 화질을 향상시킨다.

단계 ST1: 촬상 처리

타이밍 제너레이터(7)는, 서로 다른 두 개의 전자 셔터 스피드를 설정하는 것이 가능하며, 1 필드 기간에 도 2에서 설명한 바와 같은 장시간 노광과 단시간 노광을 촬상 소자부(2)에 실행시킨다. 이에 의해, 노광량이 다른 두 개의 촬상 화상 신호(노광 시간 1/64초의 장시간 노광 화상 신호와, 노광 시간 1/2000초의 단시간 노광 화상 신호)가 얻어진다. 상기와 같이, 장시간 노광 화상 신호와 단시간 노광 화상 신호는 각각 전처리부(3)에서 처리되어, 신호 처리부(4)에 공급된다.

단계 ST2: 신호 합성 처리

신호 처리부(4)는, 전처리부(3)에서 디지털화된 장시간 노광 화상 신호와 단시간 노광 화상 신호를 도 3에서 설명한 방법으로 합성하여, 다이내믹 레인지를 확대시킨 합성 화상 신호를 생성한다. 이 합성 화상 신호는, 출력부(5)로부터 예를 들면 모니터 디스플레이에서의 표시를 위해서 출력된다.

단계 ST3: 검파 처리

합성 화상 신호는 검파부(6)에도 공급된다. 검파부(6)는, 합성 화상 신호의 휘도 적산치와 휘도 히스토그램을 생성하여, 이것을 필드마다 제어부(10)에 송신한다. 도 5는 검파부(6)에 의해 실행된 검파 처리를 도시한다. 단계 ST31에서, 1 필드의 합성 화상 신호의 휘도 적산을 행한다. 단계 ST32에서, 검파부(6)는 휘도 히스토그램을 생성한다. 도 6a 및 도 6b는 휘도 히스토그램의 예를 도시한다. 본 예에서는, 휘도 레벨은 블랙 레벨(B),레벨(mb1, mb2, mb3, mw3, mw2, 및 mw1), 및 화이트 레벨(W)의 8개 휘도 레벨로 분류된다. 이들 예시적인 휘도 히스토그램 각각은 1 필드 화상 내에서의 8 단계의 각 휘도 레벨의 비율(%)을 나타낸다. 예를 들면, 도 6a는 합성 화상 신호의 비교적 어두운 1 필드 화상의 휘도 히스토그램의 예이고, 도 6b는 비교적 밝은 1 필드 화상의 휘도 히스토그램의 예이다.

단계 ST4: 노광 보정 처리

제어부(10)는, 휘도 히스토그램을 검사하여, 노광부족 부분, 노광과다 부분이 없는 화상으로 되도록, 목표 휘도 적산치 및 단시간 노광 시간을 결정한다. 노광부족 부분 보정에서, 휘도 히스토그램의 블랙 레벨(B)의 비율을 검사함으로써 노광부족을 검출하여, 블랙 레벨(B)이 소정의 비율로 되도록, 목표 휘도 적산치를 설 정한다. 노광과다의 보정에서, 휘도 히스토그램의 화이트 레벨(W)의 비율을 검사함으로써 노광과다 부분을 검출하여, 화이트 레벨(W)이 일정한 비율로 되도록 단시간 노광 시간을 설정한다.

단계 ST5: 노광 제어 처리

제어부(10)는, 상기 노광 보정 처리로서 결정한 목표 휘도 적산치 및 단시간 노광 시간을 이용하여 노광 제어 처리를 행한다. 노광부족 보정에 대한 장시간 노광량은 이하와 같이 설정된다. 우선, 검파부(6)로부터 수신한 현재의 휘도 적산치와 상기 노광 보정 처리에서 설정한 목표 휘도 적산치의 차분에 기초하여, 조리개(1a)의 개구량, 촬상 소자부(2)의 장시간 노광 시간, 전처리부(3)의 PGA(Programmable Gain Amplifier)의 게인에 대하여, 각각 필요한 제어량을 계산한다. 그리고, 광학 부품 구동부(8)에 조리개(1a)의 구동을 실행시키고, 또한 타이밍 제너레이터(7)에 장시간 노광 시간에 관한 정보를 지시하고, 또한 전처리부(3)에 PGA의 게인에 관한 정보를 지시한다. 이들 3가지 제어 처리 동작이 모두 행해지지 않아도 된다. 이들 중의 1개 또는 2개의 제어를 행하도록 해도 된다. 노광과다 보정에 사용되는 단시간 노광량의 경우, 상기 노광 보정 처리에서 설정된 단시간 노광 시간에 관한 정보를 타이밍 제너레이터(7)에 지시하고, 촬상 소자부(2)의 단시간 노광 시간을 변화시킴으로써, 필요한 노광량을 얻는다. 조리개(1a)의 개구량 및 PGA 게인은, 단시간 노광량에도 영향을 준다. 하지만, 합성 화상 신호로서는 장시간 노광 화상 신호측이 지배적인 성분이다. 따라서, 조리개(1a)의 개구량 및 PGA 게인에 대해서는 장시간 노광량의 보정에 이용하도록 하고 있다. 단시간 노광량의 보정에 조리개(1a)의 개구량이나 PGA 게인을 이용할 수 있음을 유의한다.

4. 노광 보정 처리

상기 도 4의 단계 ST4의 노광 보정 처리를, 도 7, 도 8, 및 도 9에 상세히 도시한다. 단계 ST4의 노광 보정 처리에서는, 1 필드 기간에 도 7의 처리가 행해진다. 즉, 제어부(10)는 단계 F10에 있어서 휘도 히스토그램을 검사하고, 노광부족을 검출한다. 단계 F20에서, 제어부(10)는 목표 휘도 적산치(Yt)를 결정한다. 따라서, 단계 F10, F20에서 노광부족 보정이 실행된다. 제어부(10)는, 단계 F50에서 휘도 히스토그램을 검사하고, 노광과다를 검출한다. 단계 F60에서 목표 단시간 노광 시간(Tt)을 결정한다. 따라서, 단계 F50, F60에서 노광과다 보정이 실행된다.

단계 F10, F20에서 실행된 노광부족 보정의 처리가 도 8에 도시된다. 단계 F10에서 휘도 히스토그램으로부터 노광부족의 발생 여부를 검출하는 처리로서, 단계 F101, F102가 행해진다. 단계 F20의 목표 휘도 적산치(Yt)를 결정하는 처리로서, 단계 F201, F202, F203이 행해진다. 즉, 제어부(10)는, 우선 단계 F101에서 휘도 히스토그램의 블랙 레벨(B)의 비율이 10% 이상인지의 여부를 판단한다. 블랙 레벨(B)의 비율이 10% 이상이면, 제어부(10)는 합성 화상 신호에 있어서 노광부족이 발생하였다고 판단한다. 그 결과, 단계 F201로 진행하여, 제어부(10)는 목표 휘도 적산치(Yt)를, 노광량을 많게 하는 방향으로 현재의 목표 휘도 적산치(Yt)에 고정치(Cy)를 가산한 값으로 갱신한다. 한편, 블랙 레벨(B)의 비율이 10% 미만인 경우에는, 단계 F102에서, 제어부(10)는 블랙 레벨(B)의 비율이 5% 이하인지를 판단한다. 블랙 레벨(B)의 비율이 5% 이하이면, 단계 F202로 진행하여, 제어부(10)는 목표 휘도 적산치(Yt)를, 노광량을 적게 하는 방향으로 현재의 목표 휘도 적산치(Yt)로부터 고정치(Cy)를 감산한 값으로 갱신한다. 한편, 단계 F102에서 블랙 레벨(B)의 비율이 5% 이하가 아니면, 즉, 블랙 레벨(B)이 5∼10%의 범위인 경우에는, 적정한 노광량으로 설정된다. 이후, 프로세스는 현재의 목표 휘도 적산치(Yt)를 유지하는 단계 F203으로 진행한다.

도 7의 단계 F50, F60으로서의 노광과다 보정의 처리는 도 9에 도시된다. 단계 F50의, 휘도 히스토그램으로부터 노광과다를 검출하는 처리로서 단계 F501, F502가 행해진다. 단계 F60의 단시간 노광 시간(Tt)을 결정하는 처리로서 단계 F601, F602, F603이 행해진다. 즉, 제어부(10)는, 우선 단계 F501에서 화이트 레벨(W)의 비율이 10% 이상인지의 여부를 판단한다. 화이트 레벨(W)의 비율이 10% 이상이면, 제어부(10)는 합성 화상 신호에서 노광과다가 발생하였다고 판단한다. 이후, 단계 F601로 진행하여, 제어부(10)는 단시간 노광 시간(Tt)을, 노광량을 줄이도록 현재의 단시간 노광 시간(Tt)로부터 고정치(Ct)를 감산한 값으로 갱신한다. 한편, 화이트 레벨(W)의 비율이 10% 미만인 경우에는, 단계 F502에서, 제어부(10)는 화이트 레벨(W)의 비율이 5% 이하인지를 판단한다. 화이트 레벨(W)의 비율이 5% 이하이면, 단계 F602로 진행하고, 제어부(10)는 단시간 노광 시간(Tt)를, 노광량이 증가하도록 현재의 단시간 노광 시간(Tt)에 고정치(Ct)를 가산한 값으로 갱신한다. 한편, 단계 F502에서 화이트 레벨의 비율이 5% 이하가 아니면, 즉, 화이트 레벨(W)이 5∼10%의 범위인 경우에는, 적정한 노광량이 설정된다. 이후, 단계 F603으로 진행하고, 현재의 단시간 노광 시간(Tt)을 유지한다.

따라서, 목표 휘도 적산치(Yt)와 단시간 노광 시간(Tt)이 결정된다. 도 4의 단계 ST5에서, 전술한 바와 같이 목표 휘도 적산치(Yt)와 단시간 노광 시간(Tt)이 이용되어 노광 제어가 행해지게 된다. 이와 같은 노광 보정 처리(ST4), 노광 제어 처리(ST5)를 포함하는 도 4의 처리가 필드 기간마다 반복된다. 그 결과, 합성 화상 신호에 있어서 노광부족이나 노광과다가 발생하지 않도록 하는 노광 상태가 설정된다. 도 8 및 도 9에 도시한 바와 같이, 현재의 목표 휘도 적산치와 고정치의 연산에 의해 새로운 목표 휘도 적산치를 설정하고, 현재의 단시간 노광 시간과 고정치의 연산에 의해 새로운 단시간 노광 시간을 설정한다. 그 결과, 합성 화상 신호의 휘도 레벨은 노광량이 완만하게 변화되면서 조절된다.

5. 노광 보정 처리의 다른 예

도 7을 참조하여 도시된 노광 보정 처리에서, 각 필드 기간에, 노광부족 부분의 제거를 위한 노광 보정과 노광과다 부분의 제거를 위한 노광 보정 모두가 실행된다. 하지만, 각 필드 기간에, 노광부족 부분의 제거를 위한 노광 보정과 노광과다 부분의 제거를 위한 노광 보정 중 한쪽만 행하도록 하여도 된다. 즉, 1 필드의 기간에 노광부족 부분의 제거를 위한 노광 보정과 노광과다 부분의 제거를 위한 노광 보정을 동시에는 행하지 않도록 하여도 된다. 이 경우가 도 10 및 도 11에 도시된다.

도 10은, 제어부(10)가, 노광부족 부분의 제거를 위한 노광 보정 동작이 안정되어 있는지의 여부를 판별하여, 안정되어 있지 않으면 노광부족 부분의 제거를 위한 노광 보정을 행하고, 안정되어 있으면 노광과다 부분의 제거를 위한 노광 보정을 행하도록 하는 경우로서, 노광 보정 처리(도 4의 단계 ST4의 처리)를 도시하고 있다. 도 4의 단계 ST4에서, 노광 보정 처리가 개시된다. 이후, 제어부(10)는 도 10의 단계 F00으로서, 현재의 목표 휘도 적산치를 보존한다. 즉, 전회의 필드 기간에 설정한 목표 휘도 적산치(Yt)를, 전회의 목표 휘도 적산치(Yo)로서 보존한다. 단계 F10 및 F20에서, 상기 도 8의 노광부족 보정을 행하고, 목표 휘도 적산치(Yt)를 결정한다.

단계 F30에서, 제어부(10)는 목표 휘도 적산치(Yt)가, 전회의 목표 휘도 적산치(Yo)와 동일한지의 여부를 판별한다. 예를 들면, 단계 F20에서, 도 8의 단계 F203으로 진행한 경우, 목표 휘도 적산치(Yt)는 전회의 목표 휘도 적산치(Yo)와 동등해진다. 한편, 단계 F20에서, 도 8의 단계 F201 또는 F202로 진행한 경우, 목표 휘도 적산치(Yt)는, 전회의 목표 휘도 적산치(Yo)와는 상이한 값으로 된다. 단계 F30에서 목표 휘도 적산치(Yt)가 전회의 목표 휘도 적산치(Yo)와는 서로 다른 값으로 된 경우에는, 제어부(10)는 노광 보정 처리를 종료한다. 즉, 노광과다 보정으로서의 처리를 행하지 않고 도 4의 단계 ST5의 노광 제어 처리로 진행하게 된다. 이 경우, 제어부(10)는, 단계 ST5의 노광 제어 처리에서는, 목표 휘도 적산치(Yt)와, 현재의 휘도 적산치를 이용한, 장시간 노광량의 제어를 행하고, 단시간 노광량의 제어는 행하지 않도록 한다.

한편, 도 10의 단계 F30에서 목표 휘도 적산치(Yt)가 전회의 목표 휘도 적산 치(Yo)와 동일하다고 판별한 경우에는, 제어부(10)는 단계 F50 및 F60으로서, 예를 들면 상기 도 9의 노광과다 보정 처리를 행하고, 단시간 노광 시간(Tt)을 결정한다. 그리고, 도 4의 단계 ST5의 노광 제어 처리로 진행하게 된다. 이 경우, 제어부(10)는, 단계 ST5의 노광 제어 처리에서는, 단시간 노광 시간(Tt)을 이용한 단시간 노광량의 제어를 행하고, 장시간 노광량의 제어는 행하지 않도록 한다.

따라서, 도 4의 단계 ST4에서, 도 10의 처리가 행해지도록 하면, 우선 각 필드 기간마다 장시간 노광량의 보정이 행해진다. 장시간 노광량이 적절히 보정된 후, 단시간 노광량의 보정이 행해지게 된다. 장시간 노광량이 부적절하게 보정된다면, 장시간 노광량이 적정한 노광량으로 수렴될 때까지 장시간 노광량의 보정이 행해진다. 이 경우, 노광부족 보정과 노광과다 보정을 동시(동일 필드 기간 내)에 행하지 않는다. 그 결과, 출력 영상의 휘도 변화는 보다 완만해진다.

도 10의 처리를 발전시켜, 노광부족 보정을 행한 횟수를 카운터에 의해 카운트하고, 이 카운트 결과에 기초하여, N(양의 수)회에 한번은 노광과다 보정을 행하도록 하여, 노광부족 부분 및 노광과다 부분을 포함하지 않는 출력 영상을 빠르게 획득하는 방법을 도 11에 도시한다. 도 11에 있어서, 단계 F00, F10, F20, F30, F50, 및 F60은 도 10과 마찬가지이지만, 단계 F40, F41 및 F42의 처리가 새로이 추가된다. 제어부(10)는, 단계 F30에서 금회의 목표 휘도 적산치(Yt)가 전회의 목표 휘도 적산치(Yo)와는 상이한 값이라고 판별한 경우에는, 단계 F40에서 내부 카운터를 카운트업한다. 그리고 단계 F41에서, 제어부(10)는 카운트치가 소정치 N을 초과하고 있는지의 여부를 판별한다. 단계 F41에서 카운트치가 소정치 N을 초과하지 않았으면 제어부(10)는 노광 보정 처리를 종료한다. 한편, 단계 F41에서, 카운트치가 소정치 N을 초과하였다고 판단한 경우에는, 제어부(10)는 단계 F42에서 카운터를 제로로 리셋한 다음에, 단계 F50 및 F60의 노광과다 보정을 행한다. 도 11에 도시된 이 처리에 의하면, 장시간 노광량이 안정되어 있지 않더라도, N 필드의 기간 동안 계속해서 장시간 노광량의 보정이 행해진 후에는, 단시간 노광량의 보정이 행해지게 된다. 즉, 노광과다 보정은 N 필드 기간을 경과한 후 자동으로 행해진다. 따라서, 노광부족 보정을 완료하는데 많은 시간이 걸린다 할지라도, 노광과다 보정이 시작될 수 없는 사태를 피할 수 있다.

6. 노광부족 보정의 다른 예

도 4의 단계 ST4의 노광 보정 처리에서 실행되는 노광부족 보정(도 7, 도 10 또는 도 11의 단계 F10, F20)의 처리 예로서 도 8의 처리를 설명했다. 이 노광부족 보정의 다른 예를 도 12, 도 13에서 설명한다.

도 12의 노광부족 보정은, 휘도 히스토그램에서의 중간 휘도 레벨도 목표 휘도 적산치(Yt)의 설정에 이용하는 예이다. 도 12의 단계 F100에서는, 제어부(10)는, 휘도 히스토그램의 M1 레벨의 비율이 40% 이하인지의 여부를 판별한다. M1 레벨은 mb1, mb2, mb3 레벨(즉, 중간 휘도 레벨의 저휘도측)이며, mb1, mb2, mb3 레벨의 합산치가 40%를 넘었는지의 여부를 판별한다. 촬상 화상에서 중간 휘도 레벨인 M1 레벨의 비율이 높을 때 노광부족 보정이 행해지는 경우, 노광과다가 새로이 발생할 가능성이 있다. 따라서, 이 경우에는, 어떠한 보정도 행해지지 않는다. 즉, M1 레벨의 비율이 40%를 초과하고 있는 경우에는, 단계 F203으로 진행하여, 목표 휘도 적산치(Yt)는 현상태의 값을 유지한다. 한편, M1 레벨의 비율이 40% 이하이면, 단계 F101로 진행한다. 단계 F101, F102, F201, F202, 및 F203의 처리는 도 8과 마찬가지이다. 도 12에 도시된 이와 같은 처리에 의하면, 노광부족 보정에 의해 노광과다가 새로이 발생하는 사태를 피할 수 있다.

도 13에 또 다른 노광부족 보정의 예를 도시한다. 도 13의 본 예에서, 제어부(10)는 우선 단계 F110에서 휘도 히스토그램에서의 블랙 레벨(B)의 비율 X%를 취득한다. 단계 F111에서, 제어부(10)는 블랙 레벨(B)의 비율을 X%에서 7%로 변경하기 위해서 필요한 휘도 적산 차분치(ΔS)를 산출한다. 휘도 적산 차분치(ΔS)는, 블랙 레벨(B)의 비율을 X%에서 7%로 변경하기 위해서 필요한 목표 휘도 적산치(Yt)의 보정값이며, 이것은 블랙 레벨(B)의 비율 X%로부터 함수 F에 의해 구해지는 것으로 한다. 7%의 비율은 적정한 블랙 레벨(B)의 비율로서의 설정치의 일례이다. 그리고, 단계 F112에서, 제어부(10)는 목표 휘도 적산치(Yt)를, 현재의 목표 휘도 적산치(Yt)에 휘도 적산 차분치(ΔS)를 가산한 값으로 갱신한다.

전술한 바와 같이, 목표 휘도 적산치(Yt)를 수렴시키기 위한 차분치로서 휘도 적산 차분치(ΔS)를 산출하고, 현재의 목표 휘도 적산치(Yt)와 휘도 적산 차분치(ΔS)의 연산에 의해 새로운 목표 휘도 적산치(Yt)를 설정함으로써, 1회의 처리로 수렴해야 할 목표 휘도 적산치(Yt)가 구해질 수 있다. 따라서, 노광부족 보정의 수렴을 빠르게 할 수 있다.

7. 노광과다 보정의 다른 예

도 4의 단계 ST4의 노광 보정 처리에 있어서 실행되는 노광과다 보정(도 7 또는 도 10 또는 도 11의 단계 F50, F60)의 처리 예로서 도 9의 처리를 설명했다. 노광과다 보정의 다른 예를 도 14 및 도 15에서 설명한다.

도 14의 노광과다 보정은, 휘도 히스토그램에서의 중간 휘도 레벨도 단시간 노광 시간(Tt)의 설정에 이용하는 예이다. 도 14의 단계 F500에서는, 제어부(10)는, 휘도 히스토그램의 M2 레벨이 40% 이하인지의 여부를 판별한다. M2 레벨은 mw1, mw2, mw3(즉 중간 휘도 레벨의 고휘도측)이다. 즉, mw1, mw2, mw3 레벨의 비율의 합산이 40%를 넘었는지의 여부를 판별한다. 촬상 화상에서 중간 휘도 레벨인 M2 레벨의 비율이 높을 때, 노광과다 보정이 실행되는 경우, 노광부족이 새로이 발생할 가능성이 있다. 따라서, 이 경우에는, 어떠한 보정도 행해지지 않는다. 즉, M2 레벨의 비율이 40%를 초과하고 있는 경우에는, 단시간 노광 시간(Tt)이 현상태의 값을 유지하는 단계 F603으로 진행한다. M2 레벨의 비율이 40% 이하이면, 단계 F501로 진행한다. 단계 F501, F502, F601, F602, 및 F603의 처리는 도 9와 마찬가지이다. 도 14의 이와 같은 처리에 의하면, 노광과다 보정에 의해 노광부족이 새로이 발생하는 사태를 피할 수 있다.

도 15에 또 다른 노광과다 보정의 처리 예를 도시한다. 도 15의 처리에서는, 제어부(10)는 우선 단계 F510에서 휘도 히스토그램에서의 화이트 레벨(W)의 비율 X%를 취득한다. 단계 F511에서, 제어부(10)는 화이트 레벨(W)의 비율을 X%에서 7%로 변경하기 위하여 필요한 단시간 노광 시간 차분치(ΔT)를 산출한다. 단시간 노광 시간 차분치(ΔT)는, 화이트 레벨(W)의 비율을 X%에서 7%로 변경하기 위하여 필요한 단시간 노광 시간(Tt)의 보정값이며, 이것은 현재의 화이트 레벨(W)의 비율 X%로부터 함수 F에 의해 구해지는 것으로 한다. 7%의 비율은 적정한 화이트 레벨(W)의 비율로서의 설정치의 일례이다. 그리고, 단계 F512에서, 제어부(10)는 단시간 노광 시간(Tt)을, 현재의 단시간 노광 시간(Tt)에 단시간 노광 시간 차분치(ΔT)를 가산한 값으로 갱신한다.

전술한 바와 같이, 단시간 노광 시간(Tt)을 수렴시키기 위한 차분치로서 단시간 노광 시간 차분치(ΔT)를 산출하고, 현재의 단시간 노광 시간(Tt)과 단시간 노광 시간 차분치(ΔT)의 연산에 의해 새로운 단시간 노광 시간(Tt)을 설정함으로써, 1회의 처리에서 수렴해야 할 단시간 노광 시간(Tt)을 구할 수 있다. 따라서, 노광과다 보정의 수렴을 빠르게 할 수 있다.

8. 실시 형태의 효과, 및 프로그램

본 발명의 일 실시예에 따르면, 합성 후의 화상의 휘도 적산치와 휘도 히스토그램을 이용하여 노광과다 부분과, 노광부족 부분이 합성 화상에 포함되는지를 판별한다. 노광과다 부분이나 노광부족 부분이 합성 화상에 포함되는 경우, 그것을 해소하도록 자동 노광 제어한다. 따라서, 합성 후의 화질을 향상시키는 것이 가능해진다. 즉, 이것은 모니터 디스플레이에 출력되는 영상의 화질을 향상시킬 수 있다. 사용자는 모니터 디스플레이에 디스플레이된 화질 향상을 느낄 수 있다. 와이드 다이내믹 레인지 카메라에서는, 다이내믹 레인지라고 하는 수치적인 관점도 중요하지만, 사용자는 최종 영상의 화질을 중시한다. 따라서, 최종 화상을 최적화하는 능력은 와이드 다이내믹 레인지 카메라에 큰 이점이 된다.

또한, 본 발명의 일 실시예에 따른 노광 보정 제어의 방법에서, 와이드 다이내믹 레인지 카메라에서의 합성 화상을 생성하는 신호 처리부(4)의 신호 합성 방식에 관한 의존율이 극히 낮기 때문에, 다양한 타입의 신호 처리부가 사용될 수 있다. 또한, 신호 합성의 타이밍(1 필드 혹은 2 필드마다 두 개의 서로 다른 노광량의 화상을 얻는 것인지)에도 영향을 받지 않는다. 따라서, 장치 전체에 대한 의존율이 내려가, 본 발명의 실시예에 따른 노광 보정 제어 방법은 보다 많은 와이드 다이내믹 레인지 카메라 시스템에 적용할 수 있다. 또한, 검파부(6)는 합성 화상 신호를 처리한다. 즉, 단일 검파부만 있으면 되어, 장시간 노광 화상 신호와 단시간 노광 화상 신호의 각각에 대하여 검파부를 설치할 필요도 없다. 그 결과, 장치 전체를 간소화할 수 있다는 이점이 있다.

본 발명의 일 실시예는 동화상 촬상을 행하는 카메라 시스템에 적용할 수 있다. 하지만, 본 발명의 일 실시예는 정지 화상 촬상을 행하는 카메라 시스템에도 적용할 수 있다. 정지 화상 촬상의 경우에도, 예를 들면 촬상 타이밍에 이르기까지의 모니터링중에, 각 필드 기간에서 상술한 바와 같은 노광 보정 제어를 행하면 된다. 예를 들면, 논인터레이스(noninterlaced) 스캔 방식의 촬상을 행하는 경우, 전술한 각 필드 기간의 처리는 각 프레임 기간의 처리로서 생각하면 된다. 물론, 스캔 방식에 한하지 않고, 화상 신호의 단위 기간이란, 필드 기간, 프레임 기간, 복수 필드 기간, 복수 프레임 기간 등으로 하여, 다양하게 생각된다. 예를 들면, 복수 프레임 기간마다 1회의 비율로, 검파 처리, 노광 보정 처리, 노광 제어 처리가 행해지는 동작 예도 생각된다.

본 발명의 일 실시예에 따른 프로그램은, 전술한 제어부(10)의 처리의 프로그램이다. 즉, 본 발명의 일 실시예에 따른 프로그램은 도 7 내지 도 15와 같은 각종 처리를 마이크로컴퓨터(연산 처리 장치)인 제어부(10)에 실행시키는 프로그램이다. 이와 같은 프로그램은, 퍼스널 컴퓨터나, 촬상 장치 등의 기기에 내장되어 있는 기록 매체로서의 HDD나, CPU를 갖는 마이크로컴퓨터 내의 ROM이나 플래시 메모리 등에 미리 기록해 놓을 수 있다. 혹은, 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto-optical) 디스크, DVD(Digital Versatile Disc), 블루레이 디스크, 자기 디스크, 반도체 메모리, 메모리 카드 등의 리무버블 기록 매체에, 일시적 혹은 영속적으로 프로그램을 저장(기록)해 놓을 수 있다. 이와 같은 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 얻어질 수 있다. 본 발명의 실시예에 따른 프로그램은, 리무버블 기록 매체로부터 퍼스널 컴퓨터에 인스톨하거나, 다운로드 사이트로부터, LAN(Local Area Network) 또는 인터넷 등의 네트워크를 통하여 퍼스널 컴퓨터에 다운로드할 수도 있다.

당업자라면 첨부된 특허청구범위 또는 그 균등물의 범위 내에 있는 한 설계 요구 및 다른 인자에 따라 다양한 개조, 조합, 부조합 및 변형이 가능함을 이해해야할 것이다.

도 1은 본 발명의 실시 형태의 촬상 장치의 블록도.

도 2는 본 발명의 실시 형태의 장시간 노광과 단시간 노광의 설명도.

도 3은 본 발명의 실시 형태의 신호 합성 처리의 설명도.

도 4는 본 발명의 실시 형태의 촬상 장치의 동작의 플로우차트.

도 5는 본 발명의 실시 형태의 검파 처리의 플로우차트.

도 6a 및 도 6b는 본 발명의 실시 형태의 휘도 히스토그램의 설명도.

도 7은 본 발명의 실시 형태의 노광 보정 처리의 플로우차트.

도 8은 본 발명의 실시 형태의 노광부족 보정 처리의 플로우차트.

도 9는 본 발명의 실시 형태의 노광과다 보정 처리의 플로우차트.

도 10은 본 발명의 실시 형태의 노광 보정 처리의 다른 예의 플로우차트.

도 11은 본 발명의 실시 형태의 노광 보정 처리의 또 다른 예의 플로우차트.

도 12는 본 발명의 실시 형태의 노광부족 보정 처리의 다른 예의 플로우차트.

도 13은 본 발명의 실시 형태의 노광부족 보정 처리의 또 다른 예의 플로우차트.

도 14는 본 발명의 실시 형태의 노광과다 보정 처리의 다른 예의 플로우차트.

도 15는 본 발명의 실시 형태의 노광과다 보정 처리의 또 다른 예의 플로우차트.

<도면의 주요부분에 대한 부호의 설명>

1: 촬상 광학계

1a: 조리개

2: 촬상 소자부

3: 전처리부

4: 신호 처리부

5: 출력부

6: 검파부

7: 타이밍 제너레이터

8: 광학 부품 구동부

10: 제어부

Claims (18)

1. 촬상 장치로서,

   피사체로부터의 입사광으로부터 촬상 화상 신호를 생성함과 함께, 상기 촬상 화상 신호로서, 노광 시간이 상대적으로 긴 장시간 노광 화상 신호 및 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 출력하는 촬상부와,

   상기 장시간 노광 화상 신호와 상기 단시간 노광 화상 신호를 합성함으로써, 적어도 상기 장시간 노광 화상 신호 또는 상기 단시간 노광 화상 신호의 다이내믹 레인지 중 어느 하나보다 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하는 신호 처리부와,

   상기 합성 화상 신호에 있어서의 휘도 적산치와 휘도 히스토그램을 생성하는 검파부와,

   상기 휘도 적산치와 상기 휘도 히스토그램을 이용하여, 상기 촬상부의 노광 보정 제어를 행하는 제어부

   를 포함하고,

   상기 제어부는,

   상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광부족을 검출하고, 검출 결과에 기초하여 목표 휘도 적산치를 설정하고, 상기 목표 휘도 적산치를 이용하여, 상기 촬상부의 상기 장시간 노광 화상 신호에 관한 노광 보정 제어와, 상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광과다를 검출하고, 검출 결과에 기초하여 단시간 노광 시간을 설정하고, 상기 단시간 노광 시간을 이용하여 상기 촬상부의 상기 단시간 노광 화상 신호에 관한 노광 보정 제어를 행하고, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 제어와 노광과다에 대응한 노광 보정 제어 중 한쪽을 행함과 함께, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 동작이 안정되어 있는지 여부를 판별하고, 안정되어 있지 않으면 노광부족에 대응한 노광 보정 제어를 행하고, 안정되어 있으면 노광과다에 대응한 노광 보정 제어를 행하는, 촬상 장치.
2. 제1항에 있어서, 상기 제어부는, 노광부족에 대응한 노광 보정 제어의 횟수를 카운트하고, 노광부족에 대응한 노광 보정 제어를 소정 횟수 실행한 후에는 노광과다에 대응한 노광 보정 제어를 행하는 것을 특징으로 하는 촬상 장치.
3. 제1항에 있어서, 상기 제어부는, 상기 장시간 노광 화상 신호에 관한 노광 보정 제어로서, 조리개 보정, 장시간 노광 시간 보정 또는 장시간 노광 화상 신호에 대한 게인 보정을 행하는 것을 특징으로 하는 촬상 장치.
4. 제1항에 있어서, 상기 제어부는, 현재의 목표 휘도 적산치와 고정치의 연산에 의해 새로운 목표 휘도 적산치를 설정하는 것을 특징으로 하는 촬상 장치.
5. 제1항에 있어서, 상기 제어부는, 목표 휘도 적산치의 수렴 목표와의 차분치를 산출하고, 현재의 목표 휘도 적산치와 상기 차분치와의 연산에 의해 새로운 목표 휘도 적산치를 설정하는 것을 특징으로 하는 촬상 장치.
6. 제1항에 있어서,

   상기 검파부는, 상기 휘도 히스토그램으로서, 적어도 휘도 레벨을, 블랙 레벨, 중간 레벨, 화이트 레벨로 분류하여 휘도 분포를 나타내는 정보를 생성함과 함께,

   상기 제어부는, 상기 목표 휘도 적산치의 설정에 상기 중간 레벨의 정보를 이용하는 것을 특징으로 하는 촬상 장치.
7. 제1항에 있어서, 상기 제어부는, 현재의 단시간 노광 시간과 고정치와의 연산에 의해 새로운 단시간 노광 시간을 설정하는 것을 특징으로 하는 촬상 장치.
8. 제1항에 있어서, 상기 제어부는, 단시간 노광 시간의 수렴 목표와의 차분치를 산출하고, 현재의 단시간 노광 시간과 상기 차분치와의 연산에 의해 새로운 단시간 노광 시간을 설정하는 것을 특징으로 하는 촬상 장치.
9. 제1항에 있어서,

   상기 검파부는, 상기 휘도 히스토그램으로서, 적어도 휘도 레벨을, 블랙 레벨, 중간 레벨, 화이트 레벨로 분류하여 휘도 분포를 나타내는 정보를 생성함과 함께,

   상기 제어부는, 상기 단시간 노광 시간의 설정에 상기 중간 레벨의 정보를 이용하는 것을 특징으로 하는 촬상 장치.
10. 촬상 방법으로서,

    피사체로부터의 입사광으로부터 촬상 화상 신호를 생성함과 함께, 상기 촬상 화상 신호로서, 노광 시간이 상대적으로 긴 장시간 노광 화상 신호 및 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 출력하는 단계와,

    상기 장시간 노광 화상 신호와 상기 단시간 노광 화상 신호를 합성함으로써, 적어도 상기 장시간 노광 화상 신호 또는 상기 단시간 노광 화상 신호의 다이내믹 레인지 중 어느 하나보다 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하는 단계와,

    상기 합성 화상 신호에 있어서의 휘도 적산치와 휘도 히스토그램을 생성하는 단계와,

    상기 휘도 적산치와 상기 휘도 히스토그램을 이용하여 노광 보정 제어를 행하는 노광 보정 제어 단계

    를 실행하고,

    상기 노광 보정 제어 단계에서는,

    상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광부족을 검출하고, 검출 결과에 기초하여 목표 휘도 적산치를 설정하고, 상기 목표 휘도 적산치를 이용하여, 상기 장시간 노광 화상 신호에 관한 노광 보정 제어와, 상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광과다를 검출하고, 검출 결과에 기초하여 단시간 노광 시간을 설정하고, 상기 단시간 노광 시간을 이용하여 상기 단시간 노광 화상 신호에 관한 노광 보정 제어를 행하고, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 제어와 노광과다에 대응한 노광 보정 제어 중 한쪽을 행함과 함께, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 동작이 안정되어 있는지 여부를 판별하고, 안정되어 있지 않으면 노광부족에 대응한 노광 보정 제어를 행하고, 안정되어 있으면 노광과다에 대응한 노광 보정 제어를 행하는, 촬상 방법.
11. 노광 제어 방법으로서,

    노광 시간이 상대적으로 긴 장시간 노광 화상 신호 및 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 얻고, 상기 장시간 노광 화상 신호와 상기 단시간 노광 화상 신호를 합성함으로써, 적어도 상기 장시간 노광 화상 신호 또는 상기 단시간 노광 화상 신호의 다이내믹 레인지 중 어느 하나보다 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하여 출력하는 촬상 장치의 노광 보정 방법으로서,

    상기 합성 화상 신호에 있어서의 휘도 적산치와 휘도 히스토그램을 취득하는 단계와,

    상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광부족을 검출하는 단계와,

    노광부족의 검출 결과에 기초하여 목표 휘도 적산치를 설정하는 단계와,

    상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광과다를 검출하는 단계와,

    노광과다의 검출 결과에 기초하여 단시간 노광 시간을 설정하는 단계와,

    상기 목표 휘도 적산치 및 상기 단시간 노광 시간을 이용하여 노광 보정 제어를 행하는 노광 보정 제어 단계

    를 실행하고,

    상기 노광 보정 제어 단계에서는,

    상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광부족을 검출하고, 검출 결과에 기초하여 목표 휘도 적산치를 설정하고, 상기 목표 휘도 적산치를 이용하여, 상기 장시간 노광 화상 신호에 관한 노광 보정 제어와, 상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광과다를 검출하고, 검출 결과에 기초하여 단시간 노광 시간을 설정하고, 상기 단시간 노광 시간을 이용하여 상기 단시간 노광 화상 신호에 관한 노광 보정 제어를 행하고, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 제어와 노광과다에 대응한 노광 보정 제어 중 한쪽을 행함과 함께, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 동작이 안정되어 있는지 여부를 판별하고, 안정되어 있지 않으면 노광부족에 대응한 노광 보정 제어를 행하고, 안정되어 있으면 노광과다에 대응한 노광 보정 제어를 행하는, 노광 제어 방법.
12. 노광 시간이 상대적으로 긴 장시간 노광 화상 신호 및 노광 시간이 상대적으로 짧은 단시간 노광 화상 신호를 얻고, 상기 장시간 노광 화상 신호와 상기 단시간 노광 화상을 합성함으로써, 적어도 상기 장시간 노광 화상 신호 또는 상기 단시간 노광 화상 신호의 다이내믹 레인지 중 어느 하나보다 상대적으로 다이내믹 레인지가 넓은 합성 화상 신호를 생성하여 출력하는 촬상 장치의 노광 보정을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체로서,

    상기 합성 화상 신호에 있어서의 휘도 적산치와 휘도 히스토그램을 취득하는 단계와,

    상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광부족을 검출하는 단계와,

    노광부족의 검출 결과에 기초하여 목표 휘도 적산치를 설정하는 단계와,

    상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광과다를 검출하는 단계와,

    노광과다의 검출 결과에 기초하여 단시간 노광 시간을 설정하는 단계와,

    상기 목표 휘도 적산치 및 상기 단시간 노광 시간을 이용하여 노광 보정 제어를 행하는 노광 보정 제어 단계

    를 연산 처리 장치에 실행시키고,

    상기 노광 보정 제어 단계에서는,

    상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광부족을 검출하고, 검출 결과에 기초하여 목표 휘도 적산치를 설정하고, 상기 목표 휘도 적산치를 이용하여, 상기 장시간 노광 화상 신호에 관한 노광 보정 제어와, 상기 휘도 히스토그램으로부터 상기 합성 화상 신호에서의 노광과다를 검출하고, 검출 결과에 기초하여 단시간 노광 시간을 설정하고, 상기 단시간 노광 시간을 이용하여 상기 단시간 노광 화상 신호에 관한 노광 보정 제어를 행하고, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 제어와 노광과다에 대응한 노광 보정 제어 중 한쪽을 행함과 함께, 화상 신호의 각 단위 기간에, 노광부족에 대응한 노광 보정 동작이 안정되어 있는지 여부를 판별하고, 안정되어 있지 않으면 노광부족에 대응한 노광 보정 제어를 행하고, 안정되어 있으면 노광과다에 대응한 노광 보정 제어를 연산 처리 장치에 실행시키는 프로그램을 기록한, 컴퓨터 판독 가능한 기록 매체.
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제

Images