KR100708933B1

KR100708933B1 - 자동 노출 제어장치 및 그 방법

Info

Publication number: KR100708933B1
Application number: KR1020050094812A
Authority: KR
Inventors: 박근우; 최원태
Original assignee: 삼성전기주식회사
Priority date: 2005-10-10
Filing date: 2005-10-10
Publication date: 2007-04-17
Also published as: KR20070039677A

Abstract

본 발명은 자동 노출 제어장치 및 그 방법에 관한 것으로, 자동 노출 제어에 필요한 테이블을 생성함에 따라 상기 테이블의 인덱스만 산출하면 되므로 자동 노출 제어시간을 단축할 수 있으며, 마이크로 프로세서의 알고리즘 구현이 용이해지는 이점이 있다.

본 발명에 의한 자동 노출 제어장치는, 해상도 모드마다 하나 이상의 프레임을 주기로 이미지 센서 노출 시간을 자동으로 조절하는 자동 노출 제어장치에 있어서, 인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성하는 테이블 생성부; 밝기 성분의 분포도를 산출해내는 분포도 산출부; 상기 분포도 산출부에 의해 산출된 밝기 분포도를 기준으로 현재 입력되는 일정 주기의 프레임에 대한 밝기 평균 레벨값과 목표로 하는 밝기값의 차이에 따른 밝기 에러를 계산하여 누적되는 밝기 에러 한계치에 의한 보정이 이루어지고, 상기 보정된 값을 이용하여 상기 테이블로부터 상기 이미지 센서 노출시간을 조절하는데 필요한 값들이 저장된 인덱스를 선택하는 인덱스 선택부;를 포함한다.

자동 제어 노출, 테이블, 자동 노출 평가치, 디지털 증폭비율, 인덱스

Description

자동 노출 제어장치 및 그 방법{SYSTEM AND METHOD OF AUTO EXPOSURE CONTROL}

도 1은 본 발명에 의한 자동 노출 제어장치의 블록도

도 2는 본 발명에 의한 테이블 생성부의 블록도

도 3은 본 발명에 의한 분포도 산출부의 저장영역을 나타낸 도면

도 4는 본 발명에 의한 인덱스 선택부의 블록도

도 5는 본 발명에 의한 자동 노출 제어방법의 흐름도

도 6은 본 발명에 의한 제 1 단계의 흐름도

도 7은 본 발명에 의한 제 3 단계의 흐름도

도 8은 본 발명에 의한 제 4 단계의 흐름도

<도면의 주요 부호에 대한 설명>

100: 본 발명에 의한 자동 노출 제어장치

110: 테이블 생성부 111: 모드 변환 제어부

112: 분포도 제어부 113: 노출시간 기본단위 계산부

114: 테이블 생성 엔진 115: 테이블 완료 레지스터

116: 인터페이스 엔진 117: 센서 인터페이스 엔진

120: 분포도 산출도 130: 인덱스 선택부

131: 자동 노출 제어부 132: 평균 레벨 계산부

133: 에러 계산부 134: 누적 에러 계산부

135: 인덱스 탐색부 136: 휴지기 감지부

137: 분포도 산출부 레지스터

본 발명은 자동 노출 제어장치 및 그 방법에 관한 것으로, 자동 노출 제어에 필요한 테이블을 생성함에 따라 상기 테이블의 인덱스만 산출하면 되므로 자동 노출 제어시간을 단축할 수 있으며, 마이크로 프로세서의 알고리즘 구현이 용이해지는 자동 노출 제어장치 및 그 방법에 관한 것이다.

최근에 디지털 카메라 및 카메라 모듈이 장착된 휴대폰이 보편화 되고 있는 추세이다. 현재 출시되고 있는 디지털 카메라나 휴대폰용 디지털 카메라의 경우, 이미지 센서의 빛에 대한 노출시간을 수동으로 조절하지 않고 자동으로 조절하는 자동 노출 제어(Auto Exposure Control)가 기본적인 사용 모드로 되어 있다.

즉, 조명이 밝을 경우에는 센서의 빛에 대한 노출시간을 짧게 하며 조명이 어두울 경우에는 센서의 빛에 대한 노출시간을 길게 하는 자동 노출 제어는, ISP(Image Signal Processing) 또는 DSP(Digital Signal Processing)에서 수행되고 있다.

또한, 현재 출시되고 있는 디지털 카메라나 휴대폰용 디지털 카메라의 경우, 프리뷰(Preview) 모드와 캡쳐(Capture) 모드를 가지고 있다.

여기서, 프리뷰 모드는 초당 수~수십 프레임의 이미지를 LCD를 통해 출력하는 모드이며, 캡쳐 모드는 사용자가 저장버튼을 누르는 순간, 상기 순간의 이미지를 메모리에 저장하는 모드이다.

일반적으로 디지털 카메라나 휴대폰용 디지털 카메라의 경우, 프리뷰 모드에서는 저해상도로 LCD에 출력하다가 캡쳐 모드에서는 고해상도로 변환시켜 고해상도의 이미지를 저장한다.

그러나, 프리뷰 모드에서 저해상도로 동작시킬 때의 이미지 센서 클럭 및 레지스터 셋팅값과 캡쳐 모드에서 고해상도로 동작시킬 때의 이미지 센서 클럭 및 레지스터 셋팅값은 다른 경우가 많으므로, 이미지 센서를 프리뷰 모드에서 저해상도로 동작시킬 때의 특성과 이미지 센서를 캡쳐 모드에서 고해상도로 동작시킬 때의 특성은 다른 경우가 많다.

따라서, 디지털 카메라나 휴대폰용 디지털 카메라의 사용자가 LCD를 통해서 프리뷰 이미지를 보다가 저장버튼을 누르게 되면, 자동 노출제어나 자동 화이트 밸런스 제어(Auto white balance control)를 변환된 모드에 따라 다시 해야 하므로, 실제 저장되는 이미지는 저장버튼을 누른 후 수백 내지 수천 ms 지난 후의 이미지가 저장되게 된다.

종래 기술에 의한 자동 노출 제어방법은, 현재 출력되는 프레임의 밝기와 목표로 하는 밝기와의 차이를 계산하여 그 차이를 보정해주는 보상값을 산출해낸 다음, 상기 보상값을 현재 노출 환산값에 더해서 미래적용값을 구하고, 이미지 센서가 고해상도의 모드일 때, 상기 미래적용값을 최소 노출시간의 배수로 근사시켜서 상기 근사시킨 배수값을 센서에 전달하며, 부족한 보상값은 디지털 증폭비율로 환산하여 ISP에 전달하는 방법이었다.

그러나, 상술한 바와 같은, 종래 기술에 의한 자동 노출 제어방법은, 각각의 해상도 모드마다 매 프레임별로 이미지 센서의 노출시간을 조절해야 하므로 자동 노출 제어시간이 많이 소요되는 문제점이 있었다.

또한, 각각의 해상도 모드마다 매 프레임별로 이미지 센서의 노출시간을 조절해야 하므로 마이크로 프로세서의 알고리즘 구현이 어려워지는 문제점이 있었다.

따라서, 본 발명은 상기 문제점을 해결하기 위하여 이루어진 것으로, 자동 노출 제어에 필요한 테이블을 생성함에 따라 상기 테이블의 인덱스만 산출하면 되므로 자동 노출 제어시간을 단축할 수 있으며, 마이크로 프로세서의 알고리즘 구현이 용이해지는 자동 노출 제어장치 및 그 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명에 의한 자동 노출 제어장치는, 해상도 모드마다 하나 이상의 프레임을 주기로 이미지 센서 노출 시간을 자동으로 조절하는 자동 노출 제어장치에 있어서, 인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성하는 테이블 생성부; 밝기 성분의 분포도를 산출해내는 분포도 산출부; 상기 분포도 산출부에 의해 산출된 밝기 분포도를 기준으로 현재 입력되는 일정 주기의 프레임에 대한 밝기 평균 레벨값과 목표로 하는 밝기값의 차이에 따른 밝기 에러를 계산하여 누적되는 밝기 에러 한계치에 의한 보정이 이루어지고, 상기 보정된 값을 이용하여 상기 테이블로부터 상기 이미지 센서 노출시간을 조절하는데 필요한 값들이 저장된 인덱스를 선택하는 인덱스 선택부;를 포함한다.

여기서, 상기 테이블 생성부는, DSP로부터 모드 변환 명령을 받아 ISP 및 이미지 센서의 해상도 모드를 변환시키고, 상기 분포도 산출부의 밝기성분 분포도 산출 및 상기 이미지 센서로부터 출력되는 이미지 데이터를 제어하는 모드 변환 제어부; 상기 모드 변환 제어부로부터 명령을 받아 상기 분포도 산출부를 제어하는 분포도 제어부; 상기 이미지 센서에 의해 클럭 갯수로 환산된 노출시간 기본 단위를 클럭 주파수로 나누어 시간으로 환산하는 노출시간 기본 단위 계산부; 상기 노출시간 기본 단위 계산부에서 환산된 노출시간 기본 단위를 이용하여 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출시간을 구하고, 변환된 모드에 대한 테이블을 생성하는 테이블 생성 엔진; 및 모드 변환시 리셋되고, 상기 테이블이 생성되면 셋팅되는 테이블 완료 레지스터;를 포함하는 것을 특징으로 한다.

이때, 상기 테이블 생성 엔진은, 모드 변환 후 첫번째 주기의 프레임에 대한 이미지 센서 노출시간이, 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출 시간과 거의 동일하도록 테이블을 생성하는 것을 특징으로 한다.

또한, 상기 테이블 생성 엔진은, 상기 이미지 센서 노출시간을 상기 노출시간 기본 단위로 나눈 자동 노출 평가치 항목과 상기 ISP의 밝기 증폭비율인 디지털 증폭비율 항목으로 구성된 테이블을 생성하는 것을 특징으로 한다.

또한, 상기 테이블 생성 엔진은, 상기 형성된 각각의 인덱스에 100개의 쌍으로 구성된 자동 노출 평가치 및 디지털 증폭비율이 저장된 테이블을 생성하는 것을 특징으로 한다.

한편, 상기 인덱스 선택부는, 상기 분포도 산출부에서 산출된 밝기 분포도를 이용하여 밝기 평균 레벨값을 계산하는 평균 레벨 계산부; 상기 분포도 산출부의 완료 레지스터를 리셋시키거나, 상기 분포도 산출부 완료 레지스터를 리셋시키고 상기 평균 레벨 계산부를 동작시키는 자동 노출 제어부; 상기 밝기 평균 레벨값과 목표로 하는 밝기값의 차이인 밝기 에러를 계산하는 에러 계산부; 이전까지 입력된 프레임의 밝기 에러에 대한 누적치를 계산하는 누적 에러 계산부; 상기 계산된 밝기 에러에 대한 누적치를 이용하여 보정할 수 있는 밝기 에러의 한계치를 구하고, 상기 밝기 에러 한계치를 이용하여 현재 입력되는 일정 주기의 프레임에 대한 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있는 인덱스를 탐색하는 인덱스 탐색부; 및 현재 입력되는 일정 주기의 프레임에 대한 ISP 상태가 휴지기인지를 파악하는 휴지기 감지부;를 포함한다.

한편, 상기 모드 변환 제어부는, 상기 ISP 상태가 휴지기인 경우, 상기 인덱 스 탐색부에서 탐색된 인덱스에 저장되어 있는 자동 노출 평가치를 상기 이미지 센서에 셋팅하는 것을 특징으로 한다.

또한, 상기 모드 변환 제어부는, 상기 ISP 상태가 휴지기인 경우, 상기 인덱스 탐색부에서 탐색된 인덱스에 저장된 디지털 증폭비율을 상기 ISP에 셋팅하는 것을 특징으로 한다.

또한, 상기 모드 변환 제어부는, 변환 직전의 모드에 대한 이미지 데이터 출력을 중지시키고 변환된 모드에 대한 이미지 데이터 출력이 진행되도록 제어하는 것을 특징으로 한다.

또한, 상기 모드 변환 제어부는, 상기 분포도 제어부에 의해, 상기 분포도 산출부가 변환 직전의 모드에 대한 밝기 성분의 분포도 산출을 중지하고 변환된 모드에 대한 밝기 성분의 분포도 산출을 수행하도록 제어하는 것을 특징으로 한다.

한편, 상기 목적을 달성하기 위한 본 발명에 의한 자동 노출 제어방법은, 해상도 모드마다 하나 이상의 프레임을 주기로 이미지 센서 노출 시간을 자동으로 조절하는 자동 노출 제어방법에 있어서, 인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성하는 제 1 단계; 밝기 성분의 분포도를 산출해내는 제 2 단계; 상기 제 2 단계에서 산출된 밝기 분포도를 기준으로 현재 입력되는 일정 주기의 프레임에 대한 밝기 평균 레벨값과 목표로 하는 밝기값의 차이에 따른 밝기 에러를 계산하여 누적되는 밝기 에러 한계치에 의한 보정이 이루어지고, 상기 보정된 값을 이용하여 상기 테이블로부터 상기 이미지 센서 노출시간을 조절하는데 필요한 값들이 저장된 인덱스를 선택하는 제 3 단계; 및 상기 제 3 단계에서 선택된 인덱스에 저장된 값들을 이용하여 상기 이미지 센서 노출시간을 조절하는 제 4 단계;를 포함한다.

여기서, 상기 제 1 단계는, DSP로부터 받은 모드 변환 명령을 전달하는 제 1-1 단계; 변환 직전의 모드에 대한 테이블의 완료 레지스터를 리셋시키는 제 1-2 단계; 변환 직전의 모드에 대한 밝기 성분의 분포도 산출을 중지하는 제 1-3 단계; 변환 직전의 모드에 대한 이미지 센서로부터의 이미지 데이터 출력을 중지하는 제 1-4 단계; 이미지 센서의 해상도를 변환하는 제 1-5 단계; ISP의 해상도를 변환하는 제 1-6 단계; 상기 이미지 센서에 의해 클럭 갯수로 환산된 노출시간 기본 단위를 클럭 주파수로 나누어 시간으로 환산하는 제 1-7 단계; 상기 환산된 노출시간 기본 단위를 이용하여 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출시간을 구하는 제 1-8 단계; 및 인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성하는 제 1-9 단계; 및 상기 테이블이 생성되는 경우, 변환된 모드에 대한 테이블의 완료 레지스터를 셋팅하는 제 1-10 단계;를 포함하는 것을 특징으로 한다.

이때, 상기 제 1-9 단계는, 모드 변환 후 첫번째 주기의 프레임에 대한 이미지 센서 노출시간이 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출 시간과 거의 동일하도록 테이블을 생성하는 단계를 더 포함하는 것을 특징으로 한다.

또한, 상기 1-9 단계는, 상기 테이블이 상기 이미지 센서 노출시간을 상기 노출시간 기본 단위로 나눈 자동 노출 평가치 항목과 상기 ISP의 밝기 증폭비율인 디지털 증폭비율 항목으로 구성되도록 생성하는 것을 특징으로 한다.

또한, 상기 1-9 단계는, 상기 형성된 각각의 인덱스에 100개의 쌍으로 구성된 자동 노출 평가치 및 디지털 증폭비율이 저장되도록 테이블을 생성하는 것을 특징으로 한다.

한편, 상기 제 3 단계는, 상기 제 2 단계를 수행하는 분포도 산출부의 완료 레지스터를 리셋시키거나 상기 제 2 단계를 수행하는 분포도 산출부의 완료 레지스터를 리셋시키고 밝기 평균 레벨값을 계산하는 평균 레벨 계산부를 동작시키는 제 3-1 단계; 상기 제 2 단계에서 산출된 밝기 분포도를 이용하여 밝기 평균 레벨값을 계산하는 제 3-2 단계; 상기 밝기 평균 레벨값과 목표로 하는 밝기값의 차이인 밝기 에러를 계산하는 제 3-3 단계; 이전까지 입력된 프레임의 밝기 에러에 대한 누적치를 계산하는 제 3-4 단계; 상기 계산된 밝기 에러에 대한 누적치를 이용하여 보정할 수 있는 밝기 에러의 한계치를 계산하는 제 3-5 단계; 상기 계산된 밝기 에러 한계치를 이용하여 현재 입력되는 일정 주기의 프레임에 대한 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있는 인덱스를 탐색하는 제 3-6 단계; 및 현재 입력되는 일정 주기의 프레임에 대한 ISP 상태가 휴지기인지를 판단하는 제 3-7 단계;를 포함한다.

이때, 상기 제 3-7 단계는, 상기 현재 입력되는 일정 주기의 프레임에 대한 ISP의 상태가 휴지기인 경우 상기 제 4 단계로 진행하고, 휴지기가 아닌 경우 상기 제 3-7 단계로 피드백되는 것을 특징으로 한다.

한편, 상기 제 4 단계는, 상기 제 3-6 단계에서 탐색된 인덱스에 저장되어 있는 자동 노출 평가치를 이미지 센서에 셋팅하는 제 4-1 단계; 상기 제 3-6 단계 에서 탐색된 인덱스에 저장되어 있는 디지털 증폭비율을 ISP에 셋팅하는 제 4-2 단계; 상기 셋팅된 자동 노출 평가치 및 디지털 증폭비율을 이용하여 이미지 센서 노출 시간을 조절하는 제 4-3 단계; 상기 조절된 노출 시간에 따라 변환된 모드에 대한 밝기 성분의 분포도 산출을 수행하는 제 4-4 단계; 및 상기 조절된 노출 시간에 따라 변환된 모드에 대한 상기 이미지 센서로부터의 이미지 데이터 출력을 수행하는 제 4-5 단계;를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 바람직한 실시예에 대하여 보다 상세히 설명하기로 한다.

도 1은 본 발명에 의한 자동 노출 제어장치(100)의 블록도로써, 도 1에서 도시한 바와 같이, 본 발명에 의한 자동 노출 제어장치(100)는 해상도 모드마다 하나 이상의 프레임을 주기로 이미지 센서 노출 시간을 자동으로 조절하는 장치로써, 테이블 생성부(110), 분포도 산출부(120), 인덱스 선택부(130)로 구성되어 있다.

여기서, 상기 테이블 생성부(110)는, 인덱스를 형성하고 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성한다.

도 2는 본 발명에 의한 테이블 생성부(110)의 블록도로써, 도 2에서 도시한 바와 같이, 상기 테이블 생성부(110)는, 모드 변환 제어부(111), 분포도 제어부(112), 노출시간 기본 단위 계산부(113), 테이블 생성 엔진(114), 테이블 완료 레지스터(115)로 구성되어 있다.

여기서, 상기 모드 변환 제어부(111)는, DSP와 ISP 사이의 인터페이스 엔진(116)을 통하여 DSP로부터 모드 변환 명령을 전달받아 상기 명령을 해독한 후 상기 ISP 및 이미지 센서의 해상도 모드를 변환시키며, 상기 분포도 산출부(120)의 밝기성분 분포도 산출 및 상기 이미지 센서로부터 출력되는 이미지 데이터를 제어한다.

또한, 상기 분포도 제어부(112)는, 상기 모드 변환 제어부(111)로부터 명령을 받아 상기 분포도 산출부(120)를 제어하는 역할을 한다.

또한, 상기 노출시간 기본 단위 계산부(113)는, 센서 인터페이스 엔진(117)을 통하여 상기 이미지 센서에 의해 클럭 갯수로 환산된 노출시간 기본 단위를 클럭 주파수로 나누어 시간으로 환산한다.

이때, 시간으로 환산된 노출시간 기본 단위를 EXP_basetime 이라 정의하고, 이하 후술하기로 한다.

한편, 상기 테이블 생성 엔진(114)은, 상기 노출시간 기본 단위 계산부(113)에서 환산된 EXP_basetime을 이용하여 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출시간을 구한다.

이때, 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출시간을 OLD_expotime 이라 정의하고 이하 후술하기로 한다.

또한, 상기 테이블 생성 엔진(114)은, 상기 OLD_expotime을 구한 후 상기 변환된 모드에 대한 테이블을 생성한다.

이때, 상기 테이블 생성 엔진(114)은, 모드 변환 후 첫번째 주기의 프레임에 대한 이미지 센서 노출시간이, 상기 OLD_expotime과 거의 동일하도록 테이블을 생 성한다.

또한, 상기 테이블 생성 엔진(114)에 의해 생성된 테이블에는 이미지 센서 노출시간을 상기 EXP_basetime으로 나눈 자동 노출 평가치 항목과 상기 ISP의 밝기 증폭비율인 디지털 증폭비율 항목으로 구성되어 있으며, 상기 형성된 각각의 인덱스에 100개의 쌍으로 구성된 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있다.

이때, 각각의 인덱스를 N(N : 0 내지 99 범위 내의 양수)이라 하고, 각각의 인덱스에 대한 이미지 센서 노출시간, 자동 노출 평가치, 디지털 증폭비율을 각각노출시간[N], 자동 노출 평가치[N], 디지털 증폭비율[N]이라 할 때, 노출시간[N]과 자동 노출 평가치[N] 및 디지털 증폭비율[N]은 다음에서 설명하는 수학식 1, 수학식 2, 수학식 3을 통해 구할 수 있다.

여기서, EXP_maxtime은 이미지 센서 노출시간의 최대값이며, 상기 테이블 생성 엔진(114)은, 노출시간[N+1]/노출시간[N]의 비율을 정할 수 있는데, 그 비율을 timefactor라 한다. 상기 timefactor는 0에서 1사이의 값을 가질 수 있다.

또한, Gain_max는 디지털 증폭비율의 최대값이며, Gain_min은 디지털 증폭비율의 최소값이다.

또한, 상기 테이블 생성 엔진(114)에서는 다음의 수학식 4가 성립하는 인덱스를 No로 정한다.

또한, 상기 테이블 생성 엔진(114)은, 디지털 증폭비율[N+1]/디지털 증폭비율[N])의 비율을 정할 수 있는데, 그 비율을 gainfactor라 하며, 상기 gainfactor는 0에서 1사이의 값을 가질 수 있다.

상기 수학식 1, 2, 3에서 실제로 테이블에 저장되는 값은, 앞서 설명한 대로, 100개의 자동 노출 평가치[N]와 디지털 증폭비율[N]의 쌍이다.

또한, 테이블 완료 레지스터(115)는, 모드 변환시 리셋(reset)되고, 상기 테이블이 생성되면 셋팅(setting)되어 테이블이 갱신되는 것을 알리는 역할을 한다.

한편, 상기 분포도 산출부(120)는, 밝기 성분의 분포도를 산출해내는 기능 을 수행한다.

도 3은 본 발명에 의한 분포도 산출부(120)의 저장영역을 나타낸 도면으로써, 도 3에 도시한 바와 같이, 픽셀의 밝기 성분 최소값이 0이고, 최대값이 255라고 가정했을 경우, 한 프레임의 이미지를 구성하는 픽셀의 총 개수 중에서, 밝기 성분이 0~15인 픽셀의 개수, 밝기 성분이 16~31인 픽셀의 개수, ......, 밝기 성분이 224~239인 픽셀의 개수, 밝기 성분이 240~255인 픽셀의 개수를 각각 구한다.

그 다음, 밝기 성분이 0~15인 픽셀의 개수를 Bin0에 저장하고, 밝기 성분이 16~31인 픽셀의 개수를 Bin1에 저장하고, ......, 밝기 성분이 224~239인 픽셀의 개수를 Bin14에 저장하고, 밝기 성분이 240~255인 픽셀의 개수를 Bin15에 저장한다.

이때, 상기 분포도 산출부(120)의 밝기 성분 분포도 산출작업이 완료되었으면 분포도 산출부 완료 레지스터를 셋팅시킨다.

한편, 상기 인덱스 선택부(130)는, 상기 분포도 산출부(120)에 의해 산출된 밝기 분포도를 기준으로 현재 입력되는 일정 주기의 프레임에 대한 밝기 평균 레벨값과 목표로 하는 밝기값의 차이에 따른 밝기 에러를 계산하여 누적되는 밝기 에러 한계치에 의한 보정이 이루어지고, 상기 보정된 값을 이용하여 상기 테이블로부터 상기 이미지 센서 노출시간을 조절하는데 필요한 값들이 저장된 인덱스를 선택하는 기능을 수행한다.

도 4는 본 발명에 의한 인덱스 선택부(130)의 블록도로써, 도 4에서 도시한 바와 같이, 본 발명에 의한 인덱스 선택부(130)는, 자동 노출 제어부(131), 평균 레벨 계산부(132), 에러 계산부(133), 누적 에러 계산부(134), 인덱스 탐색부 (135), 휴지기 감지부(136)으로 구성되어 있다.

여기서, 상기 자동 노출 제어부(131)는, 테이블 완료 레지스터(115)가 셋팅된 상태에서 분포도 산출부 완료 레지스터(137)가 셋팅되었다면, 상기 분포도 산출부 완료 레지스터(137)를 리셋시키고 상기 평균 레벨 환산부(132)를 동작시킨다. 단, 만약 테이블 완료 레지스터(115)가 리셋된 상태에서 분포도 산출부 완료 레지스터(137)가 셋팅되었다면, 상기 자동 노출 제어부(131)는 상기 분포도 산출부 완료 레지스터(137)를 리셋시키는 작업만을 수행한다.

또한, 상기 평균 레벨 계산부(132)는, 상기 분포도 산출부(120)에서 산출된 밝기 분포도를 이용하여 밝기 평균 레벨값을 계산한다.

상기 밝기 평균 레벨값은 다음에 설명하는 수학식 5와 수학식 6 및 수학식 7을 통해 구할 수 있다.

또한, 상기 에러 계산부(133)는, 상기 수학식 7에서 계산된 밝기 평균 레벨값과 목표로 하는 밝기값의 차이인 밝기 에러를 계산한다.

상기 밝기 에러는, 다음에 설명하는 수학식 8을 통해 구할 수 있다.

또한, 상기 누적 에러 계산부(134)는, 이전까지 입력된 프레임의 밝기 에러에 대한 누적치를 계산한다.

상기 누적치(Error_ACC와 Final_Error)는 다음에 설명하는 수학식 9와 수학식 10을 통해 구할 수 있다.

이때, Speed는 자동 노출 제어의 추적 속도를 조절할 수 있는 파라미터이며, Error_ACC_old는 이전까지 입력된 프레임 이미지의 Error_ACC이고, Bright_Error_old는 이전까지 입력된 프레임 이미지의 밝기 에러이다.

또한, 상기 인덱스 탐색부(135)는, 상기 수학식 10에서 계산된 밝기 에러에 대한 누적치를 이용하여 보정할 수 있는 밝기 에러의 한계치를 구하는데, 상기 밝기 에러의 한계치는 다음에 설명하는 수학식 11을 통해 구할 수 있다.

또한, 상기 인덱스 탐색부(135)는, 상기 수학식 11에서 구한 상기 밝기 에러 한계치를 이용하여 현재 입력되는 일정 주기의 프레임에 대한 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있는 인덱스를 탐색한다.

현재 입력되는 일정 주기의 프레임에 대한 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있는 인덱스를 Nc라 할 때, 상기 Nc는 다음에 설명하는 수학식 12를 통해 구할 수 있다.

또한, 상기 휴지기 감지부(136)는, 현재 입력되는 일정 주기의 프레임에 대한 ISP 상태가 휴지기인지를 파악하는 기능을 수행한다.

즉, 상기 인덱스 탐색부(135)에서 상기 인덱스 Nc를 탐색한 후, 상기 자동 노출 제어부(131)에서는 상기 휴지기 감지부(136)를 통해 현재의 ISP의 상태가 프레임 중간의 휴지기인지를 파악한다.

따라서, 휴지기이면, 상기 모드 변환 제어부(111)는 상기 테이블 생성 엔진(114)을 통해 이미지 센서와 ISP에 각각 자동 노출 평가치[Nc] 및 디지털 증폭비율[Nc]을 셋팅한다. 상기 이미지 센서에 자동 노출 평가치[Nc]를 셋팅하는 것은 센서 인터페이스 엔진(117)을 통해 할 수 있다.

또한, 상기 모드 변환 제어부(111)는, 상기 테이블 생성 엔진(114)을 통해 변환 직전의 모드에 대한 이미지 데이터 출력을 중지시키고 변환된 모드에 대한 이미지 데이터 출력을 수행하는 역할도 한다.

한편, 도 5는 본 발명에 의한 자동 노출 제어방법의 흐름도를 나타내고, 도 6은 본 발명에 의한 제 1 단계의 흐름도를 나타내며, 도 7은 본 발명에 의한 제 3 단계의 흐름도를 나타내고, 도 8은 본 발명에 의한 제 4 단계의 흐름도를 나타낸다.

도 5에서 도시한 바와 같이, 본 발명에 의한 자동 노출 제어방법은 해상도 모드마다 하나 이상의 프레임을 주기로 이미지 센서 노출 시간을 자동으로 조절하는 방법으로써 크게 4 단계로 나누어 볼 수 있다.

먼저, 인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성한다(S501).

여기서, 도 6에서 도시한 바와 같이, 상기 S501 단계는, 크게 10 단계로 나누어 볼 수 있다

먼저, DSP로부터 받은 모드 변환 명령을 전달한다(S501a).

그 다음, 변환 직전의 모드에 대한 테이블의 완료 레지스터를 리셋시킨다(S501b).

그 다음, 변환 직전의 모드에 대한 밝기 성분의 분포도 산출을 중지한다(S501c).

그 다음, 변환 직전의 모드에 대한 이미지 센서로부터의 이미지 데이터 출력을 중지한다.(S501d).

그 다음, 이미지 센서의 해상도를 변환한다(S501e).

그 다음, ISP의 해상도를 변환한다(S501f).

그 다음, 상기 이미지 센서에 의해 클럭 갯수로 환산된 노출시간 기본 단위를 클럭 주파수로 나누어 시간으로 환산한다(S501g).

그 다음, 상기 환산된 노출시간 기본 단위를 이용하여 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출시간을 구한다(S501h).

그 다음, 인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성한다(S501i).

이때, 상기 S501i 단계는, 모드 변환 후 첫번째 주기의 프레임에 대한 이미지 센서 노출시간이 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출 시간과 거의 동일하도록 테이블을 생성하는 단계를 더 포함한다.

또한, 상기 S501i 단계는, 상기 테이블이 상기 이미지 센서 노출시간을 상기 노출시간 기본 단위로 나눈 자동 노출 평가치 항목과 상기 ISP의 밝기 증폭비율인 디지털 증폭비율 항목으로 구성되도록 하며, 상기 형성된 각각의 인덱스에 100개의 쌍으로 구성된 자동 노출 평가치 및 디지털 증폭비율이 저장되도록 한다.

그 다음은, 상기 S501 단계의 마지막 단계로, 상기 테이블이 생성되는 경우, 변환된 모드에 대한 테이블의 완료 레지스터를 셋팅한다(S501j).

한편, 상기 S501 단계 다음으로, 밝기 성분의 분포도를 산출해낸다(S502).

또한, 상기 S502 단계 다음으로, 상기 제 S502 단계에서 산출된 밝기 분포도를 기준으로 현재 입력되는 일정 주기의 프레임에 대한 밝기 평균 레벨값과 목표로 하는 밝기값의 차이에 따른 밝기 에러를 계산하여 누적되는 밝기 에러 한계치에 의한 보정이 이루어지고, 상기 보정된 값을 이용하여 상기 테이블로부터 상기 이미지 센서 노출시간을 조절하는데 필요한 값들이 저장된 인덱스를 선택한다(S503).

여기서, 도 7에서 도시한 바와 같이, 상기 S503 단계는, 크게 7 단계로 나누어 볼 수 있다.

먼저, 상기 S502 단계를 수행하는 분포도 산출부의 완료 레지스터를 리셋시키거나 상기 S502 단계를 수행하는 분포도 산출부의 완료 레지스터를 리셋시키고 밝기 평균 레벨값을 계산하는 평균 레벨 계산부를 동작시킨다(S503a).

즉, 테이블 완료 레지스터가 셋팅된 상태에서 분포도 산출부 완료 레지스터가 셋팅되었다면, 상기 분포도 산출부 완료 레지스터를 리셋시키고 상기 평균 레벨 환산부를 동작시킨다. 단, 만약 테이블 완료 레지스터가 리셋된 상태에서 분포도 산출부 완료 레지스터가 셋팅되었다면, 상기 분포도 산출부 완료 레지스터를 리셋 시키는 작업만 수행한다.

그 다음, 상기 S502 단계에서 산출된 밝기 분포도를 이용하여 밝기 평균 레벨값을 계산한다(S503b).

그 다음, 상기 S503b 단계에서 계산된 밝기 평균 레벨값과 목표로 하는 밝기값의 차이인 밝기 에러를 계산한다(S503c).

그 다음, 이전까지 입력된 프레임의 밝기 에러에 대한 누적치를 계산한다(S503d).

그 다음, 상기 S503d 단계에서 계산된 밝기 에러에 대한 누적치를 이용하여 보정할 수 있는 밝기 에러의 한계치를 계산한다(S503e).

그 다음, 상기 S503e 단계에서 계산된 밝기 에러 한계치를 이용하여 현재 입력되는 일정 주기의 프레임에 대한 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있는 인덱스를 탐색한다(S503f).

그 다음, 상기 S503 단계의 마지막 단계로, 현재 입력되는 일정 주기의 프레임에 대한 ISP 상태가 휴지기인지를 판단하여(S503g) 휴지기인 경우 상기 S504 단계로 진행하고, 휴지기가 아닌 경우 상기 S503g 단계로 피드백된다.

한편, 상기 S503 단계 다음으로, 상기 S503 단계에서 선택된 인덱스에 저장된 값들을 이용하여 상기 이미지 센서 노출시간을 조절한다(S504).

여기서, 도 8에서 도시한 바와 같이, 상기 S504 단계는, 크게 5 단계로 나누어 볼 수 있다.

먼저, 상기 S503 단계에서 탐색된 인덱스에 저장되어 있는 자동 노출 평가치 를 이미지 센서에 셋팅한다(S504a).

그 다음, 상기 S503 단계에서 탐색된 인덱스에 저장되어 있는 디지털 증폭비율을 ISP에 셋팅한다(S504b).

그 다음, 상기 S504a 및 S504b 단계에서 셋팅된 자동 노출 평가치 및 디지털 증폭비율을 이용하여 이미지 센서 노출 시간을 조절한다(S504c).

그 다음, 상기 S504c 단계에서 조절된 노출 시간에 따라 변환된 모드에 대한 밝기 성분의 분포도 산출을 수행한다(S504d).

그 다음, 상기 S504 단계의 마지막 단계로, 상기 S504c 단계에서 조절된 노출 시간에 따라 변환된 모드에 대한 상기 이미지 센서로부터의 이미지 데이터 출력을 수행한다(S504e).

이상에서 설명한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능할 것이며, 이러한 치환, 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

상술한 바와 같이, 본 발명에 따른 자동 노출 제어장치 및 그 방법에 따르면, 자동 노출 제어에 필요한 테이블을 생성함에 따라 상기 테이블의 인덱스만 산 출하면 되므로 자동 노출 제어시간을 단축할 수 있는 효과가 있다.

또한, 상기 테이블의 인덱스만 산출하면 되므로 마이크로 프로세서의 알고리즘 구현이 용이해지는 이점이 있다.

Claims

해상도 모드마다 하나 이상의 프레임을 주기로 이미지 센서 노출 시간을 자동으로 조절하는 자동 노출 제어장치에 있어서,

인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성하는 테이블 생성부;

밝기 성분의 분포도를 산출해내는 분포도 산출부;

상기 분포도 산출부에 의해 산출된 밝기 분포도를 기준으로 현재 입력되는 일정 주기의 프레임에 대한 밝기 평균 레벨값과 목표로 하는 밝기값의 차이에 따른 밝기 에러를 계산하여 누적되는 밝기 에러 한계치에 의한 보정이 이루어지고, 상기 보정된 값을 이용하여 상기 테이블로부터 상기 이미지 센서 노출시간을 조절하는데 필요한 값들이 저장된 인덱스를 선택하는 인덱스 선택부;를 포함하는 자동 노출 제어장치.
제 1항에 있어서, 상기 테이블 생성부는,

DSP로부터 모드 변환 명령을 받아 ISP 및 이미지 센서의 해상도 모드를 변환시키고, 상기 분포도 산출부의 밝기성분 분포도 산출 및 상기 이미지 센서로부터 출력되는 이미지 데이터를 제어하는 모드 변환 제어부;

상기 모드 변환 제어부로부터 명령을 받아 상기 분포도 산출부를 제어하는 분포도 제어부;

상기 이미지 센서에 의해 클럭 갯수로 환산된 노출시간 기본 단위를 클럭 주파수로 나누어 시간으로 환산하는 노출시간 기본 단위 계산부;

상기 노출시간 기본 단위 계산부에서 환산된 노출시간 기본 단위를 이용하여 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출시간을 구하고, 변환된 모드에 대한 테이블을 생성하는 테이블 생성 엔진; 및

모드 변환시 리셋되고, 상기 테이블이 생성되면 셋팅되는 테이블 완료 레지스터;를 포함하는 것을 특징으로 하는 자동 노출 제어장치.
제 2항에 있어서, 상기 테이블 생성 엔진은,

모드 변환 후 첫번째 주기의 프레임에 대한 이미지 센서 노출시간이, 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출 시간과 거의 동일하도록 테이블을 생성하는 것을 특징으로 하는 자동 노출 제어장치.
제 2항에 있어서, 상기 테이블 생성 엔진은,

상기 이미지 센서 노출시간을 상기 노출시간 기본 단위로 나눈 자동 노출 평가치 항목과 상기 ISP의 밝기 증폭비율인 디지털 증폭비율 항목으로 구성된 테이블을 생성하는 것을 특징으로 하는 자동 노출 제어장치.
제 4항에 있어서, 상기 테이블 생성 엔진은,

상기 형성된 각각의 인덱스에 100개의 쌍으로 구성된 자동 노출 평가치 및 디지털 증폭비율이 저장된 테이블을 생성하는 것을 특징으로 하는 자동 노출 제어장치.
제 5항에 있어서, 상기 인덱스 선택부는,

상기 분포도 산출부에서 산출된 밝기 분포도를 이용하여 밝기 평균 레벨값을 계산하는 평균 레벨 계산부;

상기 분포도 산출부의 완료 레지스터를 리셋시키거나, 상기 분포도 산출부 완료 레지스터를 리셋시키고 상기 평균 레벨 계산부를 동작시키는 자동 노출 제어부;

상기 밝기 평균 레벨값과 목표로 하는 밝기값의 차이인 밝기 에러를 계산하는 에러 계산부;

이전까지 입력된 프레임의 밝기 에러에 대한 누적치를 계산하는 누적 에러 계산부;

상기 계산된 밝기 에러에 대한 누적치를 이용하여 보정할 수 있는 밝기 에러의 한계치를 구하고, 상기 밝기 에러 한계치를 이용하여 현재 입력되는 일정 주기의 프레임에 대한 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있는 인덱스를 탐색하는 인덱스 탐색부; 및

현재 입력되는 일정 주기의 프레임에 대한 ISP 상태가 휴지기인지를 파악하는 휴지기 감지부;를 포함하는 자동 노출 제어장치.
제 6항에 있어서, 상기 모드 변환 제어부는,

상기 ISP 상태가 휴지기인 경우, 상기 인덱스 탐색부에서 탐색된 인덱스에 저장되어 있는 자동 노출 평가치를 상기 이미지 센서에 셋팅하는 것을 특징으로 하는 자동 노출 제어장치.
제 6항에 있어서, 상기 모드 변환 제어부는,

상기 ISP 상태가 휴지기인 경우, 상기 인덱스 탐색부에서 탐색된 인덱스에 저장된 디지털 증폭비율을 상기 ISP에 셋팅하는 것을 특징으로 하는 자동 노출 제어장치.
제 2항에 있어서, 상기 모드 변환 제어부는,

변환 직전의 모드에 대한 이미지 데이터 출력을 중지시키고 변환된 모드에 대한 이미지 데이터 출력이 진행되도록 제어하는 것을 특징으로 하는 자동 노출 제 어장치.
제 2항에 있어서, 상기 모드 변환 제어부는,

상기 분포도 제어부에 의해, 상기 분포도 산출부가 변환 직전의 모드에 대한 밝기 성분의 분포도 산출을 중지하고 변환된 모드에 대한 밝기 성분의 분포도 산출을 수행하도록 제어하는 것을 특징으로 하는 자동 노출 제어장치.
해상도 모드마다 하나 이상의 프레임을 주기로 이미지 센서 노출 시간을 자동으로 조절하는 자동 노출 제어방법에 있어서,

인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성하는 제 1 단계;

밝기 성분의 분포도를 산출해내는 제 2 단계;

상기 제 2 단계에서 산출된 밝기 분포도를 기준으로 현재 입력되는 일정 주기의 프레임에 대한 밝기 평균 레벨값과 목표로 하는 밝기값의 차이에 따른 밝기 에러를 계산하여 누적되는 밝기 에러 한계치에 의한 보정이 이루어지고, 상기 보정된 값을 이용하여 상기 테이블로부터 상기 이미지 센서 노출시간을 조절하는데 필요한 값들이 저장된 인덱스를 선택하는 제 3 단계; 및

상기 제 3 단계에서 선택된 인덱스에 저장된 값들을 이용하여 상기 이미지 센서 노출시간을 조절하는 제 4 단계;를 포함하는 자동 노출 제어방법.
제 11항에 있어서, 상기 제 1 단계는,

DSP로부터 받은 모드 변환 명령을 전달하는 제 1-1 단계;

변환 직전의 모드에 대한 테이블의 완료 레지스터를 리셋시키는 제 1-2 단계;

변환 직전의 모드에 대한 밝기 성분의 분포도 산출을 중지하는 제 1-3 단계;

변환 직전의 모드에 대한 이미지 센서로부터의 이미지 데이터 출력을 중지하는 제 1-4 단계;

이미지 센서의 해상도를 변환하는 제 1-5 단계;

ISP의 해상도를 변환하는 제 1-6 단계;

상기 이미지 센서에 의해 클럭 갯수로 환산된 노출시간 기본 단위를 클럭 주파수로 나누어 시간으로 환산하는 제 1-7 단계;

상기 환산된 노출시간 기본 단위를 이용하여 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출시간을 구하는 제 1-8 단계; 및

인덱스를 형성하고, 상기 인덱스에 소정 항목에 해당하는 값들을 저장하여 테이블을 생성하는 제 1-9 단계; 및

상기 테이블이 생성되는 경우, 변환된 모드에 대한 테이블의 완료 레지스터를 셋팅하는 제 1-10 단계;를 포함하는 것을 특징으로 하는 자동 노출 제어방법.
제 12항에 있어서, 상기 제 1-9 단계는,

모드 변환 후 첫번째 주기의 프레임에 대한 이미지 센서 노출시간이 모드 변환 직전 주기의 프레임에 대한 이미지 센서 노출 시간과 거의 동일하도록 테이블을 생성하는 단계를 더 포함하는 것을 특징으로 하는 자동 노출 제어방법.
제 12항에 있어서, 상기 1-9 단계는,

상기 테이블이 상기 이미지 센서 노출시간을 상기 노출시간 기본 단위로 나눈 자동 노출 평가치 항목과 상기 ISP의 밝기 증폭비율인 디지털 증폭비율 항목으로 구성되도록 생성하는 것을 특징으로 하는 자동 노출 제어방법.
제 14항에 있어서, 상기 1-9 단계는,

상기 형성된 각각의 인덱스에 100개의 쌍으로 구성된 자동 노출 평가치 및 디지털 증폭비율이 저장되도록 테이블을 생성하는 것을 특징으로 하는 자동 노출 제어방법.
제 15항에 있어서, 상기 제 3 단계는,

상기 제 2 단계를 수행하는 분포도 산출부의 완료 레지스터를 리셋시키거나 상기 제 2 단계를 수행하는 분포도 산출부의 완료 레지스터를 리셋시키고 밝기 평균 레벨값을 계산하는 평균 레벨 계산부를 동작시키는 제 3-1 단계;

상기 제 2 단계에서 산출된 밝기 분포도를 이용하여 밝기 평균 레벨값을 계산하는 제 3-2 단계;

상기 밝기 평균 레벨값과 목표로 하는 밝기값의 차이인 밝기 에러를 계산하는 제 3-3 단계;

이전까지 입력된 프레임의 밝기 에러에 대한 누적치를 계산하는 제 3-4 단계;

상기 계산된 밝기 에러에 대한 누적치를 이용하여 보정할 수 있는 밝기 에러의 한계치를 계산하는 제 3-5 단계;

상기 계산된 밝기 에러 한계치를 이용하여 현재 입력되는 일정 주기의 프레임에 대한 자동 노출 평가치 및 디지털 증폭비율이 저장되어 있는 인덱스를 탐색하는 제 3-6 단계; 및

현재 입력되는 일정 주기의 프레임에 대한 ISP 상태가 휴지기인지를 판단하는 제 3-7 단계;를 포함하는 자동 노출 제어방법.
제 16항에 있어서, 상기 제 3-7 단계는,

상기 현재 입력되는 일정 주기의 프레임에 대한 ISP의 상태가 휴지기인 경우 상기 제 4 단계로 진행하고, 휴지기가 아닌 경우 상기 제 3-7 단계로 피드백되는 것을 특징으로 하는 자동 노출 제어방법.
제 16항에 있어서, 상기 제 4 단계는,

상기 제 3-6 단계에서 탐색된 인덱스에 저장되어 있는 자동 노출 평가치를 이미지 센서에 셋팅하는 제 4-1 단계;

상기 제 3-6 단계에서 탐색된 인덱스에 저장되어 있는 디지털 증폭비율을 ISP에 셋팅하는 제 4-2 단계;

상기 셋팅된 자동 노출 평가치 및 디지털 증폭비율을 이용하여 이미지 센서 노출 시간을 조절하는 제 4-3 단계;

상기 조절된 노출 시간에 따라 변환된 모드에 대한 밝기 성분의 분포도 산출을 수행하는 제 4-4 단계; 및

상기 조절된 노출 시간에 따라 변환된 모드에 대한 상기 이미지 센서로부터의 이미지 데이터 출력을 수행하는 제 4-5 단계;를 포함하는 자동 노출 제어방법.