KR20180078961A

KR20180078961A - 이미지 촬상 장치 및 이의 구동 방법

Info

Publication number: KR20180078961A
Application number: KR1020160184268A
Authority: KR
Inventors: 송일석; 김현철
Original assignee: 삼성전자주식회사
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2018-07-10
Also published as: US20180191934A1; US10587815B2

Abstract

이미지 촬상 장치 및 이의 구동 방법이 제공된다. 이미지 촬상 장치는 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하는 이미지 센서, 및 상기 획득된 대상 영상의 밝기 정보를 기초로 제2 노출 타겟값을 생성하여 상기 이미지 센서를 제어하는 이미지 신호 프로세서를 포함하되, 상기 이미지 신호 프로세서는, 상기 대상 영상의 상기 밝기 정보를 기초로 밝기 히스토그램을 생성하는 히스토그램 생성부, 상기 밝기 히스토그램의 분포를 연산하는 연산부, 상기 밝기 히스토그램의 분포에 따라 상기 제2 노출 타겟값을 생성하여 상기 이미지 센서에 제공하는 노출 타겟값 제어부를 포함한다.

Description

이미지 촬상 장치 및 이의 구동 방법{IMAGE CAPTURING DEVICE AND METHOS OF OPERATING THE SAME}

본 발명은 이미지 촬상 장치 및 이의 구동 방법에 관한 것이며, 더욱 구체적으로 이미지 센서에 노출 타겟값을 제공하는 이미지 신호 프로세서를 포함하는 이미지 촬상 장치 및 이의 구동 방법에 관한 것이다.

이미지 촬상 장치는 이미지 센서(image sensor)를 이용하여 광학 영상을 전기 신호로 변환시켜 디지털 신호의 형태로 제공할 수 있다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더뿐만 아니라 셀룰러 폰, 태블릿 피씨(tablet PC) 등 다양한 분야에서 이미지 촬상 장치가 탑재되고 있다.

이미지 촬상 장치는 피사체의 대상 영상을 적절한 휘도로 획득하기 위해 노출 제어를 수행할 수 있다. 이러한 노출 제어는 사용자의 입력에 의한 것일 수 있지만, 이미지 촬상 장치가 획득된 대상 영상의 상태 정보를 분석하여 자동으로 제어하는 것일 수 있다.

본 발명이 해결하고자 하는 기술적 과제는, 대상 영상의 밝기 히스토그램에 기반하여 대상 영상의 노출 타겟값을 자동으로 제어하는 이미지 촬상 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 대상 영역의 밝기 히스토그램에 기반하여 대상 영상의 노출 타겟값을 자동으로 제어하는 이미지 촬상 장치의 동작 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이미지 촬상 장치는 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하는 이미지 센서, 및 상기 획득된 대상 영상의 밝기 정보를 기초로 제2 노출 타겟값을 생성하여 상기 이미지 센서를 제어하는 이미지 신호 프로세서를 포함하되, 상기 이미지 신호 프로세서는, 상기 대상 영상의 상기 밝기 정보를 기초로 밝기 히스토그램을 생성하는 히스토그램 생성부, 상기 밝기 히스토그램의 분포를 연산하는 연산부, 상기 밝기 히스토그램의 분포를 기초로 상기 제2 노출 타겟값을 생성하여 상기 이미지 센서에 제공하는 노출 타겟값 제어부를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 구동 방법은, 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하고, 상기 획득된 대상 영상의 밝기 정보를 기초로 밝기 히스토그램을 생성하고, 상기 밝기 히스토그램의 분포를 연산하고, 상기 밝기 히스토그램의 분포를 기초로 제2 노출 타겟값을 생성하여 이미지 센서를 제어하는 것을 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 촬상 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 촬상 장치에 포함돤 이미지 센서의 블륵도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 다른 순서도이다.
도 6a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램이다.
도 6b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.
도 7a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램이다.
도 7b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.
도 8은 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서의 블록도이다.
도 9a는 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.
도 9b는 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시예에 따른 이미지 촬상 장치를 포함하는 디지털 카메라의 블록도이다.
도 11은 본 발명의 실시예에 따른 이미지 촬상 장치를 포함하는 컴퓨팅 시스템의 블록도이다.

이하에서, 도 1 내지 도 11을 참조하여, 본 발명의 실시예에 따른 이미지 촬상 장치 및 이의 구동 방법에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)의 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는 이미지 센서(100)와, 이미지 신호 프로세서(200)를 포함할 수 있다.

이미지 센서(100)는, 이미지 신호 프로세서(200)로부터 제어 신호를 제공받아, 광 신호를 전기적 신호의 형태인 대상 영상으로 변환하여 이미지 신호 프로세서(200)로 제공할 수 있다. 이미지 센서(100)는 이미지 신호 프로세서(200)가 제공하는 제어 신호 중, 예를 들어 노출 타겟값에 기초하여 대상 영상을 획득할 수 있다. 이미지 센서(100)의 자세한 구성과 관련하여 이하 도 3을 참조하여 더욱 자세하게 설명한다.

이미지 신호 프로세서(200)는 이미지 센서(100)에 제어 신호를 제공하고, 이미지 센서(100)로부터 출력된 이미지 신호를 제공받아 이를 처리할 수 있다. 이미지 신호 프로세서(200가 이미지 센서(100)로 제공하는 제어 신호는 예를 들어, 노출(exposure) 제어 신호 또는 게인(gain) 제어 신호를 포함할 수 있다.

이미지 신호 프로세서(200)는 이미지 센서(100)가 제공하는 대상 영상을 이용하여 이미지 센서(100)를 제어하는 피드백 신호를 생성하여, 이미지 센서(100)에 제공할 수 있다. 본 발명의 몇몇 실시예에서, 이미지 신호 프로세서(200)가 생성하는 피드백 신호는, 이미지 센서(100)가 제공한 대상 영상을 이용하여 새롭게 생성한 노출 타겟값일 수 있다.

구체적으로, 이미지 센서(100)는 미리 정해진 노출 타겟값에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(200)는 획득된 대상 영상의 밝기 정보를 기초로 새로운 노출 타겟값을 생성하여 이미지 센서(100)를 제어할 수 있다. 이미지 신호 프로세서(200)에 관하여 이하 도 2를 이용하여 좀더 자세하게 설명한다.

도 2는 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 처리 프로세서(200)의 블록도이다.

도 2를 참조하면, 이미지 처리 프로세서(2000는 히스토그램 생성부(210), 연산부(220) 및 노출 타겟값 제어부(230)를 포함할 수 있다.

히스토그램 생성부(210)는 이미지 센서(100)가 생성한 대상 영상을 제공받고, 대상 영상의 밝기 히스토그램을 생성할 수 있다. 밝기 히스토그램은 예를 들어, 도 6a에 도시된 히스토그램(10)과 같이, 각각의 밝기에 대하여 대상 영상에 포함된 픽셀들의 분포를 나타낸 것일 수 있다.

연산부(220)는 히스토그램 생성부(210)가 생성한 밝기 히스토그램을 기초로 밝기 히스토그램의 분포를 연산할 수 있다. 밝기 히스토그램을 연산하는 것은 예를 들어, 대상 영상에 포함된 장면 정보에 기초하여 밝기 히스토그램의 분포를 연산하는 것일 수 있다.

본 발명의 몇몇 실시예에서, 연산부(220)가 연산하는 밝기 히스토그램의 분포는, 정규화된(normalized) 밝기 히스토그램의 분산일 수 있다. 즉, 연산부(220)는 대상 영상의 장면 정보, 예를 들어 대상 영상에 포함된 픽셀들의 평균 밝기를 이용하여 대상 영상의 밝기 히스토그램을 정규화하여, 밝기 히스토그램의 분포를 연산할 수 있다. 연산부(220)가 대상 영상의 밝기 히스토그램을 정규화하여 나타낸 예시적인 그래프는 도 6b에서 도시된다.

노출 타겟값 제어부(230)는 연산부(220)가 제공한 밝기 히스토그램의 분포를 이용하여, 제2 노출 타겟값을 생성할 수 있다.

도 2에서, 이미지 촬상 장치(200)는 히스토그램 생성부(210), 연산부(220) 및 노출 타겟값 제어부(230) 만을 포함하는 것으로 도시되었으나 본 발명이 이에 제한되는 것은 아니다. 즉, 이미지 센서(100)가 생성하여 제공하는 대상 영상의 이미지는, 히스토그램 생성부(210)에 제공되기에 앞서 다른 기능 블록을 거칠 수 있다. 또한, 노출 타겟값 제어부(230)가 생성하는 새로운 노출 타겟값은 이미지 센서(100)에 제공되기에 앞서 다른 기능 블록을 거칠 수도 있다.

도 3은 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 센서(100)의 블록도이다.

도 3을 참조하면, 본 발명의 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 센서(100)는 타이밍 발생기(110), 행 디코더(row decoder, 120), 행 드라이버(row driver, 130), 액티브 픽셀 센서(Active Pixel Sensor; APS) 어레이(140), 상관 이중 샘플러(Correlated Double Sampler; CDS, 150), 아날로그 디지털 컨버터(Analog to Digital Converter; ADC, 160), 래치부(latch, 170), 열 디코더(column decoder, 180) 등을 포함할 수 있다.

타이밍 발생기(110)는 행 디코더(120) 및 열 디코더(180)에 대하여, 이들의 동작에 요구된 클럭 신호(clock signal), 타이밍 컨트롤(timing control) 신호 및 제어 신호를 제공할 수 있다. 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)에서, 타이밍 발생기(110)는 이미지 신호 프로세서(200)로부터 제공된 노출 타겟값을 이용하여 타이밍 컨트롤 신호를 생성하고, 행 디코더(120) 및 열 디코더(180)에 타이밍 컨트롤 신호 및 제어 신호를 제공한다.

타이밍 발생기(110)는 예를 들어 로직 제어 회로(Logic control circuit), 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 컨트롤 회로(Timing control circuit), 및 통신 인터페이스 회로 (Communication interface circuit) 등을 포함할 수 있다.

행 디코더(120)는 타이밍 발생기(110)로부터 제공받은 타이밍 신호 및 제어 신호에 따라 APS 어레이(140)의 행 선택 라인 중 해당 행 선택 라인을 선택한다.

행 드라이버(130)는 행 디코더(120)에서 디코딩된 결과에 따라 선택된 행 선택 라인에 대하여 다수의 단위 픽셀들을 구동하기 위한 다수의 구동 신호를 APS 어레이(10)에 제공할 수 있다. 일반적으로 행렬 형태로 단위 픽셀이 배열된 경우에는 각 행별로 구동 신호를 제공할 수 있다.

APS 어레이(140)는 2차원적으로 배열된 다수의 단위 픽셀들을 포함할 수 있다. 다수의 단위 픽셀들은 광학 영상을 전기적인 출력 신호로 변환하는 역할을 할 수 있다. APS 어레이(140)는 행 드라이버(130)로부터 행 선택 신호, 리셋 신호, 전하 전송 신호 등 다수의 구동 신호를 수신하여 구동될 수 있다. 또한, 변환된 전기적인 출력 신호는 수직 신호 라인을 통하여 상관 이중 샘플러(150)에 제공될 수 잇다. APS 어레이(140)는 CMOS 타입의 이미지 픽셀들을 포함할 수 있다.

상관 이중 샘플러(150)는 APS 어레이(140)로부터 제공된 출력 신호를 수직 신호 라인을 통해 수신하여 유지(hold) 및 샘플링할 수 있다. 즉, 특정한 잡음 레벨(noise level)과 상기 출력 신호에 의한 신호 레벨을 이중으로 샘플링하여, 잡음 레벨과 신호 레벨의 차이에 해당하는 차이 레벨을 출력할 수 있다.

아날로그 디지털 컨버터(160)는 상관 이중 샘플러(150)가 출력한 차이 레벨에 해당하는 아날로그 신호를 디지털 신호로 변환하여 출력할 수 있다.

래치부(170)는 아날로그 디지털 컨버터(160)로부터 출력된 디지털 신호를 래치(latch)할 수 있다. 래치부(170)는 래치된 신호를 열 디코더(180)의 디코딩 결과에 따라 순차적으로 이미지 신호 프로세서(200)로 전송할 수 있다.

도 4는 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)의 동작을 설명하기 위한 순서도이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는 제1 노출 타겟값에 기초하여 대상 영상을 획득하고(S100), 획득된 대상 영상의 밝기 정보를 기초로 밝기 히스토그램을 생성하고(S110), 밝기 히스토그램의 분포를 연산하고(S120), 밝기 히스토그램의 분포가 기준값보다 큰 경우 새로운 노출 타겟값을 생성하고(S140), 생성된 노출 타겟값을 이미지 센서(100)에 제공할 수 있다.

구체적으로, 이미지 촬상 장치(1)는 미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득한다(S100). 대상 영상을 획득하는 것은, 이미지 신호 프로세서(200)가 이미지 센서(100)에 제1 노출 타겟값을 비롯한 제어 신호를 제공하고, 이미지 센서(100)는 제1 노출 타겟값을 비롯한 제어 신호에 기초하여 대상 영상을 획득한다.

이미지 센서(100)에 포함된 타이밍 신호 발생기(110)는 제1 노출 타겟값을 이용하여 행 디코더(120) 및 열 디코더(180)를 제어하기 위한 타이밍 컨트롤 신호 및 제어 신호를 생성할 수 있다.

타이밍 신호 발생기(110)가 제1 노출 타겟값을 이용하여 생성하는 타이밍 컨트롤 신호 및 제어 신호는 예를 들어, APS 어레이(120)가 전자식 셔터(electronic shutter)에 의하여 리셋 및 노광되는 동작의 타이밍을 제어할 수 있다. 이를 통해, 타이밍 신호 발생기(110)는 APS 어레이(120)의 각 픽셀에에 포함된 포토 다이오드(photo diode)에, 전하를 축적하는 시간을 제어할 수 있다. 타이밍 발생기(110)가 포토 다이오드의 전하 축적 시간, 즉 노출 시간을 길게 제어할수록, 이미지 센서(100)가 생성하는 대상 영역의 밝기 또한 높을 수 있다.

이미지 센서(100)는 타이밍 컨트롤 신호 및 제어 신호에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(200)에 제공할 수 있다.

이어서, 이미지 신호 프로세서(200)는 대상 영상의 밝기 정보에 기초하여 대상 영상의 밝기 히스토그램(10)을 생성한다(S110). 구체적으로, 이미지 신호 프로세서(200)의 히스토그램 생성부(210)는 대상 영상의 밝기 정보에 기초하여 대상 영상의 밝기 히스토그램(10)을 생성할 수 있다. 히스토그램 생성부(210)가 생성하는 대상 영상의 밝기 히스토그램(10)은 도 6a를 참조하여 예시적으로 도시된다. 도 6a에 도시된 것과 같이, 밝기 히스토그램(10)은 각각의 밝기에 대하여 대상 영상에 포함된 픽셀들을 분포를 도시한다.

이어서, 이미지 신호 프로세서(200)는 밝기 히스토그램의 분포를 연산한다(S120).

본 발명의 몇몇 실시예에서, 밝기 히스토그램의 분포는 이전 단계에서 히스토그램 생성부(210)가 생성한 대상 영상의 밝기 히스토그램(10)의 분산을 정규화한 것일 수 있다.

연산부(220)가 밝기 히스토그램(10)의 분포를 연산하는 것과 관련하여, 도 5를 참조하여 더욱 자세하게 설명한다.

도 5는 본 발명의 일 실시예에 따른 이미지 촬상 장치(1)의 동작을 설명하기 위한 순서도이다.

도 5를 참조하면, 연산부(220)가 밝기 히스토그램(10)의 분포를 연산하는 동작은, 대상 영상의 밝기 히스토그램(10)의 분산을 계산하고(S121), 밝기 히스토그램(10)의 분산을 밝기 히스토그램의 평균 밝기(average brightness)를 이용하여 정규화한다(S122).

연산부(220)는 밝기 히스토그램(10)의 분포, 예를 들어 밝기 히스토그램(10)에 나타난 픽셀들의 밝기의 분산을 연산할 수 있다. 이후, 연산부(220)는 밝기 히스토그램(10)의 분산을 대상 영상의 장면 정보, 예를 들어 대상 영상에 포함된 전체 픽셀들의 평균 밝기를 이용하여 밝기 히스토그램(10)을 정규화할 수 있다.

대상 영상의 밝기 히스토그램(10)이 정규화된 것의 예시적인 그래프가 도 6b에 도시된다.

도 6a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램이고, 도 6b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 생성하는 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.

도 6a 및 도 6b를 참조하면, 도 6a는 히스토그램 생성부(210)가 생성한 예시적인 밝기 히스토그램(10)을 도시하고, 도 6b는 연산부(220)가 대상 영상의 장면 정보, 예를 들어 대상 영상에 포함된 전체 픽셀들의 평균 밝기를 이용하여 밝기 히스토그램(10)을 정규화한 그래프(110)를 도시한다. 도 6b에서, 이하에서 설명하는 것과 같이 노출 타겟값 제어부(220)가 새로운 노출 타겟값을 생성하기 위하여 정규화된 그래프(110)를 비교하기 위한 기준값(reference value)이 도시되어 있다.

이어서, 도 4를 다시 참조하면, 노출 타겟값 제어부(230)는 밝기 히스토그램(10)의 분포를 이용하여 새로운 노출 타겟값을 생성한다(S140).

노출 타겟값 제어부(230)가 밝기 히스토그램(10)의 분포를 이용하여 새로운 노출 타겟값을 생성하는 것은, 상술한 도 6b에 도시된 밝기 히스토그램(10)의 분산이 대상 영상의 전체 픽셀의 평균 밝기로 정규화된 그래프(11)를 기준값과 비교하는 것을 포함할 수 있다.

본 발명의 몇몇 실시예에서, 노출 타겟값 제어부(230)는 정규화된 그래프(11)가 기준값과 비교하여 작은 분포를 보이는 경우, 제1 노출 타겟값보다 큰 제2 노출 타겟값을 생성할 수 있다. 이와는 반대로, 노출 타겟값 제어부(230)는 정규화된 그래프(110)가 기준값과 비교하여 큰 분포를 보이는 경우, 제1 노출 타겟값과 동일한 제2 노출 타겟값을 생성할 수 있다.

이어서, 새로 결정된 제2 노출 타겟값을 이미지 센서(100)에 제공한다(S150). 이미지 센서(100)는 제공받은 제2 노출 타겟값을 타이밍 신호 발생기(120)를 제어하고, 타이밍 생성기(120)는 제2 노출 타겟값에 기초하여 결정된 노출 시간을 기초로 타이밍 컨트롤 신호를 생성하고, 행 디코더(120) 및 열 디코더(180)에 타이밍 컨트롤 신호 및 제어 신호를 제공한다.

APS 어레이(140)는 타이밍 컨트롤 신호 및 제어 신호에 기초하여 광학 영상을 전기적인 신호로 변환하여 출력하고, 래치부(170)는 이미지 신호 프로세서(200)로 새로운 대상 영상을 제공할 수 있다.

본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는, 제공 받은 대상 영상에 대하여 새로운 노출 타겟값으로 새로운 대상 영상을 촬상하기 위하여 대상 영상의 밝기 히스토그램(10)의 분포를 이용한다. 더욱 구체적으로, 노출 타겟값 제어부(230)는 대상 영상에 포함된 전체 픽셀의 평균 밝기를 이용하여 밝기 히스토그램(10)의 분산을 정규화한 그래프(11)를 기준값과 비교하기 위한 판단 기준으로 이용한다.

정규화된 그래프(11)가 기준값과 비교하여 작은 분포를 보이는 것은, 대상 영상의 전체 픽셀의 밝기가 비교적 균일한 분포를 보이는 것일 수 있다. 이는, 대상 영상에 무채색 또는 단색의 색채 요소가 많이 분포되는 것을 의미할 수 있다. 대상 영상에 무채색 또는 단색의 색채 요소가 많이 포함된 경우 필요한 노출 타겟값보다 작은 노출 타겟값을 이용하여 대상 영상을 획득하는 경향을 가질 수 있다. 상대적으로 작은 노출 타겟값을 이용하여 대상 영상이 획득된 경우, 상대적으로 '어두운' 대상 영상이 형성될 수 있다.

본 발명의 일 실시예에 따른 이미지 촬상 장치(1)는, 무채색 또는 단색의 색채 요소가 비교적 많이 포함된 경우에 미리 정해진 제1 노출 타겟값보다 큰 제2 노출 타겟값으로 이미지 센서(100)를 제어할 수 있다. 미리 정해진 제1 노출 타겟값보다 큰 제2 노출 타겟값을 제공받은 이미지 센서(100)는 더 긴 노출 시간으로 APS 어레이(140)의 각 픽셀들에 포함된 포토 다이오드의 전하를 축적시킬 수 있다. 그 결과, 무채색 또는 단색의 색채 요소가 비교적 많이 포함된 경우에 이미지 신호 프로세서(200)는 제1 노출 타겟값보다 더 큰 제2 노출 타겟값으로 이미지 센서(100)를 제어하고, 이미지 센서(100)는 상대적으로 '밝은' 대상 영상을 생성할 수 있다. 이하에서 이미지 센서(100)가 제2 노출 타겟값에 기초하여 생성한 대상 영상을 도 7a와 7b를 참고하여 설명한다.

도 7a는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램이고, 도 7b는 본 발명의 일 실시예에 따른 이미지 촬상 장치가 새로운 노출 타겟값에 기초하여 생성한 대상 영상의 예시적인 밝기 히스토그램의 분포를 나타내는 그래프이다.

도 7a 및 7b를 참조하면, 이미지 신호 프로세서(200)가 제1 노출 타겟값보다 더 큰 제2 노출 타겟값을 생성하여 이미지 센서(100)에 제공하고, 제2 노출 타겟값에 기초하여 이미지 센서(100)가 새롭게 생성한 대상 영상의 밝기 히스토그램(20)과 이의 분포(21)가 도 7a 및 도 7b에 도시된다.

본 발명의 몇몇 실시예에서, 도 7b에서 도시하는 대상 영상의 밝기 히스토그램(20)의 분포(21)는 도 6b와 같이 대상 영상에 포함된 전체 픽셀의 평균 밝기로 밝기 히스토그램(20)을 정규화한 그래프일 수 있다.

도 7a에 도시된 것과 같이, 제2 노출 타겟값에 기초하여 이미지 센서(100)가 새롭게 생성한 대상 영상은, 이의 밝기 히스토그램(20)의 전체 픽셀들의 밝기 분포가 상대적으로 더 '밝은' 쪽으로 이동되어 있는 것을 알 수 있다.

반면에, 도 7b에 도시된 것과 같이, 새로운 대상 영상에 대하여, 대상 영상에 포함된 전체 픽셀의 평균으로 정규화한 그래프(21)는, 변경된 노출 타겟값에도 불구하고 도 6b의 그래프(11)와 실질적으로 동일한 것을 알 수 있다.

한편, 본 발명의 몇몇 실시예에 따른 이미지 촬상 장치(1)에 포함된 이미지 신호 프로세서(200)는 대상 영상의 밝기 히스토그램(10)을 제2 노출 타겟값을 결정하는 기준으로 사용하는 대신, 대상 영상의 밝기 히스토그램(10)을 대상 영상에 포함된 전체 픽셀의 평균 밝기로 정규화된 그래프(11)를 이용한다.

만약 밝기 히스토그램(10)을 기준으로 새로운 제2 노출 타겟값을 결정한다면, 도 7a에 도시된 것과 같이 새로운 밝기 히스토그램(20)이 더 밝은 쪽으로 이동하여 이전 밝기 히스토그램(10)과 동일하지 않다.

그러나, 본 발명의 실시예에 따른 이미지 촬상 장치(1)와 같이, 대상 영상의 밝기 히스토그램의 정규화된 그래프(11)를 기준으로 새로운 제2 노출 타겟값을 결정하는 것에 의하여, 제2 노출 타겟값에 기초하여 획득한 새로운 대상 영상으로부터 얻어진 밝기 히스토그램의 정규화된 그래프(21)는 이전 대상 영상의 밝기 히스토그램의 정규화된 그래프(11)와 실질적으로 동일할 수 있다. 이는, 대상 영상 내의 피사체의 변화, 즉 장면 변화가 발생하지 않는 이상 밝기 히스토그램의 분포, 구체적으로 도 7b에서 도시된 대상 영상에 포함된 전체 픽셀의 평균 밝기로 정규화된 그래프(21)는 이전 대상 영상의 그것과 동일하기 때문이다.

만약 노출 타겟값 제어부(230)가 대상 영상의 밝기 히스토그램(10, 20)과 임의의 기준값과 비교하여 노출 타겟값을 결정한다면, 제2 노출 타겟값을 이용하여 획득한 새로운 대상 영상의 밝기 히스토그램(20)이 변화할 수 있다. 이에 따라 노출 타겟값 제어부(230)는 변화한 밝기 히스토그램(20)을 대상으로 기준값과 비교하여 또 다른 노출 타겟값을 결정하는 과정을 수행하는 것이 필요할 수 있다.

상술한 것과 같이, 본 발명의 실시예에 따른 이미지 촬상 장치(1)의 노출 타겟값 제어부(230)는 노출 타겟값을 제어하기 위해 밝기 히스토그램의 정규화된 그래프(11, 21)를 사용할 수 있다. 밝기 히스토그램의 정규화된 그래프(21)는 변화된 제2 노출 타겟값을 이용하여 획득한 대상 영상임에도 불구하고 이전 그래프(11)와 동일할 수 있다. 따라서, 또 다른 노출 타겟값을 결정하는 과정이 필요하지 않을 수 있다.

본 발명의 몇몇 실시예에서, 밝기 히스토그램(10)이 제2 노출 타겟값을 생성하는 것은, 상술한 밝기 히스토그램(10)의 분포 이외에 기타 다른 정보를 이용할 수 있다.

상기 정보는 예를 들어, 대상 영상에 포함된 전체 픽셀 중 과다 포화된(oversaturated) 픽셀의 비율, 및 대상 영상의 픽셀의 전체 평균 밝기를 포함할 수 있다. 노출 타겟값 제어부(230)는 상기 정보에 서로 다른 가중치를 적용하고, 대상 영상의 노출을 제어하는 새로운 노출 타겟값을 생성할 수 있다.

구체적으로, 전체 픽셀 중 과다 포화된 픽셀이 기준값보다 크게 나타낸 경우 노출 타겟값 제어부(230)는 노출 타겟값이 감소하는 방향으로 새로운 노출 타겟값을 생성할 수 있다. 또한, 대상 영상에 포함된 픽셀의 전체 평균 밝기가 기준값보다 큰 경우에도 노출 타겟값 제어부(230)는 노출 타겟값이 감소하는 방향으로 새로운 노출 타겟값을 생성할 수 있다. 노출 타겟값 제어부(230)는 새로운 노출 타겟값을 생성하는 데 있어 서로 다른 요소, 예를 들어 과다 포화된 픽셀의 비율 또는 전체 평균 밝기에 대하여 서로 다른 가중치를 적용할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서의 블록도이다.

도 8을 참조하면, 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서(300)는, 앞서 설명한 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서(200)에 포함된 것과 동일한 히스토그램 생성부(310), 연산부(320) 및 노출 타겟값 제어부(330) 외에 장면 변화 감지부(350)를 더 포함할 수 있다. 이하 앞서 실시예에서 설명한 것과 중복된 내용은 생략하고, 차이점을 중심으로 설명한다.

본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 장면 변화 감지부(350)는 이미지 센서(200)에 의해 획득되는 대상 영상 내의 피사체의 변화에 따른 장면 변화(scene change)를 감지할 수 있다. 장면 변화 감지부(350)에 의한 장면 변화 감지와 관련하여, 이하 도 9a 및 도 9b를 이용하여 설명한다.

도 9a는 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 이미지 신호 프로세서(300)의 동작을 설명하기 위한 순서도이다.

도 9a를 참조하면, 이미지 신호 프로세서(300)는 장면 변화 감지부(350)에 의하여 장면 변화를 감지하고(S200), 변화된 장면 변화로 인해 새롭게 생성된 노출 타겟을 이미지 센서(100)에 제공한다.

상술한 것과 같이, 본 발명의 몇몇 실시예에 따른 이미지 촬상 장치는, 대상 영상의 밝기 히스토그램(10)을 제2 노출 타겟값을 결정하는 기준으로 이용하는 대신에, 대상 영상의 밝기 히스토그램(10)을 대상 영상에 포함된 전체 픽셀의 평균 밝기로 정규화된 그래프(11)를 이용한다. 따라서, 대상 영상 내의 장면 변화가 발생하지 않는 이상 제2 노출 타겟값을 결정한 이후에 새로운 노출 타겟값이 결정되지 않는다.

따라서, 장면 변화 감지부(350)가 장면 변화를 감지하는 경우, 히스토그램 생성부(310), 연산부(320) 및 노출 타겟값 결정부(330)는 새로운 대상 영상에 적용하기 위한 새로운 노출 타겟값을 결정할 수 있다.

도 9b는 본 발명의 다른 실시예에 따른 이미지 촬상 장치의 동작을 설명하기 위한 순서도이다.

도 9b를 참조하면, 본 발명의 다른 실시예에 따른 이미지 촬상 장치에 포함된 장면 변화 감지부(350)는 대상 영상의 전체 밝기에 대한 대상 영상의 일부 영역의 밝기의 변화 비율을 계산하고(S220), 상기 비율과 기준값을 비교하고(S230), 상기 비율이 기준값 보다 큰 경우에 장면 변화를 감지한다(S240).

장면 변화 감지부(350)는 대상 영상의 전체 밝기와, 상기 대상 영상의 일부 영역의 밝기의 변화 비율을 계산한다. 여기서 비교 대상이 되는 일부 영역은 대상 영상 내에 적어도 하나 이상 존재할 수 있다. 대상 영상의 전체 밝기에 대한 적어도 하나 이상의 일부 영역의 밝기의 변화가 기준값 보다 큰 것이 감지되면, 이는 해당 일부 영역의 장면 변화를 의미하는 것일 수 있다. 장면 변화 감지부(350)는 대상 영상의 장면 변화를 감지하고, 히스토그램 생성부(310)가 새로운 대상 영상의 밝기 히스토그램을 생성하도록 할 수 있다.

다만, 상술한 장면 변화 감지부(350)의 동작은 예시적인 것이며, 본 발명의 다른 실시예에 따른 이미지 촬상 장치가 대상 영상에 발생한 장면 변화를 인식할 수 있다.

히스토그램 생성부(310)가 생성한 밝기 히스토그램에 대하여, 연산부(320)는 밝기 히스토그램의 분포를 연산하고, 노출 타겟값 제어부(330)는 밝기 히스토그램의 분포를 이용하여 새로운 노출 타겟값을 계산한다. 본 발명의 몇몇 실시예에서, 밝기 히스토그램은 앞서 실시예에서 설명한 것과 같이 대상 영상에 포함된 전체 픽셀의 평균 밝기를 이용하여 새로운 대상 영상의 히스토그램을 정규화한 것일 수 있다.

도 10은 본 발명의 몇몇 실시예에 따른 이미지 촬상 장치를 포함하는 전자 장치의 블록도이다.

도 10을 참조하면, 전자 장치(800)는 렌즈(810), 이미지 센서(820), 모터부(830) 및 이미지 신호 프로세서(840)를 포함할 수 있다. 이미지 센서(820)는 전술한 노출 타겟값에 기초하여 대상 영상을 획득하는 이미지 센서를 포함한다.

렌즈(810)는 이미지 센서(820)의 수광 영역으로 입사광을 집광시킨다. 이미지 센서(820)는 렌즈(810)를 통하여 입사된 광에 기초하여 베이어 패턴(Bayer pattern)의 RGB 데이터(RGB)를 생성할 수 있다. 이미지 센서(820)는 클럭 신호 (CLK)에 기초하여 RGB 데이터(RGB)를 제공할 수 있다.

실시예에 따라, 이미지 센서(820)는 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 이미지 신호 프로세서(840)와 인터페이싱할 수 있다.

모터부(830)는 이미지 신호 프로세서(840)로부터 수신된 제어 신호(CTRL)에 응답하여 렌즈 (810)의 포커스를 조절하거나, 셔터링(Shuttering)을 수행할 수 있다. 이미지 신호 프로세서(840)는 이미지 센서(820) 및 모터부(830)를 제어한다. 또한, 이미지 신호 프로세서(840)는 이미지 센서(820)로부터 수신된 RGB 데이터(RGB)에 기초하여 휘도 성분, 상기 휘도 성분과 청색성분의 차, 및 상기 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터(YUV)를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다.

이미지 신호 프로세서(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 이미지 신호 프로세서(840)는 마스터 클럭(MCLK)에 기초하여YUV 데이터(YUV) 또는 JPEG 데이터를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 이미지 신호 프로세서(840)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.

상술한 것과 같이, 이미지 센서(820)가 미리 정해진 노출 타겟값에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(840)는 획득한 대상 영상의 밝기 정보를 기초로 새로운 노출 타겟값을 생성하여 이미지 센서(820)를 제어할 수 있다.

상술한 전자 장치(800)는 예를 들어, 셀룰러 폰, 랩톱 컴퓨터 또는 태블릿 피씨 등을 포함할 수 있으나 본 발명이 제한되는 것은 아니다. 전자 장치(800)는 본 발명의 실시예들에 따른 이미지 촬상 장치가 포함될 수 있는 것이라면 얼마든지 채용될 수 있다.

도 11은 본 발명의 실시예에 따른 이미지 촬상 장치를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.

도 11을 참조하면, 컴퓨팅 시스템(1000)은 이미지 신호 프로세서(1010), 메모리 장치 (1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050), 및 이미지 센서(1060)를 포함한다.

이미지 센서(1060)는 전술한 오프셋 보상된 기준 전압을 ADC 변환 시 기준 전압으로 사용하는 이미지 센서를 포함한다. 한편, 도 15에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.

이미지 신호 프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 이미지 신호 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다.

이미지 신호 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다.

실시예에 따라, 이미지 신호 프로세서(1010)는 주변 구성요소 상호 연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다.

예를 들어, 메모리 장치(1020)는 DRAM, 모바일 DRAM, SRAM, PRAM, FRAM, RRAM 및/또는 MRAM으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(Solid State Drive(SSD)), 하드 디스크 드라이브(Hard Disk Drive(HDD)), CD-ROM 등을 포함할 수 있다.

입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단, 및 프린터와 디스플레이 등과 같은 출력수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.

이미지 센서(1060)는 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 상술한 것과 같이, 이미지 센서(1060)가 미리 정해진 노출 타겟값에 기초하여 대상 영상을 획득하고, 이미지 신호 프로세서(1010)는 획득한 대상 영상의 밝기 정보를 기초로 새로운 노출 타겟값을 생성하여 이미지 센서(1060)를 제어할 수 있다. 이미지 센서(1060)는 이미지 신호 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른칩에 각각 집적될 수도 있다.

한편, 컴퓨팅 시스템(1000)은 이미지 센서를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 스마트폰(Smart Phone), 태블릿 PC 등을 포함할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1: 이미지 촬상 장치 100: 이미지 센서
110: 타이밍 생성기 120: 행 디코더
130: 행 드라이버 140: APS 어레이
150: 상관 이중 샘플러 160: 아날로그 디지털 컨버터
170: 래치 180: 열 디코더
200: 이미지 신호 프로세서 210, 310: 히스토그램 생성기
220, 320: 연산부 230, 330: 노출 타겟값 제어부

Claims

미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하는 이미지 센서; 및
상기 획득된 대상 영상의 밝기 정보를 기초로 제2 노출 타겟값을 생성하여 상기 이미지 센서를 제어하는 이미지 신호 프로세서를 포함하되,
상기 이미지 신호 프로세서는,
상기 대상 영상의 상기 밝기 정보를 기초로 밝기 히스토그램을 생성하는 히스토그램 생성부;
상기 밝기 히스토그램의 분포를 연산하는 연산부;
상기 밝기 히스토그램의 분포를 기초로 상기 제2 노출 타겟값을 생성하여 상기 이미지 센서에 제공하는 노출 타겟값 제어부를 포함하는 이미지 촬상 장치.
제 1항에 있어서,
상기 밝기 히스토그램의 분포는, 상기 대상 영상의 장면 정보에 기초하여 상기 밝기 히스토그램의 분산이 정규화된 데이터를 포함하고,
상기 노출 타겟값 제어부는 상기 정규화된 데이터를 기준값과 비교하는 이미지 촬상 장치.
제 2항에 있어서,
상기 장면 정보는 상기 대상 영상의 평균 밝기인 이미지 촬상 장치.
제 2항에 있어서,
상기 노출 타겟값 제어부는 상기 정규화된 데이터가 상기 기준값보다 작은 경우 상기 제1 노출 타겟값을 증가시켜 상기 제2 노출 타겟값을 생성하는 이미지 촬상 장치.
제 2항에 있어서,
상기 이미지 센서는 상기 제2 노출 타겟값에 기초하여 대상 영상을 획득하되,
상기 제1 노출 타겟값에 의해 획득된 대상 영상의 장면 정보에 기초한 밝기 히스토그램의 분산이 정규화된 데이터와, 상기 제2 노출 타겟값에 의해 획득된 대상 영상의 장면 정보에 기초한 밝기 히스토그램의 분산이 정규화된 데이터는 동일한 이미지 촬상 장치.
제 1항에 있어서,
상기 대상 영상의 장면 변화(scene change) 여부를 판단하는 장면 변화 감지부를 더 포함하되,
상기 히스토그램 생성부는 상기 장면 변화 여부가 감지되면, 새로운 대상 영상의 밝기 정보를 기초로 히스토그램을 생성하고,
상기 연산부는 상기 새로운 밝기 히스토그램의 분포를 연산하고,
상기 노출 타겟값 제어부는 상기 새로운 밝기 히스토그램의 분포에 따라 제3 노출 타겟값을 생성하는 이미지 촬상 장치.
제 6항에 있어서,
상기 장면 변화 감지부는 상기 대상 영상의 전체 밝기와, 상기 대상 영상의 일부 영역의 밝기의 변화 비율에 기초하여 상기 장면 변화 여부를 판단하는 이미지 촬상 장치.
미리 정해진 제1 노출 타겟값에 기초하여 대상 영상을 획득하고,
상기 획득된 대상 영상의 밝기 정보를 기초로 밝기 히스토그램을 생성하고,
상기 밝기 히스토그램의 분포를 연산하고,
상기 밝기 히스토그램의 분포를 기초로 제2 노출 타겟값을 생성하여 이미지 센서를 제어하는 것을 포함하는 이미지 촬상 장치의 구동 방법.
제 8항에 있어서,
상기 밝기 히스토그램의 분포는, 상기 대상 영상의 장면 정보에 기초하여 상기 밝기 히스토그램의 분산이 정규화된 데이터를 포함하고,
상기 노출 타겟값 제어부는 상기 정규화된 데이터를 기준값과 비교하는 이미지 촬상 장치의 구동 방법
제 8항에 있어서,
상기 대상 영상의 장면 변화 여부를 판단하고,
상기 대상 영상의 장면 변화가 감지되면 새로운 대상 영상의 밝기 정보를 기초로 히스토그램을 생성하고,
상기 새로운 밝기 히스토그램의 분포를 연산하고,
상기 새로운 밝기 히스토그램의 분포에 따라 제3 노출 타겟값을 생성하는 것을 더 포함하는 이미지 촬상 장치의 구동 방법.