KR20070105028A - 영상신호 처리장치 - Google Patents

영상신호 처리장치 Download PDF

Info

Publication number
KR20070105028A
KR20070105028A KR1020060036959A KR20060036959A KR20070105028A KR 20070105028 A KR20070105028 A KR 20070105028A KR 1020060036959 A KR1020060036959 A KR 1020060036959A KR 20060036959 A KR20060036959 A KR 20060036959A KR 20070105028 A KR20070105028 A KR 20070105028A
Authority
KR
South Korea
Prior art keywords
frame memory
image
entropy
exposure time
imaging device
Prior art date
Application number
KR1020060036959A
Other languages
English (en)
Inventor
강인호
김남균
김상철
서길수
방욱
김형우
김기현
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Priority to KR1020060036959A priority Critical patent/KR20070105028A/ko
Publication of KR20070105028A publication Critical patent/KR20070105028A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 제1 실시예에 따른 영상신호 처리장치는, 임의의 사물을 촬영하여 그에 따른 영상신호를 제공하는 촬상소자; 촬상소자의 노출 시간을 조정하기 위한 타이밍 제너레이터; 촬상소자에 의해 촬영된 초기의 영상신호를 저장하기 위한 제1 프레임 메모리; 타이밍 제너레이터에 의해 조정된 노출 시간에 의해 촬상소자에 의해 새롭게 촬영된 영상신호를 저장하기 위한 제2 프레임 메모리; 제1 프레임 메모리 및 제2 프레임 메모리에 저장된 영상에서 블록을 나누어 각 블록의 히스토그램, 누적밀도함수 및 영상정보(엔트로피)를 계산하는 히스토그램/엔트로피 계산부; 히스토그램/엔트로피 계산부에 의해 얻어진 각 블록의 엔트로피를 비교하여 노출 시간을 계산하는 노출/이득 제어부; 촬상소자에 의해 얻어진 초기 영상신호와 노출 시간 조정 후의 영상신호를 제1 프레임 메모리와 제2 프레임 메모리에 각각 구분하여 분배하는 디멀티플렉서; 및 제1 프레임 메모리와 제2 프레임 메모리에 저장된 영상을 영상정보가 극대화되는 방향으로 혼합하는 혼합부를 포함하여 구성된다.
이와 같은 본 발명에 의하면, 기존의 촬상장치에서의 제한된 동적 영역에 대하여, 보다 확장된 넓은 동적 영역을 제공할 수 있는 장점이 있다.
영상, 처리, 히스토그램, 이득, 조정

Description

영상신호 처리장치{Apparatus for processing image signal}
도 1은 일반적인 전자 촬상소자 입사광량에 대한 응답특성과 동적영역을 설명하는 도면.
도 2는 넓은 동적 영역을 요구하는 촬영 환경에서 제한된 동적 영역을 가진 촬상소자로부터 얻은 인물 사진.
도 3은 본 발명의 제1 실시예에 따른 영상신호 처리장치의 구성을 보여주는 도면.
도 4는 본 발명의 제2 실시예에 따른 영상신호 처리장치의 구성을 보여주는 도면.
도 5는 원본 영상, 히스토그램 등화기법으로 영상처리한 영상 및 본 발명의 영상신호 처리장치에 의해 영상처리한 영상에 대한 히스토그램을 보여주는 도면.
도 6은 20lux 조도에서 찍은 영상을 보여주는 도면.
도 7은 도 6의 영상을 히스토그램 등화기법으로 영상처리한 영상을 보여주는 도면.
도 8은 도 6의 영상을 본 발명의 영상신호 처리장치에 의해 영상처리한 영상을 보여주는 도면.
도 9는 원본 영상, 히스토그램 등화기법으로 영상처리한 영상 및 본 발명의 영상신호 처리장치에 의해 영상처리한 영상에 대한 평균(전체 밝기), 표준편차(콘트라스트) 및 정보량을 보여주는 도면.
도 10은 도 2의 영상의 밝기를 1.2배로 처리한 영상을 보여주는 도면.
도 11은 도 2의 영상을 본 발명의 영상신호 처리장치에 의해 처리한 영상을 보여주는 도면.
<도면의 주요 부분에 대한 부호의 설명>
310,410...촬상소자 320,420...타이밍 제너레이터
330,430...제1 프레임 메모리 340,440...제2 프레임 메모리
350,450...히스토그램/엔트로피 계산부
360,460...노출/이득 제어부 370...디멀티플렉서
470...자동 이득 조정기 380,480...혼합부
본 발명은 영상신호 처리장치에 관한 것으로서, 더 상세하게는 기존의 촬상장치에서의 제한된 동적 영역에 대하여, 동일한 피사체에 대해 서로 다른 영상 이득을 가지는 여러 장의 영상을 얻고, 이것들을 여러 영역으로 분할하여 각 영상의 동일 영역에 대해 영상정보를 측정하여 가장 큰 영상정보를 가지는 영역만을 선택 하고 이것들을 합성함으로써 넓은 동적 영역을 제공할 수 있는 영상신호 처리장치에 관한 것이다.
대부분의 촬상장치는 도 1에 도시된 바와 같이, 빛의 세기에 따라 출력 전압이 선형적으로 증가되나 저조도(low light intensity)에서는 잡음에 의해, 고조도(high light intensity)에서는 포화에 의해 선형적으로 증가하는 부분이 제약을 받아 유한한 동적 영역을 갖게 된다. 이러한 제한적인 동적 영역을 가진 촬상장치에 의해 얻어진 영상은 도 2에서 볼 수 있는 것과 같이, 밝은 부분과 어두운 부분이 공존하는 영상, 즉 동적 영역이 넓은 피사체에 대해서는 선명하지 못한 부분(201)이 발생하게 된다. 따라서 넓은 동적 영역을 가지는 피사체에 대해 선명한 영상을 얻기 위해서는 어두운 부분만을 선택하여 이득을 증가시킬 필요가 있다.
이러한 동적 영역을 확장하기 위한 종래의 방법 중의 하나로서 히스토그램 등화(histogram equalization) 기법이 있다. 이 방법은 입력 영상의 히스토그램에서 누적밀도함수(cumulative density function)를 계산하여 각 화소의 휘도를 누적밀도함수를 이용하여 규정함으로써 영상의 휘도 분포를 균일하게 한다. 하지만 빈도를 평준화하는 경우 다수 분포를 가지는 휘도 대역의 콘트라스트(contrast)가 크게 변함에 따라 양자화 잡음이 증가하며 적은 빈도수를 가지는 휘도를 가진 부분은 전체적인 영상에서 콘트라스트가 상대적으로 저하된다는 문제점이 있다. 이를 개선하기 위해 한국 특허공개번호 10-2000-0050571호(발명의 명칭: "히스토그램 등화 및 색 강조 기능을 갖는 영상신호 처리장치 및 방법")에서는 저조도 부분과 고조도 부분의 영상 영역을 분리하여 각각에 대해 적절한 변환 함수를 적용함으로써 동적 영역의 확장 및 콘트라스트의 개선을 가져왔다. 그러나 이러한 방식은 동적 영역이 상대적으로 좁은 영상에 대해서는 효과적이나 넓은 동적 영역을 가진 피사체에 대해서는 센서의 노출시간을 제어할 수 없으므로 포화영역 및 잡음영역에 의한 콘트라스트의 저하를 발생시킬 수 있다. 또한 저조도와 고조도 영역이 만나는 경계부분에서 불연속이 생겨 영상의 블록화를 발생시킬 수 있다.
또 다른 방법으로서 미국특허 제5,144,442호에서는 복수의 서로 다른 노출로써 입력 영상을 합성하여 더욱 넓은 동적 영역을 가질 수 있도록 만들었다. 그러나 이러한 방식은 다수의 입력채널을 구비해야 하기 때문에 시스템이 복잡해질 수 있다.
본 발명은 이상과 같은 문제점을 감안하여 창출된 것으로서, 한 센서에 대해 영특한 노출시간 제어 알고리즘(Smart Auto Exposure; Smart AE)에 따라 노출시간이 서로 다른 두 장의 영상을 얻고, 영역을 나누어 영상정보가 큰 영역을 선택하고 합성함으로써, 넓은 동적 영역을 가지는 피사체에 대해서도 콘트라스트의 저하 없이 선명한 영상을 제공할 수 있고, 분할된 영역에 대해 Rational Gaussian을 이용하여 합성함으로써 블록화를 방지할 수 있는 영상신호 처리장치를 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명의 제1 실시예에 따른 영상신호 처리장치는,
임의의 사물을 촬영하여 그에 따른 영상신호를 제공하는 촬상소자;
상기 촬상소자의 노출 시간을 조정하기 위한 타이밍 제너레이터(timing generator);
상기 촬상소자에 의해 촬영된 초기의 영상신호를 저장하기 위한 제1 프레임 메모리;
상기 타이밍 제너레이터에 의해 조정된 노출 시간에 의해 상기 촬상소자에 의해 새롭게 촬영된 영상신호를 저장하기 위한 제2 프레임 메모리;
상기 제1 프레임 메모리 및 제2 프레임 메모리에 저장된 영상에서 블록을 나누어 각 블록의 히스토그램, 누적밀도함수 및 영상정보(엔트로피)를 계산하는 히스토그램/엔트로피 계산부;
상기 히스토그램/엔트로피 계산부에 의해 얻어진 각 블록의 엔트로피를 비교하여 노출 시간을 계산하는 노출/이득 제어부;
상기 촬상소자에 의해 얻어진 초기 영상신호와 노출 시간 조정 후의 영상신호를 상기 제1 프레임 메모리와 제2 프레임 메모리에 각각 구분하여 분배하는 디멀티플렉서(demultiplexer); 및
상기 제1 프레임 메모리와 제2 프레임 메모리에 저장된 영상을 영상정보가 극대화되는 방향으로 혼합하는 혼합부를 포함하여 구성된 점에 그 특징이 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명의 제2 실시예에 따른 영상신호 처리장치는,
임의의 사물을 촬영하여 그에 따른 영상신호를 제공하는 촬상소자;
상기 촬상소자의 노출 시간을 조정하기 위한 타이밍 제너레이터(timing generator);
상기 촬상소자에 의해 촬영된 초기의 영상신호를 저장하기 위한 제1 프레임 메모리;
상기 제1 프레임 메모리 및 제2 프레임 메모리에 저장된 영상에서 블록을 나누어 각 블록의 히스토그램, 누적밀도함수 및 영상정보(엔트로피)를 계산하는 히스토그램/엔트로피 계산부;
상기 히스토그램/엔트로피 계산부에 의해 얻어진 각 블록의 엔트로피를 비교하여 이득을 계산하는 노출/이득 제어부;
상기 노출/이득 제어부에서 계산된 이득을 갖는 영상을 만드는 자동 이득 조정기(automatic gain controller);
상기 자동 이득 조정기에 의해 새롭게 얻어진 영상을 저장하기 위한 제2 프레임 메모리; 및
상기 제1 프레임 메모리와 제2 프레임 메모리에 저장된 영상을 영상정보가 극대화되는 방향으로 혼합하는 혼합부를 포함하여 구성된 점에 그 특징이 있다.
이하 첨부된 도면을 참조하면서 본 발명의 실시예를 상세히 설명한다.
도 3은 본 발명의 제1 실시예에 따른 영상신호 처리장치의 구성을 보여주는 도면이다.
도 3을 참조하면, 본 발명의 제1 실시예에 따른 영상신호 처리장치(300)는 촬상소자(310), 타이밍 제너레이터(320), 제1 프레임 메모리(330), 제2 프레임 메 모리(340), 히스토그램/엔트로피 계산부(350), 노출/이득 제어부(360), 디멀티플렉서(370), 혼합부(380)를 포함하여 구성된다.
상기 촬상소자(310)는 임의의 사물을 촬영하여 그에 따른 영상신호를 제공한다. 이와 같은 촬상소자(310)로는 CCD(charge coupled device)나 CMOS (complementary metal-oxide semiconductor) 이미지 센서가 사용될 수 있다.
상기 타이밍 제너레이터(320)(도면에는 TG로 약칭 표기함)는 상기 촬상소자(310)의 노출 시간을 조정하기 위한 것이다.
상기 제1 프레임 메모리(330)는 상기 촬상소자(310)에 의해 촬영된 초기의 영상신호를 저장하기 위한 것이다.
상기 제2 프레임 메모리(340)는 상기 타이밍 제너레이터(320)에 의해 조정된 노출 시간에 의해 상기 촬상소자(310)에 의해 새롭게 촬영된 영상신호를 저장하기 위한 것이다.
상기 히스토그램/엔트로피 계산부(350)는 상기 제1 프레임 메모리(330) 및 제2 프레임 메모리(340)에 저장된 영상에서 블록을 나누어 각 블록의 히스토그램, 누적밀도함수 및 영상정보(엔트로피)를 계산한다. 여기서, 이와 같은 히스토그램/엔트로피 계산부(350)는 제1 프레임 메모리(330) 및 제2 프레임 메모리(340)에서 동일한 위치의 블록에 대해 영상정보인 엔트로피를 후술되는 수학식 4에 의해 계산한다.
상기 노출/이득 제어부(360)는 상기 히스토그램/엔트로피 계산부(350)에 의해 얻어진 각 블록의 엔트로피를 비교하여 노출 시간을 계산한다. 이러한 노출/이 득 제어부(360)는 후술되는 수학식 1, 수학식 2 및 수학식 3을 이용하여 노출 시간을 계산한다.
상기 디멀티플렉서(370)(도면에는 Demux로 약칭 표기함)는 상기 촬상소자(310)에 의해 얻어진 초기 영상신호와 노출 시간 조정 후의 영상신호를 상기 제1 프레임 메모리(330)와 제2 프레임 메모리(340)에 각각 구분하여 분배한다.
상기 혼합부(380)는 상기 제1 프레임 메모리(330)와 제2 프레임 메모리(340)에 저장된 영상을 영상정보가 극대화되는 방향으로 혼합한다. 이와 같은 혼합부(380)는 상기 제1 프레임 메모리(330)와 제2 프레임 메모리(340)에 저장된 영상을 후술되는 수학식 5에 의해 혼합한다.
도 4는 본 발명의 제2 실시예에 따른 영상신호 처리장치의 구성을 보여주는 도면이다.
도 4를 참조하면, 본 발명의 제2 실시예에 따른 영상신호 처리장치(400)는 촬상소자(410), 타이밍 제너레이터(420), 제1 프레임 메모리(430), 제2 프레임 메모리(440), 히스토그램/엔트로피 계산부(450), 노출/이득 제어부(460), 자동 이득 조정기(470), 혼합부(480)를 포함하여 구성된다. 이와 같이 제2 실시예의 영상신호 처리장치(400)는 그 구성에 있어서, 상기 제1 실시예의 영상신호 처리장치(300)와 대동소이하다. 따라서, 상기 제1 실시예와 동일한 기능을 갖는 구성요소들에 대한 설명은 생략하고, 다른 부분에 대해서만 설명하기로 한다.
즉, 이 제2 실시예의 경우에는 상기 제1 실시예에서의 디멀티플렉서(370) 대신에 자동 이득 조정기(470)(도면에는 AGC로 약칭 표기함)가 채용된 점이 우선 특 징적으로 다르고, 따라서 그와 관련된 신호 입출력 회로 또한 도 4에서 볼 수 있는 바와 같이, 상기 제1 실시예와 약간 다르다.
여기서, 이와 같은 자동 이득 조정기(470)는 후술되는 노출/이득 제어부(460)에서 계산된 이득을 갖는 영상을 만드는 역할을 한다.
또한, 상기 제2 프레임 메모리(440), 노출/이득 제어부(460)는 상기 제1 실시예와 그 명칭에 있어서는 동일하지만, 그 기능이나 역할에 있어서 제1 실시예와 차이가 있다.
즉, 상기 노출/이득 제어부(460)는 상기 히스토그램/엔트로피 계산부(450)에 의해 얻어진 각 블록의 엔트로피를 비교하여 이득을 계산한다.
그리고, 상기 제2 프레임 메모리(440)는 상기 자동 이득 조정기(470)에 의해 새롭게 얻어진 영상을 저장한다.
그러면, 이상과 같은 구성을 가지는 본 발명에 따른 영상신호 처리장치의 동작에 대해 도 3 및 도 4를 참조하면서 설명해 보기로 한다.
먼저, 촬상소자(310,410)로부터 출력된 영상은 노출/이득 제어부(360,460)와 타이밍 제너레이터(320,420)에 의해 혼합부(380,480)에서 필요한 입력영상을 얻기까지 제어된다. 여기서, "포화되었다" 라는 정의를 전체 영상에서 어떤 비율이상의 화소가 어떤 명암단계 이상을 가질 때라고 정의한다. 이때, 각각의 문턱치 (threshold)를 입력영상 전체 화소의 2%, 가장 큰 명암단계라고 설정한다. 예를 들면, 8bit의 깊이를 가지는 명암에서 256 단계를 의미한다. 노출/이득 제어부 (360,460)는 입력 영상의 누적밀도함수의 98%에 해당되는 값이 256 단계 이하이면 그 차이를 상쇄할 수 있도록 노출시간을 조정하고, 256단계에 분포하는 화소의 비율이 98% 이상이면 현재의 노출 시간의 75% 값으로 조정하여 노출하여 포화된 화소의 비율이 2% 이하가 되도록 노출 시간을 조정한다. 이것을 수식으로 표현하면 다음과 같다.
Figure 112006028726252-PAT00001
, lsat 값이 255이하일 때
Figure 112006028726252-PAT00002
, lsat 값이 255보다 클 때
여기서, texp, t0, lsat는 각각 최종 노출시간, 초기 노출시간, 그리고 누적밀도가 98%일 때의 명암단계를 의미한다.
이와 같이, 노출/이득 제어부(360,460)에 의해 초기단계에서는 주어진 센서의 동적 영역 내에서 최적의 동적 영역을 가지는 입력영상(이하, 초기 입력영상)을 얻는다. 초기 단계에서 포화를 최소화하는 이유는 촬상소자(310,410)로부터 받은 입력영상에서 피사체의 밝고 섬세한 부분이 포화에 의해 훼손되는 것을 방지하기 위한 것이다. 또 문턱치를 두는 이유는 센서에 따라 혹은 주관적인 판단에 따라 포화의 정도를 조절하기 위한 것이다.
일단 초기 단계가 끝나면 노출/이득 제어부(360)는 어두운 부분의 밝기를 키우기 위해 다른 노출시간을 갖는 입력영상을 얻어 디멀티플렉서(370)를 통해 제2 프레임 메모리(340)에 저장하거나, 도 4에서와 같이 초기 입력영상의 이득을 자동 이득 조정기(470)를 통해 조정하여 새로운 입력영상을 만들어 제2 프레임 메모리(440)에 직접 저장한다. 이때, 다른 노출시간 혹은 이득은 초기 입력영상에서 계산한 히스토그램의 평균값(이하, 평균밝기)에 따라 자동으로 결정되도록 프로그래밍 되어 있다. 이 값을 결정하는 함수는 평균밝기를 독립변수로 하는 로그함수이다. 노출시간 또는 이득을 로그함수를 이용해서 결정한 이유는 두 장의 입력영상을 혼합할 시 양자 간의 평균밝기가 상당히 차이가 나는 경우 혼합된 영상에서 얼룩이 나타나기 때문이다. 따라서, 평균밝기를 극대화하는 것보다는 입력영상의 평균밝기에 따라서 로그적으로 결정하는 것이 타당하며, 이것은 인간의 시각 특성과도 잘 부합된다. 다음의 수학식 2는 본 발명에 채용되는 피팅 함수이며 각각의 상수들은 여러 번의 실험에 의해 경험적으로 구해진다.
Figure 112006028726252-PAT00003
여기서, lave와 G는 각각 입력영상의 평균밝기와 어두운 부분을 보정할 입력영상을 얻기 위한 이득이다. 그리고, a0, a1, a2는 실험에 의해 결정되어야 할 상수들이다. 또한, 이와 같은 수학식 2로부터 어두운 부분을 보정할 입력영상을 얻기 위해 필요한 노출시간은 다음의 수학식 3과 같이 표현될 수 있다.
Figure 112006028726252-PAT00004
여기서, texp, texp (0)은 각각 어두운 부분의 보정에 필요한 노출시간과 초기 노출시간을 의미하며, G는 상기 수학식 2에서 계산된 이득이다.
이와 같이, 제1 프레임 메모리(330,430)와 제2 프레임 메모리(340,440)에 저장되어진 입력 영상은 각각 M×N 등분된다. 그리고 각각의 등분된 소영상을 블록이라고 정의하면, 히스토그램/엔트로피 계산부(350,450)에서는 제1 프레임 메모리(330,430)와 제2 프레임 메모리(340,440)에서 동일한 위치의 블록에 대해 영상정보인 엔트로피를 다음의 수학식 4에 의해 계산한다.
Figure 112006028726252-PAT00005
여기서, In은 n번째 블록의 엔트로피를 의미하며 또 Pi R, Pi G, Pi B은 각각 red, green, blue에서 명암단계 i에 대한 확률밀도를 의미한다.
이와 같이 동일한 블록에 대해 각각의 입력 영상에서 계산된 엔트로피를 서로 비교하여 큰 쪽의 블록에 대해 웨이팅 함수(weighting function)를 곱하고(이 과정을 '블록 이득확대'라고 칭하기로 함), 이와 같이 전체 블록에 대해 블록 이득확대된 영상의 합을 구하여 정규화함으로써 혼합 과정이 이루어진다. 이 과정은 다 음의 수학식 5, 6 및 7로 표현할 수 있다.
Figure 112006028726252-PAT00006
Figure 112006028726252-PAT00007
Figure 112006028726252-PAT00008
여기서, YHDRR와 Xi ,j는 각각 합성된 영상과 i번째 블록에 대해 엔트로피가 큰 블록이 포함된 프레임 메모리 j의 입력 영상이고, xi와 yi는 i번째 블록의 중심 화소의 좌표이며, Bi는 i번째 블록의 유효 넓이를 의미한다. 이때 블록의 유효 넓이와 개수는 실험적으로 얻어지게 된다.
한편, 도 5는 도 6과 같은 저조도(20lux)에서 찍은 영상 원본과 히스토그램 등화 방식을 이용하여 얻은 영상, 그리고 본 발명의 영상신호 처리장치를 통해 얻은 영상의 히스토그램을 비교적으로 보여주는 도면이다.
도 5에서 보는 바와 같이, 원본 영상은 저조도에 대부분의 화소들이 분포되어 있는 반면 히스토그램 등화 기법을 이용한 영상은 대부분의 명암단계에 화소들 이 분포하고 있다. 또한, 도 9에서 보는 바와 같이 콘트라스트(표준편차) 및 전체적인 밝기(평균)의 개선은 있지만 포화되는 영역에 화소들도 많이 분포되어 도 7에서와 같이, 밝은 부분의 영상이 훼손되게 된다. 반면에 본 발명의 영상신호 처리장치를 이용하게 되면 도 8에서와 같이 콘트라스트와 밝기의 개선과 동시에 포화되는 화소도 거의 없이 깨끗한 영상을 얻게 된다. 이것을 영상정보량으로 비교하면 도 9에서 보는 바와 같이 본 발명에 의한 영상정보량이 가장 많은 것을 알 수 있다.
도 10 및 도 11은 상기 도 2에서와 같이 역광상태에서 얻어진 영상에 대해서도 본 발명의 영상신호 처리장치가 유용함을 보여준다. 도 10은 원본 영상에서 이득을 1.2로 만든 경우인데, 아이의 얼굴은 약간 밝아졌지만 배경부분에서 이미 포화가 이루어져 선명한 배경을 제공하지 못하고 있음을 알 수 있다. 그러나, 본 발명의 영상신호 처리장치를 이용한 도 11의 경우는 선명한 아이의 얼굴과 선명한 배경을 동시에 얻을 수 있음을 알 수 있다.
이상의 설명에서와 같이, 본 발명에 따른 영상신호 처리장치는 기존의 촬상장치에서의 제한된 동적 영역에 대하여, 동일한 피사체에 대해 서로 다른 영상 이득을 가지는 여러 장의 영상을 얻고, 이것들을 여러 영역으로 분할하여 각 영상의 동일 영역에 대해 영상정보를 측정하여 가장 큰 영상정보를 가지는 영역만을 선택하고 이것들을 합성함으로써 넓은 동적 영역을 제공할 수 있는 장점이 있다.

Claims (5)

  1. 임의의 사물을 촬영하여 그에 따른 영상신호를 제공하는 촬상소자;
    상기 촬상소자의 노출 시간을 조정하기 위한 타이밍 제너레이터(timing generator);
    상기 촬상소자에 의해 촬영된 초기의 영상신호를 저장하기 위한 제1 프레임 메모리;
    상기 타이밍 제너레이터에 의해 조정된 노출 시간에 의해 상기 촬상소자에 의해 새롭게 촬영된 영상신호를 저장하기 위한 제2 프레임 메모리;
    상기 제1 프레임 메모리 및 제2 프레임 메모리에 저장된 영상에서 블록을 나누어 각 블록의 히스토그램, 누적밀도함수 및 영상정보(엔트로피)를 계산하는 히스토그램/엔트로피 계산부;
    상기 히스토그램/엔트로피 계산부에 의해 얻어진 각 블록의 엔트로피를 비교하여 노출 시간을 계산하는 노출/이득 제어부;
    상기 촬상소자에 의해 얻어진 초기 영상신호와 노출 시간 조정 후의 영상신호를 상기 제1 프레임 메모리와 제2 프레임 메모리에 각각 구분하여 분배하는 디멀티플렉서(demultiplexer); 및
    상기 제1 프레임 메모리와 제2 프레임 메모리에 저장된 영상을 영상정보가 극대화되는 방향으로 혼합하는 혼합부를 포함하여 구성된 것을 특징으로 하는 영상신호 처리장치.
  2. 제1항에 있어서,
    상기 히스토그램/엔트로피 계산부는 상기 제1 프레임 메모리 및 제2 프레임 메모리에서 동일한 위치의 블록에 대해 영상정보인 엔트로피를 다음의 수식에 의해 계산하는 것을 특징으로 하는 영상신호 처리장치.
    Figure 112006028726252-PAT00009
    (여기서, In은 n번째 블록의 엔트로피, Pi R, Pi G, Pi B은 각각 red, green, blue에서 명암단계 i에 대한 확률밀도를 각각 의미함)
  3. 제1항에 있어서,
    상기 노출/이득 제어부는 다음의 수식들로부터 노출 시간을 계산하는 것을 특징으로 하는 영상신호 처리장치.
    Figure 112006028726252-PAT00010
    , lsat 값이 255이하일 때
    Figure 112006028726252-PAT00011
    , lsat 값이 255보다 클 때
    (여기서, texp, t0, lsat는 각각 최종 노출시간, 초기 노출시간, 그리고 누적밀도가 98%일 때의 명암단계를 의미함)
    Figure 112006028726252-PAT00012
    (여기서, lave와 G는 각각 입력영상의 평균밝기와 어두운 부분을 보정할 입력영상을 얻기 위한 이득이고, a0, a1, a2는 실험에 의해 결정되어야 할 상수들임)
    Figure 112006028726252-PAT00013
    (여기서, texp, texp (0)은 각각 어두운 부분의 보정에 필요한 노출시간과 초기 노출시간을 의미함)
  4. 제1항에 있어서,
    상기 혼합부는 상기 제1 프레임 메모리와 제2 프레임 메모리에 저장된 영상을 다음의 수식들에 의해 혼합하는 것을 특징으로 하는 영상신호 처리장치.
    Figure 112006028726252-PAT00014
    Figure 112006028726252-PAT00015
    Figure 112006028726252-PAT00016
    (여기서, YHDRR와 Xi ,j는 각각 합성된 영상과 i번째 블록에 대해 엔트로피가 큰 블록이 포함된 프레임 메모리 j의 입력 영상이고, xi와 yi는 i번째 블록의 중심 화소의 좌표이며, Bi는 i번째 블록의 유효 넓이를 의미함)
  5. 임의의 사물을 촬영하여 그에 따른 영상신호를 제공하는 촬상소자;
    상기 촬상소자의 노출 시간을 조정하기 위한 타이밍 제너레이터(timing generator);
    상기 촬상소자에 의해 촬영된 초기의 영상신호를 저장하기 위한 제1 프레임 메모리;
    상기 제1 프레임 메모리 및 제2 프레임 메모리에 저장된 영상에서 블록을 나누어 각 블록의 히스토그램, 누적밀도함수 및 영상정보(엔트로피)를 계산하는 히스토그램/엔트로피 계산부;
    상기 히스토그램/엔트로피 계산부에 의해 얻어진 각 블록의 엔트로피를 비교하여 이득을 계산하는 노출/이득 제어부;
    상기 노출/이득 제어부에서 계산된 이득을 갖는 영상을 만드는 자동 이득 조정기(automatic gain controller);
    상기 자동 이득 조정기에 의해 새롭게 얻어진 영상을 저장하기 위한 제2 프레임 메모리; 및
    상기 제1 프레임 메모리와 제2 프레임 메모리에 저장된 영상을 영상정보가 극대화되는 방향으로 혼합하는 혼합부를 포함하여 구성된 것을 특징으로 하는 영상신호 처리장치.
KR1020060036959A 2006-04-25 2006-04-25 영상신호 처리장치 KR20070105028A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060036959A KR20070105028A (ko) 2006-04-25 2006-04-25 영상신호 처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060036959A KR20070105028A (ko) 2006-04-25 2006-04-25 영상신호 처리장치

Publications (1)

Publication Number Publication Date
KR20070105028A true KR20070105028A (ko) 2007-10-30

Family

ID=38818645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060036959A KR20070105028A (ko) 2006-04-25 2006-04-25 영상신호 처리장치

Country Status (1)

Country Link
KR (1) KR20070105028A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011056994A3 (en) * 2009-11-04 2011-09-22 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
US8305487B2 (en) 2009-10-21 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling multiple exposures
KR101438480B1 (ko) * 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
CN108109166A (zh) * 2017-12-08 2018-06-01 上海集成电路研发中心有限公司 用于自动曝光中图像熵值的计算方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07322149A (ja) * 1994-05-20 1995-12-08 Canon Inc 撮像装置
KR20020080560A (ko) * 2001-04-16 2002-10-26 삼성테크윈 주식회사 카메라의 영상신호 처리장치
JP2004023605A (ja) * 2002-06-19 2004-01-22 Sony Corp 画像処理装置、カメラ装置、及びその自動露光制御方法
KR20050084580A (ko) * 2002-09-25 2005-08-26 소니 가부시끼 가이샤 촬상 장치, 촬상 장치의 화상 출력 방법, 및 컴퓨터프로그램

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07322149A (ja) * 1994-05-20 1995-12-08 Canon Inc 撮像装置
KR20020080560A (ko) * 2001-04-16 2002-10-26 삼성테크윈 주식회사 카메라의 영상신호 처리장치
JP2004023605A (ja) * 2002-06-19 2004-01-22 Sony Corp 画像処理装置、カメラ装置、及びその自動露光制御方法
KR20050084580A (ko) * 2002-09-25 2005-08-26 소니 가부시끼 가이샤 촬상 장치, 촬상 장치의 화상 출력 방법, 및 컴퓨터프로그램

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438480B1 (ko) * 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
US8305487B2 (en) 2009-10-21 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling multiple exposures
WO2011056994A3 (en) * 2009-11-04 2011-09-22 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
US8743235B2 (en) 2009-11-04 2014-06-03 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
CN108109166A (zh) * 2017-12-08 2018-06-01 上海集成电路研发中心有限公司 用于自动曝光中图像熵值的计算方法及装置
CN108109166B (zh) * 2017-12-08 2022-03-29 上海集成电路研发中心有限公司 用于自动曝光中图像熵值的计算方法及装置

Similar Documents

Publication Publication Date Title
RU2528590C2 (ru) Устройство для захвата изображений, способ управления им и носитель записи
EP2645705B1 (en) Image capturing apparatus and control method thereof
US8314847B2 (en) Automatic tone mapping curve generation based on dynamically stretched image histogram distribution
JP4218723B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US8483507B2 (en) Image sensing apparatus and image processing method
JP5665436B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20070024721A1 (en) Compensating for improperly exposed areas in digital images
JP2001311980A (ja) 露出制御装置
JP2007067907A (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
US20050195298A1 (en) Image processing apparatus
US20080158410A1 (en) Brightness adjusting method
JP2008005081A (ja) 認証装置
JP4999871B2 (ja) 撮像装置およびその制御方法
US7859573B2 (en) Methods and apparatuses for image exposure correction
KR20070105028A (ko) 영상신호 처리장치
US8488033B2 (en) Photographing apparatus and photographing method
JP2018050149A (ja) 画像処理装置
JP5335964B2 (ja) 撮像装置およびその制御方法
JP2008005083A (ja) 撮像装置
JP4802333B2 (ja) 画像合成における露光比決定方法
JP2005109579A (ja) 固体撮像素子を用いた撮像装置
JP2002369074A (ja) 光学機器の露出制御装置およびプログラム、並びに方法
JP2015122569A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2008306326A (ja) 画像処理装置および画像処理方法
JP6021885B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
E801 Decision on dismissal of amendment