KR20090005843A - 촬상 장치 및 촬상 장치의 감도 개선 방법 - Google Patents

촬상 장치 및 촬상 장치의 감도 개선 방법 Download PDF

Info

Publication number
KR20090005843A
KR20090005843A KR1020070069212A KR20070069212A KR20090005843A KR 20090005843 A KR20090005843 A KR 20090005843A KR 1020070069212 A KR1020070069212 A KR 1020070069212A KR 20070069212 A KR20070069212 A KR 20070069212A KR 20090005843 A KR20090005843 A KR 20090005843A
Authority
KR
South Korea
Prior art keywords
image data
input image
pixel
high frequency
gain
Prior art date
Application number
KR1020070069212A
Other languages
English (en)
Inventor
김일도
전재성
최병선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070069212A priority Critical patent/KR20090005843A/ko
Priority to US12/020,597 priority patent/US20090016625A1/en
Priority to PCT/KR2008/001364 priority patent/WO2009008580A1/en
Priority to CN2008800235160A priority patent/CN101690170B/zh
Priority to EP08723401A priority patent/EP2165527A4/en
Priority to JP2008169456A priority patent/JP2009021999A/ja
Publication of KR20090005843A publication Critical patent/KR20090005843A/ko
Priority to US14/486,645 priority patent/US20150002710A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 촬상 장치 및 촬상 장치의 감도 개선 방법에 관한 것으로, 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 픽셀 비닝부; 입력 영상 데이터 또는 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정하는 게인 결정부; 및 픽셀 비닝된 입력 영상 데이터 및 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터를 계산하는 계산부를 포함한다. 본 발명에 따르면, 입력 영상 데이터의 해상도는 보존하면서 저조도 영상 신호의 다이내믹 레인지를 확장시킬 수 있는 효과가 있다.

Description

촬상 장치 및 촬상 장치의 감도 개선 방법{Imaging apparatus and method for improving sensitivity thereof}
본 발명은 촬상 장치 및 촬상 장치의 감도 개선 방법에 관한 것으로, 더욱 상세하게는 저조도 영상 데이터의 감도를 개선하고 노이즈를 억제하는 촬상 장치 및 촬상 장치의 감도 개선 방법에 관한 것이다.
카메라 또는 캠코더와 같은 촬상 장치(imaging apparatus)는 CMOS(complementary metal-oxide semiconductor) 또는 CCD(Charge-Coupled Device)와 같은 촬상 소자(imaging device)를 이용하여 빛을 전기적 신호인 이미지로 변환한다.
촬상 소자는 이상적으로는 입사되는 광의 조도에 비례하는 전기 신호를 발생시켜야 하지만, 실제적으로는 전기 신호로의 변환 과정에서 다양한 노이즈가 부가된다. 그러한 노이즈에는 암 전류(dark current) 노이즈, kTC 노이즈, 고정된 패턴(fixed pattern) 노이즈 등이 있다.
암 전류 노이즈는 온도에 따라 비례하는 특성을 가지는 열적(thermal) 노이즈로 저 조도에서의 화질 열화의 주요 요인이다. kTC 노이즈는 CMOS 또는 CCD 카메 라 등을 구동하는데 사용되는 각종 스위칭 펄스에 의해 발생되는 노이즈이다. 고정된 패턴 노이즈는 CMOS 또는 CCD와 같은 촬상 소자가 불량 화소(defect pixel)를 포함하는 경우에 발생된다. 고정된 패턴 노이즈는　CMOS 또는 CCD의　제조　과정에서 다양한 요인에 의해 발생되는 불균일성에 기인한 것으로, 백점　디펙트(white spot defect), 흑점　디펙트(black spot defect), 세로줄　디펙트(line defect), 얼룩무늬 디펙트(banded defect), 감도 얼룩(sensitivity speck)　등의 형태로 나타난다. 이와 같은 노이즈들은 촬상 소자에 의해 광전 변환되어 축적된 전하와 합산되고, 그에 의해 화질을 열화시킨다.
촬상 소자는 빛이 많을 때 즉, 촬영 환경이 밝을 때는 CCD 자체의 노이즈가 빛에 의해 광전 변환되어 축적된 전하에 비해 크게 적기 때문에 화질 열화가 작게 나타난다. 그러나 촬영 환경이 어두워지면 고정된 패턴 노이즈, 암 전류 노이즈, kTC 노이즈가 빛에 의해 광전 변환되어 축적된 전하에 비해 상대적으로 커지는 문제점이 있다.
또한, 촬영 환경이 어두울 때 광전 변환에 의해 축적된 전하를 노이즈에 비해 상대적으로 크게 하기 위해서, 픽셀 피치(pixel pitch)가 큰 촬상 소자를 이용하거나 촬상 소자의 노출 시간(exposure time)을 길게 하는 것이 가능하다. 그러나, 픽셀 피치가 큰 촬상 소자는 비용이 높고 동일한 해상도를 위해서는 촬상 소자의 크기를 증가시켜야 하는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 해상도는 보존하면서 출력 영상 신호의 전력을 증가시킴으로써 저조도 영상 신호의 다이내믹 레인지를 확장시키는 촬상 장치 및 촬상 장치의 감도 개선 방법을 제공하는데 있다.
또한, 본 발명의 목적은 노이즈의 부스트-업(boost-up)을 억제함으로써 촬상 장치의 감도를 개선하기 위한 촬상 장치 및 촬상 장치의 감도 개선 방법을 제공하는데 있다.
상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 촬상 장치는 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 픽셀 비닝부; 상기 입력 영상 데이터 또는 상기 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정하는 게인 결정부; 및 상기 픽셀 비닝된 입력 영상 데이터 및 상기 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터를 계산하는 계산부를 포함하는 것을 특징으로 한다.
상기 픽셀 비닝부는 상기 입력 영상 데이터의 해상도를 보존시키는 것을 특징으로 한다.
상기 게인 결정부는 상기 입력 영상 데이터의 휘도 값이 소정의 제1 쓰레숄드(threshold)보다 낮으면 상기 픽셀 비닝 게인을 소정의 최대 게인 값으로 결정하 고, 상기 쓰레숄드보다 높아질수록 상기 픽셀 비닝 게인을 상기 최대 게인 값에서 선형적으로 낮아지는 값으로 결정하는 것을 특징으로 한다.
상기 계산부는 상기 픽셀 비닝된 입력 영상 데이터에 상기 픽셀 비닝 게인을 곱함으로써 상기 출력 영상 데이터를 계산하는 것을 특징으로 한다.
상기 출력 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초로 하여 상기 출력 영상 데이터의 다이내믹 레인지를 확장하는 시간적 확장부를 더 포함하는 것을 특징으로 한다.
상기 게인 결정부는 상기 시간적 확장부의 데이터 머지 게인을 결정하여, 상기 시간적 확장부에 제공하는 것을 특징으로 한다.
또한, 상술한 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 촬상 장치는 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 픽셀 비닝부; 상기 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성분들을 필터링하는 고역 통과 필터부; 상기 고 주파수 성분들을 기초로 하여 해상도 보존 인자를 결정하는 해상도 보존 인자 결정부; 및 상기 픽셀 비닝된 입력 영상 데이터, 상기 고 주파수 성분들, 및 상기 해상도 보존 인자를 기초로 하여 출력 영상 데이터를 계산하는 계산부를 포함하는 것을 특징으로 한다.
상기 고역 통과 필터부는 상기 입력 영상 데이터의 수평 방향에 대한 제1 고 주파수 성분을 필터링하는 수평 고역 통과 필터부; 및 상기 입력 영상 데이터의 수직 방향에 대한 제2 고 주파수 성분을 필터링하는 수직 고역 통과 필터부를 포함하는 것을 특징으로 한다.
상기 고역 통과 필터부는 상기 입력 영상 데이터의 대각선 방향에 대한 제3 고 주파수 성분을 필터링하는 대각 고역 통과 필터부를 더 포함하는 것을 특징으로 한다.
상기 해상도 보존 인자 결정부는 상기 제1 및 제2 고 주파수 성분들의 차이, 상기 제2 및 제3 고 주파수 성분들의 차이, 및 상기 제1 및 제3 고 주파수 성분들의 차이의 각각의 절대값들 중 최대 차이 값을 구하고, 상기 최대 차이 값이 소정의 제2 쓰레숄드보다 작거나 같으면, 상기 해상도 보존 인자를 소정의 최소 인자 값으로 결정하고, 상기 최대 차이 값이 소정의 제3 쓰레숄드보다 크거나 같으면, 상기 해상도 보존 인자를 소정의 최대 인자 값으로 결정하며, 상기 최대 차이 값이 상기 제2 쓰레숄드 및 상기 제3 쓰레숄드의 사이에 있으면, 상기 해상도 보존 인자를 상기 최소 인자 값 및 상기 최대 인자 값의 사이에서 상기 최대 차이 값의 증가와 함께 선형적으로 증가하는 값으로 결정하는 것을 특징으로 한다.
상기 계산부는 상기 고 주파수 성분들의 합에 상기 해상도 보존 인자를 곱하고, 상기 픽셀 비닝된 입력 영상 데이터를 더함으로써 상기 출력 영상 데이터를 계산하는 것을 특징으로 한다.
상기 출력 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초로 하여 상기 출력 영상 데이터의 다이내믹 레인지를 확장하는 시간적 확장부를 더 포함하는 것을 특징으로 한다.
또한, 상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 촬상 장치의 감도 개선 방법은 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계; 상기 입력 영상 데이터 또는 상기 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정하는 단계; 및 상기 픽셀 비닝된 입력 영상 데이터 및 상기 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 것을 특징으로 한다.
또한, 상술한 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 촬상 장치의 감도 개선 방법은 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계; 상기 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성분들을 필터링하는 단계; 상기 고 주파수 성분들을 기초로 하여 해상도 보존 인자를 결정하는 단계; 및 상기 픽셀 비닝된 입력 영상 데이터, 상기 고 주파수 성분들, 및 상기 해상도 보존 인자를 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 것을 특징으로 한다.
또한, 상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 촬상 장치의 감도 개선 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체는, 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계; 상기 입력 영상 데이터 또는 상기 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정하는 단계; 및 상기 픽셀 비닝된 입력 영상 데이터 및 상기 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 방법을 실행하는 것을 특징으로 한다.
또한, 상술한 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 촬상 장치의 감도 개선 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체는, 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계; 상기 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성분들을 필터링하는 단계; 상기 고 주파수 성분들을 기초로 하여 해상도 보존 인자를 결정하는 단계; 및 상기 픽셀 비닝된 입력 영상 데이터, 상기 고 주파수 성분들, 및 상기 해상도 보존 인자를 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 방법을 실행하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 촬상 장치 및 촬상 장치의 감도 개선 방법에 따르면, 입력 영상 데이터의 해상도는 보존하면서 저조도 영상 신호의 다이내믹 레인지를 확장시킬 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 촬상 장치 및 촬상 장치의 감도 개선 방법에 따르면, 저조도에서 노이즈에 비하여 출력 영상 신호의 전력을 증가시킬 수 있는 효과가 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다.
도 1은 본 발명의 제1 실시예에 따른 촬상 장치를 도시한 도면이다.
도 1을 참조하면, 본 발명의 제1 실시예에 따른 촬상 장치는 픽셀 비닝부(120), 게인 결정부(130) 및 계산부(140)를 포함한다.
픽셀 비닝부(120)는 입력 영상 데이터(110)를 소정의 픽셀 크기로(예를 들 어, 2 x 2 또는 3 x 3과 같이) 픽셀 비닝(pixel binning)한다. 하나의 픽셀에 근접한 복수 개의 픽셀 데이터는 하나의 픽셀 데이터로 통합된다. 픽셀 비닝은 일반적으로 수 개의 픽셀 데이터를 하나의 픽셀 데이터로 통합하는 것이기 때문에, 저조도에서 감도를 향상시킬 수는 있으나 해상도를 감소시키는 단점이 있다.
그러나, 본 발명의 일 실시예에서, 픽셀 비닝부(120)는 입력 영상 데이터(110)의 해상도를 보존하면서 수평 방향 또는 수직 방향으로 픽셀 비닝한다. 본 발명의 일 실시예에 따라 입력 영상 데이터(110)의 해상도를 보존하기 위한 픽셀 비닝은 도 5a 내지 도 5e를 참조하여 설명된다.
도 5a는 픽셀 비닝 이전의 각각의 픽셀을 도시한다. 각각의 픽셀은 'a', 'b', 'c' ... 등으로 표기되어 있다.
도 5b는 픽셀 데이터가 2 x 2로 픽셀 비닝될 때 픽셀 'a', 'c', 'i' 및 'k'에 대해 픽셀 비닝된 데이터를 획득하기 위한 예시적인 방법을 설명하기 위한 것이다. 픽셀 'a'에 대한 픽셀 비닝된 데이터는 픽셀 'a', 'b', 'e' 및 'f'에 대한 입력 영상 데이터를 합함으로써 구해질 수 있다. 픽셀 'c'에 대한 픽셀 비닝된 데이터는 픽셀 'c', 'd', 'g' 및 'h'에 대한 입력 영상 데이터를 합함으로써 구해질 수 있다. 픽셀 'i' 및 'k'에 대한 픽셀 비닝된 데이터도 유사한 방법으로 구해질 수 있다.
마찬가지로, 도 5c는 픽셀 데이터가 2 x 2로 픽셀 비닝될 때 픽셀 'b', 'd', 'j' 및 'l'에 대해 픽셀 비닝된 데이터를 획득하기 위한 예시적인 방법을 설명하기 위한 것이다. 예를 들어, 픽셀 'b'에 대한 픽셀 비닝된 데이터는 픽셀 'b', 'c', 'f' 및 'g'에 대한 입력 영상 데이터를 합함으로써 구해질 수 있다. 유사한 방법으로, 도 5d에서는 픽셀 데이터가 2 x 2로 픽셀 비닝될 때 픽셀 'e', 'g', 'm' 및 'o'에 대한 픽셀 비닝된 데이터가 획득될 수 있고, 도 5e에서는 픽셀 'f', 'h', 'n' 및 'p'에 대한 픽셀 비닝된 데이터를 획득될 수 있다.
이와 같은 방법에 의해서, 입력 영상 데이터의 해상도는 보존되면서 저조도에서 감도를 향상시키는 것이 가능하게 된다. 다만, 본 발명의 실시예에 따라서 입력 영상 데이터(110)의 해상도를 보존하는 것 뿐만 아니라 해상도를 감소시키는 픽셀 비닝을 수행하는 것도 가능할 것이다.
다시 도 1을 참조하면, 게인 결정부(130)는 입력 영상 데이터(110) 또는 입력 영상 데이터(110)의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정한다. 픽셀 비닝 게인은 픽셀 비닝부(120)로부터 출력되는 데이터에 대한 게인 값으로, 예를 들어, 출력 영상 데이터(150)는 후술될 계산부(140)에 의해 출력 영상 데이터(150) = 픽셀 비닝부(120)의 출력 * 픽셀 비닝 게인 과 같이 계산될 수 있다.
입력 영상 데이터(110) 또는 입력 영상 데이터(110)의 휘도 값에 대한 픽셀 비닝 게인의 예시는 도 7에 나타나 있다. 예를 들어, 게인 결정부(130)는 입력 영상 데이터(110)의 휘도 값이 소정의 제1 쓰레숄드(threshold)보다 낮으면 픽셀 비닝 게인을 소정의 최대 게인 값으로 결정하고, 제1 쓰레숄드보다 높아지면 픽셀 비닝 게인을 최대 게인 값에서 선형적으로 낮아지는 값으로 결정할 수 있다. 최대 게인 값 및 픽셀 비닝 게인의 감소 비율(즉, 기울기)은 실시예에 따라 다양한 값으로 주어질 수 있다.
계산부(140)는 픽셀 비닝부(120)에서 출력된 픽셀 비닝된 영상 데이터 및 게인 결정부(130)에서 출력된 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터(140)를 계산한다. 상술된 바와 같이, 계산부(140)는 출력 영상 데이터(150) = 픽셀 비닝부(120)의 출력 * 픽셀 비닝 게인을 출력할 수 있으나, 반드시 이에 한정되는 것은 아니다.
위와 같은 실시예에 따르면, 입력 영상 데이터(110)의 휘도가 낮을 때 촬상 장치의 감도를 향상시켜 다이내믹 레인지를 높일 수 있게 된다.
도 2는 본 발명의 제2 실시예에 따른 촬상 장치를 도시한 도면이다.
도 2를 참조하면, 본 발명의 제2 실시예에 따른 촬상 장치는 픽셀 비닝부(120), 게인 결정부(230), 계산부(140) 및 시간적 확장부(250)를 포함한다.
본 발명의 제2 실시예에 따른 픽셀 비닝부(120) 및 계산부(140)는 도 1에서 설명된 것과 동일하므로 추가적인 설명은 생략된다.
시간적 확장부(250)는 계산부(140)에서 출력되는 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초로 하여 출력 영상 데이터(260)의 다이내믹 레인지를 확장한다.
게인 결정부(230)는 픽셀 비닝 게인을 결정할 뿐만 아니라 시간적 확장부(250)에서 현재 프레임 데이터 및 이전 프레임 데이터의 합산 비율인 데이터 머지 게인을 결정하여 시간적 확장부(250)에 제공한다. 현재 프레임 데이터 및 이전 프레임 데이터의 합산 비율은 프레임 간의 움직임에 따라 상이한 값으로 결정될 수 있다.
게인 결정부(230) 및 시간적 확장부(250)의 예시적인 구성은 도 8a 및 도 8b를 참조하여 후술된다.
도 3은 본 발명의 제3 실시예에 따른 촬상 장치를 도시한 도면이다.
도 3을 참조하면, 본 발명의 제3 실시예에 따른 촬상 장치는 픽셀 비닝부(320), 고역 통과 필터부(330), 해상도 보존 인자 결정부(340) 및 계산부(350)를 포함한다.
픽셀 비닝부(320)는 입력 영상 데이터(310)를 소정의 픽셀 크기로 픽셀 비닝한다. 픽셀 비닝부(320)는 입력 영상 데이터(310)의 해상도를 보존시킬 수 있다.
고역 통과 필터부(330)는 입력 영상 데이터(310)의 복수 개의 방향에 대한 고 주파수 성분들을 필터링한다. 복수 개의 방향에 대한 고 주파수 성분들을 필터링하는 것은 어떤 픽셀의 고주파 성분이 이미지에 의한 것인지 노이즈에 의한 것인지를 판단하기 위한 것이다. 일반적으로, 어떤 한 방향에 대해 큰 값의 고 주파수 성분을 갖는 것은 그 방향에 대한 에지(edge)의 존재를 추정하게 할 수 있다. 따라서, 예를 들어, 어떤 하나의 픽셀에 대하여 수평, 수직 및 대각 방향으로 필터링된 고 주파수 성분들이 모두 큰 값을 가진다면, 그 하나의 픽셀은 노이즈라고 추정할 수 있을 것이다.
해상도 보존 인자 결정부(340)는 고 주파수 성분들을 기초로 하여 해상도 보존 인자를 결정한다. 먼저, 해상도 보존 인자 결정부(340)는 어떤 픽셀의 고 주파수 성분이 이미지에 의한 것인지 노이즈에 의한 것인지를 판단하고, 그리고나서, 이미지에 의한 것이면 상기 고 주파수 성분을 유지하고, 노이즈에 관한 것이면 상 기 고 주파수 성분을 유지하지 않도록 인자 값을 결정한다. 그 예시적인 구성에 대해서는 도 4를 참조하여 후술된다.
계산부(350)는 픽셀 비닝된 입력 영상 데이터, 고 주파수 성분들 및 해상도 보존 인자를 기초로 하여 출력 영상 데이터(360)를 계산한다.
도 4는 본 발명의 제4 실시예에 따른 촬상 장치를 도시한 도면이다.
도 4를 참조하면, 본 발명의 제4 실시예에 따른 촬상 장치는 픽셀 비닝부(415), 고역 통과 필터부(420), 해상도 보존 인자 결정부(440), 게인 결정부(445) 및 계산부(450)를 포함한다.
픽셀 비닝부(415)는 입력 영상 데이터(410)를 소정의 픽셀 크기로 픽셀 비닝한다. 픽셀 비닝부(415)는 입력 영상 데이터(410)의 해상도를 보존시킨다.
고역 통과 필터부(420)는 수평 고역 통과 필터부(425), 수직 고역 통과 필터부(430) 및 대각 고역 통과 필터부(435)를 포함한다.
수평 고역 통과 필터부(425)는 입력 영상 데이터(410)의 수평 방향에 대한 제1 고 주파수 성분('H_hpf')을 필터링한다. 수직 고역 통과 필터부(430)는 입력 영상 데이터(410)의 수직 방향에 대한 제2 고 주파수 성분('V_hpf')을 필터링한다. 또한, 대각 고역 통과 필터부(435)는 입력 영상 데이터(410)의 대각선 방향에 대한 제3 고 주파수 성분('D_hpf')을 필터링한다.
다만, 변형된 실시예에서, 고역 통과 필터부(420)는 수평 고역 통과 필터부(425) 및 수직 고역 통과 필터부(430)와 같이 2개의 필터부 만을 포함하거나 또는 4개 이상의 필터부를 포함하는 것도 가능할 것이다.
해상도 보존 인자 결정부(440)는 제1 고 주파수 성분 및 제2 고 주파수 성분의 차이의 절대값(｜H_hpf - V_hpf｜), 제2 고 주파수 성분 및 제3 고 주파수 성분의 차이의 절대값(｜V_hpf - D_hpf｜), 및 제1 고 주파수 성분 및 제3 고 주파수 성분의 차이의 절대값(｜H_hpf - D_hpf｜)을 구한다. 그리고나서, 해상도 보존 인자 결정부(440)는 상기 3개의 절대값들 중 가장 큰 값인 최대 차이 값(Diff_Max)을 구한다. 즉,
Diff_Max = max(｜H_hpf - V_hpf｜,｜V_hpf - D_hpf｜,｜H_hpf - D_hpf｜)
다음으로, 해상도 보존 인자 결정부(440)는 위에서 계산된 Diff_Max를 기초로 해상도 보존 인자를 결정한다.
도 6은 본 발명의 실시예에 따라 해상도 보존 인자(resolution preserving factor)를 결정하기 위한 예시적인 그래프이다.
도 6을 참조하면, Diff_Max가 소정의 제2 쓰레숄드보다 작거나 같으면, 해상도 보존 인자는 소정의 최소 인자 값으로 결정된다. 만약 Diff_Max가 소정의 제3 쓰레숄드보다 크거나 같으면, 해상도 보존 인자는 소정의 최대 인자 값으로 결정된다. Diff_Max가 제2 쓰레숄드 및 제3 쓰레숄드의 사이에 있으면, 해상도 보존 인자는 최소 인자 값 및 최대 인자 값의 사이에서 최대 차이 값(즉, Diff_Max)의 증가에 따라 선형적으로 증가하는 값으로 결정된다. 이는 노이즈 성분은 일반적으로 작은 값의 Diff_Max를 가지고, 이미지 성분은 큰 값의 Diff_Max를 가지는 것에 착안된 것이다.
다시 도 4를 참조하면, 게인 결정부(445)는 입력 영상 데이터(410) 또는 입 력 영상 데이터(410)의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정한다. 픽셀 비닝 게인은 픽셀 비닝부(415)로부터 출력되는 데이터에 대한 게인 값이다.
입력 영상 데이터(410) 또는 입력 영상 데이터(410)의 휘도 값에 대한 픽셀 비닝 게인의 예시가 도 7에 나타나 있다. 게인 결정부(445)는 입력 영상 데이터(410)의 휘도 값이 제1 쓰레숄드(threshold)보다 낮으면 픽셀 비닝 게인을 최대 게인 값으로 결정한다. 입력 영상 데이터(410)의 휘도 값이 제1 쓰레숄드보다 커지면 게인 결정부(445)는 픽셀 비닝 게인을 최대 게인 값에서 선형적으로 감소하는 값으로 결정한다. 최대 게인 값 및 픽셀 비닝 게인의 감소 비율은 다양한 값으로 주어질 수 있다.
또한, 게인 결정부(230)는 제1 출력 영상 데이터(475)로부터 현재 프레임 데이터 및 이전 프레임 데이터의 합산 비율인 데이터 머지 게인을 결정하여 시간적 확장부(480)에 제공한다. 따라서, 공간적 영역 및 시간적 영역의 게인이 각각 조절될 수 있다.
계산부(450)는 제1 승산부(455), 제2 승산부(465), 제1 가산부(460) 및 제2 가산부(470)를 포함한다.
제1 승산부(455)는 픽셀 비닝부(415)에 의해 픽셀 비닝된 입력 영상 데이터(Data_BI) 및 게인 결정부(445)에 의해 결정된 픽셀 비닝 게인(Expansion_gain_S)의 곱을 계산한다.
제1 가산부(460)는 고 주파수 성분들의 합(SHF = H_hpf + V_hpf + D_hpf)을 계산한다.
제2 승산부(465)는 고 주파수 성분들의 합(SHF) 및 해상도 보존 인자 결정부(440)에 의해 결정된 해상도 보존 인자(RP_factor)의 곱을 계산한다.
제2 가산부(470)는 제1 승산부(455)의 출력 및 제2 승산부(465)의 출력의 합을 계산한다.
즉, 계산부(450)의 출력인 제1 출력 영상 데이터(Data_Out_S))(475)는 다음과 같다.
Data_Out_S = Data_BI * Expansion_gain_S + RP_factor * SHF.
제1 출력 영상 데이터(475)는 다시 시간적 확장부(480)로 입력될 수도 있다.
도 8a는 본 발명의 실시예에 따른 시간적 확장부의 예시를 구체적으로 도시한 도면이다.
시간적 확장부(810)는 움직임 검출부(820), 데이터 머지부(830), 제3 승산부(840) 및 제3 가산부(850)를 포함한다.
움직임 검출부(820)는 현재 프레임 데이터 및 이전 프레임 데이터 간의 움직임을 검출한다.
데이터 머지부(830)는 움직임 검출부(820)의 검출결과를 기초로 제1 출력 영상 데이터(475)의 현재 프레임 데이터 및 이전 프레임 데이터를 소정의 합산 비율로 합산한다.
도 8b는 본 발명의 실시예에 따라 현재 프레임 데이터 및 이전 프레임 데이터의 합산 비율을 결정하기 위한 예시적인 그래프이다.
도 8b를 참조하면, 현재 프레임 데이터(Data_curr)와 이전 프레임 데이 터(Data_prev)의 합산 비율은 움직임 검출부(820)에서 검출한 움직임 정도, 예를 들어, SAD(Sum Of Absolute Difference) 값에 기초하여 결정될 수 있다.
SAD 값은 현재 프레임 데이터(또는 그 휘도 값) 및 이전 프레임 데이터(또는 그 휘도 값) 간의 차이의 블록 단위의 합을 의미하는 것으로, 움직임의 정도를 파악하는데 사용될 수 있다. 따라서, SAD 값이 클수록 움직임의 정도가 크며 SAD 값이 작을수록 움직임의 정도가 작은 것으로 판단된다.
SAD 값이 제5 쓰레숄드보다 크면, 현재 프레임의 게인(Curr_gain)은 "1"로 이전 프레임의 게인(Prev_gain)은 "0"으로 설정되고, SAD 값이 제4 쓰레숄드보다 작으면, 현재 프레임의 게인은 "0"으로, 이전 프레임의 게인은 "1"로 설정된다. 다시 말해, SAD 값이 크면, 데이터 머지부(830)의 출력은 현재 프레임 데이터를 위주로 하여 결정되고, SAD값이 작으면, 데이터 머지부(830)의 출력은 이전 프레임 데이터를 위주로 하여 결정된다.
간략하게, 데이터 머지부(830)의 출력(Data_merge)은 다음과 같이 표현될 수 있다. 즉, Data_merge = Curr_gain * Data_curr + Prev_gain * Data_prev.
다시 도 8a를 참조하면, 게인 결정부(445)는 데이터 머지 게인(Expansion_gain_T)을 결정하여 제3 승산부(840)으로 출력한다. 데이터 머지 게인은 입력 영상 데이터(410) 또는 입력 영상 데이터(410)의 휘도 값에 따라 결정되는 것으로, 이하에서 설명될 제2 출력 영상 데이터(860)의 계산에 사용된다. 데이터 머지 게인은 도 7을 참조하여 설명된 픽셀 비닝 게인과 유사한 방법으로 결정될 수 있다.
제3 승산부(840)는 데이터 머지 게인 및 데이터 머지부(830)의 출력의 곱을 계산한다.
제3 가산부(850)는 제3 승산부(840)의 출력 및 현재 프레임 데이터(Data_curr)의 합을 계산한다.
결과적으로, 제2 출력 영상 데이터(Data_Out)(860)은 다음과 같이 표현될 수 있다. 즉, Data_Out = Data_curr + Expansion_gain_T * Data_merge.
도 9는 본 발명의 제1 실시예에 따른 촬상 장치의 감도 개선 방법의 흐름도이다.
단계 910에서는, 입력 영상 데이터가 소정의 픽셀 크기로 픽셀 비닝(pixel binning)된다. 본 발명에서 픽셀 비닝은 입력 영상 데이터의 해상도를 보존할 수 있다.
단계 920에서는, 입력 영상 데이터 또는 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인이 결정된다. 픽셀 비닝 게인은 도 7을 참조하여 전술되었으므로 더 이상의 설명은 생략한다.
단계 930에서는, 픽셀 비닝된 입력 영상 데이터 및 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터가 계산된다.
도 10은 본 발명의 제2 실시예에 따른 촬상 장치의 감도 개선 방법의 흐름도이다.
단계 1010에서는, 입력 영상 데이터가 소정의 픽셀 크기로 픽셀 비닝된다.
단계 1020에서는, 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성 분들이 필터링된다. 예를 들어, 입력 영상 데이터의 수평 방향에 대한 제1 고 주파수 성분, 입력 영상 데이터의 수직 방향에 대한 제2 고 주파수 성분 및 입력 영상 데이터의 대각선 방향에 대한 제3 고 주파수 성분이 필터링될 수 있다.
단계 1030에서는, 고 주파수 성분들을 기초로 하여 해상도 보존 인자가 결정된다. 해상도 보존 인자는 도 6을 참조하여 전술되었으므로 더 이상의 설명은 생략한다.
단계 1040에서는, 픽셀 비닝된 입력 영상 데이터, 고 주파수 성분들, 및 해상도 보존 인자를 기초로 하여 출력 영상 데이터가 계산된다.
도 11은 본 발명의 제3 실시예에 따른 촬상 장치의 감도 개선 방법의 흐름도이다.
단계 1110에서는, 입력 영상 데이터가 소정의 픽셀 크기로 픽셀 비닝된다.
단계 1120에서는, 입력 영상 데이터 또는 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인이 결정된다.
단계 1130에서는, 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성분들이 필터링된다.
단계 1140에서는, 고 주파수 성분들을 기초로 하여 해상도 보존 인자가 결정된다.
단계 1150에서는, 픽셀 비닝된 입력 영상 데이터, 픽셀 비닝 게인, 고 주파수 성분들 및 해상도 보존 인자를 기초로 하여 출력 영상 데이터가 계산된다.
단계 1160에서는, 출력 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초로 하여 출력 영상 데이터의 다이내믹 레인지가 확장된다.
또한, 본 발명은 컴퓨터로 판독가능한 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터로 판독가능한 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터로 판독가능한 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상술한 내용은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 실시예들을 만들어 내는 것이 가능하다. 그러므로, 상기 실시예들은 본 발명을 한정하는 것으로 해석되어서는 안 되고, 청구범위에 기재되어 있는 발명의 특징들의 범위 내에서 자유로이 변경될 수도 있다.
도 1은 본 발명의 제1 실시예에 따른 촬상 장치를 도시한 도면이다.
도 2는 본 발명의 제2 실시예에 따른 촬상 장치를 도시한 도면이다.
도 3은 본 발명의 제3 실시예에 따른 촬상 장치를 도시한 도면이다.
도 4는 본 발명의 제4 실시예에 따른 촬상 장치를 도시한 도면이다.
도 5a 내지 도 5e는 입력 영상 데이터의 해상도를 보존하기 위한 픽셀 비닝을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 실시예에 따라 해상도 보존 인자(resolution preserving factor)를 결정하기 위한 예시적인 그래프이다.
도 7은 본 발명의 실시예에 따라 픽셀 비닝 게인(pixel binning gain)을 결정하기 위한 예시적인 그래프이다.
도 8a는 본 발명의 실시예에 따른 시간적 확장부의 예시를 구체적으로 도시한 도면이다.
도 8b는 본 발명의 실시예에 따라 현재 프레임 데이터 및 이전 프레임 데이터의 합산 비율을 결정하기 위한 예시적인 그래프이다.
도 9는 본 발명의 제1 실시예에 따른 촬상 장치의 감도 개선 방법의 흐름도이다.
도 10은 본 발명의 제2 실시예에 따른 촬상 장치의 감도 개선 방법의 흐름도이다.
도 11은 본 발명의 제3 실시예에 따른 촬상 장치의 감도 개선 방법의 흐름도 이다.

Claims (27)

  1. 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 픽셀 비닝부;
    상기 입력 영상 데이터 또는 상기 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정하는 게인 결정부; 및
    상기 픽셀 비닝된 입력 영상 데이터 및 상기 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터를 계산하는 계산부를 포함하는 것을 특징으로 하는 촬상 장치.
  2. 제1항에 있어서,
    상기 픽셀 비닝부는 상기 입력 영상 데이터의 해상도를 보존시키는 것을 특징으로 하는 촬상 장치.
  3. 제1항에 있어서,
    상기 게인 결정부는
    상기 입력 영상 데이터의 휘도 값이 소정의 제1 쓰레숄드(threshold)보다 낮으면 상기 픽셀 비닝 게인을 소정의 최대 게인 값으로 결정하고, 상기 제1 쓰레숄드보다 높아질수록 상기 픽셀 비닝 게인을 상기 최대 게인 값에서 선형적으로 낮아지는 값으로 결정하는 것을 특징으로 하는 촬상 장치.
  4. 제1항에 있어서,
    상기 계산부는 상기 픽셀 비닝된 입력 영상 데이터에 상기 픽셀 비닝 게인을 곱함으로써 상기 출력 영상 데이터를 계산하는 것을 특징으로 하는 촬상 장치.
  5. 제1항에 있어서,
    상기 출력 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초로 하여 상기 출력 영상 데이터의 다이내믹 레인지를 확장하는 시간적 확장부를 더 포함하는 것을 특징으로 하는 촬상 장치.
  6. 제5항에 있어서,
    상기 게인 결정부는 상기 시간적 확장부의 데이터 머지 게인을 결정하여, 상기 시간적 확장부에 제공하는 것을 특징으로 하는 촬상 장치.
  7. 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 픽셀 비닝부;
    상기 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성분들을 필터링하는 고역 통과 필터부;
    상기 고 주파수 성분들을 기초로 하여 해상도 보존 인자를 결정하는 해상도 보존 인자 결정부; 및
    상기 픽셀 비닝된 입력 영상 데이터, 상기 고 주파수 성분들, 및 상기 해상 도 보존 인자를 기초로 하여 출력 영상 데이터를 계산하는 계산부를 포함하는 것을 특징으로 하는 촬상 장치.
  8. 제7항에 있어서,
    상기 픽셀 비닝부는 상기 입력 영상 데이터의 해상도를 보존시키는 것을 특징으로 하는 촬상 장치.
  9. 제7항에 있어서,
    상기 고역 통과 필터부는
    상기 입력 영상 데이터의 수평 방향에 대한 제1 고 주파수 성분을 필터링하는 수평 고역 통과 필터부; 및
    상기 입력 영상 데이터의 수직 방향에 대한 제2 고 주파수 성분을 필터링하는 수직 고역 통과 필터부를 포함하는 것을 특징으로 하는 촬상 장치.
  10. 제9항에 있어서,
    상기 고역 통과 필터부는 상기 입력 영상 데이터의 대각선 방향에 대한 제3 고 주파수 성분을 필터링하는 대각 고역 통과 필터부를 더 포함하는 것을 특징으로 하는 촬상 장치.
  11. 제10항에 있어서,
    상기 해상도 보존 인자 결정부는
    상기 제1 및 제2 고 주파수 성분들의 차이, 상기 제2 및 제3 고 주파수 성분들의 차이, 및 상기 제1 및 제3 고 주파수 성분들의 차이의 각각의 절대값들 중 최대 차이 값을 구하고,
    상기 최대 차이 값이 소정의 제2 쓰레숄드보다 작거나 같으면, 상기 해상도 보존 인자를 소정의 최소 인자 값으로 결정하고,
    상기 최대 차이 값이 소정의 제3 쓰레숄드보다 크거나 같으면, 상기 해상도 보존 인자를 소정의 최대 인자 값으로 결정하며,
    상기 최대 차이 값이 상기 제2 쓰레숄드 및 상기 제3 쓰레숄드의 사이에 있으면, 상기 해상도 보존 인자를 상기 최소 인자 값 및 상기 최대 인자 값의 사이에서 상기 최대 차이 값의 증가와 함께 선형적으로 증가하는 값으로 결정하는 것을 특징으로 하는 촬상 장치.
  12. 제11항에 있어서,
    상기 계산부는 상기 고 주파수 성분들의 합에 상기 해상도 보존 인자를 곱하고, 상기 픽셀 비닝된 입력 영상 데이터를 더함으로써 상기 출력 영상 데이터를 계산하는 것을 특징으로 하는 촬상 장치.
  13. 제7항에 있어서,
    상기 출력 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초 로 하여 상기 출력 영상 데이터의 다이내믹 레인지를 확장하는 시간적 확장부를 더 포함하는 것을 특징으로 하는 촬상 장치.
  14. 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계;
    상기 입력 영상 데이터 또는 상기 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정하는 단계; 및
    상기 픽셀 비닝된 입력 영상 데이터 및 상기 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  15. 제14항에 있어서,
    상기 픽셀 비닝은 상기 입력 영상 데이터의 해상도를 보존시키는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  16. 제14항에 있어서,
    상기 픽셀 비닝 게인은, 상기 입력 영상 데이터의 휘도 값이 소정의 제1 쓰레숄드(threshold)보다 낮으면 소정의 최대 게인 값으로 결정되고, 상기 입력 영상 데이터의 휘도 값이 상기 제1 쓰레숄드보다 높아질수록 상기 최대 게인 값에서 선형적으로 낮아지는 값으로 결정되는 것을 특징으로 하는 촬상 장치의 감도 개선 방 법.
  17. 제14항에 있어서,
    상기 출력 영상 데이터는 상기 픽셀 비닝된 입력 영상 데이터에 상기 픽셀 비닝 게인을 곱함으로써 계산되는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  18. 제14항에 있어서,
    상기 출력 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초로 하여 상기 출력 영상 데이터의 다이내믹 레인지를 확장하는 단계를 더 포함하는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  19. 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계;
    상기 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성분들을 필터링하는 단계;
    상기 고 주파수 성분들을 기초로 하여 해상도 보존 인자를 결정하는 단계; 및
    상기 픽셀 비닝된 입력 영상 데이터, 상기 고 주파수 성분들, 및 상기 해상도 보존 인자를 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  20. 제19항에 있어서,
    상기 픽셀 비닝은 상기 입력 영상 데이터의 해상도를 보존시키는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  21. 제19항에 있어서,
    상기 고 주파수 성분들을 필터링하는 단계는,
    상기 입력 영상 데이터의 수평 방향에 대한 제1 고 주파수 성분을 필터링하는 단계; 및
    상기 입력 영상 데이터의 수직 방향에 대한 제2 고 주파수 성분을 필터링하는 단계를 포함하는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  22. 제21항에 있어서,
    상기 고 주파수 성분들을 필터링하는 단계는 상기 입력 영상 데이터의 대각선 방향에 대한 제3 고 주파수 성분을 필터링하는 단계를 더 포함하는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  23. 제22항에 있어서,
    상기 해상도 보존 인자를 결정하는 단계는,
    상기 제1 및 제2 고 주파수 성분들의 차이, 상기 제2 및 제3 고 주파수 성분들의 차이, 및 상기 제1 및 제3 고 주파수 성분들의 차이의 각각의 절대값들 중 최대 차이 값을 구하는 단계;
    상기 최대 차이 값이 소정의 제2 쓰레숄드보다 작거나 같으면, 상기 해상도 보존 인자를 소정의 최소 인자 값으로 결정하는 단계;
    상기 최대 차이 값이 소정의 제3 쓰레숄드보다 크거나 같으면, 상기 해상도 보존 인자를 소정의 최대 인자 값으로 결정하는 단계;
    상기 최대 차이 값이 상기 제2 쓰레숄드 및 상기 제3 쓰레숄드의 사이에 있으면, 상기 해상도 보존 인자를 상기 최소 인자 값 및 상기 최대 인자 값의 사이에서 상기 최대 차이 값의 증가와 함께 선형적으로 증가하는 값으로 결정하는 단계를 포함하는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  24. 제23항에 있어서,
    상기 출력 영상 데이터는 상기 고 주파수 성분들의 합에 상기 해상도 보존 인자를 곱하고, 상기 픽셀 비닝된 입력 영상 데이터를 더함으로써 계산되는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  25. 제19항에 있어서,
    상기 출력 영상 데이터의 현재 프레임 데이터 및 이전 프레임 데이터를 기초로 하여 상기 출력 영상 데이터의 다이내믹 레인지를 확장하는 단계를 더 포함하는 것을 특징으로 하는 촬상 장치의 감도 개선 방법.
  26. 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계;
    상기 입력 영상 데이터 또는 상기 입력 영상 데이터의 휘도 값을 기초로 하여 픽셀 비닝 게인을 결정하는 단계; 및
    상기 픽셀 비닝된 입력 영상 데이터 및 상기 픽셀 비닝 게인을 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 촬상 장치의 감도 개선 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
  27. 입력 영상 데이터를 소정의 픽셀 크기로 픽셀 비닝(pixel binning)하는 단계;
    상기 입력 영상 데이터의 복수 개의 방향에 대한 고 주파수 성분들을 필터링하는 단계;
    상기 고 주파수 성분들을 기초로 하여 해상도 보존 인자를 결정하는 단계; 및
    상기 픽셀 비닝된 입력 영상 데이터, 상기 고 주파수 성분들, 및 상기 해상도 보존 인자를 기초로 하여 출력 영상 데이터를 계산하는 단계를 포함하는 촬상 장치의 감도 개선 방법을 실행하기 위한 프로그램을 저장한 컴퓨터로 판독 가능한 기록 매체.
KR1020070069212A 2007-07-10 2007-07-10 촬상 장치 및 촬상 장치의 감도 개선 방법 KR20090005843A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020070069212A KR20090005843A (ko) 2007-07-10 2007-07-10 촬상 장치 및 촬상 장치의 감도 개선 방법
US12/020,597 US20090016625A1 (en) 2007-07-10 2008-01-28 Imaging apparatus and method of improving sensitivity of the same
PCT/KR2008/001364 WO2009008580A1 (en) 2007-07-10 2008-03-11 Imaging apparatus and method of improving sensitivity of the same
CN2008800235160A CN101690170B (zh) 2007-07-10 2008-03-11 成像设备和改善其灵敏度的方法
EP08723401A EP2165527A4 (en) 2007-07-10 2008-03-11 IMAGING APPARATUS AND METHOD FOR ENHANCING SENSITIVITY THEREOF
JP2008169456A JP2009021999A (ja) 2007-07-10 2008-06-27 撮像装置及び撮像装置の感度改善方法
US14/486,645 US20150002710A1 (en) 2007-07-10 2014-09-15 Imaging apparatus and method of improving sensitivity of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070069212A KR20090005843A (ko) 2007-07-10 2007-07-10 촬상 장치 및 촬상 장치의 감도 개선 방법

Publications (1)

Publication Number Publication Date
KR20090005843A true KR20090005843A (ko) 2009-01-14

Family

ID=40228738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070069212A KR20090005843A (ko) 2007-07-10 2007-07-10 촬상 장치 및 촬상 장치의 감도 개선 방법

Country Status (6)

Country Link
US (2) US20090016625A1 (ko)
EP (1) EP2165527A4 (ko)
JP (1) JP2009021999A (ko)
KR (1) KR20090005843A (ko)
CN (1) CN101690170B (ko)
WO (1) WO2009008580A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508637B2 (en) 2009-07-14 2013-08-13 Samsung Electronics Co., Ltd. Image sensor and image processing method to acquire a high-sensitivity image

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2959320B1 (fr) * 2010-04-26 2013-01-04 Trixell Detecteur de rayonnement electromagnetique a selection de gamme de gain
KR101198249B1 (ko) 2010-07-07 2012-11-07 에스케이하이닉스 주식회사 이미지센서의 컬럼 회로 및 픽셀 비닝 회로
CN102256047B (zh) * 2011-07-28 2013-06-19 北京空间机电研究所 一种基于滤波的2×2数字binning***
KR101348220B1 (ko) 2013-07-23 2014-01-06 (주)나임기술 영상 조도 향상 방법 및 그 장치
JP2015115922A (ja) * 2013-12-16 2015-06-22 オリンパス株式会社 撮像装置および撮像方法
CN105450909B (zh) * 2014-06-27 2019-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN111372008B (zh) * 2020-03-13 2021-06-25 深圳市睿联技术股份有限公司 基于视频内容的亮度自动增益调节方法及摄像机
KR20220092141A (ko) * 2020-12-24 2022-07-01 삼성전자주식회사 열형 적외선 검출 장치

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517242A (en) * 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6801258B1 (en) * 1998-03-16 2004-10-05 California Institute Of Technology CMOS integration sensor with fully differential column readout circuit for light adaptive imaging
AU3096199A (en) * 1998-03-16 1999-10-11 California Institute Of Technology Cmos integration sensor with fully differential column readout circuit for lightadaptive imaging
US6765613B1 (en) * 1998-07-22 2004-07-20 Micron Technology, Inc. Low light sensor signal to noise improvement
US6593961B1 (en) * 1998-10-30 2003-07-15 Agilent Technologies, Inc. Test efficient method of classifying image quality of an optical sensor using three categories of pixels
JP4086520B2 (ja) * 2001-03-19 2008-05-14 株式会社リコー 多値画像の符号化及び復号化方法並びに装置
JP4150844B2 (ja) * 2001-07-05 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置および画像処理プログラム
JP4042411B2 (ja) * 2002-01-11 2008-02-06 株式会社日立製作所 データ記録装置、データ再生装置、データ記録再生方法及び撮像装置
US6876778B2 (en) * 2002-03-11 2005-04-05 Sunplus Technology Co., Ltd. Edge enhancement method and apparatus in digital image scalar-up circuit
DE10214809A1 (de) * 2002-04-04 2003-10-23 Wolf Gmbh Richard Festkörpervideokamera und Helligkeitsregelung dafür
US20030223539A1 (en) * 2002-05-31 2003-12-04 Granfors Paul R. Method and apparatus for acquiring and storing multiple offset corrections for amorphous silicon flat panel detector
DE10236204A1 (de) * 2002-08-07 2004-03-04 Micronas Gmbh Gradientengestütztes Verfahren zur Bildpunktinterpolation
US6909459B2 (en) * 2002-08-21 2005-06-21 Alpha Innotech Corporation Method of and apparatus for extending signal ranges of digital images
US20040141079A1 (en) * 2003-01-10 2004-07-22 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device and camera using the same
US7257278B2 (en) * 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
US20050012968A1 (en) * 2003-07-14 2005-01-20 Dialog Semiconductor Pixel with variable resolution during exposure
US7154075B2 (en) * 2003-11-13 2006-12-26 Micron Technology, Inc. Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit
JP4193768B2 (ja) * 2004-07-16 2008-12-10 ソニー株式会社 データ処理方法並びに物理量分布検知の半導体装置および電子機器
US7426314B2 (en) * 2004-07-30 2008-09-16 Hewlett-Packard Development Company, L.P. Adjusting pixels by desired gains and factors
US7343047B2 (en) * 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
US20060065844A1 (en) * 2004-09-30 2006-03-30 Zelakiewicz Scott S Systems and methods for dynamic optimization of image
US8482618B2 (en) * 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
US7365299B2 (en) * 2005-05-09 2008-04-29 Sensors Unlimited, Inc. Method and apparatus for providing flexible photodetector binning
US7705900B2 (en) * 2005-06-01 2010-04-27 Eastman Kodak Company CMOS image sensor pixel with selectable binning and conversion gain
JP2007053691A (ja) * 2005-08-19 2007-03-01 Micron Technol Inc サブｌｓｂを用いた拡張デジタルデータ路構造
JP4775052B2 (ja) * 2006-03-17 2011-09-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20080158396A1 (en) * 2006-08-07 2008-07-03 Transchip, Inc. Image Signal Processor For CMOS Image Sensors
US8213676B2 (en) * 2006-12-20 2012-07-03 Ge Inspection Technologies Lp Inspection apparatus method and apparatus comprising motion responsive control
KR20080076004A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 촬상장치 및 그 다이나믹 레인지 확장방법
US7929807B2 (en) * 2007-02-27 2011-04-19 Phase One A/S Colour binning of a digital image to reduce the image resolution

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8508637B2 (en) 2009-07-14 2013-08-13 Samsung Electronics Co., Ltd. Image sensor and image processing method to acquire a high-sensitivity image

Also Published As

Publication number Publication date
CN101690170B (zh) 2012-09-26
EP2165527A1 (en) 2010-03-24
US20090016625A1 (en) 2009-01-15
JP2009021999A (ja) 2009-01-29
WO2009008580A1 (en) 2009-01-15
EP2165527A4 (en) 2010-11-17
US20150002710A1 (en) 2015-01-01
CN101690170A (zh) 2010-03-31

Similar Documents

Publication Publication Date Title
KR20090005843A (ko) 촬상 장치 및 촬상 장치의 감도 개선 방법
KR100721664B1 (ko) 이미지 센서의 플리커 검출 회로 및 방법
JP3730419B2 (ja) 映像信号処理装置
US8773593B2 (en) Noise reduction filter circuitry and method
US20080192131A1 (en) Image pickup apparatus and method for extending dynamic range thereof
US20100039539A1 (en) Image processing apparatus and image processing method
KR20080082902A (ko) 화상 처리 장치, 촬상 장치, 및 화상 처리 방법, 및 컴퓨터프로그램
KR20080095084A (ko) 영상 잡음 제거 장치 및 방법
WO2011118329A1 (en) Image processing apparatus and control method for image processing apparatus
JP2007150770A (ja) 撮像装置およびその雑音低減方法
JP5520833B2 (ja) 撮像方法および撮像装置
JP4328115B2 (ja) 固体撮像装置
KR101379256B1 (ko) 노이즈에 의한 신호 왜곡 보상 장치 및 그 방법
JP6652301B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010200109A (ja) 撮像装置、制御方法、及びプログラム
JP2008109639A (ja) 撮像装置および撮像方法
JP5411322B2 (ja) 撮像装置および撮像方法
JP2009100283A (ja) 撮像装置及び撮像装置の制御方法
JP5500702B2 (ja) 撮像方法および撮像装置
JP2001189878A (ja) 撮像装置
JP5395710B2 (ja) 撮像装置
JP2006180310A (ja) 撮像装置及び画像合成方法
JP5784669B2 (ja) 撮像装置
CN114697558A (zh) 一种抑制宽动态范围图像频闪的方法
JP2004159055A (ja) ノイズ抑圧装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application