KR100827238B1 - 고화질 영상을 위한 영상 표시 방법 및 장치 - Google Patents

고화질 영상을 위한 영상 표시 방법 및 장치 Download PDF

Info

Publication number
KR100827238B1
KR100827238B1 KR1020060078872A KR20060078872A KR100827238B1 KR 100827238 B1 KR100827238 B1 KR 100827238B1 KR 1020060078872 A KR1020060078872 A KR 1020060078872A KR 20060078872 A KR20060078872 A KR 20060078872A KR 100827238 B1 KR100827238 B1 KR 100827238B1
Authority
KR
South Korea
Prior art keywords
sub
sensing
image
exposure
module
Prior art date
Application number
KR1020060078872A
Other languages
English (en)
Other versions
KR20080017597A (ko
Inventor
성기영
조희근
박두식
송현철
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020060078872A priority Critical patent/KR100827238B1/ko
Priority to US11/889,447 priority patent/US20080043114A1/en
Publication of KR20080017597A publication Critical patent/KR20080017597A/ko
Application granted granted Critical
Publication of KR100827238B1 publication Critical patent/KR100827238B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

고화질 영상을 위한 영상 표시 방법 및 장치가 제공된다.
본 발명의 실시예에 따른 영상 표시 장치는, 복수의 렌즈 영역에 대응하는 복수의 서브 센싱 영역을 가지는 광감지 모듈, 상기 각 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정하는 노출 조절 모듈, 상기 각 서브 센싱 영역을 통해 획득된 복수의 원 이미지를 각각 보간하여, 상기 각 원 이미지에 대한 중간 이미지를 각각 생성하는 중간 이미지 생성 모듈, 및 상기 각 중간 이미지를 상기 원 이미지의 획득 순서에 따라 재배치하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함한다.
이미지 센서 모듈(Image Sensor Module; ISM), 광역역광보정(Wide Dynamic Range; WDR), 고속 촬영

Description

고화질 영상을 위한 영상 표시 방법 및 장치{Apparatus and method for supporting high quality image}
도 1은 본 발명의 실시예에 따른 영상 표시 장치의 구성을 도시한 블록도이다.
도 2는 도 1의 카메라 모듈의 구조를 도시한 블록도이다.
도 3은 도 2의 카메라 모듈에 대한 사시도이다.
도 4는 도 2의 광감지 모듈을 구성하는 단위 픽셀에 대한 단면도이다.
도 5는 서로 다른 노출 시작 시점을 갖는 복수의 서브 센싱 영역을 통해 전하가 충전되는 모습을 예시한 것이다.
도 6은 서로 다른 노출 시간을 갖는 복수의 서브 센싱 영역을 통해 전하가 충전되는 모습을 예시한 것이다.
도 7은 도 1의 이미지 처리 모듈의 구조를 도시한 블록도이다.
도 8a는 도 1의 영상 표시 장치에 의한 고속 촬영 방법을 도시한 흐름도이다.
도 8b는 도 8a의 방법에 의해 얻어지는 이미지들을 차례로 도시한 것이다.
도 9a는 도 1의 영상 표시 장치에서, 각 서브 센싱 영역의 노출 시간이 조절되는 경우의 동작 과정을 도시한 흐름도이다.
도 9b는 도 9a의 방법에 의해 얻어지는 이미지들을 차례로 도시한 것이다.
도 10a는 도 1의 영상 표시 장치에서, 각 서브 센싱 영역의 이득이 조절되는 경우의 동작 과정을 도시한 흐름도이다.
도 10b는 도 10a의 방법에 의해 얻어지는 이미지들을 차례로 도시한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 영상 표시 장치 200: 카메라 모듈
300: 렌즈 모듈 500: 이미지 센서 모듈
700, 710, 720: 최종 이미지 800: 이미지 처리 모듈
810: 입력 모듈 820: 중간 이미지 생성 모듈
830: 최종 이미지 생성 모듈 840: 필터 모듈
본 발명은 영상 표시 방법 및 장치에 관한 것으로, 보다 상세하게는 고화질 영상을 얻을 수 있는 영상 표시 방법 및 장치에 관한 것이다.
디지털 카메라, 카메라 폰 등과 같이 카메라 모듈을 포함하는 휴대용 디지털 장치들의 보급이 확산되고 있다. 카메라 모듈은 일반적으로 렌즈 및 이미지 센서를 포함하여 구성된다. 여기서, 렌즈는 피사체에서 반사된 빛을 모으는 역할을 하며, 이미지 센서는 렌즈에 의해 모아진 빛을 검지(檢知)하여 전기적인 영상신호로 변환하는 역할을 한다. 이미지 센서는 크게 촬상관(撮像管)과 고체이미지센서로 나눌 수 있으며, 고체이미지센서의 대표적인 예로써 전하결합소자(Charge Coupled Device; CCD)와, 금속산화물반도체(Metal Oxide Silicon; MOS)를 예로 들 수 있다.
이러한 카메라 모듈을 통해 촬영되는 동영상의 화질은 프레임율에 의해 좌우된다고 할 수 있다. 프레임율이란 초당 얻을 수 있는 프레임의 수를 말하는 것으로, 프레임율이 높을수록 촬영대상의 움직임을 세심하게 표현할 수 있다.
그런데 종래의 카메라 모듈은 이미지 센서의 감도(sensitvity)에 한계가 있기 때문에 동영상 촬영시 높은 프레임율(Frame Per Second; FPS)을 얻는데 한계가 있다. 카메라 모듈의 이미지 센서를 고감도 이미지 센서로 대체하면, 높은 프레임율을 얻을 수는 있으나, 이는 비용 상승의 원인이 된다.
한편, 사용자에게 보다 나은 화질의 영상을 제공하기 위한 기술로서, 광역역광보정(Wide Dynamic Range; WDR) 기술 및 손떨림 보정 기술 등에 대한 연구가 지속적으로 수행되어오고 있다. 광역역광보정이란, 일반적인 역광보정 보다 발전된 기술로서, 조명이 밝은 곳이나 어두운 곳을 촬영할 때에도 사람의 눈으로 보는 것과 같은 영상을 얻을 수 있도록 해준다. 그리고 손떨림 보정이란, 촬영시 사용자의 손이 떨리더라도 이를 보정하여 보다 나은 화질의 영상을 얻을 수 있도록 한다.
광역역광보정 기능이나 손떨림 방지 기능을 구현하기 위해서는 복수개의 동일한 영상이 필요하다. 때문에 영상 촬영시, 한 번의 촬영이 아닌 여러 번의 촬영이 요구된다. 그러나 촬영시 환경 조건은 시간에 따라 변할 수 있기 때문에 셔터 속도를 높여 여러 번 촬영한다고 하더라도, 동일한 영상을 획득하는데에는 한계가 있다.
본 발명의 목적은 고감도 센서 없이도 고속 연속 촬영이 가능한 영상 표시 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 한 번의 촬영으로도 휘도가 서로 다른 복수의 이미지를 동시에 얻을 수 있는 영상 표시 방법 및 장치를 제공하는 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 표시 장치는, 복수의 렌즈 영역에 대응하는 복수의 서브 센싱 영역을 가지는 광감지 모듈, 상기 각 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정하는 노출 조절 모듈, 상기 각 서브 센싱 영역을 통해 획득된 복수의 원 이미지를 각각 보간하여, 상기 각 원 이미지에 대한 중간 이미지를 각각 생성하는 중간 이미지 생성 모듈, 및 상기 각 중간 이미지를 상기 원 이미지의 획득 순서에 따라 재배치하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함한다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 표시 방법은, 복수의 렌즈 영역에 대응하는 복수의 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정하는 (a) 단계, 상기 각 서브 센싱 영역을 통해 복수의 원 이미지를 획득하는 (b) 단계, 상기 획득된 복수의 원 이미지를 각각 보간하여, 상기 각 원 이미지 에 대한 중간 이미지를 각각 생성하는 (c) 단계, 및 상기 각 중간 이미지를 상기 원 이미지의 획득 순서에 따라 재배치하여 최종 이미지를 생성하는 (d) 단계를 포함한다.
상기 다른 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 표시 장치는, 복수의 렌즈에 각각 대응하는 복수의 서브 센싱 영역으로 이루어지는 센싱 영역을 포함하는 광감지 모듈, 상기 각 서브 센싱 영역의 노출 조건을 서로 다르게 설정하는 노출 조절 모듈, 상기 각 서브 센싱 영역을 통해 동시에 획득된 휘도가 서로 다른 복수의 원 이미지를 각각 보간하여 복수의 중간 이미지를 생성하는 중간 이미지 생성 모듈, 및 상기 각 중간 이미지의 픽셀이 갖는 픽셀 정보에 근거하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함한다.
상기 다른 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 표시 방법은, 복수의 렌즈에 각각 대응하는 복수의 서브 센싱 영역으로 이루어지는 센싱 영역에서 상기 각 서브 센싱 영역의 노출 조건을 서로 다르게 설정하는 (a)단계, 상기 각 서브 센싱 영역을 통해 휘도가 서로 다른 복수의 원 이미지를 획득하는 (b)단계, 상기 복수의 원 이미지를 각각 보간하여 복수의 중간 이미지를 생성하는 (c)단계, 및 상기 각 중간 이미지의 픽셀이 갖는 픽셀 정보에 근거하여 최종 이미지를 생성하는 (d)단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있으며, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 영상 표시 방법 및 장치를 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 영상 표시 장치(100)의 구조를 도시한 블록도이다. 도시된 영상 표시 장치(100)는 입사되는 빛을 집광하여 복수의 원 이미지를 생성하는 카메라 모듈(200), 카메라 모듈(200)에서 제공된 복수의 원 이미지를 기반으로 하여 최종 이미지를 생성하는 이미지 처리 모듈(800) 및 이미지 처리 모듈(800)에서 제공된 최종 이미지를 디스플레이하는 디스플레이 모듈(900)을 포함한다.
카메라 모듈(200)은 입사되는 빛을 집광하여 휘도가 같은 서로 다른 복수의 원 이미지를 생성하거나, 휘도가 서로 다른 복수의 원 이미지를 생성한다. 카메라 모듈(200)에 의해 생성된 복수의 원 이미지는 후술될 이미지 처리 모듈(800)로 제공된다. 카메라 모듈(200)에 대한 보다 구체적인 설명은 도 2 내지 도 6을 참조하여 후술하기로 한다.
이미지 처리 모듈(800)은 카메라 모듈(200)로부터 제공받은 복수의 원 이미지를 처리하여 최종 이미지를 생성한다. 이미지 처리 모듈(800)에 대한 보다 구체 적인 설명은 도 7을 참조하여 후술하기로 한다.
디스플레이 모듈(900)은 이미지 처리 모듈(800)에 의해 생성된 최종 이미지를 디스플레이한다. 이러한 디스플레이 모듈(900)은 예를 들어, 평판 디스플레이, 터치스크린 등의 형태로 구현될 수 있으나 이에 한정되지는 않는다.
도 2는 본 발명의 실시예에 따른 카메라 모듈(200)의 구성을 도시한 블록도이다. 도시된 카메라 모듈(200)은 렌즈 모듈(300) 및 이미지 센서 모듈(500)을 포함한다.
렌즈 모듈(300)은 입사되는 빛을 집광하는 복수의 렌즈(310, 320, 330, 340)를 포함할 수 있다. 여기서, 렌즈의 개수는 제한되지 않으며, 복수의 렌즈(310, 320, 330, 340)는 동일 평면 상에 다양한 형태로 배치될 수 있다. 예를 들면, 복수의 렌즈(310, 320, 330, 340)는 가로 방향 또는 세로 방향으로 일렬로 배치되거나, 가로×세로의 행렬 형태로 배치될 수 있다. 이하, 설명의 편의상 렌즈 모듈(300)이 4개의 렌즈를 포함하며, 4개의 렌즈가 가로×세로로 각각 2×2의 형태로 배치된 경우를 실시예로 하여 설명하도록 한다.
이미지 센서 모듈(500)은 각 렌즈에 의해 집광된 빛을 감지하여 복수의 원 이미지를 생성한다. 이를 위하여 이미지 센서 모듈(500)은 광감지 모듈(51), 디코더(53), 변환 모듈(54) 및 노출 조절 모듈(52)을 포함하여 구성된다.
광감지 모듈(51)은 렌즈 모듈(300)에 의해 집광된 빛을 감지하여 전기적인 신호로 변환하고, 이를 다시 전압 신호로 변환한다. 광감지 모듈(51)에 대한 보다 상세한 설명을 위해 도 4를 참조하기로 한다. 도 4는 광감지 모듈(51)의 단위 픽 셀에 대한 단면도이다.
도 4를 참조하면, 기판(550) 위에는 수광소자(560) 예를 들면, 포토다이오드(Photo Diode; PD)가 형성된다. 이 때, 수광소자(560)들 사이에는 각각 소자 분리막(570a, 570b)이 형성된다.
수광소자(560)의 상부에는 회로부를 형성하기 위한 금속 배선층(590)이 형성된다. 이 때, 수광소자(560)와 금속 배선층(590) 사이에는 절연층(IMD; Inter-Metal Dielectric)(580a)이 형성되며, 금속 배선층(590)은 수광소자(560)로 입사되는 빛의 경로를 차단하지 않도록 설계되는 것이 바람직하다. 도 4는 한 층의 금속 배선층(590)이 형성되어 있는 모습을 도시하고 있으나, 금속 배선층(590)은 경우에 따라서 복수의 층으로 형성될 수도 있다. 이 때, 각 금속 배선층(590)은 각 금속 배선층을 절연하기 위한 절연층(580b)이 형성된다.
절연층(580b) 상부에는 평탄화층(585a) 및 컬러필터층(575)이 차례로 형성된다. 컬러필터층(575)은 예를 들어 적색 컬러필터, 녹색 컬러필터 및 청색 컬러필터를 포함하며, 각 컬러필터는 복수의 렌즈(310, 320, 330, 340)에 의해 집광된 빛을 필터링하여 원래의 기본 색으로 구현하는 역할을 한다. 각 컬러필터는 다양한 패턴으로 형성될 수 있는데, 이하의 설명에서는 적색 컬러필터, 녹색 컬러필터 및 청색 컬러필터가 베이어 패턴(Bayer pattern)으로 형성된 경우를 예로 들어 설명하기로 한다.
컬러필터층(575)의 상부에는 컬러필터층(575)을 평탄화하기 위한 평탄화층(585b), 및 수광소자(560)의 광감도를 증가시키기 위한 마이크로 렌즈(Micro Lens; ML)(595)가 차례로 형성된다. 일반적으로, 수광소자(560)는 단위 픽셀 영역의 전영역을 차지하는 것이 아니라, 단위 픽셀 중 일정 부분만을 차지한다. 따라서, 픽셀 영역에서 수광소자(560)가 차지하는 면적을 나타내는 비율(fill factor)이 1 보다 작은 값은 갖게 되며, 이는 입사되는 빛의 일부가 손실됨을 의미한다. 그런데 절연층(580b)의 최상부에 마이크로 렌즈(595)를 형성하게 되면, 입사되는 빛이 마이크로 렌즈(595)에 의해 집광되기 때문에 수광소자(560)로 수렴되는 광량을 증가시킬 수 있다.
전술한 바와 같은 구조의 픽셀은 다수개가 모여 센싱 영역(510, 520, 530, 540)을 형성한다. 여기서, 센싱 영역(510, 520, 530, 540)은 도 3에 도시된 바와 같이, 복수의 렌즈에 각각 대응하는 복수의 서브 센싱 영역으로 구분될 수 있다. 즉, 제1 렌즈(310)에 대응하는 제1 서브 센싱 영역(510)과, 제2 렌즈(320)에 대응하는 제2 서브 센싱 영역(520)과, 제3 렌즈(330)에 대응하는 제3 서브 센싱 영역(530)과, 제4 렌즈(340)에 대응하는 제4 서브 센싱 영역(540)으로 구분될 수 있다. 이하의 설명에서는, 설명의 편의를 위해 센싱 영역(510, 520, 530, 540)은 가로×세로가 8×8 개의 픽셀로 구성되며, 소정 렌즈에 대응하는 서브 센싱 영역은 가로×세로가 4×4 개의 픽셀로 이루어진다고 가정한다.
디코더(53)는 소정 서브 센싱 영역의 픽셀이 나타내는 전압 신호를 읽어오는 역할을 한다. 이를 위해 디코더(53)는 가로 방향에 위치하는 픽셀들의 정보를 읽기 위한 로우 디코더(Row Decoder)(미도시)와, 세로 방향에 위치하는 픽셀들의 정보를 읽기 위한 컬럼 디코더(Column Decoder) (미도시)를 포함하여 구성될 수 있다. 이 러한 로우 디코더 및 컬럼 디코더는 각 서브 센싱 영역마다 별도로 구비되거나, 하드웨어적으로 통합된 형태로 구현될 수도 있다. 각 픽셀들의 전압 신호는 증폭기(미도시)를 거쳐 증폭된 후, 변환 모듈(54)로 제공된다.
변환 모듈(54)은 증폭된 전압 신호를 디지털 신호로 변환하는 역할을 한다. 변환 모듈(54)은 디코더(53)와 마찬가지로, 각 서브 센싱 영역마다 별도로 구비될 수 있으며, 하드웨어적으로 통합된 형태로 구현될 수도 있다.
노출 조절 모듈(52)은 각 서브 센싱 영역의 노출 조건을 조절한다. 여기서, 노출 조건으로는 노출 시작 시점, 노출 시간 및 이득(Gain)을 예로 들 수 있다. 노출 시간은, 각 서브 센싱 영역이 외부 광에 노출되어 전하를 축적할 수 있는 시간을 의미하며, 각 서브 센싱 영역의 노출 시간이 서로 동일할 경우, 각 서브 센싱 영역의 픽셀에는 동일한 전하량이 축적된다.
본 발명의 일 실시예에 따라, 노출 조절 모듈(52)은 각 서브 센싱 영역의 이득 및 노출 시간을 동일하게 설정하되, 각 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정한다. 예를 들면, 도 5와 같이, 제1 서브 센싱 영역(510)은 A 시점부터 1초 동안 노출되도록 하고, 제2 서브 센싱 영역(520)은 B 시점부터 1초 동안 노출되도록 한다. 그리고, 제3 서브 센싱 영역(530)은 C 시점부터 1초 동안 노출되도록 하고, 제4 서브 센싱 영역(540)은 D 시점부터 1초 동안 노출되도록 한다. 이와 같이 하면, 각 서브 센싱 영역을 통해 서로 다른 영상이 획득되므로 프레임율을 높일 수 있다. 구체적으로, 각 서브 센싱 영역을 통해 초당 6개 프레임이 촬영될 수 있다고 하였을 때, 각 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정한 상태에서 영상을 촬영한다면, 초당 24개 프레임을 촬영하는 것과 같은 효과를 얻을 수 있다. 또한, 프레임율이 증가되므로, 물체의 움직임이 자연스럽게 표현된다.
다른 예로, 노출 조절 모듈(52)은 각 서브 센싱 영역의 이득 및 노출 시작 시점을 동일하게 설정하되, 각 서브 센싱 영역의 노출 시간을 서로 다르게 설정할 수도 있다. 예를 들면, 도 6과 같이, 각 서브 센싱 영역의 노출 시작 시점을 모두 A 시점으로 설정하되, 제1 서브 센싱 영역(510)의 노출 시간은 1초, 제2 서브 센싱 영역(520)의 노출 시간은 2초, 제3 서브 센싱 영역(530)의 노출 시간은 3초, 제4 서브 센싱 영역(540)의 노출 시간은 4초로 설정한다. 이와 같이 하면, 한번의 촬영으로도 휘도가 서로 다른 복수의 이미지를 동시에 얻을 수 있다.
또 다른 예로서, 노출 조절 모듈(52)은 각 서브 센싱 영역의 노출 시작 시점 및 노출 시간을 동일하게 설정하되, 각 서브 센싱 영역의 이득(Gain)을 서로 다르게 설정할 수도 있다. 이와 같은 경우, 각 서브 센싱 영역의 노출 시간을 서로 다르게 하는 것과 마찬가지로, 한번의 촬영으로도 휘도가 서로 다른 복수의 이미지를 동시에 얻을 수 있다. 구체적으로, 소정 서브 센싱 영역의 이득을 조절하게 되면, 이득에 비례하여 해당 서브 센싱 영역의 감도가 증가하는데, 서브 센싱 영역의 감도가 높다는 것은 동일한 광량에 대해 더 많은 광자(photon)가 방출됨을 의미한다. 따라서, 각 서브 센싱 영역의 다른 노출 조건(노출 시작 시점 및 노출 시간)이 동일하더라도, 각 서브 센싱 영역의 이득이 서로 다르다면, 각 서브 센싱 영역의 감도가 달라지게 되고, 각 서브 센싱 영역의 감도 차이로 인해 휘도가 서로 다른 복수의 원 이미지를 동시에 얻을 수 있게 되는 것이다.
전술한 바와 같은 구성요소에 더하여, 이미지 센서 모듈(500)은 소정 파장의 빛 예를 들면, 적외선을 차단하기 위한 적외선 차단 필터(미도시)를 선택적으로 포함할 수 있다. 광감지 모듈(51)은 가시광선뿐만 아니라 적외선에도 반응을 하는데, 적외선 차단 필터를 사용하게 되면, 광감지 모듈(51)에 도달되는 적외선이 차단되므로, 가시광선 영역의 이미지 정보가 훼손되는 것을 방지할 수 있다.
다음으로, 도 7을 참조하여 도 1의 이미지 처리 모듈(800)에 대해 설명하기로 한다.
도 7은 도 1에 도시된 이미지 처리 모듈(800)의 구성을 도시한 블록도이다. 도시된 이미지 처리 모듈(800)은 입력 모듈(810), 중간 이미지 생성 모듈(820) 및 최종 이미지 생성 모듈(830)을 포함하여 구성된다.
입력 모듈(810)은 카메라 모듈(200)로부터 복수의 원 이미지를 입력받는다. 즉, 입력 모듈(810)은 제1 서브 센싱 영역(510)에 의해 획득된 제1 원 이미지, 제2 서브 센싱 영역(520)에 의해 획득된 제2 원 이미지, 제3 서브 센싱 영역(530)에 의해 획득된 제3 원 이미지 및, 제4 서브 센싱 영역(540)에 의해 획득된 제4 원 이미지를 입력받는다. 입력된 복수의 원 이미지는 각각 후술될 최종 이미지 생성 모듈(830)이 최종 이미지를 생성하는데 필요한 컬러 정보 및 휘도 정보를 제공하는 역할을 한다.
중간 이미지 생성 모듈(820)은 입력받은 복수의 원 이미지를 각각 디모자이크(De-mosaic) 처리하여 복수의 중간 이미지를 생성한다. 여기서 디모자이크란, 소정 픽셀이 갖고 있지 않은 색 정보를, 상기 픽셀과 인접한 주변 픽셀이 갖고 있 는 색 정보를 이용하여 복원하는 것을 말한다.
최종 이미지 생성 모듈(830)은 복수의 중간 이미지의 각 픽셀이 갖는 픽셀 정보를 기반으로 최종 이미지를 생성한다. 여기서, 픽셀 정보란, 소정 픽셀이 갖는 색상 정보, 휘도 정보를 포함할 수 있다.
최종 이미지 생성 모듈(830)은 먼저, 각 중간 이미지의 픽셀이 갖는 픽셀 정보에 소정 가중치를 곱할 수 있다. 이 때, 각 픽셀 정보에 곱하여지는 가중치는 동일한 값일 수도 있고, 각 픽셀의 휘도에 따라 서로 다른 값을 가질 수도 있다. 그 다음, 최종 이미지 생성 모듈(830)은 각 중간 이미지에서 동일한 위치의 픽셀들 중, 선택된 픽셀이 갖는 픽셀 정보에 기반하여 최종 이미지를 생성한다. 예를 들면, 최종 이미지 생성 모듈(830)은, 각 중간 이미지에서 동일한 위치의 픽셀들 중, 소정 임계값 이내의 픽셀 정보를 갖는 어느 하나의 픽셀을 선택하고, 선택된 픽셀이 갖는 픽셀 정보에 기반하여 최종 이미지를 생성할 수 있다. 다른 예로서, 최종 이미지 생성 모듈(830)은 각 중간 이미지에서 동일한 위치의 픽셀이 갖는 픽셀 정보 간의 평균값에 기반하여 최종 이미지를 생성할 수도 있다.
이미지 처리 모듈(800)은, 위와 같은 구성 요소에 더하여 필터 모듈(840)을 더 포함할 수 있다. 전술한 노출 조절 모듈(52)에 의해 각 서브 센싱 영역의 이득이 서로 다르게 설정되는 경우, 휘도가 서로 다른 복수의 원 이미지를 얻을 수는 있으나, 이득에 비례하여 노이즈 또한 증가하게 된다. 따라서, 휘도가 서로 다른 복수의 원 이미지로부터 각각 노이즈를 제거할 필요가 있다. 필터 모듈(840)은 휘도가 서로 다른 복수의 원 이미지를 각각 필터링하여, 복수의 원 이미지에 포함되 어 있는 노이즈를 각각 제거하는 역할을 한다. 바람직하게는 높은 이득이 적용된 서브 센싱 영역을 통해 획득된 원 이미지일수록 필터링시 높은 가중치를 적용할 수 있다.
다음으로, 도 8a 및 도 8b를 참조하여, 도 1의 영상 표시 장치(100)에 의한 고속 촬영 방법에 대해서 설명하기로 한다. 여기서, 도 8a는 도 1의 영상 표시 장치(100)에 의한 고속 촬영 방법을 도시한 흐름도이다. 그리고 도 8b는 도 8a의 각 단계를 통해 얻어지는 이미지들을 차례로 도시한 것이다.
먼저, 노출 조절 모듈(52)은 모든 서브 센싱 영역에 대하여 이득 및 노출 시간은 동일하게 설정하되, 각 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정한다(S81). 예를 들면, 노출 조절 모듈(52)은 제1 서브 센싱 영역(510)이 가장 먼저 노출된 후, 제2 서브 센싱 영역(520), 제3 서브 센싱 영역(530) 및 제4 서브 센싱 영역(540)이 순차적으로 노출될 수 있도록 각 서브 센싱 영역의 노출 시작 시점을 설정한다. 구체적으로, 노출 조절 모듈(52)은 도 5와 같이, 제1 서브 센싱 영역(510)의 노출 시작 시점은 A 시점으로 설정하고, 제2 서브 센싱 영역(520)의 노출 시작 시점은 B 시점으로 설정한다. 이에 비해 제3 서브 센싱 영역(530)의 노출 시작 시점은 C 시점으로 설정하고, 제4 서브 센싱 영역(540)의 노출 시작 시점은 D 시점으로 설정한다.
이와 같은 상태에서 움직이는 피사체(10)를 촬영하는 경우, 소정 피사체(10)에서 반사된 빛은 각각 4개의 렌즈(310, 320, 330, 340)를 통해 집광된다(S82).
각 렌즈(310, 320, 330, 340)를 통해 집광된 빛은 각 렌즈(310, 320, 330, 340)에 대응하는 서브 센싱 영역에 각각 수렴된다.
이 때, 각 서브 센싱 영역은 기설정된 노출 시작 시점에 따라 차례로 노출된다. 즉, 도 5에 도시된 바와 같이, 제1 서브 센싱 영역(510)이 가장 먼저 노출되기 시작하고, 그 다음 제2 서브 센싱 영역(520), 제3 서브 센싱 영역(530) 및 제4 서브 센싱 영역(540)이 차례로 노출되기 시작한다.
이 후, 각 서브 센싱 영역으로 수렴된 빛에 의해 발생된 전기 신호는 각각 전압 신호로 변환된 후, 증폭 및 디지털 변환 과정을 거쳐 차례로 출력된다(83). 이 때, 소정 서브 센싱 영역을 통해 획득되는 원 이미지의 해상도는 4×4로서, 센싱 영역(510, 520, 530, 540)의 해상도에 비해 1/4의 해상도를 갖는다. 각 서브 센싱 영역을 통해 획득된 복수의 원 이미지(511, 521, 531, 541)들은 이미지 처리 모듈(800)로 제공된다.
이미지 처리 모듈(800)의 입력 모듈(810)은 이미지 센서 모듈(500)로부터 복수의 원 이미지(511, 521, 531, 541)를 입력받아, 중간 이미지 생성 모듈(820)로 제공한다.
중간 이미지 생성 모듈(820)은, 입력되는 복수의 원 이미지(511, 521, 531, 541)를 각각 보간하여, 복수의 중간 이미지(512, 522, 532, 542)를 생성한다(S84).
복수의 중간 이미지(512, 522, 532, 542)가 생성되면, 최종 이미지 생성 모듈(830)은 복수의 중간 이미지(512, 522, 532, 542)를 원 이미지(511, 521, 531, 541)가 획득된 순서에 따라 재정렬하여 최종 이미지(700)를 생성한다(S85).
최종 이미지 생성 모듈(830)에 의해 생성된 최종 이미지(700)는 디스플레이 모듈(900)을 통해 디스플레이된다(S86). 이 때, 디스플레이되는 최종 이미지(700)는 종래 대비 높은 프레임율을 갖기 때문에 피사체(100)의 움직임이 보다 자연스럽게 표현된다. 구체적으로, 각 서브 센싱 영역이 초당 6개의 이미지를 촬영할 수 있다고 한다면, 최종 이미지(700)는 초당 24개의 이미지를 표현할 수 있으므로, 종래에 비하여 피사체(100)의 움직임이 보다 자연스럽게 표현된다.
다음으로, 도 9a 및 도 9b를 참조하여, 각 서브 센싱 영역의 노출 시간을 조절함으로써, 휘도가 서로 다른 복수의 원 이미지를 동시에 획득하는 방법에 대해서 설명하기로 한다. 여기서, 도 9a는 각 서브 센싱 영역의 노출 시간을 서로 다르게 설정함으로써, 휘도가 서로 다른 복수의 원 이미지를 동시에 획득하는 방법을 도시한 흐름도이다. 그리고 도 9b는 도 9a의 각 단계를 통해 얻어지는 이미지들을 차례로 도시한 것이다.
먼저, 노출 조절 모듈(52)은 모든 서브 센싱 영역에 대하여 이득 및 노출 시작 시점을 동일하게 설정하되, 각 서브 센싱 영역의 노출 시간을 서로 다르게 설정한다(S91). 예를 들면, 도 6과 같이, 각 서브 센싱 영역의 이득을 모두 1로 설정하고, 각 서브 센싱 영역의 노출 시점을 모두 (A) 시점으로 설정한다. 그리고, 제1 서브 센싱 영역(510)의 노출 시간은 1초, 제2 서브 센싱 영역(520)의 노출 시간은 2초, 제3 서브 센싱 영역(530)의 노출 시간은 3초로 설정하고, 제4 서브 센싱 영역(540)의 노출 시간은 4초로 설정한다.
이와 같은 상태에서 촬영이 시작되면, 소정 피사체(10)에서 반사된 빛은 4개의 렌즈를 통해 각각 집광된 후(S92), 각 렌즈에 대응하는 서브 센싱 영역으로 수 렴된다.
이 때, 모든 서브 센싱 영역은 동시에 (A) 시점부터 노출되기 시작한다. 이 후, 제1 서브 센싱 영역(510)의 노출이 가장 먼저 완료되고, 제2 서브 센싱 영역(520), 제3 서브 센싱 영역(530) 및 제4 서브 센싱 영역(540)의 순으로 차례로 노출이 완료된다. 소정 서브 센싱 영역의 노출이 완료되면, 해당 서브 센싱 영역으로 수렴된 빛에 의해 발생된 전기 신호는 전압 신호로 변환된 후, 증폭 및 디지털 변환 과정을 거쳐 출력된다(S93).
제4 서브 센싱 영역(540)까지 노출이 완료된 후, 각 서브 센싱 영역을 통해 획득된 원 이미지를 비교해 보면, 노출 시간이 긴 서브 센싱 영역을 통해 획득된 이미지일수록 높은 휘도를 갖는 것을 알 수 있다. 즉, 제1 원 이미지(513), 제2 원 이미지(523), 제3 원 이미지(533), 제4 원 이미지(543)의 순으로 높은 휘도를 갖는다.
이와 같이, 휘도가 서로 다른 복수의 원 이미지(513, 523, 533, 543)가 획득되면(S93), 중간 이미지 생성 모듈(820)은, 휘도가 서로 다른 복수의 원 이미지(513, 523, 533, 543)를 각각 디모자이킹하여 휘도가 서로 다른 복수의 중간 이미지(514, 524, 534, 544)를 생성한다(S94).
이 후, 최종 이미지 생성 모듈(830)은 휘도가 서로 다른 복수의 중간 이미지(514, 524, 534, 544)의 각 픽셀이 갖는 픽셀 정보에 근거하여 최종 이미지(700)를 생성한다(S95).
이를 위해, 최종 이미지 생성 모듈(830)은, 우선 각 중간 이미지(514, 524, 534, 544)의 픽셀이 갖는 픽셀 정보에 소정 가중치를 곱할 수 있다. 이 때, 각 픽셀 정보에 곱하여지는 가중치는 동일한 값일 수도 있고, 각 픽셀의 휘도에 따라 서로 다른 값을 가질 수도 있다.
이 후, 최종 이미지 생성 모듈(830)은 각 중간 이미지(514, 524, 534, 544)에서 동일한 위치의 픽셀들 중, 선택된 픽셀이 갖는 픽셀 정보에 기반하여 최종 이미지(710)를 생성한다. 일 예로, 최종 이미지 생성 모듈(830)은, 각 중간 이미지(514, 524, 534, 544)에서 동일한 위치의 픽셀들 중, 소정 임계값 이내의 픽셀 정보를 갖는 어느 하나의 픽셀을 선택하고, 선택된 픽셀이 갖는 픽셀 정보에 기반하여 최종 이미지(710)를 생성할 수 있다. 다른 예로서, 최종 이미지 생성 모듈(830)은 각 중간 이미지(514, 524, 534, 544)에서 동일한 위치의 픽셀이 갖는 픽셀 정보 간의 평균값에 기반하여 최종 이미지(710)를 생성할 수도 있다.
전술한 방법에 따르면, 한 번의 촬영으로도 휘도가 서로 다른 복수의 원 이미지(513, 523, 533, 543)를 얻을 수 있으므로, 조도차가 큰 환경에서도 선명한 이미지를 구현할 수 있다. 즉, 광역역광보정 기능(WDR; Wide Dynamic Range)을 구현할 수 있다.
다음으로, 도 10a 및 도 10b를 참조하여, 각 서브 센싱 영역의 이득 조절을 통해 휘도가 서로 다른 복수의 원 이미지를 동시에 획득하는 방법에 대해서 설명하기로 한다. 여기서, 도 10a는 각 서브 센싱 영역의 이득을 조절하여 휘도가 서로 다른 복수의 원 이미지를 동시에 획득하는 방법을 도시한 흐름도이다. 그리고 도 10b는 도 10a의 각 단계를 통해 얻어지는 이미지들을 차례로 도시한 것이다.
먼저, 노출 조절 모듈(52)은 모든 서브 센싱 영역의 노출 시작 시점을 동일하게 설정한다. 그리고, 모든 서브 센싱 영역의 노출 시간을 서로 동일하게 설정한다. 이 때, 노출 시간은 사용자의 손떨림으로 인한 모션 블러(motion blur)를 방지할 수 있는 시간 예를 들면, 1/30초 이하의 시간으로 설정되는 것이 바람직하다.
한편, 노출 조절 모듈(52)은 각 서브 센싱 영역에 대하여 서로 다른 이득을 설정한다(S11). 예를 들면, 제1 서브 센싱 영역(510)의 이득은 1로 설정하고, 제2 서브 센싱 영역(520)의 이득은 2로, 제3 서브 센싱 영역(530)의 이득은 3으로, 제4 서브 센싱 영역(540)의 이득은 4로 설정한다.
이와 같은 상태에서 촬영이 시작되면, 소정 피사체(10)에서 반사된 빛은 4개의 렌즈를 통해 각각 집광된 후(S12), 각 렌즈에 대응하는 서브 센싱 영역으로 수렴된다. 즉, 제1 렌즈(310)를 통해 집광된 빛은 제1 서브 센싱 영역(510)으로 수렴되고, 제2 렌즈(320)를 통해 집광된 빛은 제2 서브 센싱 영역(520)으로 수렴된다.
이 후, 각 서브 센싱 영역은 모두 동시에 노출되기 시작하여 기지정된 시간 예를 들면, 1/30초 동안 노출된다.
노출이 완료되면, 각 서브 센싱 영역에 수렴된 빛에 의해 발생된 전기 신호는 각각 전압 신호로 변환된 후, 증폭 및 디지털 변환 과정을 거쳐 출력된다. 그 결과, 휘도가 서로 다른 복수의 원 이미지를 획득할 수 있다(S13).
이 때, 각 서브 센싱 영역을 통해 획득된 원 이미지를 서로 비교해 보면, 도 10b와 같이, 이득이 높은 서브 센싱 영역을 통해 획득된 원 이미지일수록 높은 휘도를 갖는 것을 알 수 있다. 즉, 제1 원 이미지(515)가 가장 낮은 휘도를 갖고, 제2 원 이미지(525), 제3 원 이미지(535) 및 제4 원 이미지(545)의 순서로 높은 휘도를 갖는다. 이는, 소정 서브 센싱 영역의 이득이 높을수록 해당 서브 센싱 영역의 감도가 높아져, 동일한 광량에서도 방출되는 광자량이 증가하기 때문이다.
이와 같이, 휘도가 서로 다른 복수의 원 이미지(515, 525, 535, 545)가 획득되면(S13), 중간 이미지 생성 모듈(820)은 복수의 원 이미지(515, 525, 535, 545)를 각각 보간하여, 휘도가 서로 다른 복수의 중간 이미지(516, 526, 536, 546)를 생성한다.
이 후, 필터 모듈(840)은 복수의 중간 이미지(516, 526, 536, 546)를 각각 필터링한다. 이 때, 필터 모듈(840)은 이득이 높은 서브 센싱 영역을 통해 획득된 중간 이미지일수록 높은 가중치를 적용하여 필터링하는 것이 바람직하다. 왜냐하면, 해당 서브 센싱 영역에 설정된 이득과 비례하여 노이즈도 증가하기 때문이다.
이 후, 최종 이미지 생성 모듈(830)은 필터링된 복수의 중간 이미지(517, 527, 537, 547)의 각 픽셀이 갖는 픽셀 정보에 근거하여 최종 이미지(720)를 생성한다. 이를 위해 최종 이미지 생성 모듈(830)은 먼저, 각 중간 이미지(517, 527, 537, 547)의 픽셀이 갖는 픽셀 정보에 소정 가중치를 곱할 수 있다. 이 때, 각 픽셀 정보에 곱하여지는 가중치는 동일한 값일 수도 있고, 각 픽셀의 휘도에 따라 서로 다른 값을 가질 수도 있다. 이 후, 최종 이미지 생성 모듈(830)은 각 중간 이미지(517, 527, 537, 547)에서 동일한 위치의 픽셀들 중, 선택된 픽셀이 갖는 픽셀 정보에 기반하여 최종 이미지(720)를 생성한다. 예를 들어, 최종 이미지 생성 모듈(830)은, 각 중간 이미지(517, 527, 537, 547)에서 동일한 위치의 픽셀들 중, 소정 임계값 이내의 픽셀 정보를 갖는 어느 하나의 픽셀을 선택하고, 선택된 픽셀이 갖는 픽셀 정보에 기반하여 최종 이미지(720)를 생성할 수 있다. 다른 예로서, 최종 이미지 생성 모듈(830)은 각 중간 이미지(517, 527, 537, 547)에서 동일한 위치의 픽셀이 갖는 픽셀 정보 간의 평균값에 기반하여 최종 이미지(720)를 생성할 수도 있다.
전술한 방법에 따르면, 각 서브 센싱 영역의 이득을 서로 다르게 조절함으로써, 한 번의 촬영으로도 휘도가 서로 다른 복수의 원 이미지(515, 525, 535, 545)를 얻을 수 있다. 그 결과, 조도차가 큰 환경에서도 선명한 이미지를 구현할 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명에 따른 고화질 영상을 위한 영상 표시 방법 및 장치에 대하여 설명하였으나, 본 발명은 본 명세서에 개시된 실시예와 도면에 의해 한정되지 않으며, 그 발명의 기술사상 범위 내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
상기한 바와 같이 본 발명에 의한 고화질 영상을 위한 영상 표시 방법 및 장치에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
고감도의 이미지 센서를 사용하지 않고도 고속 연속 촬영이 가능하므로, 프레임율을 높일 수 있으며, 이로써 고화질의 동영상을 얻을 수 있다는 장점이 있다.
복수의 이미지 센싱 영역에 대한 노출 조건을 조절함으로써, 한 번의 촬영으로도 휘도가 서로 다른 복수개의 영상을 동시에 얻을 수 있다는 장점이 있다.
휘도가 서로 다른 복수개의 영상을 동시에 획득할 수 있으므로, 영상 처리 과정에서 블러링 또는 색 왜곡이 발생하는 것을 방지할 수 있으며, 조도차가 큰 환경에서도 선명한 영상을 구현할 수 있다는 장점이 있다.

Claims (22)

  1. 복수의 렌즈 영역에 대응하는 복수의 서브 센싱 영역을 가지는 광감지 모듈;
    상기 각 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정하는 노출 조절 모듈;
    상기 각 서브 센싱 영역을 통해 획득된 복수의 원 이미지를 각각 보간하여, 상기 각 원 이미지에 대한 중간 이미지를 각각 생성하는 중간 이미지 생성 모듈; 및
    상기 각 중간 이미지를 상기 원 이미지의 획득 순서에 따라 재배치하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함하는 영상 표시 장치.
  2. 제 1 항에 있어서,
    상기 노출 조절 모듈은, 상기 각 서브 센싱 영역이 서로 동일한 노출 시간을 갖도록 하는 영상 표시 장치.
  3. 제 1 항에 있어서,
    상기 생성된 최종 이미지를 디스플레이하는 디스플레이 모듈을 더 포함하는 영상 표시 장치.
  4. 복수의 렌즈에 각각 대응하는 복수의 서브 센싱 영역으로 이루어지는 센싱 영역을 포함하는 광감지 모듈;
    상기 각 서브 센싱 영역의 노출 조건을 서로 다르게 설정하는 노출 조절 모듈;
    상기 각 서브 센싱 영역을 통해 동시에 획득된 휘도가 서로 다른 복수의 원 이미지를 각각 보간하여 복수의 중간 이미지를 생성하는 중간 이미지 생성 모듈; 및
    상기 각 중간 이미지의 픽셀이 갖는 픽셀 정보에 근거하여 최종 이미지를 생성하는 최종 이미지 생성 모듈을 포함하는 영상 표시 장치.
  5. 제 4 항에 있어서,
    상기 노출 조건은, 소정 서브 센싱 영역의 노출 시작 시점, 노출 시간 및 이득 중 어느 하나인 영상 표시 장치.
  6. 제 5 항에 있어서,
    상기 노출 조절 모듈은, 상기 각 서브 센싱 영역의 노출 시작 시점을 동일하게 설정하고, 상기 각 서브 센싱 영역의 노출 시간을 서로 다르게 설정하는 영상 표시 장치.
  7. 제 5 항에 있어서,
    상기 노출 조절 모듈은, 상기 각 서브 센싱 영역의 노출 시작 시점 및 노출 시간을 동일하게 설정하고, 상기 각 서브 센싱 영역의 이득을 서로 다르게 설정하는 영상 표시 장치.
  8. 제 7 항에 있어서,
    상기 복수의 원 이미지를 각각 필터링하는 필터 모듈을 더 포함하고,
    상기 필터 모듈은, 상기 각 서브 센싱 영역의 이득에 따라 상기 복수의 원 이미지별로 서로 다른 가중치를 적용하여 필터링하는 영상 표시 장치.
  9. 제 4 항에 있어서,
    상기 최종 이미지 생성 모듈은, 상기 각 중간 이미지에서 동일한 위치의 픽셀들 중 선택된 픽셀이 갖는 픽셀 정보에 근거하여 상기 최종 이미지를 생성하는 영상 표시 장치.
  10. 제 9 항에 있어서,
    상기 최종 이미지 생성 모듈은, 상기 선택된 픽셀의 픽셀 정보 간의 평균값에 근거하여 상기 최종 이미지를 생성하는 영상 표시 장치.
  11. 제 4 항에 있어서,
    상기 픽셀 정보에는 해당 픽셀의 휘도에 따라 서로 다른 가중치가 부여되는 영상 표시 장치.
  12. 복수의 렌즈 영역에 대응하는 복수의 서브 센싱 영역의 노출 시작 시점을 서로 다르게 설정하는 (a) 단계;
    상기 각 서브 센싱 영역을 통해 복수의 원 이미지를 획득하는 (b) 단계;
    상기 획득된 복수의 원 이미지를 각각 보간하여, 상기 각 원 이미지에 대한 중간 이미지를 각각 생성하는 (c) 단계; 및
    상기 각 중간 이미지를 상기 원 이미지의 획득 순서에 따라 재배치하여 최종 이미지를 생성하는 (d) 단계를 포함하는 영상 표시 방법.
  13. 제 12 항에 있어서,
    상기 (a) 단계는, 상기 각 서브 센싱 영역이 서로 동일한 노출 시간을 갖도록 하는단계를 포함하는 영상 표시 방법.
  14. 제 12 항에 있어서,
    상기 생성된 최종 이미지를 디스플레이하는 단계를 더 포함하는 영상 표시 방법.
  15. 복수의 렌즈에 각각 대응하는 복수의 서브 센싱 영역으로 이루어지는 센싱 영역에서 상기 각 서브 센싱 영역의 노출 조건을 서로 다르게 설정하는 (a)단계;
    상기 각 서브 센싱 영역을 통해 휘도가 서로 다른 복수의 원 이미지를 획득하는 (b)단계;
    상기 복수의 원 이미지를 각각 보간하여 복수의 중간 이미지를 생성하는 (c)단계; 및
    상기 각 중간 이미지의 픽셀이 갖는 픽셀 정보에 근거하여 최종 이미지를 생성하는 (d)단계를 포함하는 영상 표시 방법.
  16. 제 15 항에 있어서,
    상기 노출 조건은, 소정 서브 센싱 영역의 노출 시작 시점, 노출 시간 및 이득 중 어느 하나인 영상 표시 방법.
  17. 제 16 항에 있어서,
    상기 (a) 단계는, 상기 각 서브 센싱 영역의 노출 시작 시점을 동일하게 설정하고, 상기 각 서브 센싱 영역의 노출 시간을 서로 다르게 설정하는 단계를 포함하는 영상 표시 방법.
  18. 제 16 항에 있어서,
    상기 (a) 단계는, 상기 각 서브 센싱 영역의 노출 시작 시점 및 노출 시간을 동일하게 설정하고, 상기 각 서브 센싱 영역의 이득을 서로 다르게 설정하는 영상 표시 방법.
  19. 제 18 항에 있어서,
    상기 각 서브 센싱 영역의 이득에 따라 상기 복수의 중간 이미지별로 서로 다른 가중치를 적용하여 필터링하는 단계를 더 포함하는 영상 표시 방법.
  20. 제 15 항에 있어서,
    상기 (d) 단계는, 상기 각 중간 이미지에서 동일한 위치의 픽셀들 중 선택된 픽셀이 갖는 픽셀 정보에 근거하여 상기 최종 이미지를 생성하는 (d-1) 단계를 포함하는 영상 표시 방법.
  21. 제 20 항에 있어서,
    상기 (d-1) 단계는, 상기 선택된 픽셀의 픽셀 정보 간의 평균값에 근거하여 상기 최종 이미지를 생성하는 단계를 포함하는 영상 표시 방법.
  22. 제 15 항에 있어서,
    상기 (d) 단계는, 상기 픽셀 정보에 해당 픽셀의 휘도에 따라 서로 다른 가중치를 부여하는 단계를 포함하는 영상 표시 방법.
KR1020060078872A 2006-08-21 2006-08-21 고화질 영상을 위한 영상 표시 방법 및 장치 KR100827238B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060078872A KR100827238B1 (ko) 2006-08-21 2006-08-21 고화질 영상을 위한 영상 표시 방법 및 장치
US11/889,447 US20080043114A1 (en) 2006-08-21 2007-08-13 Image display apparatus and method of supporting high quality image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060078872A KR100827238B1 (ko) 2006-08-21 2006-08-21 고화질 영상을 위한 영상 표시 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080017597A KR20080017597A (ko) 2008-02-27
KR100827238B1 true KR100827238B1 (ko) 2008-05-07

Family

ID=39101024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060078872A KR100827238B1 (ko) 2006-08-21 2006-08-21 고화질 영상을 위한 영상 표시 방법 및 장치

Country Status (2)

Country Link
US (1) US20080043114A1 (ko)
KR (1) KR100827238B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11988849B2 (en) 2022-01-18 2024-05-21 Samsung Electronics Co., Ltd. Imaging device and method

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102422200B (zh) 2009-03-13 2015-07-08 特拉维夫大学拉玛特有限公司 以减小的像模糊对物进行成像的成像***和方法
US8582001B2 (en) * 2009-04-08 2013-11-12 Csr Technology Inc. Exposure control for high dynamic range image capture
US8525900B2 (en) 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
WO2010123923A1 (en) 2009-04-23 2010-10-28 Zoran Corporation Multiple exposure high dynamic range image capture
KR101604068B1 (ko) * 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
GB2490231B (en) * 2011-04-20 2017-09-20 Qualcomm Inc Multiple exposure high dynamic range image capture
US8933985B1 (en) 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
DE102011081405B4 (de) * 2011-08-23 2016-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor, Abbildungsvorrichtung und Verfahren für einen Bildsensor
US20130242057A1 (en) * 2012-03-16 2013-09-19 Research In Motion Limited Methods and devices for producing an enhanced image
EP2640060A1 (en) * 2012-03-16 2013-09-18 BlackBerry Limited Methods and devices for producing an enhanced image
US9143673B2 (en) * 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
KR101992933B1 (ko) * 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
EP3076662A4 (en) * 2013-11-26 2017-08-09 Nikon Corporation Electronic device, imaging device, and imaging element
US10819926B2 (en) * 2018-04-09 2020-10-27 Facebook Technologies, Llc Systems and methods for synchronizing image sensors
SG11202106182WA (en) * 2019-01-17 2021-07-29 Mitsubishi Electric Corp Information processing apparatus, information processing method and information processing program
DE102020117278B3 (de) * 2020-07-01 2021-08-26 Audi Aktiengesellschaft System zum Abbilden einer Szene, sowie Holographische Kamera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001070291A (ja) * 1999-09-08 2001-03-21 Matsushita Electric Ind Co Ltd X線撮影装置
JP2002084449A (ja) * 2000-09-08 2002-03-22 Sanyo Electric Co Ltd 固体撮像素子を用いた撮像装置
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
KR20040062894A (ko) * 2003-01-03 2004-07-09 이철희 카메라

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001070291A (ja) * 1999-09-08 2001-03-21 Matsushita Electric Ind Co Ltd X線撮影装置
JP2002084449A (ja) * 2000-09-08 2002-03-22 Sanyo Electric Co Ltd 固体撮像素子を用いた撮像装置
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
KR20040062894A (ko) * 2003-01-03 2004-07-09 이철희 카메라

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11988849B2 (en) 2022-01-18 2024-05-21 Samsung Electronics Co., Ltd. Imaging device and method

Also Published As

Publication number Publication date
KR20080017597A (ko) 2008-02-27
US20080043114A1 (en) 2008-02-21

Similar Documents

Publication Publication Date Title
KR100827238B1 (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
US11706535B2 (en) Digital cameras with direct luminance and chrominance detection
US10009556B2 (en) Large dynamic range cameras
US8587681B2 (en) Extended depth of field for image sensor
JP4421793B2 (ja) ディジタルカメラ
US9681059B2 (en) Image-capturing device
US20070076269A1 (en) Imaging unit and image sensor
JP2009049525A (ja) 撮像装置及び信号処理方法
JP5526673B2 (ja) 固体撮像装置及び電子機器
WO2020049867A1 (ja) 撮像装置、および撮像素子
JP2009049524A (ja) 撮像装置及び信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130403

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140325

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee